CN116543055A - 图像畸变标定方法、校正方法、计算机装置、计算机可读存储介质 - Google Patents

Abstract

本发明提供一种图像畸变标定方法、校正方法、计算机装置、计算机可读存储介质，图像畸变标定方法包括以下步骤：获取标定图像，图像成像面的顶部或底部贴近标定板边缘；提取标定图像的标定角点，确定标定角点二维坐标矩阵；提取标定角点二维坐标矩阵的参考行和参考列，根据参考行、参考列、相邻标定角点的距离确定目标图像的目标角点二维坐标矩阵；计算标定角点二维坐标矩阵与目标角点二维坐标矩阵的第一映射关系；根据第一映射关系，对目标图像进行插值，得到标定图像的像素坐标与目标图像的像素坐标之间的坐标映射关系。本发明的标定方法高效，校正效果更符合人眼观测。

Description

图像畸变标定方法、校正方法、计算机装置、计算机可读存储 介质

技术领域

本发明涉及图像处理技术领域，具体是涉及一种图像畸变标定方法、校正方法、计算机装置、计算机可读存储介质。

背景技术

在图像处理中，对于广角镜头拍摄的图像，由于镜头成像畸变严重，一般需要做畸变校正的处理。现有的畸变校正算法，大多是通过拍摄若干组标定图像，根据固定的数学畸变模型，对相机参数(内参和畸变系数)进行标定，再按照数学模型反向映射，得到畸变像素与无畸变像素的映射关系，将其存储成显示查找表(Look-Up-Table，LUT)，可供畸变校正模块进行在线的查表校正，进而实现实时的畸变校正。

公布号为CN112053369A的中国发明专利公开了一种低时延图像去畸变和桶形映射的融合算法，该方案包括对特定标定场景进行检测，直接计算畸变坐标与无畸变坐标的映射关系的方式完成去畸变，不涉及镜头内参和畸变模型。

公布号为CN109461126A的中国发明专利公开了一种图像畸变校正方法及系统，该方案针对鱼眼镜头，包括对相机拍摄的图像进行边界填充，以及包括设置了多个0至1的校正系数，该方案仍然是基于固定模型的调整，校正系数针对的是相机的内参。

现有的图像畸变标定与校正方法，多数都与张正友法类似，存在以下缺点：(1)标定过程复杂，需要针对每一组镜头参数，都拍摄若干组图片(通常10至20张图片)用于标定；(2)要求棋盘格完整清晰成像，当棋盘格有褶皱或某棋盘格角点被遮挡，会导致无法检测棋盘格角点而标定失败；(3)都基于固定的成像模型去除畸变，只能去除镜头畸变(径向畸变和切向畸变)，无法透视成像畸变，由于在去除镜头畸变后，图像还存在透视畸变，使得成像效果不符合人眼观测；(4)由于棋盘格角点映射关系仅存在于被拍摄到的区域，无法兼顾畸变的四周区域，使得校正后的图像黑边较多；(5)在标定时需要多张图片进行运算，计算量大；(6)校正强度不可控。

发明内容

本发明的第一目的是提供一种计算量少的图像畸变标定方法。

本发明的第二目的是提供一种计算量少的图像畸变校正方法。

本发明的第三目的是提供一种实现上述图像畸变标定方法或者图像畸变校正方法的计算机装置。

本发明的第四目的是提供一种实现上述图像畸变标定方法或者图像畸变校正方法的计算机可读存储介质。

为了实现上述的第一目的，本发明提供的一种图像畸变标定方法，包括以下步骤：获取标定图像，标定图像的成像面竖直中轴线与标定板竖直方向平行，标定图像的成像面水平中轴线与标定板水平方向平行，图像成像面的顶部或底部贴近标定板边缘；提取标定图像的标定角点，确定标定角点二维坐标矩阵；提取标定角点二维坐标矩阵的参考行和参考列，根据参考行、参考列、相邻标定角点的距离确定目标图像的目标角点二维坐标矩阵；计算标定角点二维坐标矩阵与目标角点二维坐标矩阵的第一映射关系；根据第一映射关系，对目标图像进行插值计算，得到标定图像的像素坐标与目标图像的像素坐标之间的坐标映射关系。

由上述方案可见，本发明通过拍摄一张标定图像，并在图像进行处理后得到标定角点二维坐标矩阵，根据标定角点二维坐标确定目标角点二维坐标矩阵，根据标定角点二维坐标矩阵与目标角点二维坐标矩阵第一映射关系确定坐标映射关系。由于本发明仅需一张标定图像完成标定，无需依赖固定的成像畸变模型，通过手动设定或自动化生成的第一映射关系，使得得到的坐标映射关系的应用效果更符合人眼视觉观测结果，可同时去除镜头畸变与透视成像畸变，一张标定图像也使得标定的计算量较少。此外，能够保障参考行与参考列的方向不损失成像视角。

进一步的方案是，在确定标定角点二维坐标矩阵与目标角点二维坐标矩阵的第一映射关系时，通过校正强度系数校正第一映射关系。

由此可见，可以通过校正强度系数调整第一映射关系，进而控制坐标映射关系，以调整应用该坐标映射关系校正畸变图像的效果。

进一步的方案是，提取标定图像的标定角点后，还对标定角点进行非线性拟合：通过二次曲线拟合标定角点，判断标定角点拟合后与拟合前的偏差值是否大于预设阈值，如是，确定目标标定角点为离群角点，剔除离群角点。

由此可见，可以减少标定图像中的个别标定角点遮挡、褶皱等因素对坐标映射关系的影响，降低对标定图像的要求。

进一步的方案是，在对标定角点进行非线性拟合剔除离群角点前，将标定图像进行锐化，并放缩至目标分辨率。

由此可见，可以使得标定角点检测速度快且精度高。

进一步的方案是，提取标定图像的标定角点时，对标定图像进行边界点填充时：对标定图像四周的空白区域进行线性预测填充标定角点，以确定所述标定角点二维坐标矩阵。

由此可见，通过线性预测对标定角点进行填充，可以减少后续得到的目标图像映射到棋盘格标定图像中的无效区域，有效减少目标图像的黑边，从而提高后续第一映射关系的准确性，进而提高坐标映射关系的准确性。

进一步的方案是，标定图像为棋盘格标定图像，标定角点为棋盘格标定图像的棋盘格角点，标定板为棋盘格标定板。

进一步的方案是，标定图像为圆点标定图像，标定角点为圆点标定图像的圆点，标定板为圆点标定板。

为了实现上述的第二目的，本发明提供的一种图像畸变校正方法，其特征在于，包括以下步骤：

获取待校正图像；

根据上述的坐标映射关系对待校正图像进行校正得到校正后图像。

由上述方案可见，通过上述的坐标映射关系可处理拍摄上述标定图像的镜头拍摄的待校正图像，从而得到校正后图像。

为了实现上述的第三目的，本发明提供的一种计算机装置，包括处理器与存储器，存储器存储有计算机程序，其特征在于：

计算机程序被计算机装置执行时实现上述的图像畸变标定方法，和/或，实现上述的图像畸变校正方法。

为了实现上述的第四目的，本发明提供的一种计算机程序被处理器执行时，实现上述的图像畸变标定方法，和/或，实现上述的图像畸变校正方法。

附图说明

图1是本发明图像畸变标定方法实施例的流程图。

图2是本发明图像畸变校正方法实施例的流程图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的图像畸变标定方法通过采集的一张标定图像，再经过对标定图像的预处理、标定角点提取、离群角点剔除、边界点填充等步骤后得到标定角点二维坐标矩阵，再根据参考行、参考列、标定图像的标定角点的相邻距离确定目标角点二维坐标矩阵，确定标定图像的像素坐标与目标图像的像素坐标之间的坐标映射关系。本发明的图像畸变校正方法基于上述图像畸变标定方法的坐标映射关系处理待校正图像得到校正后图像。本发明还提供实现上述图像畸变标定方法与图像畸变校正方法的计算机装置与计算机可读存储介质。

图像畸变标定方法实施例：

参见图1，实现本实施例的图像畸变标定方法，首先执行步骤S11，获取棋盘格标定图像。具体的是，采集一张棋盘格标定图像，要求该棋盘格标定图像的成像面竖直中垂线与棋盘格标定板竖直方向平行，棋盘格标定图像的成像面水平中轴线与棋盘格标定板水平方向平行，且棋盘格标定图像的成像面的顶部或底部刚好贴近棋盘格标定板的格子的边缘。

然后，执行步骤S12，对棋盘格标定图像进行预处理。当棋盘格标定图像的分辨率较大时，对该棋盘格标定图像缩放至目标分辨率，目标分辨率以1280*720最佳，因为该分辨率下，算法检测速度快且检测精度较高。更小的分辨率，可能会导致后续步骤中棋盘格角点检测结果的误差增大，而更大的分辨率，可能会导致检测速度较慢或者容易检测不到角点。此外，还可以通过对棋盘标定图像进行锐化处理，以进一步提高后续棋盘格角点提取的检测效率。

然后执行步骤S13，提取棋盘格标定图像的棋盘格角点并对棋盘格角点做非线性拟合剔除离群角点。具体的是，在提取棋盘格标定图像的棋盘格角点坐标后，使用二次曲线拟合棋盘格角点，二次曲线如下所述：

y＝ax²+x+c；

其中x表示棋盘格角点的横坐标，y表示棋盘格角点的纵坐标。将提取到的棋盘格角点坐标组成的棋盘格角点坐标集进行二次曲线拟合，将点集代入二次曲线方程，基于最小二乘法计算得到拟合系数a、b、c，一条典型的拟合曲线为y＝-0.001²+0.0418x+191.6593。根据拟合曲线可以得到每一个棋盘格角点拟合后的纵坐标y_fit，由此可以计算每一棋盘格角点拟合后的纵坐标y_fit与拟合前纵坐标y_src的差值，根据该差值的绝对值判断该当前计算的棋盘格角点是否为离合角点，当该差值的绝对值大于预设阈值，则确定目标标定角点，即该棋盘格角点为离群角点。离群角点的剔除，即采用拟合后的纵坐标y_fit替代拟合前的纵坐标y_src，具体描述如下：

Diffy为y_fit与y_src差值的绝对值，th与3σ为本实施例的预设阈值，th为经验值，σ为拟合曲线上y偏差的标准差。通过剔除离群角点，可以有效排除个别棋盘格角点因遮挡、褶皱等因素造成后续的标定角点二维坐标矩阵不够准确的问题。

然后执行步骤S14，对棋盘格标定图像进行边界点填充，确定标定角点二维坐标矩阵。具体的是，对棋盘格标定图像四周边界空白区域进行线性预测以完成棋盘格角点填充。以上述经过离群角点剔除后棋盘格标定图像中棋盘格角点的中间行和中间列(也可选择其他行或其他列)的棋盘格角点坐标为基准，计算需要填充棋盘格角点数量以及要填充的棋盘格角点的预测坐标。

设中间行的水平棋盘格角点集的一个坐标为(h_refx，h_refy)，中间列的垂直棋盘格角点角点集的一个坐标为(v_refx,v_refy)，检测到的棋盘格角点数为m×n，以棋盘格标定图像左上角为原点(0,0)则上下左右预测需要填充的棋盘格角点数量如下：

其中，top_pad_num表示棋盘格标定图像的一列棋盘格角点上方区域需要填充的棋盘格角点数量，bot_pad_num表示棋盘格标定图像的一列棋盘格角点下方区域需要填充的棋盘格角点数量，left_pad_num表示棋盘格标定图像的一行棋盘格角点左方区域需要填充的棋盘格角点数量，right_pad_num表示棋盘格标定图像的一行棋盘格角点右方区域需要填充的棋盘格角点数量，height表示棋盘格标定图像的长，width表示棋盘格标定图像的宽。采用线性预测预测需要填充的棋盘格角点坐标，预测公式如下：

其中，delta_x为填充前棋盘格标图像的四周边界最远端两个两个棋盘格角点的水平坐标差，在填充棋盘格标定图像左方区域时delta_x为h_refx(2)-h_refx(1)，此时pad_num的取值范围为0至left_pad_num的整数,此时棋盘格标定图像的一行棋盘格角点左方区域需要填充的角点坐标的横坐标为pad_x,纵坐标根据填充当前行的棋盘格角点的纵坐标确定；在填充棋盘格标定图像右方区域时delta_x为v_refx(m)-v_refx(m-1)，此时pad_num的取值范围为0至right_pad_num的整数，此时棋盘格标定图像的一行棋盘格角点右方区域需要填充的角点坐标的横坐标为pad_x,纵坐标根据填充当前行的棋盘格角点的纵坐标确定；delta_y为填充前棋盘格标定图像的四周边界最远端两个棋盘格角点垂直坐标差，在填充棋盘格标定图像上方区域时为delta_y为h_refy(2)-h_refy(1)，此时pad_num的取值范围为0至top_pad_num的整数，此时棋盘格标定图像的一列棋盘格角点上方区域需要填充的角点坐标的纵坐标为pad_y,横坐标根据填充当前列的棋盘格角点的横坐标确定；在填充棋盘格标定图像的下方区域时delta_y为v_refx(m)-v_refx(m-1)，此时pad_num的取值范围为0至bot_pad_num的整数，此时棋盘格标定图像的一列棋盘格角点下方区域需要填充的角点坐标的纵坐标为pad_y,横坐标根据填充当前列的棋盘格角点的横坐标确定。通过边界点扩充，可有效减少后续得到的目标图像映射到棋盘格标定图像中的无效区域，可有效减少目标图像的黑边。由此，对棋盘格标定图像进行边界点填充后，可确定此时棋盘格标定图像的标定角点二维坐标矩阵。

然后执行步骤S15，提取标定角点二维坐标矩阵的参考行和参考列，根据参考行、参考列、相邻标定角点的距离确定目标图像的目标角点二维坐标矩阵。具体的是，参考行和参考列可以是采用人工选点的方式从标定角点二维坐标矩阵中选出，也可以是自动提取标定角点二维坐标矩阵中一行作为参考行，自动提取标定角点二维坐标矩阵中的一列作为参考列，参考行与参考列的选取应选择畸变尽可能少的行与列。由于参考行与参考列中，相邻棋盘格角点的距离是确定的，将参考行与参考列的坐标作为目标图像的目标角点二维矩阵中对应的目标角点的坐标后，再根据相邻棋盘格角点的距离可扩充得到完整的目标角点二维矩阵，即目标角点二维坐标矩阵中，除参考行和参考列外，有任一目标角点的坐标为(j,k)，横坐标j与该目标角点正下方或正上方对应的参考行的目标角点的横坐标相同，纵坐标k与该目标角点正左方或正右方对应的参考列的目标角点的纵坐标相同。此外，由于人工选点的方式是基于人眼选取较标准的参考行和参考列，通过人工选点的方式相较于自动选点确定参考行和参考列的方式可以得到后续步骤中更符合人眼观测的坐标映射关系。

然后执行步骤S16，计算标定角点二维坐标矩阵与目标角点二维坐标矩阵的第一映射关系。由于目标角点二维矩阵中的目标角点的坐标与标定角点二维矩阵中的目标角点的坐标一一对应，可得到标定角点二维坐标矩阵与目标角点二维坐标矩阵的第一映射关系，根据第一映射关系可将棋盘格角点的坐标转化为目标角点的坐标。

最后，执行步骤S17，根据第一映射关系，对目标图像进行插值计算，例如通过查表的方式进行插值查找计算，得到标定图像的像素坐标与目标像素的像素坐标之间的坐标映射关系。具体的是，根据上述的目标角点二维坐标矩阵，可以得到目标图像中目标角点的位置，然后根据第一映射关系对目标图像进行查表插值，可得到完整的目标图像，由此可以得到目标图像的像素坐标与标定图像的像素坐标之间的一一对应关系，即坐标映射关系。在实际使用时，根据实际需要可将该坐标映射关系进行下采样存储或是完整存储。

可选的，本实施例还设置有水平方向和垂直方向的校正强度系数rec_stren，rec_stren∈[0,1]，通过该校正强度系数可以从单方向(水平方向或垂直方向)或双方向(水平方向与垂直方向)校正标定角点二维矩阵与目标角点二维矩阵之间第一映射关系。采用该校正强度系数从双方向校正第一映射关系时根据下式进行：

其中，scr_x为棋盘格角点的横坐标，scr_y为棋盘格角点的纵坐标，rec_x为目标图像的目标角点的横坐标，rec_y为目标图像的目标角点的纵坐标。确定目标图像的目标角点的坐标后，在目标角点坐标不变的情况下，通过校正强度系数rec_stren调整每一目标角点映射到棋盘格标定图像的坐标，当rec_stren取1时，完全将目标图像目标角点的坐标与棋盘格角点的坐标一一映射，当rec_stren取0时，相当于调整棋盘格角点的坐标与标定角点的坐标相同，此时没有任何的校正效果。通过不同取值的rec_stren可以调整不同的校正效果，即调整最终得到的坐标映射关系。由此，可以得到棋盘格角点的坐标与标定角点的坐标之间的第二映射关系，后续对于完整的目标图像与坐标映射关系的获取，可基于第二映射关系进行，具体步骤同上述步骤S7，在此不再赘述。

在不同的实施例中，标定图像还可以是圆点标定图像，标定角点为圆点标定图像的圆点，标定板为圆点标定板，此时上述的棋盘格角点相应地变更为圆点角点，通过圆点标定图像进行图像畸变标定可以达到相同的效果。

图像畸变校正方法实施例：

参见图2，实现本实施例的图像畸变校正方法，首先执行步骤S21，获取待校正图像。拍摄待校正图像的镜头应当与上述图像畸变标定方法实施例中拍摄标定图像的镜头一致。

然后执行步骤S22，根据坐标映射关系对待校正图像进行校正得到校正后图像。校正后头像即无畸变图像，根据上述的坐标映射关系与查表插值可到校正后的图像。

上述各实施例采用的插值方法可以是常见的Bilinear插值、Bicubic插值、lanczos插值。

计算机装置实施例：

本实施例的计算机装置包括处理器与存储器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像畸变标定方法和/或图像畸变校正方法的各个步骤。

计算机装置可包括但不限于处理器与存储器。本领域技术人员可以理解，计算机装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机装置还可以包括输入输出设备、网络接入设备、总线等。

例如，处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微控制器或者该处理器也可以是任何常规的处理器等。处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

存储器可用于存储计算机程序和/或模块，控制器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。例如，存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如声音接收功能、声音转换成文字功能等)等；存储数据区可存储根据手机的使用所创建的数据(例如音频数据、文本数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

计算机可读存储介质实施例：

上述实施例的计算机装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，实现图像畸变标定方法实施例和/或图像畸变校正方法实施例中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被控制器执行时，可实现上述图像畸变标定方法实施例和/或图像畸变校正方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

综上所述，本发明的图像畸变标定方法，能有效应对棋盘格被遮挡，以及因棋盘格纸张褶皱导致角点检测精度低的问题，支持水平方向和垂直方向两个方向上的校正，校正方向和校正强度可调节，由于本发明的标定方法不依赖传统畸变模型，从人眼观测的角度，在调整标定角点的过程能够同时去除镜头畸变和透视畸变，标定方法高效，得到的坐标映射关系对待校正图像的整个边缘区域的畸变都有明显改正，校正效果良好。

Claims (10)

1.一种图像畸变标定方法，其特征在于，包括以下步骤：

获取标定图像，所述标定图像的成像面竖直中轴线与标定板竖直方向平行，所述标定图像的成像面水平中轴线与所述标定板水平方向平行，所述图像成像面的顶部或底部贴近所述标定板边缘；

提取所述标定图像的标定角点，确定标定角点二维坐标矩阵；

提取所述标定角点二维坐标矩阵的参考行和参考列，根据所述参考行、所述参考列、相邻标定角点的距离确定目标图像的目标角点二维坐标矩阵；

计算所述标定角点二维坐标矩阵与所述目标角点二维坐标矩阵的第一映射关系；

根据所述第一映射关系，对所述目标图像进行插值计算，得到标定图像的像素坐标与目标图像的像素坐标之间的坐标映射关系。

2.如权利要求1所述的图像畸变标定方法，其特征在于：

在确定所述标定角点二维坐标矩阵与所述目标角点二维坐标矩阵的第一映射关系时，通过校正强度系数校正所述第一映射关系。

3.如权利要求1所述的图像畸变标定方法，其特征在于：

提取所述标定图像的标定角点后，还对所述标定角点进行非线性拟合：通过二次曲线拟合所述标定角点，判断所述标定角点拟合后与拟合前的偏差值是否大于预设阈值，如是，确定目标标定角点为离群角点，剔除所述离群角点。

4.如权利要求3所述的图像畸变标定方法，其特征在于：

在对所述标定角点进行非线性拟合剔除所述离群角点前，将所述标定图像锐化，放缩至目标分辨率。

5.如权利要求1所述的图像畸变标定方法，其特征在于：

提取所述标定图像的标定角点时，对所述标定图像进行边界点填充：对所述标定图像四周的空白区域进行线性预测填充所述标定角点，以确定所述标定角点二维坐标矩阵。

6.如权利要求1至5任一项所述的图像畸变标定方法，其特征在于：

所述标定图像为棋盘格标定图像，所述标定角点为所述棋盘格标定图像的棋盘格角点，所述标定板为棋盘格标定板。

7.如权利要求1至5任一项所述的图像畸变标定方法，其特征在于：

所述标定图像为圆点标定图像，所述标定角点为所述圆点标定图像的圆点，所述标定板为圆点标定板。

8.一种图像畸变校正方法，其特征在于，包括以下步骤：

获取待校正图像；

根据上述权利要求1至7任一项所述的坐标映射关系对所述待校正图像进行校正得到校正后图像。

9.一种计算机装置，包括处理器与存储器，所述存储器存储有计算机程序，其特征在于：

所述计算机程序被所述计算机装置执行时实现上述权利要求1至7任一项所述的图像畸变标定方法，和/或，实现上述权利要求8所述的图像畸变校正方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于：

所述计算机程序被处理器执行时，实现上述权利要求1至7任一项所述的图像畸变标定方法，和/或，实现上述权利要求8所述的图像畸变校正方法。