CN106709885B - 一种亚像素级畸变校正方法及装置 - Google Patents

Abstract

本发明公开了一种亚像素级畸变校正方法。该方法采用工控机控制显示器(4)上的显示点从某一已知点开始点亮，并控制相机(1)进行图像提取和处理；采用本发明可以有效的提高畸变标定的精度，达到亚像素级的畸变纠正效果，大幅改善边缘的标定效果，使视觉类产品可以应用到更精确的场合。对投影设备使用本发明可以明显降低投影畸变，改善投影效果，降低光学成本。本产品算法简单，不会影响图像的处理速度，非常适合高精度机器视觉、相机成像畸变纠正、投影畸变校正等领域。

Description

一种亚像素级畸变校正方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种亚像素级畸变校正方法。

背景技术

市场上的成像设备，如摄像头、相机等，使用到镜头组的成像产品，都不可避免的会产生一些畸变，尤其在大视场、短焦距的情况下畸变影响更加明显。镜头优化以及图像算法都可以实现较好的畸变纠正，由于镜头优化在短焦时效果有限，同时涉及的技术难度高、成本高，通常采用图像算法纠正的方式。

目前国际通用的纠正算法为张正友标定法，即通过标准黑白棋盘格的图像，计算出各个角点的图像位置，并同理论图像位置进行对比，得出镜头的畸变参数，根据畸变参数对图像进行校正。在使用该方法进行标定时，通常需要采集较多的黑白棋盘格图像，图像越多，计算得出的畸变参数越准确。这种方法的缺点主要包括：该方法把镜头等效成理想模型，仅存在理想的径向和切向方向系数，实际中由于镜片质量、芯片质量、安装误差等多种原因，造成实际的畸变非常复杂，无法使用4,5个畸变系数完整的表示。因此在使用该方法进行标定时，尤其在边缘附近，始终存在像素级的标定误差。这种误差的影响在普通的视频、投影上肉眼观测并不明显，但比较精密的应用场合或超短焦等具有比较大的畸变时，影响较大。

比如在双目立体视觉领域，要求两个相机的畸变完全校正后去匹配图像，像素级的畸变会直接降低匹配精度，影响匹配质量。在高精度的视觉尺寸检测领域，畸变会直接造成测量误差，影响测量精准度。

此外该算法无法对投影类产品畸变的进行纠正。

发明内容

随着视觉技术不断发展，无法满足像素级的畸变纠正的问题变得越来越突出，甚至影响了高精度视觉计算、断交短焦投影显示效果等。针对该问题，本发明提出了一种具有亚像素级纠正效果方法和装置，可以有效的解决该问题，将畸变纠正控制在亚像素级。

同时本发明提出了一种可应用在投影产品上的用于纠正投影畸变的方法，可有效降低投影类产品的光学成本，提高成像效果。

本发明提供了一种亚像素级畸变校正方法，包括以下步骤：工控机控制显示器上的显示点从某一已知点开始点亮，并控制相机进行图像提取和处理；包括以下步骤：

步骤100阈值设定：阈值设置为30至40，按照该阈值进行图像的搜索与查找，标记处特征点。

步骤200特征点优化：首先对上述的特征点进行滤波，由于可能存在较多的干扰点，要找的点主要分为3种情况：第一种，显示点正好对应落在像素整数位置时，判断是否有单点的特征点值超过了200，若有，则保留该点，并在周围取另外3个灰度值相对大的点，组成一个四边形的四个点；若无则继续判断；第二种，当显示点正好落在两个像素之间时，判断是否有相邻的两个特征点数值较大，可以按照灰度值128左右进行设置，若有则保留该点，在周围取另外两点，组成一个四边形的四个点；若无则继续判断；第三种，当显示点落在四个像素上是，判断是否有3个以上的特征点相连，并灰度值大约60至80，并保留四个灰度值较大的点组成一个四边形。

步骤300双线性插值反向计算：通过特征点优化后，得到了四个像素位置以及灰度值，利用双线性插值的反向算法，得出一个经过插值计算的亚像素位置，用于描述显示点位置对应的图像位置；逐个或分批次对显示点进行点亮与关闭，同时相机不断进行图片采集和处理，得到一个与图像像素数量相同的二维位置矩阵并保存；在得到原始图像后，将原始图像利用该二维位置矩阵进行转换，得出新的无畸变图像。

本发明另提供实现上述方法的一种亚像素级畸变校正装置，工控机数据连接相机与显示器，所述显示器放置在相机镜头正前方，显示面朝向镜头；所述显示器的尺寸要大于等于相机与镜头的成像系统在使用距离下的视场大小，在视场内显示器的分辨率大于等于相机的分辨率；工控机控制显示器上的显示点从某一已知点开始点亮，并控制相机进行图像提取和处理；包括以下过程：

阈值设定：阈值设置为30至40，按照该阈值进行图像的搜索与查找，标记处特征点。

特征点优化：首先对上述的特征点进行滤波，由于可能存在较多的干扰点，要找的点主要分为3种情况：第一种，显示点正好对应落在像素整数位置时，判断是否有单点的特征点值超过了200，若有，则保留该点，并在周围取另外3 个灰度值相对大的点，组成一个四边形的四个点；若无则继续判断；第二种，当显示点正好落在两个像素之间时，判断是否有相邻的两个特征点数值较大，可以按照灰度值128左右进行设置，若有则保留该点，在周围取另外两点，组成一个四边形的四个点；若无则继续判断；第三种，当显示点落在四个像素上时，判断是否有3个以上的特征点相连，并灰度值大约60至80，并保留四个灰度值较大的点组成一个四边形。

双线性插值反向计算：通过特征点优化后，得到了四个像素位置以及灰度值，利用双线性插值的反向算法，得出一个经过插值计算的亚像素位置，用于描述显示点位置对应的图像位置；逐个或分批次对显示点进行点亮与关闭，同时相机不断进行图片采集和处理，得到一个与图像像素数量相同的二维位置矩阵并保存；在得到原始图像后，将原始图像利用该二维位置矩阵进行转换，得出新的无畸变图像。

本发明另提供一种投影类产品畸变纠正方法，与亚像素级畸变校正方法过程相反，使用投影机显示特点的图案或条纹，首先使投影图像的左上角(1,1)投影成白色，其他区域为黑色，通过图像采集分析得出该位置在图像上的实际位置；由于该采集图像为无畸变或畸变已知的装置，因此可以通过在图像上的实际位置计算得出实际的空间位置；该数值与初始位置(1,1)的差值为畸变误差；在得出全部的畸变误差后，在投影前端进行投影图像的反向校正，即将原投影图需要投影到空间位置的像素值转换到到新图像的(1,1)上，对得出的新图像进行投影，即可得到无畸变的投影效果图。

有益效果：采用本发明可以有效的提高畸变标定的精度，达到亚像素级的畸变纠正效果，大幅改善边缘的标定效果，使视觉类产品可以应用到更精确的场合。对投影设备使用本发明可以明显降低投影畸变，改善投影效果，降低光学成本。本产品算法简单，不会影响图像的处理速度，非常适合高精度机器视觉、相机成像畸变纠正、投影畸变校正等领域。

附图说明

图1为本发明实施例提供的亚像素级畸变校正装置结构图。

图2为本发明实施例提供的亚像素级畸变校正装置显示器布满灯珠示意图。

图3为本发明实施例提供的亚像素级畸变校正方法及装置的显示器左上灯珠亮起时理论上图像的情况。

图4为本发明实施例提供的亚像素级畸变校正方法及装置的显示器左上灯珠亮起时实际上图像的情况。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

本实施例以相机1+镜头2的畸变校正为例，主要采用的技术方案为：

请参照图1和图2，需要工控机3连接相机与显示器4，所述显示器4放置在相机镜头2正前方，显示面朝向镜头，距离根据相机实际使用的距离确定(如相机使用的工作距离为5m，则显示器也放置在5m的位置)。所述显示器4的尺寸要大于等于相机1与镜头2的成像系统在该距离下的视场大小，在视场内显示器的分辨率要大于等于相机的分辨率。本例中以标准的LED灯珠显示屏为例，所述显示器4上布满超小型可控制的LED灯珠5，其横向与纵向的灯珠数量大于等于相机横向与纵向分辨率(以普通130万像素，1280*1024分辨率为例，在横向视场为1m的情况下，LED灯珠的单点尺寸需要小于等于1m/1280，即0.78mm)，同时LED灯珠均在基准位置，工控机控制LED灯珠5从某一已知点开始点亮，并控制相机1进行图像提取和处理。

假设一种理想条件，在当前相机与显示器的距离下，相机正好可以观测到整个显示器的情况，同时假设显示器的分辨率与相机的分辨率完全一致，即理论上在当前的结构下，相机的成像芯片正好可以采集到显示器上对应同位置的各个灯珠。以理论位置在图像的左上方第一个灯珠为例，该灯珠亮起的图片左上方理论像素为应为白色，即(1,1)位置为白像素，如图3所示，显示器左上灯珠亮起时理论上图像的情况。

如图4所示，实际显示情况：图像处理时，由于畸变的影响，该成像点位置并不在(1,1)，利用工控机采集到当前的图片，分析左上的区域，由于通常畸变不会造成较大的误差，所以该点的实际成像点会在(1,1)附近。接下来讲解如何准确的找出显示器上实际位置与图像的像素位置的对应关系。

通过灰度阈值筛选方式，可粗略的找到这种对应关系。当相机的显示芯片对应成像点不在发光的灯珠位置时，其对应图像灰度值低，图像较暗。当相机芯片成像点接近灯珠时，其灰度值逐渐提高，逐渐变亮。当芯片成像点在灯珠上时，灰度值会明显增大。以普通8位图像为例，最暗的颜色灰度值为0，最亮的白色灰度值为255，通过调整成像系统的曝光、光圈等参数，使当芯片成像点在灯珠上是灰度值为255。距离灯珠较远的区域，灰度值接近0。阈值筛选即为直接设定中间阈值，提取满足阈值的点。本例中可以设定中心阈值为128，提取超过128点灰度值点作为灯珠对应的像素位置，从而得出实际的灯珠与像素位置的对应关系。

上述方法实际上是将图像像素的整数位置关系与灯珠位置进行了对应，由于显示器上灯珠位置为基准位置，实现了像素级畸变误差的计算。这种畸变误差仍有改善的空间，接下来讲解亚像素级的误差计算。

在实际的过程中，通常不会存在完全的整数对应关系。即对应的灯珠位置不会正好对应到像素的整数位置。如图4所示，显示器左上位置(1,1)的灯珠实际上对应到了显示图像的横向3至4像素之间，纵向2至3像素之间的位置。这个位置会造成图像在该位置的4个像素灰度值比其他区域高。实际上这是由镜头的桶形畸变造成，接下来讲解如何通过图像分析的方法，得到这种亚像素的对应关系。

该过程的图像分析主要分为3个步骤：即阈值设定、特征点优化、双线性插值反向计算。

1、阈值设定，对采集的图像进行分析时，可能存在一个灯珠的光线被4个像素点平均分割的情况，因此之前设置的128阈值可能无法找到实际对应的点，需要设定更小的分割阈值，比如将将高过图像暗部的灰度值，以暗部灰度值为0 至20，阈值可设置为30至40，要远低于128，阈值设定完成后，按照该阈值进行图像的搜索与查找，标记处特征点。

2、特征点优化，首先对上述的特征点进行滤波，由于可能存在较多的干扰点，要找的点主要分为3种情况：

①当灯珠正好对应落在像素整数位置时，这个点像素值会非常大，可以判断是否有单点的特征点值超过了200，若有，则保留该点，并在周围取另外3个灰度值相对大的点，组成一个四边形的四个点；若无则继续判断。

②当灯珠正好落在两个像素之间时，判断是否有相邻的两个特征点数值较大，可以按照灰度值128左右进行设置，若有则保留该点，在周围取另外两点，组成一个四边形的四个点；若无则继续判断。

③当灯珠落在四个像素上时，判断是否有3个以上的特征点相连，并灰度值大约60～80，并保留四个灰度值较大的点组成一个四边形。

3、通过特征点优化后，得到了四个像素位置以及灰度值，利用双线性插值的反向算法，容易得出一个经过插值计算的亚像素位置，用于描述灯珠位置对应的图像位置。

假设通过我们的分析(1,1)像素点对应在显示芯片即图像上的位置在像素 (3.4,2.5)处。

逐个或分批次进行点亮与关闭，同时相机不断进行图片采集和处理，得到一个与图像像素数量相同的二维位置矩阵并保存。本例中相机1为130万像素 1280*1024分辨率，二维矩阵大小为1280*1024，在(1,1)处的矩阵参数为 (3.4,2.5)。

实际使用时，在得到原始图像后，将原始图像利用该二维矩阵进行转换，得出新的无畸变图像，仍然以第一个像素为例：

该像素实际的灰度数值应该在横向的3列-4列之间，纵向的2行-3行之间，直接利用(3.4,2.5)的矩阵数据，使用插值法可以计算出该位置对应的图像灰度值(插值法为图像中非常通用的算法，不进行描述)。将该灰度值作为新建无畸变图像的第一个点的数值。以此类推可得出新的无畸变的图像。

显示器除LED阵列外，还可以是普通的平板电视、投影类产品，方法可以采用这种类似的区域显示判断分析，也可以采用普通的条纹方式得出理论的畸变位置数据。

在投影类产品进行畸变纠正时，采用一种与上述方案相反的纠正方式，如下：在投影幕前端放置一套畸变纠正的图像采集系统，该系统为无畸变或已知畸变的图像采集装置。使用投影机显示特点的图案或条纹，可以通过上述类似的方法，首先使投影图像的左上角(1,1)投影成白色，其他区域为黑色，通过图像采集分析得出该位置在图像上的实际位置。由于该采集图像为无畸变或畸变已知的装置，因此可以通过在图像上的实际位置计算得出实际的空间位置。

该空间位置与上述方案中的(3.4,2.5)意义相同，该数值与初始位置(1,1) 的差值为畸变误差。在得出全部的畸变误差后，在投影前端进行投影图像的反向校正，即将原投影图需要投影到(3.4,2.5)位置的像素值转换到到新图像的 (1,1)上，对得出的新图像进行投影，即可得到无畸变的投影效果图。

本发明所述的显示装置不仅仅包含于LED灯珠显示屏，投影屏幕等，还应包含任意的具有显示作用的装置，如平板电视、具有特定特征的显示图案等，这些图案可以以多种形式显示，放置在特定的显示结构上。

显示方法包括但不限于灯珠显示、横纵方向具有一定的特征图像显示、条纹显示等。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.一种亚像素级畸变校正方法，其特征在于，该校正方法包括以下步骤：工控机控制显示器(4)上的显示点从某一已知点开始点亮，并控制相机(1)进行图像提取和处理；包括以下步骤：

步骤100阈值设定：阈值设置为30至40，按照该阈值进行图像的搜索与查找，标记特征点；

步骤200特征点优化：首先对上述的特征点进行滤波，由于存在干扰点，要找的目标点分为3种情况：

第一种，显示点正好对应落在像素整数位置时，判断是否有单点的特征点值超过了200，若有，则保留该点，并在周围取另外3个灰度值相对大的点，组成一个四边形的四个点；若无则继续判断；

第二种，当显示点正好落在两个像素之间时，判断是否有相邻的两个特征点数值大于显示点，可以按照灰度值128进行设置，若有则保留该点，在周围取另外两点，组成一个四边形的四个点；若无则继续判断；

第三种，当显示点落在四个像素上时，判断是否有3个以上的特征点相连，所述特征点的灰度值为60至80，并保留四个灰度值较大的点组成一个四边形；

步骤300双线性插值反向计算：通过特征点优化后，得到了四个像素位置以及灰度值，利用双线性插值的反向算法，得出一个经过插值计算的亚像素位置，用于描述显示点位置对应的图像位置；逐个或分批次对显示点进行点亮与关闭，同时相机不断进行图片采集和处理，得到一个与图像像素数量相同的二维位置矩阵并保存；在得到原始图像后，将原始图像利用该二维位置矩阵进行转换，得出新的无畸变图像。

2.一种亚像素级畸变校正装置，其特征在于，工控机(3)数据连接相机(1)与显示器(4)，所述显示器(4)放置在相机镜头(2)正前方，显示面朝向镜头(2)；所述显示器(4)的尺寸要大于等于相机(1)与镜头(2)的成像系统在使用距离下的视场大小，在视场内显示器的分辨率大于等于相机(1)的分辨率；工控机控制显示器(4)上的显示点从某一已知点开始点亮，并控制相机(1)进行图像提取和处理；包括以下过程：

阈值设定：阈值设置为30至40，按照该阈值进行图像的搜索与查找，标记特征点；

特征点优化：首先对上述的特征点进行滤波，由于存在干扰点，要找的目标点分为3种情况：

第一种，显示点正好对应落在像素整数位置时，判断是否有单点的特征点值超过了200，若有，则保留该点，并在周围取另外3个灰度值相对大的点，组成一个四边形的四个点；若无则继续判断；

第二种，当显示点正好落在两个像素之间时，判断是否有相邻的两个特征点数值大于显示点，可以按照灰度值128进行设置，若有则保留该点，在周围取另外两点，组成一个四边形的四个点；若无则继续判断；

第三种，当显示点落在四个像素上时，判断是否有3个以上的特征点相连，所述特征点的灰度值为60至80，并保留四个灰度值较大的点组成一个四边形；

通过特征点优化后，得到了四个像素位置以及灰度值，利用双线性插值的反向算法，得出一个经过插值计算的亚像素位置，用于描述显示点位置对应的图像位置；逐个或分批次对显示点进行点亮与关闭，同时相机不断进行图片采集和处理，得到一个与图像像素数量相同的二维位置矩阵并保存；在得到原始图像后，将原始图像利用该二维位置矩阵进行转换，得出新的无畸变图像。