CN110751692B - 一种摄像机成像误差标定方法与矫正方法 - Google Patents

Abstract

本发明公开一种摄像机成像误差标定与矫正方法，通过引入二次标定模型，解决了目前普遍使用的最小二乘法标定所造成的矫正精度不高，无法对相机安装误差进行矫正等问题，能够高精度地同时矫正畸变和透视变形，实现了标定板特征点的矫正坐标与理想坐标完全重合，并通过插值算法将特征点的校正参数引入到非特征点中，实现了整个图像的高精度矫正。并且，传统的标定方法需对多张标定板的图像进行处理，本发明只需对一张标定板的图像进行处理，简化了标定的过程，极大地降低了标定工作的时间与复杂度。

Description

一种摄像机成像误差标定方法与矫正方法

技术领域

本发明涉及视觉矫正领域，尤其涉及一种摄像机成像误差标定与矫正方法。

背景技术

在计算机视觉领域，有一个重要的应用是要对空间中某平面上的形状准确地成像以便对其进行精密测量。由于摄像机透镜的制造精度以及组装工艺的偏差会导致畸变，而摄像机成像平面与物体平面不平行会导致透视变形，两者均会导致成像结果的失真。为了矫正失真，需要对成像系统的误差进行标定。目前常用的标定方法和对应的缺陷有以下三种：

1、传统的相机标定

最简单的相机标定为线性标定，即不考虑相机的畸变而只考虑空间坐标转换。

每个坐标点有X,Y两个变量，可列两个方程，相机内参有5个未知数，外参平移和旋转各3个，共有11个变量，因此至少需要6个特征点来求解。本方法的缺点是把相机当作理想成像，未考虑畸变，导致标定结果误差很大。

2、非线性标定

当镜头畸变明显时必须考虑畸变，这时线性模型转化为非线性模型，需要通过非线性标定方法求解。有最速下降法、遗传算法、高斯牛顿法和神经网络算法等。本方法的缺点是：求解不稳定，计算精度与模型准确度往往发生冲突，而且不能标定相机安装误差造成的透视变形。

3、张正友标定

张正友标定只考虑了径向畸变，没有考虑切向畸变，对内外参应用最小二乘方法估计实际存在的径向畸变的畸变系数(忽略切向畸变)，最后通过极大似然法进行优化，得到精度较高的解。本方法的缺点是：由于参数求得的是最小二乘解，精度有限。同时未考虑镜头切向畸变与相机安装误差，对畸变的矫正效果不好，不能矫正透视变形。

由此可见，目前还未有一个较好的标定和矫正方法能够高精度地同时矫正畸变和透视变形。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明的目的是克服现有技术的不足，提供一种摄像机成像误差标定与矫正方法。

本发明的技术方案如下：提供一种摄像机成像误差标定方法，包括以下步骤：

步骤1：将标定板放在待测平面上，用摄像机拍摄标定板，将拍摄的原始图像发送至成像处理设备；

步骤2：成像处理设备读取所述原始图像，判断是否存在标定板，寻找并记录标定板的特征点像素坐标Pg；

步骤3：设摄像机成像光心为P，其像素坐标为(Px,Py)，光心P的初始值设为图像中心，用最靠近光心的4个特征点计算出摄像机每个像素的实际大小dx、dy以及标定板的旋转角度-θ；

步骤4：计算出dx、dy、-θ之后，根据光心坐标P以及标定板特征点的实际长度lx,ly，建立标定板特征点的理想坐标Pn，同时，根据多参数畸变模型联立理想坐标Pn-像素坐标Pg之间的N组方程，N指标定板特征点的个数，要求N大于畸变模型参数的个数，可求得相机畸变多参数模型的最小二乘解X；

步骤5：由于步骤4求得的最小二乘解是基于光心坐标求得，但光心坐标未知，通过优化算法求得光心坐标的准确值；

步骤6：通过优化算法求得光心坐标P的准确值之后，再根据步骤4求出标定板特征点的理想坐标Pn与畸变模型参数的最小二乘解X；

步骤7：通过步骤6求得的仍然是最小二乘解，意味着每个特征点的矫正坐标与理想坐标并不能完全重合，只是在求解空间里距离差最小的优化解，因此通过二次标定实现标定板特征点矫正坐标与理想坐标完全重合，算法流程如下：

7.1：将原始图像中的特征点实际像素坐标Pg代入步骤6中的多参数畸变模型中进行矫正，获得一次矫正坐标Pc；

7.2：建立2参数误差模型，联立理想坐标Pn与一次矫正坐标Pc解得 2参数误差模型的N组解析解；

7.3：通过插值算法计算得到特征点之间的普通点的二次矫正参数。

进一步地，所述步骤4中，建立标定板特征点的理想坐标Pn的方法如下：

设光心坐标为

已知最靠近光心的棋盘格在像素坐标系中的坐标为

根据步骤4已知标定板特征点的实际长度 lx,ly与旋转角度-θ，算出4个Pi点的坐标：

以P(i,j-1)为基点：

以P(i-1,j)为基点：

以P(i-1,j-1)为基点：

得：

以

为基点建立标定板的理想点，可得：

进一步地，在所述步骤5中，通过优化算法求得光心坐标的准确值的优化迭代流程如下：

将理想坐标Pn代入多参数畸变模型，求得该模型下理想坐标畸变后的坐标Pd；

用畸变坐标Pd与像素坐标Pg之间的距离的和作为损失函数利用优化算法进行优化求解，所述损失函数为：arg_min(∑||P_dP_g||)。

进一步地，所述优化算法为遗传算法、梯度算法或牛顿法等。

进一步地，在所述步骤1中，用摄像机拍摄一张标定板的图像。

本发明还提供一种摄像机成像误差矫正方法，方法如下：

遍历矫正图像中的每一个像素的坐标Pn，将Pn代入其对应的二次矫正模型参数，获得一次矫正后的坐标Pc；

将一次矫正坐标Pc代入多参数畸变模型，求得原始图像坐标Pg；

如果求得的原始图像坐标Pg非整数，则通过差值法求得Pg的色彩值，并将所述色彩值填充到像素坐标Pn中。

进一步地，所述插值法为双线性插值法或双三次插值法。

采用上述方案，本发明通过引入二次标定模型，解决了目前普遍使用的最小二乘法标定所造成的矫正精度不高，无法对相机安装误差进行矫正等问题，能够高精度地同时矫正畸变和透视变形，实现了标定板特征点的矫正坐标与理想坐标完全重合，并通过插值算法将特征点的校正参数引入到非特征点中，实现了整个图像的高精度矫正。并且，传统的标定方法需对多张标定板的图像进行处理，本发明只需对一张标定板的图像进行处理，简化了标定的过程，极大地降低了标定工作的时间与复杂度。

附图说明

图1为本发明摄像机成像误差标定方法的流程图。

图2为本发明摄像机成像误差矫正方法的流程图

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

请参阅图1，本发明提供一种摄像机成像误差标定方法，包括以下步骤：

步骤1：将标定板放在待测平面上，用摄像机拍摄标定板，将拍摄的原始图像发送至成像处理设备。其中，标定板为精密标定板，将其放在强度高、变形小的基板上刻写规则图样，其图样刻写的精度决定了本发明所公布的方法能达到的精度上限。一般采用传统的标定方法，需要将标定板放在摄像机前从不同距离不同位置不同的角度拍摄多张图像，一般需要拍摄 20张以上数量的图像，然后对多张图像进行处理，在本发明中，只需用摄像机架好，拍摄一张标定板的图像即可，后续只需对一张图像进行处理。

步骤2：成像处理设备读取所述原始图像，判断是否存在标定板，寻找并记录标定板的特征点像素坐标Pg。

步骤3：设摄像机成像光心为P，其像素坐标为(Px,Py)，光心P的初始值设为图像中心，我们可以认为光心附近的畸变很小，可忽略，因此可用最靠近光心的4个特征点计算出摄像机每个像素的实际大小dx、dy以及标定板的旋转角度-θ。

步骤4：计算出dx、dy、-θ之后，根据光心坐标P以及标定板特征点的实际长度lx,ly，建立标定板特征点的理想坐标Pn，标定板特征点的实际长度lx,ly指的是标定板每个棋盘格的长度与宽度，同时，从原始图像中读取到了特征点像素坐标Pg，我们可以根据多参数畸变模型联立“理想坐标Pn-像素坐标Pg”之间的N组方程，N指标定板特征点的个数，要求N大于畸变模型参数的个数，可求得相机畸变多参数模型的最小二乘解X，所述多参数畸变模型是针对相机镜头生产误差的建模，也就是一种相机镜头畸变的模型，此为现有的模型，在此不再过多描述。

建立标定板特征点的理想坐标Pn的方法如下：

设光心坐标为

已知最靠近光心的棋盘格在像素坐标系中的坐标为

根据步骤4已知标定板特征点的实际长度 lx,ly与旋转角度-θ，算出4个Pi点的坐标：

以P(i,j-1)为基点：

以P(i-1,j)为基点：

以P(i-1,j-1)为基点：

得：

以

为基点建立标定板的理想点，可得：

确定理想点之后，我们有有(row*col-1)组实际-理想点对(排除基点，因为太接近原点)，可写出2*(row*col-1)组方程来确定7个未知数，因此我们求的是最小二乘解。

步骤5：由于步骤4求得的最小二乘解是基于光心坐标求得，但光心坐标未知，我们以图像中心坐标作为其初始值，通过优化算法求得光心坐标的准确值，通过优化算法求得光心坐标的准确值的优化迭代流程如下：

5.1：给定初始光心位置，根据步骤3与步骤4求得标定板特征点的理想坐标Pn与相机多参数畸变模型的最小二乘解X；

5.2：将理想坐标Pn代入多参数畸变模型，求得该模型下理想坐标畸变后的坐标Pd；

5.3：由于特征点的理想坐标Pn、畸变模型参数X、理想坐标畸变后坐标Pd都是基于光心坐标P计算得来的，我们可认为，如果光心坐标P准确，理想坐标畸变后坐标Pd与原始图像中特征点实际坐标Pg应该重合。因此我们可以使用畸变坐标Pd与像素坐标Pg之间的距离的和作为损失函数利用优化算法进行优化求解，所述损失函数为：arg_min(∑||P_dP_g||)。所述优化算法可以为遗传算法、梯度算法或牛顿法等。

步骤6：通过优化算法求得光心坐标P的准确值之后，再根据步骤4求出标定板特征点的理想坐标Pn与畸变模型参数的最小二乘解X。

步骤7：通过步骤6求得的仍然是最小二乘解，意味着每个特征点的矫正坐标与理想坐标并不能完全重合，只是在求解空间里距离差最小的优化解。下面，我们引入二次标定，通过二次标定实现标定板特征点矫正坐标与理想坐标完全重合，算法流程如下：

7.1：将原始图像中的特征点实际像素坐标Pg代入步骤6求出的多参数畸变模型中进行矫正，获得一次矫正坐标Pc；

7.2：建立2参数误差模型，联立“理想坐标Pn与一次矫正坐标Pc”解得2参数误差模型的N组解析解，每个特征点都可以求出一组参数的解析解，则每个“理想坐标Pn-一次矫正坐标Pc”对都能求出2参数误差模型的解析解，可以求出N组2参数误差模型的解，每个特征点对应一组解；

7.3：通过插值算法计算得到特征点之间的普通点的二次矫正参数，插值法有线性插值法、双线性插值法、双三次插值法等，都是已经公开的算法，在此不做具体描述。

以上可求得所有矫正后像素的一次和二次矫正参数，因此标定已完成。

请参阅图2，本发明还提供一种摄像机成像误差矫正方法，包括：

根据上述的标定方法，获得了所有矫正后像素的矫正参数，我们要根据这些参数求得矫正图像中每一像素所对应的原始像素的坐标，方法如下：

遍历矫正图像中的每一个像素的坐标Pn，将Pn代入其对应的二次矫正模型参数，获得一次矫正后的坐标Pc；

将一次矫正坐标Pc代入多参数畸变模型，求得原始图像坐标Pg；

如果求得的原始图像坐标Pg不为整数，则需根据Pg周边的像素点的色彩值，通过差值法求得Pg的色彩值，并将所述色彩值填充到像素坐标Pn 中。所述插值法为双线性插值法或双三次插值法等。

综上所述，本发明通过引入二次标定模型，解决了目前普遍使用的最小二乘法标定所造成的矫正精度不高，无法对相机安装误差进行矫正等问题，能够高精度地同时矫正畸变和透视变形，实现了标定板特征点的矫正坐标与理想坐标完全重合，并通过插值算法将特征点的校正参数引入到非特征点中，实现了整个图像的高精度矫正。并且，传统的标定方法需对多张标定板的图像进行处理，本发明只需对一张标定板的图像进行处理，简化了标定的过程，极大地降低了标定工作的时间与复杂度。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种摄像机成像误差标定方法，其特征在于，包括以下步骤：

步骤1：将标定板放在待测平面上，用摄像机拍摄标定板，将拍摄的原始图像发送至成像处理设备；

步骤2：成像处理设备读取所述原始图像，判断是否存在标定板，寻找并记录标定板的特征点像素坐标Pg；

步骤3：设摄像机成像光心为P，其像素坐标为(Px,Py)，光心P的初始值设为图像中心，用最靠近光心的4个特征点计算出摄像机每个像素的实际大小dx、dy以及标定板的旋转角度-θ；

步骤4：计算出dx、dy、-θ之后，根据光心坐标P以及标定板特征点的实际长度lx,ly，建立标定板特征点的理想坐标Pn，同时，根据多参数畸变模型联立理想坐标Pn-像素坐标Pg之间的N组方程，N指标定板特征点的个数，要求N大于畸变模型参数的个数，可求得相机畸变多参数模型的最小二乘解X；

步骤5：由于步骤4求得的最小二乘解是基于光心坐标求得，但光心坐标未知，通过优化算法求得光心坐标的准确值；

步骤6：通过优化算法求得光心坐标P的准确值之后，再根据步骤4求出标定板特征点的理想坐标Pn与畸变模型参数的最小二乘解X；

步骤7：通过步骤6求得的仍然是最小二乘解，意味着每个特征点的矫正坐标与理想坐标并不能完全重合，只是在求解空间里距离差最小的优化解，因此通过二次标定实现标定板特征点矫正坐标与理想坐标完全重合，算法流程如下：

7.1：将原始图像中的特征点实际像素坐标Pg代入步骤6中的多参数畸变模型中进行矫正，获得一次矫正坐标Pc；

7.2：建立2参数误差模型，联立理想坐标Pn与一次矫正坐标Pc解得2参数误差模型的N组解析解；

7.3：通过插值算法计算得到特征点之间的普通点的二次矫正参数。

2.根据权利要求1所述的摄像机成像误差标定方法，其特征在于，所述步骤4中，建立标定板特征点的理想坐标Pn的方法如下：

设光心坐标为

已知最靠近光心的棋盘格在像素坐标系中的坐标为

根据步骤4已知标定板特征点的实际长度lx,ly与旋转角度-θ，算出4个Pi点的坐标：

以P(i,j-1)为基点：

以P(i-1,j)为基点：

以P(i-1,j-1)为基点：

得：

以

为基点建立标定板的理想点，可得：

3.根据权利要求1所述的摄像机成像误差标定方法，其特征在于，在所述步骤5中，通过优化算法求得光心坐标的准确值的优化迭代流程如下：

将理想坐标Pn代入多参数畸变模型，求得该模型下理想坐标畸变后的坐标Pd；

用畸变坐标Pd与像素坐标Pg之间的距离的和作为损失函数利用优化算法进行优化求解，所述损失函数为：arg_min(∑||P_dP_g||)。

4.根据权利要求3所述的摄像机成像误差标定方法，其特征在于，所述优化算法为遗传算法、梯度算法或牛顿法。

5.根据权利要求1所述的摄像机成像误差标定方法，其特征在于，在所述步骤1中，用摄像机拍摄一张标定板的图像。

6.一种摄像机成像误差矫正方法，其特征在于，根据权利要求1所述的摄像机成像误差标定方法获得所有矫正后像素的矫正参数，根据获得的矫正参数求得矫正图像中每一像素所对应的原始像素的坐标，方法如下：

遍历矫正图像中的每一个像素的坐标Pn，将Pn代入其对应的二次矫正模型参数，获得一次矫正后的坐标Pc；

将一次矫正坐标Pc代入多参数畸变模型，求得原始图像坐标Pg；

如果求得的原始图像坐标Pg非整数，则通过插值法求得Pg的色彩值，并将所述色彩值填充到像素坐标Pn中。

7.根据权利要求6所述的摄像机成像误差矫正方法，其特征在于，所述插值法为双线性插值法或双三次插值法。

Images