CN108520541B - 一种广角摄像机的标定方法 - Google Patents

Abstract

本发明提出一种广角摄像机的标定方法，属于图像处理技术领域，该方法根据原始待校正的单幅畸变图像的消隐点向量相互正交的性质建立目标函数，从而根据目标函数对摄像机的内部参数和畸变参数进行标定获得最终的校正图像，避免了需要通过多张带有标定物的图像作为参考图像获取校正参数，在一定程度上降低了计算复杂性。

Description

一种广角摄像机的标定方法

技术领域

本发明属于图像处理技术领域，具体涉及一种广角摄像机的标定方法。

背景技术

随着科学技术的不断发展，摄像机也得到了飞速的发展，摄像机的种类以及功能也越来越多，人们也享受到了科技发展带来的各种便利。比如，人们可以利用将摄像机设置在车辆上，通过摄像机采集图像的方式获知停车场内的环境信息。

目前的摄像机，比如广角摄像机等，在使用时需要对参数进行标定，以得到较为精确的参数。目前比较通用的标定技术是采用张正友标定算法进行标定，然而这种标定方式只适用于平面标定板，且需要多幅畸变标定板图像，对于只有一幅畸变图像的情况，这种标定方式就不能适用，标定的精度也不高。

发明内容

针对现有技术的不足，本发明提出一种广角摄像机的标定方法，以达到避免通过多张带有标定物的图像作为参考图像获取校正参数，降低计算复杂性的目的。

一种广角摄像机的标定方法，包括以下步骤：

步骤1、对畸变图像进行初始校正；

步骤2、从初始校正后的畸变图像中获取消隐点；

步骤3、在消隐点的正交约束条件下，获得使得目标函数取得最小值时所对应的三个消隐点优化坐标；

步骤4、根据所获三个消隐点优化坐标，获得广角摄像机参数和畸变系数，完成广角摄像机的标定。

步骤2所述的从初始校正后的畸变图像中获取消隐点，具体如下：

步骤2-1、采用canny算法检测畸变图像中的边缘；

步骤2-2、根据畸变图像所检测边缘上像素点的灰度，获得该点的离散灰度梯度和该点的离散梯度方向角；

步骤2-3、判断线条上的像素点个数是否大于设定个数，且上述像素点的像素灰度梯度方向角是否均在离散化的角度范围内，若是，则保留满足条件的线条构成直线组，否则删除；

步骤2-4、确定畸变图像中直线组在图像外的所有交点，并绘制交点的极角直方图，获取直方图中峰值最大的三个点所对应的横坐标，即为相应消隐点在极坐标系下的极角；

步骤2-5、根据消隐点垂心约束条件获得消隐点所对应的极径大小，再将极坐标系下的坐标转换到直角坐标系下，完成消隐点的获取。

步骤3所述的在消隐点的正交约束条件下，获得目标函数最小值时所对应的三个消隐点优化坐标；

所述的消隐点的正交约束条件，具体公式如下：

其中，l表示第一个消隐点所对应的单位向量，m表示第二个消隐点所对应的单位向量，n表示第三个消隐点所对应的单位向量；

所述的目标函数具体公式如下：

Miny＝||n-l×m|| (2)

其中，y表示目标函数；

采用LM算法求解使得目标函数为最小值时所对应的三个消隐点优化坐标A(x_n1，y_n1)、B(x_n2，y_n2)、C(x_n3，y_n3)。

步骤4所述的根据所获三个消隐点优化坐标，获得广角摄像机参数和畸变系数，完成广角摄像机的标定，具体如下：

步骤4-1、根据所获三个消隐点优化坐标，获得该三点所构成三角形的垂心，即获得优化后的校正图像的中心；

步骤4-2、将优化后的校正图像的中心与原始的畸变图像的中心进行比较，获得摄像机参数矩阵中的偏移量，进而获得相机参数矩阵；

其中，A表示相机参数矩阵，Δx＝x₁-x₀，Δy＝y₁-y₀，(x₁，y₁)表示优化后的校正图像的中心，(x₀，y₀)表示原始的畸变图像的中心，f表示广角摄像机的焦距；

步骤4-3、根据优化后的校正图像的中心与原始的畸变图像的中心，获得畸变系数。

本发明优点：

本发明提出一种广角摄像机的标定方法，可以根据原始待校正的单幅畸变图像的消隐点向量相互正交的性质建立目标函数，从而根据目标函数对摄像机的内部参数和畸变参数进行标定获得最终的校正图像，避免了需要通过多张带有标定物的图像作为参考图像获取校正参数，在一定程度上降低了计算复杂性。

附图说明

图1为本发明一种实施例的广角摄像机的标定方法流程图；

图2为本发明一种实施例的待处理图像示意图；

图3为本发明一种实施例的初步校正后的图像示意图；

图4为本发明一种实施例的图2的边缘检测图；

图5为本发明一种实施例的带有提取直线的校正后的图像；

图6为本发明一种实施例的直线在图像外的交点示意图；

图7为本发明一种实施例的直线交点极角直方图。

具体实施方式

下面结合附图对本发明一种实施例做进一步说明。

本发明实施例中，广角摄像机的标定方法，方法流程图如图1所示，包括以下步骤：

步骤1、对畸变图像进行初始校正；

本发明实施例中，对于广角相机，镜片的焦距比正常相机焦距短，因此会使拍摄得到的图像产生不同类型的非线性畸变，使得实际成像点和线性模型成像点存在偏差，破坏了像点、投影中心和对应空间点的共线性约束；假设δ表示镜头的畸变，那么广角镜头理想成像点与实际成像点可用下列公式描述：

其中，点(x_u，y_u)是由小孔线性模型计算出来的成像点理想坐标值；(x，y)是实际图像点的坐标，δ_x与δ_y是沿x轴方向和y轴方向的非线性畸变系数，图像上某点δ大小与图像某点离畸变中心的远近有关，图像点离畸变中心越远，畸变越严重。因此，需要对畸变图像进行校正；

本发明实施例中，利用球面投影模型校正法，对由广角相机得到的待处理的桶形畸变图像进行处理。如图2所示为待处理图像，经过校正，得到与客观真实图像中的平行、垂直和相交关系相同的校正后的图像，如图3所示；

步骤2、从初始校正后的畸变图像中获取消隐点；具体如下：

步骤2-1、采用canny算法检测畸变图像中的边缘；

本发明实施例中，采用Canny算法，对已经校正过的图像进行边缘检测处理。获得了图3的边缘检测图像，具体图像如图4所示；

步骤2-2、根据畸变图像所检测边缘上像素点(x，y)的灰度g(x，y)，获得该点的离散灰度梯度和该点的离散梯度方向角；

本发明实施例中，该点的离散梯度方向角为

α＝arctan(dx/dy) (6)

步骤2-3、判断线条上的像素点个数是否大于设定个数，且上述像素点的像素灰度梯度方向角是否均在离散化的角度范围内，若是，则保留满足条件的线条构成直线组，否则删除；

本发明实施例中，设定的每条直线的最小像素点阈值为40，判断线条上的像素点个数是否大于40，且每一组连续像素灰度梯度方向角α是否均在离散化的角度范围内，若是，则保留满足条件的直线组；

步骤2-4、确定畸变图像中直线组在图像外的所有交点，并绘制交点的极角直方图，获取直方图中峰值最大的三个点所对应的横坐标，即为相应消隐点在极坐标系下的极角；

本发明实施例中，对校正后的图像进行了直线提取，获得了带有提取直线的校正后的图像，如图5所示，将图5中获取的直线延长，得到直线在图像外的交点。具体的交点情况如图6所示，以该图像中心为原点建立极坐标系，消隐点是所有直线交点极角直方图中峰值最大的三个。因此，可以利用直线交点极角直方图求消隐点。获得的直线交点极角直方图如图7所示，在图7中，直线交点极角直方图的峰值所对应点的横坐标，就是相应消隐点在极坐标系下的极角；

步骤2-5、根据消隐点垂心约束条件获得消隐点所对应的极径大小，再将极坐标系下的坐标转换到直角坐标系下，完成消隐点的获取；

本发明实施例中，根据三个消隐点的极角，获得三个消隐点极坐标分别为(ρ₁，θ₁)、(ρ₂，θ₂)、(ρ₃，θ₃)(其中θ₁、θ₂、θ₃为已知极角，ρ₁、ρ₂、ρ₃为待求标量极径)，与之相对应的直角坐标和极坐标的转换关系为：

极坐标系原点既是图像中心又是消隐点三角形的垂心；在直角坐标系下，有：

本发明实施例中，结合式(7)和(8)，就能求出理论下的消隐点三角形的垂心，其中V₁＝(x_m1，y_m1，1)、V₂＝(x_m2，y_m2，1)、V₃＝(x_m3，y_m3，1)表示直角坐标平面上三个消隐点的齐次坐标(此处的三个理论消隐点和步骤4中求出的三个优化后得到的消隐点A、B、C是不同的)；到此，消隐点坐标和垂心坐标都为已知，利用两点间距离公式，能够求出消隐点的极径，再利用极坐标系与直角坐标系之间的关系：

就能由极坐标得到直角坐标；因而实现了本步的目的，即从畸变图像中获取消隐点；

步骤3、在消隐点的正交约束条件下，获得目标函数最小值时所对应的三个消隐点优化坐标；

本发明实施例中，由步骤2得到的三个消隐点V₁、V₂、V₃所对应的单位向量分别为l、m、n；根据消隐点的属性，即空间三条两两正交的直线在图像平面上形成三个消隐点，与三个消隐点相关的三个单位向量也两两正交，可得到约束条件：

其中，l表示第一个消隐点V₁所对应的单位向量，m表示第二个消隐点V₂所对应的单位向量，n表示第三个消隐点V₃所对应的单位向量；

因为在离散化的过程中会使得数据出现不可避免的偏差，因此建立目标函数，具体公式如下：

Min y＝||n-l×m|| (2)

其中，y表示目标函数；

该目标函数的意义是任意两个消隐点所对应的单位向量的叉乘与第三个消隐点所对应的单位向量之差的向量差的模，我们的目标函数就是要求得最小的模；

本发明实施例中，由步骤2得到的三个消隐点只是理论上的消隐点，但是由于离散误差的原因，导致实际结果与理论结果有偏差。因此在在对结果进行优化时，将由极角直方图得到的峰值周围的点，分别带到上述目标函数中，采用LM算法求解目标函数最小值时所对应的三个消隐点优化坐标A(x_n1，y_n1)、B(x_n2，y_n2)、C(x_n3，y_n3)；即为所要精确求得的消隐点；

步骤4、根据所获三个消隐点优化坐标，获得广角摄像机参数和畸变系数，完成广角摄像机的标定，具体如下：

步骤4-1、根据所获三个消隐点优化坐标A(x_n1，y_n1)、B(x_n2，y_n2)、C(x_n3，y_n3)，获得该三点所构成三角形的垂心，即获得优化后的校正图像的中心(x₁，y₁)；

步骤4-2、将优化后的校正图像的中心(x₁，y₁)与原始的畸变图像的中心(x₀，y₀)进行比较，获得摄像机参数矩阵中的偏移量，进而获得相机参数矩阵；

其中，A表示相机参数矩阵，x方向偏移量Δx＝x₁-x₀，y方向偏移量Δy＝y₁-y₀，(x₁，y₁)表示优化后的校正图像的中心，(x₀，y₀)表示原始的畸变图像的中心，dx、dy分别代表沿x，y方向上单位像素间的距离；

本发明实施例中，f表示广角摄像机的焦距，利用光学成像原理和几何关系得：

其中，A(x_n1，y_n1)、B(x_n2，y_n2)、C(x_n3，y_n3)系由步骤4.1优化得来的三个消隐点，利用上述公式即可得到f；

步骤4-3、根据优化后的校正图像的中心与原始的畸变图像的中心，获得畸变系数。

本发明实施例中，在只考虑广角镜头径向畸变的情况下，假设径向畸变模型为：

r_d＝f_u(r_u，k) (13)

公式(13)是将平面图像通过非线性映射成畸变图像，其中，

为畸变图像中的坐标)，f_u表示径向畸变函数，

为校正后图像中的坐标)，k表示畸变系数。

当已知畸变参数时，采用公式(13)求逆得到畸变校正函数，如下：

r_u＝f_u ^-1(r_d) (14)

公式(14)也可以表示为：

r_u＝δ_d(r_d) (15)

其中，δ_d＝f_u ^-1。

根据公式(15)可以得到畸变图像点x对应的校正图像点x′(x和x′表示图像中的任意一点，不一定为图像中心)为：

x′＝δ_d(A，k，x) (16)

其中，A表示相机参数矩阵；

根据径向畸变公式：

可以得到畸变系数：

其中δ_x＝x′-x，δ_y＝y′-y。

Claims (2)

1.一种广角摄像机的标定方法，其特征在于，包括以下步骤：

步骤1、对畸变图像进行初始校正；

步骤2、从初始校正后的畸变图像中获取消隐点；

步骤3、在消隐点的正交约束条件下，获得目标函数最小值时所对应的三个消隐点优化坐标；所述的消隐点的正交约束条件，具体公式如下：

其中，l表示第一个消隐点的单位向量，m表示第二个消隐点的单位向量，n表示第三个消隐点的单位向量；

所述的目标函数具体公式如下：

Min y＝||n-l×m|| (2)

其中，y表示目标函数；

将由极角直方图得到的峰值周围的点，分别带到上述目标函数中，采用LM算法求解目标函数最小值时所对应的三个消隐点优化坐标A(x_n1,y_n1)、B(x_n2,y_n2)、C(x_n3,y_n3)；

步骤4、根据所获三个消隐点优化坐标，获得广角摄像机参数和畸变系数，完成广角摄像机的标定；包括：

步骤4-1、根据所获三个消隐点优化坐标，获得该三点所构成三角形的垂心，即获得优化后的校正图像的中心；

步骤4-2、将优化后的校正图像的中心与原始的畸变图像的中心进行比较，获得摄像机参数矩阵中的偏移量，进而获得相机参数矩阵；

其中，A表示相机参数矩阵，Δx＝x₁-x₀，Δy＝y₁-y₀，(x₁,y₁)表示优化后的校正图像的中心，(x₀,y₀)表示原始的畸变图像的中心，f表示广角摄像机的焦距；

步骤4-3、根据优化后的校正图像的中心与原始的畸变图像的中心，获得畸变系数。

2.根据权利要求1所述的广角摄像机的标定方法，其特征在于，步骤2所述的从初始校正后的畸变图像中获取消隐点，具体如下：

步骤2-1、采用canny算法检测畸变图像中的边缘；

步骤2-2、根据畸变图像所检测边缘上像素点的灰度，获得该点的离散灰度梯度和该点的离散梯度方向角；

步骤2-3、判断线条上的像素点个数是否大于设定个数，且上述像素点的像素灰度梯度方向角是否均在离散化的角度范围内，若是，则保留满足条件的线条构成直线组，否则删除；

步骤2-4、确定畸变图像中直线组在图像外的所有交点，并绘制交点的极角直方图，获取直方图中峰值最大的三个点所对应的横坐标，即为相应消隐点在极坐标系下的极角；

步骤2-5、根据消隐点垂心约束条件获得消隐点所对应的极径大小，再将极坐标系下的坐标转换到直角坐标系下，完成消隐点的获取。

Images