CN106558080B - 一种单目相机外参在线标定方法 - Google Patents

Abstract

本发明公开了一种单目相机外参在线标定系统，其包括：直线检测模块、车道提取模块、FPR模块、最优值迭代模块、外参结果输出模块；直线检测模块获取输入的红外图像中有效直线位置；车道提取模块在可能出现的车道位置进行有效直线的搜索确定；FPR模块通过成像原理对车道进行透视变换的去除；最优值迭代模块通过循环迭代使适合度函数达到最优，得到与实际值误差最小的角度；外参结果输出模块用于对最优迭代后获得的角度进行输出。本发明无需使用标定物，减少了外界因素对标定精度的影响；计算过程中只依赖车道直线信息，方法灵活性强，可对相机进行在线定标；并且计算过程中无需外部设备控制、无需严苛的实验条件，具备实现简单、便捷的特点。

Description

一种单目相机外参在线标定方法

技术领域

本发明属于相机标定技术领域，涉及一种单目相机外参在线标定系统及方法。

背景技术

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及方法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。

相机标定方法有：传统相机标定法、主动视觉相机标定方法、相机自标定法。

传统相机标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的方法获得相机模型的内外参数。根据标定物的不同可分为三维标定物和平面型标定物。三维标定物可由单幅图像进行标定，标定精度较高，但高精密三维标定物的加工和维护较困难。平面型标定物比三维标定物制作简单，精度易保证，但标定时必须采用两幅或两幅以上的图像。传统相机标定法在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物也限制了传统相机标定法的应用。

基于主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定。该方法不需要标定物，但需要控制相机做某些特殊运动，利用这种运动的特殊性可以计算出相机内部参数。基于主动视觉的相机标定法的优点是方法简单，往往能够获得线性解，故鲁棒性较高，缺点是系统的成本高、实验设备昂贵、实验条件要求高，而且不适合于运动参数位置或无法控制的场合。

目前出现的自标定方法中主要是利用相机运动的约束。相机的运动约束条件太强，因此使得其在实际中并不实用。利用场景约束主要是利用场景中的一些平行或者正交的信息。其中空间平行线在相机图像平面上的交点被称为消失点，它是射影几何中一个非常重要的特征，所以很多学者研究了基于消失点的相机自标定方法。但由于它是基于绝对二次曲线或曲面的方法，其方法鲁棒性差。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：客服现有技术中的缺陷，提供一种单目相机外参在线标定系统及方法，提高标定精度。

(二)技术方案

为了解决上述技术问题，本发明提供一种单目相机外参在线标定系统，其包括：直线检测模块、车道提取模块、FPR模块、最优值迭代模块、外参结果输出模块；直线检测模块获取输入的红外图像中有效直线位置；车道提取模块在可能出现的车道位置进行有效直线的搜索确定；FPR模块通过成像原理对车道进行透视变换的去除；最优值迭代模块通过循环迭代使适合度函数达到最优，得到与实际值误差最小的角度；外参结果输出模块用于对最优迭代后获得的滚转角、俯仰角和偏航角进行输出。

其中，所述外参结果输出模块中还包括告警输出模块，用于通过统计时间轴上各帧图像的标定外参，统计一个趋于稳定的最终值，并对超出预设值的角度值输出告警信号。

本发明还提供一种单目相机外参在线标定方法，其包括以下步骤：

S1：对红外相机输入的实时图像进行直线检测；

S2：从检测得到的直线中进行车道提取；

S3：对提取的车道进行透视变换的去除，得到所计算外参，并对外参进行最优值迭代，获得最优值迭代后的滚转角、俯仰角和偏航角进行输出。

其中，所述步骤S1中，直线检测的过程为：首先，从红外相机输入的实时图像中获取图像中与周边区域差异明显的特征点；之后，通过将图像坐标转换到极坐标系，每个特征点分别转换为极坐标中一条直线，有三条或者以上的直线交于一点时，它们对应的图像坐标系中的点即在一条直线上，据此获取到原坐标系中的直线位置。

其中，所述步骤S1中，特征点提取通过Canny算法或Fast算法获得。

其中，所述步骤S1中，坐标变换通过Hough变换进行。

其中，所述步骤S2中，车道提取时，通过限制直线方向、直线长度和直线位置，以获得精准的车道线。

其中，所述步骤S3中，透视变换的去除的过程为：

(1)成像模型建立

定义P_w为世界坐标系中一点，P_w＝[x_wy_wz_w 1]′；

其对应图像中点为P_i，P_i＝[x_iy_i 1]′；

根据成像公式有：

P_i＝M_in·M_ex·P_w

对应地：

其中，M_in为相机内参矩阵，参数包括图像中心点坐标(c_x,c_y)，镜头在x和y方向上的焦距(f_x,f_y)，M_ex为相机外参矩阵，由旋转矩阵 R和平移矩阵T组合得到；R中参数为滚转角、俯仰角和偏航角，分别对应公式中的ω,

和τ；

矩阵T为相机对世界坐标系原点的平移矩阵，以地面上相机的垂直投影点为坐标原点，则有：

其中，t_z即为相机的安装高度；

(2)透视变换移除

用M表示M_in·M_ex的计算结果，可得出：

此处的z_w等价于t_z，上式继续变形为：

即：P_i＝M′·P_w

P_i为图像中点，P_w为对应的世界坐标系中点，根据直线方程 Ax+By+C＝0，可分别在世界坐标系和图像坐标系中得到对应的两条直线：

l′_W＝l′_i·M′

其中，l_i为图像中的直线参数，l_w为对应的世界坐标系中的直线参数，至此，完成由成像模型到FPR的逆向计算过程。

其中，所述步骤S3中，最优值迭代使用牛顿法进行外参的优化迭代，对FPR计算得出的外参进行优化迭代，每次迭代以上一次的输出的三个外参角度再次作为输入，当目标函数达到最优后迭代终止。使用常见的牛顿法进行外参的优化。

其中，所述步骤S3中，最优值迭代的迭代函数为：

P_k+1＝P_k-vf(P_k)·(Hf(P_k))^-1

K表示迭代次数，P_k为要求取的参数集，即

)，f(P_k)为目标函数，vf(P_k)为目标函数的一阶梯度向量，Hf(P_k)为目标函数的汉森矩阵；

目标函数f(P_k)定义为FPR之后的直线斜率平方和，当外参数为真实值时，f(P_k)应无限接近于0；

(三)有益效果

上述技术方案所提供的单目相机外参在线标定系统及方法，基于单目相机的在线标定方式，无需使用标定物，因此减少了外界因素对标定精度的影响；计算过程中只依赖车道直线信息，方法灵活性强，可对相机进行在线定标；并且计算过程中无需外部设备控制、无需严苛的实验条件，具备实现简单、便捷的特点。

附图说明

图1为本发明实施例标定系统的总体框架图示。

图2为本发明实施例中直线检测模块的结构图示。

图3为本发明实施例中车道提取模块的结构图示。

图4为本发明实施例中FPR模块的计算流程图。

图5和图6为FPR前后结果对比图，图5中两条实线为检测到的车道线，图6为经过一次FPR计算后的结果，两条直线已经接近于平行，更新后的外参作为输入值参与下一次迭代计算。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

针对红外相机在车辆辅助驾驶中的应用，本发明提供了一种能够进行相机外参自动标定的系统及方法，实时的得到相机安装的滚转角、俯仰角和偏航角，为后续可能存在的识别等模块提供数据保障。

本发明以红外相机的实时图像作为主要输入，辅助以相机的内参信息。红外图像以30帧的帧频输入方法，自标定方法以实时速度进行相机外参的在线标定，以获取当前相机的安装角度信息。

本发明能够对车载相机外参包括滚转角、俯仰角和偏航角进行实时标定。作为单目的外参自标定，本发明的适用场合需有所限定：

(1)在场景中须有可识别的车道标记，作为标定的定量输入；

(2)道路需平坦，且车辆为直线行驶；

(3)车辆行驶的方向需和车道保持平行。

本发明的相机外参自标定系统主要由直线检测模块、车道提取模块、FPR(FastPerspective Removal去透视变换)模块、最优值迭代模块、外参结果输出模块等组成。直线检测模块获取输入的红外图像中有效直线位置；车道提取模块在可能出现的车道位置进行有效直线的搜索确定；FPR模块通过成像原理对车道进行透视变换的去除；最优值迭代通过循环迭代使适合度函数达到最优，此时的角度输出与实际值误差也最小；外参结果输出模块用于对最优迭代后获得的滚转角、俯仰角和偏航角进行输出。外参结果输出模块中还包括告警输出模块，用于通过统计时间轴上各帧图像的标定外参，统计一个趋于稳定的最终值，并对超出预设值的角度值输出告警信号。

基于本实施例标定系统的标定方法步骤为：(1)对红外相机输入的实时图像进行直线检测；(2)从检测得到的直线中进行车道提取； (3)对提取的车道进行透视变换的去除，得到所计算外参，并对外参进行优化迭代，获得最优迭代后的滚转角、俯仰角和偏航角进行输出

如图2所示，直线检测模块目的是在图像中提取包含车道线在内的直线位置，包括特征检测、坐标系变换两个步骤。

首先获取到图像中与周边区域差异较明显的特征点，可通过 Canny、Fast等快速特征点计算方法获得。之后，通过将图像坐标转换到极坐标系，每个特征点分别转换为极坐标中一条直线，有三条或者以上的直线交于一点时，它们对应的图像坐标系中的点即在一条直线上，据此即可获取到原坐标系中的直线位置，此过程采用经典的 Hough变换。

上述检测得到的直线中会存在很多的非车道干扰线，车道线提取模块依据车道位置出现的合理性、车道在图像中的方向等信息从候选的直线群中挑选出正确的车道直线。因为车道位置是后续的计算基础，每帧图像中只要检测出一条车道即可计算得出一组外参数据，最终的计算结果是上百甚至数千组结果的综合值，因此限制条件的设置原则是宁紧勿松。

下图3为车道提取的条件限制示意，具体限制条件包括：

·直线方向：限制直线斜率大小，其对应值应和图像中车道方向一致

·直线长度：设置检测到车道长度的最小值，排除非车道物体造成的小干扰

·直线位置：根据实际的车道位置，限制其在图像中的对应位置。例如不能超过图像的中间行位置

至此，我们可得到比较精准的车道线，如图5中左边图像中蓝色实线所示。

FPR(快速去透视，FastPerspectiveRemoval)模块是本发明的核心模块。其工作原理为在世界坐标系中和车辆平行的车道在图像去透视效果之后仍应保持平行状态，用数学描述即为其斜率应接近于0。

图4为FPR模块的工作流程图，其包括以下步骤：

(1)成像模型建立

FPR的基础是相机成像原理。假设P_w为世界坐标系中一点，

P_w＝[x_wy_wz_w 1]′

其对应图像中点为P_i，

P_i＝[x_iy_i 1]′

根据成像公式有：

P_i＝M_in·M_ex·P_w

对应下式：

其中，M_in为相机内参矩阵，参数包括图像中心点坐标(c_x,c_y)，镜头在x和y方向上的焦距(f_x,f_y)。M_ex为相机外参矩阵，由旋转矩阵 R和平移矩阵T组合得到。R中参数即为本发明所求的滚转角、俯仰角和偏航角，分别对应公式中的ω,

和τ。

矩阵T为相机对世界坐标系原点的平移矩阵。在计算中，以地面上相机的垂直投影点为坐标原点，则有：

其中，t_z即为相机的安装高度。

(2)透视变换移除

了解了成像原理之后，就可以对成像公式继续推导优化。用M表示M_in·M_ex的计算结果，可得出

因为以相机的地面垂直投影点为坐标原点，所以此处的z_w等价于 t_z。上式继续变形为：

即

P_i＝M‘·P_w

上面提到，P_i为图像中点，P_w为对应的世界坐标系中点，根据直线方程Ax+By+C＝0，可分别在世界坐标系和图像坐标系中得到对应的两条直线。

l′_w＝l′_i·M‘

其中，l_i为图像中的直线参数，l_w为对应的世界坐标系中的直线参数。至此，则完成了由成像模型到FPR的逆向计算过程。

(3)最优值迭代

最优值迭代模块借助于牛顿法的思想，对FPR计算得出的外参进行优化迭代。每次迭代以上一次的输出的三个外参角度再次作为输入，当目标函数达到最优后迭代终止。使用常见的牛顿法进行外参的优化迭代。迭代函数：

P_k+1＝P_k-vf(P_k)·(Hf(P_k))^-1

K表示迭代次数，P_k为要求取的参数集(即

)，f(P_k)为目标函数，vf(P_k)为目标函数的一阶梯度向量，Hf(P_k)为目标函数的汉森矩阵。

目标函数f(P_k)定义为FPR之后的直线斜率平方和。当外参数为真实值时，f(P_k)应无限接近于0。

实际标定过程中，因为路面可能存在的颠簸或者其他情况，该过程存在不收敛的情况，此时可通过设置最大迭代次数防止系统进入无限循环状态。

该模块的重点设置包括：

(1)初始值设定

初始值作为系统的输入参数，合理的输入值能保证更快的收敛速度和更高的计算精度。在本发明中，可将上一次已知的系统状态作为初始输入，或者在系统状态完全未知的情况下，可将初始值全部设置为0。

(2)结束条件

在本发明中，通过限制目标函数的计算精度和迭代次数来结束系统运行。

与现有技术相比，本发明的优点在于：

(1)可以一次性的得出相机的外参：滚转角、偏航角和俯仰角

(2)只需要用单目相机即可进行标定，无需进行复杂的目标定位等过程。

(3)可以在线进行标定，良好的实时性能让使用者根据标定结果第一时间发现相机的位置偏差，因此可避免一些因为矫正延迟造成的损失。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种单目相机外参在线标定方法，其特征在于，包括以下步骤：

S1：对红外相机输入的实时图像进行直线检测；

S2：从检测得到的直线中进行车道提取；

S3：对提取的车道进行透视变换的去除，得到所需计算的外参，并对外参进行最优值迭代，获得最优值迭代后的滚转角、俯仰角和偏航角进行输出；

所述步骤S1中，直线检测的过程为：首先，从红外相机输入的实时图像中获取图像中与周边区域差异明显的特征点；之后，通过将图像坐标转换到极坐标系，每个特征点分别转换为极坐标中一条直线，有三条或者以上的直线交于一点时，它们对应的图像坐标系中的点即在一条直线上，据此获取到原坐标系中的直线位置；

所述步骤S3中，透视变换的去除的过程为：

(1)成像模型建立

定义P_W为世界坐标系中一点，P_W＝[x_wy_wz_w 1]′；

其对应图像中点为P_i，P_i＝[x_iy_i 1]′；

根据成像公式有：

P_i＝M_in·M_ex·P_w

对应地：

其中，M_in为相机内参矩阵，参数包括图像中心点坐标(c_x,c_y)，镜头在x和y方向上的焦距(f_x,f_y)，M_ex为相机外参矩阵，由旋转矩阵R和平移矩阵T组合得到；R中参数为滚转角、俯仰角和偏航角，分别对应公式中的ω,

和τ；

矩阵T为相机对世界坐标系原点的平移矩阵，以地面上相机的垂直投影点为坐标原点，则有：

其中，t_z即为相机的安装高度；

(2)透视变换移除

用M表示M_in·m_ex的计算结果，可得出：

此处的z_w等价于t_z，上式继续变形为：

即：P_i＝M‘·P_w

P_i为图像中点，P_w为对应的世界坐标系中点，根据直线方程Ax+By+C＝0，可分别在世界坐标系和图像坐标系中得到对应的两条直线：

l'_w＝l'_i·M'

其中，l'_i为图像中的直线参数，l'_w为对应的世界坐标系中的直线参数，至此，完成由成像模型到FPR的逆向计算过程；

所述步骤S3中，最优值迭代使用牛顿法进行外参的优化迭代，对FPR计算得出的外参进行优化迭代，每次迭代以上一次的输出的三个外参角度再次作为输入，当目标函数达到最优后迭代终止，使用常见的牛顿法进行外参的优化。

2.如权利要求1所述的单目相机外参在线标定方法，其特征在于，所述步骤S1中，特征点提取通过Canny算法或Fast算法获得。

3.如权利要求2所述的单目相机外参在线标定方法，其特征在于，所述步骤S1中，坐标变换通过Hough变换进行。

4.如权利要求1所述的单目相机外参在线标定方法，其特征在于，所述步骤S2中，车道提取时，通过限制直线方向、直线长度和直线位置，以获得精准的车道线。

5.如权利要求4所述的单目相机外参在线标定方法，其特征在于，所述步骤S3中，最优值迭代的迭代函数为：

P_k+1＝P_k-vf(P_k)·(Hf(P_k))^-1

k表示迭代次数，P_k为要求取的参数集，即

f(P_k)为目标函数，vf(P_k)为目标函数的一阶梯度向量，Hf(P_k)为目标函数的汉森矩阵；

目标函数f(P_k)定义为FPR之后的直线斜率平方和，当外参数为真实值时，f(P_k)应无限接近于0；

Images