CN105513056A - 车载单目红外相机外参自动标定方法 - Google Patents

Abstract

本发明涉及一种车载单目红外相机外参自动标定方法，属于图像处理技术领域。本发明运用计算速度很快的FAST特征提取图像的特征点，运用特征光流追踪计算出特征的匹配点，进而对特征集和外点进行筛选、剔除，最后运用霍夫变换投影矩阵在时间轴累加计算最优极值点，即最终输出的消失点，从而有效解决了车载红外相机在线自动标定问题。

Description

车载单目红外相机外参自动标定方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种车载单目红外相机外参自动标定方法。

背景技术

相机在厂装配时都会进行标定，以确定相机的外参数符合使用条件。通常，在厂测试标定是利用合作目标，即标准的相机标定板进行的标定。它的优点是精度高，且方便快捷，但缺点是需要合作目标，且对标定的环境条件要求高。出厂时，相机完成标定后，系统会将准确的标定参数记录在相机头内的存储器中，后续的使用过程中可以直接从相机头存储器中读取得到相机各类参数。但是，当车辆在行驶过程中发生碰撞，或因为震动而产生安装位置或角度偏移后，已有的标定外参数将不再适合当前的相机状态。而重新返厂标定将对车辆的使用产生很大的不便，因为很多时候客户或驾驶员并不清楚什么时候相机发生了偏移。因此需要车载夜视辅助驾驶系统能够在驾驶过程中进行相机自动标定。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种基于连续图像的车载红外相机外参自动标定技术，使得相机外部参数(包括俯仰角、偏航角)可以在汽车的前进过程中自动标定，以便更好的适应发生碰撞或长期震动后相机安装角度出现偏移的状况。

(二)技术方案

为了解决上述技术问题，本发明提供了一种车载单目红外相机外参自动标定方法，包括以下步骤：

S1、初始化累计霍夫变换投影矩阵D为0；

S2、初始化帧间霍夫变换投影矩阵D(k,p)，p表示图像中的像素，k表示帧号；

S3、对于当前输入图像，在ROI区域内匹配追踪特征点集得到匹配特征点集N为特征点的数量；所采用的特征点集中的特征点为FAST特征点；

S4、对于N个匹配点对，每一对匹配的特征点形成一条直线，即对应N条直线，任意两条不平行的直线计算出一个交点，该交点为光轴消失点候选点，N个匹配点对，最多得到条直线；

S5、对任意一条直线计算其与输入图像平面相交的像素点，对于相交像素点p，其帧间霍夫变换投影矩阵D(k,p)加1；

S6、二值化D(k,p)：对于每两帧之间的投影矩阵D(k,p)中的任意元素，如果其值大于0.7N，二值化为1，否则为0，二值化后的帧间投影矩阵为D’(k)；

S7、更新累计霍夫变换投影矩阵为D+D’(k)；

S8、求取D+D’(k)的极大值点输出：如果极大值点不唯一，则进行曲面拟合，求拟合后曲面的顶点，作为当前的消失点VP_k；

S9、判断是否满足收敛条件，如果满足，则结束标定；如果不满足，则进行特征集筛选后返回步骤S3继续下一帧图像标定流程。

优选地，步骤S9的收敛条件为：

如果累计霍夫变换投影矩阵的极大值点，其累计值连续10帧大于总标定帧数的80％，则认为当前结果已经收敛；否则，不收敛。

优选地，步骤S3中确定特征点集时，检验当前匹配追踪的特征点集的覆盖率，如果其包络面对输入图像ROI区域的覆盖率小于输入图像的1/3，则放弃当前匹配追踪的特征点集重新计算输入图像的特征点集。

优选地，步骤S9中进行特征集筛选的步骤为：

计算出每一个采样点的位移矢量

${\stackrel{\‾}{S}}_i={\stackrel{\‾}{B}}_{k+1}^i-{\stackrel{\‾}{A}}_k^i,i=1~N$

对于任意点对其位移矢量为

如果超出了输入图像的ROI边界，则在当前特征集中删除点以上一帧所得到的消失点VP_k-1作为参考点，如果VP_k-1到所表示直线的距离大于预设阈值，说明当前匹配点对为误匹配，则在当前特征点集中删除

优选地，步骤S8中曲面拟合的方法为最小二乘法。

(三)有益效果

本发明运用计算速度很快的FAST特征提取图像的特征点，运用特征光流追踪计算出特征的匹配点，进而对特征集和外点进行筛选、剔除，最后运用霍夫变换投影矩阵在时间轴累加计算最优极值点，即最终输出的消失点，从而有效解决了车载红外相机在线自动标定问题。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合实施例，对本发明的具体实施方式作进一步详细描述。

红外夜视辅助驾驶系统的重要作用就是目标检测及告警，而目标状态的估计准确性直接依赖于相机参数的准确性。因此相机的外部参数标定对于车载辅助驾驶系统来说至关重要，尤其是相机的俯仰角和偏航角，本发明所针对的情况为车载红外夜视辅助驾驶系统中的相机自动标定，系统所采用的相机为定焦相机。当假设相机在相邻两帧图像间隔时间内是前后平移运动的，那么图像特征点匹配的结果必然是以消失点为中心发散的。所以，本发明的在线标定方法的核心是解决消失点准确计算问题。为准确计算消失点，需要解决图像特征点快速提取和匹配跟踪、外点剔除、特征集筛选、霍夫变换投影矩阵计算、极大值寻优等问题。本发明运用计算速度很快的FAST特征提取图像的特征点，运用特征光流追踪计算出特征的匹配点，进而对特征集和外点进行筛选、剔除，最后运用霍夫变换投影矩阵在时间轴累加计算最优极值点，即最终输出的消失点，从而有效解决了车载红外相机在线自动标定问题。

本发明提供的一种车载单目红外相机外参自动标定方法，包括以下步骤：

S1、初始化累计霍夫变换(HoughTransform)投影矩阵D为0；

S2、初始化帧间霍夫变换投影矩阵D(k,p)，p表示图像中的像素，k表示帧号；

S3、对于当前输入图像，在ROI区域内确定待匹配追踪的特征点集对特征点集进行匹配追踪得到匹配特征点集N为特征点的数量；所采用的特征点集中的特征点为FAST特征点，FAST特征具有提取计算速度快的优点；确定特征点集时，检验当前匹配追踪的特征点集的覆盖率，如果其包络面对输入图像ROI区域的覆盖率小于输入图像的1/3，则放弃当前匹配追踪的特征点集重新计算输入图像的特征点集。

S4、对于N个匹配点对，每一对匹配的特征点形成一条直线，即对应N条直线，任意两条不平行的直线计算出一个交点，该交点为光轴消失点(VanishingPoint)候选点，N个匹配点对，最多得到条直线；

S5、对任意一条直线计算其与输入图像平面相交的像素点，对于相交像素点p，其帧间霍夫变换投影矩阵D(k,p)加1；

S6、二值化D(k,p)：一般情况下，D(k,p)中的极大值点非唯一的。所以对于每两帧之间的投影矩阵D(k,p)中的任意元素，如果其值大于0.7N，二值化为1，否则为0，二值化后的帧间投影矩阵为D’(k)；

S7、更新累计霍夫变换投影矩阵为D+D’(k)；

S8、求取D+D’(k)的极大值点输出：如果极大值点不唯一，则进行最小二乘法曲面拟合，求拟合后曲面的顶点，作为当前的消失点VP_k；

S9、判断是否满足收敛条件，如果满足，则结束标定；如果不满足，则进行特征集筛选后返回步骤S3继续下一帧图像标定流程。

步骤S9的收敛条件为：

如果累计霍夫变换投影矩阵的极大值点，其累计值连续10帧大于总标定帧数的80％，则认为当前结果已经收敛；否则，不收敛。

步骤S9中进行特征集筛选的步骤为：

计算出每一个采样点的位移矢量

${\stackrel{\‾}{S}}_i={\stackrel{\‾}{B}}_{k+1}^i-{\stackrel{\‾}{A}}_k^i,i=1~N$

对于任意点对其位移矢量为

如果超出了输入图像的ROI边界，则在当前特征集中删除点以上一帧所得到的消失点VP_k-1作为参考点，如果VP_k-1到所表示直线的距离大于预设阈值，说明当前匹配点对为误匹配，则在当前特征点集中删除

本发明的应用方式如下：

1、选择一段较长的直线平滑道路作为相机标定路段，假设车辆在平直的道路上以一定的速度直线平滑行驶不小于5分钟；并假设相机的内部参数准确已知，包括焦距、像元尺寸和图像大小；

2、从某一运行时刻，启动相机自动标定程序；

3、自动标定程序实时进行特征集匹配追踪，计算帧间投影矩阵；如果当前匹配追踪特征集的基数小于一定阈值，则重新在当前帧计算特征点集；

4、累加计算投影矩阵D；

5、重复(3)(4)，直到收敛或手动结束标定程序；

6、系统根据消失点计算结果，重新计算俯仰角和偏航角，并提示客户，以确认标定数据正确；

7、确认标定成功，数据装订。重新标定的相机俯仰角和偏航角外参数，需装订到相机存储器中，覆盖原来的参数。

可以看出，本发明针对车载红外相机外参数的自动标定需求，开发了在线标定算法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种车载单目红外相机外参自动标定方法，其特征在于，包括以下步骤：

S1、初始化累计霍夫变换投影矩阵D为0；

S2、初始化帧间霍夫变换投影矩阵D(k,p)，p表示图像中的像素，k表示帧号；

S3、对于当前输入图像，在ROI区域内确定待匹配追踪的特征点集对特征点集进行匹配追踪得到匹配特征点集N为特征点的数量；所采用的特征点集中的特征点为FAST特征点；

S4、对于N个匹配点对，每一对匹配的特征点形成一条直线，即对应N条直线，任意两条不平行的直线计算出一个交点，该交点为光轴消失点候选点，N个匹配点对，最多得到条直线；

S5、对任意一条直线计算其与输入图像平面相交的像素点，对于相交像素点p，其帧间霍夫变换投影矩阵D(k,p)加1；

S6、二值化D(k,p)：对于每两帧之间的投影矩阵D(k,p)中的任意元素，如果其值大于0.7N，二值化为1，否则为0，二值化后的帧间投影矩阵为D’(k)；

S7、更新累计霍夫变换投影矩阵为D+D’(k)；

S8、求取D+D’(k)的极大值点输出：如果极大值点不唯一，则进行曲面拟合，求拟合后曲面的顶点，作为当前的消失点VP_k；

S9、判断是否满足收敛条件，如果满足，则结束标定；如果不满足，则进行特征集筛选后返回步骤S3继续下一帧图像标定流程。

2.如权利要求1所述的方法，其特征在于，步骤S9的收敛条件为：

如果累计霍夫变换投影矩阵的极大值点，其累计值连续10帧大于总标定帧数的80％，则认为当前结果已经收敛；否则，不收敛。

3.如权利要求1所述的方法，其特征在于，步骤S3中确定特征点集时，检验当前匹配追踪的特征点集的覆盖率，如果其包络面对输入图像ROI区域的覆盖率小于输入图像的1/3，则放弃当前匹配追踪的特征点集重新计算输入图像的特征点集。

4.如权利要求1所述的方法，其特征在于，步骤S9中进行特征集筛选的步骤为：

计算出每一个采样点的位移矢量

${\stackrel{\‾}{S}}_i={\stackrel{\‾}{B}}_{k+1}^i-{\stackrel{\‾}{A}}_k^i,i=1~N$

对于任意点对其位移矢量为

如果超出了输入图像的ROI边界，则在当前特征集中删除点以上一帧所得到的消失点VP_k-1作为参考点，如果VP_k-1到所表示直线的距离大于预设阈值，说明当前匹配点对为误匹配，则在当前特征点集中删除

5.如权利要求1至4中任一项所述的方法，其特征在于，步骤S8中曲面拟合的方法为最小二乘法。