CN107437264A - 车载相机外部参数自动检测与校正方法 - Google Patents

Abstract

本发明公开了一种车载相机外部参数自动检测与校正方法，包括S1在车载相机应用启动后，拍摄一张实景图片，该实景图片包含有初始状态时的车体固定部分的图像；对该实景图片进行特征点提取，并调出存储单元中初始图像车体固定部位特征点集的信息；将提取的实景图片的特征点与初始图像车体固定部位特征点集的信息进行特征点匹配；S2计算匹配特征点集之间的平均误差E；若平均误差E大于等于容许的误差界e时，进行步骤S3；否则进行步骤S4；S3计算车载相机外部参数误差补偿矩阵，对车载相机外部参数进行校正，并获取校正后的相机模型；S4相机应用系统应行。本发明使车载相机始终保持良好的工作状态，减少由相机位置或角度的变化而带来的误差。

Description

车载相机外部参数自动检测与校正方法

技术领域

本发明属于计算机视觉测量技术领域。具体内容是针对智能汽车视觉传感器(相机)参数标定完成后因外部原因引起位置偏移问题而提出的相机外部参数自动检测、校正方法。

背景技术

在智能车辆自动驾驶技术、工业机器人控制技术等高新技术领域，视觉测量与环境感知技术是实现智能系统感知、认知、决策与控制的技术基础和智能特性的关键，其中视觉传感器(工业相机、摄像头等)由于相对于声学传感器、毫米波雷达、激光雷达等具有信息量大、价格低、探测范围广及抗干扰能力强等优点，在上述技术领域得到了业界高度重视和广泛的应用。尤其是在目前正快速发展的智能汽车技术领域，各类视觉传感器成为车辆环境感知、车辆相对定位的必备工具，因此，车载相机参数标定相关技术也成为自动驾驶系统设计、开发与工程应用的基础。

在视觉测量技术领域，关于视觉传感器的信息处理技术(参数标定、相机畸变校正等)的研究较为充分。例如，相机内外部参数标定的典型方法有透视变换法、两步法、张正友法等，新的相机参数标定方法还在不断研究和被提出。这些方法都是在应用相机进行视觉测量之前，在特定设备条件支持下(如标定模板、灯光等)，对空间位置相对固定的相机进行多角度拍摄操作，然后再进行离线图像处理、内外部参数估计等。在相对稳定的环境下这些相机参数标定方法是可行的，但对于运动状态、条件复杂且实时性要求较高的视觉测量问题，常常会因为振动、外动冲击等原因使得相机的相对位置发生移动或偏转，导致事前标定好的相机外部参数误差增大，甚至使原标定结果失效，视觉测量难以进行。例如，车载相机(前端用于目标检测的摄像机或后端用于辅助倒车的摄像头等)应用系统在安装使用前，是需要对相机参数进行严格标定的，并依照参数标定结果进行各类应用系统设计。但是，车辆在较长时间的应用过程中，会因为道路颠簸等原因，很容易发生这种情况，尤其是智能汽车需要利用车载相机进行较精确的目标识别、环境感知和基于视觉的车辆高精定位，这种发生偏移的相机必须要重新进行外部参数标定。但是，一般情况下用户不具备再次按照车辆视觉传感器系统安装应用前的方法和流程进行参数标定的技术条件，研究提出车载相机使用过程中相对位置偏转检测及外部参数自动校正技术，是非常必要的，对于保障车载相机视觉测量与环境感知精确度，提高系统的鲁棒性能，具有明显的工程实用价值。

根据国内外科技文献和公开专利资料检索情况，目前还没有人提出安装使用后的视觉传感器(如车载相机等)，在不借助于任何标定工具(如标定板、平面或球面镜等)，不需要参照物位置坐标等信息的条件下，自动进行相机外部参数检测与校正方法。比较相近的技术有：相机外部参数自动标定方法，但这些相机外部参数自标定方法都需要除车身外的其他参照物如环形镜面、带有反射球的标准球杆等。

发明内容

有鉴于此，本发明的目的是提供一种车载相机外部参数自动检测与校正方法，当车载相机应用系统启动后，会首先进行相机位置偏移检测，若偏移量超出允许的误差范围，则系统能自动进行补偿矩阵计算和相机外部参数校正，从而使车载相机始终保持良好的工作状态，减少由相机位置或角度的变化而带来的误差，满足车辆在一般道路环境下对于环境感知可靠性的需求。

本发明的目的是通过以下技术方案来实现的，一种车载相机外部参数自动检测与校正方法，具体包括以下步骤：

S1在车载相机应用启动后，拍摄一张实景图片，该实景图片包含有初始状态时的车体固定部分的图像；对该实景图片进行特征点提取，并调出存储单元中初始图像车体固定部位特征点集的信息；将提取的实景图片的特征点与初始图像车体固定部位特征点集的信息进行特征点匹配；

S2计算匹配特征点集之间的平均误差E；若平均误差E大于等于容许的误差界e时，进行步骤S3；否则进行步骤S4；

S3计算车载相机外部参数误差补偿矩阵，对车载相机外部参数进行校正，并获取校正后的相机模型；

S4相机应用系统应行。

进一步，在步骤S1中，采用RANSAC算法将提取的实景图片的特征点与初始图像车体固定部位特征点集的信息进行特征点匹配。

进一步，所述误差补偿矩阵表示为：其中，S为误差补偿矩阵，M₁为相机内部参数矩阵；M₂为相机外部参数矩阵，ΔM₂为相机在初始位置基础上发生偏转而引起的外部参数叠加矩阵，为逆矩阵，为转置矩阵。

所述校正后的相机模型表示为：

其中，其中，(u',v')为相机位置偏转后的像平面点的坐标；b'为相机位置偏转后的像平面点到偏转后相机的光心距离，(X,Y,Z)为相机位置偏转后的像平面点对应的世界坐标系坐标，为误差补偿矩阵S的最小二乘估计矩阵。

由于采用了上述技术方案，本发明具有如下的优点：

本发明提供的车载相机外部参数自动检测与校正方法，可有效地避免原来没有有效方法而导致相机外部参数误差过大、视觉测量等应用失效的问题，也可以减少车载相机回原厂家重新检测与标定再来时间、经费等使用成本的增加。本发明对于车载相机厂家和使用者，都是非常有益、方便的。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为相机初始状态安装外部图,a为侧视图，b为后视图；

图2为随机采样过程示意图；

图3为自动检测与校正系统运行流程图。

具体实施方式

以下将结合附图，对本发明的优选实施例进行详细的描述；应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

车载相机在使用过程难免会产生位置偏移和旋转等，使得原离线标定好的相机参数误差过大而使得视觉测量等操作失效，通常处理方法是再次按照车载相机出厂前的标定方法对位置进行校对，这样不仅需要使用专用标定工具，而且需要较熟悉的专业知识，对于一般用户是难以办到的。本发明提出的思路是由厂家事先将相机标定好，并在应用系统存储单元将部分初始场景信息保存，此后，系统启动运行之前可在用户无干预的情况下自动进行位置偏移误差检测和参数校正，既保障车载相机良好的工作状态，又减少了对用户技术条件的依赖，方便使用。这种解决问题的思路和途径在其它视觉传感器应用领域同样适用。

车载相机外部参数自动检测与校正系统由车载摄相机、相机视频信号处理器、相机标定与环境感知应用软件等构成，是智能汽车自动驾驶或辅助驾驶的子系统。相机外部参数自动检测与校正方法包括以下操作步骤：

在进行相机外部参数校正前首先需进行以下操作

1、车载相机初始状态下参数标定与特征信息保存

(1)相机初始状态安装。根据智能汽车环境感知应用系统的具体需要，将相机固定在车辆适当位置(例如，便于车辆后方的道路、车辆、行人及障碍物等识别和跟踪，可在车辆尾部安装运动相机)，为了后面自动检测与参数校正的需要，要求相机安装时保证拍摄的图像区域要包含有车辆相对固定的部位(如车后部车身下方及后保险杠部分图片等)，如图1所示。

(2)相机内外部参数标定与畸变校正。利用现有的相机内外部参数标定方法，对上述位置确定的车载相机进行参数标定，得到下面的相机模型中的参数矩阵：

其中，M₁为相机内部参数矩阵；M₂为相机外部参数矩阵，由相机相对平移量与旋转量构成，表示相机坐标系相对世界坐标系的位置关系(这里不妨设世界坐标系为原点在车辆正投影的几何中心、z轴垂直于地面的车辆坐标系)；(u,v)为像素点在像平面的坐标，(X,Y,Z)为该点对应的世界坐标系坐标；b为该点到相机光心的距离，体现了像平面点的深度信息。

(3)初始场景图像特征提取与存储。相机初始位置固定并参数标定完成后，拍摄一张包含车体固定部位(如车头、保险杠等部位)的初始图像，并对初始图像进行特征点提取，将车体部位的主要特征点坐标信息同相机内外部参数矩阵信息一道，保存在车载相机参数自动检测与标定系统控制器的存储单元，供后续应用系统参数自动检测与校正时调用。

在完成上述操作后，车载相机外部参数误差在线自动检测算法，包括以下步骤：

(1)当前场景图像特征检测与匹配。车载相机应用启动后，首先在新的场景下拍摄一张实景图片，其中应包含有初始状态时的车体固定部分的图像。对此图片按照一致的算法进行特征点提取，并调出存储单元中初始图像车体固定部位特征点集的信息，按照RANSAC(RANdom SAmple Consensus)等算法进行特征点匹配，RANSAC是Fischler和Bolles于1981年提出的一种鲁棒性较强的数据拟合算法，首先在数据集中随机地选取两点来形成一条直线，再根据具体的阈值寻找所有符合该直线的内点，并通过这些内点来形成新的直线，然后再寻找所有符合新直线的内点，并反复迭代上述过程，当某一次采样使内点数量达到最大时，则将此次获得的直线估计作为该数据集的最优估计，该算法的原理如图2所示：

图2中两条虚线代表阈值范围，虚线之外的为外点，虚线之内的为内点。容易看出，在阈值范围内符合右图中的直线的点要比左图中的多，因此右图中的拟合直线要比左图中拟合直线的估计效果好。

由图2可得，RANSAC算法得到的最优估计会有很多种情况，因此当数据集很庞大时，若将所有的可能性都考虑进去，则计算量会十分巨大，于是需要确定一个合适的采样次数。设内点在集合中的概率为p，采样得到r个内点的概率为P，则有：

P＝1-(1-p^r)ⁿ

采样次数为：

一般情况下只需要保证P大于95％即可，通常n取500～1000就可以满足实际应用需求。

若此时特征点匹配失败或匹配的特征点对过少，系统应给予提示，在排除光照等因素后，可能是因为相机偏移量太大，图像超出了车体固定部分，此时可对相机进行手动调整，直到特征点匹配成功。

(2)计算匹配特征点集之间的平均误差。

当平均误差E小于容许的误差界e时(e的确定可根据相机分辨率及实际工程要求综合确定，这里详细讨论略)，说明相机相对于车辆坐标系的位置偏差在允许范围之内，可不必进行后续的自动校正流程，否则，系统进入外部参数自动校正阶段。

车载相机外部参数误差补偿矩阵计算

设车载相机位置偏转后的相机模型为：

其中，(u',v')为相机位置偏转后的像平面点的坐标；b'为该点到偏转后相机的光心距离；ΔM₂为相机在初始位置基础上发生偏转(平移与旋转)而引起的外部参数叠加矩阵。

设车载相机原始位置下的相机模型为：

其中，b＝Z_c为空间点到光心的距离；[u,v,1]^T为图像坐标点；[X,Y,Z,1]^T为世界坐标点；通常取

为车载相机的内部参数矩阵；

为车载相机的外部参数矩阵，其中R和T分别为相机坐标系相对于世界坐标系的平移与旋转矩阵。在车载相机的位置发生偏移后，相机模型变为：

其中，

再设P＝(X,Y,Z,1)^T,U＝(u,v,1)^T,U'＝(u',v',1)^T,则由(3)式和(6)式得：

为了利用N个样本点来估计未知矩阵ΔM₂，在此不妨设

M'＝M₁ΔM₂M₂＝SM₁M₂＝SM (8)

由于M₂是满秩矩阵，M₁为行满秩矩阵，故存在右逆矩阵使得：

因此，在相机偏转一定幅值范围内，存在矩阵S，使得

M'＝M₁·ΔM₂·M₂＝S·M₁·M₂＝S·M (10)

其中，矩阵S称为相机外部参数误差补偿矩阵，并可以根据上述特征点集之间的差异进行估计，基本方法如下：

根据相机模型(1)(2)得

其中，U＝(u,v,1)^T，U'＝(u',v',1)^T，P＝(X,Y,Z,1)^T，

m_i和s_i分别为M,S的行向量，i＝1,2,3。解方程组(11)得：

b'·U'＝S·b·U (12)

即

根据物理含义知，b和b'均不为零，故方程组(13)必有非零解。

当u'≠0时，可推知

当v'≠0时，可推知

当u'＝v'＝0时，可推知

下面构造能求解补偿矩阵S的方程组：

取N个上述匹配的特征点对为U_i，U_i'，(i＝1,2,...,N)。设

设

则M₁＝[H,0]，得

化简可得：

S＝H·ΔR·H^-1 (21)

其中，

设S＝(s_ij)_3×3，ΔR＝(Δr_ij)_3×3,则有：

由此可得知：

由于通常光心偏移量u₀,v₀较小，而由旋转变换矩阵可知，当旋转角Δα,Δβ,Δγ较小时，Δr₃₁≈0,Δr₃₂≈0,Δr₃₃≈1，从而在相机发生一般偏移的情况下，s_3,3≠0。

由于，在一般情况下s_3,3≠0，可设

s'_i,j＝s_i,j/s_3,3(i,j)≠(3,

W＝(s_1,1,s_1,2,s_1,3,s_2,1,s_2,2,s_2,3,s_3,1,s_3,2)^T

W'＝(s′_1,1,s′_1,2,s′_1,3,s′_2,1,s'_2,2,s'_2,3,s'_3,1,s'_3,2)^T

由此得方程K_iW＝s_3,3·C_i或K_iW'＝C_i(i＝1,2,...,N)

将此N个特征点对构成的N个方程组联立，得到下面的8个未知量、2N个方程的线性方程组：

K·W'＝C (24)

其中

当N≥4时，方程组(24)可由最小二乘算法等估计求出最优解由此构造得：

及由于|S|＝1，由此可估计从而得到补偿矩阵S的最小二乘估计矩阵

最后，将(26)式得到的估计矩阵代入(2)、(10)式，便得到校正后的相机模型：

本发明在提出了解决上述车载相机外部参数自动校正的有效算法。按照相机模型(2)式知，求解相机偏转后的相机模型参数矩阵M'＝M₁ΔM₂M₂的直接方法是求其中的外部参数增量矩阵ΔM₂，由于ΔM₂位于内部参数矩阵M₁和原外部参数矩阵M₂之间，原系统输出信息难以利用，且各特征点对应的实际空间位置坐标也不易测量等原因，使得直接求解ΔM₂非常困难。本发明提出在原相机模型矩阵基础上左乘一个实际模型中并没有的“补偿矩阵”S，并证明了补偿矩阵S的存在性及可求解条件等。在此理论分析基础上，本发明提出了只需利用原存储的特征点在像平面坐标值的相机外部参数检测与校正的有效算法。该算法步骤清晰、计算简洁，不需要任何另外的附加标定工具，不需要车辆固定部位图像特征点的位置坐标，这样便于车载相机视觉测量和环境感知嵌入式应用系统启动运行是调用，具有明显的工程应用价值和产品市场适用性。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种车载相机外部参数自动检测与校正方法，其特征在于：具体包括以下步骤：

S1在车载相机应用启动后，拍摄一张实景图片，该实景图片包含有初始状态时的车体固定部分的图像；对该实景图片进行特征点提取，并调出存储单元中初始图像车体固定部位特征点集的信息；将提取的实景图片的特征点与初始图像车体固定部位特征点集的信息进行特征点匹配；

S2计算匹配特征点集之间的平均误差E；若平均误差E大于等于容许的误差界e时，进行步骤S3；否则进行步骤S4；

S3计算车载相机外部参数误差补偿矩阵，对车载相机外部参数进行校正，并获取校正后的相机模型；

S4相机应用系统应行。

2.根据权利要求1所述的一种车载相机外部参数自动检测与校正方法，其特征在于：在步骤S1中，采用RANSAC算法将提取的实景图片的特征点与初始图像车体固定部位特征点集的信息进行特征点匹配。

3.根据权利要求1所述的一种车载相机外部参数自动检测与校正方法，其特征在于：所述误差补偿矩阵表示为：

其中，S为误差补偿矩阵，M₁为相机内部参数矩阵；M₂为相机外部参数矩阵，ΔM₂为相机在初始位置基础上发生偏转而引起的外部参数叠加矩阵，为逆矩阵，为转置矩阵。

4.根据权利要求3所述的一种车载相机外部参数自动检测与校正方法，其特征在于：所述校正后的相机模型表示为：

其中，其中，(u',v')为相机位置偏转后的像平面点的坐标；b'为相机位置偏转后的像平面点到偏转后相机的光心距离，(X,Y,Z)为相机位置偏转后的像平面点对应的世界坐标系坐标，为误差补偿矩阵S的最小二乘估计矩阵。