CN109859279A - 一种基于线特征的车载360环视系统的流水线下线标定方法 - Google Patents

Abstract

本发明公开了一种基于线特征的车载360环视系统的流水线下线标定方法，包括鱼眼相机畸变去除、透视投影图直线检测；该方法利用已标定的相机内参去除鱼眼相机的畸变，并检测图像中存在的直线；通过直接线变换法求解相机外参矩阵H；利用Rodrigues变换将外参转换为位置t及欧拉角θ并采用Levenberg‑Marquardt(LM)算法对其进行优化并统计重投影误差；最后，根据优化后的相机外参生成全景环视图、各路单视图查找表并进行存储。至此，标定完成。该方法仅利用图像中线特征完成标定工作，为车载360环视系统的标定方法开辟了新的思路。

Description

一种基于线特征的车载360环视系统的流水线下线标定方法

技术领域

本发明涉及汽车电子技术领域，特别是一种基于线特征的车载360环视系统的流水线下线标定方法。

背景技术

硬件性能的快速提升使得越来越复杂的功能可被移植入车载域控制器中。360环视系统因其可以仅利用安装于车辆前、后、左、右的四颗鱼眼相机及可生成便于驾驶员快速理解车身周围场景的环视影像，极大的提升了低速狭窄路况及泊车等工况下的驾驶安全，因此为各大主机厂所青睐。特别地，由于国内路况复杂、泊车难度大，故国内消费者对该360环视辅助系统需求尤为强烈。相应的，越来越多的国内主机厂在车辆出厂时即为车辆配备该功能。

车载360环视系统通过计算机视觉及图像处理技术将四幅存在明显畸变的鱼眼图像实时校正并合成为一幅肉眼看起来无缝的全景拼接结果。为生成精确的全景拼接结果，要求车辆在下流水线时必须进行标定，以消除全景图中的拼缝。

目前，已有许多专利用来消除全景环视系统中拼缝，以辅助驾驶员快速理解周围场景。如专利《车载全景环视的标定系统及方法》中提出了一种车载全景环视的标定方法，该方解决了全景环视系统中的摄像机外参标定问题。专利《一种车载环视系统摄像头参数标定方法》提出了一种基于3维立体标定板的方法，以消除全景环视系统中拼缝。

上述专利中所提方法均采用基于点特征的方法实现标定，确保了全景环视系统中相邻相机在位置上没有明显偏差。但基于点的标定法一般要求标定场地宽度不小于6米，以确保标定结果的准确性。然而现实中流水线宽度不一定满足该标准，故而本专利提出一种基于线特征的车载360环视系统的流水线下线标定方法。

发明内容

本发明要解决的技术问题是：提供一种基于线特征的车载360环视系统的流水线下线标定方法。

本发明采所用的技术方案是：一种基于线特征的车载360环视系统的流水线下线标定方法，包括如下步骤：

(1)鱼眼相机畸变去除

利用厂商提供的或标定的相机内参去除鱼眼相机的畸变，得到满足小孔成像原理的透视投影图像；鱼眼相机镜头一般是由十几个不同的透镜组合而成的，在成像的过程中，入射光线经过不同程度的折射，投影到尺寸有限的成像平面上，使得鱼眼镜头与普通镜头相比起来拥有了更大的视野范围，与此同时，其也引入了较大的畸变，鱼眼相机的径向畸变模型为r＝f*θ。首先将其转换为传统满足畸变模型为r＝f*tan(θ)的透视图像，详细推导过程如下：

记高宽分别为w和h的透视图像上任一点坐标为(u,v)，给定虚拟焦距f、水平及垂直视场角(fov_h,fov_v)，则该像素点在相机坐标系中的坐标为：

记ρ＝||x²+y²||，则易知其所对应相机入射角θ＝atan(ρ/z)，根据已标定的鱼眼相机径向畸变模型r＝f*θ及即可得到该像素点在理论传感器平面中的坐标，至此鱼眼相机的径向畸变已去除。进一步的，根据已标定鱼眼相机切向畸变参数A及t，即可得到该像素点对应原始鱼眼畸变图中的坐标遍历所有像素，即可得到畸变去除后的透视投影图。上述去畸变过程也可通过相机厂商的提供的畸变参数完成，本专利在此不再赘述。

(2)透视投影图直线检测

在透视投影图像中应用检测标定布中存在的直线并计算得到各直线在图像坐标系中的方程ax+by+c＝0。因待求解外参矩阵H_3×3含八个未知数，而标定工位中每条直线可列两条方程，故图像中至少需要检测4条不共线的直线才能保证应用后续直接线变换法可求解出外参矩阵初值。直线检测为目前图像处理领域的通用技术，本发明对具体的直线检测方法没有限制，故在此不再赘叙。

完成图像中直线检测后，计算得到直线方程及直线上各像素点的坐标，并判断检测到的直线是否满足数目及约束条件要求。若检测失败或检测结果不达标，则采集下一帧图像再次进行检测，直至所有需求直线均正确检测或重复次数达到阈值次为止。若所有直线均正确检测，则进行下步操作，否则标记为标定失败。

(3)世界坐标系中直线测量

通过卷尺、激光仪、量角器等测量设备精确测量标定工位中各直线端点在世界坐标系中的坐标，并据此计算出世界坐标系中各直线的方程Ax+By+C＝0。

(4)初始外参矩阵H求解

联立步骤2及步骤3中直线方程组对，通过直接线变换法求解得到初始外参矩阵H。详细求解及推导过程如下：

令点u＝(u，v，1)^T及点u′＝(u′，v′，w′)^T分别表示世界坐标系z＝0平面中及透视投影图中任意一点，则根据透视变换原理，两点间存在如公式(2)所示关系：.

u′＝Hu (2)

等式两侧同时左乘矩阵H^-1可以得到公式(3)

u＝H^-1u′ (3)

类似的，对于世界坐标系两条任意一条过点u的直线l＝(A，B，C)^T及透视投影图中过点u′的直线l′＝(a，b，c)^T，跟据点-线的对偶性，可得方程

l^Tu＝0 (4)

及方程

(l′)^Tu′＝0 (5)

将方程(3)代入方程(4)可得

l^TH^-1u′＝0 (6)

联立方程(5)及方程(6)可得

l^TH^-1＝(l′)^T (7)

也就是说

l^T＝(l′)^TH (8)

等号两侧分别取转置可得

l＝H^Tl′ (9)

定义

H_l＝H^T (10)

则由两直线共线叉积为零可知

l×(H_ll′)＝0 (11)

将公式(11)中向量及矩阵展开可得

展开公式(12)中点积乘法可得

展开公式(13)中向量叉积乘法可得

整理公式(14)可得

另x＝[R₁₁，R₁₂，t₁，R₂₁，R₂₂，t₂，R₃₁，R₃₂，t₃].则公式(15)可化为Ax＝0格式，其中，

应用SVD求解上述(超定)齐次线性方程组可得H_l＝x，根据方程(10)，最终求解得到的外参矩阵初值为H＝H_l ^T。

(5)Rodrigues变换

上述初始外参矩阵H为3×3矩阵，若直接对该矩阵采用LM算法进行优化，则变量个数为8，存在2个自由度的冗余。故需对外参矩阵H进行Rodrigues变换，得到各相机在世界坐标系中的位置t_3×1及欧拉角θ_3×1，将外参的自由度缩减为其实际包含的6自由度，以加快LM算法的收敛速度及提升其稳定性。由单应性矩阵H反向推导欧拉角θ及平移向量t时存在多组干扰解，具体求解方式可参考论文《Computing Euler angles from a rotationmatrix》。

(6)LM算法优化

构造误差函数，并将步骤(5)中位置t及欧拉角θ作为相机外参初值，采用LM算法对位置t及欧拉角θ两参数进行优化，得到优化后的位置t及欧拉角θ参数。然后，根据优化后的t及θ统计直线上像素点重投影误差Φ。若该误差小于设定阈值，则进行步骤7，否则将待优化参数加入高斯白噪声并返回至步骤6，并重复上述操作至误差小于阈值或迭代次数达到上限N为止。若误差小于阈值，则进行下步操作；若第N此迭代的重投影误差Φ仍大于设定阈值，则记为标定失败。

(7)查找表生成及存储

根据优化后的相机外参生成全景环视图、各路单视图查找表并进行存储，标定完成。

本发明的技术效果是：本发明利用已标定的相机内参去除鱼眼相机的畸变，并检测图像中存在的直线；通过直接线变换法求解相机外参矩阵H；利用Rodrigues变换将外参转换为位置t及欧拉角θ并采用Levenberg-Marquardt(LM)算法对其进行优化并统计重投影误差；最后，根据优化后的相机外参生成全景环视图、各路单视图查找表并进行存储。至此，标定完成。该方法仅利用图像中线特征完成标定工作，为车载360环视系统的标定方法开辟了新的思路，同时，为后续的车辆发生碰撞时到4S店进行维修时的免标定算法及车辆行驶过程中实时标定算法提供理论支撑。

附图说明

图1为本发明整体流程图。

具体实施方式

以下为本发明算法的详细处理流程如下：

(1)鱼眼相机畸变去除

利用厂商提供的或标定的相机内参去除鱼眼相机的畸变，得到满足小孔成像原理的透视投影图像；鱼眼相机镜头一般是由十几个不同的透镜组合而成的，在成像的过程中，入射光线经过不同程度的折射，投影到尺寸有限的成像平面上，使得鱼眼镜头与普通镜头相比起来拥有了更大的视野范围，与此同时，其也引入了较大的畸变，鱼眼相机的径向畸变模型为r＝f*θ。首先将其转换为传统满足畸变模型为r＝f*tan(θ)的透视图像，详细推导过程如下：

记高宽分别为w和h的透视图像上任一点坐标为(u,v)，给定虚拟焦距f、水平及垂直视场角(fov_h,fov_v)，则该像素点在相机坐标系中的坐标为：

记ρ＝||x²+y²||，则易知其所对应相机入射角θ＝atan(ρ/z)，根据已标定的鱼眼相机径向畸变模型r＝f*θ及即可得到该像素点在理论传感器平面中的坐标，至此鱼眼相机的径向畸变已去除。进一步的，根据已标定鱼眼相机切向畸变参数A及t，即可得到该像素点对应原始鱼眼畸变图中的坐标遍历所有像素，即可得到畸变去除后的透视投影图。上述去畸变过程也可通过相机厂商的提供的畸变参数完成，本专利在此不再赘述。

(2)透视投影图直线检测

在透视投影图像中应用检测标定布中存在的直线并计算得到各直线在图像坐标系中的方程ax+by+c＝0。。因待求解外参矩阵H_3×3含八个未知数，而标定工位中每条直线可列两条方程，故图像中至少需要检测4条不共线的直线才能保证应用后续直接线变换法可求解出外参矩阵初值。直线检测为目前图像处理领域的通用技术，本发明对具体的直线检测方法没有限制，故在此不再赘叙。

完成图像中直线检测后，计算得到直线方程及直线上各像素点的坐标，并判断检测到的直线是否满足数目及约束条件要求。若检测失败或检测结果不达标，则采集下一帧图像再次进行检测，直至所有需求直线均正确检测或重复次数达到阈值次为止。若所有直线均正确检测，则进行下步操作，否则标记为标定失败。

(3)世界坐标系中直线测量

通过卷尺、激光仪、量角器等测量设备精确测量标定工位中各直线端点在世界坐标系中的坐标，并据此计算出世界坐标系中各直线的方程Ax+By+C＝0。

(4)初始外参矩阵H求解

联立步骤2及步骤3中直线方程组对，通过直接线变换法求解得到初始外参矩阵H。详细求解及推导过程如下：

令点u＝(u，v，1)^T及点u′＝(u′，v′，w′)^T分别表示世界坐标系z＝0平面中及透视投影图中任意一点，则根据透视变换原理，两点间存在如公式(2)所示关系：.

u′＝Hu (2)

等式两侧同时左乘矩阵H^-1可以得到公式(3)

u＝H^-1u′ (3)

类似的，对于世界坐标系两条任意一条过点u的直线l＝(A，B，C)^T及透视投影图中过点u′的直线l′(a，b，c)^T，跟据点-线的对偶性，可得方程

l^Tu＝0 (4)

及方程

(l′)^Tu′＝0 (5)

将方程(3)代入方程(4)可得

l^TH^-1u′＝0 (6)

联立方程(5)及方程(6)可得

l^TH^-1＝(l′)^T (7)

也就是说

l^T＝(l′)^TH (8)

等号两侧分别取转置可得

l＝H^Tl′ (9)

定义

H_l＝H^T (10)

则由两直线共线叉积为零可知

l×(H_ll′)＝0 (11)

将公式(11)中向量及矩阵展开可得

展开公式(12)中点积乘法可得

展开公式(13)中向量叉积乘法可得

整理公式(14)可得

另x＝[R₁₁，R₁₂，t₁，R₂₁，R₂₂，t₂，R₃₁，R₃₂，t₃].则公式(15)可化为Ax＝0格式，其中，

应用SVD求解上述(超定)齐次线性方程组可得H_l＝x，根据方程(10)，最终求解得到的外参矩阵初值为H＝H_l ^T。

(5)Rodrigues变换

上述初始外参矩阵H为3×3矩阵，若直接对该矩阵采用LM算法进行优化，则变量个数为8，存在2个自由度的冗余。故需对外参矩阵H进行Rodrigues变换，得到各相机在世界坐标系中的位置t_3×1及欧拉角θ_3×1，将外参的自由度缩减为其实际包含的6自由度，以加快LM算法的收敛速度及提升其稳定性。由单应性矩阵H反向推导欧拉角θ及平移向量t时存在多组干扰解，具体求解方式可参考论文《Computing Euler angles from a rotationmatrix》。

(6)LM算法优化

构造误差函数，并将步骤(5)中位置t及欧拉角θ作为相机外参初值，采用LM算法对位置t及欧拉角θ两参数进行优化，得到优化后的位置t及欧拉角θ参数。然后，根据优化后的t及θ统计直线上像素点重投影误差Φ。若该误差小于设定阈值，则进行步骤7，否则将待优化参数加入高斯白噪声并返回至步骤6，并重复上述操作至误差小于阈值或迭代次数达到上限N为止。若误差小于阈值，则进行下步操作；若第N此迭代的重投影误差Φ仍大于设定阈值，则记为标定失败。

(7)查找表生成及存储

根据优化后的相机外参生成全景环视图、各路单视图查找表并进行存储，标定完成，车辆驶入流水线下一环节。

Claims (1)

1.一种基于线特征的车载360环视系统的流水线下线标定方法，其特征在于，所述方法包括：

步骤1：鱼眼相机畸变去除；利用厂商提供的或标定的相机内参去除鱼眼相机的畸变，得到满足小孔成像原理的透视投影图像；

步骤2：透视投影图直线检测；在透视投影图像中应用检测标定布中存在的直线并计算得到各直线在图像坐标系中的方程，在此基础上，据此方程得到直线上各像素点的坐标；若检测失败，则采集下一帧图像再次进行检测，直至所有需求直线均正确检测或重复次数达到阈值次为止；若所有直线均正确检测，则进行下步操作；否则标记为标定失败；

步骤3：通过卷尺、激光仪、量角器等测量设备精确测量标定工位中各直线端点在世界坐标系中的坐标，并据此计算出世界坐标系中各直线的方程Ax+By+C＝0；

步骤4：联立步骤2及步骤3中直线方程组对，通过直接线变换法求解得到初始外参矩阵H；

步骤5：上述初始外参矩阵H为3×3矩阵，若直接对该矩阵采用LM算法进行优化，则变量个数为8，存在2个自由度的冗余；故需对外参矩阵H进行Rodrigues变换，得到各相机在世界坐标系中的位置t_3×1及欧拉角θ_3×1，将外参的自由度缩减为其实际包含的6自由度，以加快LM算法的收敛速度及提升其稳定性；

步骤6：构造误差函数，并将步骤步骤5中位置t及欧拉角θ作为相机外参初值，采用LM算法对位置t及欧拉角θ两参数进行优化，得到优化后的位置t及欧拉角θ参数；然后，根据优化后的t及θ统计直线上像素点重投影误差Φ，若该误差小于设定阈值，则进行步骤7，否则将待优化参数加入高斯白噪声并返回至步骤6，并重复上述操作至误差小于阈值或迭代次数达到上限N为止；重复上述操作后，若误差小于阈值，则进行步骤7；重复上述操作后，若第N此迭代的重投影误差Φ仍大于设定阈值，则记为标定失败；

步骤7：根据优化后的相机外参生成全景环视图、各路单视图查找表并进行存储；至此，标定完成。