CN112785655A - 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质 - Google Patents

Abstract

本发明涉及一种基于车道线检测的环视相机外参自动标定方法、装置及设备，首先自动刷选图像，选择其中一个车道线，车道线无限趋近于直线的图像，图像车道线信息和对应地图中车道线的信息分别作为输入和真值，设置损失函数，并采用对损失函数进行反向求导的方式迭代更新相机外参，使得图像车道线经过内外参转换后与地图车道线重合。获取该相机外参后，取得同一时刻获取的该相机附近的相机的图像，在两个相机内参和其中一个相机外参获取的情况下，获得另一个相机的外参，进一步的获得第三个，第四个等相机的外参。本专利提出的基于车道线检测的环视相机自动标定外参的方法，需提供第一个相机的初始相机外参，且仅更新相机外参中的旋转矩阵。

Description

一种基于车道线检测的环视相机外参自动标定方法、装置、设 备及计算机存储介质

技术领域

本发明涉及一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质，涉及坐标定位领域。

背景技术

相机外参又称为相机位姿，由旋转矩阵和平移矩阵组成，相机外参标定指的是确定一个旋转矩阵和平移矩阵，用来描述相机坐标系和其他坐标系(比如车身坐标系)的转换关系。

自动驾驶车辆中的环视相机由多个相机联合工作，多个相机图像信息融合，可以消除视觉盲区和视觉死角。在自动驾驶领域中，环视相机的各个相机外参标定是一个关键的环节，环视相机中每个相机的外参标定的准确性都会影响多相机图像拼接融合的是否完美，并且还会决定自动驾驶车辆能否有效地进行定位、测距、或者获取全景鸟瞰图辅助泊车等。

以求解相机坐标系与车身坐标系的外参为例，传统的相机外参标定法是借助标定板建立一个世界坐标系，并固定好车身坐标系和世界坐标系之间的变换关系(比如将车子停到固定的地方)，利用标定板在图像平面的成像信息和标定板格子尺寸信息确定世界坐标系和相机坐标系的内外参数，从而借助固定好的车身坐标系和世界坐标系变换关系，以世界坐标系为中介，可以计算出相机坐标系与车身坐标系的外参。这种方法的缺点需要提供专门进行外参标注的场景，场景里需准备好特定的参考系(如标定板)，并预先固定好车子的标定位置，环视相机中每个相机都要分别标注，一旦有一个标注不精确，则会影响整个标注结果，并且不适合实时实地进行操作，且较为繁琐。

目前对环视摄像头，常用的外参标定方法通常采用一组立体的校正标志物，该校正标志物含有若干容易从图像中进行识别的且三维坐标已知的特征点，通过对采集的图像进行特征点抽取处理，并对应每个特征点的三维坐标对每台相机进行标定；依赖于参照物和平面镜进行求解，即根据参照物上的3个坐标点信息和平面镜的3次移动信息进行标定，这种标定方式会受光线传播的影响。

发明内容

发明目的：提出一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质，以解决现有技术存在的上述问题。

技术方案：第一方面，提供了一种基于车道线检测的环视相机外参自动标定方法，该方法包括以下步骤：

采集若干组交通场景数据；

对采集到的各交通场景数据进行自动数据筛选；

读取已筛选的各若干组交通场景数据的路径，并进行优化求解；

检查将优化后的若干组交通场景数据，验证该外参对多场景的鲁棒性；

从优化后的若干组交通场景数据中，查找不同组交通场景数据中的匹配特征点。

在第一方面的一些可实现方式中，环视相机采集交通场景的过程如下：

提供至少一个初始相机外参作为初始值以进行不断更新，其中平移矩阵人工测量，每个方向的误差范围在10cm内，旋转矩阵提供一个初始值；

环视相机中至少有一个相机图像检测到满足标定条件的车道线；采集的数据满足环视相机采到的图像，每同一时刻两两特征匹配，匹配的特征点至少8个；

采集到数据后，首先设置损失函数，损失函数是以图像中的车道线对应的地图中的车道线作为模型输出，以图像中经过相机内外参及车身与地图外参的转换后的车道线作为观测值，量化标准包括计算这两个直线的距离误差和斜率误差、图像车道线与地图车道线的点误差。

在第一方面的一些可实现方式中，在设置损失函数前，对偏航角yaw、俯仰角pitch、翻滚角roll进行约束；约束方式包括同一相机中左右车道线之间的平行和距离关系约束相机外参。

在第一方面的一些可实现方式中，读取筛选得到的数据的路径进行优化求解的过程如下：

输入图像车道线的点(u,v)，求解出其在世界坐标系中对应的坐标点(X,Y,Z)，公式如下：

式中，f_x表示相机水平焦距，f_y表示相机垂直焦距，u₀表示初始车道线的点横坐标，v₀代表初始车道线的点纵坐标，R_c表示相机坐标系到车身坐标系的旋转矩阵，T_c表示相机坐标到车身坐标系的平息矩阵，R_b表示车身坐标系到世界坐标系的旋转矩阵，T_b代表车身坐标系与世界坐标系之间的平移矩阵，Z_c代表(u,v)点在相机坐标系中的高度信息；其中，外参表示相机坐标系与车身坐标系之间的旋转矩阵和平移矩阵

计算损失函数：

loss＝loss1+loss2+loss3+loss4

式中，loss1表示环视相机一号相机图像一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的距离；loss2表示环视相机一号相机图像另一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的距离；loss3表示环视相机一号相机图像一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的梯度误差；loss4表示环视相机一号相机图像另一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的梯度误差；其中：

式中，n表示在环视相机图像上的车道线上选择的多个点的个数，A，B，C分别为地图车道线的直线方程Ax+By+C＝0的三个系数，x_i，y_i环视相机图像经过内外参变换后在世界坐标系中的车道线上的点的横坐标和纵坐标。

式中，x_i，y_i和x_i-1，y_i-1分别表示在环视相机图像经过内外参变换后在世界坐标系中的车道线上的选的点坐标，n表示在相机图像的车道线上选择的点的个数。x′_i，y′_i和y′_i-1，x′_i-1表示在地图车道线上选择的点的坐标，n₁表示在地图车道线上选择的点的个数。

以欧拉角yaw、pitch、roll为旋转矩阵分别建立损失函数，通过梯度下降法使得损失函数在预定范围内收敛到最小值：

yaw＝yaw-lr*yaw_grad

pitch＝pitch-lr*pitch_grad

roll＝roll-lr*roll_grad

式中，lr表示学习率，yaw_grad表示欧拉角yaw对应的梯度，pitch_grad表示欧拉角pitch对应的梯度，roll_grad表示欧拉角roll对应的梯度。

在第一方面的一些可实现方式中，在每一次求解到其对应的梯yaw_grad、pitch_grad、roll_grad后，通过学习率lr对其原本的初始值进行更新，直到损失函数的值收敛到预定的范围并得到最小值；用深度学习反向求导迭代的方式对损失函数进行计算，直到环视相机一号位相机经过坐标系转换到世界坐标系的车道线和真实的世界坐标系车道线重合，即得到环视相机一号位相机的最优外参的梯度。

在第一方面的一些可实现方式中，环视相机一号相机外参自动求解后，通过变换的对极几何公式，把两个相邻相机等效为一个相机从环视相机一号相机位置到环视相机二号相机位置的运动；通过获取环视相机中两个相机图像的特征匹配点，估计相机的运动；

在环视相机一号相机坐标系下，设其中一个匹配点P的空间位置为：

P＝[X,Y,Z]^T

P在两个相机图像中的像素点为p1、p2：

p1＝K₁P

p2＝K₂(RP+t)

式中，K₁、K₂分别为两个相机的外参，R和t是看成一个坐标系从环视相机一号相机位置到环视相机二号相机位置的运动；

最后获得对极约束方程：

通过选取预定个数的匹配特征点，带入对极约束方程，求出运动方程R和t；因为环视相机一号相机外参已知，故获得环视相机二号相机外参，通过同种计算方式环视相机三号相机，环视相机四号相机外参。

第二方面，提供一种基于车道线检测的环视相机外参自动标定装置，该装置包括用于采集交通场景据的环视相机；用于自动筛选数据的数据筛选模块；用于自动求解的数据路径求解模块；用于进行数据检查的数据检查模块；以及用于进行特征匹配的特征匹配模块。

在第二方面的一些可实现方式中，所述环视相机进一步用于提供至少一个初始相机外参作为初始值以进行不断更新，其中平移矩阵人工测量，每个方向的误差范围在10cm内，旋转矩阵提供一个初始值；环视相机中至少有一个相机图像检测到满足标定条件的车道线；采集的数据满足环视相机采到的图像，每同一时刻两两特征匹配，匹配的特征点至少8个；采集到数据后，首先设置损失函数，损失函数是以图像中的车道线对应的地图中的车道线作为模型输出，以图像中经过相机内外参及车身与地图外参的转换后的车道线作为观测值，量化标准包括计算这两个直线的距离误差和斜率误差、图像车道线与地图车道线的点误差；

所述数据筛选模块进一步用于筛选包括车道线信息在内且符合标定的标准的数据；

所述数据路径求解模块进一步用于读取数据筛选模块筛选后得到的数据的路径，进行优化求解，使得图像左右车道线检测结果经过内外参转换后在enu坐标系下和地图中对应的左右车道线重合；

所述数据检查模块进一步用于将优化后求解的每一帧在enu坐标系下与对应地图车道线的关系进行可视化，验证该外参对多场景的鲁棒性；

所述特征匹配模块进一步用于取得同一时刻获取的该相机附近的相机的图像，对两个图像，获取匹配特征点，匹配特征点至少8个。

在第二方面的一些可实现方式中，所述数据路径求解模块进一步输入图像车道线的点(u,v)，求解出其在世界坐标系中对应的坐标点(X,Y,Z)，公式如下：

式中，f_x表示相机水平焦距，f_y表示相机垂直焦距，u₀表示初始车道线的点横坐标，v₀代表初始车道线的点纵坐标，R_c表示相机坐标系到车身坐标系的旋转矩阵，T_c表示相机坐标到车身坐标系的平息矩阵，R_b表示车身坐标系到世界坐标系的旋转矩阵，T_b代表车身坐标系与世界坐标系之间的平移矩阵，Z_c代表(u,v)点在相机坐标系中的高度信息；其中，外参表示相机坐标系与车身坐标系之间的旋转矩阵和平移矩阵。

计算损失函数：

loss＝loss1+loss2+loss3+loss4

式中，loss1表示环视相机一号相机图像一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的距离；loss2表示环视相机一号相机图像另一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的距离；loss3表示环视相机一号相机图像一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的梯度误差；loss4表示环视相机一号相机图像另一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的梯度误差；其中：

式中，n表示在环视相机图像上的车道线上选择的多个点的个数，A，B，C分别为地图车道线的直线方程Ax+By+C＝0的三个系数，x_i，y_i环视相机图像经过内外参变换后在世界坐标系中的车道线上的点的横坐标和纵坐标。

式中，x_i，y_i和x_i-1，y_i-1分别表示在环视相机图像经过内外参变换后在世界坐标系中的车道线上的选的点坐标，n表示在相机图像的车道线上选择的点的个数。x′_i，y′_i和y′_i-1，x′_i-1表示在地图车道线上选择的点的坐标，n₁表示在地图车道线上选择的点的个数。

以欧拉角yaw、pitch、roll为旋转矩阵分别建立损失函数，通过梯度下降法使得损失函数在预定范围内收敛到最小值：

yaw＝yaw-lr*yaw_grad

pitch＝pitch-lr*pitch_grad

roll＝roll-lr*roll_grad

式中，lr表示学习率，yaw_grad表示欧拉角yaw对应的梯度，pitch_grad表示欧拉角pitch对应的梯度，roll_grad表示欧拉角roll对应的梯度。

在第二方面的一些可实现方式中，所述数据路径求解模块在每一次求解到其对应的梯yaw_grad、pitch_grad、roll_grad后，通过学习率lr对其原本的初始值进行更新，直到损失函数的值收敛到预定的范围并得到最小值；用深度学习反向求导迭代的方式对损失函数进行计算，直到环视相机一号位相机经过坐标系转换到世界坐标系的车道线和真实的世界坐标系车道线重合，即得到环视相机一号位相机的最优外参的梯度；

环视相机一号相机外参自动求解后，通过变换的对极几何公式，把两个相邻相机等效为一个相机从环视相机一号相机位置到环视相机二号相机位置的运动；通过获取环视相机中两个相机图像的特征匹配点，估计相机的运动；

在环视相机一号相机坐标系下，设其中一个匹配点P的空间位置为：

P＝[X,Y,Z]^T

P在两个相机图像中的像素点为p1、p2：

p1＝K₁P

p2＝K₂(RP+t)

式中，K₁、K₂分别为两个相机的外参，R和t是看成一个坐标系从环视相机一号相机位置到环视相机二号相机位置的运动；

最后获得对极约束方程：

通过选取预定个数的匹配特征点，带入对极约束方程，求出运动方程R和t；因为环视相机一号相机外参已知，故获得环视相机二号相机外参，通过同种计算方式环视相机三号相机，环视相机四号相机外参。

第三方面，提供了一种基于车道线检测的环视相机外参自动标定设备，该设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行计算机程序指令时实现第一方面或第一方面的一些可实现方式中的自动标定方法。

第四方面，提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或第一方面的一些可实现方式中的自动标定方法。

有益效果：本发明涉及一种基于车道线检测的环视相机外参自动标定方法及系统，具有以下两点特点：第一点，自动刷选图像，选择其中一个车道线检测效果最好，车道线无限趋近于直线的图像，图像车道线信息和对应地图(世界坐标系)中车道线的信息分别作为输入和真值，设置损失函数，并采用对损失函数进行反向求导的方式迭代更新相机外参，使得图像车道线经过内外参转换后与地图车道线重合。损失函数的衡量标准是图像车道线经过相机内外参及车身与地图(世界坐标系)外参的转换后与地图中对应的车道线的重合程度。损失函数的设置需同时对相机外参中旋转矩阵的所有参数(如三个欧拉角：偏航角、俯仰角、翻滚角)进行有效约束。迭代地更新相机外参是通过梯度下降实现的。此时的相机外参即为该相机求解的最优外参。第二点，获取该相机外参后，取得同一时刻获取的该相机附近的相机的图像，因为两个相机靠近，所以有重合画面，获取匹配特征点，如果匹配特征点超过8个，则把两个相机看成是一个相机通过运动达到另一个相机的位置，在两个相机内参和其中一个相机外参获取的情况下，通过变换后的对极几何的方式，可以获得另一个相机的外参，进一步的获得第三个，第四个等相机的外参。本专利提出的基于车道线检测的环视相机自动标定外参的方法，需提供第一个相机的初始相机外参，且仅更新相机外参中的旋转矩阵。

附图说明

图1是本发明的工作流程图。

图2是本发明的loss变化曲线图。

图3是本发明中车道线在世界坐标系下的拟合情况。

图4是本发明相机平移运动的几何关系图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

申请人认为，以求解相机坐标系与车身坐标系的外参为例，传统的相机外参标定法是借助标定板建立一个世界坐标系，并固定好车身坐标系和世界坐标系之间的变换关系(比如将车子停到固定的地方)，利用标定板在图像平面的成像信息和标定板格子尺寸信息确定世界坐标系和相机坐标系的内外参数，从而借助固定好的车身坐标系和世界坐标系变换关系，以世界坐标系为中介，可以计算出相机坐标系与车身坐标系的外参。这种方法的缺点需要提供专门进行外参标注的场景，场景里需准备好特定的参考系(如标定板)，并预先固定好车子的标定位置，环视相机中每个相机都要分别标注，一旦有一个标注不精确，则会影响整个标注结果，并且不适合实时实地进行操作，且较为繁琐。

目前对环视摄像头，常用的外参标定方法还是用到了人工标定。该方法需要对全景环视系统进行首次人工标定,获取参考标定参数，然后通过拼接的方法自动获取其他相机的外参。该方法采用一组立体的校正标志物，该校正标志物含有若干容易从图像中进行识别的且三维坐标已知的特征点，通过对采集的图像进行特征点抽取处理，并对应每个特征点的三维坐标对每台相机进行标定。此外，改种方法依赖于参照物和平面镜进行求解，即根据参照物上的3个坐标点信息和平面镜的3次移动信息进行标定，这种标定方式会受光线传播的影响。

上述方法均在特定场景中依赖预设好的标志物进行离线标定，如棋盘格和特定标志物，完全依赖人工测量、依赖定点位置信息(如特定车库中某个已测量过的点)。

针对上述方法的不足，本发明特意针对环视相机，提出一种基于车道线检测的环视相机外参自动标定方法，该方法首先用搭载环视相机的自动驾驶采集车辆采集一组路面场景数据。然后对采集到的数据进行自动刷选，筛选的数据如果对车道线识别效果好，并且识别的车道线尽量是直线，则表明该数据符合标定的标准。其次选择其中一个符合标定标准的图像数据，进行优化求解，借助图像车道线信息和对应地图(世界坐标系)中车道线的信息，使用梯度下降方法迭代求解，使得图像左右车道线检测结果经过内外参转换后在enu坐标系下和地图中对应的左右车道线重合，获取该图像对应的摄像头的最优外参。接着然后寻找该相机和两边相机重合图像中的至少八个特征点，通过变换后的对极几何的方法，得到该相机两边相机的外参，同理获取其他环视相机外参，最终自动获得环视相机中所有相机外参。将优化后求解的每一帧在enu坐标系下与对应地图车道线的关系进行可视化，方便判断是都有场景不满足该外参，验证该外参对多场景的鲁棒性。本发明不需要人工参与，全自动标注，速度快，有可视化验证，误差可降到0.01％。

实施例一：

本实施例提出的基于车道线检测的环视相机自动标定外参的方法，需要满足以下条件：

1、路段内有地图(世界坐标系)。

2、需提供一个初始相机外参作为初始值以进行不断更新，其中平移矩阵需人工测量，每个方向的误差范围应在10cm内，旋转矩阵需提供一个初始值。

3、需要在该路段上平稳驾驶一段时间，需要满足环视相机中至少有一个相机图像检测到满足标定条件的车道线(车道线比较直，并且检测效果好)。

4、采集的数据满足环视相机采到的图像，每同一时刻两两可以特征匹配，匹配的特征点至少8个。

采集到满足以上条件的数据后，首先设置损失函数，损失函数是以图像中的车道线对应的地图中的车道线作为模型输出，以图像中经过相机内外参及车身与地图(世界坐标系)外参的转换后的车道线作为观测值，车道线尽量区一段直线区域。量化标准包括计算这两个直线的距离误差和斜率误差、图像车道线与地图车道线的点误差等。

在计算损失函数前，应当增加对各个参数的约束，比如对相机外参中旋转矩阵的所有参数(如三个欧拉角：偏航角yaw、俯仰角pitch、翻滚角roll)进行有效约束，比如可以通过同一相机中左右车道线之间的平行和距离关系约束相机外参。

输入即图像车道线的点(u,v)可通过公式(1)，求解出其在世界坐标系中对应的坐标点(X,Y,Z)，其中f_x、f_y、u₀、v₀代表相机内参，R_c、T_c代表相机外参(相机坐标系与车身坐标系之间的旋转矩阵和平移矩阵)，R_b、T_b代表车身坐标系与世界坐标系之间的旋转矩阵和平移矩阵，Z_c代表(u,v)点在相机坐标系中的高度信息。上述参数中输入(u,v)、相机内参f_x、f_y、u₀、v₀、车身位姿R_b、T_b，Z_c，T_c均为已知值，其中本实施例车身坐标系的原点为当前车身对应的路面，因此Z_c始终为0(车道线均路面上)，T_c根据测量基准获取的，R_c为本实施例的更新参数。给定R_c一个初始值，通过损失函数最小化，从而求解出(X,Y,Z)。

式中，f_x表示相机水平焦距，f_y表示相机垂直焦距，u₀表示初始车道线的点横坐标，v₀代表初始车道线的点纵坐标，R_c表示相机坐标系到车身坐标系的旋转矩阵，T_c表示相机坐标到车身坐标系的平息矩阵，R_b表示车身坐标系到世界坐标系的旋转矩阵，T_b代表车身坐标系与世界坐标系之间的平移矩阵，Z_c代表(u,v)点在相机坐标系中的高度信息；其中，外参表示相机坐标系与车身坐标系之间的旋转矩阵和平移矩阵。

通过公式(1)得到(X,Y,Z)即世界坐标系下的车道线点后，损失函数loss可由四个部分组成，如公式(2)所示，分别为:loss1即环视相机一号相机图像一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的距离(点到线的距离)，loss2即环视相机一号相机图像另一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的距离(点到线的距离)，loss3即环视相机一号相机图像一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的梯度误差(斜率误差)，loss4即环视相机一号相机图像另一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的梯度误差(斜率误差)。loss1和loss2，为公式(3)，loss3和loss4，为公式(4)。最终，loss函数为公式(2)所示，通过Loss1，loss2，loss3和loss4共同约束。

loss＝loss1+loss2+loss3+loss4…………………………………………(2)

式中，loss1表示环视相机一号相机图像一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的距离；loss2表示环视相机一号相机图像另一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的距离；loss3表示环视相机一号相机图像一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的梯度误差；loss4表示环视相机一号相机图像另一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的梯度误差。

式中，n表示在环视相机图像上的车道线上选择的多个点的个数，A，B，C分别为地图车道线的直线方程Ax+By+C＝0的三个系数，x_i，y_i环视相机图像经过内外参变换后在世界坐标系中的车道线上的点的横坐标和纵坐标。

式中，x_i，y_i和x_i-1，y_i-1分别表示在环视相机图像经过内外参变换后在世界坐标系中的车道线上的选的点坐标，n表示在相机图像的车道线上选择的点的个数。x′_i，y′_i和y′_i-1，x′_i-1表示在地图车道线上选择的点的坐标，n₁表示在地图车道线上选择的点的个数。

实施例二：

图2为loss的变化曲线，当迭代到100次，loss达到0.060时，收敛。此时环视相机图像经过内外参变换后在世界坐标系中的车道线与对应的地图车道线相拟合。图3为环视相机图像经过内外参变换后在世界坐标系中的车道线与对应的地图车道线相拟合情况，点云图像中两个白色的线为世界坐标系中的两侧的车道线，两个蓝色的线段为环视相机图像经过内外参变换后在世界坐标系中的两侧车道线。

本实施例对环视相机一号相机自动获取外参方法借鉴深度学习的算法思路求解loss，通过梯度下降法使得损失函数在一定范围内收敛到最小值。设置合适的损失函数，如公式(5)、(6)、(7)所示，损失函数以欧拉角yaw、pitch、roll为旋转矩阵的表示方式。在每一次求解到其对应的梯度yaw_grad、pitch_grad、roll_grad后，通过学习率lr对其原本的初始值进行更新，直到损失函数的值收敛到一定的范围并得到最小值，用深度学习反向求导迭代的方式对损失函数进行计算，直到环视相机一号位相机经过坐标系转换到世界坐标系的车道线和真实的世界坐标系车道线重合，即可得到环视相机一号位相机的最优外参的梯度。

yaw＝yaw-lr*yaw_gr……………………………………………………(5)

pitch＝pitch-lr*pitch_grad…………………………………………………(6)

roll＝roll-lr*roll_grad………………………………………………………(7)

环视相机一号相机外参自动求解后，通过变换的对极几何公式，把两个相邻相机等效为一个相机从环视相机一号相机位置到环视相机二号相机位置的运动。通过获取环视相机中两个相机图像的特征匹配点，估计相机的运动。

在环视相机一号相机坐标系下，设其中一个匹配点P的空间位置为

P＝[X,Y,Z]^T………………………………………………………………(8)

P在两个相机图像中的像素点为p1,p2：

p1＝K₁P,p2＝K₂(RP+t)………………………………………………(9)

其中，K₁,K₂分别为两个相机的外参，R和t是看成一个坐标系从环视相机一号相机位置到环视相机二号相机位置的运动。最后获得对极约束方程：

通过选取8个匹配特征点，带入方程(10)，可求出运动方程R和t，因为环视相机一号相机外参已知，故可以获得环视相机二号相机外参，通过同种计算方式环视相机三号相机，环视相机四号相机等外参都可计算出。

图4为环视相机相邻相机等效为相机平移运动的几何关系图，图像1和图像2分别为环视相机两个相邻相机得到的图像，P点为两个相机的匹配点，p1和p2点为P在两个相机图像中的像素点。

实施例三：

本实施例提供一种基于车道线检测的环视相机外参自动标定装置，包括环视相机、数据筛选模块、路径求解模块、数据检查模块、特征匹配模块。环视相机用于采集交通场景据，提供至少一个初始相机外参作为初始值以进行不断更新，其中平移矩阵人工测量，每个方向的误差范围在10cm内，旋转矩阵提供一个初始值；环视相机中至少有一个相机图像检测到满足标定条件的车道线；采集的数据满足环视相机采到的图像，每同一时刻两两特征匹配，匹配的特征点至少8个；采集到数据后，首先设置损失函数，损失函数是以图像中的车道线对应的地图中的车道线作为模型输出，以图像中经过相机内外参及车身与地图外参的转换后的车道线作为观测值，量化标准包括计算这两个直线的距离误差和斜率误差、图像车道线与地图车道线的点误差。数据筛选模块用于筛选包括车道线信息在内且符合标定的标准的数据；数据路径求解模块用于读取数据筛选模块筛选后得到的数据的路径，进行优化求解，使得图像左右车道线检测结果经过内外参转换后在enu坐标系下和地图中对应的左右车道线重合；数据检查模块用于将优化后求解的每一帧在enu坐标系下与对应地图车道线的关系进行可视化，验证该外参对多场景的鲁棒性；特征匹配模块用于取得同一时刻获取的该相机附近的相机的图像，对两个图像，获取匹配特征点，匹配特征点至少8个。

综上，本实施例提供了一种可以自动进行环视相机外参求解的方法，操作简单、场景受限小，满足实时实地进行标定的需求。在减少人工干预的同时，方便快捷、准确性高。该方法可以实现自动驾驶初始化时，自动标定环视相机外参，并实时校验。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (10)

1.一种基于车道线检测的环视相机外参自动标定方法，其特征是，所述方法包括：

采集若干组交通场景数据；

对采集到的各交通场景数据进行自动数据筛选；

读取已筛选的各若干组交通场景数据的路径，并进行优化求解；

检查将优化后的若干组交通场景数据，验证该外参对多场景的鲁棒性；

从优化后的若干组交通场景数据中，查找不同组交通场景数据中的匹配特征点。

2.根据权利要求1所述的一种基于车道线检测的环视相机外参自动标定方法，其特征在于，环视相机采集交通场景的过程进一步包括：

提供至少一个初始相机外参作为初始值以进行不断更新，其中平移矩阵人工测量，每个方向的误差范围在10cm内，旋转矩阵提供一个初始值；

环视相机中至少有一个相机图像检测到满足标定条件的车道线；采集的数据满足环视相机采到的图像，每同一时刻两两特征匹配，匹配的特征点至少8个；

采集到数据后，首先设置损失函数，损失函数是以图像中的车道线对应的地图中的车道线作为模型输出，以图像中经过相机内外参及车身与地图外参的转换后的车道线作为观测值，量化标准包括计算这两个直线的距离误差和斜率误差、图像车道线与地图车道线的点误差。

3.根据权利要求2所述的一种基于车道线检测的环视相机外参自动标定方法，其特征在于，在设置损失函数前，对偏航角yaw、俯仰角pitch、翻滚角roll进行约束；约束方式包括同一相机中左右车道线之间的平行和距离关系约束相机外参。

4.根据权利要求1所述的一种基于车道线检测的环视相机外参自动标定方法，其特征在于，读取筛选得到的数据的路径进行优化求解的过程进一步包括：

输入图像车道线的点(u,v)，求解出其在世界坐标系中对应的坐标点(X,Y,Z)，公式如下：

式中，f_x表示相机水平焦距，f_y表示相机垂直焦距，u₀表示初始车道线的点横坐标，v₀代表初始车道线的点纵坐标，R_c表示相机坐标系到车身坐标系的旋转矩阵，T_c表示相机坐标到车身坐标系的平息矩阵，R_b表示车身坐标系到世界坐标系的旋转矩阵，T_b代表车身坐标系与世界坐标系之间的平移矩阵，Z_c代表(u,v)点在相机坐标系中的高度信息；其中，外参表示相机坐标系与车身坐标系之间的旋转矩阵和平移矩阵；

计算损失函数：

loss＝loss1+loss2+loss3+loss4

式中，loss1表示环视相机一号相机图像一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的距离；loss2表示环视相机一号相机图像另一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的距离；loss3表示环视相机一号相机图像一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的梯度误差；loss4表示环视相机一号相机图像另一侧车道线经过内外参变换后在世界坐标系中与对应的地图车道线之间的梯度误差；其中：

式中，n表示在环视相机图像上的车道线上选择的多个点的个数，A，B，C分别为地图车道线的直线方程Ax+By+C＝0的三个系数，x_i，y_i环视相机图像经过内外参变换后在世界坐标系中的车道线上的点的横坐标和纵坐标；

式中，x_i，y_i和x_i-1，y_i-1分别表示在环视相机图像经过内外参变换后在世界坐标系中的车道线上的选的点坐标，n表示在相机图像的车道线上选择的点的个数。x′_i，y′_i和y′_i-1，x′_i-1表示在地图车道线上选择的点的坐标，n₁表示在地图车道线上选择的点的个数；

以欧拉角yaw、pitch、roll为旋转矩阵分别建立损失函数，通过梯度下降法使得损失函数在预定范围内收敛到最小值：

yaw＝yaw-lr*yaw_grad

pitch＝pitch-lr*pitch_grad

roll＝roll-lr*roll_grad

式中，lr表示学习率，yaw_grad表示欧拉角yaw对应的梯度，pitch_grad表示欧拉角pitch对应的梯度，roll_grad表示欧拉角roll对应的梯度。

5.根据权利要求4所述的一种基于车道线检测的环视相机外参自动标定方法，其特征在于，在每一次求解到其对应的梯yaw_grad、pitch_grad、roll_grad后，通过学习率lr对其原本的初始值进行更新，直到损失函数的值收敛到预定的范围并得到最小值；用深度学习反向求导迭代的方式对损失函数进行计算，直到环视相机一号位相机经过坐标系转换到世界坐标系的车道线和真实的世界坐标系车道线重合，即得到环视相机一号位相机的最优外参的梯度。

6.根据权利要求5所述的一种基于车道线检测的环视相机外参自动标定方法，其特征在于，环视相机一号相机外参自动求解后，通过变换的对极几何公式，把两个相邻相机等效为一个相机从环视相机一号相机位置到环视相机二号相机位置的运动；通过获取环视相机中两个相机图像的特征匹配点，估计相机的运动；

在环视相机一号相机坐标系下，设其中一个匹配点P的空间位置为：

P＝[X,Y,Z]^T

P在两个相机图像中的像素点为p1、p2：

p1＝K₁P

p2＝K₂(RP+t)

式中，K₁、K₂分别为两个相机的外参，R和t是看成一个坐标系从环视相机一号相机位置到环视相机二号相机位置的运动；

最后获得对极约束方程：

通过选取预定个数的匹配特征点，带入对极约束方程，求出运动方程R和t；因为环视相机一号相机外参已知，故获得环视相机二号相机外参，通过同种计算方式环视相机三号相机，环视相机四号相机外参。

7.一种基于车道线检测的环视相机外参自动标定装置，其特征是包括如下模块：

用于采集交通场景据的环视相机；

用于自动筛选数据的数据筛选模块；

用于自动求解的数据路径求解模块；

用于进行数据检查的数据检查模块；

用于进行特征匹配的特征匹配模块。

8.根据权利要求7所述的一种基于车道线检测的环视相机外参自动标定装置，其特征在于：所述环视相机进一步用于提供至少一个初始相机外参作为初始值以进行不断更新，其中平移矩阵人工测量，每个方向的误差范围在10cm内，旋转矩阵提供一个初始值；环视相机中至少有一个相机图像检测到满足标定条件的车道线；采集的数据满足环视相机采到的图像，每同一时刻两两特征匹配，匹配的特征点至少8个；采集到数据后，首先设置损失函数，损失函数是以图像中的车道线对应的地图中的车道线作为模型输出，以图像中经过相机内外参及车身与地图外参的转换后的车道线作为观测值，量化标准包括计算这两个直线的距离误差和斜率误差、图像车道线与地图车道线的点误差；

所述数据筛选模块进一步用于筛选包括车道线信息在内且符合标定的标准的数据；

所述数据路径求解模块进一步用于读取数据筛选模块筛选后得到的数据的路径，进行优化求解，使得图像左右车道线检测结果经过内外参转换后在enu坐标系下和地图中对应的左右车道线重合；

所述数据检查模块进一步用于将优化后求解的每一帧在enu坐标系下与对应地图车道线的关系进行可视化，验证该外参对多场景的鲁棒性；

所述特征匹配模块进一步用于取得同一时刻获取的该相机附近的相机的图像，对两个图像，获取匹配特征点，匹配特征点至少8个。

9.一种基于车道线检测的环视相机外参自动标定设备，其特征在于，所述设备包括：

处理器以及存储有计算机程序指令的存储器；

所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-6任意一项所述的自动标定方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的自动标定方法。

Images