CN117036508A - 一种基于复合边界特征的激光雷达相机联合在线标定方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体地说是涉及一种基于复合边界特征的激光雷达相机联合在线标定方法。本发明提供的基于复合边界特征的激光雷达相机联合在线标定方法，使用区域复生长的方法拟合点云平面并获取深度不连续边界特征，解决了因平面拟合质量低而导致边界提取效果不佳的问题；采用复合边界的思想充分利用深度连续边界和深度不连续边界的优势互补特征，得以提升边界质量和标定精度。本发明测试分别在自行采集的仿真数据集和真实场景数据集中进行测试，在大规模仿真数据集中，得到的旋转角度误差控制在0.3度内，平移矩阵误差控制在4厘米内，相较于其他先进的标定方法具有明显的性能优势。

Description

一种基于复合边界特征的激光雷达相机联合在线标定方法

技术领域

本发明属于图像处理技术领域，具体地说是涉及一种基于复合边界特征的激光雷达相机联合在线标定方法。

背景技术

激光雷达和相机的联合标定旨在获取不同传感器间的外部校准矩阵，进而可以融合不同模态的深度信息，实现信息间的优势互补。构建激光雷达点云和相机间的特征映射关系，然后通过建立K-D树，使用主成成分分析法、最小二乘法等建立数学方程进行标定矩阵的求解。通过标定矩阵把三维的激光点投影到相机坐标系下，然后利用相机的模型把三维点投影到像素平面。由于标定的结果直接影响了信息融合的效果，所以标定技术是多传感器信息交互中的关键。例如，在自动驾驶、机器人、山地测绘领域中联合标定技术得到了广泛的应用。

目前的联合标定方法有很大的成效，不论是基于标定板的有目标标定还是基于物体特征的无目标标定，标定精度均已得到较大的提升。但是这些方法只考虑了固态激光雷达和机械花扫式激光雷达，机械周扫式的激光雷达(如：VLP-16)并不适用。对于固态式激光雷达和机械花扫式激光雷达，通过累计数帧的点云数据可以得到包含深度连续边界的三维点云数据。对于周扫式激光雷达，在使用过程中无法探测到物体顶部，导致物体侧面和顶面形成了深度不连续区域，导致三维点云数据中存在深度不连续边界，目前的方法并未利用该特征，但此部分特征对于边界特征匹配也至关重要。

发明内容

本发明的目的在于提供一种基于复合边界特征的激光雷达相机联合在线标定方法，使用区域复生长提取深度不连续边界，并结合深度连续边界两种边界特征进行匹配和标定，不仅可以适用于机械式周扫激光雷达，同时也提升了标定矩阵的精度。

本发明的技术方案是：

一种基于复合边界特征的激光雷达相机联合在线标定方法，如图1所示，包括以下步骤：

S1、通过激光雷达和相机分别获取点云数据和图像数据；

S2、基于获取的点云数据分别进行深度不连续边界提取和深度连续边界提取，具体的：

采用区域复生长的策略提取点云数据的深度不连续边界，如图2所示，包括：

a1、基于获取的点云数据，构建K-D树，针对每一个点，计算其协方差矩阵：

其中，Σ_3×3是协方差矩阵，k是由KNN生成的k个点，P_i是相邻的数据点，是所有点的平均向量；通过对协方差矩阵进行奇异值分解求取点P_i的法向量/>并使用特征法向量对应的特征值来表示该点的曲率/>

a2、定义为单位点P_i的规模，表示该点与距离它第三近的邻点之间的距离，其值是为了设置下述步骤a3中Con_f的初值；P_i的最近邻点表示为集合/>

a3、将所有的点按照曲率从小到大的规则排列，从第一个点P_f开始，创建一个包含P_f的共面点集，对于集合中的每一个单位点P_i查询其中的每一个点P_ij，若该点满足以下条件则认为其为一个共面点并加入集合：

其中，θ＝20°，Con_s＝35Con_f是设定的常量值，该区域随着点的增多逐渐生长，最后所有的点保存在列表中；

a4、重复a2直至处理完所有的点，将得到的所有平面区域的集合记为R；

a5、对于得到的平面区域集合R中的任一元素区域R_f，为区域R_f中的点打上标签，对于每一个点观察它的该集合中若有一个点的标签不同，则将该标签不同的点所在的区域称为R_f的邻域，从而可以得到一个邻域集合。同步骤a1，a2求该区域的法向量，曲率和规模，然后重复使用区域生长策略进行区域复生长，得到更高质量的平面；

a6、提取完整平面的二维线段并反投影获得三维线段，即为所需的深度不连续边界，如图3(a)所示；

基于体素化提取深度连续边界，具体的：将点云划分为给定大小的体素，对于每一个体素，使用RANSAC算法拟合并提取体素中包含的平面，保留形成相应角度的平面对，平面对之间的交线即为所求的深度连续边界，深度连续边界与深度不连续边界如图3(b)所示；

S3、基于获取的图像数据使用Canny算法提取图像边界；

S4、将S2提取的边界和S3提取的边界进行特征匹配，具体包括：

对于每一条S2中提取的点云边界，采样若干点^LP_i∈R³，并将其转变为相机坐标系下：

其中， 代表旋转矩阵/>代表平移矩阵，/>表示从激光雷达坐标系到相机坐标系的刚性变换，点被投影到相机的成像平面，获得一个像素坐标p_i∈R²，其中φ(p)为去畸变函数，/>为相机的投影函数；

对于每一条S3中提取的图像边界上的像素点p_i构建K-D树，搜索p_i的k近邻S＝{s_x:x＝1,2,3......k}，设：

对于集合S上的点生成的直线，该直线由在线上的点s_x和法向量n_i两个参数所描述，n_i是S_i最小特征值对应的特征向量；

S5、建立特征方程式进行标定矩阵的最优化求解，具体求解过程为：

对于雷达点^LP_i，定义^Lw_i∈N(0,^LΣ_i)为它的测量噪声，对于像素点，定义^Iw_i∈N(0,^IΣ_i)为其测量噪声；

使用标准初始旋转矩阵将其投影到图像平面上后，落在(n_i,s)所构成的边界上，即符合下式：

通过迭代的方式求解：设为当前的外参估计，使用/>运算符在/>的切线空间中对/>进行参数化，得到下式：

其中

利用最大似然估计求出最优解：

得到的解用于迭代更新

不断迭代直到满足收敛条件：||δT^*||<ε，ε为设定的初始阈值，最后收敛的就是所求的校准矩阵。

本发明的有益效果为：本发明提供的基于复合边界特征的激光雷达相机联合在线标定方法，使用区域复生长的方法拟合点云平面并获取深度不连续边界特征，解决了因平面拟合质量低而导致边界提取效果不佳的问题；采用复合边界的思想充分利用深度连续边界和深度不连续边界的优势互补特征，得以提升边界质量和标定精度；整个处理流程是基于物体本身的特征而非目标标定板，使得算法可以部署在机器人等边端。本发明测试分别在自行采集的仿真数据集和真实场景数据集中进行测试，在大规模仿真数据集中，得到的旋转角度误差控制在0.3度内，平移矩阵误差控制在4厘米内，相较于其他先进的标定方法具有明显的性能优势。

附图说明

图1为本发明方法的总体流程框图；

图2为本发明中深度不连续边界提取流程示意图；

图3为本发明中深度不连续边界和复合边界的对比示意图，其中(a)为深度不连续边界提取结果，(b)为复合边界提取结果；

图4为标定结果可视化示意图。

具体实施方式

下面结合场景示例描述本发明方案的有效性。

场景示例

场景标定，分别采集仿真场景12组数据，真实场景6组数据，对数据进行[-10°,10°],[-20cm,20cm]间的随即变换，然后对数据进行预处理后使用本发明方法进行激光雷达和相机的联合标定，标定可视化示例结果如图4所示。

使用本发明中设计的基于区域复生长的深度不连续边界结合深度连续边界进行匹配标定的算法，对仿真场景和真实场景的18组数据进行标定测试，使用六自由度误差进行量化评估如表1、表2所示。

表1GAZEBO仿真数据六自由度误差对比

	Rx(°)	Ry(°)	Rz(°)	Tx(cm)	Ty(cm)	Tz(cm)
							Autoware	2.52	-0.82	-2.67	5.74	2.93	1.61
OSS	0.35	0.28	0.31	2.33	3.81	2.30
							STC	-0.39	0.02	0.60	-2.15	-3.17	9.80
SOIC	0.07	-0.17	-2.30	2.27	3.80	2.30
							ours	-2.67	0.02	0.57	2.12	-1.40	-1.63

表2真实数据六自由度误差对比

同时，在大规模数据集kitti raw data中进行了对比实验，如表3。选取了城市场景2011_09_26_drive_0095_sync中的第11、44、218组数据做实验，并和其他先进的深度学习方法进行对比，本发明的标定精度依然具有优势。本发明较所对比的深度学习方法有一条明显的优势是本发明的方法可以实时运行，泛化性更强。

表3kitti raw data六自由度误差对比

	Rx(°)	Ry(°)	Rz(°)	Tx(cm)	Ty(cm)	Tz(cm)
							Regnet	0.24	0.25	0.26	7.00	7.00	4.00
Calibnet	0.18	0.9	0.15	4.2	1.6	7.22
							Lccnet	0.38	0.39	0.41	2.05	4.20	2.24
ours	0.26	0.58	0.21	5.78	3.85	1.77

通过测试表明，得益于区域复生长的深度不连续边界，结合复合边界的优势互补特征，本发明的标定方法对标定误差有明显的改进效果。并且本发明是基于自然物体特征的，使得该算法可以实时运行在机器人系统中。

Claims (1)

1.一种基于复合边界特征的激光雷达相机联合在线标定方法，其特征在于，包括以下步骤：

S1、通过激光雷达和相机分别获取点云数据和图像数据；

S2、基于获取的点云数据分别进行深度不连续边界提取和深度连续边界提取，具体的：

采用区域复生长的策略提取点云数据的深度不连续边界，包括：

a1、基于获取的点云数据，构建K-D树，针对每一个点，计算其协方差矩阵：

其中，Σ_3×3是协方差矩阵，k是由KNN生成的k个点，P_i是相邻的数据点，是所有点的平均向量；通过对协方差矩阵进行奇异值分解求取点P_i的法向量/>并使用特征法向量对应的特征值来表示该点的曲率/>

a2、定义为单位点P_i的规模，表示该点与距离它第三近的邻点之间的距离，P_i的最近邻点表示为集合/>

a3、将所有的点按照曲率从小到大的规则排列，从第一个点P_f开始，创建一个包含P_f的共面点集，对于集合中的每一个单位点P_i查询其中的每一个点P_ij，若该点满足以下条件则认为其为一个共面点并加入集合：

其中，θ＝20°，是设定的常量值，Con_f的初值是S2中定义的该区域随着点的增多逐渐生长，最后所有的点保存在列表中；

a4、重复a2直至处理完所有的点，将得到的所有平面区域的集合记为R；

a5、对于得到的平面区域集合R中的任一元素区域R_f，为区域R_f中的点打上标签，对于每一个点观察它的该集合中若有一个点的标签不同，则将该标签不同的点所在的区域称为R_f的邻域，从而可以得到一个邻域集合；同步骤a1，a2的方法求该区域的法向量，曲率和规模，然后重复使用区域生长策略进行区域复生长，得到更高质量的平面；

a6、提取a5得到的完整平面的二维线段并反投影获得三维线段，即为所需的深度不连续边界；

基于体素化提取深度连续边界，具体为：将点云划分为给定大小的体素，对于每一个体素，使用RANSAC算法拟合并提取体素中包含的平面，保留形成相应角度的平面对，平面对之间的交线即为所求的深度连续边界；

S3、基于获取的图像数据使用Canny算法提取图像边界；

S4、将S2提取的边界和S3提取的边界进行特征匹配，具体包括：

对于每一条S2中提取的点云边界，采样若干点^LP_i∈R³，并将其转变为相机坐标系下：

其中， 代表旋转矩阵/>代表平移矩阵，/>表示从激光雷达坐标系到相机坐标系的刚性变换，点被投影到相机的成像平面，获得一个像素坐标p_i∈R²，其中φ(p)为去畸变函数，/>为相机的投影函数；

对于每一条S3中提取的图像边界上的像素点p_i构建K-D树，搜索p_i的k近邻S＝{s_x:x＝1,2,3......k}，设：

对于集合S上的点生成的直线，该直线由在线上的点s_x和法向量n_i两个参数所描述，n_i是S_i最小特征值对应的特征向量；

S5、建立特征方程式进行标定矩阵的最优化求解，具体求解过程为：

对于雷达点^LP_i，定义^Lw_i∈N(0,^LΣ_i)为它的测量噪声，对于像素点，定义^Iw_i∈N(0,^IΣ_i)为其测量噪声；

使用标准初始旋转矩阵将其投影到图像平面上后，落在(n_i,s)所构成的边界上，即符合下式：

通过迭代的方式求解：设为当前的外参估计，使用/>运算符在/>的切线空间中对/>进行参数化，得到下式：

其中

利用最大似然估计求出最优解：

得到的解用于迭代更新

不断迭代直到满足收敛条件：||δT^*||<ε，ε为设定的初始阈值，最后收敛的就是所求的校准矩阵。