CN117826129A - 一种单目相机和激光雷达在轨外参标定方法 - Google Patents

Abstract

本发明公开了一种单目相机和激光雷达在轨外参标定方法，步骤如下：首先，对原始图像通过Canny边缘提取算法提取图像边缘获得边缘图，而后对边缘图进行图像的距离变换操作获得距离图，再结合边缘图和距离图获得搜索场景图。针对原始点云，从中提取深度不连续点、折线点和边缘点等点云边缘特征。结合搜索场景图和点云边缘特征构建优化的目标函数，利用遗传算法寻早最优的外参，最终实现对单目相机和激光雷达的外参标定。

Description

一种单目相机和激光雷达在轨外参标定方法

技术领域

本发明属于人工智能（智能导航制导与控制技术）领域，具体涉及一种单目相机和激光雷达在轨外参标定方法。

背景技术

传感器数据是空间非合作目标测量任务的基础，通常单一的传感器数据都存在其相应的缺点而无法很好的满足非合作目标测量的复杂场景的要求，因此许多传感器组合被采用以互相弥补对方的缺点，其中单目相机和激光雷达是使用最多的传感器组合之一。单目相机体积小、能耗低、质量轻并且数据量丰富，但是容易受到光照条件的影响并且无法直接获得目标的三维信息；而激光雷达恰好可以直接获得目标的三维信息并且不受光照条件影响。由于相机和激光雷达属于异源的多模态传感器组合，因此在使用之前需要实现对传感器组合的时空标定。通常在地面会对单目相机和激光雷达实现标定，但是在发射和在轨运行中单目相机和激光雷达的外参会出现漂移，这会对空间非合作目标测量任务产生影响。因此需要对单目相机和激光雷达进行在轨的标定。目前已有的标定算法中，基于互信息的方法需要大量的优质观测数据，这在空间任务中很难实现；基于运动的方法需要单独的传感器即可获得高精度的运动信息，而空间任务中单独的传感器存在各自的缺陷；基于特征的方法可优化的范围较小并且通常需要多步的优化过程，计算较为复杂。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种单目相机和激光雷达在轨外参标定方法，以解决现有技术在在轨标定任务中，需要大量优质观测数据和优化过程复杂的问题。

本发明针对单目相机获取的原始图像通过Canny边缘提取算法提取图像边缘获得边缘图，而后对边缘图进行图像的距离变换操作获得距离图，再结合边缘图和距离图获得搜索场景图。针对原始点云，从中提取深度不连续点、折线点和边缘点等点云边缘特征。结合搜索场景图和点云边缘特征构建优化的目标函数，利用遗传算法寻早最优的外参最终实现对单目相机和激光雷达的外参标定。

为达到上述目的，本发明采用的技术方案如下：

一种单目相机和激光雷达在轨外参标定方法，所述标定方法步骤如下：

S1，针对原始图像，首先通过Canny边缘提取算法提取图像边缘获得边缘图，而后对边缘图进行图像的距离变换操作获得距离图，再结合所述边缘图和所述距离图获得搜索场景图；

S2，通过激光雷达获得点云数据，从所述点云中提取深度不连续点、折线点和边缘点的点云边缘特征；

S3，结合所述搜索场景图和所述点云边缘特征构建优化目标函数，利用遗传算法寻找最优的外参，最终实现对单目相机和激光雷达的外参标定。

进一步的，所述步骤S1具体包括：

S11，将原始图像I输入Canny边缘提取算法模块，获得边缘图；

S12，将所述边缘图中的像素值的0和1做对调后，通过正向、反向两次扫描过程实现对所述边缘图/>的距离变换，获得距离图/>；

S13，结合所述边缘图和所述距离图/>获得搜索场景图：

；

其中，u和v表示当前像素点的横坐标和纵坐标；x和y表示距离当前坐标系最近的边缘点的横坐标和纵坐标；256代表灰度图中像素最大值为256；和/>为参数。

进一步的，所述S12具体为：

设在正向、反向两次扫描过程中像素的相邻像素的集合分别为/>和/>，则图像距离变换的两次扫描计算过程如下：

第一次扫描：

从图像左上角开始，从左往右，从上往下扫描图像，计算相邻像素集合N ₁中的各个像素到当前像素的距离，并将其中的最小值更新为当前像素点的像素值也即距离值，计算公式如下：

；

其中表示第一次扫描后点/>的像素值；

第二次扫描：

从图像右下角开始，从右往左，从下往上扫描图像，计算相邻像素集合N ₂中的各个像素到当前像素的距离，并将其中的最小值与第一次扫描中获得的值做对比，其中更小的值即是距离变换最终的结果，计算公式如下：

；

其中，表示曼哈顿距离，/>表示第二次扫描后点/>的像素值。至此，经过两次扫描就可以获得最终的距离图/>。

进一步的，所述步骤S2具体包括：

对于点云中的任一点，通过k近邻搜索算法获得离点/>最近的若干个点，求取这些点和点/>的y轴坐标的差，将其中差值大于设定值的点剔除，获得同一个激光束的近邻点；

根据x轴坐标差挑选出同一个激光束中离点最近的左右两个点，计算/>点与近邻点之间的矢量，以矢量关系作为点/>类型分类的标准，得到点/>是属于深度不连续点或折线点；

遍历点云中的所有点，将提取出来的所有的边缘点、深度不连续点和折线点的集合记为，/>即为点云边缘特征。

进一步的，所述同一个激光束的近邻点通过以下方式获得：

如果计算出的同一个激光束的近邻点不足2个，则抛弃该点，否则，再根据x轴坐标的差挑选边缘点，如果x轴的差全为负数或者全为正数则认为该点属于边缘点，否则，根据x轴坐标差挑选出同一个激光束中离点最近的左右两个点。

进一步的，分别计算所述点与左右近邻点之间的矢量，以左右临近点矢量关系作为点/>分类的标准，得到点/>是属于深度不连续点或折线点具体为：

如果左右近邻点的矢量关系中，其中一个比另外一个的矢量长度在2倍以上，且较大的矢量长度大于0.3m，并且两个矢量之间的夹角小于160°，则属于深度不连续点；如果两个矢量的夹角大于40°小于100°，则属于折线点。

进一步的，所述步骤S3具体包括：

将单目相机和激光雷达的外参标定优化问题定义为一个非凸不可微的优化问题，优化问题的目标函数定义如下：

；

其中，N表示像素点集中点的数量，/>是目标函数，表示的是像素点集中所有点的值的平均值，/>分别表示滚转、俯仰和偏航角三个欧拉角；求解该目标函数得到当/>最大时的滚转、俯仰和偏航角即获得标定后的单目相机和激光雷达的外参。

进一步的，结合遗传算法的实现方法和单目相机和激光雷达外参标定的优化目标函数，过程如下：

(1)首先设定欧拉角的浮动范围为 ，随机生成/>个欧拉角的分配方案构成初始种群；

(2)在种群的所有个体中，将点云边缘特征投影到图像中，去除投影位置不在图像中的点；

(3)根据计算适应度函数，依据计算的适应度函数值采用轮盘赌模型对种群的个体进行选择，得到种群中的最优个体；

(4)对选择得到的个体进行交叉、变异操作，形成下一代种群；

(5)判断优化结束条件，如果满足则输出最优欧拉角，否则重复(2)~(4)操作；

获得最终的外参标定结果。

本发明的有益效果：

1、本文提出了一种基于在轨数据的单目相机和激光雷达外参标定算法；

2、本文提出了一种新的搜索场景图像生成方法，使得优化过程可以一次性完成。

附图说明

图1为本发明方法的流程图；

图2a为原始图像；

图2b为边缘图；

图2c为距离图；

图2d为搜索场景图；

图3a为原始点云图；

图3b为点云边缘特征图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明的一种单目相机和激光雷达在轨外参标定方法，所述标定方法步骤如下：

S1，针对原始图像，首先通过Canny边缘提取算法提取图像边缘获得边缘图，而后对边缘图进行图像的距离变换操作获得距离图，再结合所述边缘图和所述距离图获得搜索场景图；

S2，通过激光雷达获得点云数据，从所述点云中提取深度不连续点、折线点和边缘点的点云边缘特征；

S3，结合所述搜索场景图和所述点云边缘特征构建优化目标函数，利用遗传算法寻找最优的外参，最终实现对单目相机和激光雷达的外参标定。

进一步的，所述步骤S1具体包括：

S11，将原始图像I输入Canny边缘提取算法模块，获得边缘图；

S12，将所述边缘图中的像素值的0和1做对调后，通过正向、反向两次扫描过程实现对所述边缘图/>的距离变换，获得距离图/>；

S13，结合所述边缘图和所述距离图/>获得搜索场景图：

；

其中，u和v表示当前像素点的横坐标和纵坐标；x和y表示距离当前坐标系最近的边缘点的横坐标和纵坐标；256代表灰度图中像素最大值为256；和/>为参数。

进一步的，所述S12具体为：

设在正向、反向两次扫描过程中像素的相邻像素的集合分别为/>和/>，则图像距离变换的两次扫描计算过程如下：

第一次扫描：

从图像左上角开始，从左往右，从上往下扫描图像，计算相邻像素集合N ₁中的各个像素到当前像素的距离，并将其中的最小值更新为当前像素点的像素值也即距离值，计算公式如下：

；

其中表示第一次扫描后点/>的像素值；

第二次扫描：

从图像右下角开始，从右往左，从下往上扫描图像，计算相邻像素集合N ₂中的各个像素到当前像素的距离，并将其中的最小值与第一次扫描中获得的值做对比，其中更小的值即是距离变换最终的结果，计算公式如下：

；

其中，表示曼哈顿距离，/>表示第二次扫描后点/>的像素值；至此，经过两次扫描获得最终的距离图/>。

进一步的，所述步骤S2具体包括：

对于点云中的任一点，通过k近邻搜索算法获得离点/>最近的若干个点，本实施例中，取与点/>最近的10个点，求取这10个点和点/>的y轴坐标的差，将其中差值大于设定值的点剔除，获得同一个激光束的近邻点；在程序中只保留了y轴误差小于0.05m的点。

根据x轴坐标差挑选出同一个激光束中离点最近的左右两个点，计算/>点与近邻点之间的矢量，以矢量关系作为点/>分类的标准，得到点/>是属于深度不连续点或折线点；

遍历点云中的所有点，将提取出来的所有的边缘点、深度不连续点和折线点的集合记为，/>即为点云边缘特征。

所述同一个激光束的近邻点通过以下方式获得：

如果计算出的同一个激光束的近邻点不足2个，则抛弃该点，否则，再根据x轴坐标的差挑选边缘点，如果x轴的差全为负数或者全为正数则认为该点属于边缘点，否则，根据x轴坐标差挑选出同一个激光束中离点最近的左右两个点。

进一步的，分别计算所述点与左右近邻点之间的矢量，以左右临近点矢量关系作为点/>分类的标准，得到点/>是属于深度不连续点或折线点具体为：

如果左右近邻点的矢量关系中，其中一个比另外一个的矢量长度在2倍以上，且较大的矢量长度大于0.3m，并且两个矢量之间的夹角小于160°，则属于深度不连续点；如果两个矢量的夹角大于40°小于100°，则属于折线点。

进一步的，所述步骤S3具体包括：

将单目相机和激光雷达的外参标定优化问题定义为一个非凸不可微的优化问题，优化问题的目标函数定义如下：

；

其中，N表示像素点集中点的数量，/>是目标函数，表示的是像素点集中所有点的值的平均值，/>分别表示滚转、俯仰和偏航角三个欧拉角；求解该目标函数得到当/>最大时的滚转、俯仰和偏航角即可获得标定后的单目相机和激光雷达的外参。

进一步的，结合遗传算法的实现方法和单目相机和激光雷达外参标定的优化目标函数，过程如下：

(1)首先设定欧拉角的浮动范围为 ，随机生成/>个欧拉角的分配方案构成初始种群；

(2)在种群的所有个体中，将点云边缘特征投影到图像中，去除投影位置不在图像中的点；

(3)根据计算适应度函数，依据计算的适应度函数值采用轮盘赌模型对种群的个体进行选择，得到种群中的最优个体；

(4)对选择得到的个体进行交叉、变异操作，形成下一代种群；

(5)判断优化结束条件，如果满足则输出最优欧拉角，否则重复(2)~(4)操作；

获得最终的外参标定结果。

以下通过具体实例说明算法的使用流程：

设定如下计算条件和技术参数：

（1）以空间非合作目标在轨观测为背景，单目相机和激光雷达与被观测的空间非合作目标之间的姿态固定俯仰、滚转和偏航都为30度；

（2）单目相机的参数为：分辨率1024×1024，焦距10mm，相机尺寸3.072mm；

（3）激光雷达参数为：激光器数量64，距离误差<2cm，角分辨率0.08（度）。

采用Blender和Matlab进行仿真验证，可以获得图2a、图2b、图2c、图2d、图3a、以及图3b和表1的仿真结果。图2a为原始图像；图2b为边缘图；图2c为距离图；图2d为搜索场景图；图3a为原始点云；图3b为点云边缘特征；表1为不同姿态条件下外参标定误差表。从图2b可知，Canny边缘提取算法可以很好的提取出目标的边缘信息。从图2c中可以看出，距离变换可以从边缘图像中提取出图像中的某点距离最近边缘点的距离并以图像灰度值的形式表现出来。从图2d中可以看出，搜索场景图不仅存在周围像素与边缘之间的距离信息，并且在边缘附近存在图像灰度值的突变。从图3b可知，点云边缘特征提取方法可以很好的提取原始点云中的边缘特征。表1为不同姿态条件下外参标定误差表，从表1中可知不同距离情况下，本发明提出的方法都能获得高精度的外参标定方法。

表1

。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (8)

1.一种单目相机和激光雷达在轨外参标定方法，其特征在于，所述标定方法步骤如下：

S1，获取原始图像，首先通过Canny边缘提取算法提取所述原始图像的边缘获得边缘图，而后对边缘图进行图像的距离变换操作获得距离图，再结合所述边缘图和所述距离图获得搜索场景图；

S2，通过激光雷达获得点云数据，从所述点云中提取深度不连续点、折线点和边缘点的点云边缘特征；

S3，结合所述搜索场景图和所述点云边缘特征构建优化目标函数，利用遗传算法寻找最优的外参，最终实现对单目相机和激光雷达的外参标定。

2.根据权利要求1所述的一种单目相机和激光雷达在轨外参标定方法，其特征在于，所述步骤S1具体包括：

S11，将原始图像I输入Canny边缘提取算法模块，获得边缘图；

S12，将所述边缘图中的像素值的0和1做对调后，通过正向、反向两次扫描过程实现对所述边缘图/>的距离变换，获得距离图/>；

S13，结合所述边缘图和所述距离图/>获得搜索场景图：

；

其中，u和v表示当前像素点的横坐标和纵坐标；x和y表示距离当前坐标系最近的边缘点的横坐标和纵坐标；256代表灰度图中像素最大值为256；和/>为参数。

3.根据权利要求2所述的一种单目相机和激光雷达在轨外参标定方法，其特征在于，所述S12具体为：

设在正向、反向两次扫描过程中像素的相邻像素的集合分别为/>和/>，则图像距离变换的两次扫描计算过程如下：

第一次扫描：

从图像左上角开始，从左往右，从上往下扫描图像，计算相邻像素集合N ₁中的各个像素到当前像素的距离，并将其中的最小值更新为当前像素点的像素值也即距离值，计算公式如下：

；

其中表示第一次扫描后点/>的像素值；

第二次扫描：

从图像右下角开始，从右往左，从下往上扫描图像，计算相邻像素集合N ₂中的各个像素到当前像素的距离，并将其中的最小值与第一次扫描中获得的值做对比，其中更小的值即是距离变换最终的结果，计算公式如下：

；

其中，表示曼哈顿距离，/>表示第二次扫描后点/>的像素值；至此，经过两次扫描获得最终的距离图/>。

4.根据权利要求2所述的一种单目相机和激光雷达在轨外参标定方法，其特征在于，所述步骤S2具体包括：

对于点云中的任一点，通过k近邻搜索算法获得离点/>最近的若干个点，求取这些点和点/>的y轴坐标的差，将其中差值大于设定值的点剔除，获得同一个激光束的近邻点；

根据x轴坐标差挑选出同一个激光束中离点最近的左右两个点，计算/>点与近邻点之间的矢量，以矢量关系作为点/>类型分类的标准，得到点/>是属于深度不连续点或折线点；

遍历点云中的所有点，将提取出来的所有的边缘点、深度不连续点和折线点的集合记为，/>即为点云边缘特征。

5.根据权利要求4所述的一种单目相机和激光雷达在轨外参标定方法，其特征在于，所述同一个激光束的近邻点通过以下方式获得：

如果计算出的同一个激光束的近邻点不足2个，则抛弃该点，否则，再根据x轴坐标的差挑选边缘点，如果x轴的差全为负数或者全为正数则认为该点属于边缘点，否则，根据x轴坐标差挑选出同一个激光束中离点最近的左右两个点。

6.根据权利要求4所述的一种单目相机和激光雷达在轨外参标定方法，其特征在于，分别计算所述点与左右近邻点之间的矢量，以左右临近点矢量关系作为点/>分类的标准，得到点/>是属于深度不连续点或折线点具体为：

如果左右近邻点的矢量关系中，其中一个比另外一个的矢量长度在2倍以上，且较大的矢量长度大于0.3m，并且两个矢量之间的夹角小于160°，则属于深度不连续点；如果两个矢量的夹角大于40°小于100°，则属于折线点。

7.根据权利要求2所述的一种单目相机和激光雷达在轨外参标定方法，其特征在于，所述步骤S3具体包括：

将单目相机和激光雷达的外参标定优化问题定义为一个非凸不可微的优化问题，优化问题的目标函数定义如下：

；

其中，N表示像素点集中点的数量，/>是目标函数，表示的是像素点集中所有点的值的平均值，/>分别表示滚转、俯仰和偏航角三个欧拉角；求解该目标函数得到当/>最大时的滚转、俯仰和偏航角即获得标定后的单目相机和激光雷达的外参。

8.根据权利要求7所述的一种单目相机和激光雷达在轨外参标定方法，其特征在于，结合遗传算法的实现方法和单目相机和激光雷达外参标定的优化目标函数，过程如下：

(1)首先设定欧拉角的浮动范围为 ，随机生成/>个欧拉角的分配方案构成初始种群；

(2)在种群的所有个体中，将点云边缘特征投影到图像中，去除投影位置不在图像中的点；

(3)根据计算适应度函数，依据计算的适应度函数值采用轮盘赌模型对种群的个体进行选择，得到种群中的最优个体；

(4)对选择得到的个体进行交叉、变异操作，形成下一代种群；

(5)判断优化结束条件，如果满足则输出最优欧拉角，否则重复(2)~(4)操作；

获得最终的外参标定结果。