CN110456363B - 三维激光雷达点云和红外图像融合的目标检测及定位方法 - Google Patents

Abstract

本发明公开了一种三维激光雷达点云和红外图像融合的目标检测及定位方法，建立红外相机与三维激光雷达的坐标转换关系；红外相机采集红外图像，获得红外图像目标候选区域；三维激光雷达采集雷达数据，获得雷达目标候选区域及其中心点坐标；利用坐标转换关系将雷达目标候选区域投影到红外图像中，得到雷达聚类目标区域；将交并比达到设定门限的红外‑雷达公共区域作为最终目标区域保留下来；从最终目标区域中提取区域长宽比、最大温度和温度离散度组成聚合多特征输入分类器对红外目标进行分类，分类结果结合所述目标定位信息，得到红外目标检测及定位结果。使用本发明融合红外图像和三维激光雷达点云，能够实现夜间障碍物检测及定位。

Description

三维激光雷达点云和红外图像融合的目标检测及定位方法

技术领域

本发明涉及无人运动平台自主导航技术领域，尤其涉及一种三维激光雷达点云和红外图像融合的目标检测及定位方法。

背景技术

无人运动平台在民用、军事、科研等各领域的应用前景日益广阔，想要实现自主运动离不开环境感知技术，夜间障碍物探测是无人平台全天候工作的重要组成部分。

可见光相机受到光照的影响大，无法在夜间进行目标识别，而红外相机的被动感光特性使其不受光照等因素的影响，可用于夜间障碍物检测。然而仅依赖红外图像无法获得目标位置，进而为无人平台提供更丰富的环境信息。激光雷达点云可以反应位置信息，环境适应性强，因此融合红外图像和三维激光雷达点云有望实现夜间障碍物检测及定位。

发明内容

有鉴于此，本发明提供了一种三维激光点云和红外图像融合的目标检测及定位方法，融合红外图像和三维激光雷达点云，实现夜间障碍物探测。

为了解决上述技术问题，本发明是这样实现的：

一种三维激光点云和红外图像融合的目标检测及定位方法，包括：

步骤一：建立红外相机与三维激光雷达的坐标转换关系；

步骤二：红外相机采集红外图像，采用聚类的方式进行图像分割，获得红外图像目标候选区域；

步骤三：利用三维激光雷达采集雷达数据，使用激光雷达点云层次聚类，获得雷达目标候选区域，以及每个区域中心点坐标；步骤二和步骤三不分先后；

步骤四：利用步骤一得到的坐标转换关系将所述雷达目标候选区域投影到红外图像中，得到雷达聚类目标区域；将红外图像目标候选区域与雷达聚类目标区域进行匹配融合，将交并比达到设定门限的红外-雷达公共区域作为最终目标区域保留下来，最终目标区域对应的雷达聚类目标区域的中心点坐标即为目标定位信息；

步骤五：从保留的最终目标区域中提取区域长宽比R、最大温度T_max和温度离散度D_Feature组成聚合多特征输入分类器对红外目标进行分类，分类结果结合所述目标定位信息，得到红外目标检测及定位结果；

所述最大温度T_max为融合区域内像素值最大的n个点的平均像素值对应的相机温度T_max，温度离散度D_Feature为融合区域灰度直方图的方差D_Feature。

优选地，所述步骤一为：以可见光相机作为标定的中间变量，分别标定红外相机与可见光相机、三维激光雷达与可见光相机，获得红外相机和可见光相机的坐标转换关系、三维激光雷达和可见光相机的坐标转换关系；利用这两个坐标转换关系得到红外相机与三维激光雷达的坐标转换关系为：

其中，空间点在红外相机坐标系下的坐标为P_Cr＝(x_Cr，y_Cr，z_Cr)，在激光雷达坐标系下对应点的坐标为(x_l,y_l,z_l)，R_T为红外相机到可见光相机的旋转矩阵，T_T红外相机到可见光相机的平移矩阵，R_c与T_c分别为激光雷达坐标系到可见光相机坐标系下的转换矩阵和平移向量。

优选地，所述步骤二包括：

步骤1)、选取多个场景图像，统计每个场景中灰度直方图的峰值和谷值，峰值均值作为聚类中心上界限thres_u，谷值均值作为聚类中心下界限thres_d；设迭代初始值s＝1；

步骤2)、给定聚类类别数C，图像像素点总数N，设定迭代停止阈值ε；

步骤3)、用值在[thres_d,thres_u]之间随机数初始化聚类中心c_i，i＝1,…,C,用值在[0,1]之间的随机数初始化C×N的隶属度矩阵U；

步骤4)、更新隶属度矩阵U^(s+1)：

其中，μ_ik∈[0,1]是隶属度矩阵U中第i行第k列的元素，表示第k个像素点x_k属于第i类的隶属度，

为高斯核函数，σ为核函数带宽，m为加权指数；上角标s和s+1表示迭代轮次；

步骤5)、更新聚类中心矩阵c^(s+1)：

其中，c_i表示聚类中心矩阵c中第i个元素；

步骤6)若||c^(s+1)-c^(s)||<ε，终止迭代，跳转到步骤7)，否则令s自加1，返回步骤4)继续迭代；

步骤7)利用迭代完成后获得的隶属度矩阵U和聚类中心c，得到分割后的图像，获得图像目标候选区域。

优选地，步骤四确定最终目标区域及其目标定位信息的过程为：

第一步：设红外图像目标候选区域有n_i个，记为R_1i，i＝1,2,…,n_i；激光雷达聚类目标区域有n_l个，记为R_2j，每个区域中心点的坐标(x，y，z)记为P_j，j＝1,2,…,n_l；针对每个红外图像目标候选区域R_1i，分别计算该区域与各激光雷达聚类目标区域R_2j的面积交并比，并取最大值，记为r_i；

第二步：保留r_i值大于设定阈值的红外-雷达目标公共区域作为最终目标区域，最终目标区域对应的激光雷达聚类目标区域的中心点坐标即为目标的定位信息。

有益效果：

1.本发明首次提出了融合红外图像和三维激光雷达点云实现目标检测及定位的方法。与传统红外小目标检测不同，本发明能够检测十米范围内的行人和车辆，并得到其精确的位置信息，同时实现检测及定位。

2.本发明创新的提出了聚合多特征进行目标区域分类识别。根据红外图像成像特点，利用不同目标温度差异性，摒弃传统的HoG、Harr等特征，设计了区域长宽比、最大温度和温度离散度三种聚合的多特征来描述目标区域，大大提高分类的准确度和实时性。

3.本发明提出了一种操作简单、成本低廉的红外相机与三维激光雷达标定方法。与当前已有的标定算法相比，本发明使用可见光相机作为标定的中间桥梁，使用纸质的标定板通过相对简单的标定过程即可获得两传感器坐标系间的转换关系。

4、受到传感器视场的限制，红外图像的分割结果不一定能够投影到雷达点云中，因此本发明在步骤三将三维激光雷达目标候选区域投影至红外图像中，利用联合标定得到的坐标转换关系可以实现这一功能，从而为后续的融合提供基础。

附图说明

图1为本发明流程图。

图2为红外相机与可见光相机坐标系之间的关系示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种三维激光雷达点云和红外图像融合的目标检测及定位方法，如图1所示，其包括如下步骤：

步骤一：建立红外相机与三维激光雷达的坐标转换关系。

本发明提供了一种成本低廉的坐标转换关系构建方法，使用可见光相机作为标定的中间变量，标定红外相机与可见光相机，获得红外相机和可见光相机的坐标转换关系，标定三维激光雷达与可见光相机，获得三维激光雷达和可见光相机的坐标转换关系；利用这两个坐标转换关系得到红外相机与三维激光雷达的坐标转换关系。具体来说：

对于红外相机与可见光相机的标定，使红外相机和可见光相机光轴平行放置，红外相机和可见光相机的模型可简化为平行光轴模型，如图2所示。设一空间点P(x_w,y_w,z_w)，在可见光相机坐标系下的坐标为P_Cl＝(x_Cl，y_Cl，z_Cl)，在红外相机坐标系下的坐标为P_Cr＝(x_Cr，y_Cr，z_Cr)，可见光相机标定得到的平移矩阵记为T_l，旋转矩阵记为R_l；红外相机标定得到的平移矩阵记为T_r，旋转矩阵记为R_r。则有：

联立式(1)和(2)，消去x_W、y_W、z_W，可以得到：

记

为红外相机到可见光相机的旋转矩阵，

为红外相机到可见光相机的平移矩阵，则两相机间的位置模型为：

利用张氏棋盘法进行标定。针对红外相机的成像特性，本发明制作了低成本的标定板。将提前加热并且按照棋盘格裁剪成镂空形状的白色纸贴在低温黑色板上。根据板子和纸的温度，红外图像上纸为白色而电脑为黑色，在可见光图像中的颜色与红外图像相对应。这样即可满足图像标定的要求，又可以大大缩小标定成本。

对三维激光雷达和可见光相机的标定，制作两块大小相同的方形板，在每个板子左上角粘贴不同的二维码。使激光雷达和可见光相机均能够完全检测到完整的二维码。按顺序依次选择图像中二维码边缘点与雷达点云中的对应点，进行迭代，相机的标定参数得到雷达和图可见光相机之间的转换关系。

其中，R_c与T_c分别为激光雷达坐标系到可见光相机坐标系下的转换矩阵和平移向量，(x_cl,y_cl,z_cl)为空间点在可见光相机坐标系下坐标，(x_l,y_l,z_l)为空间点在在激光雷达坐标系下对应点的坐标。

对红外相机和三维激光雷达之间的标定，根据式(4)和(5)，可以得到红外相机和激光雷达的转换关系为：

步骤二、红外目标分割。

红外相机采集红外图像，采用聚类的方式进行图像分割，获得红外图像目标候选区域。具体过程如下：

首先进行图像预处理，选取具有代表性的L个场景，L为正整数，统计每个场景中灰度直方图的峰值μ_l和谷值b_l，l＝1,…,L。粗初始化聚类中心范围的下界限thres_d为：

上界限thres_u为：

然后用核函数代替欧式距离进行聚类，目标函数可以表示为：

约束条件为：

且

其中：U是隶属度矩阵，c为聚类中心矩阵，X为输入图像，C为类别数，N为图像中像素点总数，x_k为X中的元素，表示第k个像素点像素值；c_i为聚类中心矩阵c中的元素，表示第i类的聚类中心；m∈[1,+∞)是一个加权指数；μ_ik∈[0,1]是隶属度矩阵U中第i行第k列的元素，表示x_k属于第i类的隶属度。Φ指的是特征映射，根据核函数的特性，有：

选取高斯核函数：

则有：

K(x,x)＝1 (13)

将联立式(9)(12)(13)，目标函数可简化为：

设置λ_k为拉格朗日乘子，根据拉格朗日乘子法，有：

则隶属度更新矩阵为：

聚类中心矩阵为：

红外图像分割算法步骤可简述为：

1)选取L张场景图像，统计每个场景中灰度直方图的峰值和谷值，峰值均值作为聚类中心上界限thres_u，谷值均值作为聚类中心下界限thres_d，从而得到粗初始化聚类中心上下界thres_u和thres_d，设迭代初始值s＝1。

2)给定聚类类别数C(2≤C≤N)，设定迭代停止阈值ε以及聚类中心上下界。

3)用值在[thres_d,thres_u]之间随机数初始化聚类中心c_i，i＝1,…,C；用值在[0,1]之间的随机数初始化隶属度矩阵U，使其满足式(10)，因为隶属度表明每个像素值属于一类的可能性，因此和为1，每一个隶属度都应该大于0。

4)用式(16)更新隶属度矩阵U^(s+1)。上角标s和s+1表示迭代轮次。

5)利用式(17)更新聚类中心矩阵c^(s+1)。

6)若||c^(s+1)-c^(s)||<ε，终止迭代，跳转到步骤7)，否则令s自加1，返回步骤4)继续迭代。

7)迭代完成后获得的隶属度矩阵U和聚类中心矩阵c，进行图像分割，得到分割后的图像，即获得图像目标候选区域。

步骤三、激光雷达点云目标检测；

由于需要实现障碍物定位，因此利用激光点云完成检测任务的同时要保留障碍物的位置信息，而聚类算法根据点云位置、强度等信息进行分割，能够满足系统要求。因此首先使用直通滤波器滤除无用点以及离群点，然后使用激光雷达点云层次聚类，获得雷达目标候选区域，以及每个区域中心点对应的在x轴、y轴和z轴方向上的位置信息。

上述步骤二和步骤三不限定先后顺序，较佳地，可以并行执行，从而提高处理效率。

步骤四、红外相机与激光雷达信息融合处理；

受到传感器视场的限制，红外图像的分割结果不一定能够投影到雷达点云中，因此本发明将三维激光雷达目标候选区域投影至红外图像中，利用步骤一联合标定得到的坐标转换关系可以实现这一功能。这时可以融合红外分割和雷达检测结果检测目标。

将三维激光雷达目标候选区域投影至红外图像中之后，利用红外图像目标候选区域与雷达聚类目标区域之间的融合信息确定保留哪些融合区域作为最终的目标区域。本发明是根据两类区域的交并比实现最终目标区域的确定。其过程分三步实现：

第一步：找到与红外目标相对应的激光雷达区域。

设红外图像目标区域有n_i个，记为R_1i，i＝1,2,…,n_i；激光雷达目标区域有n_l个，记为R_2j，步骤三得到的每个区域中心点的坐标(x，y，z)记为P_j，j＝1,2,…,n_l，针对每个红外图像目标候选区域R_1i，分别计算该区域与各激光雷达聚类目标区域R_2j的面积交并比，获得n_l个交并比，取最大值，作为第i个红外图像目标区域的融合信息，记为r_i。设q_i为匹配编号，记为<i,j>。则有：

[r_i q_i]＝max{P_i1,P_i2,…,P_ij}i＝1,2,…,n_i (18)

其中

表示R_1i与R_2j这两个区域的面积交并比。

第二步：去除非目标区域。

第一步中计算得到的交并比P_ij，若只有激光雷达或者红外相机检测到目标，而另一传感器没有检测到，则针对R_1i计算得到的交并比最大值r_i应为零，必然不存在目标。而若r_i过小，也认为是检测错误。因此融合区域中是否存在目标应由r_i决定，有：

其中，thresh_ratio为交并比门限值。

若r_i值大于设定阈值thresh_ratio，则红外图像目标区域中存在目标，根据对应关系q_i找到对应的激光雷达目标区域，两者相交的部分为最终目标区域，雷达目标区域中心点坐标P_j即为定位结果。

步骤五、目标区域分类识别；

设计红外图像聚合多特征，对得到的匹配融合区域(即最终目标区域)进行分类。

由于在融合区域内进行分类，因此必然存在目标，而行人和车辆为道路交通的主要参与者，故将目标分为三类：行人、车辆和其他。由于行人与车辆的长宽形态不同，一般来说在图像中行人高度大于宽度，车辆长度接近或大于高度，这一点可以用来区分车辆与行人。然而在不同角度，无法完全保证障碍物长宽比在一定范围内，因此需要考虑其他因素。行人温度变化在30-37℃之间，图像中像素差异不大，而车辆的发动机部分温度在80-95℃之间，车灯根据材质的不同有的在80℃左右，有的能达到200℃以上，排气管的温度则更高，车身等其他部分温度与环境接近(5-35℃),整体温度差异大，在图像中像素变化明显。行人红外图像像素值分布集中在低像素值处，高于150的像素较少。而车辆像素值分散，且高温像素值较多，甚至有较多点像素值为255。根据红外相机的温度标定结果，可以知道温度-像素值的对应关系。因此对融合区域提取3种特征：区域长宽比R，最大温度T_max，温度离散度D_Feature。

区域长宽比R：为融合区域在图像中的高度h与宽度l的比值。

R＝h/l (20)

最大温度T_max：找到融合区域内像素值最大的前n个点，计算平均值P_max。

根据相机温度标定结果找到像素值P_max对应的温度T_max。

其中N为融合区域像素点个数，X＝{x₁,x₂,…,x_N-i}为去除i个最大值后的像素值集合。

温度离散度D_Feature：为融合区域灰度直方图的方差。记融合区域像素总数为N，灰度为r_k的像素数为n_k，则概率密度函数为p(r_k)＝n_k/N。直方图平均灰度为：

直方图标准差为：

其中，sqrt()表示平方根函数。

因此本步骤，从保留的最终目标区域中提取上述聚合多特征，输入SVM分类器进行分类，从而得到红外目标类型。步骤四得到的目标的定位信息P_j即为红外目标定位结果。

可见，本发明提供了一种红外图像和激光雷达点云融合方法实现目标检测及定位方案，标定流程简单成本低廉，检测定位精度高实时性好，具有很强的操作性和可靠性。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种三维激光雷达点云和红外图像融合的目标检测及定位方法，其特征在于，包括：

步骤一：建立红外相机与三维激光雷达的坐标转换关系；

步骤二：红外相机采集红外图像，采用聚类的方式进行图像分割，获得红外图像目标候选区域；

所述步骤二包括：

步骤1)、选取多个场景图像，统计每个场景中灰度直方图的峰值和谷值，峰值均值作为聚类中心上界限thres_u，谷值均值作为聚类中心下界限thres_d；设迭代初始值s＝1；

步骤2)、给定聚类类别数C，图像像素点总数N，设定迭代停止阈值ε；

步骤3)、用值在[thres_d,thres_u]之间随机数初始化聚类中心c_i，i＝1,…,C,用值在[0,1]之间的随机数初始化C×N的隶属度矩阵U；

步骤4)、更新隶属度矩阵U^(s+1)：

其中，μ_ik∈[0,1]是隶属度矩阵U中第i行第k列的元素，表示第k个像素点x_k属于第i类的隶属度，

为高斯核函数，σ为核函数带宽，m为加权指数；上角标s和s+1表示迭代轮次；

步骤5)、更新聚类中心矩阵c^(s+1)：

其中，c_i表示聚类中心矩阵c中第i个元素；

步骤6)若||c^(s+1)-c^(s)||<ε，终止迭代，跳转到步骤7)，否则令s自加1，返回步骤4)继续迭代；

步骤7)利用迭代完成后获得的隶属度矩阵U和聚类中心c，得到分割后的图像，获得图像目标候选区域；

步骤三：利用三维激光雷达采集雷达数据，使用激光雷达点云层次聚类，获得雷达目标候选区域，以及每个区域中心点坐标；步骤二和步骤三不分先后；

步骤四：利用步骤一得到的坐标转换关系将所述雷达目标候选区域投影到红外图像中，得到雷达聚类目标区域；将红外图像目标候选区域与雷达聚类目标区域进行匹配融合，将交并比达到设定门限的红外-雷达公共区域作为最终目标区域保留下来，最终目标区域对应的雷达聚类目标区域的中心点坐标即为目标定位信息；

步骤五：从保留的最终目标区域中提取区域长宽比R、最大温度T_max和温度离散度D_Feature组成聚合多特征输入分类器对红外目标进行分类，分类结果结合所述目标定位信息，得到红外目标检测及定位结果；

所述最大温度T_max为融合区域内像素值最大的n个点的平均像素值对应的相机温度T_max，温度离散度D_Feature为融合区域灰度直方图的方差D_Feature。

2.如权利要求1所述的方法，其特征在于，所述步骤一为：以可见光相机作为标定的中间变量，分别标定红外相机与可见光相机、三维激光雷达与可见光相机，获得红外相机和可见光相机的坐标转换关系、三维激光雷达和可见光相机的坐标转换关系；利用这两个坐标转换关系得到红外相机与三维激光雷达的坐标转换关系为：

其中，空间点在红外相机坐标系下的坐标为P_Cr＝(x_Cr，y_Cr，z_Cr)，在激光雷达坐标系下对应点的坐标为(x_l,y_l,z_l)，R_T为红外相机到可见光相机的旋转矩阵，T_T为红外相机到可见光相机的平移矩阵，R_c与T_c分别为激光雷达坐标系到可见光相机坐标系下的转换矩阵和平移向量。

3.如权利要求1所述的方法，其特征在于，步骤四确定最终目标区域及其目标定位信息的过程为：

第一步：设红外图像目标候选区域有n_i个，记为R_1i，i＝1,2,…,n_i；激光雷达聚类目标区域有n_l个，记为R_2j，每个区域中心点的坐标(x，y，z)记为P_j，j＝1,2,…,n_l；针对每个红外图像目标候选区域R_1i，分别计算该区域与各激光雷达聚类目标区域R_2j的面积交并比，并取最大值，记为r_i；

第二步：保留r_i值大于设定阈值的红外-雷达目标公共区域作为最终目标区域，最终目标区域对应的激光雷达聚类目标区域的中心点坐标即为目标的定位信息。

Images