CN109541632B - 一种基于四线激光雷达辅助的目标检测漏检改进方法 - Google Patents

Abstract

本发明涉及一种基于四线激光雷达辅助的目标检测漏检改进方法，包括：选取适当的目标检测网络，在数据集上进行训练；同时获取一张车载相机拍摄的待检测图像I和与其对应的一帧激光雷达点云数据C；将待检测图像I输入目标检测网络中，得到单纯的基于图像的目标检测结果；针对激光雷达点云数据C中全部数据点，基于雷达坐标系到像素坐标系的变换矩阵；对每个包含雷达数据点的检测框，更新其置信概率；输出检测结果。

Description

一种基于四线激光雷达辅助的目标检测漏检改进方法

技术领域

本发明涉及智能驾驶、计算机视觉和深度学习领域，特别涉及一种基于四线激光雷达辅助的目标检测漏检改进方法。相比于单纯基于车载相机图像的目标检测方法，本方法能够有效地降低目标检测的漏检率。

背景技术

近年来，Faster-RCNN[1]、特征金字塔网络(feature pyramid network，FPN)[2]和SSD[3]等深度神经网络已经在目标检测任务上表现出了很好的性能。然而，在智能驾驶汽车的实际应用场景下，会遇到一些车载相机成像质量较差的情况，对深度神经网络的目标检测造成比较严重的干扰。例如，在夜晚条件下，光照较差，车辆和行人等目标的明暗对比度较低、成像较为模糊，因此增加了神经网络的辨识难度。此外，夜间行车时，对向来车的车灯(特别是远光灯)会使车载相机出现“眩光”现象；前方车辆也会反射本车车灯的灯光，当这种反射现象较为严重的时候，会消除前方车辆的某些细节信息。此外，由于车载相机成像存在透视效应，距离车辆越远的物体在图像上越小。相应地，车载相机图像中包含该目标的像素值较少，所能提供的信息也较少。因此，较远的目标对于深度神经网络来说属于较难识别的对象，深度神经网络得到的置信概率不高。这些情况都会降低深度神经网络的性能，使神经网络的检测结果出现漏检。

从理论上说，这种现象是车载相机的成像这一环节造成的，因此单纯地通过改进深度神经网络的结构很难解决这个问题，即，如果成像的时候就没有提供充足的信息，无论如何改进神经网络都无法弥补这样的信息损失。

参考文献：

[1]Ren S,He K,Girshick R,et al.Faster r-cnn:Towards real-time objectdetection with region proposal networks[C]//Advances in Neural InformationProcessing Systems,Montreal,Canada,2015:91-99.

[2]Lin T Y,Dollár P,Girshick R,et al.Feature Pyramid Networks forObject Detection[C]//Proceedings of IEEE Conference on Computer Vision andPattern Recognition,Honolulu,USA,2017:936-944.

[3]Liu W,Anguelov D,Erhan D,et al.SSD:Single Shot MultiBoxDetector.European Conference on Computer Vision.Springer,Cham,2016:21-37.

发明内容

本发明的目的是克服现有的单纯基于车载相机拍摄的图像的目标检测方法在成像条件较差的情况下漏检率较高的问题，提出了一种基于四线激光雷达辅助的目标检测漏检改进方法，通过将四线激光雷达的点云投影到图像上并增强包含雷达数据点的检测框的置信概率，以弥补现有方法对复杂成像条件下的目标的漏检问题。技术方案如下：

一种基于四线激光雷达辅助的目标检测漏检改进方法，包括下列步骤：

步骤1：选取适当的目标检测网络，在数据集上进行训练；

步骤2：同时获取一张车载相机拍摄的待检测图像I和与其对应的一帧激光雷达点云数据C，在待检测图像I中，以左上角顶点为原点，水平向右方向为u轴，垂直向下方向为v轴，建立像素坐标系O_I-uv，设像素点在该坐标系下的坐标为(u,v)，激光雷达的点云数据C是一个N×3的三维矩阵，其中每一行代表一个雷达点，将第i行对应的雷达数据点记为C_i，每个雷达数据点通常有三个属性，即激光雷达坐标系O_C-xyz下数据点的三维坐标(x_i,y_i,z_i)，即有：

步骤3：将待检测图像I输入目标检测网络中，得到单纯的基于图像的目标检测结果；设图像I中共有K个目标检测结果，则可将全部检测框记为

其中L^k表示第k个目标检测框，将第k个目标检测框L^k在像素坐标系O_I-uv下的四个坐标记为

对应的置信概率记为P(L^k)；

步骤4：针对激光雷达点云数据C中全部数据点C_i,i＝1,2,…,N，基于雷达坐标系O_C-xyz到像素坐标系O_I-uv的变换矩阵，计算每一个雷达数据点在图像上的坐标；将雷达数据点C_i投影像素坐标系O_I-uv下的像素坐标记为(u_i,v_i)；

步骤5：如果雷达数据点C_i对应的像素坐标(u_i,v_i)满足

且

则认为检测框L^k包含雷达数据点C_i，即有：

对全部N个雷达数据点C_i,i＝1,2,…,N和全部K个目标检测框

进行匹配，选出包含雷达数据点的M个检测框

其中，将第m个包含雷达数据点的检测框记为L^m；

步骤6：对每个包含雷达数据点的检测框

将其在步骤2中单纯通过图像得到的置信概率记为P_old(L^m)，更新其置信概率P(L^m)＝sigmoid(P_old(L^m)+C)，其中C为一个常数，要求C＞0；其他K-M个不包含雷达数据点的检测框的置信概率不变；

步骤7：设定置信概率阈值为P_threshold，如果检测框L^k的置信概率P(L^k)大于该阈值，则认为该检测框是有效的，予以保留；如果检测框L^k的置信概率P(L^k)小于等于该阈值，则丢弃该检测框，遍历全部的K个检测框

保留P(L^k)＞P_threshold的检测框作为最终输出的检测结果。

本发明根据四线激光雷达点云与车载相机图像融合的结果，增强包含雷达数据点的检测框的置信概率，以减少深度神经网络目标检测的漏检情况。将本发明应用在实际的无人驾驶汽车系统中，能够有效降低雨雪、雾霾以及夜间行车等复杂环境下目标识别的漏检率，从而提升无人驾驶汽车在恶劣条件下的安全性。

附图说明

图1展示了四线激光雷达与车载相机进行配准和融合的点云热图示例

图2(a)“眩光”现象对识别置信度的影响；(b)夜晚明暗对比度较低对识别置信度的影响说明了成像质量较差情况下检测结果的置信概率较低，说明了距离较远的目标检测得到的置信概率较低

图3的四个图为表征了距离较远的目标检测得到的置信概率较低的示意图

图4展示了传统的R-Tree结构示意图

图5展示了本专利提出的二层R-Tree示意图

图6展示了四线激光雷达辅助增强前后置信概率的对比

图7展示了置信概率增强前后目标检测结果的对比(阈值为0.7)

具体实施方式

下面结合附图对本发明作进一步的描述。

四线激光雷达的基本探测原理是由激光器发射激光信号，通过接收和测量被目标反射的激光信号来获取目标的相关信息。四线激光雷达的工作原理决定了它不会受到阴影和光照等的影响，是车载相机的一个很好的补充。因此，本发明通过四线激光雷达提供额外的信息，将四线激光雷达的数据点云与对车载相机拍摄的图像进行融合，以降低目标检测的漏检率。

为了能够将四线激光雷达的点云数据投影到车载相机拍摄的图像上，需要对四线激光雷达和车载相机进行配准和标定，计算得到从雷达坐标系到相机拍摄的图像坐标系的变换矩阵；然后根据坐标变换矩阵将四线激光雷达的点云数据投影到车载相机拍摄的图像上。

首先通过标定得到相机的内参，即相机的横纵焦距f_u和f_v，以及相机的光学中心(c_u,c_v)。由此可以得到相机坐标系O_C-xyz与图像坐标系O_I-uv之间的坐标变换，如式(1)所示。

其中，相机坐标系O_C-xyz以车载相机的光学中心为坐标原点，向右为x轴正方向，向前为y轴正方向；图像坐标系O_I-uv以拍摄图像的图像左上角点为原点，向右为u轴正方向，向下为v轴正方向。c₁，s₁，c₂，s₂分别为cosα，sinα，cosβ，sinβ；α，β分别为相机的俯仰角和偏航角，通过车载相机的装配方案或实际测量得到。h为相机高度，k＝c₁s₂x+c₁c₂y+s₁h。

由于无人驾驶汽车上的四线激光雷达与车载相机的位置是相对固定的，四线激光雷达得到的点云坐标可以通过一个“旋转-平移”变换投影到相机坐标系O_C-xyz下，如式(2)所示。

其中，R∈{R_x,R_y,R_z}，R_x,R_y,R_z分别为绕轴的旋转矩阵，T是平移矩阵，其具体公式如式(3)所示。

综上所述，四线激光雷达的数据点首先经过旋转和平移，变换到相机坐标系下；然后通过投影矩阵变换到图像坐标系上；最终形成如图1所示的点云热图，完成了车载相机与激光雷达的数据融合。

图1显示了四线激光雷达与车载相机进行配准和融合之后得到的点云热图示例。其中，雷达数据点的颜色代表了该点到车身的相对距离：颜色越偏红表示到车身的距离越近，越偏蓝则表示到车身的距离越远。

基于融合后的数据进行的实验表明，在成像条件十分恶劣的情况下，深度神经网络产生漏检的一个原因是检测框的置信概率不高，会被阈值滤掉。如图2和图3所示，由于被检测目标受到“眩光”现象、明暗对比不高以及距离较远等问题的影响，深度神经网络会给输出的检测框设定一个较低的置信概率。由于目标检测通常选用较高的阈值(在本例中选用0.7)，这些置信概率较低的检测框会被滤掉，进而造成漏检。

根据四线激光雷达的工作原理，有理由认为包含雷达数据点的检测框有很大概率是一个真实的目标，因此，本发明提升这些包含雷达数据点的检测框的置信概率。由于解析得到的四线激光雷达数据点具有无序性，不能直接得到检测框与雷达数据点的空间对应关系。针对这个问题，通常采用循环遍历的方法。即针对每一个检测框遍历所有的雷达数据点，判断每一个雷达数据点是否在检测框内。但是，这种方法存在较为严重的效率问题，其分析如下：

设一张车载相机拍摄的图像I中包含M个物体检测框和N个雷达数据点。循环遍历的方法实质上针对每一个物体检测框都对所有的雷达数据点进行了一次空间结构关系的索引，其时间复杂度为Ο(MN)。然而，一张图像上物体检测框与雷达数据点的相对的空间结构关系是固定的，从理论上说，可以通过一次统一的对检测框和数据点的遍历得到，因此理论上最优的计算复杂度应该为Ο(M+N)。另一方面，图像I中包含的雷达数据点的数量N是固定的，但由于不同交通场景下的目标(人、车等)的数量相差很大，物体检测框的数量M变化也比较大。这就意味着这种算法的计算复杂度很不稳定。

因此，本发明提出了一种改进的R-Tree算法，以完成检测框与雷达数据点的空间索引。传统的R-Tree是一个自适应调整高度的动态平衡树，其构成方式是：从叶子结点开始，每一个结点的父亲结点在空间上完全包含其所有的子结点。这样逐层上溯，形成一个完整的、描述了不同层次的结点之间的空间包含关系的数据结构。其基本结构如图4所示。但是，传统的R-Tree的高度是不固定的，因此需要大量的动态调整操作。由于物体检测框与雷达数据点的匹配任务只需要保存检测框与雷达数据点的包含关系，不需要记录检测框之间的相互包含关系，因此本专利可以将传统的高度可变的R-Tree结构优化为高度固定为2层的R-Tree结构。其中，R-Tree的第一层保存物体检测框，第二层保存雷达数据点。如果物体检测框包含雷达数据点，该数据点对应的在R-Tree的第二层中存储的叶子节点，恰好是R-Tree中第一层中对应的物体检测框结点的子结点，其结构如图5所示。

针对每一张给定的图像和对应的雷达数据云，按照如上文所述的规则建立一个R-Tree。在建立R-Tree的过程中，仅针对所有的检测框和雷达数据点进行了一次遍历，因此时间复杂度为Ο(M+N)。而在查询的过程中，每一个检测框只需要进行一次查询即可得到它的叶子节点，也就是其所包含的全部雷达数据点。由此建立了检测框和雷达数据点的空间关联。

在建立检测框和雷达数据点的空间关联之后，本发明采用某种适当的变换函数对包含雷达数据点的检测框置信概率的增强。由激光雷达的工作原理，可以假设点云所对应的位置是目标，因此可以增强包含雷达数据点的检测框的置信概率，以弥补深度神经网络在复杂环境下识别置信概率较低的问题。本发明以式(4)所示的函数说明置信概率的变换过程。式(4)所示函数将置信概率加一个较大的常数，再经过sigmoid变换来提高包含雷达数据点的目标检测框的置信概率。显然，本发明不限制置信概率变换函数的形式，仅要求其的定义域为(-∞,+∞)，值域为(0,1)，且为单调递增函数。式(4)所示函数仅是一个示例。

P_new＝sigmoid(P_old+C) (4)

图6展示了根据式(4)进行变换前后置信概率的对比，采用C＝2的参数设置。其中，左侧为增强后的检测结果和置信概率，右侧为增强前的检测结果和置信概率。每张图像的左上角为感兴趣区域的局部放大，重点强调了难例的置信概率在增强前后的对比。可以看出，经过四线激光雷达辅助的概率增强，置信概率较低的检测框得到了显著的增强，所以能够超过阈值(0.7)并得以保留。

图7对比了置信概率增强前后最终的检测结果(以0.7为阈值)。可以看出，单纯基于图像的方法在目标遮挡、目标较远以及目标明暗对比度较低等情况下都会发生漏检。在四线激光雷达辅助的置信概率增强之后，这些目标都能够被检测出来。

具体地，本发明的具体实施方式包含以下几个步骤：

步骤1：选取适当的目标检测网络，在数据集上进行训练。

步骤2：将待检测图像I输入目标检测网络中，得到单纯基于图像的目标检测结果

其中L^k表示第k个目标检测框。其对应的置信概率记为P(L^k)。

步骤3：基于雷达坐标系到相机坐标系的变换矩阵，计算每一个雷达数据点在图像上的坐标(u_i,v_i)。

步骤4：基于R-Tree算法对雷达数据点和目标检测框进行匹配，选出包含雷达数据点的全部检测框

步骤5：对每个

更新其置信概率P_new＝sigmoid(P_old+C)。在实际的代码实现中，通常采用C＝2的参数设置。

步骤6：遍历每个检测框

保留P(L^k)＞P_threshold的检测框作为最终的检测结果。在实际的代码实现中，通常采用P_threshold＝0.7的参数设置。

步骤7：方法结束。

Claims (1)

1.一种基于四线激光雷达辅助的目标检测漏检改进方法，包括下列步骤：

步骤1：选取适当的目标检测网络，在数据集上进行训练；

步骤2：同时获取一张车载相机拍摄的待检测图像I和与其对应的一帧激光雷达点云数据C，在待检测图像I中，以左上角顶点为原点，水平向右方向为u轴，垂直向下方向为v轴，建立像素坐标系O_I-uv，设像素点在该坐标系下的坐标为(u,v)，激光雷达的点云数据C是一个N×3的三维矩阵，其中每一行代表一个雷达点，将第i行对应的雷达数据点记为C_i，每个雷达数据点通常有三个属性，即激光雷达坐标系O_C-xyz下数据点的三维坐标(x_i,y_i,z_i)，即有：

步骤3：将待检测图像I输入目标检测网络中，得到单纯的基于图像的目标检测结果；设图像I中共有K个目标检测结果，则可将全部检测框记为

其中L^k表示第k个目标检测框，将第k个目标检测框L^k在像素坐标系O_I-uv下的四个坐标记为

对应的置信概率记为P(L^k)；

步骤4：针对激光雷达点云数据C中全部数据点C_i,i＝1,2,…,N，基于雷达坐标系O_C-xyz到像素坐标系O_I-uv的变换矩阵，计算每一个雷达数据点在图像上的坐标；将雷达数据点C_i投影像素坐标系O_I-uv下的像素坐标记为(u_i,v_i)；

步骤5：如果雷达数据点C_i对应的像素坐标(u_i,v_i)满足

且

则认为检测框L^k包含雷达数据点C_i，即有：

对全部N个雷达数据点C_i,i＝1,2,…,N和全部K个目标检测框

进行匹配，选出包含雷达数据点的M个检测框

其中，将第m个包含雷达数据点的检测框记为L^m；

步骤6：对每个包含雷达数据点的检测框

将其在步骤2中单纯通过图像得到的置信概率记为P_old(L^m)，更新其置信概率P(L^m)＝sigmoid(P_old(L^m)+C)，其中C为一个常数，要求C＞0；其他K-M个不包含雷达数据点的检测框的置信概率不变；

步骤7：设定置信概率阈值为P_threshold，如果检测框L^k的置信概率P(L^k)大于该阈值，则认为该检测框是有效的，予以保留；如果检测框L^k的置信概率P(L^k)小于等于该阈值，则丢弃该检测框，遍历全部的K个检测框

保留P(L^k)＞P_threshold的检测框作为最终输出的检测结果。

Images