CN109146929A - 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法 - Google Patents

Abstract

本发明涉及深度学习、图象处理以及三维点云处理的技术领域，更具体地，涉及一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法。本发明提出的基于事件触发相机数据和激光雷达数据融合的系统。通过YOLO3深度学习神经网络对图像进行通用物体检测。对被检测出物体的图像使用极小值滤波器融合激光雷达的深度信息，实现实时准确地检测图像中的物体及其深度信息的目的。

Description

一种基于事件触发相机与三维激光雷达融合系统下的物体识 别与配准方法

技术领域

本发明涉及深度学习、图象处理以及三维点云处理的技术领域，更具体地，涉及一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法。

背景技术

传统RGB相机和激光雷达都是自动驾驶车辆上常用的传感器。但是，RGB相机无法准确地获得深度信息，激光雷达的获得的点云数据会因距离越远而变得约稀疏。因此，通过将这两种传感器融合成一个系统，来弥补相互之间的缺点也是非常重要的。融合后的系统在对物体进行识别分类方面，普遍采用的是从三维激光雷达数据中找到感兴趣的区域，对该区域对应的另一传感器数据进行物体识别和分类并且获得该目标的距离等信息。

如专利名称：基于激光雷达和双目相机的车前行人检测方法及系统，申请号：CN104573646A，发明人：赵祥模；徐志刚；闵海根；张立成；周经美；杨澜；康俊民；孟凡林；尚旭明；赵佳乐；刘慧琪；王振；

该发明公开了一种基于激光雷达和双目相机的车前行人检测方法及系统。步骤如下：S1、分别用双目相机和激光雷达采集车辆前方数据；S2、对激光雷达数据使用K均值聚类算法检测疑似行人点簇{(x_i,y_i,r_i)|i＝1,2,…,m}；S3、根据每一帧检测到的点簇的中心，得到疑似行人点簇的距离、方位角、速度以及疑似行人目标的区域；S4、结合激光雷达得到的疑似行人目标区域，采用SURF特征点检测双目相机得到的数据来判断是否存在行人及行人相对于车的距离、方位角和速度；S5、将激光雷达和双目相机找到的行人的距离、方位角和速度进行卡尔曼滤波数据处理，最终得到行人相对于车的相对位置、角度和速度。

专利名称：一种融合雷达和CCD摄像机信号的车辆检测方法，申请号：CN103559791A，发明人：鲍泓；徐成；田仙仙；张璐璐；

该发明公开了一种融合雷达和CCD摄像机信号的车辆检测方法。步骤如下：S1、CCD摄像机和激光雷达分别获得路平面图像信息和路平面障碍物信息；S2、对摄像头进行矫正，通过两者的信息得到路平面坐标与图像坐标的投影矩阵，将路平面世界坐标转换成图像平面坐标；S3、提取激光雷达检测到的障碍物在视频图像中的感兴趣区域，将其输入到SVM中进行目标识别；S4、输出目标识别结果，利用激光雷达测出目标的距离。

上述现有技术中，对图像进行目标识别的方法如SURF特征点检测、SVM，速度较慢，准确率较低。

上述现有技术中，对于距离激光雷达较远的目标，其识别准确率较低。

上述现有技术中，对图像目标识别采用的算法是SURF特征点检测以及SVM，相对于YOLO3来说，SVM在求解问题分类时,要求解函数的二次规划,需要大量的存储空间；SURF在求主方向阶段太过于依赖局部区域像素的梯度方向，有可能使得找到的主方向不准确，后面的特征向量提取以及匹配都严重依赖于主方向，即使不大偏差角度也可以造成后面特征匹配的放大误差，从而匹配不成功。

上述现有技术中，都是先对激光雷达的数据进行目标识别，得到的感兴趣的区域。对该区域对应的相机的数据进行目标识别。因为激光雷达得到的点云数据，距离激光雷达越远点云就会越稀疏，这会导致无法识别到较远的目标，从而降低最终的目标识别的正确率。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，针对自主化的无人系统中，运动物体的种类识别以及它们的定位问题，提出一种基于事件触发相机与三维激光雷达融合系统的数据，利用YOLO3深度学习网络进行通用物体检测，再通过极小值滤波器融合三维激光雷达的深度信息，实现实时、准确的运动物体的分类和定位。

本发明创造的目的是提供一种快速、准确、鲁棒、高性价比的物体分类与定位的方法。本发明将事件触发传感器以高频率提供的对环境光有高鲁棒性的图像与激光雷达得到的点云数据进行融合，再对融合后的数据进行物体分类与定位，避免了因为距离激光雷达较远的点云较为稀疏而无法准确识别分类物体的情况。使用根据事件触发传感器得到的数据微调的YOLO3深度学习网络，能够快速、准确地对不同的物体进行识别和分类。激光雷达获取的环境信息基本不会受环境光影响，且因为事件触发传感器由环境光线强度变化触发的，对环境光也有很强的鲁棒性。因此，该系统能够适应光强变化十分复杂或者光强较为极端的环境。

本发明的技术方案是：一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其中，包括以下步骤：

步骤1、搭建和配准事件触发相机与三维激光雷达构成的融合系统；得到事件触发相机的内参矩阵以及事件触发相机与三维激光雷达之间的外参矩阵，利用这两个矩阵配准上述两个传感器得到的数据，使这两种数据融合；

步骤2、针对事件触发相机得到的数据，对YOLO3深度学习神经网络进行微调；因为原YOLO3是对普通RGB相机得到的图片进行物体分类识别，而事件触发相机得到的图片为黑白二值图；黑白二值图相对于彩色照片来说更容易被处理，因此能够相应地对YOLO3深度学习网络进行微调，减少系统的运行负担；另外，用事件触发相机得到的数据对微调过后的YOLO3深度学习神经网络进行训练；

步骤3、实现极小值滤波器；在使用微调过的YOLO3对事件触发相机得到的图片进行物体分类检测之后，每一个被识别到的物体都会有一个对应的数据结构，包括被检测到物体的可能种类的置信度以及物体在图像中的位置和大小；根据步骤1，图像中的某些像素点会被赋予深度信息；通过使用极小值滤波器，对被识别到的物体范围内的带有深度信息的像素点进行筛选，以其中深度的最小值作为该物体的深度；

步骤4、启动事件触发相机与三维激光传感器的融合系统，并运行算法，能够实时分类识别物体及对物体进行定位。

进一步的，所述的步骤1中实现如下：

通过由标定获得的事件触发相机的相机内参矩阵和两个传感器之间的外参矩阵进行两种传感器的数据融合；实现从三维激光雷达的点云数据转换到事件触发传感器的图像的二维平面的原理如下：

将三维的点云的点[X,Y,Z,1]转化到二维平面上的点转换的公式如下：

其中，P是事件触发相机的摄像头的内参矩阵：

这里的f是事件触发相机的摄像头焦距，(o_x,o_y)是相机的中心点；C是两个传感器各自坐标系之间的外参矩阵：

在该矩阵中(t_x,t_y,t_z,r_x,r_y,r_z)是两个传感器的六自由度6DoF；通过上述公式能够将三维激光雷达和事件触发传感器的数据融合；事件触发相机获得的图像对应一个深度矩阵D；D的行列数对应图像的行列，如果三维点云中的某一点根据上述公式对应到图像中的某一像素，那么矩阵D中的对应位置的值就为点云中该点的深度。

进一步的，所述的步骤2中，YOLO3深度神经网络的基本原理如下：

S1.YOLO3将输入的图像分为S×S个格子，如果某个物体的Ground truth的中心位置的坐标处于某个格子之中，该物体就会被这个格子检测；

S2.在S×S中的每个格子中，预测B个bounding box以及它的置信度，也就是confidence score，还会预测C个类别的概率；bounding box的信息为其中x，y，w，h为物体的中心位置相对格子位置的偏移及宽度和高度，均被归一化；为置信度，是反映是否包含物体及包含物体的情况下位置的准确性的；

S3.对于每一个网格，它的预测类别的概率C_i＝P_r(Class_i|Object)；

S4.在预测时，会将类别的概率和置信度相乘：

进一步的，对于YOLO3深度学习神经网络的微调如下：

D1.原来的YOLO3神经网络是针对普通RGB图像进行物体分类识别的；但是事件触发传感器得到的图片是灰度二值图像；因此，将YOLO3中的处理的图像全部改为单通道的灰度图；

D2.对于原YOLO3神经网络，为了使物体区分度更高，会对图像进行色调、饱和度、曝光度增强的处理；但是灰度二值图中的像素只有黑白两色，因此不需要这个步骤去对图像进行预处理；

D3.对于原YOLO3神经网络，为了使计算置信度更方便，创建了新的存储图像信息的结构体，这需要额外的计算像素点RGB值将原图像转换为该结构体；因为事件触发相机得到的图片使黑白二值图像，所以可以减少这部分的计算负担。

进一步的，所述的步骤3中，极小值滤波器的滤波过程如下：

F1.通过步骤1的融合后，图像和深度矩阵相对应，在YOLO3深度学习神经网络对图像进行物体分类识别之后，能够在图像中得到一个或多个感兴趣的区域，并用矩形框框出；

F2.根据某一个区域找到对应的深度矩阵D的部分子集D_s；

F3.找到子集D_s中的极小值作为识别到的物体的深度；在极小值滤波器对融合后的数据处理完后，就完成了对物体的分类和定位。

与现有技术相比，有益效果是：本发明相比基于普通相机和激光雷达融合的物体识别系统而言，具有对环境光照条件鲁棒性强，数据冗余量小，识别网络运算负担小等特点，可以更适用自动驾驶等嵌入式计算平台。

本发明具有如下优点：

1.本发明采用了事件触发相机作为图像信息获取的传感器，相比现有的融合方案中的普通彩色相机，在欠曝、过曝等极端光照环境下依然能获取稳定可靠的图像信息。而且基于事件触发相机对光照强度变化物体成像的特点，获取的图像信息为黑白二值图，且着重于边缘信息，大大减少了后续识别网络的运行负担，能够做到更好的实时性。

2.本发明采用基于darknet网络的yolo3作为通用物体的识别网络，具有轻量化，鲁棒性高的优点。相比其他方案中的SVM或SURF特征点检测等算法，本发明采用yolo3的识别网络，而且基于事件触发相机黑白二值图的成像特点，本发明还对针对彩色图像的原生yolo算法进行微调，使其更能发挥融合传感器系统数据轻量化的特点。

3.本发明使用低线数激光雷达深度信息滤波得到物体距离定位的方法，实现了高性价比的同时，距离定位信息更加稳定可靠。通过yolo物体识别的结果提取激光雷达点云中对应的物体点云，大大降低了对点云区域密集度的要求。然后使用极小值滤波的方法获取物体距离定位信息，能够保证应用场景下的安全可靠性。结合附图举例解释实现本发明创造的具体方案，如有参数于条件应列出。(如实施、安装、操作、使用方法各步骤，其中附图应当使用黑色线条图，不能着色和涂改)。

附图说明

图1是本发明整体流程示意图。

图2是本发明YOLO3深度学习神经网络对事件触发相机得到的图像的检测结果示意图。

图3是本发明通过极小值滤波器得到物体深度示意图。

图4是本发明实验实景图。

图5是本发明复杂场景下的微调后的YOLO3检测结果图。

图6是本发明复杂场景下的融合系统检测结果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

如图1所示，本发明基于事件触发相机与三维激光雷达融合系统，能够实时准确地对物体进行分类与定位。

步骤1、事件触发相机和三维激光雷达分别采集数据。

步骤2、通过由标定获得的事件触发相机的相机内参矩阵和两个传感器之间的外参矩阵进行两种传感器的数据融合。实现将三维激光雷达的点云数据转换到事件触发传感器的图像的二维平面。同时每一张图像都会得到对应的深度矩阵D。

步骤3、使用微调过的YOLO3深度学习神经网络对事件触发传感器得到的图像进行检测，得到物体在图像中的位置，种类等信息。

步骤4、根据识别到的物体的位置、大小以及种类，可以在事件触发相机得到的图片中找到感兴趣的区域。根据该区域，在融合后具有深度信息的矩阵D中找到深度的最小值作为该物体的深度信息。

如图2所示，矩形框框住的部分为识别到的物体，分类为人。在图像对应的矩阵D中，找到对应的区域，也就是子集D_s中，取深度的最小值。将该取值作为识别到的物体的深度，就完成了定位。

如图3所示，是微调过的YOLO3深度学习神经网络检测物体后，通过极小值滤波器得到的图像。可以看到，本系统检测到物体为人并且得到了物体的深度——3.388603米。图4为实验过程实景图，实验中人与本系统的真实深度为3.4米。实验结果与真实深度十分接近。因此，可以认为本发明能够准确地对物体进行分类和定位。

对于较远较复杂的场景，实验结果如图5和图6。

图5为微调后的YOLO3深度学习神经网络对复杂场景的检测，能够清晰地检测出人以及自行车。图6为极小值滤波器作用在融合后的数据之后的结果图。可以看到，自行车的深度为8.456650米，人的深度为8.483106米。物体分类和定位的结果十分准确，且实时性较高。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于，包括以下步骤：

步骤1、搭建和配准事件触发相机与三维激光雷达构成的融合系统；得到事件触发相机的内参矩阵以及事件触发相机与三维激光雷达之间的外参矩阵，利用这两个矩阵配准上述两个传感器得到的数据，使这两种数据融合；

步骤2、针对事件触发相机得到的数据，对YOLO3深度学习神经网络进行微调；因为原YOLO3是对普通RGB相机得到的图片进行物体分类识别，而事件触发相机得到的图片为黑白二值图；黑白二值图相对于彩色照片来说更容易被处理，因此能够相应地对YOLO3深度学习网络进行微调，减少系统的运行负担；另外，用事件触发相机得到的数据对微调过后的YOLO3深度学习神经网络进行训练；

步骤3、实现极小值滤波器；在使用微调过的YOLO3对事件触发相机得到的图片进行物体分类检测之后，每一个被识别到的物体都会有一个对应的数据结构，包括被检测到物体的可能种类的置信度以及物体在图像中的位置和大小；根据步骤1，图像中的某些像素点会被赋予深度信息；通过使用极小值滤波器，对被识别到的物体范围内的带有深度信息的像素点进行筛选，以其中深度的最小值作为该物体的深度；

步骤4、启动事件触发相机与三维激光传感器的融合系统，并运行算法，能够实时分类识别物体及对物体进行定位。

2.根据权利要求1所述的一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于：所述的步骤1中实现如下：

通过由标定获得的事件触发相机的相机内参矩阵和两个传感器之间的外参矩阵进行两种传感器的数据融合；实现从三维激光雷达的点云数据转换到事件触发传感器的图像的二维平面的原理如下：

将三维的点云的点[X,Y,Z,1]转化到二维平面上的点转换的公式如下：

其中，P是事件触发相机的摄像头的内参矩阵：

这里的f是事件触发相机的摄像头焦距，(o_x,o_y)是相机的中心点；C是两个传感器各自坐标系之间的外参矩阵：

在该矩阵中(t_x,t_y,t_z,r_x,r_y,r_z)是两个传感器的六自由度6DoF；通过上述公式能够将三维激光雷达和事件触发传感器的数据融合；事件触发相机获得的图像对应一个深度矩阵D；D的行列数对应图像的行列，如果三维点云中的某一点根据上述公式对应到图像中的某一像素，那么矩阵D中的对应位置的值就为点云中该点的深度。

3.根据权利要求1所述的一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于：所述的步骤2中，YOLO3深度神经网络的基本原理如下：

S1.YOLO3将输入的图像分为S×S个格子，如果某个物体的Ground truth的中心位置的坐标处于某个格子之中，该物体就会被这个格子检测；

S2.在S×S中的每个格子中，预测B个bounding box以及它的置信度，也就是confidence score，还会预测C个类别的概率；bounding box的信息为其中x，y，w，h为物体的中心位置相对格子位置的偏移及宽度和高度，均被归一化；为置信度，是反映是否包含物体及包含物体的情况下位置的准确性的；

S3.对于每一个网格，它的预测类别的概率C_i＝P_r(Class_i|Object)；

S4.在预测时，会将类别的概率和置信度相乘：

4.根据权利要求3所述的一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于：对于YOLO3深度学习神经网络的微调如下：

D1.原来的YOLO3神经网络是针对普通RGB图像进行物体分类识别的；但是事件触发传感器得到的图片是灰度二值图像；因此，将YOLO3中的处理的图像全部改为单通道的灰度图；

D2.对于原YOLO3神经网络，为了使物体区分度更高，会对图像进行色调、饱和度、曝光度增强的处理；但是灰度二值图中的像素只有黑白两色，因此不需要这个步骤去对图像进行预处理；

D3.对于原YOLO3神经网络，为了使计算置信度更方便，创建了新的存储图像信息的结构体，这需要额外的计算像素点RGB值将原图像转换为该结构体；因为事件触发相机得到的图片使黑白二值图像，所以可以减少这部分的计算负担。

5.根据权利要求1所述的一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于：所述的步骤3中，极小值滤波器的滤波过程如下：

F1.通过步骤1的融合后，图像和深度矩阵相对应，在YOLO3深度学习神经网络对图像进行物体分类识别之后，能够在图像中得到一个或多个感兴趣的区域，并用矩形框框出；

F2.根据某一个区域找到对应的深度矩阵D的部分子集D_s；

F3.找到子集D_s中的极小值作为识别到的物体的深度；在极小值滤波器对融合后的数据处理完后，就完成了对物体的分类和定位。