CN115876198A - 基于数据融合的目标检测及预警方法、设备、系统和介质 - Google Patents

Abstract

本申请提供了一种基于数据融合的目标检测及预警方法、设备、系统和介质，通过获取目标检测对象同步的点云数据和红外图像，并将目标对象的点云数据和红外图像进行融合，获得点云图像融合数据，然后再利用三维神经网络模型对点云图像融合数据进行目标检测，获得目标检测对象的类型信息和三维信息。本申请提供的目标检测方法，可在各种应用场景下实现目标检测对象的精准三维检测，且对红外采集设备和激光雷达的感知性能依赖性相对较低，具有一定的目标误检、漏检的纠错能力高，以及具有相对较小的数据处理量，对目标检测设备的算力需求不高。

Description

基于数据融合的目标检测及预警方法、设备、系统和介质

技术领域

本申请涉及智能驾驶技术领域，尤其是涉及一种基于数据融合的目标检测及预警方法、设备、系统和介质。

背景技术

随着自动驾驶行业的飞速发展，相关技术的需求也越来越迫切。在自动驾驶车辆系统中，不仅需要识别目标及障碍物的类别，还需要识别目标及障碍物的位置、大小、朝向以及距离信息，为安全可靠的自动驾驶提供重要保障。普通的2D(Two Dimens iona l，二维)目标检测不能提供感知所需要的全部信息，仅能提供目标物体在二维图像中的位置和对应类别的置信度，而3D(Three Dimens iona l，三维)目标检测结合了目标物体的深度信息，能够提供目标的位置、大小和方向等空间场景信息。3D目标检测作为自动驾驶感知子系统的一项重要任务，其结果的可靠性为自动驾驶后端决策层和规划层提供了重要保障。3D目标检测旨在通过多传感器数据如激光雷达、摄像头、毫米波雷达等，使得自动驾驶车辆具备检测车辆、行人、障碍物等目标的能力，保障自动驾驶行驶安全。

目前3D目标检测技术正处于高速发展时期，根据传感器和输入信息的不同，目前主要分为以下三类：利用激光雷达进行的点云3D目标检测；利用可见光相机进行单目或立体图像3D目标检测；利用激光类雷达和可见光图像进行的多模态融合3D检测。利用相机进行单目或立体图像3D目标检测，虽然成本较低，但是单目相机无法提供准确的信息，基于相似三角形的单目测距方法，容易受到目标物体大小的影响。双目3D目标检测可以利用双目生成视差图，但是易受环境的影响，且双目视觉得到的距离相较于激光雷达也有一定的误差。利用激光雷达进行的点云3D目标检测，虽然激光雷达可以提供精确的距离感知以及三维信息，但是点云存在稀疏及缺乏颜色信息的问题，对于远距离的小目标极易误检和漏检。激光类雷达和图像进行的多模态融合3D检测则可以较好的利用激光雷达的3D感知以及可见光丰富的语义信息，但是可见光相机和激光雷达传感器抗干扰能力较弱，对烟、雪、雨、雾及霾等恶劣天气的适应性较差，难以满足自动驾驶感知系统安全可靠的要求。因此，多模态融合的3D目标检测技术的研究，对自动驾驶感知的安全可靠性能尤为重要。

现阶段，多模态融合3D目标检测主要分为两大类：一是软关联融合，即用注意力来整合图像和点云的表示，学习多传感器特征之间的关系，但是其对数据量的要求较高，想要达到较好的效果需要上亿的数据支撑。二是基于标定外参的硬关联融合检测，标定外参可以通过特定标定板或无目标方法进行多模态数据标定得到。进一步的，硬关联又主要分为数据层和决策层融合。决策层融合也称目标级融合，是对视觉和点云两个模态的预测结果进行融合，但是强依赖于各传感器的感知性能，对目标误检、漏检的纠错能力低。基于数据层的融合可以保留较为丰富的原始数据，但是对相机和点云的时间同步和空间配准要求较高，且数据处理量比较大，对平台的要求较高。

发明内容

为解决存在的技术问题，本申请提供了一种对各传感器的感知性能依赖性低，目标误检、漏检的纠错能力高，且处理数据量相对小的基于数据融合的目标检测方法、智能辅助驾驶预警方法、目标检测设备、智能辅助驾驶预警系统以及计算机可读存储介质。

一种数据融合的目标检测方法，包括：

获取目标检测对象同步的点云数据和红外图像；

根据所述点云数据和所述红外图像进行融合，获得点云图像融合数据；

通过三维神经网络模型对所述点云图像融合数据进行目标检测，获得所述目标检测对象的类别信息和三维信息；

其中，所述三维信息包括目标检测对象的尺寸信息、位置信息、距离信息和运动方向信息中的至少一项。

一种智能辅助驾驶预警方法，包括：

获取红外采集设备采集的目标行驶场景中目标检测对象的红外图像以及同步获取激光雷达采集的目标行驶场景中目标检测对象的点云数据，所述红外采集设备和所述激光雷达均设置在行驶本体上；

根据所述点云数据和所述红外图像，通过如所述的目标检测方法进行目标检测，得到所述目标检测对象的所述三维信息；

根据所述三维信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并进行相应提示。

一种目标检测设备，包括存储器及处理器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如所述的目标检测方法。

一种智能辅助驾驶预警系统，包括红外采集设备、激光雷达、处理器以及报警设备；

所述红外采集设备用于采集目标检测对象的红外图像；

所述激光雷达用于采集目标检测对象的点云数据；

所述处理器在执行计算机程序时实现如所述的智能辅助驾驶预警方法；

所述报警设备用于根据所述处理器产生的提示信息进行报警。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述的目标检测方法或如所述的智能辅助驾驶预警方法。

由上可见，本申请通过获取目标检测对象同步的点云数据和红外图像，并将目标对象的点云数据和红外图像进行融合，获得点云图像融合数据，然后再利用三维神经网络模型对点云图像融合数据进行目标检测，获得目标检测对象的类型信息和三维信息。本申请提供的目标检测方法，针对红外图像缺乏深度信息和点云数据分辨率低的问题，对点云数据和红外图像进行了融合互补，可在各种应用场景下实现目标检测对象的精准三维检测，且本申请提供的目标检测方法基于点云图像融合数据进行目标检测对象的三维检测，对红外采集设备和激光雷达的感知性能依赖性相对较低，且具有一定的目标误检、漏检的纠错能力高，以及具有相对较小的数据处理量，对目标检测设备的算力需求不高。

附图说明

附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为依据本申请实施例提供的数据融合的目标检测方法流程示意图；

图2为依据本申请实施例提供的目标检测方法在夜间应用场景下对目标检测对象进行检测获得的携带目标检测结果的结果展示红外图像；

图3为依据本申请实施例提供的目标检测方法在光线交暗的阴天应用场景下对目标检测对象进行检测获得的携带目标检测结果的结果展示红外图像；

图4为依据本申请实施例提供的目标检测方法在雾霾应用场景下对目标检测对象进行检测获得的携带目标检测结果的结果展示红外图像；

图5为一些应用场景下获得的标记有目标检测对象的类别信息和三维信息的点云数据图；

图6为一些应用场景下获得的标记有目标检测对象的类别信息和三维信息的点云数据图；

图7为其为依据本申请实施例提供的基于数据融合的目标检测方法中将点云数据与红外图像数据进行融合的流程示意图；

图8为依据本申请实施例提供的数据融合的目标检测方法中获得点云图像融合数据的流程示意图；

图9为依据本申请实施例提供的数据融合的目标检测方法中对点云图像融合数据进行特征提取和识别的流程示意图；

图10为依据本申请实施例提供的基于数据的目标检测方法流程示意图；

图11为依据本申请实施例提供的数据融合的目标检测方法中获取点云和像素点之间坐标映射关系的流程示意图；

图12为依据本申请实施例提供的目标检测方法中获取三维神经网络模型的训练样本数据集的流程示意图；

图13为依据本申请实施例提供的目标检测方法中对二维神经网络模型进行训练的流程示意图；

图14为依据本申请实施例提供的智能辅助驾驶预警方法流程示意图；

图15为依据本申请实施例提供的目标检测设备的结构示意图；

图16为依据本申请实施例提供的一种智能辅助驾驶预警系统的结构示意图；

图17为依据本申请实施例提供的智能辅助驾驶预警系统的工作流程示意图。

具体实施方式

以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请的实现方式。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

在以下的描述中，涉及到“一些实施例”的表述，其描述了可能实施例的子集，但是应当理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

本申请发明人基于现有的采用数据层融合或决策层融合的方式实现多模态融合3D目标检测所存在的对传感器的感知性能要求高，对目标误检、漏检的纠错能力低以及对平台算力需求大的问题，以及基于可见光图像采集设备在烟雨雾霾等场景下适应性差，难以满足自动驾驶感知系统安全可靠的要求的问题，提供了一种基于激光雷达和红外采集设备的多传感器融合的目标检测方法、预警方法以及对应的设备、系统和介质。下面将结合图1至图17对本申请实施例提供的目标检测方法、预警方法以及目标检测设备、预警系统和计算机可读存储介质做进一步详细说明。

请参阅图1所示，其为依据本申请实施例提供的多传感器融合的目标检测方法流程示意图。本申请实施例提供的目标检测方法应用于图15所示的目标检测设备中或如图16所示的智能辅助驾驶预警系统中。本实施例提供的目标检测方法包括S01、S03以及S05，具体描述如下。如在本申请实施例提供的目标检测方法应用于如图15所示的目标检测设备时，存储器212存储有与各个执行步骤对应的计算机程序指令，处理器211在执行该计算机程序指令时，实现S01、S03以及S05。再如在本申请实施例提供的目标检测方法应用于如图16所示的智能辅助驾驶预警系统中时，通过红外采集设备1采集目标检测对象的红外图像，采用激光雷达2采集目标检测对象的点云，并将红外图像和点云数据发送至处理器3中，由处理器3获取该红外图像和点云数据，以对其进行相应的处理。

S01：获取目标检测对象同步的点云数据和红外图像。

目标检测对象是指需要被检测的对象。以自动驾驶应用场景为例，本申请实施例提供的目标检测方法是指检测行驶本体所在的行驶道路上的车辆、行人以及障碍物等可能影响行驶本体行驶安全的物体。行驶本体是指承载有应用本申请实施例提供的目标检测方法的目标检测设备或智能辅助驾驶预警系统的主体，如汽车等交通工具。在一些应用场景下，目标检测对象包括多个不同尺度的目标检测对象，进一步的，目标检测对象还包括尺度小于阈值尺度的小目标检测对象和/或被部分遮挡的目标检测对象。

点云数据(point cloud data)是指在一个三维坐标系统中的一组向量的集合，即点云数据是由多个点云的点云特征数据组成的几何。在点云数据所对应的三维坐标系中分布着各个点云，点云对应的点云特征数据包括点云在该三维坐标系中的坐标数据。点云数据包含了目标检测对象的深度信息，即包括了目标检测对象的距离信息。在依据本申请实施例提供的目标检测方法中，点云数据为由图16中所示的激光雷达2采集的包含目标检测对象距离信息的三维数据。

红外图像为红外采集设备所采集的含目标检测对象的红外信息，并将采集的红外信息进行灰度变换，所产生的含目标检测对象的图像。因此，红外图像中包含了目标检测对象的轮廓信息。红外采集设备可以为单目红外采集设备也可以为双目红外采集设备。红外采集设备相比可见光图像采集设备而言，其抗干扰能力较强，对烟、雪、雨、雾及霾等恶劣天气的适应性较强，可以在这些恶劣环境下仍可获得目标检测对象的轮廓信息，以便于对目标检测对象的检测。

同步的点云数据和红外图像是指激光雷达和红外采集设备在相同的采集视角下同步采集数据。这里的同步采集是指时间上的同步，但不局限于时间上的绝对同步，可以允许一定的采集时间差。

S03：根据点云数据和红外图像进行融合，获得点云图像融合数据。

S03中的融合可以包括将点云数据和红外图像中对应的各个像素点直接融合。S03中的融合还可以为将点云数据进行特征提取，再将提取的特征与红外图像中对应的各个像素点融合。S03中的融合还可以先对应红外图像中的像素点进行特征提取，再将提取的特征与点云数据中对应的点云融合。S03中的融合甚至还可以为先分别对点云数据以及红外图像进行特征提取，再将二者提取的特征进行融合。点云图像融合数据既包含了各点云的点云数据信息，又包含了各点云对应的红外信息。

S05：通过三维神经网络模型对点云图像融合数据进行特征提取和识别，获得目标检测对象的类别信息和三维信息。其中，三维信息包括目标检测对象的尺寸信息、位置信息、距离信息和运动方向信息中的至少一项。

三维神经网络模型为基于携带有标注信息的样本点云图像融合数据进行训练的三维目标检测模型，其在训练的过程中学习点云图像融合数据携带的标注信息，基于学习的结果对点云图像融合数据中的目标检测对象进行检测。三维神经网络模型输入的数据其实质上还是点云数据，只是其输入的点云数据中各点云携带了红外图像的信息，即每一个点云携带了对应红外特征数据。因此，三维神经网络模型为对携带了红外特征数据的点云数据(即点云图像融合数据)进行目标检测，获得点云数据中目标检测对象的类别信息和三维信息的神经网络模型。

目标检测对象的类别信息可以指目标检测对象的属性类别，如小汽车、卡车、行人以及其它物体等。目标检测对象的三维信息是可以用于表征目标检测对象体积大小的信息。在一些实施例中，目标检测对象的三维信息至少包括目标检测对象的尺寸信息、位置信息、距离信息和运动方向信息中的一项。目标检测对象的尺寸信息可以由用于在红外图像或点云数据中框住目标检测对象的三维检测框信息表征。通过目标检测对象的三维检测框信息可以确定目标检测对象在世界坐标系的长、宽及高的信息。其中，目标检测对象的长信息是指目标检测对象在世界坐标系中的第一坐标轴方向所对应的尺寸，目标检测对象的宽信息是指目标检测对象在世界坐标系中的第二坐标轴方向对应的尺寸，目标检测对象的高信息是指目标检测对象在世界坐标系中的第三坐标轴方向对应的尺寸。此外，目标检测对象的三维检测框信息还包括用于表征目标检测对象的中心点在世界坐标系中位置的中心点信息，根据用于在红外图中框住目标检测对象的三维检测框的中心点的坐标，可以确定目标检测对象的中心点在世界坐标系中的位置，即三维检测框信息中的中心点信息可以确定目标检测对象的位置信息。目标检测对象的距离信息是指目标检测对象距红外采集设备或激光雷达(红外采集设备与激光雷达在行驶本体上的安装位置接近)之间的距离。如在本申请实施例提供的目标检测方法应用于如图16所示的智能辅助驾驶预警系统中时，由于红外采集设备和激光雷达均安装在行驶本体的前端(如车、船等交通工具)，则目标检测对象的距离信息为目标检测对象与行驶本体之间的距离，其根据目标检测对象的中心点在单目红外采集设备对应的世界坐标系中的位置、目标检测对象的尺寸(如长、宽)以及行驶本体的尺寸(如长、宽)确定。在一些实施例提供的智能辅助驾驶预警系统中，目标检测对象的距离信息是指目标检测对象与行驶本体之间的最短距离。目标检测对象的运动方向信息，可以根据点云数据中对应点云的点云特征数据获得，点云特征数据包含了目标检测对象的偏航角信息，该偏航角信息表征了目标检测对象相对于行驶本体的运动方向信息。

由上可见，本申请实施例通过获取目标检测对象同步的点云数据和红外图像，并将目标对象的点云数据和红外图像进行融合，获得点云图像融合数据，然后再利用三维神经网络模型对点云图像融合数据进行目标检测，获得目标检测对象的类型信息和三维信息。本申请提供的目标检测方法，针对红外图像缺乏深度信息和点云数据分辨率低的问题，对点云数据和红外图像进行了融合互补，可在各种应用场景下实现目标检测对象的精准三维检测，且本申请提供的目标检测方法基于点云图像融合数据进行目标检测对象的三维检测，对红外采集设备和激光雷达的感知性能依赖性相对较低，且具有一定的目标误检、漏检的纠错能力高，以及具有相对较小的数据处理量，对目标检测设备的算力需求不高。

依据本申请实施例提供的目标检测方法可以在各种不同的应用场景下均可实现对不同尺度和不同类型的目标检测对象进行三维检测。依据本申请实施例提供的目标检测方法获得的目标检测对象的类别信息和三维信息可以通过目标检测对象的红外图像中进行展示，则在通过三维神经网络模型对点云图像融合数据进行特征提取和识别，获得目标检测对象的类别信息和三维信息后，即获得目标检测对象的检测结果，再根据检测结果，在红外图像中标记目标检测对象的类别信息和三维信息。其中，目标检测对象的三维信息可以用框住目标检测对象的三维检测框表示。

如图2所示，其为依据本申请实施例提供的目标检测方法在夜间应用场景下对目标检测对象进行检测获得的携带目标检测结果的结果展示红外图像。在该结果展示图像中，标记了目标检测对象的类别，如Car，以及标记了目标检测对象的距离信息，如36.5m以及29.5m,还进一步标记了目标检测对象对应的三维检测框。其中，三维检测框还携带了目标检测对象的运动方向信息，如图中三维检测框的阴影面所在的位置，表征了目标检测对象的运动方向。

如图3所示，其为依据本申请实施例提供的目标检测方法在光线交暗的阴天应用场景下对目标检测对象进行检测获得的携带目标检测结果的结果展示红外图像。在该结果展示红外图像中，标记了目标检测对象的类别，如Car、Cyclist，以及标记了目标检测对象的距离信息，如28.7m、26.3m、106.7m以及74.5等。还进一步标记了目标检测对象对应的三维检测框。其中，三维检测框还携带了目标检测对象的运动方向信息，如图中三维检测框的阴影面所在的位置，表征了目标检测对象的运动方向。显然，依据本申请实施例提供的目标检测方法，即便是在光线不好的应用场景下，也能准确的检测出远距离的小目标检测对象的类别信息和三维信息。

如图4所示，其为依据本申请实施例提供的目标检测方法在雾霾应用场景下对目标检测对象进行检测，获得携带目标检测结果的结果展示红外图像。由于图2和图3已经对对应的结果展示红外图像进行了相应的描述，图4类似，在此不再对其标记的内容进行详细描述。如图4所示，依据本申请实施例提供的目标检测方法，在雾霾天气的应用场景下，也能准确的检测出远距离的小目标检测对象的类别信息和三维信息。

此外，依据本申请实施例提供的目标检测方法对目标检测对象进行检测获得包含目标检测对象类别信息及三维信息的检测结果还可以在目标检测对象对应的点云数据中展示。则在通过三维神经网络模型对点云图像融合数据进行特征提取和识别，获得目标检测对象的类别信息和三维信息后，再根据检测结果，在点云数据中标记目标检测对象的类别信息和三维信息。其中，目标检测对象的三维信息可以用框住目标检测对象的三维检测框表示。图5和图6分别为不同应用场景下获得的标记有目标检测对象的类别信息和三维信息的点云数据图。各点云数据图中标记的目标检测对象的检测结果可参考上述结果展示红外图像，在此不再累述。

请参阅图7所示，其为依据本申请实施例提供的基于数据融合的目标检测方法中将点云数据与红外图像数据进行融合的流程示意图。在本实施例中，上述S03进一步包括S031、S033以及S035，具体描述如下。

S031：通过二维神经网络模型对红外图像进行特征提取，获得红外图像中各个像素点的红外特征数据。

二维神经网络模型可以仅为特征提取网络模型，用于提取红外图像中各个像素点的红外特征数据。在一些实施例中，二维神经网络模型还可以为特征提取识别模型，即二维神经网络模型包括用于提取红外图像特征的特征提取网络和用于对提取的特征进行识别，以识别出红外图像中目标检测对象的分类检测网络。红外特征数据是指各个像素点对应的红外信息的特征数据。红外图像是基于各个像素点的红外信息进行相应的灰度变换获得的图像，即红外图像中的每个像素点的像素值可以表示该像素点对应的红外信息。因此，在一些实施例中，各个红外特征数据为红外图像中各个对应像素点的灰像素值(灰度值)。

S033：根据点云数据中各点云与红外图像中各像素点的坐标映射关系，确定各个点云对应的红外特征数据。

点云数据中的点云与红外图像中的像素点之间的坐标映射关系可以基于内参标定矩阵和外参转换矩阵进行相应的坐标系之间的转换所确定。其中，内参标定矩阵为采集红外图像的红外采集设备所标定的参数，而外参转换矩阵为基于采集红外图像的红外采集设备和采集点云数据的激光雷达之间的联合标定所确定的参数。在确定上述坐标映射关系后，点云数据中的任意一点云均可根据上述坐标映射关系映射到红外图像的像素坐标系中，以在该像素坐标系中确定与该点云对应的像素点。在确定点云对应的像素点后，该对应的像素点的红外特征数据即为点云对应的红外特征数据。

S035：根据各点云的点云特征数据及对应的像素点的红外特征数据进行融合，获得各点云对应的点云图像融合数据。

点云特征数据是包含点云数据中点云的特征信息的数据，如点云在点云数据中的位置数据、点云对应的深度信息(距离信息)数据以及点云对应的偏航角信息数据等。点云图像融合数据是指将点云数据中各点云的点云特征数据与红外图像中对应像素点的红外特征数据加以联合、相关及组合后获得的数据。点云图像融合数据中的每一个点云既具有对应的点云特征数据，又具有对应的红外特征数据。这里需要说明的是，点云的点云特征数据是激光雷达采集的原始数据，而红外特征数据是基于上述二维神经网络模型对红外图像进行特征提取获得的特征数据。因此，本申请实施例提供的目标检测方法中将点云数据和红外数据进行融合是指将数据层(点云的点云特征数据)与特征层(红外特征数据)之间的融合。这种融合方式对点云数据和红外图像的时间同步和空间配准要求不高，计算需求量也不算太高，且还具备一定的目标误检、漏检的纠错能力。此外，将红外图像的红外特征数据和点云数据中对应点云的点云特征数据进行融合，获得的点云图像融合数据既包含了目标检测对象的深度信息又包含了目标检测对象的红外信息，因此，基于点云图像融合数据进行目标检测对象的三维信息的检测，既可以克服点云数据存在的分辨率低给检测带来不准确的问题，也可能克服红外图像缺乏深度信息而无法获取目标检测对象三维信息的问题。

如图7所示，本申请实施例通过获取目标检测对象同步的点云数据和红外图像，并采用二维神经网络模型对红外图像中的各像素点进行特征提取，获得各像素点对应的红外特征数据，然后基于点云数据中点云和红外图像中对应像素点的坐标映射关系，确定点云数据中各点云对应的红外特征数据，再根据各点云的点云特征数据和对应的红外特征数据进行数据融合，获得点云图像融合数据，最后采用三维神经网络模型对点云图像融合数据进行特征提取和识别，获得目标检测对象的类别信息和三维信息。本申请实施例提供的目标检测方法，针对红外图像缺乏深度信息和点云数据分辨率低的问题，对红外图像的红外特征数据和点云数据中点云的点云特征数据进行了融合互补，可在各种应用场景下实现目标检测对象的精准三维检测。此外，采用数据层和特征层相融合的方式，对红外采集设备和激光雷达的感知性能依赖性相对较低，且具有一定的目标误检、漏检的纠错能力高，以及具有相对较小的数据处理量，对目标检测设备的算力需求不高。

在一些实施例中，上述S01进一步包括S011、S013以及S015，各个步骤的具体描述如下。

S011：获取目标检测对象的红外图像。

S013：获取与红外图像采集时间差在预设时间差范围内的目标检测对象的原始点云数据。

S015：根据红外图像的拍摄视野范围对原始点云数据进行筛选，得到与红外图像同步的点云数据。

具体的，从红外采集设备中获取目标检测对象的红外图像。红外采集设备可以是红外相机。红外相机采集红外图像的帧率一般为50Hz。除了获取红外相机采集的含目标检测对象的红外图像外，还需要获得红外相机采集红外图像的帧率。原始点云数据为与红外相机安装在对应位置且与红外相机具有公共视野的激光雷达对目标检测对象的深度信息进行采集，所输出的数据。激光雷达获取原始点云数据的帧率一般为10Hz。在除了获取激光雷达采集的原始点云数据外，还需要获得激光雷达的帧率。然后根据红外相机的帧率和激光雷达的帧率，获取与红外图像采集时间差在预设时间差范围内的目标检测对象的原始点云数据。例如采用时间软同步方法获取激光雷达和红外相机采集时间差小于10ms的数据作为同一帧数据，即作为同步的原始点云数据和红外图像。此外，对于安装在行驶本体上的激光雷达和红外相机而言，激光雷达的水平视场角相对于红外相机的较大，有一部分区域是我们不感兴趣的，所以在获取到与红外图像同步的原始点云数据之后，还需要对其进行数据筛选，以从原始点云数据中筛选出属于红外相机拍摄视野范围且感兴趣区域，作为S01中的点云数据，以用于后续的处理。通过对原始点云数据进行数据筛选，只保留激光雷达与红外相机公共视野且为感兴趣区域部分的数据，使得后续处理的数据量有一定的下降，更能提高三维神经网络模型实现目标检测的实时性。

请参阅图8所示，其为依据本申请实施例提供的基于数据融合的目标检测方法中根据点云数据和红外特征数据进行融合的流程示意图。在本实施例中，上述S035具体包括S0351、S0353以及S0355,具体描述如下。

S0351:根据各点云的点云特征数据，分别确定以各点云对应的各像素点为中心的邻域。

S0353:分别将红外图像中各邻域内各个像素点对应的红外特征数据进行加权平均，获得各点云对应的加权平均红外特征数据。

S0355:将各点云对应的点云特征数据、像素特征数据以及加权平均像素特征数据进行融合，获得各点云对应的点云图像融合数据。

点云的点云特征数据包含了对应的目标检测对象的距离信息，因此根据点云的点云特征数据，可以确定目标检测对象距行驶本体的距离，距离越远，S0351中的邻域半径越大，反之越少。其中，邻域半径是指邻域的边缘到其中心点的距离。

本申请实施例提供的目标检测方法中，将包含更多语义和纹理信息的红外特征数据与点云数据中的点云特征数据(激光雷达直接输出的原始数据)进行融合，通过红外相机的内参标定矩阵和外参转换矩阵确定点云与红外图像中对应像素点的坐标映射关系，再根据坐标映射关系把每个点云投影到红外图像的像素坐标系中，以确定像素坐标系中与该点云对应的像素点，并将该对应的像素点的红外特征数据加到该点云上。由于点云数据比较稀疏且距离越远目标的点云越少，如128线的激光雷达中的货车、轿车、电动车在200m、160m、110m仅有10个点，且基本都在物体的中心部分，但是在近处可能有上百个点。考虑到点云中每个点云只获取红外图像中单个像素点的红外特征数据也会损失一部分图像信息，因此实施例在每个点云上除了增加对应红外图像的红外特征数据之外，还会根据点云代表的距离确定红外图像中对应的像素点的邻域半径，再将该邻域内的红外特征数据进行加权平均后，获得加权平均红外特征数据f，然后将该加权平均红外特征数据f与红外特征数据一起赋值给对应的点云，使得对应的点云既具有点云的点云特征数据又具有红外特征数据和加权平均红外特征数据。比如在10m以内点云比较稠密，就取半径为1的邻域内像素点红外特征数据f(i,j)的加权平均红外特征数据f，随着距离的增大，邻域半径也相应增加。

在上述公式中，r为邻域半径(i,j)为像素坐标，N为邻域内的像素点个数。其中，上述获得红外特征数据的二维神经网络模型为卷积神经网络(Convolutional NeuralNetworks,CNN)模型，因此基于其提取的红外特征数据也可以称为CNN特征数据。

在本申请实施例中，将点云数据中点云对应的点云特征数据、红外特征数据以及加权平均红外特征数据进行融合，获得的点云图像融合数据中的每个点云既包括了自身的点云特征数据，又包括了红外图像中的红外特征数据和加权平均红外特征数据，在采用三维神经网络模型对这样的点云图像融合数据进行特征提取和识别时，既可以增加远距离小目标的感受野，获取更多的语义信息，也可以减少近距离目标边界邻域内像素点红外特征数据的干扰，可提高目标检测的准确性，利于准确的检测出远距离的小尺度目标检测对象的信息。

请参阅图9所示，其为依据本申请实施例提供的基于数据融合的目标检测方法中对点云图像融合数据进行目标检测的流程示意图。在本实施例中，上述S05具体包括S051、S053以及S055,具体描述如下。

S051：将点云图像融合数据进行体素化处理，获得多个柱状体素。

S053：对多个柱状体素进行特征提取和映射，获得点云图像融合数据的体素特征，并将体素特征映射到鸟瞰图，获得点云图像融合数据对应的鸟瞰特征图，体素特征包括点云图像融合数据对应的点云三维坐标数据、像素特征数据、加权平均像素特征数据、几何中心数据以及几何中心偏移数据。

S055:将鸟瞰特征图输入至三维神经网络模型进行特征提取和识别，获得目标检测对象的类别信号和三维信息。

在自动驾驶中除了要保证三维神经网络模型的精度之外，还要考虑目标检测设备的平台算力的问题，使三维神经网络模型兼顾精度和效率的双重指标。现在工业界使用较多的点云检测网络为Pointpillars,其将点云转换为伪图像，再在2D的主干网络上进行检测，推理速度能达到62Hz。原始PointPillars中输入向量包括3维坐标、反射强度、几何中心以及与几何中心的偏移，其中反射强度因为不同厂家生产的不同类型的激光雷达设备(比如MEMS、机械式)都相差较大，在检测网络中输入反射强度进行训练会导致模型的泛化性较差，所以本申请实施例提供的目标检测方法中不使用反射强度信息，即输入至三维神经网络模型的输入数据中不包括反射强度信息。

目前红外图像和点云数据的多模态融合检测采用较多的方法是PointPainting，其将图像进行语义分割，计算每一个像素点的语义分割分数，并通过外参转换矩阵将像素点的语义分割分数赋值给点云。PointPainting操作简单直观，可以把语义分割结果附加到任意3D点云目标检测框架，但是依赖数据对齐结果，受限于语义分割的结果。本申请实施例提供的目标检测方法，通过红外采集设备的内参标定矩阵和外参转换矩阵，确定红外采集设备和激光雷达两个传感器之间对应的坐标映射关系，即点云数据中点云和红外图像中对应像素点之间的坐标映射关系。再基于该坐标映射关系，把每个点云投影至红外图像的像素坐标中，以确定各个点云对应的像素点，再将各个对应的像素点的红外特征数据和平均加权红外特征数据加到该点云上，以融合其自身的点云特征数据，获得点云图像融合数据。然后对点云图像融合数据对应的点云进行体素化，获得各个对应的柱状体素，再将体素化的柱状体素转为鸟瞰图(Bi rd’sEye View，BEV)，该鸟瞰图对应的输入向量包括点云对应的点云三维坐标数据、红外特征数据、加权平均红外特征数据、几何中心数据以及几何中心偏移数据。其中，几何中心数据为个点云对应的柱状体素的中心点的位置数据，几何中心偏移数据为点云到对应的体素中心的距离，即偏离对应的体素中心距离。在获得鸟瞰图后，再将该鸟瞰特征图输入至三维神经网络模型，以提取目标检测对象的特征信息，再基于提取的特征信息进行目标检测对象的中心点检测，然后输出目标检测对象对应的三维检测框信息以及目标检测对象的类别信息。

请参阅图10所示，其为依据本申请实施例提供的基于数据融合的目标检测方法流程示意图。本申请实施例提供的目标检测方法应用于图10所示的目标检测设备中，除了如图1中所示的S01、S03以及S05外，本实施例中的目标检测方法还进一步包括在S02，其中，S02在S03之前执行，其具体描述如下。

S02：对红外图像进行细节增强处理。

对于车载红外图像，因其仅靠物体表面温度得到热图像没有丰富的色彩信息，对于配准融合检测来说更加困难。在检测时通过对红外图像进行细节增强和对比度调整等图像处理算法，获取细节更加丰富、目标更加凸显的红外图像。

在本实施例提供的目标检测方法中，在将红外图像输入至二维神经网络模型进行特征提取之前，先对红外图进行预处理，以增强红外图中的目标检测对象的信息。具体的，对红外图像进行细节增强处理，以对红外图进行细节增强和对比度调整，获取目标检测对象的丰富细节信息、使得目标检测对象在红外图中更加凸显。进行细节增强处理后红外图像在被二维神经网络模型进行特征提取时，可以提取到细节更丰富的特征信息，从而使得点云图像融合数据包含了更加丰富和细节的特征信息，使得三维神经网络模型更容易从点云图像融合数据中，识别出目标检测对象的信息，实现全天时、全天候、全场景的障碍物检测，有利于加强智能辅助驾驶预警系统的预警性能。

请参阅图11所示，其为依据本申请实施例提供的基于数据融合的目标检测方法中获取点云和像素点之间坐标映射关系的流程示意图。本实施例中的目标检测方法还进一步包括：在S03之前，获取点云数据中各点云与红外图像中各像素点的坐标映射关系。其中，获取点云数据中各点云与红外图像中各像素点的坐标映射关系具体包括S021、S023、S025以及S027，其具体描述如下。

S021：通过对用于采集点云数据的激光雷达和用于采集红外图像的红外采集设备进行联合标定，确定激光雷达到红外采集设备的外参转换矩阵。

S023：根据外参转换矩阵，确定红外采集设备坐标系和激光雷达的点云坐标系之间的第一转换关系。

S025：根据红外采集设备的内参标定矩阵，确定红外采集设备坐标系与红外图像的像素坐标系之间的第二转换关系。

S027：根据第一转换关系以及第二转换关系，确定点云数据中各点云与红外图像中各像素点的坐标映射关系。

激光雷达为可以获得目标检测对象三维信息的感测设备，目标检测对象的三维信息包括目标检测对象的距离信息和运动方向信息。利用过激光雷达对红外采集设备采集的红外图进行联合标定，可以获激光雷达到红外采集设备的外参转换矩阵。基于激光雷达和红外采集设备的联合标定，确定红外采集设备的外参转换矩阵的过程如下。

可以采用黑白棋盘标定的方式对激光雷达和红外采集设备进行联合标定，具体为采用加热棋盘格作为标定板，对棋盘格中黑白格子进行不同温度的加热，使黑白格子在红外图像中具有更强的对比度。在标定板表面设置涂层，使激光雷达在黑白格子上的反射率不一致。使用标定工具箱对激光雷达和红外采集设备进行联合标定，得到激光雷达到红外采集设备的外参转换矩阵[R,T]，其中R为旋转外参，T为平移外参。

假设在激光雷达坐标系(点云数据所在的坐标系)中的点PL(X_L,Y_L,Z_L)，通过联合标定的外参矩阵[R,T]将激光雷达坐标系中的点PL(X_L,Y_L,Z_L)转换到红外采集设备坐标系中的点P_C(X_C,Y_C,Z_C)之间的第一转换公式如公式如下所示：

其中[R,T]为外参转换矩阵。

将红外采集设备坐标系中的点P_C(X_C,Y_C,Z_C)转换到其对应的图像坐标系中点P(x,y)的第三转换公式如下：

其中Z_C红外采集设备坐标系到对应的图像坐标系的缩放尺度。

将图像坐标系中点P(x,y)转换到像素坐标系点P(u,v)对应的第四转换公式如下：

则根据上述第三转换关系和第四转换关系，可以得到红外采集设备坐标系中点P_C(X_C,Y_C,Z_C)转换到像素坐标系点P(u,v)对应的第二转换公式如下：

其中，K为内参标定矩阵，f_x、f_y分别为红外采集设备在x轴、y轴方向对的焦距，(u₀，v₀)为红外采集设备对应的主点坐标。所以最终雷达坐标系中点P_L(X_L,Y_L,Z_L)到像素坐标系中点P(u,v)的坐标映射关系如下：

在将激光雷达与红外采集设备进行联合标定时，可以获得多对激光雷达坐标系中的标定点和像素坐标系下中的对应的标定点，以代入上述坐标映射关系，确定外参矩阵[R,T]。则在确定内参矩阵K和外参矩阵[R,T]后，便可根据上述坐标映射关系，将激光雷达坐标系中任意一点转换到像素坐标系中。

在获得上述外参转换矩阵后，便可确定上述第一转换关系。在获得上述外参转换矩阵后，便可确定上述第一转换关系。在确定第一转换关系后，进一步根据内参标定矩阵，可以确定上述第二转换关系，根据上述第一转换关系和上述第二转换关系，便可确定红外采集设备和激光雷达坐标系坐标映射关系。

在一些实施例中，S05中的三维神经网络模型为训练好的神经网络模型。因此，在S05之前，依据本申请一些实施例提供的目标检测方法还进一步包括：基于携带有标注信息的样本点云图像融合数据构建训练样本数据集，再利用所述训练样本数据集对所述三维神经网络模型进行迭代训练，直至达到预设训练条件。其中，所述标注信息包括所述目标检测对象的类别标注信息和三维标注框信息。具体的，所述三维标注框信息包括三维标注框的中心点信息、长宽高信息以及偏航角信息。

在本申请实施例提供的目标检测方法中，三维神经网络模型设置于如图15所示的目标检测设备的处理器211中和/或设置于如图16所示的智能辅助驾驶预警系统中的处理器3中，被训练后的三维神经网络模型对点云图像融合数据进行目标检测，获得点云图像融合数据中的目标检测对象的类别信息和三维检测框信息，图16中的显示设备5根据三维神经网络模型输出的类别信息和三维检测框信息，显示携带有类别信息和三维标注框的结果展示红外图像或点云数据图。处理器211和/或处理器3中的数据处理模块进一步根据三维检测框的中心点在单目红外采集设备对应的世界坐标系中的位置、长以及宽确定目标检测对象的距离信息，还进一步根据行驶本体的长、宽尺寸以及单目红外采集设备在行驶本体上安装的位置信息，确定目标检测对象相对于行驶本体的距离信息。三维检测框的中心点与对应的目标检测对象的中心点为相应的位置，三维检测框的长、宽、高分别表征了对应的目标检测对象的长、宽与高。

进一步的，在依据本申请一些实施例提供的目标检测方法中，对三维神经网络模型进行训练的训练样本数据集所携带的标注信息还包括样本点云图像融合数据中的目标检测对象的遮挡程度标注信息。样本点云图像融合数据中标注目标检测对象被遮挡的程度信息，使得第一神经网络可以提取到被遮挡的目标检测对象的红外特征数据，以及使得三维神经网络模型在训练的过程中，可以学习到对被遮挡的目标检测对象的识别以及学习被遮挡的目标检测对象对应的遮挡程度，从而可以在对红外图进行目标检测时，获得被部分遮挡的目标检测对象的类别信息、三维下以及被遮挡程度信息。

请参阅图12所示，其为依据本申请实施例提供的目标检测方法中构建三维神经网络模型的训练样本数据集的流程示意图。在本实施例中，在利用训练样本数据集对神经网络模型进行迭代训练之前，目标检测方法还进一步包括基于携带有标注信息的样本点云图像融合数据构建训练样本数据集。具体的，基于携带有标注信息的样本点云图像融合数据构建训练样本数据集包括如下S041、S043以及S045。

S041：对样本点云图像融合数据对应的样本点云数据进行标注，获得三维标注框信息。

S043：根据样本点云图像融合数据对应的样本红外图像和样本点云数据之间的映射关系，将样本点云数据对应的三维标注框投影至样本红外图像中。

S045：在样本点云数据对应的三维标注框投影至样本红外图像中的投影面积满足预设条件时，将携带有三维标注框信息的样本点云图像融合数据作为训练样本，以构成训练样本数据集。

对于车载红外图像和激光雷达的点云数据，对点云数据进行标注，并通过上述坐标映射关系，获得红外图像中的三维标注框信息，标注信息的内容包括目标检测对象的类别信息和目标检测对象的三维标注检测框的中心点(x,y,z)和长宽高(l,w,h)以及偏航角(θ)。因为激光雷达的水平视场角大于采集红外图像的红外采集设备的的水平视场角，所以在点云数据的三维标注框转为红外图像的三维标注框的过程中，若点云数据中的三维标注框投影至红外图像上时，有50％投影区域超出红外图像(预设条件中的一种)，则对这个目标检测对象的标注的进行舍弃。

请参阅图13其为依据本申请实施例提供的目标检测方法中对二维神经网络模型进行训练的流程示意图。在本实施例中，S01中的二维神经网络模型为训练后的二维目标检测神经网络模型。在执行S01之前，本申请实施例提供的目标检测方法还进一步包括对二维神经网络模型进行训练，其训练过程包括S001以及S002，具体描述如下。

S001：根据三维标注框信息确定样本红外图像中目标检测对象对应的二维标注框信息，二维标注框信息包括二维标注框的中心点信息以及宽高信息。

S002：利用携带二维标注框信息的样本红外图像训练二维神经网络模型。

PointPillars中使用预先设置的anchor进行预测，anchor包括目标的尺寸信息、中心以及方向。首先，因为激光雷达的安装高度和视场角都不一致，所以预先设置的anchor中心适配性低，导致模型的泛化性差。其次，与2D Box不同的是3D Box不遵循任何特定的方向，基于anchor的检测器很难枚举所有的方向或为旋转的对象拟合一个轴对齐的检测框。因此申请实施例提供的目标检测方法，借鉴CenterPoint使用点表示目标，预测目标的中心位置、尺寸、朝向信息。PointPillars主干网络使用一个自上而下的网络以越来越少的空间分辨率产生特征，第二个网络执行上采样和串联自顶向下的功能，其特征提取网络不鲁棒，很多特征都是从较浅层获得的弱特征，且直接进行2倍、4倍上采样容易损失信息，对远距离小目标不够友好。因此，本申请实施例提供的目标检测方法，在CenterPoint的基础上加入了一个2D检测辅助网络，即第一神经网络，通过在对三维神经网络模型进行训练的过程中，基于其样本点云图像融合数据的三维标注框信息对样本红外图像进行二维框信息的标注，以获得二维神经网络模型的训练样本。在本实施例中，二维神经网络模型包括特征提取网络和目标检测网络，其中其特征提取网络用于提取红外图像中各像素点的红外特征数据，而目标检测网络用于检测红外图像中目标检测对象的二维检测框信息。通过对二维神经网络模型的训练样本中标注有小尺度的目标检测对象的二维标注信息，二维神经网络模型在训练的过程中，可以学习到远距离的小目标的特征信息。因此，通过训练后的二维神经网络模型的特征提取网络模型提取的红外特征数据可以包含更丰富的远距离的小目标特征信息，即点云图像融合数据中包含了远离的小目标特征信息，有利于三维神经网络模型从点云图像融合数据中识别出远距离的小目标检测对象的三维信息。因此，本申请利用二维神经网络模型辅助三维神经网络模型实现对远距离的小目标对象的检测，减少了对远距离物体的误检和漏检，且三维神经网络模型对小目标检测对象的检测仅应用于训练阶段，不会增加额外的推理成本。在CenterPoint的基础上附加二维神经网络模型的结构做了如下连个操作：对骨干网络进行特征金字塔级联处理，对级联之后的特征进行上采样拼接，对二维神经网络模型进行训练过程中，对2D目标中心点和宽高的预测，引导二维神经网络模型的特征提取提取网络提取学习到远距离小目标的特征信息，减少远距离小目标的误检和漏检。

在依据本申请一些实施例提供的目标检测方法中，S01中获取红外特征数据的步骤进一步包括：通过基于上述实施例提供的训练步骤进行训练后的二维神经网络模型中的特征提取网络对红外图像进行特征提取，获得红外图像中各个像素点的红外特征数据。

请参阅图14所示，其为依据本申请实施例提供的智能辅助驾驶预警方法流程示意图，其包括S22、S24以及S26，具体描述如下。

S22:获取红外采集设备采集的目标行驶场景中目标检测对象的红外图像以及同步获取激光雷达采集的目标行驶场景中目标检测对象的点云数据，红外采集设备和激光雷达均设置在行驶本体上。

目标驾驶场景是指红外采集设备安装的行驶本体在行驶过程中需要关注的场景。

S24:通过依据本申请任意一项实施例提供的目标检测方法对红外图进行目标检测，得到目标检测对象的三维信息。

由于上述对本申请实施例提供的目标检测方法做了详细说明，在此不再累述。

S26:根据三维信息，判定行驶本体与目标检测对象之间是否存在碰撞风险，并进行相应提示。

将三维信息中的距离信息与对应的预警距离阈值进行比较，便可判断行驶主体与目标检测对象之间是否存在碰撞风险，若有，则产生距离过近的报警提示信息。

进一步的，为了提高距离过近预警的准确度，S26可以具体为根据三维信息中的距离信息和运动方向信息，判定行驶本体与目标检测对象之间是否存在碰撞风险，并产生相应的提示信息。其中，距离信息包括目标检测对象与行驶本体之间的横向距离和纵向距离，则根据距离信息和运动方向信息，判定行驶本体与目标检测对象之间是否存在碰撞风险，并产生相应的提示信息，进一步包括：在运动方向为同向时，若横向距离小于第一横向阈值，且纵向距离小于第一纵向阈值，则判定行驶本体与目标检测对象之间存在碰撞风险，并产生预警提示信息。

在一些实施例中，则根据距离信息和运动方向信息，判定行驶本体与目标检测对象之间是否存在碰撞风险，并产生相应的提示信息，也可进一步包括：在运动方向为同向时，若横向距离大于第一横向阈值并小于第二横向阈值，且横向距离随驾驶时间延长和减小，且纵向距离小于第二纵向阈值时，则判定行驶本体与目标检测对象之间存在碰撞风险，并产生预警提示信息。

在一些实施例中，则根据距离信息和运动方向信息，判定行驶本体与目标检测对象之间是否存在碰撞风险，并产生相应的提示信息，还可进一步包括：在运动方向为反相时，若横向距离小于第三横向阈值，且纵向距离小于第三纵向阈值，以及纵向距离随驾驶时间延长而减小，则判定行驶本体与目标检测对象之间存在碰撞风险，并产生预警提示信息。

上述实施例提供的智能辅助驾驶预警方法在实现预警过程中达到的技术效果与本申请实施例提供的目标检测方法能够达到相同的技术效果，为避免重复，这里不再赘述。

请参阅图15所示，其为依据本申请实施例提供的目标检测设备的结构示意图。在本实施例中，目标检测设备包括处理器211及存储器212，存储器212内存储有可被处理器执行的计算机程序，计算机程序被处理器执行时实现本申请任一实施例的目标检测方法，目标检测设备与前述实施例提供的目标检测方法能够达到相同的技术效果，为避免重复，这里不再赘述。

请参阅图16所示，其为依据本申请实施例提供的一种智能辅助驾驶预警系统的结构示意图，其包括红外采集设备1、激光雷达2、处理器3以及报警设备4。红外采集设备1用于采集目标检测对象的红外图像。激光雷达2用于获取目标检测对象的点云数据。处理器3在执行计算机程序时实现依据本申请任意一实施例中提供智能辅助驾驶预警方法。报警设备4用于根据处理器3产生的提示信息进行报警。本申请实施例提供的智能辅助驾驶预警系统安装于行驶本体上，其中，行驶本体是包括处于静止或行驶状态的可行驶的载体，如汽车等交通工具。

请继续参阅图16所示，在一些实施例中，智能辅助驾驶预警系统还包括显示设备5。显示设备5用于与处理器3连接，以根据处理器3获得目标检测对象的类别信息及三维信息，显示含目标检测对象的结果显示的结果展示红外图像或点云数据图，结果展示红外图像或点云数据图中标记有目标检测对象的类别、框住目标检测对象的三维检测框以及目标检测对象与行驶本体之间距离。具体的，显示设备5显示的结果展示红外图像或点云数据图如图2至6所示，结果展示红外图像或点云数据图中显示有三维检测框、类别以及在三维检测框携带有目标检测对象相对于红外采集设备的运动方向信息。

请参阅图17所示，其为依据本申请实施例提供的智能辅助驾驶预警系统的工作流程示意图，具体如下。

S1：使用红外传感器和激光雷达传感器同步获取点云数据和红外图像。红外传感器即上述红外采集设备，激光雷达传感器即上述激光雷达。

S2：对红外图像进行细节、对比度增强处理，以及对点云数据进行RO I区域旋转，并根据红外传感器视场角进行视场裁剪。此步骤即上述对红外图像进行细节增强处理以及对激光雷达获得原始点云数据进行数据筛选。

S3：将红外图像输入经过训练的二维神经网络模型，以提取红外图像中各个像素点的像素特征信息，获得像素特征数据。

S4：将点云数据中各点云投影至红外图像中，并通过根据红外传感器的内参矩阵、以及红外传感器和激光雷达传感器之间的联合标定外侧矩阵确定的点云与像素点之间的坐标映射关系，确定各个点云对应的像素特征数据和邻域内加权平均像素特征数据。

S5：将各个点云对应的点云特征数据、像素特征数据以及加权平均像素特征数据融合得到的点云图像融合数据输入至三维神经网络模型，以输出目标检测对象的大小、朝向和距离信息。

S6：根据距离信息及朝向信息判断是否对目标检测对象进行预警。这里的预警即产生距离过近预警提示信息。

S7：车载显示设备显示目标检测对象的三维检测信息以及对距离过近目标进行智能预警。这里的预警即向用户显示距离过近预警提示信息。

本申请实施例提供的智能辅助驾驶预警系统，为将红外采集设备采集的红外图像和激光雷达采集的点云数据进行融合，并基于融合的数据进行3D目标检测及预警系。基于上述分析描述，本申请实施例提供的智能辅助驾驶预警系统可在夜间及恶劣场景比如雨雪雾天气正常使用，对目标进行3D检测输出目标大小、朝向和距离信息，对距离过近目标进行预警，帮助驾驶员实现安全驾驶。本申请实施例提供的基于数据融合的目标检测方法及设备，以及智能辅助驾驶预警方法及系统至少可以带来以下至少一条技术效果。

1.本申请实施例提供的目标检测方法、设备及预警方法、系统通过将红外图像和激光雷达的点云数据融合实现3D信息目标检测，可实现全天时、全天候、全场景的障碍物检测和预警功能。

2.本申请实施例提供的目标检测方法、设备及预警方法、系统考虑了点云数据较稀疏的特点，在融合红外图像信息的时候不仅添加了点云对应红外图像像素点的特征，还增加了该像素点自适应邻域内加权特征信息。这样既可以增加远距离目标的感受野，获取更多的语义信息，也可以减少近距离目标边界邻域内像素点CNN特征的干扰。

3.本申请实施例提供的目标检测方法、设备及预警方法、系统在用于实现3D目标检测的三维神经网络模型基础上增加了一个2D检测辅助网络(二维神经网络模型)，减少点云网络对远距离物体的误检和漏检，且辅助网络仅应用于训练阶段，不会增加额外的推理成本。

4.针对车载场景的丰富性、复杂性，本申请实施例提供的目标检测设备后期可在线升级，直至满足所有车载场景需求。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述目标检测方法和/或智能辅助驾驶预警方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种基于数据融合的目标检测方法，其特征在于，包括：

获取目标检测对象同步的点云数据和红外图像；

根据所述点云数据和所述红外图像进行融合，获得点云图像融合数据；

通过三维神经网络模型对所述点云图像融合数据进行目标检测，获得所述目标检测对象的类别信息和三维信息；

其中，所述三维信息包括目标检测对象的尺寸信息、位置信息、距离信息和运动方向信息中的至少一项。

2.根据权利要求1所述的目标检测方法，其特征在于，所述根据所述点云数据和所述红外图像进行融合，获得点云图像融合数据，包括：

通过二维神经网络模型对所述红外图像进行特征提取，获得所述红外图像中各个像素点的红外特征数据；

根据所述点云数据中各点云与所述红外图像中各像素点的坐标映射关系，以及所述红外图像中各个像素点的红外特征数据，确定各个所述点云对应的红外特征数据；

根据各所述点云的点云特征数据及对应的所述红外特征数据进行融合，获得各所述点云对应的点云图像融合数据。

3.根据权利要求2所述的目标检测方法，其特征在于，所述根据各所述点云的点云特征数据及对应的所述红外特征数据进行融合，获得各所述点云对应的点云图像融合数据，包括：

根据各所述点云的所述点云特征数据，分别确定以各所述点云对应的各像素点为中心的邻域；

分别将所述红外图像中各所述邻域内各个像素点对应的红外特征数据进行加权平均，获得各所述点云对应的加权平均红外特征数据；

将各所述点云对应的所述点云特征数据、所述像素特征数据以及所述加权平均像素特征数据进行融合，获得各所述点云对应的所述点云图像融合数据。

4.根据权利要求3所述的目标检测方法，其特征在于，所述通过三维神经网络模型对所述点云图像融合数据进行特征提取和识别，获得所述目标检测对象的类别信息和三维信息，包括：

将所述点云图像融合数据进行体素化处理，获得多个柱状体素；

对多个所述柱状体素进行特征提取和映射，获得所述点云图像融合数据的体素特征，并将所述体素特征映射到鸟瞰图，获得所述点云图像融合数据对应的鸟瞰特征图，所述体素特征包括所述点云图像融合数据对应的点云三维坐标数据、所述像素特征数据、所述加权平均像素特征数据、几何中心数据以及几何中心偏移数据；

将所述鸟瞰特征图输入至所述三维神经网络模型进行特征提取和识别，获得所述目标检测对象的类别信号和三维信息。

5.根据权利要求1所述的目标检测方法，其特征在于，在所述通过三维神经网络模型对所述点云图像融合数据进行特征提取和识别，获得所述目标检测对象的类别信息和三维信息之前，所述目标检测方法还包括：

基于携带有标注信息的样本点云图像融合数据构建训练样本数据集；其中，所述标注信息包括所述目标检测对象的类别标注信息和三维标注框信息；所述三维标注框信息包括三维标注框的中心点信息、长宽高信息以及偏航角信息；

利用所述训练样本数据集对所述三维神经网络模型进行迭代训练，直至达到预设训练条件。

6.根据权利要求5所述的目标检测方法，其特征在于，所述基于携带有标注信息的样本点云图像融合数据构建训练样本数据集包括：

对所述样本点云图像融合数据对应的样本点云数据进行标注，获得所述三维标注框信息；

根据所述样本点云图像融合数据对应的样本红外图像和所述样本点云数据之间的映射关系，将所述样本点云数据对应的三维标注框投影至所述样本红外图像中；

在所述样本点云数据对应的所述三维标注框投影至所述样本红外图像中的投影面积满足预设条件时，将携带有所述三维标注框信息的对应样本点云图像融合数据作为训练样本，以构成所述训练样本数据集。

7.根据权利要求5所述的目标检测方法，其特征在于，在所述对所述样本点云图像融合数据对应的样本点云数据进行标注，获得所述三维标注框信息之后，且在通过二维神经网络模型对所述红外图像进行特征提取，获得所述红外图像中各个像素点的红外特征数据之前，所述目标检测方法还包括：

根据所述三维标注框信息确定所述样本红外图像中所述目标检测对象对应的二维标注框信息，所述二维标注框信息包括二维标注框的中心点信息以及宽高信息；

利用携带所述二维标注框信息的所述样本红外图像训练所述二维神经网络模型；

所述通过二维神经网络模型对所述红外图像进行特征提取，获得所述红外图像中各个像素点的红外特征数据，包括：

通过训练后的所述二维神经网络模型中的特征提取网络对所述红外图像进行特征提取，获得所述红外图像中各个像素点的红外特征数据。

8.一种智能辅助驾驶预警方法，其特征在于，包括：

获取红外采集设备采集的目标行驶场景中目标检测对象的红外图像以及同步获取激光雷达采集的目标行驶场景中目标检测对象的点云数据，所述红外采集设备和所述激光雷达均设置在行驶本体上；

根据所述点云数据和所述红外图像，通过如权利要求1至7中任一项所述的目标检测方法进行目标检测，得到所述目标检测对象的所述三维信息；

根据所述三维信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并进行相应提示。

9.根据权利要求8所述的智能辅助驾驶预警方法，其特征在于，所述三维信息包括距离信息和运动方向信息，所述距离信息包括所述目标检测对象与所述行驶本体之间的横向距离和纵向距离，所述根据所述三维信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并进行相应提示，包括：

在所述运动方向信息为同向运动时，若所述横向距离小于第一横向阈值，且所述纵向距离小于第一纵向阈值，则判定所述行驶本体与所述目标检测对象之间存在碰撞风险，并产生预警提示信息；和/或，

在所述运动方向信息为同向运动时，若所述横向距离大于所述第一横向阈值并小于第二横向阈值，且所述横向距离随驾驶时间延长和减小，且所述纵向距离小于第二纵向阈值时，则判定所述行驶本体与所述目标检测对象之间存在碰撞风险，并产生预警提示信息；和/或，

在所述运动方向信息为反向运动时，若所述横向距离小于第三横向阈值，且所述纵向距离小于第三纵向阈值，以及所述纵向距离随驾驶时间延长而减小，则判定所述行驶本体与所述目标检测对象之间存在碰撞风险，并产生预警提示信息。

10.一种目标检测设备，其特征在于，包括存储器及处理器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的目标检测方法。

11.一种智能辅助驾驶预警系统，其特征在于，包括红外采集设备、激光雷达、处理器以及报警设备；

所述红外采集设备用于采集目标检测对象的红外图像；

所述激光雷达用于采集目标检测对象的点云数据；

所述处理器在执行计算机程序时实现如权利要求8至9中任一项所述的智能辅助驾驶预警方法；

所述报警设备用于根据所述处理器产生的提示信息进行报警。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的目标检测方法或如权利要求8至9中任一项所述的智能辅助驾驶预警方法。

Images