CN112801225B

CN112801225B - 极限工况下自动驾驶多传感器融合感知方法及系统

Info

Publication number: CN112801225B
Application number: CN202110352895.5A
Authority: CN
Inventors: 方强; 呼晓畅; 孙毅; 徐昕; 张兴龙
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2021-04-01
Filing date: 2021-04-01
Publication date: 2021-06-18
Anticipated expiration: 2041-04-01
Also published as: CN112801225A

Abstract

本申请涉及一种极限工况下自动驾驶多传感器融合感知方法及系统。所述方法包括：获取图像数据中的烟尘雾区域，图像数据的三维视锥范围内获取对应的激光点云数据，将激光点云数据投影到图像数据对应的图像域，根据二者的交集得到图像域烟尘雾点云数据；同时，基于激光点云数据得到雷达域障碍点云数据。根据图像域烟尘雾点云数据和雷达域障碍点云数据的交集，得到虚假障碍融合感知数据，随后与毫米波雷达得到的真实障碍物数据结合，去除虚假障碍。本申请基于图像数据为激光点云提供一个可能存在烟尘雾的视角，将激光点云数据在图像域和雷达域之间进行相互验证，并与毫米波雷达结合，最终获得高精度的自动驾驶场景数据。

Description

极限工况下自动驾驶多传感器融合感知方法及系统

技术领域

本申请涉及自动驾驶决策与规划技术领域，特别是涉及一种极限工况下自动驾驶多传感器融合感知方法及系统。

背景技术

当前自动驾驶车辆通常在三维坐标系下进行决策与规划，这就需要环境感知系统提供精确的几何测距信息，因此激光雷达凭借高精度几何测量特点成为当前自动驾驶车辆的主流传感器。激光雷达由于波长较短，不易穿透烟尘雾等颗粒状障碍物，因此容易导致环境感知系统出现虚假障碍进而失效，影响自动驾驶车辆的安全性。与激光雷达相比，可见光相机具有丰富的纹理信息，但很难给出精确的几何信息。

由于单一传感器存在本质缺陷，无法应对非结构化动态的烟尘雾场景，因此需要整合多传感器的各自优势，来提高自动驾驶车辆在烟尘雾极限工况下的安全性。目前采用的方式是对各传感器进行时经空标定，使其生成的数据位于同一个时空坐标系下，再根据任务需求进行数据级、特征级和任务级的各种数据融合。但目前尚未建立统一的融合理论和有效广义融合模型及算法，没有很好解决融合系统中的容错性或鲁棒性问题，数据融合系统的设计还存在许多实际问题。

发明内容

基于此，有必要针对上述技术问题，提供一种可信度高的基于相互验证与信息互补的一种极限工况下自动驾驶多传感器融合感知方法及系统。

一种极限工况下自动驾驶多传感器融合感知方法，所述方法包括：

获取预设的图像数据中的烟尘雾区域，并在图像数据的三维视锥范围内，获取对应的激光点云数据。

将激光点云数据投影到图像数据，根据激光点云数据和烟尘雾区域的交集得到图像域烟尘雾点云数据。

对激光点云数据进行分割和聚类，得到雷达域障碍点云数据。

根据图像域烟尘雾点云数据和雷达域障碍点云数据的交集，得到虚假障碍融合感知数据。

获取图像数据对应区域的毫米波雷达数据，根据毫米波雷达数据得到对应的真实障碍物数据。

根据障碍物数据替换掉虚假障碍融合感知数据，恢复对应的自动驾驶场景数据。

其中一个实施例中，在图像数据的三维视锥范围内，获取对应的激光点云数据的方式包括：

将图像数据对应的区域投影到激光雷达对应的雷达系，得到图像数据的三维视锥范围。

获取激光雷达在三维视锥范围内的激光点云数据。

其中一个实施例中，根据激光点云数据和烟尘雾区域的交集得到图像域烟尘雾点云数据的方式包括：

将烟尘雾区域内的激光点云标识为烟尘雾点云，得到对应的图像域烟尘雾点云数据。

其中一个实施例中，对激光点云数据进行分割和聚类，得到雷达域障碍点云数据的方式包括：

使用基于高斯过程回归的地面分割技术，将激光点云数据分割为地面点数据和障碍点数据。

对障碍点数据进行聚类，得到雷达域障碍点云数据。

其中一个实施例中，获取预设的图像数据中的烟尘雾区域的方式包括：

基于类别激活图技术得到图像数据中的烟尘雾区域。

一种极限工况下自动驾驶多传感器融合感知系统，包括：

图像传感器，用于获取自动驾驶场景中的图像数据。

激光雷达，用于获取自动驾驶场景中的激光点云数据。

毫米波雷达，用于获取自动驾驶场景中的毫米波雷达数据。

多传感器融合感知设备，用于获取图像数据中的烟尘雾区域，并在图像数据的三维视锥范围内，获取对应的激光点云数据，将激光点云数据投影到图像数据，根据激光点云数据和烟尘雾区域的交集得到图像域烟尘雾点云数据，对激光点云数据进行分割和聚类，得到雷达域障碍点云数据，根据图像域烟尘雾点云数据和雷达域障碍点云数据的交集，得到虚假障碍融合感知数据。以及用于，获取图像数据对应区域的毫米波雷达数据，根据毫米波雷达数据得到对应的真实障碍物数据，根据真实障碍物数据替换障碍融合感知数据，恢复对应的自动驾驶场景数据。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

与现有技术相比，上述一种极限工况下自动驾驶多传感器融合感知方法、系统、计算机设备和存储介质，获取图像数据中的烟尘雾区域，并在图像数据的三维视锥范围内获取对应的激光点云数据，将获取到的激光点云数据投影到图像数据对应的图像域，根据二者的交集得到图像域烟尘雾点云数据；同时，基于激光点云数据得到雷达域障碍点云数据。最后根据图像域烟尘雾点云数据和雷达域障碍点云数据的交集，得到虚假障碍融合感知数据。最后，根据毫米波雷达数据得到对应的真实障碍物数据，根据障碍物数据替换掉虚假障碍融合感知数据，恢复对应的自动驾驶场景数据。本申请基于图像数据为激光点云提供一个可能存在烟尘雾的视角，将激光点云数据在图像域和雷达域之间进行相互验证，最终获得高精度的烟尘雾三维区域。

附图说明

图1为一个实施例中一种极限工况下自动驾驶多传感器融合感知方法的步骤图；

图2为一个实施例中一种极限工况下自动驾驶多传感器融合感知方法流程图；

图3为将激光点云数据投影到图像数据对应的图像域的效果示意图；

图4为一个实施例中构建的二维极坐标栅格图；

图5为一个实施例中对激光雷达数据和图像传感器数据进行相互校验的流程示意图；

图6为一个实施例中生成的高精度的烟尘雾区域示意图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种极限工况下自动驾驶多传感器融合感知方法，包括以下步骤：

步骤102，获取预设的图像数据中的烟尘雾区域，并在图像数据的三维视锥范围内，获取对应的激光点云数据。

由于可见光相机具有丰富的纹理信息，因此可以基于其获取的图像数据中的表观信息对烟尘雾区域进行初始定位，但其对烟尘雾区域三维定位能力较差。而将图像方法投影到三维点云坐标系时，图像表示出的烟尘雾区域会覆盖大量的无关的点云，不能很好的界定烟尘雾区域点云的边界范围。

因此，本申请一方面基于图像数据进行烟尘雾区域定位，另一方面基于图像数据的视角，获取该视角下的激光雷达的激光点云数据。这二者是对同一区域、以同一视角获得的数据，是后续进行数据相互验证的基础。

步骤104，将激光点云数据投影到图像数据，根据激光点云数据和烟尘雾区域的交集得到图像域烟尘雾点云数据。

激光点云数据反映的是对应区域中存在的障碍。本步骤将激光点云数据投影到图像数据，当激光点云位于图像数据中烟尘雾区域时，该激光点云是由烟尘雾的反射造成的，因此对应的障碍实际上是烟尘雾（即虚假障碍），因此将对应的激光点云数据视为烟尘雾点云数据，即图像域烟尘雾点云数据。

步骤106，对激光点云数据进行分割和聚类，得到雷达域障碍点云数据。

基于现有的分割和聚类技术，可以仅基于激光雷达获得的激光点云数据得到对应的障碍数据，其中包括真实障碍和虚假障碍。

步骤108，根据图像域烟尘雾点云数据和雷达域障碍点云数据的交集，得到虚假障碍融合感知数据。

对步骤106和步骤108进行相互验证和融合，可以区分出激光点云数据中对应于烟尘雾区域和真实障碍的部分，即获得障碍融合感知数据。其中真实障碍部分需要在自动驾驶规划和决策中考虑。

步骤110，获取图像数据对应区域的毫米波雷达数据，根据毫米波雷达数据得到对应的真实障碍物数据。

步骤112，根据障碍物数据替换掉虚假障碍融合感知数据，恢复对应的自动驾驶场景数据。

具体地，步骤110至步骤112通过毫米波数据补全由于烟尘雾条件下其他传感器失效而产生的虚假障碍背后的真实场景数据。

本实施例针对烟尘雾动态非结构障碍的识别与定位问题，整合可见光相机和激光雷达数据的优缺点，设计了一种基于图像启动-互相校验的低成本的烟尘雾三维识别与定位方法。该方法基于图像数据为激光点云提供一个可能存在烟尘雾的视角，将激光点云数据在图像域和雷达域之间进行相互验证，最终获得高精度的烟尘雾三维点云区域。随后根据毫米波雷达数据得到的真实障碍物数据和虚假障碍融合感知数据，恢复自动驾驶场景数据。

其中一个实施例中，提供了一种极限工况下自动驾驶多传感器融合感知方法，其流程如图2所示，包括以下步骤：

步骤202，基于类别激活图技术得到图像数据中的烟尘雾区域。

基于图像的烟雾感知方案目前主要有去烟尘雾、烟尘雾分割和烟尘雾目标检测三种感知框架，其定位效果主要依赖于特征设计的好坏，应对复杂环境的能力较差。本实施例为提高基于图像数据定位烟尘雾区域的性能，基于CAM（网络类别激活图）识别并初始定位图像中烟尘雾，其对数据集合要求简单，且训练代价较小。具体地，基于VGG16构建一个分类网络，用于识别图像中是否存在烟尘雾，输入图像的尺寸为(224，224，3)。对网络第3个卷积模块计算得到的特征图

进行全局均值池化（GAP：global averagepooling），然后经过一层全连接层和Softmax计算得到图片属于各个类别的概率。定义样本个数为N，类别标签为y，其中有烟尘雾时y=1，无烟尘雾y=0，输入样本为x，概率p为网络预测的各个类别的概率，定义最后一层的全连接权重为

，C=32。网络的分类损失

的计算方式为：

背景

和烟尘雾特征

的激活图分布的计算方式为：

步骤204，将图像数据对应的区域投影到激光雷达对应的雷达系，得到图像数据的三维视锥范围，获取激光雷达在三维视锥范围内的激光点云数据。

步骤206，将激光点云数据投影到图像数据，将烟尘雾区域内的激光点云标识为烟尘雾点云，得到对应的图像域烟尘雾点云数据。

具体地，将激光点云数据投影到图像数据对应的图像域的效果如图3所示。图3a为包括烟尘雾区域的图像数据，图3b为将激光点云数据投影到图像数据得到的图像域烟尘雾点云数据。

步骤208，使用基于高斯过程回归的地面分割技术，将激光点云数据分割为地面点数据和障碍点数据。对障碍点数据进行聚类，得到雷达域障碍点云数据。

对于激光点云数据，采用基于高斯过程回归的地面分割方法，将点云数据中的点分为地面点以及障碍点，随后对得到的障碍点进行聚类，得到雷达域障碍点云数据。具体实现方式为：

构建一个如图4所示的二维极坐标栅格图。其中，极坐标栅格图被划分为了n个相等的扇区，每一个扇区记为

；另外，每一个扇区又由m个栅格

组成，距离原点的距离越远，则栅格的尺寸越大。将单帧点云数据

中的每一个点根据其位置坐标划分到极坐标栅格图中各自所对应栅格中。之后，在每一个栅格

所包含的所有点中选取z值最小的一个点作为候选地面点，该点可记为

，其中

表示该候选地面点距离原点的欧式距离，

表示该候选地面点的

值大小。每一个扇区

内所有栅格的候选地面点共同组成了一个地面候选点集合，记为

。

假设每一个扇区

内所有地面点服从高斯分布，可以从

中选取种子点，利用一维递归高斯过程回归方法对每一个扇区内地面点所服从的高斯分布进行拟合。该方法是一个递归方法，在第k次递归时已经得到的种子点集合可记为

，而对于

中剩下的每一个非种子点

，从而通过下面均值方差计算公式计算出该点与

所拟合出的联合高斯分布在

处的均值

与方差

：

其中，

表示观测噪声，

表示两个向量

与

所构成的协方差矩阵，可用常见的高斯核来进行计算，

中的第

个元素表示为：

其中，λ为控制径向作用范围的参数。根据均值方差计算公式计算得到的均值

与方差

可以进一步计算出点

与拟合出的高斯分布的近似程度

：

若

与

分别同时小于一定的阈值，则认为点

与当前所有的种子点

服从同一高斯分布，那么点

就作为种子点被加入到下一时刻的种子点集合

中。

因此，从每一个扇区的候选地面点集合

中选取

与

均比较小的点组成初始种子点集合

，之后便可以利用均值方差计算公式来不断迭代，以选取新的种子点，直至

无法再选出种子点，则迭代结束。假设一共迭代n次，则最终扇区

所得到的地面种子点集合可以记为

，利用这些种子点所符合的高斯分布即可得到扇区

中地面的拟合情况。对于

中每一个栅格

内所包含的每一个点

，都可以根据均值方差计算公式来计算出点

所在位置所对应的地面高度µj。

接下来，利用点

所对应

值的大小与地面高度

之间的高度差

来判断点

的属性。若高度差

小于预设的阈值，则认为点

为地面点，否则，认为该点为障碍点。

步骤210，根据图像域烟尘雾点云数据和雷达域障碍点云数据的交集，得到虚假障碍融合感知数据。

对于步骤208获得的雷达域障碍点云数据，将其投影到二维栅格图中，得到二维占据栅格图，在生成的二维占据栅格图中，采用基于区域最近邻生成算法对障碍物目标进行聚类，该算法的流程可描述如下：

1)在二维栅格图中寻找到一个障碍栅格作为种子栅格，并设置最近邻半径

；

2)遍历与种子栅格距离

以内的所有栅格，若当前遍历到的栅格为障碍栅格，且反射率信息与种子栅格相似，则认为当前栅格与种子栅格为一类，将当前栅格加入到该类别的队列中；

3)遍历当前类别队列，将其中还未作为种子栅格的栅格作为种子栅格，重复进行2)步骤，直到所有栅格都作为过种子栅格；

4)若3)步骤结束后，栅格图中仍有未遍历到的栅格，则将其作为种子栅格，重新执行2)与3)步骤，直到栅格图中所有障碍栅格都完成遍历。

步骤212，获取图像数据对应区域的毫米波雷达数据，根据毫米波雷达数据得到对应的真实障碍物数据。根据真实障碍物数据替换虚假障碍融合感知数据，恢复对应的自动驾驶场景数据。

由于激光雷达和图像传感器对于烟尘雾的穿透能力较低，因此可能由于烟尘雾的遮挡而遗漏真实障碍，从而威胁自动驾驶的安全。为进一步确保全面探测自动驾驶场景中的障碍，本实施例使用毫米波雷达作为激光雷达和图像传感器的补充，对同一区域进行探测，利用其对烟尘雾的较强穿透能力，对步骤210获得的障碍融合感知数据进行进一步的完善和补充。

本实施例基于如图5所示的流程，对激光雷达数据和图像传感器数据进行相互校验，得到精确的烟尘雾区域，并使用毫米波雷达对得到的烟尘雾区域进行补充。这一校验过程可以描述为：在图像域（用虚线箭头表示）：首先根据云投影到图像平面的结果，将落在烟尘雾区域的点云标记为虚假障碍，基于区域最近邻生成算法进行聚类后，滤除噪声点云；在激光雷达域（用实线箭头表示）：然后将图像所检测得到的初始烟尘雾区域投影到雷达系，转为一个三维视锥约束，在视锥约束范围作点云搜索，在上述基于区域最近邻聚类处理后的点云簇中，寻找视锥区域中相匹配的聚类区域作为所检测到的烟尘雾区域。最后基于图像域的雷达点云转换到雷达域，取两个域获得烟尘雾区域的点云交集，生成高精度的烟尘雾区域，如图6所示，以此完成相互校验过程。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

一种极限工况下自动驾驶多传感器融合感知系统，包括：

图像传感器，用于获取自动驾驶场景中的图像数据。

激光雷达，用于获取自动驾驶场景中的激光点云数据。

毫米波雷达，用于获取自动驾驶场景中的点云数据。

多传感器融合感知设备，用于获取图像数据中的烟尘雾区域，并在图像数据的三维视锥范围内，获取对应的激光点云数据，将激光点云数据投影到图像数据，根据激光点云数据和烟尘雾区域的交集得到图像域烟尘雾点云数据，对激光点云数据进行分割和聚类，得到雷达域障碍点云数据，根据图像域烟尘雾点云数据和雷达域障碍点云数据的交集，得到虚假障碍融合感知数据。

其中一个实施例中，所述系统还包括毫米波雷达，用于获取自动驾驶场景中的毫米波雷达数据。

多传感器融合感知设备还用于，获取图像数据对应区域的毫米波雷达数据，根据毫米波雷达数据得到对应的真实障碍物数据，根据真实障碍物数据和虚假障碍融合感知数据，恢复真实的自动驾驶场景障碍数据。

在一个实施例中，提供了一种极限工况下自动驾驶多传感器融合感知装置，包括：

激光点云获取模块，用于获取预设的图像数据中的烟尘雾区域，并在图像数据的三维视锥范围内，获取对应的激光点云数据。

图像域烟尘雾点云获取模块，用于将激光点云数据投影到图像数据，根据激光点云数据和烟尘雾区域的交集得到图像域烟尘雾点云数据。

雷达域障碍点云获取模块，用于对激光点云数据进行分割和聚类，得到雷达域障碍点云数据。

障碍融合感知模块，用于根据图像域烟尘雾点云数据和雷达域障碍点云数据的交集，得到虚假障碍融合感知数据。

其中一个实施例中，还包括障碍物数据补充模块，用于获取图像数据对应区域的毫米波雷达数据，根据毫米波雷达数据得到对应的真实障碍物数据。根据真实障碍物数据替换虚假障碍融合感知数据，恢复对应的自动驾驶场景数据。

其中一个实施例中，激光点云获取模块用于将图像数据对应的区域投影到激光雷达对应的雷达系，得到图像数据的三维视锥范围。获取激光雷达在三维视锥范围内的激光点云数据。

其中一个实施例中，图像域烟尘雾点云获取模块用于将烟尘雾区域内的激光点云标识为烟尘雾点云，得到对应的图像域烟尘雾点云数据。

其中一个实施例中，雷达域障碍点云获取模块用于使用基于高斯过程回归的地面分割技术，将激光点云数据分割为地面点数据和障碍点数据。对障碍点数据进行聚类，得到雷达域障碍点云数据。

其中一个实施例中，还包括烟尘雾区域获取模块，用于基于类别激活图技术得到图像数据中的烟尘雾区域。

关于极限工况下自动驾驶多传感器融合感知系统和装置的具体限定可以参见上文中对于极限工况下自动驾驶多传感器融合感知方法的限定，在此不再赘述。上述极限工况下自动驾驶多传感器融合感知系统和装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种极限工况下自动驾驶多传感器融合感知方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取图像数据对应区域的毫米波雷达数据，根据毫米波雷达数据得到对应的真实障碍物数据。根据真实障碍物数据替换虚假障碍融合感知数据，恢复对应的自动驾驶场景数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将图像数据对应的区域投影到激光雷达对应的雷达系，得到图像数据的三维视锥范围。获取激光雷达在三维视锥范围内的激光点云数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将烟尘雾区域内的激光点云标识为烟尘雾点云，得到对应的图像域烟尘雾点云数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：使用基于高斯过程回归的地面分割技术，将激光点云数据分割为地面点数据和障碍点数据。对障碍点数据进行聚类，得到雷达域障碍点云数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于类别激活图技术得到图像数据中的烟尘雾区域。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取图像数据对应区域的毫米波雷达数据，根据毫米波雷达数据得到对应的真实障碍物数据。根据真实障碍物数据替换虚假障碍融合感知数据，恢复对应的自动驾驶场景数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将图像数据对应的区域投影到激光雷达对应的雷达系，得到图像数据的三维视锥范围。获取激光雷达在三维视锥范围内的激光点云数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将烟尘雾区域内的激光点云标识为烟尘雾点云，得到对应的图像域烟尘雾点云数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：使用基于高斯过程回归的地面分割技术，将激光点云数据分割为地面点数据和障碍点数据。对障碍点数据进行聚类，得到雷达域障碍点云数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于类别激活图技术得到图像数据中的烟尘雾区域。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种极限工况下自动驾驶多传感器融合感知方法，其特征在于，所述方法包括：

获取预设的图像数据中的烟尘雾区域，并在所述图像数据的三维视锥范围内，获取对应的激光点云数据；

将所述激光点云数据投影到所述图像数据，根据所述激光点云数据和所述烟尘雾区域的交集得到图像域烟尘雾点云数据；

对所述激光点云数据进行分割和聚类，得到雷达域障碍点云数据；

根据所述图像域烟尘雾点云数据和所述雷达域障碍点云数据的交集，得到虚假障碍融合感知数据；

获取所述图像数据对应区域的毫米波雷达数据，根据所述毫米波雷达数据得到对应的真实障碍物数据；

根据所述真实障碍物数据替换所述虚假障碍融合感知数据，恢复对应的自动驾驶场景数据。

2.根据权利要求1所述的方法，其特征在于，在所述图像数据的三维视锥范围内，获取对应的激光点云数据的方式包括：

将所述图像数据对应的区域投影到激光雷达对应的雷达系，得到所述图像数据的三维视锥范围；

获取所述激光雷达在所述三维视锥范围内的激光点云数据。

3.根据权利要求1所述的方法，其特征在于，根据所述激光点云数据和所述烟尘雾区域的交集得到图像域烟尘雾点云数据的方式包括：

将所述烟尘雾区域内的激光点云标识为烟尘雾点云，得到对应的图像域烟尘雾点云数据。

4.根据权利要求1所述的方法，其特征在于，对所述激光点云数据进行分割和聚类，得到雷达域障碍点云数据的方式包括：

使用基于高斯过程回归的地面分割技术，将所述激光点云数据分割为地面点数据和障碍点数据；

对所述障碍点数据进行聚类，得到雷达域障碍点云数据。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，获取预设的图像数据中的烟尘雾区域的方式包括：

基于类别激活图技术得到图像数据中的烟尘雾区域。

6.一种极限工况下自动驾驶多传感器融合感知系统，其特征在于，所述系统包括：

图像传感器，用于获取自动驾驶场景中的图像数据；

激光雷达，用于获取自动驾驶场景中的激光点云数据；

毫米波雷达，用于获取自动驾驶场景中的毫米波雷达数据；

多传感器融合感知设备，用于获取所述图像数据中的烟尘雾区域，并在所述图像数据的三维视锥范围内，获取对应的激光点云数据，将所述激光点云数据投影到所述图像数据，根据所述激光点云数据和所述烟尘雾区域的交集得到图像域烟尘雾点云数据，对所述激光点云数据进行分割和聚类，得到雷达域障碍点云数据，根据所述图像域烟尘雾点云数据和所述雷达域障碍点云数据的交集，得到虚假障碍融合感知数据；以及用于获取所述图像数据对应区域的毫米波雷达数据，根据所述毫米波雷达数据得到对应的真实障碍物数据，根据所述真实障碍物数据替换所述虚假障碍融合感知数据，恢复对应的自动驾驶场景数据。