CN112379674A

CN112379674A - 一种自动驾驶设备及系统

Info

Publication number: CN112379674A
Application number: CN202011348598.5A
Authority: CN
Inventors: 陈博; 王宇; 王硕; 李锦瑭; 孙雪
Original assignee: FAW Group Corp
Current assignee: FAW Group Corp
Priority date: 2020-11-26
Filing date: 2020-11-26
Publication date: 2021-02-19
Anticipated expiration: 2040-11-26
Also published as: CN112379674B

Abstract

本发明实施例公开了一种自动驾驶设备及系统。包括：1个长距离固态雷达、8个中距离固态雷达、4个补盲雷达及两个毫米波雷达；长距离固态雷达设置于车顶中轴线前侧，用于检测车辆正前方中远距离的障碍物信息；8个中距离固态雷达分别设置于车顶正前、左前、右前、左侧、右侧、正后、左后、右后，用于检测车身周围360°的环境信息；4个补盲雷达分别设置于车辆前保险杠上方、后保险杠上方及左右翼子板，用于扫描近场盲区范围；两个毫米波雷达分别设置于车辆前保险杠内侧和后保险杠内侧，用于检测运动障碍物信息。可以实现自动驾驶过程中的全方位检测，且可以降低成本。

Description

一种自动驾驶设备及系统

技术领域

本发明实施例涉及车辆技术领域，尤其涉及自动驾驶设备及系统。

背景技术

自动驾驶技术是各研究机构和整车厂研究的重要方向。在自动驾驶研发当中，环境感知技术是一项重要的挑战，该项技术主要难点在于如何能够快速准确地识别道路上的障碍物。由于单个传感器常常不能准确地感知到车辆周围环境的信息，为了确保自动驾驶汽车实时、高效、准确地收集周围环境信息，自动驾驶中经常配备了多种环境感应传感器。毫米波雷达可以全天候工作，探测距离远，但目标识别难度较大，且对静止物体和非金属物体不敏感。摄像头可以获得图像信息，但受到视野范围的影响，且对距离信息的获取精度远不如雷达。激光雷达测距精度高、方向性强、响应时间快，但成本较高，难以实现大规模量产。

发明内容

本发明提供一种自动驾驶设备及系统，可以实现自动驾驶过程中的全方位检测，且可以降低成本。

第一方面，本发明实施例提供了一种自动驾驶设备，包括：固态激光雷达感知模块、补盲雷达感知模块及毫米波雷达感知模块；所述固态激光雷达感知模块包括1个长距离固态雷达和8个中距离固态雷达；所述补盲雷达感知模块包括4个补盲雷达；所述毫米波雷达感知模块包括两个毫米波雷达；

所述长距离固态雷达设置于车顶中轴线前侧，用于检测车辆正前方中远距离的障碍物信息；所述8个中距离固态雷达分别设置于车顶正前、左前、右前、左侧、右侧、正后、左后、右后，用于检测车身周围360°的环境信息；所述4个补盲雷达分别设置于车辆前保险杠上方、后保险杠上方及左右翼子板，用于扫描近场盲区范围；所述两个毫米波雷达分别设置于车辆前保险杠内侧和后保险杠内侧，用于检测运动障碍物信息。

第二方面，本发明实施例还提供了一种自动驾驶系统，包括权利要求1所述的自动驾驶设备、数据标定模块、数据融合模块、第一障碍检测模块、第二障碍物检测模块、障碍物分类模块及目标跟踪模块；

所述自动驾驶设备用于获取车辆周围环境的点云数据；所述数据标定模块用于根据标定参数将所述点云数据转换至设定坐标系下；所述数据融合模块用于对转换后的点云数据进行空间和时间的同步融合；所述第一障碍物检测模块用于采用深度学习模型对融合后的点云数据进行分析，获得第一障碍物信息；所述第二障碍物检测模块用于采用聚类分割算法对对融合后的点云数据进行分析，获得第一障碍物信息；所述障碍物分类模块用于对所述第一障碍物信息和所述第二障碍物信息进行分类，获得障碍物类别；所述目标跟踪模块用于对障碍进行跟踪。

进一步地，所述数据标定模块，还用于：根据需求将一段时间内的点云数据打包为一帧，根据各雷达的数据协议将数据帧解析出每个点的时间戳、三维坐标及反射强度；将每个点的三维坐标转换为设定坐标系下的坐标。

进一步地，数据融合模块还用于：对所述点云数据进行滤波及边界检测处理。

进一步地，第一障碍检测模块，还用于：将所述点云数据转换为鸟瞰BEV特征图；对所述BEV特征图输入深度学习模型进行特征提取及障碍物检测；对非障碍物框进行过滤，获得第一障碍物信息。

进一步地，所述第二障碍物检测模块还用于：对所述点云数据依次进行地面分割、障碍物聚类及非障碍物框过滤处理，获得第二障碍物信息。

进一步地，所述地面分割的处理过程为：获取所述点云数据的高度信息；将高度小于第一阈值的点云删除。

进一步地，所述障碍物聚类的处理过程为：对分割后的点云区域进行栅格划分；将距离大于第二阈值的点数超过设定值的栅格确定为障碍物栅格；对所述障碍物栅格进行聚类，获得障碍物检测框。

进一步地，所述障碍物分类模块，还用于：将所述第一障碍物信息和所述第二障碍物信息输入分类模型，获得障碍物类别。

进一步地，所述目标跟踪模块还用于：利用卡尔曼滤波算法对障碍物进行跟踪，获得障碍物各时刻的运动方向、速度、加速度及角速度。

本发明实施例公开了一种自动驾驶设备及系统。包括：固态激光雷达感知模块、补盲雷达感知模块及毫米波雷达感知模块；固态激光雷达感知模块包括1个长距离固态雷达和8个中距离固态雷达；补盲雷达感知模块包括4个补盲雷达；毫米波雷达感知模块包括两个毫米波雷达；长距离固态雷达设置于车顶中轴线前侧，用于检测车辆正前方中远距离的障碍物信息；8个中距离固态雷达分别设置于车顶正前、左前、右前、左侧、右侧、正后、左后、右后，用于检测车身周围360°的环境信息；4个补盲雷达分别设置于车辆前保险杠上方、后保险杠上方及左右翼子板，用于扫描近场盲区范围；两个毫米波雷达分别设置于车辆前保险杠内侧和后保险杠内侧，用于检测运动障碍物信息。可以实现自动驾驶过程中的全方位检测，且可以降低成本。

附图说明

图1是本发明实施例一中的一种自动驾驶设备的结构示意图；

图2是本发明实施例一中的4个补盲雷达的安装示意图；

图3是本发明实施例一中的两个毫米波雷达的安装示意图；

图4是本发明实施例一中的自动驾驶设备对周围环境的扫描示意图；

图5是本发明实施例二中的一种自动驾驶系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种自动驾驶设备的结构示意图，以自动驾驶设备已经安装于车辆为基础，图1为车辆的俯视图。如图1所示，该设备包括：固态激光雷达感知模块、补盲雷达感知模块及毫米波雷达感知模块。

其中，固态激光雷达感知模块包括1个长距离固态雷达11和8个中距离固态雷达12；补盲雷达感知模块包括4个补盲雷达13；毫米波雷达感知模块包括两个毫米波雷达14。

长距离固态雷达11设置于车顶中轴线前侧，用于检测车辆正前方中远距离的障碍物信息。8个中距离固态雷达12分别设置于车顶正前、左前、右前、左侧、右侧、正后、左后、右后，用于检测车身周围360°的环境信息；4个补盲雷达13分别设置于车辆前保险杠上方、后保险杠上方及左右翼子板，用于扫描近场盲区范围。两个毫米波雷达14分别设置于车辆前保险杠内侧和后保险杠内侧，用于检测运动障碍物信息。

其中，长距离固态激光雷达11可实现远距离、高精度探测，可感知距离远至500米、50％反射率，可在高速行驶中为车辆带来更充裕的响应时间，保障安全。面对反射率低至10％的物体，探测距离仍可达320米。长距离固态雷达距离精度2cm，角度精度达0.03°，光束发散角0.12°(垂直)x 0.02°(水平)，视场角(FOV)可达到14.5°x 16.2°。在工作时可射出多线激光同时进行高速非重复扫描，每秒可将240,000点的点云数据分布在约15度FOV里，100ms内视场覆盖率达到99.8％，点云密度达到128线机械式激光雷达级别，确保车辆在高速运动时仍能快速感知视场里的物体。

中距离固态激光雷达12具备宽广水平视场和260米探测距离@80％反射率，距离精度2cm，角度精度达0.03°。通过多路激光非重复扫描方式，视场中被激光照射到的区域面积会随时间增大，视场覆盖率会随时间推移而显著提高，有效提升视场内点云覆盖率。采用横向扫描方式，使得视场角达到81.7°(水平)×25.1°(竖直)，适合自动驾驶L4级别使用。

图2是本实施例中4个补盲雷达的安装示意图。如图2所示，包括4个补盲雷达，分别安装在车辆前保险杠上方、后保险杠上方及左右翼子板。补盲雷达探测距离100m以内，距离精度3cm，水平角分辨率0.2°/0.4°，垂直角分辨率2.81°，有单回波和双回波两种工作模式。补盲雷达拥有独特的视场范围，视场呈现为90°(垂直)x 360°(水平)半球形，可以有效扫除近场范围盲区。补盲雷达感知模块可以形成对固态激光雷达探测盲区的有效补充，提高车身周围近距离的点云覆盖率。

图3是本实施例中两个毫米波雷达的安装示意图，如图3所示，两个毫米波雷达(radar)，分别安装在车辆前保险杠内侧、后保险杠内侧，形成对车辆前后及两侧的环境信息获取。毫米波雷达感知模块主要负责远距离运动障碍物的识别检测，是对固态激光雷达模块的补充。

图4是本实施例中自动驾驶设备对周围环境的扫描示意图。如图4所示，通过多种雷达、多角度布置及设计，在车身周围形成立体的感知范围，从而形成对自动驾驶车辆周围环境三维立体、全方位、多层次的感知效果。通过固态激光雷达的全方位布置和补盲雷达对探测盲区的补充扫描，使得自动驾驶车辆周围形成完全无盲区的全覆盖状态。

本实施例提供的自动驾驶设备，包括：固态激光雷达感知模块、补盲雷达感知模块及毫米波雷达感知模块；固态激光雷达感知模块包括1个长距离固态雷达和8个中距离固态雷达；补盲雷达感知模块包括4个补盲雷达；毫米波雷达感知模块包括两个毫米波雷达；长距离固态雷达设置于车顶中轴线前侧，用于检测车辆正前方中远距离的障碍物信息；8个中距离固态雷达分别设置于车顶正前、左前、右前、左侧、右侧、正后、左后、右后，用于检测车身周围360°的环境信息；4个补盲雷达分别设置于车辆前保险杠上方、后保险杠上方及左右翼子板，用于扫描近场盲区范围；两个毫米波雷达分别设置于车辆前保险杠内侧和后保险杠内侧，用于检测运动障碍物信息。可以实现自动驾驶过程中的全方位检测，且可以降低成本。

实施例二

图5是本发明实施例二提供的一种自动驾驶系统的结构示意图，如图5所示，该系统包括：自动驾驶设备210、数据标定模块220、数据融合模块230、第一障碍检测模块240、第二障碍物检测模块250、障碍物分类模块260及目标跟踪模块270。

其中，自动驾驶设备210用于获取车辆周围环境的点云数据；数据标定模块220用于根据标定参数将点云数据转换至设定坐标系下；数据融合模块230用于对转换后的点云数据进行空间和时间的同步融合；第一障碍物检测模块240用于采用深度学习模型对融合后的点云数据进行分析，获得第一障碍物信息；第二障碍物检测模块250用于采用聚类分割算法对对融合后的点云数据进行分析，获得第一障碍物信息；障碍物分类模块260用于对第一障碍物信息和第二障碍物信息进行分类，获得障碍物类别；目标跟踪模块270用于对障碍进行跟踪。

具体的，自动驾驶设备210为上述实施例功率的设备。自动驾驶设备210通过不同的扫描方式获取周围环境的点云数据，通过UDP协议进行数据的高效传输。

数据标定模块210还用于：根据需求将一段时间内的点云数据打包为一帧，根据各雷达的数据协议将数据帧解析出每个点的时间戳、三维坐标及反射强度；将每个点的三维坐标转换为设定坐标系下的坐标。本实施例中，数据标定模块210可以从相应的接口不断的读取激光雷达数据，并根据需求将一段时间内的数据打包成一帧，发送到相应的接收端。根据不同雷达的数据协议，将数据帧解析出每个点的时间戳、xyz三维坐标及反射强度，并组合成一帧点云。之后，对点云进行运动补偿。每个传感器的点云有各自的坐标系，通过旋转变换将各雷达点云分别转换到世界坐标系下。其中，旋转变换矩阵参数为标定参数。

可选的，数据融合模块230还用于：对点云数据进行滤波及边界检测处理。具体的，数据融合模块230将将不同传感器的点云进行拼接融合。拼接后的点云实现了对车身周围360°全景信息扫描。时间同步通过pps同步线连接惯导和各传感器，由DTU统一授时保证。

可选的，第一障碍检测模块249，还用于：将点云数据转换为鸟瞰BEV特征图；对BEV特征图输入深度学习模型进行特征提取及障碍物检测；对非障碍物框进行过滤，获得第一障碍物信息。具体的，生成BEV特征图后，将BEV特征图送入深度学习模型进行识别。深度学习模型可分为特征提取(用于提取BEV特征)、检测网络(直接回归anchor得到检测框)、后处理(处理网络输出得到Loss或者障碍物)等几个部分。点云数据经过深度学习模型后，对非目标框进行过滤，最终输出障碍物目标。

可选的，第二障碍物检测模块250还用于：对点云数据依次进行地面分割、障碍物聚类及非障碍物框过滤处理，获得第二障碍物信息。本实施例中，地面分割的处理过程可以是：获取点云数据的高度信息；将高度小于第一阈值的点云删除。障碍物聚类的处理过程为：对分割后的点云区域进行栅格划分；将距离大于第二阈值的点数超过设定值的栅格确定为障碍物栅格；对障碍物栅格进行聚类，获得障碍物检测框。

具体的，地面分割的过程可以理解为利用点云形态，推断得到各区域的地面高度，再根据点云的高度等信息，找到障碍物点和地面点。在具体操作中，可以对点云区域进行栅格划分，遍历点云中所有的点，把点归属到对应的栅格，同时获取点到地面的距离等信息。如果一个栅格中，点到地面的距离大于一定阈值的点数超过一定值，可以认为该栅格是障碍物栅格。地面分割模块将地面点云去除后，对障碍物点云进行聚类，得到目标候选框。然后根据一定规则对非目标框进行过滤，最终输出障碍物目标。

可选的，障碍物分类模块260，还用于：将第一障碍物信息和第二障碍物信息输入分类模型，获得障碍物类别。

本实施例中，对障碍物分类算法可以包括深度学习和传统方法分类。深度学习模型有大量标注数据输入，这些标注数据含有障碍物的三维坐标、长宽高、角度及类别等信息。通过对大批量标注数据的训练，深度学习模型可以对障碍物目标进行分类，输出类别信息。传统方法根据几何分割感知模块输出的障碍物信息，根据一定的规则对障碍物的大小、位置等属性进行类别的判断，输出类别信息。目标检测分类算法兼容两种方法，经过融合判断得到最终的障碍物类别。

可选的，目标跟踪模块270，还用于：利用卡尔曼滤波算法对障碍物进行跟踪，获得障碍物各时刻的运动方向、速度、加速度及角速度。

具体的，目标跟踪模块270采用卡尔曼滤波和二分图匹配的模式对物体进行多目标追踪。目标跟踪的流程大致如下：首先获取当前观测物体的时间戳，利用卡尔曼滤波对现有轨迹预测当前时间戳的状态量(物体方向、速度、大小、位置)。根据当前观测物体与预测物体的状态建立距离度量矩阵，进行二分图匹配。根据二分图匹配结果，对不同情况进行分开考虑，最终输出经过卡尔曼滤波的物体。

本实施例中的自动驾驶系统最终输出障碍物的目标列表，包括，障碍物信息：方位、朝向、尺寸、形状等；障碍物类别：大车、小车、行人、非机动车及其他不明障碍物等；物体跟踪：运动方向、速度、加速度、角速度、轨迹等。

本实施例提供的自动驾驶系统，包括自动驾驶设备、数据标定模块、数据融合模块、第一障碍检测模块、第二障碍物检测模块、障碍物分类模块及目标跟踪模块。可以实现自动驾驶过程中的全方位检测，且可以降低成本。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种自动驾驶设备，其特征在于，包括：固态激光雷达感知模块、补盲雷达感知模块及毫米波雷达感知模块；所述固态激光雷达感知模块包括1个长距离固态雷达和8个中距离固态雷达；所述补盲雷达感知模块包括4个补盲雷达；所述毫米波雷达感知模块包括两个毫米波雷达；

2.一种自动驾驶系统，其特征在于，包括权利要求1所述的自动驾驶设备、数据标定模块、数据融合模块、第一障碍检测模块、第二障碍物检测模块、障碍物分类模块及目标跟踪模块；

3.根据权利要求2所述的系统，其特征在于，所述数据标定模块，还用于：根据需求将一段时间内的点云数据打包为一帧，根据各雷达的数据协议将数据帧解析出每个点的时间戳、三维坐标及反射强度；将每个点的三维坐标转换为设定坐标系下的坐标。

4.根据权利要求2所述的系统，其特征在于，数据融合模块还用于：对所述点云数据进行滤波及边界检测处理。

5.根据权利要求2所述的系统，其特征在于，第一障碍检测模块，还用于：将所述点云数据转换为鸟瞰BEV特征图；对所述BEV特征图输入深度学习模型进行特征提取及障碍物检测；对非障碍物框进行过滤，获得第一障碍物信息。

6.根据权利要求2所述的系统，其特征在于，所述第二障碍物检测模块还用于：对所述点云数据依次进行地面分割、障碍物聚类及非障碍物框过滤处理，获得第二障碍物信息。

7.根据权利要求6所述的系统，其特征在于，所述地面分割的处理过程为：获取所述点云数据的高度信息；将高度小于第一阈值的点云删除。

8.根据权利要求7所述的系统，其特征在于，所述障碍物聚类的处理过程为：对分割后的点云区域进行栅格划分；将距离大于第二阈值的点数超过设定值的栅格确定为障碍物栅格；对所述障碍物栅格进行聚类，获得障碍物检测框。

9.根据权利要求2所述的系统，其特征在于，所述障碍物分类模块，还用于：将所述第一障碍物信息和所述第二障碍物信息输入分类模型，获得障碍物类别。

10.根据权利要求2所述的系统，其特征在于，所述目标跟踪模块还用于：利用卡尔曼滤波算法对障碍物进行跟踪，获得障碍物各时刻的运动方向、速度、加速度及角速度。