CN111257892A

CN111257892A - 一种用于车辆自动驾驶的障碍物检测方法

Info

Publication number: CN111257892A
Application number: CN202010022227.1A
Authority: CN
Inventors: 徐琳; 肖怀成; 张玉霞; 曹润兴; 周云飞
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2020-01-09
Filing date: 2020-01-09
Publication date: 2020-06-09

Abstract

本发明公开了一种用于车辆自动驾驶的障碍物检测方法，包括数据获取步骤、数据同步步骤以及数据融合步骤，其通过阵列超声波雷达组获取障碍物的点云数据，从而可以识别车辆周围所有的障碍物，提高了检测精度；而且，阵列超声波雷达组的探测距离远，提高了车辆自动驾驶的安全性。

Description

一种用于车辆自动驾驶的障碍物检测方法

技术领域

本发明涉及车辆自动驾驶的障碍物检测技术领域，尤其涉及一种用于自动驾驶的障碍物检测方法。

背景技术

随着人工智能技术的飞速发展，自动驾驶技术取得了巨大进展。自动驾驶技术包括环境感知技术、路径规划技术和车辆控制技术，其中环境感知技术是实现无人驾驶的基础，其为路径规划和车辆控制提供依据，保证着车辆的行驶安全。而且，影响车辆行驶安全的关键性因素是障碍物，对于障碍物检测便是环境感知的重要任务之一。障碍物信息包括障碍物类别信息、位置信息和运动信息，车辆通过获取的各个障碍物信息结合局部路径规划来做出具体的避障行为从而确保行车安全。

目前，障碍物检测方法主要包括两类：单传感器检测和多传感器融合检测，其中：(1)单传感器检测主要是以深度相机为主，深度相机可以直接获取目标的深度(或距离)信息，而且，深度相机采集的图像通过深度学习或者传统图像处理技术获取目标的类别、边界信息；但是，深度相机存在成本高、噪声大、易受日光干扰、无法测量透射材质，因此深度相机不适合使用在室外场景下；(2)多传感器融合检测是单目相机融合毫米波雷达或者激光雷达的方式，相机获取目标的类别、边界信息，雷达获取目标位置信息和运动信息。但是，毫米波雷达易受天气影响大，降雨时尤其明显，且成本高、功耗大；而且，毫米波雷达输出过多目标，需要复杂的程序才能确定障碍物，另外，激光雷达成本太高，受天气和大气影响大，点云信息量大，对处理器性能和融合算法要求高。

发明内容

本发明的目的是提供一种用于车辆自动驾驶的障碍物检测方法，其采用单目相机和多个阵列超声波雷达融合的方式，使得所述障碍物检测方法的成本低、体积小、且时效性好，为车辆的行驶安全和路径规划提供依据。

为实现本发明的发明目的，本发明所采用的技术方案内容具体如下：

一种用于车辆自动驾驶的障碍物检测方法，包括如下步骤：

数据获取步骤：利用阵列超声波雷达组获取障碍物的点云数据；利用单目相机获取障碍物的图像数据；

数据同步步骤：将点云数据和图像数据进行帧同步处理；

数据融合步骤：对经过帧同步处理的图像数据和点云数据进行数据融合处理，以获取障碍物的类别信息和位置信息。

作为上述方案的优选，所述阵列超声波雷达组包括三个位于同一水平线上的超声波雷达，三个所述超声波雷达的测量角度均为60°、且相邻两个所述超声波雷达的距离相等。

作为上述方案的优选，将点云数据和图像数据进行帧同步处理为采用低帧频率数据优选的同步策略，对高帧数据进行间隔数据获取。

作为上述方案的优选，数据融合步骤包括：

获取单目相机的内参和外参；

设定阵列超声波雷达组的阈值，提取点云数据中的有效数据；

基于经过帧同步处理的图像数据，利用深度学习的方法获取障碍物的类别信息和边界框；

将点云数据中的有效数据通过外参投影到单目相机平面，得到相机平面坐标；

将相机平面坐标通过内参投影到成像平面上，得到成像平面像素坐标；

将平面像素坐标和边界框信息进行匹配，得到障碍物的边界信息。

作为上述方案的优选，基于经过帧同步处理的图像数据，利用深度学习的方法获取障碍物的类别信息和边界框信息包括：

确定训练集步骤：选择VOC数据集作为模型训练的数据集；

第一特征提取步骤：利用卷积神经网络提取进行目标的各级特征提取；

误差函数确定步骤：将卷积神经网络的输出结果与图像数据中的类别和边界位置进行比较，以确定预测值与真实值之间的误差函数；并以误差函数为优化基准对第一特征提取步骤中的卷积核进行更新，直到获取比较好的结果；

图像增强步骤：利用图像增强技术对图像数据进行增强；

第二特征提取步骤：将经过图像增强处理的图像数据作为目标类别的输入，并进行特征提取；

确定步骤：将第二特征提取步骤提取的特征进行组合，以获取障碍物的类别信息和边界框。

作为上述方案的优选，单目相机的内参和外参通过利用MATLAB工具箱对单目相机进行标定的方式获取。

作为上述方案的优选，障碍物的边界信息为障碍物的与车辆之间的纵向距离。

作为上述方案的优选，将平面像素坐标和边界框信息进行匹配为确定平面像素坐标是否位于边界框内。

与现有技术相比，本发明的有益效果在于：

本发明公开的用于车辆自动驾驶的障碍物检测方法，其通过阵列超声波雷达组获取障碍物的点云数据，从而可以识别车辆周围所有的障碍物，提高了检测精度；而且，阵列超声波雷达组的探测距离远，提高了车辆自动驾驶的安全性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1为本发明所述的阵列超声波雷达组获取障碍物的点云数据的示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下：

一种用于车辆自动驾驶的障碍物检测方法，包括如下步骤：

数据同步步骤：将点云数据和图像数据进行帧同步处理；

本发明所述的障碍物检测方法，其通过阵列超声波雷达组获取障碍物的点云数据，从而可以识别车辆周围所有的障碍物，提高了检测精度；而且，阵列超声波雷达组的探测距离远，提高了车辆自动驾驶的安全性。

如图1所示，所述阵列超声波雷达组包括三个位于同一水平线上的超声波雷达，三个所述超声波雷达的测量角度均为60°、且相邻两个所述超声波雷达的距离相等，这是由于单个超声波雷达不能确定物体的具体位置信息，而当超声波雷达设置为阵列时，通过三个所述超声波雷达的探测区域的交叉区域可以确定障碍物的大致角度，进而可以确定超声波雷达的点云数据。

具体地，三个所述超声波雷达均垂直于地面平面、且处于同一水平线上，相邻的两个所述超声波雷达之间的距离均为40cm。图1中的A,B,C三点安置三个所述超声波雷达，编号分别为1，2，3。根据三个所述超声波雷达的交叉覆盖区域分为①，②，③，④，⑤五个区域。区域①表示只有所述超声波雷达1能探测到的区域，区域②表示所述超声波雷达1和所述超声波雷达2共同探测到的区域，区域③表示所述超声波雷达1，2，3共同探测到的区域，区域④表示所述超声波雷达2和所述超声波雷达3共同探测到的区域，区域⑤表示只有所述超声波雷达3能探测到的区域。以B点为超声波雷达坐标系的原点，其三个坐标轴方向与摄像头对应坐标轴方向一致，即x轴朝左，y轴朝下，z轴朝下。而且，三个所述超声波雷达的间隔距离是按照人身体的大致宽度来设定的，是为了保证障碍物为人时尽量落在两个以上所述超声波雷达的探测区域内(因为人一般出现在车辆的左前方或者右前方)，由此来估计障碍物的大致角度位置。

在本发明中，将点云数据和图像数据进行帧同步处理为采用低帧频率数据优选的同步策略，对高帧数据进行间隔数据获取。具体地，所述超声波雷达的采样周期为100ms，即采样帧速率为10帧/秒，而单目相机的采样帧速率为30帧/秒。为了保证数据的可靠性，以所述超声波雷达的采样速率为基准，降低摄像机采样频率到10帧/秒，所述超声波雷达每采一帧点云信息，选取单目相机上一帧缓存的数据，即完成共同采样一帧雷达与视觉融合的数据，从而保证了毫米波雷达数据和摄像机数据时间上的同步。

在本发明中，数据融合步骤包括：

(1)获取单目相机的内参和外参，具体地，单目相机的内参和外参通过利用MATLAB工具箱对单目相机进行标定的方式获取。

(2)设定阵列超声波雷达组的阈值，提取点云数据中的有效数据。在所述超声波雷达采集障碍物的点云数据的过程中，由于所述超声波雷达的测量距离的最大值为4m-6m，具体地，假设所述超声波雷达的有效测定距离为4m，则在图1中，CG＝400cm，BM＝346cm，因此，只有当所述超声波雷达的采集的距离值小于或等于阈值时才会进行障碍物检测，从而可以保证所述超声波雷达的回波信号不至于太弱，以确保所述超声波雷达信号采集的稳定性；而且，此时GM＝MH＝150cm，其可以保证了车辆的车身不会只出现在三角形GMD或三角形DMH之中。由经验可知在车辆的正前方一般很少会聚集行人，行人一般聚集在车辆侧前方区域内，即①区域或②区域或⑤区域或者④区域。

当只有所述超声波雷达1检测到障碍物(即障碍物落在区域①中)且输出距离信号R时(P1为物体)，此时可以假设所述超声波雷达检测的障碍物在E1点(因为道路交通障碍物主要是人和车，人和车的宽度都在40cm以上，那么障碍物的边界极有可能包含E点或者离E点十分近)，此时障碍物P1的点云在雷达坐标系中坐标为E1(-40-Rsin30°,0,Rsin60°)。

当所述超声波雷达1和所述超声波雷达检测到障碍物(即障碍物落在区域②2中)且所述超声波雷达2输出距离信号为R时(P2为物体)，同上原因此时可以假设所述超声波雷达检测的障碍物在E2点。此时障碍物P2的点云在雷达坐标系中坐标为E2(-Rsin30°,0,Rsin60°)。

当所述超声波雷达1，2，3同时检测到障碍物(即障碍物落在区域③中)且所述超声波雷达2输出距离信号为R时(P3为障碍物)，此时可以假设所述超声波雷达检测的障碍物在E3点(由上面设定的GM值，可知车身不会只可能同时出现在三角形GMD和三角形DMH之中)。此时障碍物P3的点云在雷达坐标系中坐标为E3(0,0,R)。

当所述超声波雷达2和所述超声波雷达3同时检测到障碍物(即障碍物落在区域④中)且所述超声波雷达2输出距离信号为R时(P4为障碍物)，同上原因此时可以假设所述超声波雷达检测的障碍物在E4点。此时障碍物P3的点云在雷达坐标系中坐标为E4(Rsin30°,0,Rsin60°)。

当只有所述超声波雷达3检测到障碍物(即障碍物落在区域⑤中)且所述超声波雷达3输出距离信号R时(P5为障碍物)，与只落在区域①中情况相似，此时可以假设所述超声波雷达检测的障碍物在E5点，此时障碍物P5的点云在雷达坐标系中坐标为E5(40+Rsin30°,0,Rsin60°)。

(3)基于经过帧同步处理的图像数据，利用深度学习的方法获取障碍物的类别信息和边界框。

具体地，该算法的核心是53层的残差卷积神经网络，其输出是建立在三个尺度(13x13,26x26,52x52)特征图预测的基础上。此算法是依托于VOC数据集训练，能够识别出20种目标，返回每个目标的类别和置信度以及边界位置和质心位置。VOC数据集总共分4个大类：vehicle、household、animal、person，总共20个小类，满足车辆路面交通中的人、车和动物等主要障碍物的种类。在进行特定场景下的障碍物检测需要先扩充数据集，此后进行迁移学习，将学习后的参数应用于目标检测模型，正向传播之后进行障碍物类别识别和边界框定位。

(4)将点云数据中的有效数据通过外参投影到单目相机平面，得到相机平面坐标，具体地，将三个所述超声波雷达检测的障碍物的某一点的点云坐标(x,y,z)通过外参映射到单目相机平面坐标下得到对应坐标(X,Y,Z)，即假设雷达坐标系到相机坐标系的变换矩阵(即外参)T，则有映射公式

(5)将相机平面坐标通过内参投影到成像平面上，得到成像平面像素坐标，具体地：根据小孔成像模型，将相机坐标系下的某一点(X,Y,Z)投影到相机像素平面o-u-v。像素平面坐标系远点o位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行。像素坐标系与成像平面之间相差了一个缩放和原点的平移。设像素坐标在u轴上缩放了α倍，在v轴上缩放了β倍，原点平移了(c_x,c_y)，焦距为f，由此得到空间映射公式

其中

为相机内参矩阵。

(6)将平面像素坐标和边界框信息进行匹配，得到障碍物的边界信息，具体地，将平面像素坐标和边界框信息进行匹配为确定平面像素坐标是否位于边界框内。

在本发明中，基于经过帧同步处理的图像数据，利用深度学习的方法获取障碍物的类别信息和边界框信息包括：

(1)确定训练集步骤：选择VOC数据集作为模型训练的数据集；

(2)第一特征提取步骤：利用卷积神经网络提取进行目标的各级特征提取；

(3)误差函数确定步骤：将卷积神经网络的输出结果与图像数据中的类别和边界位置进行比较，以确定预测值与真实值之间的误差函数；并以误差函数为优化基准对第一特征提取步骤中的卷积核进行更新，直到获取比较好的结果；

(4)图像增强步骤：利用图像增强技术对图像数据进行增强；

(5)第二特征提取步骤：将经过图像增强处理的图像数据作为目标类别的输入，并进行特征提取；

(6)确定步骤：将第二特征提取步骤提取的特征进行组合，以获取障碍物的类别信息和边界框。

在本发明中，障碍物的边界信息为障碍物的与车辆之间的纵向距离，即障碍物的深度信息。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims

1.一种用于车辆自动驾驶的障碍物检测方法，其特征在于，包括如下步骤：

数据同步步骤：将点云数据和图像数据进行帧同步处理；

2.根据权利要求1所述的障碍物检测方法，其特征在于，所述阵列超声波雷达组包括三个位于同一水平线上的超声波雷达，三个所述超声波雷达的测量角度均为60°、且相邻两个所述超声波雷达的距离相等。

3.根据权利要求1所述的障碍物检测方法，其特征在于，将点云数据和图像数据进行帧同步处理为采用低帧频率数据优选的同步策略，对高帧数据进行间隔数据获取。

4.根据权利要求1所述的障碍物检测方法，其特征在于，数据融合步骤包括：

获取单目相机的内参和外参；

5.根据权利要求4所述的障碍物检测方法，其特征在于，基于经过帧同步处理的图像数据，利用深度学习的方法获取障碍物的类别信息和边界框信息包括：

确定训练集步骤：选择VOC数据集作为模型训练的数据集；

误差函数确定步骤：将卷积神经网络的输出结果与图像数据中的类别和边界位置进行比较，以确定预测值与真实值之间的误差函数；并以误差函数为优化基准对第一特征提取步骤中的卷积核进行更新，直到满足收敛条件；

图像增强步骤：利用图像增强技术对图像数据进行增强；

6.根据权利要求4所述的障碍物检测方法，其特征在于，单目相机的内参和外参通过利用MATLAB工具箱对单目相机进行标定的方式获取。

7.根据权利要求4所述的障碍物检测方法，其特征在于，障碍物的边界信息为障碍物的与车辆之间的纵向距离。

8.根据权利要求4所述的障碍物检测方法，其特征在于，将平面像素坐标和边界框信息进行匹配为确定平面像素坐标是否位于边界框内。