CN115909281A - 匹配融合的障碍物检测方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种匹配融合的障碍物检测方法、系统、电子设备及存储介质，所述方法包括：根据毫米波雷达和摄像头的联合标定，将环境点云数据投影至摄像头图像所在平面上；根据预设安全行驶区域从点云数据中筛选出雷达目标数据；将图像数据通过检测目标算法得到摄像头目标数据；将雷达目标数据及摄像头目标数据采用目标匹配策略进行同目标匹配，将属于同一目标障碍物的雷达目标数据及摄像头目标数据进行数据融合；输出同一目标障碍物对应的毫米波雷达及摄像头检测的目标信息和符合可信度条件的毫米波雷达及摄像头的目标信息。本申请通过充分发挥毫米波雷达及摄像头传感器匹配融合检测优势，提升车辆前方道路中障碍物检测的准确性和完整性。

Description

匹配融合的障碍物检测方法、系统、电子设备及存储介质

技术领域

本发明属于智能驾驶环境感知的技术领域，具体地涉及一种匹配融合的障碍物检测方法、系统、电子设备及存储介质。

背景技术

环境感知是智能驾驶技术中关键的一环，而获取更丰富、更准确的目标信息是环境感知研究的主要任务。由于单一传感器都有各自检测的局限性，仅依靠某一传感器难以获得全面的目标信息，而多传感器融合检测技术可以解决这一难题。在众多车载传感器中，毫米波雷达对目标信息的检测具有优势性，而摄像头对目标分类和轮廓检测的具有优势性；因此，针对毫米波雷达和摄像头进行数据融合，可以使得两类传感器的检测性能优劣进行互补，从而获得检测目标更加全面、更为准确的信息，同时还能减少各自单一传感器的误检和漏检情况。

目前，针对毫米波雷达和摄像头融合检测的方式主要分为两种：数据级融合和决策级融合。数据级融合又可以细分为两种：一种是通过毫米波雷达检测目标点投影在同时刻的图像平面上，从而形成图像目标检测感兴趣区域，把此区域输入至摄像头目标检测模块，得出目标类比和轮廓等信息；该方式可降低摄像头检测模块所需时耗，但检测的全面性完全依赖于毫米波雷达，无法避免毫米波雷达存在的漏检情况。另一种是将毫米波雷达检测模块和摄像头检测模块分开进行，再根据两者检测的目标数据进行匹配融合，此种方式可充分利用两类传感器的目标信息，可以提升检测的精确性和完整性；但是此种方式中两类传感器的目标匹配融合性较差。决策级融合是指两类传感器检测模块针对各自检测的目标所作出的驾驶行为决策进行加权融合，以提高决策时的准确性，但是现有技术的这种方式研究较少。

因此，如何提高毫米波雷达及摄像头各自检测数据的目标匹配融合性能，以提升车辆前方道路中障碍物检测的准确性和完整性，是一个亟待解决的课题。

发明内容

为了解决上述技术问题，本发明提供了一种匹配融合的障碍物检测方法、系统、电子设备及存储介质，通过对毫米波雷达及摄像头两类传感器的检测性能取长补短，充分发挥多传感器匹配融合检测的优势，提升车辆前方道路中障碍物检测的准确性和完整性。

第一方面，本申请提供一种匹配融合的障碍物检测方法，包括：

基于毫米波雷达获取道路环境的点云数据以及基于摄像头获取所述道路环境的图像数据，其中，所述图像数据包括车辆行驶时的摄像头图像；

根据所述毫米波雷达和所述摄像头的联合标定，将所述环境点云数据投影至所述摄像头图像所在平面上；

根据预设安全行驶区域从所述点云数据中筛选出雷达目标数据；

将所述图像数据通过检测目标算法得到摄像头目标数据，其中，所述摄像头目标数据包括所述车辆相对于其前方障碍物的纵向距离；

将所述雷达目标数据及所述摄像头目标数据采用目标匹配策略进行同目标匹配，将属于同一目标障碍物的所述雷达目标数据及所述摄像头目标数据进行数据融合；

输出同一目标障碍物对应的所述毫米波雷达及所述摄像头检测的目标信息和符合可信度条件的所述毫米波雷达及所述摄像头的目标信息。

较佳地，所述根据所述毫米波雷达和所述摄像头的联合标定，将所述环境点云数据投影至所述摄像头图像所在平面上的步骤具体包括：

将所述点云数据的三维坐标[X_r，Y_r，Z_r]通过第一预设矩阵转换成车辆坐标系下的坐标值，其中，所述第一预设矩阵具体如下：

式中，[X_v，Y_v，Z_v]表示车辆坐标系下的坐标值，R_v2r表示车辆坐标系与毫米波雷达坐标系之间的旋转矩阵，T_v2r表示车辆坐标系与毫米波雷达坐标系之间的平移矩阵；

通过第二预设矩阵将所述车辆坐标系下的坐标值转换成摄像头坐标系下的坐标值，其中，所述第二预设矩阵具体如下：

式中，[X_c，Y_c，Z_c]表示摄像头坐标系下的坐标值，R_v2c表示车辆坐标系与摄像头坐标系之间的旋转矩阵，T_v2c表示车辆坐标系与摄像头坐标系下之间的平移矩阵；

通过第三预设矩阵将所述摄摄像头坐标系下的坐标值转换成像素坐标系下的坐标值，其中，所述第三预设矩阵具体如下：

式中，[u，v，w]表示像素坐标系下的齐次形式的坐标值，R_in表示摄像头的内参数矩阵；

将所述像素坐标系下的坐标值进行归一化处理，以获取所述点云数据投影至所述摄像头图像所在平面上的像素坐标值，其中，所述归一化处理具体如下：

式中，u′表示所述点云数据投影的宽度值，v′表示所述点云数据投影的高度值。

较佳地，所述预设安全行驶区域是指横向距离为左、右侧距离各10.5m及纵向距离80m的设定区域。

较佳地，所述将所述图像数据通过检测目标算法得到摄像头目标数据，其中，所述摄像头目标数据包括所述车辆相对于其前方障碍物的纵向距离的步骤具体包括：

将所述图像数据输入已训练的YOLOv4模型进行模型推理，以使识别出所述摄像头图像上障碍物的类型以及计算出所述障碍物在所述摄像头图像上的位置数据；

将所述位置数据通过单目测距模型估算摄像头目标数据，其中，所述单目测距模型具体如下：

式中，Z表示车辆相对于其前方障碍物的纵向距离，dy表示摄像头主轴与像平面y方向的偏移量，ρ_c表示摄像头像素密度，Y表示目标框纵向像素最大值，H表示摄像头主轴相对地面安装高度，f表示相机焦距。

较佳地，所述将所述雷达目标数据及所述摄像头目标数据采用目标匹配策略进行同目标匹配，将属于同一目标障碍物的所述雷达目标数据及所述摄像头目标数据进行数据融合的步骤具体包括：

基于所述雷达目标数据和所述摄像头目标数据各自设定可信度条件进行筛选，将筛选出的毫米波雷达目标点投影至同时刻的摄像头图像所在平面中；

筛选出所有存在于其一摄像头目标检测框内的毫米波雷达目标点，判断所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差是否小于预设阈值；

若是，则判定所述毫米波雷达及所述摄像头所检测的目标点为同一目标，并将所述雷达目标数据及所述摄像头目标数据进行数据融合；

若否，则不处理所述雷达目标数据及所述摄像头目标数据。

较佳地，所述雷达目标数据的可信度条件为目标出现次数需大于2次，所述摄像头目标数据的可信度条件为目标类别概率大于75％。

较佳地，所述目标信息包括所述毫米波雷达所检测到的数据、所述摄像头所检测到的数据、所述毫米波雷达及所述摄像头均检测到的数据中的一种或多种；其中，

若所述目标信息包括所述毫米波雷达及所述摄像头均检测到的数据，则其纵向距离完全采用所述毫米波雷达所检测的数据；

若所述目标信息包括所述毫米波雷达所检测到的数据，则根据该雷达数据点延续次数或纵向距离是否满足设定条件，判断该毫米波雷达目标数据是否输出；

若所述目标信息包括所述摄像头所检测到的数据，则根据目标类别概率是否大于设定条件，判断该摄像头目标数据是否输出。

第二方面，本申请提供一种匹配融合的障碍物检测系统，包括：

获取模块，用于基于毫米波雷达获取道路环境的点云数据以及基于摄像头获取所述道路环境的图像数据，其中，所述图像数据包括车辆行驶时的摄像头图像；

标定模块，用于根据所述毫米波雷达和所述摄像头的联合标定，将所述环境点云数据投影至所述摄像头图像所在平面上；

筛选模块，用于根据预设安全行驶区域从所述点云数据中筛选出雷达目标数据；

算法模块，用于将所述图像数据通过检测目标算法得到摄像头目标数据，其中，所述摄像头目标数据包括所述车辆相对于其前方障碍物的纵向距离；

匹配模块，用于将所述雷达目标数据及所述摄像头目标数据采用目标匹配策略进行同目标匹配，将属于同一目标障碍物的所述雷达目标数据及所述摄像头目标数据进行数据融合；

输出模块，用于输出同一目标障碍物对应的所述毫米波雷达及所述摄像头检测的目标信息和符合可信度条件的所述毫米波雷达及所述摄像头的目标信息。

较佳地，所述标定模块包括：

第一转换单元，用于将所述点云数据的三维坐标[X_r，Y_r，Z_r]通过第一预设矩阵转换成车辆坐标系下的坐标值，其中，所述第一预设矩阵具体如下：

式中，[X_v，Y_v，Z_v]表示车辆坐标系下的坐标值，R_v2r表示车辆坐标系与毫米波雷达坐标系之间的旋转矩阵，T_v2r表示车辆坐标系与毫米波雷达坐标系之间的平移矩阵；

第二转换单元，用于通过第二预设矩阵将所述车辆坐标系下的坐标值转换成摄像头坐标系下的坐标值，其中，所述第二预设矩阵具体如下：

式中，[X_c，Y_c，Z_c]表示摄像头坐标系下的坐标值，R_v2c表示车辆坐标系与摄像头坐标系之间的旋转矩阵，T_v2c表示车辆坐标系与摄像头坐标系下之间的平移矩阵；

第三转换单元，用于通过第三预设矩阵将所述摄摄像头坐标系下的坐标值转换成像素坐标系下的坐标值，其中，所述第三预设矩阵具体如下：

式中，[u，v，w]表示像素坐标系下的齐次形式的坐标值，v′表示摄像头的内参数矩阵；

归一化单元，用于将所述像素坐标系下的坐标值进行归一化处理，以获取所述点云数据投影至所述摄像头图像所在平面上的像素坐标值，其中，所述归一化处理具体如下：

式中，u′表示所述点云数据投影的宽度值，v′表示所述点云数据投影的高度值。

较佳地，所述算法模块包括：

识别单元，用于将所述图像数据输入已训练的YOLOv4模型进行模型推理，以使识别出所述摄像头图像上障碍物的类型以及计算出所述障碍物在所述摄像头图像上的位置数据；

估算单元，用于将所述位置数据通过单目测距模型估算摄像头目标数据，其中，所述单目测距模型具体如下：

式中，Z表示车辆相对于其前方障碍物的纵向距离，dy表示摄像头主轴与像平面y方向的偏移量，ρ_c表示摄像头像素密度，Y表示目标框纵向像素最大值，H表示摄像头主轴相对地面安装高度，f表示相机焦距。

较佳地，所述匹配模块包括：

筛选单元，用于基于所述雷达目标数据和所述摄像头目标数据各自设定可信度条件进行筛选，将筛选出的毫米波雷达目标点投影至同时刻的摄像头图像所在平面中；

判断单元，用于筛选出所有存在于其一摄像头目标检测框内的毫米波雷达目标点，判断所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差是否小于预设阈值；

融合单元，用于若所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差小于预设阈值，则判定所述毫米波雷达及所述摄像头所检测的目标点为同一目标，并将所述雷达目标数据及所述摄像头目标数据进行数据融合；

不处理单元，用于若所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差不小于预设阈值，则不处理所述雷达目标数据及所述摄像头目标数据。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的匹配融合的障碍物检测方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的匹配融合的障碍物检测方法。

相比于现有技术，本申请提供的一种匹配融合的障碍物检测方法、系统、电子设备及存储介质，具有以下优势：

1、本发明所采用的摄像头目标检测类别可识别障碍物类别更丰富，且均为车辆在正常道路行驶时较为常见的障碍物，识别更多的障碍物类别可以避免车辆行驶时出现前方障碍物漏检情况。

2、本发明所提出的目标匹配策略，以毫米波雷达投影点在摄像头目标检测框内以及计算两传感器所测量纵向距离误差为条件，并且对复杂情况进行相对应的处理，可更好的保证两传感器目标匹配的准确性。

3、本发明通过综合输出两传感器检测到的目标数据，包括只有单个传感器检测到的目标和两者均检测到的目标数据，能充分利用两传感器的检测性能，提高车辆前方道路中障碍物检测的准确性和完整性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的匹配融合的障碍物检测方法的流程图；

图2为本发明实施例1提供的毫米波雷达投影至图像平面示意图；

图3为本发明实施例1提供的匹配策略的流程图；

图4为本发明实施例1提供的匹配融合的障碍物检测方法步骤S150具体流程图；

图5a、图5b为本发明实施例1提供的融合检测效果的结果比对图；

图6是本发明实施例2提供的与实施例1方法对应的匹配融合的障碍物检测系统结构框图；

图7为本发明实施例3提供的匹配融合的障碍物检测方法步骤S250具体流程图；

图8是本发明实施例4提供的与实施例3方法对应的匹配融合的障碍物检测系统中匹配模块的结构框图；

图9是本发明实施例5提供的设备的硬件结构示意图。

附图标识说明：

10-获取模块；

20-标定模块、21-第一转换单元、22-第二转换单元、23-第三转换单元、24-归一化单元；

30-筛选模块；

40-算法模块、41-识别单元、42-估算单元；

50-匹配模块、51-筛选单元、52-判断单元、53-融合单元、54-不处理单元；

60-输出模块；

70-总线、71-处理器、72-存储器、73-通信接口。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

实施例1

具体而言，图1所示为本实施例所提供的一种匹配融合的障碍物检测方法的流程示意图。

如图1所示，本实施例的匹配融合的障碍物检测方法包括以下步骤：

S110，基于毫米波雷达获取道路环境的点云数据以及基于摄像头获取所述道路环境的图像数据。

其中，所述毫米波雷达点云数据包括多个包含三维坐标信息、运动信息的扫描点，所述图像数据包括车辆行驶时的摄像头图像。

具体地，毫米波雷达点云数据是由毫米波雷达设备发射毫米波进行空间探测得到的障碍物点云数据集，每一个点都包含目标的距离、速度、角度和雷达反射面积RCS等信息。具体实施过程中，毫米波雷达点云数据是由毫米波雷达设备往外发射波长在1-10mm的电磁波信号，然后在接收经障碍物反射的电磁波信号，经过数据处理和运算得到点云的空间运动等信息。此外，摄像头可以用来实现多种功能，并且按照自动驾驶发展规律逐渐演进。车载摄像头相对其他感知传感器具有一些优势，因为摄像头分辨率高于其他传感器，可以获取足够多的环境细节，帮助车辆进行环境认知；车载摄像头可以描绘物体的外观和形状、读取标志等，这些功能其他传感器无法做到；基于摄像头可以提前感知道路的状态与特性能够为车辆规划控制系统提供有效信息，从而提高车辆的安全性和驾乘舒适性；利用视觉信息进行道路预瞄被证实是一种有效的解决方案。

S120，根据所述毫米波雷达和所述摄像头的联合标定，将所述环境点云数据投影至所述摄像头图像所在平面上。

具体地，毫米波雷达与摄像头的空间融合的目的是将毫米波雷达探测到的三维世界中的物体与摄像头探测到的图像中的物体对应起来，毫米波雷达和摄像头是不同坐标系的传感器，因此要实现毫米波雷达与摄像头的空间融合，必须建立两传感器所在坐标系的转换模型。本实施例具体涉及四个坐标系：毫米波雷达坐标系、车辆坐标系、摄像头坐标系、坐标值转换成像素坐标系。具体功效结果如图2所示。

进一步地，步骤S120的具体步骤包括：

S121，将所述点云数据的三维坐标[X_r，Y_r，Z_r]通过第一预设矩阵转换成车辆坐标系下的坐标值，其中，所述第一预设矩阵具体如下：

式中，[X_v，Y_v，Z_v]表示车辆坐标系下的坐标值，R_v2r表示车辆坐标系与毫米波雷达坐标系之间的旋转矩阵，T_v2r表示车辆坐标系与毫米波雷达坐标系之间的平移矩阵。

具体地，先将毫米波雷达检测到的三维坐标转换至车辆坐标系，由于旋转矩阵R_v2r是用于车辆坐标系旋转至毫米波雷达坐标系，所以当从毫米波雷达坐标系利用旋转矩阵到车辆坐标系时，要利用旋转矩阵的逆矩阵来实现。

S122，通过第二预设矩阵将所述车辆坐标系下的坐标值转换成摄像头坐标系下的坐标值，其中，所述第二预设矩阵具体如下：

式中，[X_c，Y_c，Z_c]表示摄像头坐标系下的坐标值，R_v2c表示车辆坐标系与摄像头坐标系之间的旋转矩阵，T_v2c表示车辆坐标系与摄像头坐标系下之间的平移矩阵。

具体地，在车辆坐标系转换成摄像头坐标系时，需将平移矩阵先行计算，否则平移矩阵里的值也将受到旋转矩阵的影响，从而影响投影结果。

S123，通过第三预设矩阵将所述摄摄像头坐标系下的坐标值转换成像素坐标系下的坐标值，其中，所述第三预设矩阵具体如下：

式中，[u，v，w]表示像素坐标系下的齐次形式的坐标值，R_in表示摄像头的内参数矩阵。

具体地，毫米波雷达数据转换到摄像头坐标，而从摄像头坐标系转换至像素坐标，则需要摄像头的内参数矩阵R_in，而计算摄像头内参数矩阵，最常用的方法是张正友标定法，张正友标定法是非线性模型相机的线性标定方法，采用二维平面标靶，采集图像的多个不同视点，实现了相机的标定。选用张正友标定法对相机进行标定以求取相关参数，张正友标定法具有操作简单、适应性强且标定精度高等特点。

S124，将所述像素坐标系下的坐标值进行归一化处理，以获取所述点云数据投影至所述摄像头图像所在平面上的像素坐标值，其中，所述归一化处理具体如下：

式中，u′表示所述点云数据投影的宽度值，v′表示所述点云数据投影的高度值。

具体地，归一化处理中[u，v，w]是像素坐标的齐次表示，还需将像素坐标进行归一化得到二维平面，才是毫米波雷达投影后的像素坐标值。本实施例通过归一化处理可以进一步提高障碍物的检测精度。

S130，根据预设安全行驶区域从所述点云数据中筛选出雷达目标数据。

其中，所述预设安全行驶区域是指横向距离为左、右侧距离各10.5m及纵向距离80m的设定区域。本实施例的预设安全行驶区域根据道路安全的大数据进行设定，当然具体路况其所设定的范围各异；通过预设安全行驶区域的设定，目的在于对毫米波雷达的点云数据进行进一步筛选，减少数据运算量。

S140，将所述图像数据通过检测目标算法得到摄像头目标数据，其中，所述摄像头目标数据包括所述车辆相对于其前方障碍物的纵向距离。

具体地，本实施例以毫米波雷达投影点在摄像头目标检测框内以及计算两传感器所测量纵向距离误差为条件，并且对复杂情况进行相对应的处理，可更好的保证两传感器目标匹配的准确性。

进一步地，步骤S140的具体步骤包括：

S141，将所述图像数据输入已训练的YOLOv4模型进行模型推理，以使识别出所述摄像头图像上障碍物的类型以及计算出所述障碍物在所述摄像头图像上的位置数据。

其中，YOLOv4的结构中主干网络(backbone)选取CSPDarkent53，同时将空间金字塔池化模块(SPPNet)加入了主干网络之中，SPPNet的作用是可以将CNN的输入从固定的大小变为任意大小。为了更好利用主干网络提取出的特征，在网络中间加入了PANet，通过自底部到顶部路径的增强，利用低层定位信号的准确性从而增强整个特征的层次，达到缩短低层与顶层特征之间信息路径的目的；最后网络的头部模型与YOLOv3一致。

具体地，本实施例所采用的摄像头，其目标检测类别可达7类(轿车、卡车、公交车、单车、电动车、行人、三角锥桶)，可识别障碍物类别更丰富，且均为车辆在正常道路行驶时较为常见的障碍物，识别更多的障碍物类别可以避免车辆行驶时出现前方障碍物漏检情况。

S142，将所述位置数据通过单目测距模型估算摄像头目标数据，其中，所述单目测距模型具体如下：

式中，Z表示车辆相对于其前方障碍物的纵向距离，dy表示摄像头主轴与像平面y方向的偏移量，ρ_c表示摄像头像素密度，Y表示目标框纵向像素最大值，H表示摄像头主轴相对地面安装高度，f表示相机焦距。

具体地，单目测距模型利用的是相机成像原理进行建模，并结合深度学习模型推理结果进行计算，有较好的实时性，该方法在70m距离时，测距误差保持在2m以内。

S150，将所述雷达目标数据及所述摄像头目标数据采用目标匹配策略进行同目标匹配，将属于同一目标障碍物的所述雷达目标数据及所述摄像头目标数据进行数据融合。

其中，本实施例的目标匹配策略具体流程如图3所示。此外，毫米波雷达与摄像头的数据融合主要是指二者处理的为同一时刻的障碍物信息，即传感器在时间上的同步。由于不同传感器的采样频率不尽相同，传感器采集到的并不是同一时刻的信息，因此，二者采集到的不是同一时刻的数据信息。本实施例以工作频率较低的摄像头传感器为基准，向下兼容同步采样两种传感器信息，采用多线程同步的方式实现二者的数据在时间上的融合。具体地，以摄像头采集数据的时间为基准，摄像头时间触发后，会采集当前时刻摄像头所获取的信息，随即触发毫米波雷达的采集线程。同理，毫米波雷达被触发后，采集当前时刻毫米波雷达所探测到的信息，然后将当前时刻摄像头与毫米波雷达的图像数据进行组合并将其添加至缓冲区队列尾，进入数据处理主线程，同步处理图像和雷达数据。

进一步地，如图4所示，步骤S150的具体步骤包括：

S151，基于所述雷达目标数据和所述摄像头目标数据各自设定可信度条件进行筛选，将筛选出的毫米波雷达目标点投影至同时刻的摄像头图像所在平面中。

具体地，为了保证目标匹配策略的成功率，对毫米波雷达目标数据和摄像头目标数据设定有各自的可信度条件。其中，毫米波雷达目标出现次数需大于2次，摄像头目标类别概率需大于75％，并将筛选后的毫米波雷达检测的目标点投影至同时刻的图像平面中。

S152，筛选出所有存在于其一摄像头目标检测框内的毫米波雷达目标点，判断所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差是否小于预设阈值。

具体地，判断是否存在摄像头目标检测框内有多个毫米波雷达目标点和单个毫米波雷达目标点存在于多个摄像头目标检测框。当存在第一种情况时，通过两个传感器纵向距离误差来筛选错误的毫米波雷达目标点，根据单目测距模型的精度，设定在同车道时，误差为小于摄像头目标距离的20％，在不同车道时，设定的误差为小于摄像头目标距离的30％，若还存在多个毫米波雷达目标点，则去纵向距离最小的点以保证行车安全距离。当存在第二种情况时，通过比对两个摄像头目标检测框的纵向方向最大像素值，来判断两个目标的远近，根据毫米波雷达无法检测到被遮挡物体的原理，将毫米波雷达数据关联至近的目标检测框即可。

S153，若是，则判定所述毫米波雷达及所述摄像头所检测的目标点为同一目标，并将所述雷达目标数据及所述摄像头目标数据进行数据融合。

具体地，判断在某个摄像头目标检测框内的毫米波雷达目标与此目标框纵向距离误差，设定在同车道时，误差为小于摄像头目标距离的20％，在不同车道时，设定的误差为小于摄像头目标距离的30％，当满足条件时，则认为两者为同一目标。

S160，输出同一目标障碍物对应的所述毫米波雷达及所述摄像头检测的目标信息和符合可信度条件的所述毫米波雷达及所述摄像头的目标信息。

其中，本实施例综合输出两传感器检测到的目标数据，包括只有单个传感器检测到的目标和两者均检测到的目标数据，能充分利用两传感器的检测性能，提高车辆前方道路中障碍物检测的准确性和完整性。具体地，所述目标信息包括所述毫米波雷达所检测到的数据、所述摄像头所检测到的数据、所述毫米波雷达及所述摄像头均检测到的数据中的一种或多种；本实施例的具体情况如下：

若所述目标信息包括所述毫米波雷达及所述摄像头均检测到的数据，则其纵向距离完全采用所述毫米波雷达所检测的数据。具体实践中，对于毫米波雷达和摄像头融合成功的数据应作为系统输出，融合检测的目标信息数据是更完善、可信度更高的；既有雷达距离、速度等信息也有摄像目标类别、图像位置等信息，具体如图5b中的RC4:Car:1.00。

若所述目标信息包括所述毫米波雷达所检测到的数据，则根据该雷达数据点延续次数或纵向距离是否满足设定条件，判断该毫米波雷达目标数据是否输出；具体地，当只有毫米波雷达数据时，根据此雷达数据点延续次数或纵向距离是否满足设定阈值条件，判断此毫米波雷达目标数据是否输出。具体实践中，摄像头对光线、训练数据等因素影响，可能导致部分目标检测不到，而毫米波雷达检测到此目标数据满足可信度条件，也应作为系统输出，具体如图5b中的左侧第4辆车所示。

若所述目标信息包括所述摄像头所检测到的数据，则根据目标类别概率是否大于设定条件，判断该摄像头目标数据是否输出；具体地，当只有摄像头数据时，根据目标类别的概率是否大于75％，以判断摄像头目标信息是否输出。具体实践中，毫米波雷达对行人的检测性能较差，容易导致漏检情况，但摄像头可以很明确检测行人目标，此时不能将此行人目标信息删除，具体如图5b中的C1目标，而是应该作为系统输出。又由于毫米波雷达安装高度和目标遮挡的原因导致雷达无法检测此车辆，摄像头可以检测到，也应作为系统输出，具体如图5b中的C6:car:0.72所示。

实施例2

本实施例提供了与实施例1所述方法相对应的系统的结构框图。图6是根据本实施例的匹配融合的障碍物检测系统的结构框图，如图6所示，该系统包括：

获取模块10，用于基于毫米波雷达获取道路环境的点云数据以及基于摄像头获取所述道路环境的图像数据，其中，所述图像数据包括车辆行驶时的摄像头图像。

标定模块20，用于根据所述毫米波雷达和所述摄像头的联合标定，将所述环境点云数据投影至所述摄像头图像所在平面上。

筛选模块30，用于根据预设安全行驶区域从所述点云数据中筛选出雷达目标数据；其中，所述预设安全行驶区域是指横向距离为左、右侧距离各10.5m及纵向距离80m的设定区域。

算法模块40，用于将所述图像数据通过检测目标算法得到摄像头目标数据，其中，所述摄像头目标数据包括所述车辆相对于其前方障碍物的纵向距离。

匹配模块50，用于将所述雷达目标数据及所述摄像头目标数据采用目标匹配策略进行同目标匹配，将属于同一目标障碍物的所述雷达目标数据及所述摄像头目标数据进行数据融合。

输出模块60，用于输出同一目标障碍物对应的所述毫米波雷达及所述摄像头检测的目标信息和符合可信度条件的所述毫米波雷达及所述摄像头的目标信息；所述目标信息包括所述毫米波雷达所检测到的数据、所述摄像头所检测到的数据、所述毫米波雷达及所述摄像头均检测到的数据中的一种或多种；其中，

若所述目标信息包括所述毫米波雷达及所述摄像头均检测到的数据，则其纵向距离完全采用所述毫米波雷达所检测的数据；

若所述目标信息包括所述毫米波雷达所检测到的数据，则根据该雷达数据点延续次数或纵向距离是否满足设定条件，判断该毫米波雷达目标数据是否输出；

若所述目标信息包括所述摄像头所检测到的数据，则根据目标类别概率是否大于设定条件，判断该摄像头目标数据是否输出。

进一步地，所述标定模块20包括：

第一转换单元21，用于将所述点云数据的三维坐标[X_r，Y_r，Z_r]通过第一预设矩阵转换成车辆坐标系下的坐标值，其中，所述第一预设矩阵具体如下：

式中，[X_v，Y_v，Z_v]表示车辆坐标系下的坐标值，R_v2r表示车辆坐标系与毫米波雷达坐标系之间的旋转矩阵，T_v2r表示车辆坐标系与毫米波雷达坐标系之间的平移矩阵；

第二转换单元22，用于通过第二预设矩阵将所述车辆坐标系下的坐标值转换成摄像头坐标系下的坐标值，其中，所述第二预设矩阵具体如下：

式中，[X_c，Y_c，Z_c]表示摄像头坐标系下的坐标值，R_v2c表示车辆坐标系与摄像头坐标系之间的旋转矩阵，T_v2c表示车辆坐标系与摄像头坐标系下之间的平移矩阵；

第三转换单元23，用于通过第三预设矩阵将所述摄摄像头坐标系下的坐标值转换成像素坐标系下的坐标值，其中，所述第三预设矩阵具体如下：

式中，[u，v，w]表示像素坐标系下的齐次形式的坐标值，R_in表示摄像头的内参数矩阵；

归一化单元24，用于将所述像素坐标系下的坐标值进行归一化处理，以获取所述点云数据投影至所述摄像头图像所在平面上的像素坐标值，其中，所述归一化处理具体如下：

式中，u′表示所述点云数据投影的宽度值，v′表示所述点云数据投影的高度值。

进一步地，所述算法模块40包括：

识别单元41，用于将所述图像数据输入已训练的YOLOv4模型进行模型推理，以使识别出所述摄像头图像上障碍物的类型以及计算出所述障碍物在所述摄像头图像上的位置数据；

估算单元42，用于将所述位置数据通过单目测距模型估算摄像头目标数据，其中，所述单目测距模型具体如下：

式中，Z表示车辆相对于其前方障碍物的纵向距离，dy表示摄像头主轴与像平面y方向的偏移量，ρ_c表示摄像头像素密度，Y表示目标框纵向像素最大值，H表示摄像头主轴相对地面安装高度，f表示相机焦距。

进一步地，所述匹配模块50包括：

筛选单元51，用于基于所述雷达目标数据和所述摄像头目标数据各自设定可信度条件进行筛选，将筛选出的毫米波雷达目标点投影至同时刻的摄像头图像所在平面中；其中，所述雷达目标数据的可信度条件为目标出现次数需大于2次，所述摄像头目标数据的可信度条件为目标类别概率大于75％。

判断单元52，用于筛选出所有存在于其一摄像头目标检测框内的毫米波雷达目标点，判断所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差是否小于预设阈值；

融合单元53，用于若所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差小于预设阈值，则判定所述毫米波雷达及所述摄像头所检测的目标点为同一目标，并将所述雷达目标数据及所述摄像头目标数据进行数据融合；

不处理单元54，用于若所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差不小于预设阈值，则不处理所述雷达目标数据及所述摄像头目标数据。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

实施例3

本实施例与实施例1不同之处在于：本实施例的S250与实施例1的S150的具体实施步骤不同，如图7所示，本实施例S250的具体步骤包括：

S251，基于所述雷达目标数据和所述摄像头目标数据各自设定可信度条件进行筛选，将筛选出的毫米波雷达目标点投影至同时刻的摄像头图像所在平面中；

S252，筛选出所有存在于其一摄像头目标检测框内的毫米波雷达目标点，判断所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差是否小于预设阈值；

S253，若否，则不处理所述雷达目标数据及所述摄像头目标数据。

实施例4

本实施例与实施例2不同之处在于：本实施例的匹配模块与实施例1的匹配模块的具体功能流程不同，如图8所示，本实施例匹配模块的具体功能流程包括：

筛选单元51，用于基于所述雷达目标数据和所述摄像头目标数据各自设定可信度条件进行筛选，将筛选出的毫米波雷达目标点投影至同时刻的摄像头图像所在平面中；

判断单元52，用于筛选出所有存在于其一摄像头目标检测框内的毫米波雷达目标点，判断所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差是否小于预设阈值；

不处理单元54，用于若所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差不小于预设阈值，则不处理所述雷达目标数据及所述摄像头目标数据。

实施例5

结合图1所描述的匹配融合的障碍物检测方法可以由电子设备来实现。图9为根据本实施例的设备的硬件结构示意图。

电子设备可以包括处理器71以及存储有计算机程序指令的存储器72。

具体地，上述处理器71可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器72可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器72可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器72可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器72可在数据处理装置的内部或外部。在特定实施例中，存储器72是非易失性(Non-Volatile)存储器。在特定实施例中，存储器72包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器72可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器71所执行的可能的计算机程序指令。

处理器71通过读取并执行存储器72中存储的计算机程序指令，以实现上述实施例1的匹配融合的障碍物检测方法。

在其中一些实施例中，电子设备还可包括通信接口73和总线70。其中，如图9所示，处理器71、存储器72、通信接口73通过总线70连接并完成相互间的通信。

通信接口73用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口73还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线70包括硬件、软件或两者，将设备的部件彼此耦接在一起。总线70包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线70可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线70可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该设备可以基于获取到匹配融合的障碍物检测系统，执行本实施例1的匹配融合的障碍物检测方法。

另外，结合上述实施例1中的匹配融合的障碍物检测方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例1的匹配融合的障碍物检测方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种匹配融合的障碍物检测方法，其特征在于，包括：

基于毫米波雷达获取道路环境的点云数据以及基于摄像头获取所述道路环境的图像数据，其中，所述图像数据包括车辆行驶时的摄像头图像；

根据所述毫米波雷达和所述摄像头的联合标定，将所述环境点云数据投影至所述摄像头图像所在平面上；

根据预设安全行驶区域从所述点云数据中筛选出雷达目标数据；

将所述图像数据通过检测目标算法得到摄像头目标数据，其中，所述摄像头目标数据包括所述车辆相对于其前方障碍物的纵向距离；

将所述雷达目标数据及所述摄像头目标数据采用目标匹配策略进行同目标匹配，将属于同一目标障碍物的所述雷达目标数据及所述摄像头目标数据进行数据融合；

输出同一目标障碍物对应的所述毫米波雷达及所述摄像头检测的目标信息和符合可信度条件的所述毫米波雷达及所述摄像头的目标信息。

2.根据权利要求1所述的匹配融合的障碍物检测方法，其特征在于，所述根据所述毫米波雷达和所述摄像头的联合标定，将所述环境点云数据投影至所述摄像头图像所在平面上的步骤具体包括：

将所述点云数据的三维坐标[X_r，Y_r，Z_r]通过第一预设矩阵转换成车辆坐标系下的坐标值，其中，所述第一预设矩阵具体如下：

式中，[X_v，Y_v，Z_v]表示车辆坐标系下的坐标值，R_v2r表示车辆坐标系与毫米波雷达坐标系之间的旋转矩阵，R_v2r表示车辆坐标系与毫米波雷达坐标系之间的平移矩阵；

通过第二预设矩阵将所述车辆坐标系下的坐标值转换成摄像头坐标系下的坐标值，其中，所述第二预设矩阵具体如下：

式中，[X_c，Y_c，Z_c]表示摄像头坐标系下的坐标值，R_v2c表示车辆坐标系与摄像头坐标系之间的旋转矩阵，T_v2c表示车辆坐标系与摄像头坐标系下之间的平移矩阵；

通过第三预设矩阵将所述摄摄像头坐标系下的坐标值转换成像素坐标系下的坐标值，其中，所述第三预设矩阵具体如下：

式中，[u，v，w]表示像素坐标系下的齐次形式的坐标值，R_in表示摄像头的内参数矩阵；

将所述像素坐标系下的坐标值进行归一化处理，以获取所述点云数据投影至所述摄像头图像所在平面上的像素坐标值，其中，所述归一化处理具体如下：

式中，u′表示所述点云数据投影的宽度值，v′表示所述点云数据投影的高度值。

3.根据权利要求1所述的匹配融合的障碍物检测方法，其特征在于，所述预设安全行驶区域是指横向距离为左、右侧距离各10.5m及纵向距离80m的设定区域。

4.根据权利要求1所述的匹配融合的障碍物检测方法，其特征在于，所述将所述图像数据通过检测目标算法得到摄像头目标数据，其中，所述摄像头目标数据包括所述车辆相对于其前方障碍物的纵向距离的步骤具体包括：

将所述图像数据输入已训练的YOLOv4模型进行模型推理，以使识别出所述摄像头图像上障碍物的类型以及计算出所述障碍物在所述摄像头图像上的位置数据；

将所述位置数据通过单目测距模型估算摄像头目标数据，其中，所述单目测距模型具体如下：

式中，Z表示车辆相对于其前方障碍物的纵向距离，dy表示摄像头主轴与像平面y方向的偏移量，ρ_c表示摄像头像素密度，Y表示目标框纵向像素最大值，H表示摄像头主轴相对地面安装高度，f表示相机焦距。

5.根据权利要求1所述的匹配融合的障碍物检测方法，其特征在于，所述将所述雷达目标数据及所述摄像头目标数据采用目标匹配策略进行同目标匹配，将属于同一目标障碍物的所述雷达目标数据及所述摄像头目标数据进行数据融合的步骤具体包括：

基于所述雷达目标数据和所述摄像头目标数据各自设定可信度条件进行筛选，将筛选出的毫米波雷达目标点投影至同时刻的摄像头图像所在平面中；

筛选出所有存在于其一摄像头目标检测框内的毫米波雷达目标点，判断所述毫米波雷达目标点与所述摄像头目标检测框的纵向距离误差是否小于预设阈值；

若是，则判定所述毫米波雷达及所述摄像头所检测的目标点为同一目标，并将所述雷达目标数据及所述摄像头目标数据进行数据融合；

若否，则不处理所述雷达目标数据及所述摄像头目标数据。

6.根据权利要求5所述的匹配融合的障碍物检测方法，其特征在于，所述雷达目标数据的可信度条件为目标出现次数需大于2次，所述摄像头目标数据的可信度条件为目标类别概率大于75％。

7.根据权利要求1所述的匹配融合的障碍物检测方法，其特征在于，所述目标信息包括所述毫米波雷达所检测到的数据、所述摄像头所检测到的数据、所述毫米波雷达及所述摄像头均检测到的数据中的一种或多种；其中，

若所述目标信息包括所述毫米波雷达及所述摄像头均检测到的数据，则其纵向距离完全采用所述毫米波雷达所检测的数据；

若所述目标信息包括所述毫米波雷达所检测到的数据，则根据该雷达数据点延续次数或纵向距离是否满足设定条件，判断该毫米波雷达目标数据是否输出；

若所述目标信息包括所述摄像头所检测到的数据，则根据目标类别概率是否大于设定条件，判断该摄像头目标数据是否输出。

8.一种匹配融合的障碍物检测系统，其特征在于，包括：

获取模块，用于基于毫米波雷达获取道路环境的点云数据以及基于摄像头获取所述道路环境的图像数据，其中，所述图像数据包括车辆行驶时的摄像头图像；

标定模块，用于根据所述毫米波雷达和所述摄像头的联合标定，将所述环境点云数据投影至所述摄像头图像所在平面上；

筛选模块，用于根据预设安全行驶区域从所述点云数据中筛选出雷达目标数据；

算法模块，用于将所述图像数据通过检测目标算法得到摄像头目标数据，其中，所述摄像头目标数据包括所述车辆相对于其前方障碍物的纵向距离；

匹配模块，用于将所述雷达目标数据及所述摄像头目标数据采用目标匹配策略进行同目标匹配，将属于同一目标障碍物的所述雷达目标数据及所述摄像头目标数据进行数据融合；

输出模块，用于输出同一目标障碍物对应的所述毫米波雷达及所述摄像头检测的目标信息和符合可信度条件的所述毫米波雷达及所述摄像头的目标信息。

9.一种设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的匹配融合的障碍物检测方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的匹配融合的障碍物检测方法。

Images