CN115775378A - 一种基于多传感器融合的车路协同目标检测方法 - Google Patents

Abstract

本公开涉及一种基于多传感器融合的车路协同目标检测方法，包括：从车载工业级单目相机获取车载图像，从车载激光雷达获取车端点云，对车载点云和车载图像进行特征提取，获得车载检测框；从路侧激光雷达获取路侧点云，对路侧点云进行特征提取，获得路侧检测框；对车载检测框和路侧检测框进行时空匹配，获得融合检测框。本公开对车载点云、车载图像和路侧点云进行特征提取，可以解决车端与路侧传感器的异质性，对车载检测框和路侧检测框进行时空匹配，获得融合检测框，可以解决车路传感器的时空匹配问题，综合利用车端和路侧的多模态传感器数据实现高精度、低传输成本的车路协同感知，促使车路协同感知走向大规模实际应用。

Description

一种基于多传感器融合的车路协同目标检测方法

技术领域

本公开属于车路协同和自动驾驶技术领域领域，具体而言涉及一种基于多传感器融合的车路协同目标检测方法。

背景技术

随着传感器技术、现代通讯技术、计算机技术的飞速发展，基于单车智能的自动驾驶感知、定位、规划等关键技术得到突破与创新。作为自动驾驶关键技术之一的感知，单车智能场景下仅依靠车载传感器感知存在无法克服的感知距离有限、受遮挡影响严重、存在感知盲区等难题。

车路协同感知技术的发展为这些难题提供了新的思路，车路协同感知通过无线通讯技术使得路侧单元与车载单元采集到的交通环境数据信息进行交换共享与信息融合，为车端提供更丰富的感知能力和范围更广的交通环境状态，从而使得车辆可以获得更精确的环境信息，可以极大提升道路交通的效率和安全性。

然而车端与路侧传感器的异质性，车路传感器的时空匹配问题，路侧与车端的计算能力及实时性，以上问题阻碍车路协同感知走向大规模实际应用。

发明内容

本公开提出一种基于多传感器融合的车路协同目标检测方法，有效解决单车目标检测的遮挡盲区、置信度低等问题，提高车路协同系统下的目标检测精度。具体包括，本公开要解决的技术问题是提供一种基于多传感器融合的车路协同目标检测方法。

为了解决上述问题，本公开提供的技术方案包括：

提供了一种基于多传感器融合的车路协同目标检测方法，包括：S1从车载工业级单目相机获取车载图像，从车载激光雷达获取车端点云，对车载点云和车载图像进行特征提取，获得车载检测框；S2从路侧激光雷达获取路侧点云，对路侧点云进行特征提取，获得路侧检测框；S3对车载检测框和路侧检测框进行时空匹配，获得融合检测框。

优选的，所述对车载点云和车载图像进行特征提取，获得车载检测框，包括：S11使用改进的Feature Pyramid Network(FPN)特征提取器对车载点云和车载图像进行特征提取，获取的特征一方面用做特征图参与后续特征融合，另一方面输入到区域建议网络用于生成建议框；S12将提取的特征进行了1×1的卷积，得到两个视图中尺寸相等的特征裁剪；S13将投影到两个输入视图后的特征裁剪，将其调整为7×7，然后使用元素平均操作融合。

优选的，所述对路侧点云进行特征提取，获得路侧检测框，包括：S21将路侧点云体素化并提取体素特征，得到多尺度特征图；S22对多尺度特征图进行区域移动；S23将多尺度特征图上采样之后得到高分辨率深度特征图，进行三个不同的卷积操作，分别进行热力图预测、中心点预测、宽高预测。

优选的，所述对车载检测框和路侧检测框进行时空匹配，获得融合检测框，包括：S31对车载检测框和路侧检测框进行检测框的对比匹配，使用检测框重叠比例、检测类别找出车端和路侧检测到的同一目标；S32通过在检测结果中集成相应的更精确的信息并在坐标变换中处理误差来完成融合结果的空间补偿，获得融合检测框。

优选的，所述对车载检测框和路侧检测框进行检测框的对比匹配，使用检测框重叠比例、检测类别找出车端和路侧检测到的同一目标，包括：

车端和路侧检测到的同一目标的判定条件为：x差值的绝对值不大于两车宽之和的1/4且y差值的绝对值不大于两车长之和的1/4：

其中，x_v为车端检测框的x轴坐标，x_iv为路侧检测框的x轴坐标，y_v为车端检测框的y轴坐标，y_iv为路侧检测框的y轴坐标，w_v为车端检测框中车的宽度，w_iv为路侧检测框中车的宽度，l_v为车端检测框中车的长度，l_iv为路侧检测框中车的长度。

与现有技术相比，本公开对车载点云和车载图像进行特征提取获得车载检测框和对路侧点云进行特征提取获得路侧检测框，可以解决车端与路侧传感器的异质性，对车载检测框和路侧检测框进行时空匹配，获得融合检测框，可以解决车路传感器的时空匹配问题，本公开综合利用车端和路侧的多模态传感器数据实现高精度、低传输成本的车路协同感知，促使车路协同感知走向大规模实际应用。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本实施例提供的一种基于多传感器融合的车路协同目标检测方法的流程图；

图2为本实施例提供的一种获取车载检测框的方法流程图；

图3为本实施例提供的一种获取路侧检测框的方法流程图；

图4为本实施例提供的一种获取融合检测框的方法流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本公开实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接可以是机械连接，也可以是电连接可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。

为便于对本申请实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本申请实施例的限定。

本发明公开了一种多传感器器融合的车路协同目标检测方法，针对单车检测存在的感知盲区、远距离感知失效、感知精度低等问题，可以整合利用车端、路侧的多源异质感知信息，提高车路系统下的环境感知能力。

为更好地说明本申请所提出的多传感器融合的车路协同目标检测方法，结合附图对具体实施方式进行详细说明。

本实施例提供了一种多传感器器融合的车路协同目标检测方法，如图1所示。

首先构建车端目标检测模型，将车端标定好的图像、点云信息进行数据预处理与特征提取，然后进行区域建议框生成，并使用检测网络进行精修得到最终的车端3D目标检测框；然后构建路侧目标检测模型，使用激光雷达的稀疏点云进行体素化编码，并利用基于区域分组的自注意力机制进行特征加强，使用无锚的检测头得到路侧3D目标检测框；根据路侧、车端的相对空间位置，将路侧检测结果转移到车端，并进行目标融合，得到最终的车路检测结果。具体实施步骤如下：

S1：从车载工业级单目相机获取车载图像，从车载激光雷达获取车端点云，对车载点云和车载图像进行特征提取，获得车载检测框，流程图如图2所示：

S11：构建点云BEV特征提取模块，包括5个点云高度编码通道、1个点云密度编码通道、5个点云强度编码通道；构建图像特征提取模块。使用经典主干网络进行特征挖掘处理后，进行尺寸对齐。

构建点云BEV和图像特征提取模块，使用改进的Feature Pyramid Network(FPN)特征提取器，可以在保证特征图相对于输入是全分辨率的，而且还能结合底层细节信息和高层语义信息，因此能显著提高物体特别是小物体的检测效果。提取得到的特征一方面作为特征图参与后续特征融合，另一方面输入到区域建议网络用于生成建议框。

构建特征融合模块，将点云BEV和图像特征进行通道方向上叠加，然后使用全连接进一步提取特征。

S12：构建多模态区域建议网络，区域建议网络回归了一组先验3D框与真实值之间的差异。为了在整合时降低维度，减少内存占用，对提取的全分辨率特征先进行了1×1的卷积，然后进行裁剪和调整尺寸，得到两个视图中尺寸相等的特征裁剪，后续通过元素平均操作进行融合。完全连接层使用融合的特征裁剪来回归轴对齐的对象建议框，并输出对象/背景的“对象性”分数，通过计算锚框和地面真实边界框之间的质心和尺寸差异进行3D盒回归。在本实施例中，为了消除冗余提案，在BEV中使用IoU阈值为0.8的2D非极大值抑制(NMS)，在培训期间保持前1024个提案，在推论时，保留前300个提案。

S13：构建二阶段检测网络，将提案投影到两个输入视图后的特征裁剪其调整为7×7，然后使用元素平均操作融合。三个大小为2048的全连接层处理融合的特征裁剪，以输出每个提案的框回归、方向估计和类别分类。在本实施例中，只有当提案在BEV中至少具有0.65的2D IoU，才会在回归损失评估中考虑提案。

模型训练与测试，使用KITTI的车端3D目标检测数据集进行网络训练与测试。KITTI数据集包含对齐好的点云、图像数据，采集自城市道路的不同换进境，能够表征大多数常见的城市交通环境。

S2：从路侧激光雷达获取路侧点云，对路侧点云进行特征提取，获得路侧检测框，流程图如图3所示：

S21：特征编码，将单帧机械式激光雷达点云进行体素化表征，提取体素特征，通过区域分组将3D空间划分为非重叠区域，使用多头注意力机制对同一区域分组的体素进一步提取特征。

S22：虽然环境中的车辆、行人等交通参与物点云所占空间较小，但是近距离的某些实体对象不可避免地被分组截断。为了解决这个问题并聚合有用的语义信息，进一步使用Swin-Transformer中用于信息通信的移动机制，进行区域移动。

S23：检测集成，将稀疏体素特征返回到密集的深度特征图中，然后使用CenterNet算法进行无锚的3D目标检测。具体方式是，将特征图上采样之后得到高分辨率深度特征图，进行三个不同的卷积操作，分别进行热力图预测、中心点预测、宽高预测。

模型训练与测试，使用百度发布的全球首个车路协同自动驾驶数据集DAIR-V2X的路侧3D检测数据进行训练与测试，点云数据来源于300线机械师激光雷达，数据标注有10类，包括小汽车、卡车/大货车、面包车/厢式火车、行人的3D边界框。

S3：对车载检测框和路侧检测框进行时空匹配，获得融合检测框，其流程图如图4所示：

S31：坐标转换以及时间配准，根据协同定位算法得到某一时刻的车路相对位姿，统计时间差值在可接受阈值内的路侧检测框，如果这些检测框是当前车辆进行规划、决策所需要的环境因子(如车辆视野盲区的目标、前进方向上的目标)，将这些目标检测框其转换到车端坐标系中。进行检测框的对比匹配，使用检测框重叠比例、检测类别找出车端和路侧检测到的同一目标。

在本实施例中，由于车端检测框和路侧检测框分别在不用的坐标系，根据标定矩阵将时间差值阈值内的路侧检测框转换到车端坐标系中。然后进行检测框的对比匹配，我们需要找出车端和路侧检测到的同一目标，这里用的判定条件是：x差值的绝对值不大于两车宽之和的1/4且y差值的绝对值不大于两车长之和的1/4。

车端和路侧检测到的同一目标的判定条件为：x差值的绝对值不大于两车宽之和的1/4且y差值的绝对值不大于两车长之和的1/4：

其中，x_v为车端检测框的x轴坐标，x_iv为路侧检测框的x轴坐标，y_v为车端检测框的y轴坐标，y_iv为路侧检测框的y轴坐标，w_v为车端检测框中车的宽度，w_iv为路侧检测框中车的宽度，l_v为车端检测框中车的长度，l_iv为路侧检测框中车的长度。

S32：目标匹配及融合，对于相同的对象，在匹配它们之后，比较它们的分数，并以更高的置信度保持结果，并恢复车端无法正确检测到的盲区目标、中远距离目标，删除置信度低的目标。随后，通过在检测结果中集成相应的更精确的信息并在坐标变换中处理误差来完成融合结果的空间补偿，获得最终的融合检测框。

模型测试，使用DAIR-V2X的车路协同3D检测数据集对所提出的融合检测模型进行测试，针对车辆、行人等不同类别目标，计算3D边界框的尺寸、位置和置信度，基于不同的IoU阈值计算检测精度，并计算路端传输数据量以表征带宽消耗。

本方案在车端检测模型中使用特征级融合，在车路融合检测模型中使用决策级融合，这种混合融合模式充分利用了车、路多模态信息资源，提高了目标检测精度，同时降低了从路边到车辆侧的数据传输成本。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (5)

1.一种基于多传感器融合的车路协同目标检测方法，其特征在于，包括：

S1从车载工业级单目相机获取车载图像，从车载激光雷达获取车端点云，对车载点云和车载图像进行特征提取，获得车载检测框；

S2从路侧激光雷达获取路侧点云，对路侧点云进行特征提取，获得路侧检测框；

S3对车载检测框和路侧检测框进行时空匹配，获得融合检测框。

2.根据权利要求1所述的一种基于多传感器融合的车路协同目标检测方法，其特征在于，所述对车载点云和车载图像进行特征提取，获得车载检测框，包括：

S11使用改进的Feature Pyramid Network(FPN)特征提取器对车载点云和车载图像进行特征提取，获取的特征一方面用做特征图参与后续特征融合，另一方面输入到区域建议网络用于生成建议框；

S12将提取的特征进行了1×1的卷积，得到两个视图中尺寸相等的特征裁剪；

S13将投影到两个输入视图后的特征裁剪，将其调整为7×7，然后使用元素平均操作融合。

3.根据权利要求1所述的一种基于多传感器融合的车路协同目标检测方法，其特征在于，所述对路侧点云进行特征提取，获得路侧检测框，包括：

S21将路侧点云体素化并提取体素特征，得到多尺度特征图；

S22对多尺度特征图进行区域移动；

S23将多尺度特征图上采样之后得到高分辨率深度特征图，进行三个不同的卷积操作，分别进行热力图预测、中心点预测、宽高预测。

4.根据权利要求1所述的一种基于多传感器融合的车路协同目标检测方法，其特征在于，所述对车载检测框和路侧检测框进行时空匹配，获得融合检测框，包括：

S31对车载检测框和路侧检测框进行检测框的对比匹配，使用检测框重叠比例、检测类别找出车端和路侧检测到的同一目标；

S32通过在检测结果中集成相应的更精确的信息并在坐标变换中处理误差来完成融合结果的空间补偿，获得融合检测框。

5.根据权利要求4所述的一种基于多传感器融合的车路协同目标检测方法，其特征在于，所述对车载检测框和路侧检测框进行检测框的对比匹配，使用检测框重叠比例、检测类别找出车端和路侧检测到的同一目标，包括：

车端和路侧检测到的同一目标的判定条件为：x差值的绝对值不大于两车宽之和的1/4且y差值的绝对值不大于两车长之和的1/4：

其中，x_v为车端检测框的x轴坐标，x_iv为路侧检测框的x轴坐标，y_v为车端检测框的y轴坐标，y_iv为路侧检测框的y轴坐标，w_v为车端检测框中车的宽度，w_iv为路侧检测框中车的宽度，l_v为车端检测框中车的长度，l_iv为路侧检测框中车的长度。

Images