CN117492452A

CN117492452A - 一种用于自动驾驶3d障碍物的多模态融合方法

Info

Publication number: CN117492452A
Application number: CN202410003947.1A
Authority: CN
Inventors: 王瑞圳; 王智灵
Original assignee: Anhui Zhongke Xingchi Automatic Driving Technology Co ltd
Current assignee: Anhui Zhongke Xingchi Automatic Driving Technology Co ltd
Priority date: 2024-01-03
Filing date: 2024-01-03
Publication date: 2024-02-02
Anticipated expiration: 2044-01-03
Also published as: CN117492452B

Abstract

本发明涉及一种用于自动驾驶3D障碍物的多模态融合方法，该方法允许从多种感知模态中选择主要模态，而其他模态则作为辅助模态。本方法计算主模态与辅模态之间的关联矩阵，用于描述不同模态之间障碍物的关联关系。该关联矩阵包括了两两障碍物之间的关联值，这些关联值是通过计算五种特征值得出的。由于每种特征距离的误差和不确定性不同，因此需要为每种特征距离分配权重系数，并且每个辅助模态都可以自定义其权重系数。基于上述关联矩阵，本方法采用逐次最短路径算法来解决数据关联问题，从而实现多模态障碍物的融合。通常情况下，通过融合不同模态的数据，获得的3D障碍物检测结果优于任何单一模态的障碍物检测效果。

Description

一种用于自动驾驶3D障碍物的多模态融合方法

技术领域

本发明涉及自动驾驶多模态3D障碍物处理领域，具体是一种用于自动驾驶3D障碍物的多模态融合方法。

背景技术

随着自动驾驶技术的不断发展，自动驾驶汽车在道路上的普及率不断增加。然而，确保自动驾驶汽车安全行驶的核心问题之一是有效地识别和跟踪周围环境中的各种障碍物，包括其他车辆、行人、建筑物等。为了实现这一目标，自动驾驶系统通常采用多模态传感器，如激光雷达、摄像头、毫米波雷达等，以获得关于周围环境的多维信息。然而，不同传感器之间的数据融合和关联问题一直是一个挑战，特别是在复杂交通情况下。

与2D障碍物融合任务不同，3D障碍物融合任务涉及到三维空间内的障碍物，需要考虑目标的位置、形状、尺寸和朝向等多个维度信息。这增加了任务的复杂性，因为目标可以在三维空间中自由移动和旋转，引入更多的不确定性。不确定性可能是由传感器误差、遮挡、光照变化等因素引起的。与此不同，2D障碍物融合任务通常涉及到更低维度的目标融合，因此具有相对较小的不确定性。

发明内容

针对上述存在的问题，本发明提出一种用于自动驾驶3D障碍物的多模态融合方法，旨在提高障碍物检测和跟踪的准确性和鲁棒性。该方法能够在多种感知模态数据之间建立有效的关联，使得自动驾驶汽车能够更好地理解其周围环境，从而更安全地导航和决策。

为实现上述目的，本发明提供如下技术方案：

一种用于自动驾驶3D障碍物的多模态融合方法，将不同模态的3D障碍物，通过关联矩阵和最短路径算法融合在一起，所述方法包括以下步骤：

S1：获取同一时间段下坐标系一致的多种模态3D障碍物数据，所述障碍物数据包括每个障碍物的中心点坐标、障碍物的长宽高和朝向角；

S2：从多种感知模态中选择主要模态，而其他模态则作为辅助模态；

S3：计算两种模态之间的关联矩阵，关联矩阵的行和列分别代表两种模态下的障碍物，矩阵中的元素表示两个障碍物之间的关联程度或者特征系数；

S4：逐次最短路径算法根据关联矩阵建立两种模态间障碍物之间的关联关系，对于匹配上的障碍物，消去辅助模态障碍物，对主要模态添加没有匹配上的辅助模态障碍物；

S5:将S4更新后的主要模态和其他辅助模态按照S3、S4循环处理，直到所有辅助模态都融合到主要模态之中。

作为本发明进一步的技术方案，两两障碍物之间的特征系数计算如下:

欧式距离：

朝向偏差：

bbox尺寸偏差： +/> + />

重心距离：

bbox IoU：，其A、B是两个障碍物的投影到地面上的矩形，分子为两个矩形相交部分的面积，分母为两个矩形的并集面积；

再结合权重系数{0.4f,0.1f,0.1f,0.1f,0.3f}，计算出距离值。

作为本发明进一步的技术方案，在步骤S2中，从多种感知模态中选择主要模态，而其他模态则作为辅助模态的步骤包括：从多种感知模态中选择主要模态，主要模态通常根据实际自动驾驶业务运行环境和任务需求来确定，首先计算各个单模态在该业务场景下的3D障碍物检测的量化指标，通常选择量化指标表现最好的来作主要模态，而其他模态则作为辅助模态。

作为本发明进一步的技术方案，在步骤S4中，所述逐次最短路径算法根据关联矩阵建立两种模态间障碍物之间的关联关系，对于匹配上的障碍物，消去辅助模态障碍物，对主要模态添加没有匹配上的辅助模态障碍物的步骤包括：逐次最短路径算法，通过对关联矩阵计算最短路径来确定主要模态和辅助模态障碍物之间的最优匹配关系，当发现匹配成功的障碍物对时，将已经匹配成功的辅助模态障碍物从考虑范围中去除，如果存在主要模态下没有匹配成功的辅助模态障碍物，则将未匹配的辅助模态障碍物添加到主要模态中。

与现有技术相比，本发明的有益效果是：

本发明提供了一种用于自动驾驶3D障碍物的多模态融合方法。主要提高自动驾驶和感知系统的准确性、鲁棒性和安全性。通过整合来自多个传感器的信息，这种方法不仅增加了感知系统的可靠性，还降低了误报和漏报的风险。此外，多模态融合提供了更多环境信息，增强了系统的环境感知能力，同时也增加了系统的自适应性。

附图说明

图1为用于自动驾驶3D障碍物的多模态融合方法的流程图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

实施例1，一种用于自动驾驶3D障碍物的多模态融合方法，将不同模态的3D障碍物，通过关联矩阵和最短路径算法融合在一起，所述方法包括以下步骤：

从多种感知模态中选择主要模态，主要模态通常根据实际自动驾驶业务运行环境和任务需求来确定，首先计算各个单模态在该业务场景下的3D障碍物检测的量化指标，通常选择量化指标表现最好的来作主要模态，或者某个单模态能够满足实际业务场景下的任务需求也可以作为主要模态，通常是其中表现最佳的模态，而其他模态则作为辅助模态。

两两障碍物之间的特征系数计算如下:

欧式距离：

朝向偏差：

bbox尺寸偏差： +/> + />

重心距离：

再结合权重系数{0.4f,0.1f,0.1f,0.1f,0.3f}，计算出距离值。

逐次最短路径算法，通过对关联矩阵计算最短路径来确定主要模态和辅助模态障碍物之间的最优匹配关系，当发现匹配成功的障碍物对时，将已经匹配成功的辅助模态障碍物从考虑范围中去除，因为它们已经找到了对应的主要模态障碍物，如果存在主要模态下没有匹配成功的辅助模态障碍物，则将未匹配的辅助模态障碍物添加到主要模态中，以便进行全面的考虑。

本发明从多种感知模态中选择主要模态，而其他模态则作为辅助模态。本方法计算主模态与辅模态之间的关联矩阵，用于描述不同模态之间障碍物的关联关系。该关联矩阵包括了两两障碍物之间的关联值，这些关联值是通过计算五种特征值得出的，包括欧式距离、朝向偏差、bbox尺寸偏差、重心距离和bbox交并比IoU。由于每种特征距离的误差和不确定性不同，因此需要为每种特征距离分配权重系数，并且每个辅助模态都可以自定义其权重系数。基于上述关联矩阵，本方法采用逐次最短路径算法来解决数据关联问题，从而实现多模态障碍物的融合。通常情况下，通过融合不同模态的数据，获得的3D障碍物检测结果优于任何单一模态的障碍物检测效果。

上述用于自动驾驶3D障碍物的多模态融合方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述用于自动驾驶3D障碍物的多模态融合方法的功能。

处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器（Read-Only Memory，ROM），所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。

示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。

本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。

上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（Secure Digital， SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、电载波信号、电信信号以及软件分发介质等。

需要说明的是，在本文中，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种用于自动驾驶3D障碍物的多模态融合方法，其特征在于，将不同模态的3D障碍物，通过关联矩阵和最短路径算法融合在一起，所述方法包括以下步骤：

2.根据权利要求1所述的一种用于自动驾驶3D障碍物的多模态融合方法，其特征在于，两两障碍物之间的特征系数计算如下:

欧式距离：；

朝向偏差：；

bbox尺寸偏差： +/> + />；

重心距离：；

再结合权重系数{0.4f,0.1f,0.1f,0.1f,0.3f}，计算出距离值。

3.根据权利要求1所述的一种用于自动驾驶3D障碍物的多模态融合方法，其特征在于，在步骤S2中，从多种感知模态中选择主要模态，而其他模态则作为辅助模态的步骤包括：从多种感知模态中选择主要模态，主要模态通常根据实际自动驾驶业务运行环境和任务需求来确定，首先计算各个单模态在该业务场景下的3D障碍物检测的量化指标，通常选择量化指标表现最好的来作主要模态，而其他模态则作为辅助模态。

4.根据权利要求1所述的一种用于自动驾驶3D障碍物的多模态融合方法，其特征在于，在步骤S4中，所述逐次最短路径算法根据关联矩阵建立两种模态间障碍物之间的关联关系，对于匹配上的障碍物，消去辅助模态障碍物，对主要模态添加没有匹配上的辅助模态障碍物的步骤包括：逐次最短路径算法，通过对关联矩阵计算最短路径来确定主要模态和辅助模态障碍物之间的最优匹配关系，当发现匹配成功的障碍物对时，将已经匹配成功的辅助模态障碍物从考虑范围中去除，如果存在主要模态下没有匹配成功的辅助模态障碍物，则将未匹配的辅助模态障碍物添加到主要模态中。