CN115183782B - 基于联合空间损失的多模态传感器融合方法及装置 - Google Patents

Abstract

本申请适用于障碍物感知技术领域，提供了基于联合空间损失的多模态传感器融合方法及装置，方法包括：将至少两种传感器返回的信号投射至第一空间，并在第一空间中对至少两种传感器返回的信号进行级联，得到融合特征；分别以融合特征、至少两种传感器返回的信号为输入，运行基于机器学习的障碍物感知模型，得到至少三个障碍物感知结果；将至少三个障碍物感知结果投射至第二空间，并基于联合空间损失在第二空间中对至少三个障碍物感知结果进行关联和/或融合，得到航迹结果；本申请能够提高感知性能，解决了跨模态传感器之间的特征或目标的匹配误差问题。

Description

基于联合空间损失的多模态传感器融合方法及装置

技术领域

本申请属于障碍物感知技术领域，尤其涉及基于联合空间损失的多模态传感器融合方法及装置。

背景技术

在自动驾驶领域中，传感器感知是一个关键重要环节，但是基于单模态的传感器有诸多缺点。比如，相机传感器（camera）感知存在测距不准的问题，无法精准定位到目标的位置和尺寸；激光雷达传感器（lidar）感知存在远处分辨率不够问题，无法较好检测到远处的小目标；毫米波雷达传感器（radar）虽然测速效果较好，但对静止目标有比较多的误检和漏检且在高度方向区分能力较弱。

为解决上述问题，通常的做法是利用多模态传感器融合技术，将几种传感器的数据融合在一起，进行多模态融合感知，利用不同传感器特性，扬长补短，对驾驶环境进行全方面融合感知，从而实现识别更远、测距测速更准等效果。

然而，现有的多模态传感器融合往往存在着对通信和算力要求较高、受限于单传感器模型感知能力不能充分挖掘跨模态联合观测的信息校验的优势的问题。

因此，如何提供一种算力要求、推理速度以及感知准确性平衡，且性能优秀的多模态传感器融合方法成为了业内亟需解决的技术问题。

发明内容

本申请实施例提供了基于联合空间损失的多模态传感器融合方法及装置，可以解决多传感器融合感知中算力要求、推理速度以及感知准确性不平衡、性能较差问题。

第一方面，本申请实施例提供了一种基于联合空间损失的多模态传感器融合方法，包括：

将至少两种传感器返回的传感器信号投射至第一空间，并在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征；

分别以所述融合特征、所述至少两种传感器返回的传感器信号为输入，运行基于机器学习的障碍物感知模型，得到至少三个障碍物感知结果；

将所述至少三个障碍物感知结果投射至第二空间，并基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合，得到航迹结果；

所述第一空间和所述第二空间均包括至少一种预设视角下的空间，且所述第一空间和所述第二空间的并集中包括至少两种预设视角下的空间；所述联合空间损失是与尺度损失率、角度损失率以及距离参数中的任一者或任多者正相关的量。

上述方法通过分别在第一空间中级联融合传感器信号、在第二空间中关联融合障碍物感知结果，配合基于联合空间损失的关联/融合手段，在自动驾驶多传感器融合感知的过程中，从不同角度切入融合，从而能够结合第一空间和第二空间在不同预设视角下的感知优势，从而提高感知性能，即有效提高召回率（recall）和准确率（precision），解决了跨模态传感器之间的特征或目标的匹配误差问题。

在第一方面的一种可能的实现方式中，所述基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合的步骤包括：

基于联合空间损失和障碍物状态损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合；

所述障碍物状态损失是与所述障碍物的id损失、位置损失、速度损失、形状损失以及航向信息损失中的任一者或任多者正相关的量。

上述方法在联合空间损失的基础上，配合障碍物状态损失共同作为障碍物的关联和/或融合基础，进一步提升了感知结果关联和/或融合的可靠性。

在第一方面的一种可能的实现方式中，所述基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合的步骤包括：

根据所述联合空间损失，或者根据所述联合空间损失和所述障碍物状态损失构建关联矩阵；

以所述关联矩阵为输入，运行最优匹配模型得到匹配结果和未匹配结果；

所述最优匹配模型是基于最优匹配算法的用于对所述至少三个障碍物感知结果进行关联匹配，或者进行关联匹配和交叉校验的模型。

上述方法通过联合空间损失，或者通过联合空间损失和障碍物状态损失构建关联矩阵，使得最优匹配算法能够在关联过程中得以适用，将关联过程量化并通过数学计算的方式取得理论最优解，提升了障碍物融合结果与实际障碍物的匹配程度。

在第一方面的一种可能的实现方式中，在所述以所述关联矩阵为输入，运行最优匹配模型得到匹配结果和未匹配结果的步骤后，还包括：

针对匹配结果，基于卡尔曼滤波更新障碍物航迹状态；

针对未匹配结果，进行融合航迹构建得到融合航迹，并基于所述融合航迹中的满足预设条件的航迹更新障碍物航迹状态；

提取更新后的障碍物航迹状态中的有效航迹输出；

所述有效航迹是指：

处于预设的有效空间内的航迹；和/或，

速度参数和类别参数满足预设的速度类别匹配条件的航迹。

上述方法一方面针对匹配结果滤波后更新障碍物航迹状态，充分利用了关联步骤中的输出结果，提升了航迹状态的更新准确性；另一方面针对未匹配结果执行融合动作，并基于融合后的结果更新航迹状态，提升了航机状态信息的充分性；并进一步针对更新后的航迹状态执行有效性检测，取得有效航迹作为最终输出，保证了输出结果的可用性。

在第一方面的一种可能的实现方式中，所述针对未匹配结果，进行融合航迹构建得到融合航迹，并基于所述融合航迹中的满足预设条件的航迹更新障碍物航迹状态的步骤包括：

将所述未匹配结果中稳定的障碍物感知结果进行融合航迹构建，得到第一航迹结果；

所述稳定的障碍物感知结果满足如下任一者或任多者组合：

所述障碍物感知结果的位置参数的方差满足预设的位置方差条件；

所述障碍物感知结果的时间参数满足预设的时域条件；

所述障碍物感知结果的类别参数的变化满足预设的类别条件；

所述障碍物感知结果的速度参数的方差满足预设的速度方差条件；

所述障碍物感知结果的形状参数的变化满足预设的形状条件；

提取所述第一航迹中可靠的航迹，得到第二航迹结果；

所述可靠的航迹满足如下任一者或任多者组合：

所述航迹中的障碍物丢失时间满足预设的丢失时间条件；

所述航迹的连续性满足预设的连续性条件；

所述航迹的平滑性满足预设的平滑性条件；

根据所述第二航迹结果，更新障碍物航迹状态。

上述方法为了解决未匹配结果中冗余数据较多，容易造成数据污染的问题，通过稳定性、可靠性的双重验证排除冗余数据，并基于稳定、可靠的航机结果对障碍物航迹状态进行更新，一方面充分利用了未匹配解决中的数据，另一方面有效控制了冗余数据。

在第一方面的一种可能的实现方式中，所述至少两种传感器包括第一传感器；所述第一传感器返回的传感器信号为不包括高度信息的信号，且所述第一空间中的至少一种预设视角下的空间包括高度坐标；

所述在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征的步骤包括：

基于预设高度，对所述第一传感器返回的传感器信号进行高度信号生长，得到包括高度信息的第一传感器预处理信号；

基于所述第一传感器预处理信号和所述至少两种传感器中非第一传感器的传感器返回信号进行级联，得到融合特征。

上述方法通过针对不包括高度信息的传感器信号执行高度生长，使得多模态传感器感知融合的方案能够兼容更多类型的传感器。

在第一方面的一种可能的实现方式中，所述至少两种传感器包括第二传感器；所述第二传感器返回的传感器信号为不包括深度信息的信号，且所述第一空间中的至少一种预设视角下的空间包括深度坐标；

所述在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征的步骤包括：

根据所述第二传感器返回的传感器信号对应的障碍物在视锥空间中的尺寸，对所述第二传感器返回的传感器信号进行深度信号生长，得到包括深度信息的第二传感器预处理信号；

基于所述第二传感器预处理信号和所述至少两种传感器中非第二传感器的传感器返回信号进行级联，得到融合特征。

上述方法通过针对不包括深度信息的传感器信号执行深度生长，使得多模态传感器感知融合的方案能够兼容更多类型的传感器。

第二方面，本申请实施例提供了一种基于联合空间损失的多模态传感器融合装置，包括：

第一空间级联模块，用于将至少两种传感器返回的传感器信号投射至第一空间，并在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征；

障碍物感知模块，用于分别以所述融合特征、所述至少两种传感器返回的传感器信号为输入，运行基于机器学习的障碍物感知模型，得到至少三个障碍物感知结果；

第二空间关联模块，用于将所述至少三个障碍物感知结果投射至第二空间，并基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合，得到航迹结果；

所述第一空间和所述第二空间均包括至少一种预设视角下的空间，且所述第一空间和所述第二空间的并集中包括至少两种预设视角下的空间；所述联合空间损失是与尺度损失率、角度损失率以及距离参数中的任一者或任多者正相关的量。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的基于联合空间损失的多模态传感器融合方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的基于联合空间损失的多模态传感器融合方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的基于联合空间损失的多模态传感器融合方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的基于联合空间损失的多模态传感器融合方法的流程示意图；

图2是本申请实施例提供的基于联合空间损失的多模态传感器融合装置的结构示意图；

图3是本申请实施例提供的终端设备的结构示意图；

图4是本申请实施例提供的联合空间损失的典型适用场景示例；

图5是本申请实施例提供的多模态传感器融合的一种可选整体流程示意图。

附图标记：

第一空间级联模块201；

障碍物感知模块202；

第二空间关联模块203；

终端设备30；

处理器301；

存储器302；

计算机程序303。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供一种基于联合空间损失的多模态传感器融合方法，如图1所示，包括：

步骤102，将至少两种传感器返回的传感器信号投射至第一空间，并在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征；

步骤104，分别以所述融合特征、所述至少两种传感器返回的传感器信号为输入，运行基于机器学习的障碍物感知模型，得到至少三个障碍物感知结果；

步骤106，将所述至少三个障碍物感知结果投射至第二空间，并基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合，得到航迹结果；

所述第一空间和所述第二空间均包括至少一种预设视角下的空间，且所述第一空间和所述第二空间的并集中包括至少两种预设视角下的空间；所述联合空间损失是与尺度损失率、角度损失率以及距离参数中的任一者或任多者正相关的量。

在一些可选的实施方式中，步骤102中的融合特征的级联获取能够根据传感器种类的数量采用不同的执行方案。

对于两种传感器（记为第一传感器和第二传感器）的方案，步骤102中的级联方案既可以是：

先分别针对投射在所述第一空间中的第一传感器返回的传感器信号，和投射在所述第一空间中的第二传感器返回的传感器信号提取特征，在特征层面上进行级联融合，得到融合特征；

又可以是：

在第一空间中，将投射在所述第一空间中的第一传感器返回的传感器信号，和投射在所述第一空间中的第二传感器返回的传感器信号进行融合（例如，点云融合）得到融合信号，并在融合信号的基础上执行特征提取动作得到融合特征。

所述特征可以理解为机器学习中的，自传感器返回信号这一物理信号提取的，能够被机器理解的特征，一个典型的特征示例是卷积神经网络中特征提取层针对信号提取得到的特征图，即featuremap。

因此可以理解，特征的提取在一些可选的实施方式中，是通过机器学习模型中的某一组件，例如卷积神经网络模型中的特征提取层，得以实现的。

值得说明的是，“投射”这一步骤在一些实施方式中应当理解为状态限定而非动作限定，例如第一空间为视锥空间、第一传感器为视觉传感器、第二传感器为激光传感器lidar的情况，由于视觉传感器的特性，第一传感器的传感器返回信号自然处于视锥空间，即所述第一空间中，则第一传感器的传感器返回信号自然属于“投射至第一空间的传感器返回信号”，而无需经历额外的“投射”动作；对应地，第二传感器的传感器返回信号，即lidar信号由于lidar的特性，自然处于世界空间（即带有3维笛卡尔坐标系的真实物理空间）中，则要想针对第二传感器获得“投射至第一空间的传感器返回信号”，必须经过坐标变换等手段执行“投射”动作。

本实施例步骤104中，基于机器学习的障碍物感知模型并不限定为单个模型，即所述融合特征、所述至少两种传感器返回的传感器信号这至少三种输入信号，可能被分别输入至不同的障碍物感知模型以获得障碍物感知结果，但这些障碍物感知模型均是基于机器学习的模型。

在一个可选的实施方式中，障碍物感知模型是基于样本和标签训练得到的神经网络模型。

此外，在一个优选的实施方式中，联合空间损失可以定义为：

联合空间损失 = （尺度损失率+角度损失率）*目标间欧式距离；

式中：

尺度损失率 = （传感器A目标距离 - 传感器B目标距离）/（α*传感器A目标距离 +β*传感器B目标距离）；所述目标距离指的是在车身坐标系下，目标的中心点到自车后轴中心的欧式距离，数值上等于(x^2+y^2)^0.5；其中，x、y分别为以自车后轴中心为原点建立的笛卡尔坐标系中的横、纵坐标；

α，β是传感器A、B的测距能力权重参数，满足α+β=1，例如A传感器是lidar，B传感器是camera（视觉传感器）的情况中，camera测距能力较差，可以将α设置为1.0，β设置为0；

角度损失率 = （传感器A目标方位角弧度 - 传感器B目标方位弧度），所述目标方位角弧度指的是在车身坐标系下，目标的中心点到自车后轴中心的方位角度theta=atan（y/x）；

上述联合空间损失的定义中，弧度是无量纲单位，表征的是弧长与半径的比率，与尺度损失率一致，因此不需要归一化；

目标间欧式距离是指传感器A目标和传感器B目标间的欧式距离，数值上等于（（xA-xB）^2 + （yA-yB）^2）^0.5，其中，xA、yA分别为A目标在以自车后轴中心为原点建立的笛卡尔坐标系中的横、纵坐标；xB、yB分别为B目标在以自车后轴中心为原点建立的笛卡尔坐标系中的横、纵坐标。

值得说明的是，在一些可选的实施方式中，上述联合联合空间损失是针对两种传感器、两个目标的情况给出的，对于更多传感器和/或更多目标的情况，既可以拓展上述定义，引入更多变量，但仍保证联合空间损失与尺度损失率、角度损失率以及距离参数正相关；又可以将传感器或者目标分组，针对任意传感器对或者目标对，计算上述联合空间损失，并将针对不同传感器对或者目标对的联合空间损失执行求和、加权平均或者其它统计方法，以得到更为整体的损失值。

图4是除了一个典型的应用场景；可以看到，Camera目标结果（即第一、第二以及第三视觉感知结果）存在距离上的尺度偏差，但和Lidar目标结果（即第一、第二激光雷达感知结果）的视线方向一致，使用传统的距离度量方式会导致Camera的1号目标（第一视觉感知结果）和Lidar的2号目标（第二激光雷达感知结果）误关联，使用上述联合空间损失的距离度量方法则能够实现目标的正确关联。

作为示例而非限定，所述第一空间和所述第二空间分别为视锥空间和BEV（鸟瞰）空间。

本实施例的有益效果在于：

通过分别在第一空间中级联融合传感器信号、在第二空间中关联融合障碍物感知结果，配合基于联合空间损失的关联/融合手段，在自动驾驶多传感器融合感知的过程中，从不同角度切入融合，从而能够结合第一空间和第二空间在不同预设视角下的感知优势，从而提高感知性能，即有效提高召回率（recall）和准确率（precision），解决了跨模态传感器之间的特征或目标的匹配误差问题。

根据上述实施例，在本实施例中：

所述基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合的步骤包括：

基于联合空间损失和障碍物状态损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合；

所述障碍物状态损失是与所述障碍物的id损失、位置损失、速度损失、形状损失以及航向信息损失中的任一者或任多者正相关的量。

本实施例的有益效果在于：

在联合空间损失的基础上，配合障碍物状态损失共同作为障碍物的关联和/或融合基础，进一步提升了感知结果关联和/或融合的可靠性。

根据上述任一实施例，在本实施例中：

所述基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合的步骤包括：

根据所述联合空间损失，或者根据所述联合空间损失和所述障碍物状态损失构建关联矩阵；

以所述关联矩阵为输入，运行最优匹配模型得到匹配结果和未匹配结果；

所述最优匹配模型是基于最优匹配算法的用于对所述至少三个障碍物感知结果进行关联匹配，或者进行关联匹配和交叉校验的模型。

本实施例通过联合空间损失，或者通过联合空间损失和障碍物状态损失构建关联矩阵，使得最优匹配算法能够在关联过程中得以适用，将关联过程量化并通过数学计算的方式取得理论最优解，提升了障碍物融合结果与实际障碍物的匹配程度。

在一个优选的实施方式中，在所述以所述关联矩阵为输入，运行最优匹配模型得到匹配结果和未匹配结果的步骤后，还包括：

针对匹配结果，基于卡尔曼滤波更新障碍物航迹状态；

针对未匹配结果，进行融合航迹构建得到融合航迹，并基于所述融合航迹中的满足预设条件的航迹更新障碍物航迹状态；

提取更新后的障碍物航迹状态中的有效航迹输出；

所述有效航迹是指：

处于预设的有效空间内的航迹；和/或，

速度参数和类别参数满足预设的速度类别匹配条件的航迹。

其中，预设的有效空间可以是基于道路环境设置的，例如针对封闭道路（高速公路、城市高架路网等）的障碍物感知任务中，道路护栏以外的空间不会对道路中行驶的车辆产生影响，故将道路护栏内的空间定义为有效空间可以排除不必要的计算开销；又如针对城市地面道路中行驶的车辆，过远的障碍物对车辆驾驶的影响较小，则将相对于自车阈值距离范围内的空间定义为有效空间能够在对驾驶策略影响不大的前提下，节省计算开销；

速度类别匹配条件是针对可能存在的误检进行的筛选；在一些可选的实施方式中，障碍物的类别可以为人、锥桶、护栏、大型车辆（集卡、大货车等，此处也可以将具体的大型车辆细分类别作为障碍物的类别，而非通过大型车辆这一较为概括的标签定义）、小型车辆等；对于特定类别的障碍物，如锥桶，理论上不应当具有速度，故通过速度类别匹配条件可以将具有速度的锥桶理解为障碍物感知任务中的误检结果予以排除；

值得说明的是，锥桶经由车辆撞击后，可能存在一定的速度，然而在这种情况下，撞击锥桶的车辆由于存在失控的可能，其关注度理应高于被撞击的锥桶，故类似的排除方案仍然能够保证驾驶的安全性。

此外，还可以通过额外的检测逻辑，例如判断具有速度的锥桶与其它存在速度的障碍物（如车辆）间是否存在接触，从而在速度类别匹配条件的基础上更为完善的完成障碍物检测任务。

除锥桶外，类别为人的障碍物的速度也应有匹配的范围，即高于一定速度的类别为人的障碍物也应作为可能存在的误检结果执行后续判断。

本实施方式一方面针对匹配结果滤波后更新障碍物航迹状态，充分利用了关联步骤中的输出结果，提升了航迹状态的更新准确性；另一方面针对未匹配结果执行融合动作，并基于融合后的结果更新航迹状态，提升了航机状态信息的充分性；并进一步针对更新后的航迹状态执行有效性检测，取得有效航迹作为最终输出，保证了输出结果的可用性。

作为示例而非限定，本实施例中所述有效航迹的判断是针对更新后的障碍物航迹状态进行的，在一些实施方式中，可以针对匹配结果和未匹配结果执行不同的“有效航迹”的判断和筛选；

具体地，未匹配结果是经融合航迹构建后得到融合航迹，并基于该融合航迹更新障碍物航迹状态的，故可以理解，未匹配结果在融合航迹构建的过程中已经存在着初步的、类似于“有效航迹”判断的步骤了，则在融合航迹构建完成后，针对经由未匹配结果得到的融合航迹更新的障碍物航迹状态，其有效性判断的步骤中可以省略一部分已经执行过的判断。

一个优选的获取融合航迹的具体执行步骤中，所述针对未匹配结果，进行融合航迹构建得到融合航迹，并基于所述融合航迹中的满足预设条件的航迹更新障碍物航迹状态的步骤包括：

将所述未匹配结果中稳定的障碍物感知结果进行融合航迹构建，得到第一航迹结果；

所述稳定的障碍物感知结果满足如下任一者或任多者组合：

所述障碍物感知结果的位置参数的方差满足预设的位置方差条件；

所述障碍物感知结果的时间参数满足预设的时域条件；

所述障碍物感知结果的类别参数的变化满足预设的类别条件；

所述障碍物感知结果的速度参数的方差满足预设的速度方差条件；

所述障碍物感知结果的形状参数的变化满足预设的形状条件；

提取所述第一航迹中可靠的航迹，得到第二航迹结果；

所述可靠的航迹满足如下任一者或任多者组合：

所述航迹中的障碍物丢失时间满足预设的丢失时间条件；

所述航迹的连续性满足预设的连续性条件；

所述航迹的平滑性满足预设的平滑性条件；

根据所述第二航迹结果，更新障碍物航迹状态。

本实施方式的有益效果在于：

为了解决未匹配结果中冗余数据较多，容易造成数据污染的问题，通过稳定性、可靠性的双重验证排除冗余数据，并基于稳定、可靠的航机结果对障碍物航迹状态进行更新，一方面充分利用了未匹配解决中的数据，另一方面有效控制了冗余数据。

根据上述任一实施例，在本实施例中：

所述至少两种传感器包括第一传感器；所述第一传感器返回的传感器信号为不包括高度信息的信号，且所述第一空间中的至少一种预设视角下的空间包括高度坐标；

所述在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征的步骤包括：

基于预设高度，对所述第一传感器返回的传感器信号进行高度信号生长，得到包括高度信息的第一传感器预处理信号；

基于所述第一传感器预处理信号和所述至少两种传感器中非第一传感器的传感器返回信号进行级联，得到融合特征。

所述至少两种传感器包括第二传感器；所述第二传感器返回的传感器信号为不包括深度信息的信号，且所述第一空间中的至少一种预设视角下的空间包括深度坐标；

所述在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征的步骤包括：

根据所述第二传感器返回的传感器信号对应的障碍物在视锥空间中的尺寸，对所述第二传感器返回的传感器信号进行深度信号生长，得到包括深度信息的第二传感器预处理信号；

基于所述第二传感器预处理信号和所述至少两种传感器中非第二传感器的传感器返回信号进行级联，得到融合特征。

本实施例的有益效果在于：

通过针对不包括高度信息的传感器信号执行高度生长，使得多模态传感器感知融合的方案能够兼容更多类型的传感器。

下面将结合上述各方法实施例，以第一空间为视锥空间、第二空间为BEV空间、包括三种传感器（视觉传感器camera、激光雷达传感器lidar、毫米波雷达传感器radar）的情况为例，提供一较为完整的优选实施例。

首先将对应用背景进行说明。

目前在多模态传感器融合技术中主要分为：前融合、中级融合、后融合三个技术方向；其中前融合又称数据级融合，主要是将lidar的3d点云、radar的2d点云，camera的像素，三者的原始数据融合在一起，再进行模型推理，进行检测跟踪，最后输出感知结果，其特点是联合标定和时间同步要求高，数据信息冗余度较大，理论上可以更充分挖掘原始数据的不确定性信息，提高检测的准确召回，缺点是数据前处理开销较大，对通信和算力要求较高；中级融合又称特征级融合，主要是将lidar点云、radar点云、camera像素分别推理加工成传感器特征向量或特征地图（feature map），然后将特征向量或特征地图融合在同一空间里，再继续推理进行检测跟踪，输出感知结果，其特点是在保障足够丰富的原始信息后，降低了资源开销，且能达到足够高的准确召回；后融合又称目标融合，主要是将lidar感知到的目标、radar感知到的目标、camera感知到的目标关联匹配到一起，结合目标的运动模型和最优滤波器模型，推断目标的位置速度等属性，特点是开销小推理极快，缺点是受限于单传感器模型感知能力，不能充分挖掘跨模态联合观测的信息校验的优势。

本实施例提供了一种基于视锥联合BEV空间损失的方法，以解决跨模态传感器之间的特征或目标的匹配误差问题，并且选用的是一种联合中级融合和后融合的传感器融合方案，分别在视锥空间和BEV空间进行推理，最后联合在一起；其特点是充分利用视锥空间里中级融合的特征交叉验证能力，以及BEV空间后融合独立感知能力和运动模型特性，以充分提高障碍物检测的召回率（recall）和准确率（precision）。主要解决的问题包括：

1）本实施例对不同传感器的联合标定和时间同步存在一定的误差容忍性，能在不同距离尺度上将特征和目标关联融合在一起；

2）本实施例基于视锥空间损失的关联匹配正确率高于基于欧式空间的马氏距离损失的关联匹配正确率，有效降低融合感知带来的误检和漏检；

3）本实施例能充分结合不同传感器的信息，扬长避短，有效降低单传感器带来的误检和漏检，提高感知的准确率和召回率；

4）本实施例模型资源开销较低，推理延迟低，可以在不同的硬件平台实现量产，保障了目标检测的实时性和效果，实时的感知结果能够降低驾驶过程中的误刹车和不刹车现象，有效提升用户驾驶体验。

本实施例主要包括单传感器感知模块，中级融合与后融合的联合融合模块，360度感知结果三个部分。第二部分是本实施例的核心模块，核心模块会将单传感器模块输出的目标结果以及特征地图分别传送给后融合模块（BEVTrackFusion）和中间融合(FrustumFeatureFusion)模块，并以相同的距离损失进行关联匹配。以下内容将围绕概念图第二部分进行详细展开。

1）参考上述方法实施例，本实施例选用的距离度量公式如下：

联合空间损失=（尺度损失率+角度损失率）*目标间欧式距离；

2）FrustumFeatureFusion,本模块为特征融合模块，主要发挥冗余优化作用，利用了视锥空间上的关联匹配，对传感器FOV边界处遮挡障碍物以及不稳定的障碍物进行优化，可以进一步提高障碍物召回、跟踪航迹连续性、子属性精度。特征融合主要包括以下部分：

a) Lidar-Camera视锥级联：此模块主要是将lidar的特征以及点云，投射到视锥空间，并和camera的图像特征以及bbox进行视锥关联；并将级联后的特征发送到特征融合模块；

b) Radar-Camera视锥级联：首先将没有高度信息的radar点云，进行pillarexpasion生长出高度，然后柱状radar点云投射到视锥空间，并和camera的图像特征bbox进行视锥关联；并将级联后的特征发送到特征融合模块；

c) 特征融合模型：将过滤并级联后lidar-camera、radar-camera特征，透视变换到一个图像ROI区域，然后级联成featuremap，并利用轻量级CNN模型进行障碍物检测，最后输出融合障碍物，融合障碍物特征也包括位置、速度等信息；

3）BEVTrackFusion，本模块充分利用了BEV空间的障碍物运动特性，将不同传感器的障碍物信息，以及2）特征融合的障碍物信息，放在BEV空间利用1）中的损失度量矩阵进行匹配，结合CTRV滤波估计，最后输出稳定的融合感知障碍物，整体流程包括三部分，其中关联模块是本实施例的核心部分：

a) Preprocess模块：此模块对各通路的传感器数据，进行校验确认和运动补偿；另外，分别对不同传感器进行数据处理，以确保传感器航迹（track）稳定；

b) 关联模块：关联模块，利用各传感器通路障碍物航迹的id、位置、速度、形状、航向等信息进行损失计算，其中最关键的损失计算部分为视锥联合BEV空间损失计算，并构建关联矩阵，然后利用最优匹配算法进行关联匹配以及交叉校验；匹配上的结果和没匹配上的结果分两条通路传给航迹管理模块；

c) 航迹管理模块：航迹管理模块，获取到匹配结果和未匹配结果，利用卡尔曼滤波进行航迹状态更新，具体包括增删改查四个步骤：将稳定的未匹配结果进行融合航迹构建、删掉丢失超时的航迹和出现异常的航迹、更新修改已有航迹的位置速度等属性、查询有效航迹输出给下游。

图5示出了上述方案的具体执行流程。

本实施例的有益效果在于：

提出了一种基于视锥空间联合损失的距离度量方式，该距离度量能符合传感器安装位置特性， 能够充分结合极坐标（视锥空间）和笛卡尔坐标（BEV空间）特点，将不同观测噪声的传感器特征或目标结合在一起，有效降低多传感器阶段的误关联率，从而提升融合阶段的召回和准确；

提出了中级融合和后融合进行联合融合的方式，充分发挥单传感器感知能力和多传感器多模态特征冗余的感知能力，有效降低单一传感器数据带来的误检和漏检；

综合两个亮点，本技术方案能带来更好的传感器鲁棒性，具备更强的标定误差容忍性和时间同步容忍性，硬件开销低，具备更好的感知鲁棒性和容错能力，提升用户驾驶体验。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的基于联合空间损失的多模态传感器融合方法，图2示出了本申请实施例提供的基于联合空间损失的多模态传感器融合装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图2，该装置包括：

第一空间级联模块201，用于将至少两种传感器返回的传感器信号投射至第一空间，并在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征；

障碍物感知模块202，用于分别以所述融合特征、所述至少两种传感器返回的传感器信号为输入，运行基于机器学习的障碍物感知模型，得到至少三个障碍物感知结果；

第二空间关联模块203，用于将所述至少三个障碍物感知结果投射至第二空间，并基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合，得到航迹结果；

所述第一空间和所述第二空间均包括至少一种预设视角下的空间，且所述第一空间和所述第二空间的并集中包括至少两种预设视角下的空间；所述联合空间损失是与尺度损失率、角度损失率以及距离参数中的任一者或任多者正相关的量。

具体地，所述第二空间关联模块203包括：

空间&状态损失子模块，用于基于联合空间损失和障碍物状态损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合；

所述障碍物状态损失是与所述障碍物的id损失、位置损失、速度损失、形状损失以及航向信息损失中的任一者或任多者正相关的量。

关联矩阵子模块，用于根据所述联合空间损失，或者根据所述联合空间损失和所述障碍物状态损失构建关联矩阵；

匹配子模块，用于以所述关联矩阵为输入，运行最优匹配模型得到匹配结果和未匹配结果；

所述最优匹配模型是基于最优匹配算法的用于对所述至少三个障碍物感知结果进行关联匹配，或者进行关联匹配和交叉校验的模型。

匹配更新子模块，用于针对匹配结果，基于卡尔曼滤波更新障碍物航迹状态；

未匹配更新子模块，用于针对未匹配结果，进行融合航迹构建得到融合航迹，并基于所述融合航迹中的满足预设条件的航迹更新障碍物航迹状态；

有效航迹子模块，用于提取更新后的障碍物航迹状态中的有效航迹输出；

所述有效航迹是指：

处于预设的有效空间内的航迹；和/或，

速度参数和类别参数满足预设的速度类别匹配条件的航迹。

所述未匹配更新子模块进一步包括：

第一航迹单元，用于将所述未匹配结果中稳定的障碍物感知结果进行融合航迹构建，得到第一航迹结果；

所述稳定的障碍物感知结果满足如下任一者或任多者组合：

所述障碍物感知结果的位置参数的方差满足预设的位置方差条件；

所述障碍物感知结果的时间参数满足预设的时域条件；

所述障碍物感知结果的类别参数的变化满足预设的类别条件；

所述障碍物感知结果的速度参数的方差满足预设的速度方差条件；

所述障碍物感知结果的形状参数的变化满足预设的形状条件；

第二航迹单元，用于提取所述第一航迹中可靠的航迹，得到第二航迹结果；

所述可靠的航迹满足如下任一者或任多者组合：

所述航迹中的障碍物丢失时间满足预设的丢失时间条件；

所述航迹的连续性满足预设的连续性条件；

所述航迹的平滑性满足预设的平滑性条件；

更新单元，用于根据所述第二航迹结果，更新障碍物航迹状态。

更具体地，所述至少两种传感器包括第一传感器；所述第一传感器返回的传感器信号为不包括高度信息的信号，且所述第一空间中的至少一种预设视角下的空间包括高度坐标；所述第一空间级联模块201包括：

高度生长子模块，用于基于预设高度，对所述第一传感器返回的传感器信号进行高度信号生长，得到包括高度信息的第一传感器预处理信号；

第一级联子模块，用于基于所述第一传感器预处理信号和所述至少两种传感器中非第一传感器的传感器返回信号进行级联，得到融合特征。

和/或，所述至少两种传感器包括第二传感器；所述第二传感器返回的传感器信号为不包括深度信息的信号，且所述第一空间中的至少一种预设视角下的空间包括深度坐标；所述第一空间级联模块201包括：

深度生长子模块，用于根据所述第二传感器返回的传感器信号对应的障碍物在视锥空间中的尺寸，对所述第二传感器返回的传感器信号进行深度信号生长，得到包括深度信息的第二传感器预处理信号；

第二级联子模块，用于基于所述第二传感器预处理信号和所述至少两种传感器中非第二传感器的传感器返回信号进行级联，得到融合特征。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种终端设备，如图3所示，该终端设备30包括：至少一个处理器301、存储器302以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序303，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (11)

1.一种基于联合空间损失的多模态传感器融合方法，其特征在于，包括：

将至少两种传感器返回的传感器信号投射至第一空间，并在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征；

分别以所述融合特征、所述至少两种传感器返回的传感器信号为输入，运行基于机器学习的障碍物感知模型，得到至少三个障碍物感知结果；

将所述至少三个障碍物感知结果投射至第二空间，并基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合，得到航迹结果；

所述第一空间和所述第二空间均包括至少一种预设视角下的空间，且所述第一空间和所述第二空间的并集中包括至少两种预设视角下的空间；所述联合空间损失是与尺度损失率、角度损失率以及距离参数中的任一者或任多者正相关的量。

2.如权利要求1所述的基于联合空间损失的多模态传感器融合方法，其特征在于，所述基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合的步骤包括：

基于联合空间损失和障碍物状态损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合；

所述障碍物状态损失是与所述障碍物的id损失、位置损失、速度损失、形状损失以及航向信息损失中的任一者或任多者正相关的量。

3.如权利要求1所述的基于联合空间损失的多模态传感器融合方法，其特征在于，所述基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合的步骤包括：

根据所述联合空间损失构建关联矩阵；

以所述关联矩阵为输入，运行最优匹配模型得到匹配结果和未匹配结果；

所述最优匹配模型是基于最优匹配算法的用于对所述至少三个障碍物感知结果进行关联匹配，或者进行关联匹配和交叉校验的模型。

4.如权利要求2所述的基于联合空间损失的多模态传感器融合方法，其特征在于，所述基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合的步骤包括：

根据所述联合空间损失和所述障碍物状态损失构建关联矩阵；

以所述关联矩阵为输入，运行最优匹配模型得到匹配结果和未匹配结果；

所述最优匹配模型是基于最优匹配算法的用于对所述至少三个障碍物感知结果进行关联匹配，或者进行关联匹配和交叉校验的模型。

5.如权利要求4所述的基于联合空间损失的多模态传感器融合方法，其特征在于，在所述以所述关联矩阵为输入，运行最优匹配模型得到匹配结果和未匹配结果的步骤后，还包括：

针对匹配结果，基于卡尔曼滤波更新障碍物航迹状态；

针对未匹配结果，进行融合航迹构建得到融合航迹，并基于所述融合航迹中的满足预设条件的航迹更新障碍物航迹状态；

提取更新后的障碍物航迹状态中的有效航迹输出；

所述有效航迹是指：

处于预设的有效空间内的航迹；和/或，

速度参数和类别参数满足预设的速度类别匹配条件的航迹。

6.如权利要求5所述的基于联合空间损失的多模态传感器融合方法，其特征在于，所述针对未匹配结果，进行融合航迹构建得到融合航迹，并基于所述融合航迹中的满足预设条件的航迹更新障碍物航迹状态的步骤包括：

将所述未匹配结果中稳定的障碍物感知结果进行融合航迹构建，得到第一航迹结果；

所述稳定的障碍物感知结果满足如下任一者或任多者组合：

所述障碍物感知结果的位置参数的方差满足预设的位置方差条件；

所述障碍物感知结果的时间参数满足预设的时域条件；

所述障碍物感知结果的类别参数的变化满足预设的类别条件；

所述障碍物感知结果的速度参数的方差满足预设的速度方差条件；

所述障碍物感知结果的形状参数的变化满足预设的形状条件；

提取所述第一航迹中可靠的航迹，得到第二航迹结果；

所述可靠的航迹满足如下任一者或任多者组合：

所述航迹中的障碍物丢失时间满足预设的丢失时间条件；

所述航迹的连续性满足预设的连续性条件；

所述航迹的平滑性满足预设的平滑性条件；

根据所述第二航迹结果，更新障碍物航迹状态。

7.如权利要求1至6中任一项所述的基于联合空间损失的多模态传感器融合方法，其特征在于，所述至少两种传感器包括第一传感器；所述第一传感器返回的传感器信号为不包括高度信息的信号，且所述第一空间中的至少一种预设视角下的空间包括高度坐标；

所述在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征的步骤包括：

基于预设高度，对所述第一传感器返回的传感器信号进行高度信号生长，得到包括高度信息的第一传感器预处理信号；

基于所述第一传感器预处理信号和所述至少两种传感器中非第一传感器的传感器返回信号进行级联，得到融合特征。

8.如权利要求1至6中任一项所述的基于联合空间损失的多模态传感器融合方法，其特征在于，所述至少两种传感器包括第二传感器；所述第二传感器返回的传感器信号为不包括深度信息的信号，且所述第一空间中的至少一种预设视角下的空间包括深度坐标；

所述在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征的步骤包括：

根据所述第二传感器返回的传感器信号对应的障碍物在视锥空间中的尺寸，对所述第二传感器返回的传感器信号进行深度信号生长，得到包括深度信息的第二传感器预处理信号；

基于所述第二传感器预处理信号和所述至少两种传感器中非第二传感器的传感器返回信号进行级联，得到融合特征。

9.一种基于联合空间损失的多模态传感器融合装置，其特征在于，包括：

第一空间级联模块，用于将至少两种传感器返回的传感器信号投射至第一空间，并在所述第一空间中对所述至少两种传感器返回的传感器信号进行级联，得到融合特征；

障碍物感知模块，用于分别以所述融合特征、所述至少两种传感器返回的传感器信号为输入，运行基于机器学习的障碍物感知模型，得到至少三个障碍物感知结果；

第二空间关联模块，用于将所述至少三个障碍物感知结果投射至第二空间，并基于联合空间损失在所述第二空间中对所述至少三个障碍物感知结果进行关联和/或融合，得到航迹结果；

所述第一空间和所述第二空间均包括至少一种预设视角下的空间，且所述第一空间和所述第二空间的并集中包括至少两种预设视角下的空间；所述联合空间损失是与尺度损失率、角度损失率以及距离参数中的任一者或任多者正相关的量。

10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。

Images