CN115775379A - 三维目标检测方法及系统 - Google Patents

Abstract

本公开涉及三维目标检测方法及系统。该方法包括：接收来自相机的图片数据和来自雷达的点云数据，所述相机和所述雷达是针对同一目标同时进行采集的；对所述图片数据进行特征提取，以得到第一特征图；从所述点云数据中提取目标的速度和深度信息以及雷达回波的强度值，并对所提取的信息进行卷积操作以得到第二特征图，所述第二特征图具有与所述第一特征图相同的尺寸；将所述第一特征图与所述第二特征图进行融合，以得到经融合特征图；以及将所述经融合特征图送入检测头来进行三维目标检测。

Description

三维目标检测方法及系统

本申请要求2022年10月19日提交的、申请号为202211281727.2、发明名称为“三维目标检测方法及系统”的优先权。

技术领域

本公开涉及三维目标检测方法及系统。

背景技术

三维目标检测技术是自动驾驶领域中的核心技术之一，自动驾驶车辆可以规划出合理路线的前提是对周围环境的正确感知。人类驾驶员可以通过视觉观察周围路况，而自动驾驶车辆仅仅依靠相机来实现三维目标检测却是异常困难的，因此依靠更加强大的传感器来实现更可靠的检测是十分有必要的。

目前的三维目标检测方法按照模态可以大致分为三类：仅依靠相机的方法、相机和激光雷达融合的方法、以及相机和毫米波雷达融合的方法。仅仅使用相机三维目标检测效果差，不利于自动驾驶技术的实际应用。而激光雷达虽然更为精准但是部署成本过高，并且在恶劣天气下无法正常工作。而毫米波雷达成本低，并且可以全天候工作，很好地弥补了相机检测的缺陷。

但目前的毫米波雷达和相机融合方案较为简单，仅仅是将不同模态的数据拼接在一起送入神经网络，并没有充分利用不同模态间和模态内的上下文信息。目前的相机单模态检测算法表现不佳，而雷达和相机的多模态融合方法过于简单，没有考虑到模态间的上下文信息，融合效果一般，还不得不进行视锥关联过滤操作，这进一步增加了神经网络的计算负担。

本公开针对但不限于上述诸多因素进行了改进。

发明内容

为此，本公开提出了一种雷达相机多模态融合的三维目标检测方法及系统。由于雷达点云和相机图片之间的巨大差异，本公开的方法和系统使用神经网络中的注意力机制来自适应地根据上下文信息来习得关键特征。本公开的方法和系统利用注意力机制来自适应地习得两种模态(即雷达点云和相机图片)之间的相关性，并从雷达点云中提取出关键特征。所获得的特征数据经过融合之后，再送入回归头进行预测，解析最终得到的张量便可以在输入图像中标识出三维目标检测框，从而实现三维目标检测的目的。

根据本公开的第一方面，提供了一种三维目标检测方法，包括：接收来自相机的图片数据和来自雷达的点云数据，所述相机和所述雷达是针对同一目标同时进行采集的；对所述图片数据进行特征提取，以得到第一特征图；从所述点云数据中提取目标的速度和深度信息以及雷达回波的强度值，并对所提取的信息进行卷积操作以得到第二特征图，所述第二特征图具有与所述第一特征图相同的尺寸；将所述第一特征图与所述第二特征图进行融合，以得到经融合特征图；以及将所述经融合特征图送入检测头来进行三维目标检测。

根据一实施例，所述第一特征图是使用DLA34骨干网络来提取得到的。

根据另一实施例，所述第一特征图和所述第二特征图在融合之前经受下采样处理，并且经下采样的第一和第二特征图被改变成令牌的形式且加入位置编码以得到嵌入形式的特征图，其中所述位置编码对于所述第一特征图和所述第二特征图而言是共享的。

根据又一实施例，所述下采样是使用AvgPool来实现的四倍下采样。

根据又一实施例，将所述第一特征图与所述第二特征图进行融合包括将嵌入形式的第一特征图与嵌入形式的第二特征图相乘以得到所述经融合特征图。

根据又一实施例，将所述第一特征图与所述第二特征图进行融合还包括将嵌入形式的第一特征图与嵌入形式的第二特征图拼接在一起，并将嵌入形式的第一特征图、嵌入形式的第二特征图以及经拼接的嵌入形式的第一特征图与嵌入形式的第二特征图相乘以将得到的积作为所述经融合特征图。

根据又一实施例，该方法还包括在将嵌入形式的第一特征图与嵌入形式的第二特征图拼接在一起，并将嵌入形式的第一特征图、嵌入形式的第二特征图以及经拼接的嵌入形式的第一特征图与嵌入形式的第二特征图相乘之后：将所述积送入归一化层来进行归一化；将经归一化的积分别输入到膨胀聚合器和紧缩聚合器；将分别经过膨胀聚合器与紧缩聚合器的经归一化的积拼接在一起，并随后使用1×1卷积来恢复其尺寸，以得到所述经融合特征图，其中所述膨胀聚合器通过第一全连接层将经归一化的经融合特征图的特征向量的尺寸扩充四倍并随后通过第二全连接层将特征向量的尺寸恢复，所述紧缩聚合器通过第三全连接层将经归一化的经融合特征图的特征向量的尺寸压缩为1/4并随后通过第四全连接层将尺寸恢复。

根据又一实施例，在将分别经过膨胀聚合器与紧缩聚合器的经归一化的积拼接在一起并随后使用1×1卷积来恢复其尺寸之后：将其与所述第二特征图相加，以得到所述经融合特征图。

根据又一实施例，该方法还包括执行如下操作达预定次数：将所述经融合特征图拆分成两份分别作为新的第一特征图和新的第二特征图并重复融合操作。

根据又一实施例，所述第一特征图和所述第二特征图包括相同数目的不同尺寸的特征向量，其中所述第一特征图中的每一特征向量与所述第二特征图中的相应一个具有相同尺寸的特征向量进行融合。

根据又一实施例，不同尺寸的特征向量的融合所使用的参数是不共享的。

根据本公开的第二方面，提供了一种三维目标检测系统，包括：设置在车辆上的相机和雷达；车载计算机，其中所述相机和所述雷达被配置成针对同一目标同时进行采集以获得图片数据和点云数据并将其传送给所述车载计算机，并且其中所述车载计算机被配置成执行根据本公开的第一方面所述的方法。

根据本公开的第三方面，提供了一种包括根据本公开的第二方面所述的系统的机动车。

各方面一般包括如基本上在本文参照附图所描述并且如通过附图所解说的方法、装备、系统、计算机程序产品和处理系统。

前述内容已较宽泛地勾勒出根据本公开的示例的特征和技术优势以使下面的详细描述可以被更好地理解。附加的特征和优势将在此后描述。所公开的概念和具体示例可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。此类等效构造并不背离所附权利要求书的范围。本文所公开的概念的特性在其组织和操作方法两方面以及相关联的优势将因结合附图来考虑以下描述而被更好地理解。每一附图是出于解说和描述目的来提供的，且并不定义对权利要求的限定。

附图说明

为了能详细理解本公开的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。不同附图中的相同附图标记可标识相同或相似的元素。

图1是根据本公开的一实施例的示例三维目标检测方法的流程图；

图2是根据本公开的一实施例的示例三维目标检测系统的示意框图；

图3是根据本公开的一实施例的示例融合模块的示意性结构图；

图4是根据本公开的一实施例的示例聚合器的示意性结构图；

图5示出了根据本公开的一实施例的示例三维目标检测结果的示意图；

图6示出了根据本公开的一实施例的另一示例三维目标检测系统的示意性框图；以及

图7是根据本公开的一实施例的示例机动车的示意图。

具体实施方式

发明人认识到，目前的毫米波雷达和相机多模态融合方案存在信息利用率不高的问题。由于毫米波雷达收集的是稀疏的点云数据，而相机获得的是较为稠密的像素点信息，这两种模态之间天然地存在巨大差异，很难进行模态间对齐从而提取关键的雷达点信息。因此，现有方法大多是从雷达回波中收集速度信息和深度信息，将这些信息组织成特征图的形式来直接拼接到相机特征图，并随后将其送入神经网络。这种方式并没有考虑到雷达点云信息和相机像素信息之间的关联性，因此检测效果的提升非常有限。同时这种方案相较于单模态方案引入了更多的计算开销。它不可避免地需要视锥关联方法来剔除无关雷达点，否则这些雷达点将会对模型带来错误的指导信息，从而使得检测模型的表现更差。这些雷达点过滤操作均会使得神经网络的运行速度变慢，并且所带来的提升是十分有限的。因此，当前直接拼接不同模态的数据不是一种最优的解决方案。

本公开提出了一种基于注意力机制的多模态融合神经网络的三维目标检测方法和系统。本公开基于雷达和相机多模态融合目标检测网络进行改进，对雷达信息也进行特征提取，并且在多个尺度上个进行跨模态的特征融合。本公开的技术方案巧妙简洁，在合理的硬件成本下大幅度提高了三维目标检测的准确性与可靠性。

以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。

参考图1，其示出了根据本公开的一实施例的示例三维目标检测方法100的流程图。

如图1所示，方法100可包括在框110，接收来自相机的图片数据和来自雷达的点云数据。可以明白，图片数据和点云数据是由相机和雷达是针对同一目标同时进行采集的。在本公开的一实施例中，相机和雷达可以是车载相机和雷达，例如自动和/或辅助驾驶汽车的车载相机和雷达(例如，毫米波雷达)。由此，这些数据可被用于进行三维目标检测，以便于车辆的自动和/或辅助驾驶。

结合图2，其示出了根据本公开的一实施例的示例三维目标检测系统200的示意框图。如图2所示，系统200可包括图片特征提取模块201、点云特征提取模块203、融合模块205以及检测头207。在这一实施例中，上述在框110处描述的步骤可由图片特征提取模块201和点云特征提取模块203执行，如图2所示，图片特征提取模块201接收相机图片，而点云特征提取模块203接收雷达点云。

随后，在框120，方法100可包括对图片数据进行特征提取，以得到第一特征图，并且在框130对点云数据进行特征提取，以得到第二特征图。

在本公开的一优选实施例中，为了与图片数据的特征提取相匹配，方法100可从点云数据中提取目标的速度和深度信息以及雷达回波的强度值来构成3通道特征图(类比于相机图片的RGB 3通道信息)，并对所提取的信息进行卷积操作以得到第二特征图。

此外，为便于后续的特征融合操作，第二特征图具有与第一特征图相同的尺寸。在本公开的又一实施例中，第一特征图和第二特征图可包括相同数目的不同尺寸的特征向量。在该实施例中，第一特征图中的每一特征向量与第二特征图中的具有相同尺寸的相应一个特征向量进行融合。进一步根据该实施例，不同尺寸的特征向量的融合所使用的参数是不共享的。

本领域技术人员可以明白，尽管图2中将图片特征提取模块201和点云特征提取模块203示出为两个分开的模块，这两个模块也可以合并在同一个特征提取模块中，只要该特征提取模块能够执行相应的特征提取功能即可。

在本公开的一个优选实施例中，第一特征图是使用DLA34骨干网络来对图片数据进行提取而得到的。

本领域技术人员将明白，尽管图1中将方法100的步骤120和130分开描述，但这两个步骤可以优选地并发同时执行。

继续参考图1，在框140，方法100可包括将第一特征图与第二特征图进行融合，以得到经融合特征图。

在本公开的优选实施例中，为了提高运行效率而不过多地占用计算资源，第一特征图和所述第二特征图在融合之前可经受下采样处理。在一示例中，下采样可以使用AvgPool来实现四倍下采样。下采样之后，第一和第二特征图改变成令牌(token)的形式并且在此时加入位置编码，从而形成了注意力机制中的嵌入(embedding)形式，即嵌入形式的特征图。

在该实施例中，使用的是一组可学习的数据作为位置编码，并且雷达和相机的位置编码是共享的。在第一和第二特征图包括多个特征向量的情形中，上述操作要针对每一特征向量并行地执行。

进一步根据该实施例中，将第一特征图与第二特征图进行融合可包括将嵌入形式的第一特征图与嵌入形式的第二特征图相乘以得到经融合特征图。

结合图2，融合模块205可被配置成将来自图片特征提取模块201的第一特征图和来自点云特征提取模块203的第二特征图相乘，以得到经融合特征图。

具体而言，参考图3，其示出了根据本公开的一实施例的示例融合模块300(例如，图2的融合模块205)的示意性结构图。

如图3所示，在得到两种模态(即图片和点云)的特征嵌入之后，令相机嵌入(图3中的Xc，即嵌入形式的第一特征图)做注意力机制中的Q，令雷达嵌入(图2中的Xr，即嵌入形式的第二特征图)做K，二者相乘得到F(即，经融合特征图)，如301处所示。在一优选实施例中，为了提高融合效果，F可进一步经受SoftMax和Dropout处理，如在虚线框313处所示，在此不再赘述。

在一优选实施例中，为了融合效果更好，方法100还可将嵌入形式的第一特征图与嵌入形式的第二特征图拼接在一起，并将嵌入形式的第一特征图、嵌入形式的第二特征图以及经拼接的嵌入形式的第一特征图与嵌入形式的第二特征图相乘以将得到的积作为经融合特征图。再次参考图3，如在虚线框315处所示，将Q(即，Xc)与K(即Xr)拼接起来(图3中的Xrc)做为注意力机制中的V，令Xrc与F相乘可以得到注意力计算结果，以作为经融合特征图。

继续该实施例，为了进一步提高融合效果，将Xrc与F相乘得到的结果先经过归一化层303(LayerNorm层)，随后将其分别送入聚合器1 305与聚合器2 307。图4示出了根据本公开的一实施例的示例聚合器400的示意性结构图。如图4所示，聚合器包括两个全连接层以及可任选的ReLU层和Dropout层。聚合器1305和聚合器2 307的区别在于：全连接层的输入输出参数是不同的。在该实施例中，聚合器1 305是膨胀聚合器，它经过第一个全连接层将原本的特征向量的尺寸扩充了四倍，随后经过第二个全连接层再将尺寸恢复。而聚合器2307是紧缩聚合器，它经过第一个全连接层将原本的特征向量的尺寸压缩为1/4，随后经过第二个全连接层再将尺寸恢复。在得到了分别经过聚合器1 305与聚合器2 307的特征向量之后，通过连接层309将它们拼接在一起，随后使用1×1卷积311来恢复其尺寸。这就得到了最终结果，即经融合特征图。

在本公开的进一步的优选实施例中，为了更进一步地提高融合效果，融合模块205、300是可以串联多次使用的。因此，方法100可任选地包括执行如下操作达预定次数：将经融合特征图拆分成两份分别作为新的第一特征图和新的第二特征图并重复融合操作。

结合图3，可以看到，虚线框317包括将来自311的所得的经融合特征图切分成两份，这两份又可以作为融合模块300的输入(即Xr、Xc)，重复上述融合步骤，直至达到预定次数。在该实施例中，预定次数可以是固定的(例如，五次)也可以是用户可设置的。

回头参考图1-2，在得到经融合特征图之后，方法100可包括在框150将经融合特征图送入检测头来进行三维目标检测。如图2所示，来自融合模块205的经融合特征图被送入检测头207以供进行三维目标检测，并且检测头207随后可输出三维目标检测结果。

考虑到本公开的方法和系统的整体架构是以相机图片为主，以雷达点云为辅，所以在融合阶段之后还可添加残差连接，以将融合之前的雷达特征图连接过来，从而降低融合网络的训练难度，使得模型表现更稳定。因此，在本公开的优选实施例中，方法100可包括在将分别经过膨胀聚合器与紧缩聚合器的经归一化的积拼接在一起并随后使用1×1卷积来恢复其尺寸之后，将其与第二特征图相加，以得到最终的经融合特征图。结合图2，可以看到，系统200还可任选地包括加法器209(如虚线框所示)，加法器209可将来自融合模块205的经融合特征图与来自点云特征提取模块203的第二特征图相加以得到最终的经融合特征图，并随后将其送入检测头207以供三维目标检测。

参考图5，其示出了根据本公开的一实施例的示例三维目标检测结果的示意图。可以看到，方法100的三维目标检测效果良好，鲁棒性高。

下面参考图6，其示出了根据本公开的一实施例的另一示例三维目标检测系统600的示意性框图。

如图6所示，系统600可包括相加601、雷达603以及车载计算机605。在该实施例中，相机601和雷达603可以设置在车辆上，并且被配置成针对同一目标同时进行采集以获得图片数据和点云数据并将其传送给车载计算机605；车载计算机605可被配置成执行根据图1-5所描述的方法100。

另外，可以明白，尽管图6中示出了单个相相机601和单个雷达603，系统600还可包括任意数量的相机和雷达，如省略号607所示。

图7是根据本公开的一实施例的示例机动车700的示意图。在该实施例中，机动车700可包括参考图6所示出和描述的示例三维目标检测系统600。

本领域技术人员可以明白，本文中针对“特征向量”、“特征图”的引用是可互换的，除非另外指明。

如上所述，本公开的方案雷达和相机的信息能够准确地对齐，将雷达点云信息和相机像素信息之间的关联性纳入了考虑，从而充分利用了雷达和相机的信息，极大地提升了三维目标检测的效果。同时，本公开的方案无需视锥关联过滤操作，降低了计算负担，在合理的硬件成本下大幅度提高了三维目标检测的准确性与可靠性，能够应对恶劣天气，实现全天候工作。

以上具体实施方式包括对附图的引用，附图形成具体实施方式的部分。附图通过说明来示出可实践的特定实施例。这些实施例在本文中也称为“示例”。此类示例可以包括除所示或所述的那些元件以外的元件。然而，还构想了包括所示或所述元件的示例。此外，还构想出的是使用所示或所述的那些元件的任何组合或排列的示例，或参照本文中示出或描述的特定示例(或其一个或多个方面)，或参照本文中示出或描述的其他示例(或其一个或多个方面)。

在所附权利要求书中，术语“包括”和“包含”是开放式的，也就是说，在权利要求中除此类术语之后列举的那些元件之外的元件的系统、设备、制品或过程仍被视为落在那项权利要求的范围内。此外，在所附权利要求书中，术语“第一”、“第二”和“第三”等仅被用作标记，并且不旨在表明对它们的对象的数字顺序。

另外，本说明书中所解说的各操作的次序是示例性的。在替换实施例中，各操作可以按与附图所示的不同次序执行，且各操作可以合并成单个操作或拆分成更多操作。

以上描述旨在是说明性的，而非限制性的。例如，可结合其他实施例来使用以上描述的示例(或者其一个或多个方面)。可诸如由本领域普通技术人员在审阅以上描述之后来使用其他实施例。摘要允许读者快速地确定本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求的范围或含义。此外，在以上具体实施方式中，各种特征可以共同成组以使本公开流畅。然而，权利要求可以不陈述本文中公开的每一特征，因为实施例可以表征所述特征的子集。此外，实施例可以包括比特定示例中公开的特征更少的特征。因此，所附权利要求书由此被结合到具体实施方式中，一项权利要求作为单独的实施例而独立存在。本文中公开的实施例的范围应当参照所附权利要求书以及此类权利要求所赋予权利的等价方案的完整范围来确定。

Claims (13)

1.一种三维目标检测方法，包括：

接收来自相机的图片数据和来自雷达的点云数据，所述相机和所述雷达是针对同一目标同时进行采集的；

对所述图片数据进行特征提取，以得到第一特征图；

从所述点云数据中提取目标的速度和深度信息以及雷达回波的强度值，并对所提取的信息进行卷积操作以得到第二特征图，所述第二特征图具有与所述第一特征图相同的尺寸；

将所述第一特征图与所述第二特征图进行融合，以得到经融合特征图；以及

将所述经融合特征图送入检测头来进行三维目标检测。

2.根据权利要求1所述的方法，其特征在于，所述第一特征图是使用DLA34骨干网络来提取得到的。

3.根据权利要求1所述的方法，其特征在于，所述第一特征图和所述第二特征图在融合之前经受下采样处理，并且经下采样的第一和第二特征图被改变成令牌的形式且加入位置编码以得到嵌入形式的特征图，其中所述位置编码对于所述第一特征图和所述第二特征图而言是共享的。

4.根据权利要求3所述的方法，其特征在于，所述下采样是使用AvgPool来实现的四倍下采样。

5.根据权利要求4所述的方法，其特征在于，将所述第一特征图与所述第二特征图进行融合包括将嵌入形式的第一特征图与嵌入形式的第二特征图相乘以得到所述经融合特征图。

6.根据权利要求5所述的方法，其特征在于，将所述第一特征图与所述第二特征图进行融合还包括将嵌入形式的第一特征图与嵌入形式的第二特征图拼接在一起，并将嵌入形式的第一特征图、嵌入形式的第二特征图以及经拼接的嵌入形式的第一特征图与嵌入形式的第二特征图相乘以将得到的积作为所述经融合特征图。

7.根据权利要求6所述的方法，其特征在于，还包括在将嵌入形式的第一特征图与嵌入形式的第二特征图拼接在一起，并将嵌入形式的第一特征图、嵌入形式的第二特征图以及经拼接的嵌入形式的第一特征图与嵌入形式的第二特征图相乘之后：

将所述积送入归一化层来进行归一化；

将经归一化的积分别输入到膨胀聚合器和紧缩聚合器；

将分别经过膨胀聚合器与紧缩聚合器的经归一化的积拼接在一起，并随后使用1×1卷积来恢复其尺寸，以得到所述经融合特征图，

其中所述膨胀聚合器通过第一全连接层将经归一化的经融合特征图的特征向量的尺寸扩充四倍并随后通过第二全连接层将特征向量的尺寸恢复，所述紧缩聚合器通过第三全连接层将经归一化的经融合特征图的特征向量的尺寸压缩为1/4并随后通过第四全连接层将尺寸恢复。

8.根据权利要求7所述的方法，其特征在于，在将分别经过膨胀聚合器与紧缩聚合器的经归一化的积拼接在一起并随后使用1×1卷积来恢复其尺寸之后：将其与所述第二特征图相加，以得到所述经融合特征图。

9.根据权利要求7所述的方法，其特征在于，还包括执行如下操作达预定次数：

将所述经融合特征图拆分成两份分别作为新的第一特征图和新的第二特征图并重复融合操作。

10.根据权利要求1所述的方法，其特征在于，所述第一特征图和所述第二特征图包括相同数目的不同尺寸的特征向量，其中所述第一特征图中的每一特征向量与所述第二特征图中的相应一个具有相同尺寸的特征向量进行融合。

11.根据权利要求10所述的方法，其特征在于，不同尺寸的特征向量的融合所使用的参数是不共享的。

12.一种三维目标检测系统，包括：

设置在车辆上的相机和雷达；

车载计算机，

其中所述相机和所述雷达被配置成针对同一目标同时进行采集以获得图片数据和点云数据并将其传送给所述车载计算机，

并且其中所述车载计算机被配置成执行根据权利要求1-11中的任一项所述的方法。

13.一种包括根据权利要求12所述的系统的机动车。

Images