CN115906001A - 多传感器融合目标检测方法、装置、设备及自动驾驶车辆 - Google Patents

Abstract

本公开提供了一种多传感器融合目标检测方法、装置、设备及自动驾驶车辆，涉及自动驾驶技术领域，尤其涉及目标检测和多传感器融合领域。具体实现方案为：获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。通过本方案可以提高目标检测的准确率。

Description

多传感器融合目标检测方法、装置、设备及自动驾驶车辆

5技术领域

本公开涉及自动驾驶技术领域，尤其涉及目标检测和多传感器融合领域，具体涉及多传感器融合目标检测方法、装置、设备及自动驾驶车辆。

背景技术

0自动驾驶车辆当前面临着复杂的交通环境，通过对环境中的车辆、行

人或非机动车等目标进行检测，可以保证自动驾驶车辆在复杂的交通环境中安全行驶。

相关技术中，通常是利用传感器数据进行目标检测。所谓传感器可以

为相机、激光雷达等，相应的，传感器数据可以为图像数据、点云等数5据。

发明内容

本公开提供了一种多传感器融合目标检测方法、装置、设备及自动驾驶车辆。

0根据本公开的第一方面，提供了一种多传感器融合目标检测方法，包括：

获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

5基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏0移处理；

融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；

基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

可选地，所述基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息，包括：

获取对所述第一数据特征进行嵌入特征分析所得到的第一嵌入特征；

获取对所述第二数据特征进行嵌入特征分析所得到的第二嵌入特征；

利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果；其中，所述空间关联分析用于分析所述目标在所述第一嵌入特征的特征内容相对于在所述第二嵌入特征中的特征内容的偏移；

基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息。

可选地，所述关联分析结果为各个候选偏移量以及每一候选偏移量的概率；其中，所述候选偏移量为所述目标在第一嵌入特征中的特征内容相对于在第二嵌入特征中的特征内容的偏移量；

所述基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息，包括：

以每一候选偏移量的概率作为该候选偏移量的加权权重，对各个候选偏移量进行加权，得到所述第一传感器数据中的所述目标对应的偏移信息。

可选地，所述获取对所述第一数据特征进行嵌入特征分析所得到的第一嵌入特征，包括：

将所述第一数据特征输入到预先训练的Re-ID网络，以使所述Re-ID网络对所述第一数据特征进行嵌入特征提取，得到第一嵌入特征；

所述获取对所述第二数据特征进行嵌入特征分析所得到的第二嵌入特征，包括：

将所述第二数据特征输入到所述Re-ID网络，以使所述Re-ID网络对所述第二数据特征进行嵌入特征提取，得到第二嵌入特征。

可选地，所述利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果，包括：

将所述第一嵌入特征和第二嵌入特征输入至预先训练的空间关联网络，以使所述空间关联网络利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果。

可选地，所述基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息，以及所述按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理的步骤，通过预先训练的特征偏移网络来实现。

可选地，所述第一传感器数据包括第一图像数据和第一点云数据；所述第二传感器数据包括第二图像数据和第二点云数据；

所述第一数据特征的获取方式，包括：

提取所述第一图像数据的数据特征，以及提取所述第一点云数据的数据特征；

对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；

所述第二数据特征的获取方式，包括：

提取所述第二图像数据的数据特征，以及提取所述第二点云数据的数据特征；

对所述第二图像数据的数据特征和所述第二点云数据的数据特征进行融合，得到所述第二传感器数据的数据特征，作为第二数据特征。

可选地，所述对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征，包括：

利用所述第一点云数据中的指导点，对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；

其中，所述第一点云数据中的指导点为用于进行特征对齐的基准特征内容。

根据本公开的第二方面，提供了一种多传感器融合目标检测方法，包括：

获取第一传感器数据和第二传感器数据；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

将所述第一传感器数据和第二传感器数据输入至预先训练的目标检测模型，得到所述第一传感器数据中的目标的检测结果；

其中，所述目标检测模型包括：特征处理子模型以及结果输出子模型；

所述特征处理子模型，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；以及用于基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

所述结果输出子模型，用于基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

可选地，所述特征处理子模型包括：数据特征提取网络、Re-ID网络、空间关联网络、特征偏移网络以及第一融合网络；

所述数据特征提取网络，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；

所述Re-ID网络，用于对所述第一数据特征进行嵌入特征提取，得到第一嵌入特征，以及对所述第二数据特征进行嵌入特征提取，得到第二嵌入特征；

所述空间关联网络，用于利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果；其中，所述空间关联分析用于分析所述目标在所述第一嵌入特征的特征内容相对于在所述第二嵌入特征中的特征内容的偏移；

所述特征偏移网络，用于基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息，并按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；

所述第一融合网络，用于融合所述第一数据特征和偏移后的第二数据特征，得到融合特征。

可选地，所述第一传感器数据包括第一图像数据和第一点云数据；所述第二传感器数据包括第二图像数据和第二点云数据；

所述数据特征提取网络包括：

第一骨干网络、第二骨干网络以及第二融合网络；

所述第一骨干网络，用于提取所述第一图像数据的数据特征，以及提取所述第二图像数据的数据特征：

所述第二骨干网络，用于提取所述第一点云数据的数据特征，以及所述第二点云数据的数据特征；

所述第二融合网络，用于对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；以及对所述第二图像数据的数据特征和所述第二点云数据的数据特征进行融合，得到所述第二传感器数据的数据特征，作为第二数据特征。

根据本公开的第三方面，提供了一种多传感器融合目标检测装置，包括：

第一获取模块，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

第一确定模块，用于基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

处理模块，用于按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；

融合模块，用于融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；

第二确定模块，用于基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

根据本公开的第四方面，提供了一种多传感器融合目标检测装置，包括：

第二获取模块，用于获取第一传感器数据和第二传感器数据；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

输入模块，用于将所述第一传感器数据和第二传感器数据输入至预先训练的目标检测模型，得到所述第一传感器数据中的目标的检测结果；

其中，所述目标检测模型包括：特征处理子模型以及结果输出子模型；

所述特征处理子模型，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；以及用于基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

所述结果输出子模型，用于基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

根据本公开的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一多传感器融合目标检测方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行任一多传感器融合目标检测方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现任一多传感器融合目标检测方法。

根据本公开的第八方面，提供了一种自动驾驶车辆，包括所述的电子设备。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例所提供的一种多传感器融合目标检测方法的流程示意图；

图2是本公开实施例所提供的一种多传感器融合目标检测方法的另一流程示意图；

图3本公开实施例所提供的一种目标检测模型的结构示意图；

图4本公开实施例所提供的一种多传感器融合目标检测装置的结构示意图；

图5本公开实施例所提供的一种多传感器融合目标检测装置的另一结构示意图；

图6是用来实现本公开实施例的多传感器融合目标检测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

当前车辆面临复杂的交通环境，环境中存在大量的其他车辆、行人非机动车等目标，通过目标检测，可以规划后续车辆的行驶策略，保证车辆在复杂的交通环境中安全行驶。

相关技术中，通常是先检测，再对目标进行行为分析或轨迹分析；如，使用目标检测网络输出目标在当前帧的位置、大小和朝向等信息，基于目标的特征进行前后帧的匹配，从而对目标进行行为分析或轨迹分析。然而，相关技术的目标检测方法，仅仅是对单帧中的目标进行检测，行为分析或轨迹分析的结果严重依赖于单帧的目标检测的结果，忽略了行为分析或轨迹分析对目标检测的促进作用，从而导致在遮挡等检测困难的场景下，目标检测的准确率较低。

基于此，本公开提供了一种多传感器融合目标检测方法、装置、设备及自动驾驶车辆，以提高目标检测的准确率。

下面首先对本公开提供的多传感器融合目标检测方法进行介绍。

其中，本公开涉及的多传感器融合目标检测方法可以应用于电子设备。示例性的，该电子设备服务器或终端设备，终端设备可以为手机、电脑、车载电脑等，本公开并不对电子设备的具体形态进行限定。另外，本公开提供的多传感器融合目标检测方法可以应用于任一具有目标检测需求的场景，例如：对交通环境中的目标进行检测的场景，或者，对其他任一指定生活环境或工作环境的目标进行检测的场景等等。

具体而言，该多传感器融合目标检测方法的执行主体可以为多传感器融合目标检测装置。示例性的，当该多传感器融合目标检测方法应用于终端设备时，该多传感器融合目标检测装置可以为运行于终端设备的功能软件，例如：用于进行多传感器融合目标检测的功能软件，该多传感器融合目标检测装置也可以为现有客户端的插件，例如：用于管理传感器数据的功能软件。示例性的，当该多传感器融合目标检测方法应用于服务器时，该多传感器融合目标检测装置可以为运行于服务器中的计算机程序，例如，该多传感器融合目标检测装置可以为运行于服务器中的、管理传感器数据的客户端所对应的服务端程序中的功能模块。

其中，本公开提供的多传感器融合目标检测方法，当应用于对交通环境中的目标进行检测时，可以先获取不同采集时刻针对交通环境所采集的传感器数据，通过手机或车载电脑中的功能软件，对传感器数据进行处理，并执行本公开的多传感器融合目标检测方法，实现对交通环境中的目标进行检测。

本公开实施例提供的多传感器融合目标检测方法，可以包括如下步骤：

获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；

融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；

基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

本方案中，考虑到第一传感器数据中的目标，与属于其他采集时刻的第二传感器数据中的目标存在行为轨迹上的关联特性，因此，将第二传感器数据应用于针对第一传感器数据中的目标检测过程；而在将第二传感器数据应用到检测过程中时，借助第一传感器数据中的目标相对于第二传感器数据的采集时刻的空间偏移，对第二传感器数据的第二数据特征进行特征偏移处理，并对融合有第一数据特征和偏移后的第二数据特征的融合特征，进行针对第一传感器数据中的目标的检测，使得通过不同采集时刻的行为轨迹的关联分析，对目标检测进行协助。可见，相较于相关技术，本公开实施例可以提高目标检测的准确率。

下面结合附图，对本公开所提供的一种多传感器融合目标检测方法进行示例性介绍。

如图1所示，本公开提供的一种目标多传感器融合检测方法，可以包括如下步骤：

S101：获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；

其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同。

在针对第一传感器数据中的目标进行检测时，考虑到第一传感器数据中的目标，与属于其他采集时刻的第二传感器数据中的目标存在行为轨迹上的关联特性，因此，可以将其他采集时刻的第二传感器数据应用到检测过程中。基于该种处理思想，本公开提供的多传感器融合目标检测方法，在针对第一传感器数据中的目标进行检测时，不但可以获取第一传感器数据的第一数据特征，也可以获取第二传感器数据的第二数据特征。

需要说明的是，在一种实现方式中，传感器可以为相机和/或激光雷达，传感器数据可以为图像和/或点云等数据，相应的，第一数据特征和第二数据特征为图像和/或点云特征。此时，第一传感器数据和第二传感器数据均可以为图像数据或点云数据中的一种，也可以均包括图像数据和点云数据，相应的，第一数据特征和第二数据特征均可以为图像特征或点云特征中的一种，也可以均包括图像特征和点云特征，在此不做限定。

相机和激光雷达仅仅用于示例性的介绍传感器，当然还可以存在其他类型的传感器，在此不做限定。并且，示例性的，第一数据特征和第二数据特征可以通检测特征图的形式表征传感器的数据特征，在此不做限定。

另外，第一传感器数据可以为任一时刻下传感器所采集的数据，例如，第一传感器数据可以为当前时刻下采集的数据，即最新时刻下采集的数据；相应的，第二传感器数据可以为该任一时刻之前的历史时刻下传感器所采集的数据，如：当前时刻的前一采集时刻或当前时刻的前N个采集时刻，在保证两个采集时刻中的目标，即第一传感器数据和第二传感器数据中的目标，存在行为轨迹关联的情况下，本公开对第一传感器数据和第二传感器数据所采集的时间间隔不做限定。并且，第一传感器数据和第二传感器数据可以为同一传感器所采集的不同时刻数据，也可以为不同传感器所采集的不同时刻的数据，在此不做限定。

在获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征时，可以先获取第一传感器数据和第二传感器数据，通过特征提取的方式，从而获取第一数据特征和第二数据特征。特征提取的方式可以与现有技术类似，例如：对图像特征的提取、对点云特征的提取等等，在此不做赘述。

本公开的技术方案中，所涉及的传感器数据的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

S102：基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；

其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移。

第一传感器数据可以为任一时刻下传感器所采集的数据，为了对该时刻下传感器所采集的数据中的目标进行检测，可以在获取存在行为轨迹上存在关联的第一数据特征和第二数据特征后，根据第一数据特征和第二数据特征，进一步确定目标在第一传感器数据的采集时刻相对于在第二传感器数据的采集时刻的空间偏移，并通过执行后续的步骤，实现对第一传感器数据中目标进行检测。

需要说明的是，由于第一传感器数据和第二传感器数据中可能存在一个或多个目标，第一数据特征和第二数据特征中也可能存在一个或多个目标的特征，在确定偏移信息时，可以确定第一数据特征和第二数据特征中属于同一目标的偏移信息，也就是，对于第一数据特征和第二数据特征中共同存在的任一目标，均对应有一偏移信息。

需要说明的是，关于基于第一数据特征和第二数据特征，确定第一传感器数据中的目标对应的偏移信息的具体实现方式，将在后续实施例进行详细介绍，在此不做赘述。并且，基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息的任一实现方式，均可以应用于本公开。

S103：按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；

由于任一目标均对应有一偏移信息，得到偏移信息后，针对第二数据特征中的各个目标，可以按照该目标对应的偏移信息，对第二数据特征进行针对该目标的特征偏移处理，从而得到偏移后的第二数据特征。通过特征偏移处理的方式，可以使得目标的特征内容进行对齐，从而在后续特征融合时，能够将同一目标的特征进行融合。

示例性的，在一种实现方式中，所述按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理的步骤，通过预先训练的特征偏移网络来实现。该特征偏移网络可以针对第二数据特征中的任一目标，利用其对应的偏移信息，对该目标进行特征偏移处理，所谓特征偏移处理可以为将该目标的特征进行空间偏移处理。

通过特征偏移网络进行特征偏移处理的方式，仅仅需要将第一传感器数据中目标的偏移信息以及第二数据特征作为输入，即可快速得到偏移后的第二数据特征。

S104：融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；

由于偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移，因此，偏移后的第二数据特征相较于第一数据特征中，同一目标的特征对应的位置相同。

也就是，第一数据特征为任一时刻下目标的特征，第二数据特征为该任一时刻之前的历史时刻下目标的特征，通过偏移信息将历史时刻目标的特征进行特征偏移处理，偏移后的第二数据特征与该任一时刻目标的特征中，同一目标的特征对应的位置相同；可以利用偏移后的第二数据特征，提升第一传感器数据中目标检测的准确率，具体可以先将第一数据特征和偏移后的第二数据特征融合，得到融合特征，后续可以利用融合特征，对第一传感器数据中的目标进行检测。

需要说明的是，融合所述第一数据特征和偏移后的第二数据特征的方式可以与现有技术类似，在此不做赘述。例如：可以对第一数据特征和偏移后的第二数据特征中属于同一目标的特征矢量按照串行或并行的方式进行优化组合，从而得到融合特征。

S105：基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果；

得到融合特征后，可以利用融合特征，对第一传感器数据中的目标进行检测，从而确定第一传感器数据中的目标的检测结果。

示例性的，第一传感器数据中的目标的检测结果可以包括：目标的位置信息、大小和朝向等检测结果，当然还可以包括其他检测结果，在此不做限定。

另外，在利用融合特征确定目标的检测结果时，目标检测头，例如：三维目标检测头，可以利用融合特征对第一传感器数据的采集时刻所对应的环境中的目标进行目标检测。

本方案中，考虑到第一传感器数据中的目标，与属于其他采集时刻的第二传感器数据中的目标存在行为轨迹上的关联特性，因此，将第二传感器数据应用于针对第一传感器数据中的目标检测过程；而在将第二传感器数据应用到检测过程中时，借助第一传感器数据中的目标相对于第二传感器数据的采集时刻的空间偏移，对第二传感器数据的第二数据特征进行特征偏移处理，并对融合有第一数据特征和偏移后的第二数据特征的融合特征，进行针对第一传感器数据中的目标的检测，使得通过不同采集时刻的行为轨迹的关联分析，对目标检测进行协助。可见，相较于相关技术，本公开实施例可以提高目标检测的准确率。

可选地，基于上述实施例，在本公开的另一实施例中，所述基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息，包括步骤A1-A4：

步骤A1：获取对所述第一数据特征进行嵌入特征分析所得到的第一嵌入特征；

步骤A2：获取对所述第二数据特征进行嵌入特征分析所得到的第二嵌入特征；

由于任一目标所对应的偏移信息不尽相同，在确定第一传感器数据中目标对应的偏移信息时，需要确定各个目标对应的偏移信息，因此，需要确定第一数据特征和第二数据特征中各个目标具体的嵌入特征，从而确定同一目标在不同时刻的偏移信息。

因此，可以先对第一数据特征和第二数据特征进行嵌入特征分析，分别得到第一嵌入特征和第二嵌入特征，所谓嵌入特征可以表征各个目标独立的特征，而第一数据特征和第二数据特征可以为所针对的同一环境在不同时刻的包含有多个目标的整体特征。

步骤A3：利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果；其中，所述空间关联分析用于分析所述目标在所述第一嵌入特征的特征内容相对于在所述第二嵌入特征中的特征内容的偏移；

得到第一嵌入特征和第二嵌入特征后，可以利用第一嵌入特征和第二嵌入特征对第一传感器数据中的目标进行空间关联分析，所谓空间关联分析，即分析不同采集时刻同一目标在空间中的关联性，即特征内容的偏移，可以基于此后续确定第一传感器数据中的目标对应的偏移信息。

步骤A4：基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息。

得到关联分析结果后，可以根据关联分析结果，进一步确定第一传感器数据中的目标对应的偏移信息。

示例性的，所述基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息的步骤，通过预先训练的特征偏移网络来实现。该特征偏移网络不仅可以对第二数据特征进行特征偏移处理，还可以利用关联分析结果，确定第一传感器数据中目标对应的偏移信息，此时只需将关联分析结果输入至该特征偏移网络，即可得到目标对应的偏移信息。

通过特征偏移网络确定目标对应的偏移信息的方式，仅仅需要将关联分析结果作为输入，即可快速得到目标对应的偏移信息。

通过对第一数据特征和第二数据特征提取对应的第一嵌入特征和第二嵌入特征，进而确定第一传感器数据中的目标对应的偏移信息的方式，可以直观、准确地确定第一传感器数据中任一目标对应的偏移信息，从而后续可以提高第一传感器数据中的所述目标的检测结果的准确率。

可选地，所述关联分析结果为各个候选偏移量以及每一候选偏移量的概率；其中，所述候选偏移量为所述目标在第一嵌入特征中的特征内容相对于在第二嵌入特征中的特征内容的偏移量；

所述基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息，包括：

以每一候选偏移量的概率作为该候选偏移量的加权权重，对各个候选偏移量进行加权，得到所述第一传感器数据中的所述目标对应的偏移信息。

关联分析结果中可以包含各个候选偏移量以及每一候选偏移量的概率，每一候选偏移量还具有其偏移的方向，在利用关联分析结果确定目标对应的偏移信息时，每一目标均对应有多个候选偏移量，针对每一目标，可以以该目标对应的每一候选偏移量的概率作为加权权重，对各个候选偏移量进行加权，得到第一传感器数据中的各个目标对应的偏移信息。

示例性的，关联分析结果可以为基于BEV(Bird’s Eye View，鸟瞰图)空间的关联分析结果，即关联分析结果为第一传感器数据所针对的场景的俯视图分析结果，针对每一目标，关联分析结果中包含有该目标针对不同采集时刻的候选偏移量的大小、方向以及概率，可以利用关联分析结果，直观、快速地确定第一传感器数据中的各个目标对应的偏移信息。

可选地，所述获取对所述第一数据特征进行嵌入特征分析所得到的第一嵌入特征，包括：

将所述第一数据特征输入到预先训练的Re-ID网络，以使所述Re-ID网络对所述第一数据特征进行嵌入特征提取，得到第一嵌入特征；

所述获取对所述第二数据特征进行嵌入特征分析所得到的第二嵌入特征，包括：

将所述第二数据特征输入到所述Re-ID网络，以使所述Re-ID网络对所述第二数据特征进行嵌入特征提取，得到第二嵌入特征。

其中，Re-ID(Re-identification)网络为一种特征提取网络，Re-ID的定义是通过算法，在图像库中找到要搜索的目标的技术，是属于图像检索的子问题，即可以在图像或视频序列中检测出目标对象；在本公开中，Re-ID网络能够从包含多个目标整体环境的特征中，提取任一具体目标的嵌入特征，第一数据特征和第二数据特征可以输入至Re-ID网络，从而简便、快捷地得到第一嵌入特征和第二嵌入特征。

可选地，所述利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果，包括：

将所述第一嵌入特征和第二嵌入特征输入至预先训练的空间关联网络，以使所述空间关联网络利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果。

可以理解的是，利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析时，可以通过预先训练的空间关联网络的方式，对第一传感器数据中的目标进行空间关联分析，从而快速得到关联分析结果，从而提高后续确定偏移信息以及后续确定目标的检测结果的效率。

在确定第一传感器数据中的目标对应的偏移信息时，可以先对第一数据特征和第二数据特征进一步提取第一嵌入特征和第二嵌入特征，通过第一嵌入特征和第二嵌入特征可以对不同采集时刻的目标的特征进行空间关联分析，关联分析结果中可以包含有目标嵌入特征中的特征内容的偏移，

通过关联分析结果即可确定目标对应的偏移信息。可见，通过嵌入特征分5析的方式，可以直观、快速地确定目标对应的偏移信息。

可选地，在本公开的另一实施例中，所述第一传感器数据包括第一图像数据和第一点云数据；所述第二传感器数据包括第二图像数据和第二点云数据；

0所述第一数据特征的获取方式，包括：

提取所述第一图像数据的数据特征，以及提取所述第一点云数据的数据特征；

对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；5所述第二数据特征的获取方式，包括：

提取所述第二图像数据的数据特征，以及提取所述第二点云数据的数据特征；

对所述第二图像数据的数据特征和所述第二点云数据的数据特征进行融合，得到所述第二传感器数据的数据特征，作为第二数据特征。

0在融合图像数据的数据特征和点云数据的数据特征时，可以按照点云数据与图像数据的对应关系进行融合，例如：将点云数据中的点云投影至点云对应的图像中，使得点云数据中的点云与图像中的目标的特征对齐，从而得到融合后的传感器数据的数据特征。其中，可以通过标定相机和图像的变化关系，将点云投影至图像中。

5本实施例中，任一传感器数据包括图像数据和点云数据，在获取任一传感器数据的数据特征时，可以分别提取图像数据的数据特征以及点云数据的数据特征，并将图像数据的数据特征和点云数据的数据特征融合，从而得到准确的传感器数据对应的数据特征。

可选地，所述对所述第一图像数据的数据特征和所述第一点云数据的0数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征，包括：

利用所述第一点云数据中的指导点，对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；

其中，所述第一点云数据中的指导点为用于进行特征对齐的基准特征内容。

本公开在融合图像数据的数据特征和点云数据的数据特征时，可以通过点云数据中的指导点，将指导点投影至对应的图像数据的数据特征中，即可实现图像数据的数据特征和点云数据的数据特征的融合。

其中，指导点可以为点云数据中多个点云中的部分点云，例如：在点云数据的数据特征中，存在多个目标的位置框，每一位置框中包含有属于一个目标的多个点云，可以从每一位置框中按照指定选取条件，选取指定数量个点云，作为上述的指导点。指定选取条件可以为高度条件，当然也可以为其他条件，任一能选取用于进行特征对齐的基准特征内容作为指导点的条件，均适用于本公开实施例，在此不做限定。

由于点云数据可以表征目标的三维特征，即能够体现目标的高度特征，当利用高度条件选取指导点时，可以将高度划分为3个高度：地面高度、中间高度以及最高高度，可以根据上述3个高度，并结合位置框的中心点，从每一高度中，选取一个指导点，其中，所选取的三个指导点的地面坐标相同。

示例性的，针对第一图像数据的数据特征以及第一点云数据的数据特征，在融合时，若第一点云数据的数据特征中存在4个位置框，即存在4个目标，针对每一目标存在3个指导点，在特征融合时，可以将第一点云数据的数据特征中共12个指导点，投影至图像数据的数据特征中，使得4个目标的点云数据的数据特征和图像数据的数据特征融合，从而得到第一数据特征。

需要说明的是，第二图像数据的数据特征和第二点云数据的数据特征进行融合时，也可以采用上述方法进行融合。

上述针对任一数据特征的获取方式的描述，以及融合图像数据的数据特征和点云数据的数据特征的描述，仅仅作为示例，并不应构成对本公开的限定。

本方案中，在融合第一图像数据的数据特征和第一点云数据的数据特征时，通过在第一点云数据中预先设置指导点的方式，不必采用相关技术中点云数据和图像数据中的目标的特征一一进行融合的方式，只需利用进行特征对齐的基准特征内容的指导点，即可实现图像数据的数据特征和点云数据的数据特征的融合，大大缩短了其特征融合时间。

需要说明的是，上述的第一嵌入特征和第二嵌入特征可以通过嵌入特征图的形式表征各个目标的嵌入特征，并且，为了方便进行区分，第一数据特征和第二数据特征可以属于检测特征图，而第一嵌入特征和第二嵌入特征可以属于嵌入特征图。另外，第一传感器数据、第二传感器数据、第一数据特征、第二数据特征、第一嵌入特征以及第二嵌入特征中的“第一”和“第二”仅仅从命名上对不同采集时刻的数据、特征和嵌入特征进行区分，并不具有任何限定意义。

下面结合附图，对本公开所提供的另一种多传感器融合目标检测方法进行示例性介绍。

如图2所示，本公开提供的一种目标多传感器融合检测方法，可以包括如下步骤：

S201：获取第一传感器数据和第二传感器数据；

其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

在对当前时刻的传感器数据中的目标进行检测时，可以先获取第一传感器数据和第二传感器数据，从而通过后续的步骤，实现对当前时刻传感器数据中的目标进行检测。

需要说明的是，第一传感器数据可以为当前时刻的传感器数据，第二传感器数据可以为历史时刻的传感器数据，在此不做限定。

示例性的，传感器数据可以包括图像数据和/或点云数据。

S202：将所述第一传感器数据和第二传感器数据输入至预先训练的目标检测模型，得到所述第一传感器数据中的目标的检测结果；

其中，所述目标检测模型包括：特征处理子模型以及结果输出子模型；

所述特征处理子模型，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；以及用于基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

所述结果输出子模型，用于基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

得到第一传感器数据和第二传感器数据后，可以直接将第一传感器数据和第二传感器数据，输入至预先训练的目标检测模型，即可得到第一传感器数据中的目标的检测结果。

可以理解的是，目标检测模型可以包括多个子模型，在将第一传感器数据和第二传感器数据，输入至预先训练的目标检测模型后，特征处理子模型可以先获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征，并经过偏移信息的确定、特征偏移处理以及特征融合等步骤，可以得到融合特征，并将融合特征输入至结果输出子模型中；结果输出子模型可以利用融合特征，确定第一传感器数据中的目标的检测结果。

需要说明的是，步骤S202中包含有多个子模型，其所实现的功能可以与上属于步骤S101-S105所描述的功能类似，在此不做赘述；针对上述各个模型或子模型的训练方式，可以与现有技术类似，在此不做限定。

本方案中，可以先获取第一传感器数据和第二传感器数据，并将第一传感器数据和第二传感器数据输入至预先训练的目标检测模型，即可得到第一传感器数据中的目标的检测结果。特征处理子模型可以提取第一数据特征以及第二数据特征，并确定偏移信息，利用偏移信息得到偏移后的第二数据特征，通过融合第一数据特征和偏移后的第二数据特征，得到融合特征；结果输出子模型可以利用融合特征确定目标的检测结果。本公开考虑了不同采集时刻目标对应的偏移信息对目标的检测结果的影响，融合特征中包含有第一数据特征以及利用目标的偏移信息所偏移后的第二数据特征，在确定目标的检测结果时，能够提高目标检测的准确率。并且，通过预先建立目标检测模型的方式，只需将第一传感器数据和第二传感器数据作为输入，能够快速得到目标检测的结果。

可选地，基于上述实施例，在基本公开的另一实施例中，所述特征处理子模型包括：数据特征提取网络、Re-ID网络、空间关联网络、特征偏移网络以及第一融合网络；

所述数据特征提取网络，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；

所述Re-ID网络，用于对所述第一数据特征进行嵌入特征提取，得到第一嵌入特征，以及对所述第二数据特征进行嵌入特征提取，得到第二嵌入特征；

所述空间关联网络，用于利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果；其中，所述空间关联分析用于分析所述目标在所述第一嵌入特征的特征内容相对于在所述第二嵌入特征中的特征内容的偏移；

所述特征偏移网络，用于基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息，并按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；

所述第一融合网络，用于融合所述第一数据特征和偏移后的第二数据特征，得到融合特征。

可以理解的是，特征处理子模型中可以包含有多个卷积网络：数据特征提取网络，可以根据传感器数据提取对应的数据特征；Re-ID网络，可以提取数据特征中的嵌入特征；空间关联网络可以对嵌入特征进行空间关联分析，得到关联分析结果；特征偏移网络可以基于关联分析结果确定目标对应的偏移信息，并根据偏移信息对第二数据特征进行特征偏移处理；第一融合网络可以融合一数据特征和偏移后的第二数据特征，得到融合特征。

数据特征提取网络所实现的功能与步骤S101类似，Re-ID网络所实现的功能与步骤A1、A2类似，空间关联网络所实现的功能与步骤A3类似，特征偏移网络所实现的功能于步骤A4以及步骤S103类似，第一融合网络所实现的功能与步骤S104类似，在此不做赘述。

通过将特征处理子模型，划分为多个网络的形式，可以减少多个网络之间的耦合，提高特征处理子模型的处理效率。

可选地，所述第一传感器数据包括第一图像数据和第一点云数据；所述第二传感器数据包括第二图像数据和第二点云数据；

所述数据特征提取网络包括：

第一骨干网络、第二骨干网络以及第二融合网络；

所述第一骨干网络，用于提取所述第一图像数据的数据特征，以及提取所述第二图像数据的数据特征：

所述第二骨干网络，用于提取所述第一点云数据的数据特征，以及所述第二点云数据的数据特征；

所述第二融合网络，用于对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；以及对所述第二图像数据的数据特征和所述第二点云数据的数据特征进行融合，得到所述第二传感器数据的数据特征，作为第二数据特征。

本实施例中，传感器数据可以包括图像数据和点云数据，在利用数据特征提取网络对第一传感器数据和第二传感器数据进行特征提取时，利用第一骨干网络分别提取第一图像数据的数据特征，以及提取第二图像数据的数据特征；利用第二骨干网络，提取第一点云数据的数据特征，以及第二点云数据的数据特征；之后可以利用第二融合网络，将第一传感器数据中的第一图像数据的数据特征和第一点云数据的数据特征进行融合，以及将第二传感器数据中的第二图像数据的数据特征和第二点云数据的数据特征进行融合，分别得到第一数据特征和第二数据特征。

通过将数据特征提取网络，划分为多个网络的形式，可以减少多个网络之间的耦合，提高数据特征提取网络的处理效率。

下面结合一具体实施例，对本公开提供的目标检测模型进行详细介绍。

如图3所示，本公开提供的目标检测模型可以包括：多传感器融合特征提取模块、特征传播模块、中心检测头模块以及边界框细化网络。

多传感器融合特征提取模块包括：相机骨干网络、点云骨干网络、多传感器融合模块以及Re-ID特征提取模块。其中，相机骨干网络对应上述第一骨干网络；点云骨干网络对应上述第二骨干网络；多传感器融合模块对应上述第二融合网络；Re-ID特征提取模块对应上述Re-ID网络；多传感器融合特征提取模块包含上述数据特征提取网络以及Re-ID网络。

可以将t时刻的点云数据和图像数据(对应上述第一传感器数据)，以及t-1时刻的点云数据和图像数据(对应上述第二传感器数据)作为输入，图像数据经过相机骨干网络得到图像特征，点云数据经过点云骨干网络得到点云特征；多传感器融合模块可以将t时刻的图像特征和点云特征融合，以及将t-1时刻的图像特征和点云特征融合，分别得到t时刻的融合特征和t-1时刻的融合特征，并分别作为当前帧检测特征图以及历史帧检测特征图，对应上述第一数据特征和第二数据特征；Re-ID特征提取模块可以将t时刻的融合特征和t-1时刻的融合特征进行嵌入特征分析，得到t时刻嵌入特征以及t-1时刻的嵌入特征，并分别作为当前帧嵌入特征图以及历史帧嵌入特征图，对应上述第一嵌入特征和第二嵌入特征。对应上述获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征，以及获取第一嵌入特征和第二嵌入特征的步骤。

特征传播模块包括：关联模块以及特征偏移模块。其中，关联模块对应上述空间关联网络；特征偏移模块对应上述特征偏移网络。

得到多传感器融合特征提取模块所输出的当前帧嵌入特征图以及历史帧嵌入特征图后，关联模块可以对其进行关联特征分析，得到关联分析结果；特征偏移模块可以利用关联分析结果，计算当前帧和历史帧中各个目标的偏移量(对应上述目标对应的偏移信息)，并利用各个目标的偏移量对历史帧检测特征图中的各个目标进行特征偏移处理，得到偏移后的历史帧检测特征图；将偏移后的历史帧检测特征图中各个目标的特征与当前帧检测特征图中所对应的各个目标的特征融合，可以得到融合特征检测图(对应上述融合特征)，对应上述第一融合网络所实现的功能。对应上述利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果；基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息；以及融合所述第一数据特征和偏移后的第二数据特征，得到融合特征的步骤。

中心检测头模块可以利用特征传播模块所输出的融合特征检测图，对当前帧中的目标进行检测，并得到第一阶段检测结果。对应上述基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果的步骤。

边界框细化网络可以利用融合特征检测图，以及中心检测头模块所输出的第一阶段检测结果，进一步对目标检测结果进行细化，例如：调整目标的检测框的大小和朝向，从而得到细化后的检测结果。

本方案中，以t时刻和t-1时刻的经过时空对准后的点云数据和图像数据为输入，分别通过其对应的骨干网络进行特征提取，经多传感器融合模块将任一时刻的点云特征和图像特征融合，再利用Re-ID特征提取模块提取各个目标多模态的嵌入特征；关联模块可以将当前帧和历史帧的嵌入特征图进行关联，并输出关联分析结果，特征偏移模块可以利用关联分析结果学习当前帧和历史帧之间各个目标的时空线索，即各个目标的偏移信息；并通过时空线索将历史帧检测特征图中各个目标的特征进行偏移，即将历史帧的特征传播至当前帧；然后将偏移后的特征与当前帧检测特征图中各个目标的特征融合，得到融合特征检测图，融合特征检测图中，考虑了不同采集时刻目标对应的偏移信息对目标的检测结果的影响，在利用融合特征检测图确定目标的检测结果时能够提高目标检测的准确率，尤其能够提高针对遮挡等复杂场景下目标检测的准确率。

另外，本公开提供的目标对应的偏移信息可以用于后续目标的行为分析或轨迹分析中，如：对与当前时刻的目标以及历史时刻的目标，当确定其偏移信息后，可以确定目标在历史时刻至当前时刻的轨迹分析结果，而当前时刻的目标和历史时刻的目标可以作为匹配对，该匹配对可以包含于上述的关联分析结果中。

根据本公开的实施例，本公开还提供了一种多传感器融合目标检测装置，如图4所示，该装置包括：

第一获取模块410，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

第一确定模块420，用于基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

处理模块430，用于按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；

融合模块440，用于融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；

第二确定模块450，用于基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

本方案中，考虑到第一传感器数据中的目标，与属于其他采集时刻的第二传感器数据中的目标存在行为轨迹上的关联特性，因此，将第二传感器数据应用于针对第一传感器数据中的目标检测过程；而在将第二传感器数据应用到检测过程中时，借助第一传感器数据中的目标相对于第二传感器数据的采集时刻的空间偏移，对第二传感器数据的第二数据特征进行特征偏移处理，并对融合有第一数据特征和偏移后的第二数据特征的融合特征，进行针对第一传感器数据中的目标的检测，使得通过不同采集时刻的行为轨迹的关联分析，对目标检测进行协助。可见，相较于相关技术，本公开实施例可以提高目标检测的准确率。

可选地，所述第一确定模块，包括：

第一获取子模块，用于获取对所述第一数据特征进行嵌入特征分析所得到的第一嵌入特征；

第二获取子模块，用于获取对所述第二数据特征进行嵌入特征分析所得到的第二嵌入特征；

分析子模块，用于利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果；其中，所述空间关联分析用于分析所述目标在所述第一嵌入特征的特征内容相对于在所述第二嵌入特征中的特征内容的偏移；

确定子模块，用于基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息。

可选地，所述关联分析结果为各个候选偏移量以及每一候选偏移量的概率；其中，所述候选偏移量为所述目标在第一嵌入特征中的特征内容相对于在第二嵌入特征中的特征内容的偏移量；

所述确定子模块，具体用于：

以每一候选偏移量的概率作为该候选偏移量的加权权重，对各个候选偏移量进行加权，得到所述第一传感器数据中的所述目标对应的偏移信息。

可选地，所述第一获取子模块，具体用于：

将所述第一数据特征输入到预先训练的Re-ID网络，以使所述Re-ID网络对所述第一数据特征进行嵌入特征提取，得到第一嵌入特征；

所述第二获取子模块，具体用于：

将所述第二数据特征输入到所述Re-ID网络，以使所述Re-ID网络对所述第二数据特征进行嵌入特征提取，得到第二嵌入特征。

可选地，所述分析子模块，具体用于：

将所述第一嵌入特征和第二嵌入特征输入至预先训练的空间关联网络，以使所述空间关联网络利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果。

可选地，所述基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息，以及所述按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理的步骤，通过预先训练的特征偏移网络来实现。

可选地，所述第一传感器数据包括第一图像数据和第一点云数据；所述第二传感器数据包括第二图像数据和第二点云数据；

所述第一数据特征的获取方式，包括：

提取所述第一图像数据的数据特征，以及提取所述第一点云数据的数据特征；

对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；

所述第二数据特征的获取方式，包括：

提取所述第二图像数据的数据特征，以及提取所述第二点云数据的数据特征；

对所述第二图像数据的数据特征和所述第二点云数据的数据特征进行融合，得到所述第二传感器数据的数据特征，作为第二数据特征。

可选地，所述对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征，包括：

利用所述第一点云数据中的指导点，对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；

其中，所述第一点云数据中的指导点为用于进行特征对齐的基准特征内容。

根据本公开的实施例，本公开还提供了另一种多传感器融合目标检测装置，如图5所示，该装置包括：

第二获取模块510，用于获取第一传感器数据和第二传感器数据；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

输入模块520，用于将所述第一传感器数据和第二传感器数据输入至预先训练的目标检测模型，得到所述第一传感器数据中的目标的检测结果；

其中，所述目标检测模型包括：特征处理子模型以及结果输出子模型；

所述特征处理子模型，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；以及用于基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

所述结果输出子模型，用于基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

本方案中，可以先获取第一传感器数据和第二传感器数据，并将第一传感器数据和第二传感器数据输入至预先训练的目标检测模型，即可得到第一传感器数据中的目标的检测结果。特征提取子模型可以提取第一数据特征以及第二数据特征；特征分析子模型可以确定偏移信息，并利用偏移信息得到偏移后的第二数据特征，通过融合第一数据特征和偏移后的第二

数据特征，得到融合特征；结果输出子模型可以利用融合特征确定目标的5检测结果。本公开考虑了不同采集时刻目标对应的偏移信息对目标的检测结果的影响，融合特征中包含有第一数据特征以及利用目标的偏移信息所偏移后的第二数据特征，在确定目标的检测结果时，能够提高目标检测的准确率。并且，通过预先建立目标检测模型的方式，只需将第一传感器数据和第二传感器数据作为输入，能够快速得到目标检测的结果。

0可选地，所述特征处理子模型包括：数据特征提取网络、Re-ID网络、空间关联网络、特征偏移网络以及第一融合网络；

所述数据特征提取网络，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；

所述Re-ID网络，用于对所述第一数据特征进行嵌入特征提取，得到5第一嵌入特征，以及对所述第二数据特征进行嵌入特征提取，得到第二嵌入特征；

所述空间关联网络，用于利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果；

其中，所述空间关联分析用于分析所述目标在所述第一嵌入特征的特征内0容相对于在所述第二嵌入特征中的特征内容的偏移；

所述特征偏移网络，用于基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息，并按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；

所述第一融合网络，用于融合所述第一数据特征和偏移后的第二数据5特征，得到融合特征。

可选地，所述第一传感器数据包括第一图像数据和第一点云数据；所述第二传感器数据包括第二图像数据和第二点云数据；

所述数据特征提取网络包括：

第一骨干网络、第二骨干网络以及第二融合网络；

0所述第一骨干网络，用于提取所述第一图像数据的数据特征，以及提取所述第二图像数据的数据特征：

所述第二骨干网络，用于提取所述第一点云数据的数据特征，以及所述第二点云数据的数据特征；

所述第二融合网络，用于对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；以及对所述第二图像数据的数据特征和所述第二点云数据的数据特征进行融合，得到所述第二传感器数据的数据特征，作为第二数据特征。

根据本公开的实施例，本公开还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。

本公开实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一多传感器融合目标检测方法。

本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行任一种多传感器融合目标检测方法。

本公开实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现任一种多传感器融合目标检测方法。

本公开实施例提供了一种自动驾驶车辆，包括所述电子设备。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如多传感器融合目标检测方法。例如，在一些实施例中，多传感器融合目标检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的多传感器融合目标检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行多传感器融合目标检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种多传感器融合目标检测方法，包括：

获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；

融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；

基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

2.根据权利要求1所述的方法，其中，所述基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息，包括：

获取对所述第一数据特征进行嵌入特征分析所得到的第一嵌入特征；

获取对所述第二数据特征进行嵌入特征分析所得到的第二嵌入特征；

利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果；其中，所述空间关联分析用于分析所述目标在所述第一嵌入特征的特征内容相对于在所述第二嵌入特征中的特征内容的偏移；

基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息。

3.根据权利要求2所述的方法，其中，所述关联分析结果为各个候选偏移量以及每一候选偏移量的概率；其中，所述候选偏移量为所述目标在第一嵌入特征中的特征内容相对于在第二嵌入特征中的特征内容的偏移量；

所述基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息，包括：

以每一候选偏移量的概率作为该候选偏移量的加权权重，对各个候选偏移量进行加权，得到所述第一传感器数据中的所述目标对应的偏移信息。

4.根据权利要求2所述的方法，其特征在于，所述获取对所述第一数据特征进行嵌入特征分析所得到的第一嵌入特征，包括：

将所述第一数据特征输入到预先训练的Re-ID网络，以使所述Re-ID网络对所述第一数据特征进行嵌入特征提取，得到第一嵌入特征；

所述获取对所述第二数据特征进行嵌入特征分析所得到的第二嵌入特征，包括：

将所述第二数据特征输入到所述Re-ID网络，以使所述Re-ID网络对所述第二数据特征进行嵌入特征提取，得到第二嵌入特征。

5.根据权利要求2所述的方法，其中，所述利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果，包括：

将所述第一嵌入特征和第二嵌入特征输入至预先训练的空间关联网络，以使所述空间关联网络利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果。

6.根据权利要求2所述的方法，其中，所述基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息，以及所述按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理的步骤，通过预先训练的特征偏移网络来实现。

7.根据权利要求1-6任一项所述的方法，其中，所述第一传感器数据包括第一图像数据和第一点云数据；所述第二传感器数据包括第二图像数据和第二点云数据；

所述第一数据特征的获取方式，包括：

提取所述第一图像数据的数据特征，以及提取所述第一点云数据的数据特征；

对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；

所述第二数据特征的获取方式，包括：

提取所述第二图像数据的数据特征，以及提取所述第二点云数据的数据特征；

对所述第二图像数据的数据特征和所述第二点云数据的数据特征进行融合，得到所述第二传感器数据的数据特征，作为第二数据特征。

8.根据权利要求7所述的方法，其中，所述对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征，包括：

利用所述第一点云数据中的指导点，对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；

其中，所述第一点云数据中的指导点为用于进行特征对齐的基准特征内容。

9.一种多传感器融合目标检测方法，包括：

获取第一传感器数据和第二传感器数据；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

将所述第一传感器数据和第二传感器数据输入至预先训练的目标检测模型，得到所述第一传感器数据中的目标的检测结果；

其中，所述目标检测模型包括：特征处理子模型以及结果输出子模型；

所述特征处理子模型，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；以及用于基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

所述结果输出子模型，用于基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

10.根据权利要求9所述的方法，其中，所述特征处理子模型包括：

数据特征提取网络、Re-ID网络、空间关联网络、特征偏移网络以及第一融合网络；

所述数据特征提取网络，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；

所述Re-ID网络，用于对所述第一数据特征进行嵌入特征提取，得到第一嵌入特征，以及对所述第二数据特征进行嵌入特征提取，得到第二嵌入特征；

所述空间关联网络，用于利用所述第一嵌入特征和所述第二嵌入特征，对所述第一传感器数据中的目标进行空间关联分析，得到关联分析结果；其中，所述空间关联分析用于分析所述目标在所述第一嵌入特征的特征内容相对于在所述第二嵌入特征中的特征内容的偏移；

所述特征偏移网络，用于基于所述关联分析结果，确定所述第一传感器数据中的所述目标对应的偏移信息，并按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；

所述第一融合网络，用于融合所述第一数据特征和偏移后的第二数据特征，得到融合特征。

11.根据权利要求10所述的方法，其中，所述第一传感器数据包括第一图像数据和第一点云数据；所述第二传感器数据包括第二图像数据和第二点云数据；

所述数据特征提取网络包括：

第一骨干网络、第二骨干网络以及第二融合网络；

所述第一骨干网络，用于提取所述第一图像数据的数据特征，以及提取所述第二图像数据的数据特征：

所述第二骨干网络，用于提取所述第一点云数据的数据特征，以及所述第二点云数据的数据特征；

所述第二融合网络，用于对所述第一图像数据的数据特征和所述第一点云数据的数据特征进行融合，得到所述第一传感器数据的数据特征，作为第一数据特征；以及对所述第二图像数据的数据特征和所述第二点云数据的数据特征进行融合，得到所述第二传感器数据的数据特征，作为第二数据特征。

12.一种多传感器融合目标检测装置，包括：

第一获取模块，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

第一确定模块，用于基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

处理模块，用于按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；

融合模块，用于融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；

第二确定模块，用于基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

13.一种多传感器融合目标检测装置，包括：

第二获取模块，用于获取第一传感器数据和第二传感器数据；其中，所述第一传感器数据和第二传感器数据为针对同一场景的数据且采集时刻不同；

输入模块，用于将所述第一传感器数据和第二传感器数据输入至预先训练的目标检测模型，得到所述第一传感器数据中的目标的检测结果；

其中，所述目标检测模型包括：特征处理子模型以及结果输出子模型；

所述特征处理子模型，用于获取第一传感器数据的第一数据特征以及第二传感器数据的第二数据特征；以及用于基于所述第一数据特征和第二数据特征，确定所述第一传感器数据中的目标对应的偏移信息；按照所述偏移信息，对所述第二数据特征进行针对所述目标的特征偏移处理；融合所述第一数据特征和偏移后的第二数据特征，得到融合特征；其中，所述偏移信息用于表征所述目标在所述第一传感器数据的采集时刻相对于在所述第二传感器数据的采集时刻的空间偏移；

所述结果输出子模型，用于基于所述融合特征，确定所述第一传感器数据中的所述目标的检测结果。

14.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8和/或权利要求9-11中任一项所述的多传感器融合目标检测方法。

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8和/或权利要求9-11中任一项所述的多传感器融合目标检测方法。

16.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8和/或权利要求9-11中任一项所述的多传感器融合目标检测方法。

17.一种自动驾驶车辆，包括权利要求14所述的电子设备。

Images