CN117315429A - 多模态传感器融合感知方法、计算机设备、介质及车辆 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，具体提供一种多模态传感器融合感知方法、计算机设备、介质及车辆，旨在解决提高多传感器融合感知的准确性的问题。为此目的，本发明提供的方法包括获取多个不同模态的传感器中各传感器得到的传感器数据，采用预设的感知模型对各传感器得到的传感器数据进行融合感知；其中，可以获取多个不同模态的传感器中各传感器得到的第一传感器数据；选取一种模态的传感器作为主传感器，对主传感器得到的第一传感器数据的时间戳添加噪声，以形成第二传感器数据；采用第二传感器数据与非主传感器得到的第一传感器数据，训练得到预设的感知模型。通过上述方法可以提高对多模态传感器数据融合感知的鲁棒性和准确性。

Description

多模态传感器融合感知方法、计算机设备、介质及车辆

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种多模态传感器融合感知方法、计算机设备、介质及车辆。

背景技术

在对车辆进行自动驾驶控制时可以获取车辆上各模态传感器（如相机和激光雷达）的传感器数据，利用感知模型对这些传感器数据进行融合感知，以获取车辆周围的障碍物等信息，再根据这些信息规划车辆的行驶轨迹，控制车辆按照行驶轨迹自动驾驶等等。

由于各传感器得到的传感器数据的曝光时间或数据扫描时间不同，因此在利用感知模型对传感器数据进行融合时会先对各传感器得到的传感器数据的时间戳进行时间对齐，再进行融合感知。其中，时间对齐的方法主要是根据传感器数据的时间戳进行最近邻匹配。但是，在实际应用中，可能会存在不同传感器得到传感器数据的曝光时间或数据扫描时间的偏差较大的情况，此时通过最近邻匹配到一起的传感器数据的时间戳可能会偏差比较大，导致这些传感器数据对应的被测量对象存在较大差异，如果对这些传感器数据进行融合感知，很可能无法得到准确的感知结果，进而影响基于融合感知结果进行车辆自动驾驶的安全性与可靠性。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何消除或减小不同传感器数据之间时间戳偏差较大对多模态传感器融合感知的影响，以提高多传感器融合感知的准确性的技术问题的多模态传感器融合感知方法、计算机设备、介质及车辆。

在第一方面，提供一种多模态传感器融合感知方法，所述方法包括：

获取多个不同模态的传感器中各传感器得到的传感器数据；

采用预设的感知模型，对各传感器得到的传感器数据进行融合感知；

其中，所述预设的感知模型通过下列方式训练得到：

获取多个不同模态的传感器中各传感器得到的第一传感器数据；

选取一种模态的传感器作为主传感器，对所述主传感器得到的第一传感器数据的时间戳添加噪声，以形成第二传感器数据；

采用所述第二传感器数据与非主传感器得到的第一传感器数据，训练得到所述预设的感知模型。

在上述多模态传感器融合感知方法的一个技术方案中，“采用所述第二传感器数据与非主传感器得到的第一传感器数据，训练得到所述预设的感知模型”的步骤具体包括：

从所述非主传感器得到的第一传感器数据中，获取与所述第二传感器数据的时间戳最近邻的第一传感器数据；

采用所述第二传感器数据以及与其时间戳最近邻的第一传感器数据，训练得到所述预设的感知模型。

在上述多模态传感器融合感知方法的一个技术方案中，

“获取多个不同模态的传感器中各传感器得到的第一传感器数据”的步骤具体包括：获取各传感器得到的传感器数据时序序列，其中，所述传感器数据时序序列包括基于时序排列的多个单帧第一传感器数据；

“对所述主传感器得到的第一传感器数据的时间戳添加噪声”的步骤具体包括：分别对所述传感器数据时序序列中各单帧第一传感器数据的时间戳添加相同的噪声或者添加不同的噪声，以形成所述传感器数据时序序列的各单帧第二传感器数据。

在上述多模态传感器融合感知方法的一个技术方案中，所述方法还包括在添加相同的噪声的情况下通过下列方式获取与所述第二传感器数据的时间戳最近邻的第一传感器数据：

针对主传感器的传感器数据时序序列中的各单帧第二传感器数据，从非主传感器的传感器数据时序序列中的各单帧第一传感器数据中，

获取位于这一个单帧第二传感器数据的时间戳之前最近邻的一个单帧第一传感器数据；

或者，

针对主传感器的传感器数据时序序列中的各单帧第二传感器数据，从非主传感器的传感器数据时序序列中的各单帧第一传感器数据中，

获取位于这一个单帧第二传感器数据的时间戳之后最近邻的一个单帧第一传感器数据。

在上述多模态传感器融合感知方法的一个技术方案中，所述方法还包括在添加不同的噪声的情况下通过下列方式获取与所述第二传感器数据的时间戳最近邻的第一传感器数据：

针对主传感器的传感器数据时序序列中的各单帧第二传感器数据，从非主传感器的传感器数据时序序列中的各单帧第一传感器数据中，

随机获取位于这一个单帧第二传感器数据的时间戳之前或之后最近邻的一个单帧第一传感器数据。

在上述多模态传感器融合感知方法的一个技术方案中，“对所述主传感器得到的第一传感器数据的时间戳添加噪声”的步骤具体包括：

获取非主传感器得到的两个相邻的单帧第一传感器数据之间的时间戳差值；

根据所述时间戳差值，对所述主传感器得到的第一传感器数据的时间戳添加噪声；

其中，所述噪声小于所述时间戳差值，所述非主传感器获取传感器数据的频率大于所述主传感器获取传感器数据的频率。

在上述多模态传感器融合感知方法的一个技术方案中，“选取一种模态的传感器作为主传感器”的步骤具体包括：

获取各模态的传感器得到的传感器数据的准确度；

选取所述准确度最高的一种模态的传感器作为主传感器。

在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述多模态传感器融合感知方法的技术方案中任一项技术方案所述的方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述多模态传感器融合感知方法的技术方案中任一项技术方案所述的方法。

在第四方面，提供一种车辆，该车辆包括上述计算机设备的技术方案所述的计算机设备。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明提供的多模态传感器融合感知方法的技术方案中，可以获取多个不同模态的传感器中各传感器得到的传感器数据，采用预设的感知模型对各传感器得到的传感器数据进行融合感知。其中，预设的感知模型通过下列方式训练得到：获取多个不同模态的传感器中各传感器得到的第一传感器数据，选取一种模态的传感器作为主传感器并对主传感器得到的第一传感器数据的时间戳添加噪声以形成第二传感器数据，采用第二传感器数据与非主传感器得到的第一传感器数据训练得到预设的感知模型。通过上述方式训练得到感知模型，可以使感知模型在不同传感器得到传感器数据的曝光时间或数据扫描时间的偏差较大的情况下也能够准确的完成融合感知，从而提高了利用该感知模型对多模态传感器数据融合感知的鲁棒性和准确性，进而提高了利用融合感知结果进行车辆自动驾驶的安全性和可靠性。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：

图1是根据本发明的一个实施例的多模态传感器融合感知方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的获取感知模型的方法的主要步骤流程示意图；

图3是根据本发明的一个实施例的采用第一、第二传感器数据训练感知模型的方法的主要步骤流程示意图；

图4是根据本发明的一个实施例的获取与单帧第二传感器数据的时间戳最近邻的第一传感器数据的示意图；

图5是根据本发明的一个实施例的获取与传感器数据时序序列的时间戳最近邻的第一传感器数据的示意图；

图6是根据本发明的一个实施例的计算机设备的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。

本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。

本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

下面对多模态传感器的融合感知方法的实施例进行说明。

参阅附图1，图1是根据本发明的一个实施例的多模态传感器的融合感知方法的主要步骤流程示意图。如图1所示，本发明实施例中的多模态传感器的融合感知方法主要包括下列步骤S101至步骤S102。

步骤S101：获取多个不同模态的传感器中各传感器得到的传感器数据。步骤S102：采用预设的感知模型，对各传感器得到的传感器数据进行融合感知。

传感器的模态可以根据传感器的类型进行划分，例如可以将传感器的类型作为模态。以相机为例，其类型为图像传感器，相应的其模态也可以是图像传感器。

以自动驾驶为例，多个不同模态的传感器可以包括相机和激光雷达，相机得到的传感器数据为图像，激光雷达点云得到的传感器数据为点云。在控制车辆自动驾驶时可以利用车辆上的相机和激光雷达分别采集车辆周围的图像和点云，再采用预设的感知模型对这些图像和点云进行融合感知，融合感知的结果可以包括车辆周围的车道线信息、障碍物信息等，进而根据融合感知的结果规划车辆的行驶路径并控制车辆按照该行驶路径行驶。

下面对预设的感知模型的获取方法进行说明。如图2所示，在本发明实施例中可以通过下列步骤S201至步骤S203，训练得到感知模型。

步骤S201：获取多个不同模态的传感器中各传感器得到的第一传感器数据。第一传感器数据可以是传感器得到的原始传感器数据，相对地，通过后续步骤S202得到的第二传感器数据不再是原始传感器数据。

在对模型训练时通常是对其进行多次迭代训练，直至满足预设的模型收敛条件，再停止训练。预设的模型收敛条件可以是模型训练的效果指标（如准确率）满足预设条件或者迭代训练的次数达到预设的次数阈值。

对于每次迭代训练可以采用单帧传感器数据进行训练，也可以采用时序多帧传感器数据进行训练。针对这两种训练方法，可以采用不同的方式获取各传感器得到的第一传感器数据。

1、采用单帧传感器数据进行训练

在此情况下，可以分别获取各传感器得到的单帧第一传感器数据，将各传感器得到的单帧第一传感器数据组合成一个传感器数据样本，在每次迭代训练时都采用这样的传感器数据样本进行训练。例如，不同模态的传感器包括相机和激光雷达，则将相机采集的单帧图像（即一帧图像）和激光雷达采集的单帧点云（即一帧点云）组合成一个样本。

2、采用时序多帧传感器数据进行训练

在此情况下，可以分别获取各传感器得到的传感器数据时序序列，将各传感器得到的传感器数据时序序列组合成一个传感器数据样本，在每次迭代训练时都采用这样的传感器数据样本进行训练。

传感器数据时序序列包括基于时序排列的多个单帧第一传感器数据。以相机为例，其得到的传感器数据时序序列可以是按照采集时间由先至后排列的三帧图像。

需要说明的是，在本发明实施例中虽然可以采用上述两种训练方法训练感知模型，但每次迭代训练采用的训练方法需要保持一致。

步骤S202：选取一种模态的传感器作为主传感器，对主传感器得到的第一传感器数据的时间戳添加噪声，以形成第二传感器数据。

本领域技术人员可以根据实际需求灵活地选取一种模态的传感器作为主传感器。在一些优选实施方式中，可以通过下列步骤S2021至步骤S2022，从多个模态的传感器中选取主传感器。

步骤S2021：获取各模态的传感器得到的传感器数据的准确度。步骤S2022：选取准确度最高的一种模态的传感器作为主传感器。

传感器数据的准确度越高，则表明传感器数据对被测量对象的信息描述或表征越准确。例如，不同模态的传感器包括相机和激光雷达且被测量对象是车道线，相机采集得到车道线图像，激光雷达采集得到车道线点云，由于车道线点云对车道线位置的描述或表征要高于车道线图像，因此，可以选取激光雷达作为主传感器。本发明实施例不对各传感器得到的传感器数据的准确度的获取方法作具体限定，只要能够得到各传感器得到的传感器数据的准确度即可。

在一些实施方式中，可以通过下列步骤S2023至步骤S2024，对主传感器得到的第一传感器数据的时间戳添加噪声。

步骤S2023：获取非主传感器得到的两个相邻的单帧第一传感器数据之间的时间戳差值。

传感器得到每一帧传感器数据都可以携带时间戳，该时间戳表示传感器数据被采集的时刻。由于每两个相邻的单帧传感器数据之间的时间间隔基本都是相同的，因此，可以任意选取两个相邻的单帧第一传感器数据，再计算这两个单帧第一传感器数据的时间戳的差值。

步骤S2024：根据时间戳差值，对主传感器得到的第一传感器数据的时间戳添加噪声。其中，添加的噪声小于时间戳差值，非主传感器获取传感器数据的频率大于主传感器获取传感器数据的频率。例如，相机采集图像的频率大于激光雷达获取点云的频率。

噪声是具有时间长度的时间信息。在对第一传感器数据的时间戳添加噪声时可以对这个时间戳增加或减小噪声对应的时间长度。

由前述步骤S201可知，可以采用单帧传感器数据或时序多帧传感器数据进行训练。针对这两种方法，可以分别采用不同的方式添加噪声。

1、采用单帧传感器数据进行训练

在此情况下，可以分别对每个单帧第一传感器数据的时间戳随机添加噪声。通过随机添加噪声，可以使得添加完噪声形成的第二传感器数据中每两个单帧第二传感器数据之间的时间间隔也是随机的，从而提高了第二传感器数据的多样性。

2、采用时序多帧传感器数据进行训练

在此情况下，可以分别对传感器数据时序序列中各单帧第一传感器数据的时间戳添加相同的噪声或者添加不同的噪声，以形成传感器数据时序序列的各单帧第二传感器数据。通过添加相同的噪声，可以保证添加完噪声形成的第二传感器数据中每两个相邻的单帧第二传感器数据之间的时间间隔仍然是基本相同的。而通过添加不同的噪声，可以使每两个相邻的单帧第二传感器数据之间的时间间隔是不同的，同样提高了第二传感器数据的多样性。

步骤S203：采用第二传感器数据与非主传感器得到的第一传感器数据，训练得到预设的感知模型。

在本发明实施例中可以采用常规的模型训练方法，采用第二传感器数据与非主传感器得到的第一传感器数据对感知模型进行训练，在此不进行赘述。

基于上述步骤S201至步骤S203所述的方法，可以使感知模型在不同传感器得到传感器数据的曝光时间或数据扫描时间的偏差较大的情况下也能够准确的完成融合感知，进而能够提高基于上述步骤S101至步骤S102所述的方法对多模态传感器数据融合感知的鲁棒性和准确性。

例如，在根据本发明的多模态传感器的融合感知方法实施例的一个应用场景中，不同模态的传感器包括相机和激光雷达，并利用相机得到的图像和激光雷达得到的点云对感知模型进行融合感知训练，使得训练好的感知模型能够根据环境中的图像和点云感知得到环境中的车辆信息。在正常情况下，由于相机的图像采集频率和激光雷达的点云扫描频率不同，相机和激光雷达针对同一被测量对象得到的图像与点云会相差20ms左右。在实际应用中，可能会由于相机或激光雷达发生异常等原因导致二者针对同一被测量对象得到的图像与点云相差40ms，由于40ms大于20ms，此时点云所描述或表征了被测量对象的全部/大部分信息，但图像仅描述或表征了被测量对象的少部分信息，如果感知模型将上述点云与图像匹配到一起进行融合感知，可能会由于图像中存在的干扰较多，最终导致感知结果出现错误。例如，可能会将石墩感知成车辆。对此，可以采用本发明提供的多模态传感器的融合感知方法对点云的时间戳添加噪声（如减少60ms），使得训练好的感知模型可以在将上述点云与图像匹配到一起进行融合感知时对该图像具备较好的抗干扰能力，最终仍然可以得到较为准确的感知结果。

下面对上述步骤S203作进一步说明。

在上述步骤S203的一些实施方式中，可以通过图3所示的下列步骤S2031至步骤S2032，训练得到预设的感知模型。

步骤S2031：从非主传感器得到的第一传感器数据中，获取与第二传感器数据的时间戳最近邻的第一传感器数据。

具体地，可以获取非主传感器得到的第一传感器数据的时间戳与第二传感器数据的时间戳之间的差值，然后选取差值最小的一个第一传感器数据作为时间戳最近邻的第一传感器数据。

步骤S2032：采用第二传感器数据以及与其时间戳最近邻的第一传感器数据，训练得到预设的感知模型。

具体地，可以将第二传感器数据以及与其时间戳最近邻的第一传感器数据组合成一个传感器数据样本，在每次迭代训练时都采用这样的传感器数据样本进行训练。

基于上述步骤S2031至步骤S2032所述的方法，实现了对第二传感器数据与非主传感器得到的第一传感器数据的时间对齐，从而提高了采用第二传感器数据与非主传感器得到的第一传感器数据训练感知模型的训练效果，提高了感知模型的感知能力。

下面对步骤S2031作进一步说明。

由前述步骤S201可知，可以采用单帧传感器数据或时序多帧传感器数据进行训练。针对这两种方法，可以分别采用不同的方法获取与第二传感器数据的时间戳最近邻的第一传感器数据，下面分别进行说明。

（一）采用单帧传感器数据进行训练

根据前述步骤S2024可知，在对第一传感器数据的时间戳添加噪声时可以对这个时间戳随机地增加或减小噪声对应的时间长度。

若增加时间长度，那么在获取与第二传感器数据的时间戳最近邻的第一传感器数据时，可以从位于这个第二传感器数据的时间戳之后的第一传感器数据中获取时间戳最近邻的第一传感器数据。

若减小时间长度，则可以从位于这个第二传感器数据的时间戳之前的第一传感器数据中获取时间戳最近邻的第一传感器数据。

如图4所示，第一传感器数据是相机得到的图像，第二传感器数据是激光雷达得到的点云。如果没有给图像的时间戳添加噪声，那么与点云的时间戳最近邻的图像是图4中与点云实线连接的那一帧图像。如果给图像的时间戳添加了噪声，那么与点云的时间戳最近邻的图像可能是图4中与点云虚线连接的两帧图像中的一个。

（二）采用时序多帧传感器数据进行训练

根据前述步骤S202的描述可知，在此情况下可以对传感器数据时序序列中各单帧第一传感器数据的时间戳添加相同的噪声或者添加不同的噪声。对于添加相同和不同的噪声，也可以分别采用不同的方法获取时间戳最近邻的第一传感器数据，下面分别进行说明。

1、添加相同的噪声

在上述步骤S2031的一些实施方式中，针对主传感器的传感器数据时序序列中的各单帧第二传感器数据，可以从非主传感器的传感器数据时序序列中的各单帧第一传感器数据中，获取位于这一个单帧第二传感器数据的时间戳之前最近邻的一个单帧第一传感器数据。

如图5所示，第一传感器数据是相机得到的图像，第二传感器数据是激光雷达得到的点云。图5示出了由多帧图像组成的图像时序序列，以及由三帧点云组成的点云时序序列，这三帧点云的时间戳分别是T-4、T-2和T。如果没有给图像的时间戳添加噪声，那么与这三帧点云的时间戳最近邻的图像分别是与点云实线连接的那一帧图像。在给图像的时间戳添加了噪声的情况下，与这三帧点云的时间戳最近邻的图像是图5中与点云虚线连接的两帧图像中的一个。在此步骤中，可以获取位于实线左侧的虚线连接的那一帧图像作为时间戳最近邻的单帧第一传感器数据。

在上述步骤S2031的一些实施方式中，针对主传感器的传感器数据时序序列中的各单帧第二传感器数据，可以从非主传感器的传感器数据时序序列中的各单帧第一传感器数据中，获取位于这一个单帧第二传感器数据的时间戳之后最近邻的一个单帧第一传感器数据。

继续参阅附图5，在此步骤中，可以获取位于实线右侧的虚线连接的那一帧图像作为时间戳最近邻的单帧第一传感器数据。

2、添加不同的噪声

在上述步骤S2031的一些实施方式中，针对主传感器的传感器数据时序序列中的各单帧第二传感器数据，可以从非主传感器的传感器数据时序序列中的各单帧第一传感器数据中，随机获取位于这一个单帧第二传感器数据的时间戳之前或之后最近邻的一个单帧第一传感器数据。继续参阅附图5，在此步骤中，可以获取位于实线左侧或右侧的虚线连接的那一帧图像作为时间戳最近邻的单帧第一传感器数据。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本发明中描述的技术方案属于等同技术方案，因此也将落入本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种计算机设备。

参阅附图6，图6是根据本发明的一个计算机设备实施例的主要结构示意图。如图6所示，本发明实施例中的计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的多模态传感器融合感知方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的多模态传感器融合感知方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的多模态传感器融合感知方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的多模态传感器融合感知方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的多模态传感器融合感知方法，即每个处理器分别执行上述方法实施例的多模态传感器融合感知方法的不同步骤，来共同实现上述方法实施例的多模态传感器融合感知方法。

上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述计算机设备可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。

进一步，本发明还提供了一种计算机可读存储介质。

在根据本发明的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的多模态传感器融合感知方法的程序，该程序可以由处理器加载并运行以实现上述多模态传感器融合感知方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本发明还提供了一种车辆。

在根据本发明的一个车辆的实施例中，车辆可以包括上述计算机设备实施例所述的计算机设备。在本实施例中车辆可以是自动驾驶车辆、无人车等车辆。此外，按照动力源类型划分，本实施例中车辆可以是燃油车、电动车、电能与燃油混合的混动车或使用其他新能源的车辆等。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种多模态传感器融合感知方法，其特征在于，所述方法包括：

获取多个不同模态的传感器中各传感器得到的传感器数据；

采用预设的感知模型，对各传感器得到的传感器数据进行融合感知；

其中，所述预设的感知模型通过下列方式训练得到：

获取多个不同模态的传感器中各传感器得到的第一传感器数据；

选取一种模态的传感器作为主传感器，对所述主传感器得到的第一传感器数据的时间戳添加噪声，以形成第二传感器数据；

采用所述第二传感器数据与非主传感器得到的第一传感器数据，训练得到所述预设的感知模型。

2.根据权利要求1所述的方法，其特征在于，“采用所述第二传感器数据与非主传感器得到的第一传感器数据，训练得到所述预设的感知模型”的步骤具体包括：

从所述非主传感器得到的第一传感器数据中，获取与所述第二传感器数据的时间戳最近邻的第一传感器数据；

采用所述第二传感器数据以及与其时间戳最近邻的第一传感器数据，训练得到所述预设的感知模型。

3.根据权利要求1或2所述的方法，其特征在于，

“获取多个不同模态的传感器中各传感器得到的第一传感器数据”的步骤具体包括：获取各传感器得到的传感器数据时序序列，其中，所述传感器数据时序序列包括基于时序排列的多个单帧第一传感器数据；

“对所述主传感器得到的第一传感器数据的时间戳添加噪声”的步骤具体包括：分别对所述传感器数据时序序列中各单帧第一传感器数据的时间戳添加相同的噪声或者添加不同的噪声，以形成所述传感器数据时序序列的各单帧第二传感器数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括在添加相同的噪声的情况下通过下列方式获取与所述第二传感器数据的时间戳最近邻的第一传感器数据：

针对主传感器的传感器数据时序序列中的各单帧第二传感器数据，从非主传感器的传感器数据时序序列中的各单帧第一传感器数据中，

获取位于这一个单帧第二传感器数据的时间戳之前最近邻的一个单帧第一传感器数据；

或者，

针对主传感器的传感器数据时序序列中的各单帧第二传感器数据，从非主传感器的传感器数据时序序列中的各单帧第一传感器数据中，

获取位于这一个单帧第二传感器数据的时间戳之后最近邻的一个单帧第一传感器数据。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括在添加不同的噪声的情况下通过下列方式获取与所述第二传感器数据的时间戳最近邻的第一传感器数据：

针对主传感器的传感器数据时序序列中的各单帧第二传感器数据，从非主传感器的传感器数据时序序列中的各单帧第一传感器数据中，

随机获取位于这一个单帧第二传感器数据的时间戳之前或之后最近邻的一个单帧第一传感器数据。

6.根据权利要求1所述的方法，其特征在于，“对所述主传感器得到的第一传感器数据的时间戳添加噪声”的步骤具体包括：

获取非主传感器得到的两个相邻的单帧第一传感器数据之间的时间戳差值；

根据所述时间戳差值，对所述主传感器得到的第一传感器数据的时间戳添加噪声；

其中，所述噪声小于所述时间戳差值，所述非主传感器获取传感器数据的频率大于所述主传感器获取传感器数据的频率。

7.根据权利要求1所述的方法，其特征在于，“选取一种模态的传感器作为主传感器”的步骤具体包括：

获取各模态的传感器得到的传感器数据的准确度；

选取所述准确度最高的一种模态的传感器作为主传感器。

8.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的多模态传感器的融合感知方法。

9.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的多模态传感器的融合感知方法。

10.一种车辆，其特征在于，所述车辆包括权利要求9所述的计算机设备。