CN117197631B - 多模态传感器融合感知方法、计算机设备、介质及车辆 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，具体提供一种多模态传感器融合感知方法、计算机设备、介质及车辆，旨在解决提高多传感器融合感知的准确性的问题。为此目的，本发明提供的方法包括获取多个不同模态的传感器中各传感器得到的传感器数据，采用预设的感知模型对各传感器得到的传感器数据进行融合感知；其中，可以获取多个不同模态的传感器中各传感器在未失效时得到的未失效传感器数据；随机选取一个或多个未失效传感器数据并将所述一个或多个未失效传感器数据分别转换成失效传感器数据；采用失效传感器数据与未被随机选取的未失效传感器数据，训练得到预设的感知模型。通过上述方法可以提高对多模态传感器数据融合感知的鲁棒性和准确性。

Description

多模态传感器融合感知方法、计算机设备、介质及车辆

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种多模态传感器融合感知方法、计算机设备、介质及车辆。

背景技术

在对车辆进行自动驾驶控制时可以获取车辆上各模态传感器（如相机和激光雷达）的传感器数据，对这些传感器数据进行融合感知，以获取车辆周围的障碍物等信息，再根据这些信息规划车辆的行驶轨迹，控制车辆按照行驶轨迹自动驾驶等等。目前，常规的多模态传感器融合感知方法主要是先训练好一个能够接收不同模态传感器的传感器数据并对这些传感器数据进行融合感知的模型，再将这个模型设置在车辆上，以便在需要感知障碍物等信息时调用这个模型进行感知。

然而，在实际应用中，由于硬件或软件故障等原因，可能导致传感器失效，此时得到的传感器数据也就是无效数据。如果仍然使用上述模型对包含了无效数据的各传感器数据进行融合感知，会极大地降低融合感知的准确性，进而影响了车辆自动驾驶的安全性和可靠性。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何消除或减小在一部分传感器失效时对多模态传感器融合感知的影响，以提高多传感器融合感知的准确性的技术问题的多模态传感器融合感知方法、计算机设备、介质及车辆。

在第一方面，提供一种多模态传感器的融合感知方法，所述方法包括：

获取多个不同模态的传感器中各传感器得到的传感器数据；

采用预设的感知模型，对各传感器得到的传感器数据进行融合感知；

其中，所述预设的感知模型通过下列方式训练得到：

获取多个不同模态的传感器中各传感器在未失效时得到的未失效传感器数据；

随机选取一个或多个未失效传感器数据，并将所述一个或多个未失效传感器数据分别转换成相应传感器在失效时得到的失效传感器数据；

采用所述失效传感器数据与未被随机选取的未失效传感器数据，训练得到所述预设的感知模型。

上述多模态传感器的融合感知方法的一个技术方案中，“将所述一个或多个未失效传感器数据分别转换成相应传感器在失效时得到的失效传感器数据”的步骤具体包括：

对所述一个或多个未失效传感器数据分别进行掩膜操作；

将完成所述掩膜操作的所述一个或多个未失效传感器数据，分别作为所述一个或多个未失效传感器数据各自对应的传感器在失效时得到的失效传感器数据。

上述多模态传感器的融合感知方法的一个技术方案中，“对所述一个或多个未失效传感器数据分别进行掩膜操作”的步骤具体包括：

获取所述一个或多个未失效传感器数据的原始数据和/或数据特征；

对所述原始数据和/或所述数据特征进行掩膜操作。

上述多模态传感器的融合感知方法的一个技术方案中，所述方法还包括通过下列方式对所述原始数据进行掩膜操作：

针对所述一个或多个未失效传感器数据中的各未失效传感器数据，若所述未失效传感器数据是图像，则将原始图像的颜色设置成预设颜色；若所述未失效传感器数据是点云，则将原始点云的信息设置成预设信息。

上述多模态传感器的融合感知方法的一个技术方案中，所述方法还包括通过下列方式对所述数据特征进行掩膜操作：

针对所述一个或多个未失效传感器数据中的各未失效传感器数据，若所述未失效传感器数据是图像，则将图像特征设置成预设的图像特征；若所述未失效传感器数据是点云，则将点云特征设置成预设的点云特征。

上述多模态传感器的融合感知方法的一个技术方案中，“获取多个不同模态的传感器中各传感器在未失效时得到的未失效传感器数据”的步骤具体包括：

获取所述多个不同模态的传感器中各传感器在未失效时得到的未失效的单帧传感器数据；

或者，

获取所述多个不同模态的传感器中各传感器在未失效时得到的未失效的传感器数据时序序列，其中，所述传感器数据时序序列包括基于时序排列且数量为预设值的未失效的单帧传感器数据。

上述多模态传感器的融合感知方法的一个技术方案中，所述方法还包括在所述未失效传感器数据为未失效的单帧传感器数据时通过下列方式随机选取一个或多个未失效传感器数据：

从所述多个不同模态的传感器中随机选取一个或多个传感器，并获取所述一个或多个传感器在未失效时得到的未失效的单帧传感器数据。

上述多模态传感器的融合感知方法的一个技术方案中，“从所述多个不同模态的传感器中随机选取一个或多个传感器”的步骤具体包括：

随机选取一种或多种模态，分别从每种被选取的模态中随机获取一个或多个或全部的传感器。

上述多模态传感器的融合感知方法的一个技术方案中，所述方法还包括在所述未失效传感器数据为未失效的传感器数据时序序列时通过下列方式随机选取一个或多个未失效传感器数据：

从所述传感器数据时序序列中单帧传感器数据的时序排列次序中随机选取一个或多个时序排列次序；

分别从各传感器的未失效的传感器数据时序序列中，获取排列在所述一个或多个时序排列次序的未失效的单帧传感器数据，作为各传感器各自对应的初始的未失效传感器数据；

从所述多个不同模态的传感器中随机选取一个或多个传感器，并获取所述一个或多个传感器对应的初始的未失效传感器数据，作为最终的未失效传感器数据。

在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述多模态传感器的融合感知方法的技术方案中任一项技术方案所述的方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述多模态传感器的融合感知方法的技术方案中任一项技术方案所述的方法。

在第四方面，提供一种车辆，该车辆包括上述计算机设备的技术方案所述的计算机设备。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明提供的多模态传感器的融合感知方法的技术方案中，可以获取多个不同模态的传感器中各传感器得到的传感器数据，采用预设的感知模型对各传感器得到的传感器数据进行融合感知。其中，预设的感知模型通过下列方式训练得到：获取多个不同模态的传感器中各传感器在未失效时得到的未失效传感器数据；随机选取一个或多个未失效传感器数据，并将所述一个或多个未失效传感器数据分别转换成相应传感器在失效时得到的失效传感器数据；采用失效传感器数据与未被随机选取的未失效传感器数据，训练得到预设的感知模型。通过上述方式训练得到感知模型，可以使感知模型在一部分传感器数据是失效数据的情况下也能够准确的完成融合感知，从而提高了利用该感知模型对多模态传感器数据融合感知的鲁棒性和准确性，进而提高了利用融合感知结果进行车辆自动驾驶的安全性和可靠性。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：

图1是根据本发明的一个实施例的多模态传感器的融合感知方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的获取感知模型的方法的主要步骤流程示意图；

图3是根据本发明的一个实施例的由雷达和相机组成的多模态传感器的示意图；

图4是图3所示多模态传感器发生传感器失效的示意图一；

图5是图3所示多模态传感器发生传感器失效的示意图二；

图6是图3所示多模态传感器发生传感器失效的示意图三；

图7是图3所示多模态传感器发生传感器失效的示意图四；

图8是根据本发明的一个实施例的将未失效传感器数据转换成失效传感器数据的方法的主要步骤流程示意图；

图9是根据本发明的一个实施例的基于传感器数据时序序列训练得到感知模型并利用感知模型进行融合感知的流程示意图；

图10是根据本发明的另一个实施例的基于传感器数据时序序列训练得到感知模型并利用感知模型进行融合感知的流程示意图

图11是根据本发明的一个实施例的计算机设备的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。

本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。

本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

下面对多模态传感器的融合感知方法的实施例进行说明。

参阅附图1，图1是根据本发明的一个实施例的多模态传感器的融合感知方法的主要步骤流程示意图。如图1所示，本发明实施例中的多模态传感器的融合感知方法主要包括下列步骤S101至步骤S102。

步骤S101：获取多个不同模态的传感器中各传感器得到的传感器数据。步骤S102：采用预设的感知模型，对各传感器得到的传感器数据进行融合感知。

传感器的模态可以根据传感器的类型进行划分，例如可以将传感器的类型作为模态。以相机为例，其类型为图像传感器，相应的其模态也可以是图像传感器。

以自动驾驶为例，多个不同模态的传感器可以包括相机和激光雷达，相机得到的传感器数据为图像，激光雷达点云得到的传感器数据为点云。在控制车辆自动驾驶时可以利用车辆上的相机和激光雷达分别采集车辆周围的图像和点云，再采用预设的感知模型对这些图像和点云进行融合感知，融合感知的结果可以包括车辆周围的车道线信息、障碍物信息等，进而根据融合感知的结果规划车辆的行驶路径并控制车辆按照该行驶路径行驶。

下面对预设的感知模型的获取方法进行说明。如图2所示，在本发明实施例中可以通过下列步骤S201至步骤S203，训练得到感知模型。

步骤S201：获取多个不同模态的传感器中各传感器在未失效时得到的未失效传感器数据。

在对模型训练时通常是对其进行多次迭代训练，直至满足预设的模型收敛条件，再停止训练。预设的模型收敛条件可以是模型训练的效果指标（如准确率）满足预设条件或者迭代训练的次数达到预设的次数阈值。

对于每次迭代训练可以采用单帧传感器数据进行训练，也可以采用时序多帧传感器数据进行训练。针对这两种训练方法，可以采用不同的方式获取各传感器得到的未失效传感器数据。

1、采用单帧传感器数据进行训练

在此情况下，可以分别获取多个不同模态的传感器中各传感器在未失效时得到的未失效的单帧传感器数据，将各传感器得到的未失效的单帧传感器数据组合成一个传感器数据样本，在每次迭代训练时都采用这样的传感器数据样本进行训练。例如，不同模态的传感器包括相机和激光雷达，则将相机采集的未失效单帧图像（即一帧图像）和激光雷达采集的未失效单帧点云（即一帧点云）组合成一个样本。

2、采用时序多帧传感器数据进行训练

在此情况下，可以获取多个不同模态的传感器中各传感器在未失效时得到的未失效的传感器数据时序序列，将各传感器得到的传感器数据时序序列组合成一个传感器数据样本，在每次迭代训练时都采用这样的传感器数据样本进行训练。

传感器数据时序序列包括基于时序排列且数量为预设值的未失效的单帧传感器数据。以相机为例，其得到的传感器数据时序序列可以是按照采集时间由先至后排列的三帧图像。

需要说明的是，在本发明实施例中虽然可以采用上述两种训练方法训练感知模型，但每次迭代训练采用的训练方法需要保持一致。

步骤S202：随机选取一个或多个未失效传感器数据，并将上述一个或多个未失效传感器数据分别转换成相应传感器在失效时得到的失效传感器数据。在此步骤中，可以从全部未失效传感器数据中选取一个或多个，但不能将全部未失效传感器数据都转换成失效传感器数据。

例如，不同模态的传感器包括三个相机和一个激光雷达，通过随机选取可以将一个相机得到的未失效图像转换成失效图像，也可以将三个相机得到的未失效图像全部转换成失效图像。

步骤S203：采用失效传感器数据与未被随机选取的未失效传感器数据，训练得到预设的感知模型。

在本发明实施例中可以采用常规的模型训练方法，采用失效传感器数据与未被随机选取的未失效传感器数据对感知模型进行训练，在此不进行赘述。

基于上述步骤S201至步骤S203所述的方法，可以使感知模型在一部分传感器数据是失效数据的情况下也能够准确的完成融合感知，进而能够提高基于上述步骤S101至步骤S102所述的方法对多模态传感器数据融合感知的鲁棒性和准确性。

例如，在根据本发明的多模态传感器的融合感知方法实施例的一个应用场景中，车辆上设置的不同模态的传感器包括前向广角相机和长焦相机，利用前向广角相机和长焦相机得到的图像对感知模型进行融合感知训练，使得训练好的感知模型能够根据环境中的图像得到环境中的交通参与者，其中，采用时序多帧传感器数据对感知模型进行训练。在实际应用中，可能会发生长焦相机失效的情况，从而导致长焦相机得到的图像时序序列中有几帧图像是失效图像。此时，如果使用常规方法训练得到的感知模型对长焦相机和前向广角相机得到的图像时序序列进行融合感知，可能会将远处骑自行车的交通参与者误检成其他物体。但是，通过采用本发明提供的方法训练好的感知模型进行融合感知，就能够有效避免上述情况的发生，仍然可以正确地检测出远处骑自行车的交通参与者。

下面对上述步骤S202作进一步说明。

一、对随机选取未失效传感器数据的方法进行说明。

根据前述步骤S201的描述可知，未失效传感器数据可以是未失效的单帧传感器数据，也可以是未失效的传感器数据时序序列。下面分别针对这两种情况的未失效传感器数据随机选取方法进行说明。

（一）未失效传感器数据是未失效的单帧传感器数据

在上述步骤S202的一些实施方式中，可以从多个不同模态的传感器中随机选取一个或多个传感器，并获取所述一个或多个传感器在未失效时得到的未失效的单帧传感器数据。

在一些实施方式中，可以随机选取一种或多种模态，再从每种被选取的模态中随机获取一个或多个或全部的传感器。

参阅附图3至6，图3为六个相机和激光雷达都未失效的示意图。如图4所示，如果随机选取到的模态是图像传感器，进而再从六个相机中随机获取一个相机（图4中虚线所示的相机）；如图5所示，如果随机选取到的模态是图像传感器，进而再从六个相机中随机获取全部相机（图5中虚线所示的相机）；如图6所示，如果随机选取到的模态是激光雷达，由于激光雷达只有一个，即使通过随机获取也只能获取这一个激光雷达。

（二）未失效传感器数据是未失效的传感器数据时序序列

在上述步骤S202的一些实施方式中，可以通过下列步骤11至步骤13，随机选取一个或多个未失效传感器数据。

步骤11：从传感器数据时序序列中单帧传感器数据的时序排列次序中随机选取一个或多个时序排列次序。

步骤12：分别从各传感器的未失效的传感器数据时序序列中，获取排列在上述一个或多个时序排列次序的未失效的单帧传感器数据，作为各传感器各自对应的初始的未失效传感器数据。

参阅附图3，假设步骤11随机选取到的时序排列次序是1、2。对于图3中的各相机，分别从各相机未失效的图像时序序列中获取时序排列次序为1、2的图像，然后将获取到的图像分别作为各相机初始的未失效图像；对于图3中的激光雷达，则从激光雷达未失效的点云时序序列中也获取时序排列次序为1、2的点云，然后将获取到的点云作为激光雷达初始的未失效点云。

步骤13：从多个不同模态的传感器中随机选取一个或多个传感器，并获取上述一个或多个传感器对应的初始的未失效传感器数据，作为最终的未失效传感器数据。

继续参阅步骤12中的例子，假设随机选取到了一个相机和激光雷达，则将这个相机初始的未失效图像和激光雷达初始的未失效点云，都作为最终的未失效传感器数据。

参阅附图7，激光雷达未失效的点云时序序列包括三帧点云，相机未失效的图像时序序列包括三帧图像。假设步骤11随机获取到的时序排列次序是2、3，也即图7中时间戳T-2、T对应的时序排列次序。对此，首先，可以将点云时序序列中时间戳T-2、T对应的点云作为激光雷达初始的未失效点云，将图像时序序列中时间戳T-2、T对应的图像作为相机初始的未失效图像。然后，从上述激光雷达初始的未失效点云和相机初始的未失效图像中随机获取多个未失效数据（点云或图像），作为最终的未失效数据。如图7所示，随机选取的未失效数据包括时间戳T-2、T对应的点云（即图7中虚线示出的雷达得到的点云）以及时间戳T-2对应的图像（即图7中虚线示出的相机得到的图像）。

基于上述步骤11至步骤13所述的方法，可以在未失效传感器数据是未失效的传感器数据时序序列的情况下，从时间维度（通过步骤11至步骤12实现）和传感器维度（通过步骤13实现）分别进行随机选取，得到最终的未失效传感器数据。基于此，能够提高这些最终的未失效传感器数据的多样性，更加有利于提高感知模型对多模态传感器数据融合感知的鲁棒性和准确性。

二、对将未失效传感器数据转换成失效传感器数据的方法进行说明。

在上述步骤S202的一些实施方式中，可以通过图8所示的下列步骤S2021至步骤S2022，将未失效传感器数据转换成失效传感器数据。

步骤S2021：对随机选取到的一个或多个未失效传感器数据分别进行掩膜操作。

掩膜操作是指对传感器数据进行改变或调整的操作，在以获取失效传感器数据为目的对未失效传感器数据进行掩膜操作时，可以将未失效传感器数据改变或调整成失效传感器数据。

需要说明的是，通过掩膜操作得到的失效传感器数据是对传感器在失效时得到的失效传感器数据的模拟，它并不是真实地将传感器设置成失效状态，再获取该传感器在失效状态下得到的失效传感器数据。

步骤S2022：将完成掩膜操作的上述一个或多个未失效传感器数据，分别作为上述一个或多个未失效传感器数据各自对应的传感器在失效时得到的失效传感器数据。

基于上述步骤S2021至步骤S2022所述的方法，可以通过掩膜操作能够便捷且准确的得到近似于真实失效传感器数据的模拟失效传感器数据。

下面对上述步骤S2021作进一步说明。

在上述步骤S2021的一些实施方式中，可以通过下列步骤21至步骤22，对未失效传感器数据进行掩膜操作。

步骤21：获取随机选取到的一个或多个未失效传感器数据的原始数据和/或数据特征。

数据特征可以是在训练感知模型时将未失效传感器数据输入到感知模型后，由感知模型从这个未失效传感器数据上提取到的数据特征。

步骤22：对原始数据和/或数据特征进行掩膜操作。

1、对原始数据进行掩膜操作

在一些实施方式中，可以通过下列方式对原始数据进行掩膜操作：针对上述一个或多个未失效传感器数据中的各未失效传感器数据，若未失效传感器数据是图像，则将原始图像的颜色设置成预设颜色；若未失效传感器数据是点云，则将原始点云的信息设置成预设信息。

本领域技术人员可以根据实际需求灵活地设定上述预设颜色，比如将上述预设颜色设定成黑色。同时，也可以根据实际需求灵活地设定上述预设信息，比如分别获取传感器在失效和未失效时得到的真实点云，对这两种真实点云进行比较分析，以确定失效时得到的真实点云相比于未失效时得到的真实点云发生了哪些信息变化，根据这些信息变化设定上述预设信息。

参阅附图9，图9示例性示出了对图像和点云的原始数据进行掩膜操作，并以此实现对多模态传感器融合感知的方法流程，其中，在此方法流程中采用时序多帧传感器数据对感知模型进行训练。如图9所示，首先，获取激光雷达在未失效时得到的时序点云数据和相机在未失效时得到的时序图像数据。然后，采用前述实施例中步骤S202中的相关方法，对时序点云数据中点云的原始数据进行掩膜操作得到掩膜点云，对时序图像数据中图像的原始数据进行掩膜操作得到掩膜图像。最后，采用上述掩膜点云和掩膜图像训练感知模型，使用训练好的感知模型对多模态传感器得到的传感器数据进行融合感知。

2、对数据特征进行掩膜操作

在一些实施方式中，可以通过下列方式对数据特征进行掩膜操作：针对上述一个或多个未失效传感器数据中的各未失效传感器数据，若未失效传感器数据是图像，则将图像特征设置成预设的图像特征；若未失效传感器数据是点云，则将点云特征设置成预设的点云特征。

本领域技术人员可以根据实际需求灵活地设定上述预设的图像特征和预设的点云特征，比如将这些特征都设置成0。

参阅附图10，图10示例性示出了对图像和点云的数据特征进行掩膜操作，并以此实现对多模态传感器融合感知的方法流程，其中，在此方法流程中采用时序多帧传感器数据对感知模型进行训练。如图10所示，首先，分别获取激光雷达在未失效时得到的时序点云数据和相机在未失效时得到的时序图像数据，通过感知模型分别提取时序点云数据和时序图像数据的特征，得到时序点云特征和时序图像特征。然后，采用前述实施例中步骤S202中的相关方法分别对时序点云特征和时序图像特征进行掩膜操作，得到时序点云特征掩膜和时序图像特征掩膜。最后，对时序点云特征掩膜和时序图像特征掩膜进行特征拼接，根据特征拼接的结果训练感知模型，使用训练好的感知模型对多模态传感器得到的传感器数据进行融合感知。

基于上述步骤21至步骤22所述的方法，可以从原始数据和数据特征这两个维度对传感器数据进行掩膜操作，提高了掩膜操作的灵活性，使得本领域技术人员可以根据实际需求灵活地选取一个或两个维度进行掩膜操作，既满足了获取失效传感器数据的需求，又提高了获取失效传感器数据的便捷性。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本发明中描述的技术方案属于等同技术方案，因此也将落入本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种计算机设备。

参阅附图11，图11是根据本发明的一个计算机设备实施例的主要结构示意图。如图11所示，本发明实施例中的计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的多模态传感器的融合感知方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的多模态传感器的融合感知方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的多模态传感器的融合感知方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的多模态传感器的融合感知方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的多模态传感器的融合感知方法，即每个处理器分别执行上述方法实施例的多模态传感器的融合感知方法的不同步骤，来共同实现上述方法实施例的多模态传感器的融合感知方法。

上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述计算机设备可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。

进一步，本发明还提供了一种计算机可读存储介质。

在根据本发明的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的多模态传感器的融合感知方法的程序，该程序可以由处理器加载并运行以实现上述多模态传感器的融合感知方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本发明还提供了一种车辆。

在根据本发明的一个车辆的实施例中，车辆可以包括上述计算机设备实施例所述的计算机设备。在本实施例中车辆可以是自动驾驶车辆、无人车等车辆。此外，按照动力源类型划分，本实施例中车辆可以是燃油车、电动车、电能与燃油混合的混动车或使用其他新能源的车辆等。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种多模态传感器的融合感知方法，其特征在于，所述方法包括：

获取多个不同模态的传感器中各传感器得到的传感器数据；

采用预设的感知模型，对各传感器得到的传感器数据进行融合感知；

其中，所述预设的感知模型通过下列方式训练得到：

获取多个不同模态的传感器中各传感器在未失效时得到的未失效传感器数据时序序列，所述传感器数据时序序列包括基于时序排列且数量为预设值的未失效传感器数据；

随机选取一个或多个未失效传感器数据，并将所述一个或多个未失效传感器数据分别转换成相应传感器在失效时得到的失效传感器数据；

采用所述失效传感器数据与未被随机选取的未失效传感器数据，训练得到所述预设的感知模型；

所述随机选取一个或多个未失效传感器数据，包括：从所述未失效传感器数据时序序列中传感器数据的时序排列次序中随机选取一个或多个时序排列次序；分别从各传感器的未失效传感器数据时序序列中，获取排列在所述一个或多个时序排列次序的未失效传感器数据，作为各传感器各自对应的初始的未失效传感器数据；从所述多个不同模态的传感器中随机选取一个或多个传感器，并获取所述一个或多个传感器对应的初始的未失效传感器数据，作为最终的未失效传感器数据；

所述最终的未失效传感器数据包括激光雷达得到的点云和相机得到的图像，所述将所述一个或多个未失效传感器数据分别转换成相应传感器在失效时得到的失效传感器数据，包括：

当获取所述点云和所述图像的原始数据时，对所述点云和所述图像的原始数据分别进行掩膜操作，将完成所述掩膜操作的所述点云和所述图像作为所述雷达和所述相机在失效时得到的点云和图像；

当获取所述点云和所述图像的数据特征时，通过所述预设的感知模型分别提取所述点云和所述图像的数据特征，对所述点云和所述图像的数据特征分别进行掩膜操作，将完成所述掩膜操作的所述点云和所述图像作为所述雷达和所述相机在失效时得到的点云和图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括通过下列方式对所述原始数据进行掩膜操作：

针对所述一个或多个未失效传感器数据中的各未失效传感器数据，若所述未失效传感器数据是图像，则将原始图像的颜色设置成预设颜色；若所述未失效传感器数据是点云，则将原始点云的信息设置成预设信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括通过下列方式对所述数据特征进行掩膜操作：

针对所述一个或多个未失效传感器数据中的各未失效传感器数据，若所述未失效传感器数据是图像，则将图像特征设置成预设的图像特征；若所述未失效传感器数据是点云，则将点云特征设置成预设的点云特征。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

随机选取一种或多种模态，分别从每种被选取的模态中随机获取一个或多个或全部的传感器。

5.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至4中任一项所述的多模态传感器的融合感知方法。

6.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至4中任一项所述的多模态传感器的融合感知方法。

7.一种车辆，其特征在于，所述车辆包括权利要求5所述的计算机设备。