CN112241167A - 自动驾驶中的信息处理方法、装置及存储介质 - Google Patents

Abstract

本申请涉及一种自动驾驶中的信息处理方法、装置及存储介质，所述方法包括：获取由车载传感器检测到的信息，处理后得到最终多传感器融合感知结果信息；获取由V2X感知单元检测到的信息；以及将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理。通过采用上述自动驾驶中的信息处理方法、装置及存储介质，可以将V2X信息和传感器感知信息进行进一步的融合，以便于提升环境感知的精度和范围。

Description

自动驾驶中的信息处理方法、装置及存储介质

技术领域

本申请涉及自动驾驶的技术领域，特别是涉及自动驾驶中的信息处理方法、装置及存储介质。

背景技术

随着信息和控制技术的发展，自动驾驶技术逐步被用户所接受。自动驾驶不仅能将汽车行驶的危险性降到最低，而且能够减轻用户繁重的驾驶任务。因此，自动驾驶技术成为汽车发展的必然趋势。

自动驾驶系统通常包括五个基本模块：环境感知模块、高精定位模块、决策规划模块、车辆控制模块、线控执行模块。其中，环境感知模块通过车载传感器探测自动驾驶车辆周围环境，并且通过深度学习技术实现对车载传感器的感知图像进行识别、分割、测距等。

目前，最重要的三类车载传感器是激光雷达传感器、毫米波雷达传感器、视觉传感器。由于车载传感器安装在车上，受车体的长度、高度、宽度和传感器性能的限制，车载传感器探测的精度、范围和距离都受限制，主要体现在对于远距离目标、被遮挡目标等探测的准确度不够，并且易受恶劣天气的影响等。因此，增加探测的距离、感知被遮挡目标、以及在恶劣天气下可用是自动驾驶系统中环境感知模块要解决的重要问题。

为了改进对车载传感器探测信息的精度和范围，一种方式是利用V2X信息对车载传感器探测得到的信息形成互补。然而，尽管这种互补性增强方案提升了环境感知范围，提供很多车载传感器难以通过探测而获得的感知信息，但是环境感知的准确度、精确度并没有提升。

因此，需要将通过V2X信息和传感器感知信息进行进一步的融合，以便于提升环境感知的精度和范围。

本背景技术是申请人进行本申请中描述的发明创造所基于的基础，并不意味着该背景技术为公众所知。因此，上述信息被提供仅用于公众了解相关内容和信息，并不因处于本部分而认为申请人承认其属于现有技术的范畴。

发明内容

本申请的目的旨在至少解决上述技术缺陷之一，特别是提供了一种自动驾驶中的信息处理方法，所述方法包括：基于由车载传感器检测到的信息，获取最终多传感器融合感知结果信息；获取由V2X感知单元检测到的信息；以及将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理。

进一步地，由车载传感器检测到的信息包括：激光雷达获取由目标反射的激光点；毫米波雷达获取由目标反射的电磁波，区域能量集中点形成探测点；超声波雷达获取由目标反射的机械波，能量超过阈值的区域形成目标点；视觉传感器获取由目标反射的自然光，通过CMOS感知自然光的强度来形成像素点信息，由像素点形成图片；或者组合导航获取GPS定位信号、惯性测量单元IMU的姿态信息、加速度信息和地磁信息。

进一步地，所述获取由V2X感知单元检测到的信息包括：基于时钟同步、时间同步以及空间同步，将由所述V2X感知单元检测到的信息统一到同一基准时钟、同一检测时间点以及同一坐标系。

进一步地，所述获取最终多传感器融合感知结果信息包括：基于时钟同步、时间同步以及空间同步，将车载传感器检测到的信息数据统一到同一基准时钟、同一检测时间点以及同一坐标系。

进一步地，所述获取最终多传感器融合感知结果信息还包括：对于目标，生成针对所述目标的最终多传感器融合感知结果信息。

进一步地，所述将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理包括：对于目标，基于时间、位置以及属性针对所述目标进行融合。

进一步地，所述将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理包括：管理目标在其生命周期内的历史状态信息；以及基于当前检测到的信息来估计所述目标的最优状态信息。

进一步地，所述将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理包括：基于存储的高精地图信息，将车载传感器和V2X感知单元检测到的信息与所述高精地图信息匹配，获取所述车辆本身的位置。

根据本公开的另一方面，公开了一种自动驾驶中的信息处理装置，所述装置包括：存储器；以及处理器，所述处理器被配置为执行以下操作：基于由车载传感器检测到的信息，获取最终多传感器融合感知结果信息；获取由V2X感知单元检测到的信息；以及将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理。

根据本公开的另一方面，公开了一种非暂时性存储介质，其上存储有指令，所述指令被处理器执行时，使所述处理器执行如下所述的操作：基于由车载传感器检测到的信息，获取最终多传感器融合感知结果信息；获取由V2X感知单元检测到的信息；以及将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理。

通过采用上述自动驾驶中的信息处理方法、装置及存储介质，可以将V2X信息和传感器感知信息进行进一步的融合，以便于提升环境感知的精度和范围。

附图说明

图1示出了根据本公开的实施例的将车载的多种传感器与V2X感知单元检测到的信息进行融合的方法的示意图。

图2示出了根据本公开的实施例的获取由V2X感知单元检测到的信息的方法的示意图。

图3示出了根据本公开的实施例的获取由车载的多种传感器检测到的信息并进行处理的方法的示意图。

图4示出了根据本公开的实施例的将处理后的由车载的多种传感器检测到的信息以及由V2X感知单元检测到的信息进行融合的方法的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1示出了根据本公开的实施例的将车载的多种传感器与V2X感知单元检测到的信息进行融合的方法的示意图。该图仅为示例，并不旨在限定本公开的范围。

如图1所示，该车载多种传感器与V2X融合感知的方法分为两个阶段，其中，在第一阶段中，将多传感器分别获取的信息相融合，并且获取多种V2X感知信息；在第二阶段中，将多传感器分别获取的信息和所获取的多种V2X感知信息相融合。

在所获取的多种V2X感知信息中，包含如下类型的感知信息，包括但不限于V2I道路设施信息、V2N云端平台信息、V2V附近车辆信息、V2P附近行人信息等。这里，V2I道路设施信息可以包含交通灯、交通标志、道路信息和环境感知信息等；V2N云端平台信息可以包含高精地图数据、历史交通数据、实时交通信息和交通态势估计等；V2V附近车辆信息可以包含车辆定位信息、车辆感知信息、车辆状态信息和车辆行为信息等；V2P附近行人信息可以包含行人定位信息、行人状态信息和行人行为信息等。

图2示出了根据本公开的实施例的获取由V2X感知单元检测到的信息的方法的示意图。该图仅为示例，并不旨在限定本公开的范围。

如图2所示，在获取上述多种V2X感知信息时，需要对这些V2X感知信息进行处理以将其统一为同一维度下的各类信息。这些处理过程包括时钟同步、时间同步、空间同步以及V2X协议栈处理。

具体地，对于所获取的多种V2X感知信息，需要进行如下处理：

1)时钟同步：由于各个V2X感知单元存在各自的时间基准，它们彼此之间通常存在差异，因此需要通过网络基于GPS时钟源对各个V2X感知单元进行时钟调整，从而统一为同一基准时钟。

2)时间同步：由于各个V2X感知单元提供的是相应的时间点检测到的离散数据值，通常所有的V2X单元V2X感知单元不会在同一时间点同时采样，因此各个V2X感知单元检测到的数据在被检测的时间点并不相同；同时，由于车辆本身在运动，因此在各个V2X感知单元的检测时间点处该车辆处于不同的位置。可以通过惯性测量单元IMU提供的在这一段时间内的高频率运动信息，回归推算出在各个V2X感知单元的检测时间点处该车辆的位置和速度信息，从而对各个V2X感知单元的检测数据进行修正以将各个V2X感知单元的检测数据统一到同一检测时间点；

3)空间同步：因为各个V2X感知单元在路边所设置的位置不同，所以各个V2X感知单元通过检测而获得的数据所基于的原点和坐标系在空间上彼此不同，因此，需要根据各个V2X感知单元所设置的位置和标定结果，统一到同一坐标系(例如以车体的特定点作为原点的坐标系)中；

4)V2X协议栈处理：在V2X单元相互通信时，需要保障V2X通信数据的完整性和安全性，同时，还需要根据通信协议栈来解析V2X通信数据以得到目标信息(例如车辆目标信息、行人目标信息、其他目标信息等)、交通灯信息、交通标识信息、道路信息、附近车辆信息、附近行人信息、局部高精地图等。

图3示出了根据本公开的实施例的获取由车载的多种传感器检测到的信息并进行处理的方法的示意图。该图仅为示例，并不旨在限定本公开的范围。

如图3所示，在本申请中，通过双级处理的方式来对传感器所获得的数据进行融合。其中，第一级处理是通过车载传感器来获取各种传感信息。具体地，布置在车辆上的各个传感器通过其自身的特性来探测行车环境，包括但不限于：激光雷达获取由目标反射的激光点，大量的激光点形成激光点云；毫米波雷达获取由目标反射的电磁波，其中区域能量集中点形成探测点；超声波雷达获取由目标反射的机械波，能量超过阈值的区域形成目标点；视觉传感器获取由目标反射的自然光，通过CMOS感知自然光的强度来形成像素点信息，由大量像素点形成图片；将通过导航定位卫星获取的GPS定位信号、由惯性测量单元IMU获取的姿态信息、加速度信息以及地磁信息进行组合以获取该车辆的定位信息和状态信息；

第二级处理是对各种传感器所获得的数据进行融合。具体地，在对数据进行融合时，同样需要考虑对这些数据进行如下处理：

1)时钟同步：由于各个传感器存在各自的时间基准，它们彼此之间通常存在差异，因此需要通过网络基于GPS时钟源对各个传感器的时钟进行调整，从而统一为同一基准时钟；

2)时间同步：由于各个传感器提供的是相应的时间点检测到的离散数据值，通常所有的传感器不会在同一时间点同时采样，因此各个传感器检测到的数据在被检测的时间点并不相同；同时，由于车辆本身在运动，因此在各个传感器的检测时间点处该车辆处于不同的位置。可以通过惯性测量单元IMU提供的在这一段时间内的高频率运动信息，回归推算出在各个传感器的检测时间点处该车辆的位置和速度信息，从而对各个传感器的检测数据进行修正以将各个传感器的检测数据统一到同一检测时间点；

3)空间同步：由于各个传感器在路边所设置的位置不同，所以各个传感器通过检测而获得的数据所基于的原点和坐标系在空间上彼此不同，因此，需要根据各个传感器所设置的位置和标定结果，统一到同一坐标系(例如以车体的特定点作为原点的坐标系)中。

图4示出了根据本公开的实施例的将处理后的由车载的多种传感器检测到的信息以及由V2X感知单元检测到的信息进行融合的方法的示意图。该图仅为示例，并不旨在限定本公开的范围。

根据本申请的实施例，通常可以采用两种方式来将数据进行融合。其中，第一种方式是基于目标来对数据进行融合。具体地，对各传感器检测得到的数据分别进行处理来生成检测目标的信息，再将各传感器得到的检测目标的信息进行融合，从而生成检测目标信息。

另一种方式是对各传感器检测得到的数据进行处理，以统一到同一时间和坐标系基准，从而生成检测目标信息。在本申请中，为更清楚地描述对数据进行融合所获得的结果，将该检测目标信息称为最终多传感器融合感知结果信息。

经过上述数据融合过程之后，该最终多传感器融合感知结果信息可以包括：目标信息(车辆目标信息、行人目标信息、其他目标信息)、道路信息、交通灯信息、交通标识信息等。

在以上所阐述的将多传感器分别获取的信息和所获取的多种V2X感知信息相融合的第二阶段中，将各传感器得到的检测目标的信息进行融合的模块(本申请中将其称为“多传感器融合模块”)通过融合得到多传感器融合信息，并输入经过时空同步的车辆目标信息、行人目标信息、其他目标信息、道路信息、交通灯信息、交通标志信息、定位信息等；由通过将各V2X感知单元得到的检测目标的信息进行融合的模块(本申请中将其称为“V2X感知模块”)输入经过时空同步的车辆目标信息、行人目标信息、其他目标信息、道路信息、交通灯信息、交通标志信息、定位信息等；然后，对这两个模块输入的数据进行融合处理。

如图4所示，将对这两个模块输入的数据进行融合处理包括目标关联、目标跟踪、高精定位三个部分。

在目标关联部分，通过三个维度将检测目标关联，辨别属于同一目标的多传感器融合信息和V2X感知信息，具体地，这三个维度分别是时间维度、位置维度以及属性维度。其中，在时间关联部分，通过考虑当前时刻时间点的目标信息和之前时刻时间点的目标信息二者之间的关系，按照时间维度将检测目标进行关联；在位置关联部分，通过考虑当前目标和附近位置目标之间的关系，按照位置维度将检测目标进行关联；在属性关联部分，通过考虑当前目标和相同属性目标之间的关系，按照属性维度将检测目标进行关联。通过上述处理，可以将通过车载的各个传感器以及各个V2X感知单元检测到的关于同一目标的信息，在同一时间、空间坐标系下相融合，并且基于该目标的属性(例如行人、车辆、道路、交通标志等)而适应性地调整该车辆行驶的方向和速度。

在目标跟踪部分，系统对不同的目标，管理其生命周期内的历史状态信息，并基于当前所获得的由车载多种传感器和V2X感知单元检测到的信息，通过特定的算法(例如，基于卡尔曼滤波算法、动态贝叶斯网络推理算法、均值算法等)来估计最接近于该目标的位置和运动状态的最优状态信息。具体地，系统根据目标的属性和状态来估计该目标的运动特性，并根据该运动特性建立运动模型；在建立运动模型后，根据该目标的运动模型和历史运动轨迹来估计该目标在当前时间点的状态；对该目标，其生命周期从被跟踪开始、并当丢失该目标时生命周期结束，在该目标的生命周期内，系统管理该目标在某个特定时间段的状态信息。

在高精定位部分，系统基于存储的高精地图信息，将通过各个车载传感器和V2X感知单元获取的信息与高精地图信息进行匹配，通过计算获取该车辆本身的位置。

本申请的实施例还涉及用于将车载的多种传感器和V2X单元检测到的信息进行融合的硬件设备。该硬件设备可以是被配置为执行处理流程和/或计算操作的任何类型的机器，其中包含用于控制该硬件设备的处理组件以及存储设备，该存储设备被配置为存储各种类型的数据以支持计算设备的操作。这些数据的示例包括用于在计算设备上操作的任何应用程序或方法的指令、消息、图片、视频等。

本领域普通技术人员还可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自动驾驶中的信息处理方法，所述方法包括：

基于由车载传感器检测到的信息，获取最终多传感器融合感知结果信息；

获取由V2X感知单元检测到的信息；以及

将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理。

2.根据权利要求1所述的方法，其中获取由车载传感器检测到的信息包括：

激光雷达获取由目标反射的激光点；

毫米波雷达获取由目标反射的电磁波，区域能量集中点形成探测点；

超声波雷达获取由目标反射的机械波，能量超过阈值的区域形成目标点；

视觉传感器获取由目标反射的自然光，通过CMOS感知自然光的强度来形成像素点信息，由像素点形成图片；或者

将通过导航定位卫星获取的GPS定位信号、由惯性测量单元IMU获取的姿态信息、加速度信息以及地磁信息进行组合。

3.根据权利要求1所述的方法，其中所述获取由V2X感知单元检测到的信息包括：

基于时钟同步、时间同步以及空间同步，将由所述V2X感知单元检测到的信息统一到同一基准时钟、同一检测时间点以及同一坐标系。

4.根据权利要求1所述的方法，其中处理后得到最终多传感器融合感知结果信息包括：

基于时钟同步、时间同步以及空间同步，将车载传感器检测到的信息数据统一到同一基准时钟、同一检测时间点以及同一坐标系。

5.根据权利要求4所述的方法，其中处理后得到最终多传感器融合感知结果信息还包括：

对于目标，生成针对所述目标的最终多传感器融合感知结果信息。

6.根据权利要求1所述的方法，其中，所述将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理包括：

对于目标，基于时间、位置以及属性针对所述目标进行融合。

7.根据权利要求1所述的方法，其中，所述将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理包括：

管理目标在其生命周期内的历史状态信息；以及

基于当前检测到的信息来估计所述目标的最优状态信息。

8.根据权利要求1所述的方法，其中，所述将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理包括：

基于存储的高精地图信息，将车载传感器和V2X感知单元检测到的信息与所述高精地图信息匹配，获取所述车辆本身的位置。

9.一种自动驾驶中的信息处理装置，包括：

存储器；以及

处理器，所述处理器被配置为执行以下操作：

基于由车载传感器检测到的信息，获取最终多传感器融合感知结果信息；

获取由V2X感知单元检测到的信息；以及

将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理。

10.一种非暂时性存储介质，其上存储有指令，所述指令被处理器执行时，使所述处理器执行如下所述的操作：

基于由车载传感器检测到的信息，获取最终多传感器融合感知结果信息；

获取由V2X感知单元检测到的信息；以及

将所述最终多传感器融合感知结果信息和V2X感知单元检测到的信息进行融合处理。

Images