CN114818965A - 目标对象检测方法、装置、介质、电子设备和路侧单元 - Google Patents

Abstract

本公开提供了一种目标对象检测方法，涉及人工智能技术领域，尤其涉及智能交通和自动驾驶技术领域。具体实现方案为：根据与目标对象相关的多个感知数据，生成多个感知数据消息，其中，多个感知数据包括车端感知数据和路侧感知数据；对多个感知数据消息进行分组，得到至少一个感知数据消息分组；根据感知数据消息分组中的感知数据消息，确定针对目标对象的状态估计信息；以及根据状态估计信息，确定目标对象的检测结果。本公开还提供了一种目标对象检测装置、电子设备、存储介质和路侧单元。

Description

目标对象检测方法、装置、介质、电子设备和路侧单元

技术领域

本公开涉及人工智能技术领域，尤其涉及智能交通和自动驾驶技术领域。更具体地，本公开提供了一种目标对象检测方法、装置、存储介质、电子设备和路侧单元。

背景技术

随着人工智能技术的发展，人工智能技术广泛地应用于智能交通等领域中。例如，基于人工智能技术，根据部署于车端设备或路侧设备的传感器进行数据采集，得到与道路上各对象相关的感知数据。再根据相关感知数据，确定车辆的行驶路径。

发明内容

本公开提供了一种目标对象检测方法、装置、存储介质、电子设备和路侧单元。

根据本公开的一方面，提供了一种目标对象检测方法，该方法包括：根据与目标对象相关的多个感知数据，生成多个感知数据消息，其中，多个感知数据包括车端感知数据和路侧感知数据；对多个感知数据消息进行分组，得到至少一个感知数据消息分组；根据感知数据消息分组中的感知数据消息，确定针对目标对象的状态估计信息；以及根据状态估计信息，确定目标对象的检测结果。

根据本公开的另一方面，提供了一种目标对象检测装置，该装置包括：生成模块，用于根据与目标对象相关的多个感知数据，生成多个感知数据消息，其中，多个感知数据包括车端感知数据和路侧感知数据；分组模块，用于对多个感知数据消息进行分组，得到至少一个感知数据消息分组；第一确定模块，用于根据感知数据消息分组中的感知数据消息，确定针对目标对象的状态估计信息；以及第二确定模块，用于根据状态估计信息，确定目标对象的检测结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开提供的方法。

根据本公开的另一方面，提供了一种路侧单元，包括本公开提供的电子设备。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的一个实施例的可以应用目标对象检测方法和装置的示例性系统架构示意图；

图2是根据本公开的一个实施例的目标对象检测方法的流程图；

图3是根据本公开的一个实施例的感知数据消息的示意图；

图4是根据本公开的一个实施例的目标对象检测方法的原理图；

图5是根据本公开的另一个实施例的目标对象检测方法的原理图；

图6是根据本公开的一个实施例的可以应用目标对象检测方法的示例性场景示意图；

图7是根据本公开的另一个实施例的可以应用目标对象检测方法的示例性场景示意图；

图8是根据本公开的另一个实施例的可以应用目标对象检测方法的示例性场景示意图；

图9是根据本公开的另一个实施例的可以应用目标对象检测方法的示例性场景示意图；

图10是根据本公开的另一个实施例的可以应用目标对象检测方法的示例性场景示意图；

图11是根据本公开的另一个实施例的可以应用目标对象检测方法的示例性场景示意图；

图12是根据本公开的一个实施例的目标对象检测装置的框图；以及

图13是根据本公开的一个实施例的可以应用目标对象检测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

自动驾驶车辆的自车感知范围天然受限并存在盲区。例如，车辆感知容易受到障碍物遮挡、恶劣天气等环境影响。又例如，受自车视角相对较低及传感器感知距离、感知角度等因素限制，车辆的感知范围也相对有限。在动静态盲区、障碍物遮挡、超视距等场景下，车辆较难对交通参与者进行准确识别、定位或轨迹预测。此外，在部署有高灵敏度的传感器的情况下，在繁忙路口、恶劣天气、逆光等环境条件中行驶时，车辆仍然难以彻底解决如何准确感知识别或如何进行高精度定位等问题。此外，车辆也难以对小物体(例如道路遗撒物)或信号灯进行准确地感知识别。这些问题可以被称为感知长尾问题。而这些感知长尾问题仅依靠部署于车端的传感器是难以解决的。

此外，部署于车端、路侧设备或云端的多模态传感器存在特性差异。这些传感器可以异步采集感知数据。而异步采集可能产生检测目标数量不同、重复检测、精度不同、触发与延迟不同、内容格式不同等感知问题。

此外，上文所述的感知长尾问题限制了车辆可运行设计域(Operational DesignDomain，ODD)。

自动驾驶车辆的可运行设计域包括自动驾驶系统功能设定的运行条件。运行条件例如可以包括环境条件、地理条件、时段条件、交通流量条件及道路特征条件等。可运行设计域是保证车辆安全的重要手段，但却不利于自动驾驶技术的大规模应用。例如，基于可运行设计域，自动驾驶车辆可以在限定的区域内开展自动驾驶测试和试运营。

限制自动驾驶车辆的可运行设计域的条件有很多。例如，特定的道路条件会限制可运行设计域。特定的道路条件例如可以包括高速公路、无信号灯十字路口或山区道路等条件。又例如，特定的环境条件也会限制可运行设计域。特定的环境条件例如可以包括雨、雪、雾等天气条件，以及夜间、逆光等光照条件。又例如，其他限制条件例如可以包括地图信息过期、道路积水、植物低垂、道路结冰、物体遗撒等等。

图1是根据本公开一个实施例的可以应用目标对象检测方法和装置的示例性系统架构示意图。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括传感器101、102、103，网络120、服务器130和路侧单元140。网络120用以在传感器101、102、103和服务器130之间提供通信链路的介质。网络120可以包括各种连接类型，例如有线和/或无线通信链路等等。

传感器101、102、103可以通过网络120与服务器130交互，以接收或发送消息等。

传感器101、102、103可以是集成在车辆110上的功能元件，例如红外传感器、超声波传感器、毫米波雷达、信息采集装置等等。传感器1101、102、103可以用于采集车辆110周围的障碍物的状态数据以及周围道路数据。

车辆110可以同路侧单元(Road Side Unit，RSU)140通信，从路侧单元140接收信息，或者向路侧单元发送信息。

路侧单元140例如可以部署于信号灯上，以便对信号灯的时长或频率进行调整。

服务器130可以设置在能够与车载终端建立通信的远端，可以具体实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。

服务器130可以是提供各种服务的服务器。在服务器130上可以安装有例如地图类应用、数据处理类应用等。以服务器130在运行该数据处理类应用为例：通过网络120接收来自传感器101、102、103传输的障碍物的状态数据、道路数据。可以将障碍物的状态数据、道路数据中的一种或多种作为待处理数据。并对待处理数据进行处理，得到目标数据。

需要说明的是，本公开实施例所提供的目标对象检测方法一般可以由服务器130执行。相应地，本公开实施例所提供的目标对象检测装置也可以设置于服务器130中。但是并不局限于此。本公开实施例所提供的目标对象检测方法一般也可以由传感器101、102、或103执行。相应地，本公开实施例所提供的目标对象检测装置也可以设置于传感器101、102、或103中。

可以理解，图1中的传感器、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的传感器、网络和服务器。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2是根据本公开的一个实施例的目标对象检测方法的流程图。

如图2所示，该方法200可以包括操作S210至操作S240。

在操作S210，根据与目标对象相关的多个感知数据，生成多个感知数据消息。

例如，多个感知数据包括车端感知数据和路侧感知数据。

例如，车端感知数据至少可以由上文所述的传感器101至传感器103获取。又例如，车端感知数据可以由传感器直接获取，也可以是根据传感器获取的数据进行处理得到的。

例如，路侧感知数据可以由部署于上文所述的路侧单元140的传感器获取。又例如，路侧感知数据可以由相关传感器直接获取，也可以是根据传感器获取的数据进行处理得到的。又例如，路侧感知数据可以由道路上的智能设备获取。在一个示例中，智能设备可以是基于物联网(Internet of Things，Iot)技术的信号灯。

例如，目标对象例如可以包括道路上的车辆、行人、障碍物等等。

在操作S220，对多个感知数据消息进行分组，得到至少一个感知数据消息分组。

例如，多个感知数据消息与至少一个对象对应。对多个感知数据消息进行分组之后，每个感知数据消息分组可以与一个对象对应。又例如，感知数据消息分组G_1与目标对象Obj_T对应。

在操作S230，根据感知数据消息分组中的感知数据消息，确定针对目标对象的状态估计信息。

例如，可以利用感知数据消息分组G_1中的感知数据消息，利用各种方式，确定针对目标对象Obj_T的状态估计信息。在一些示例中，可以利用各种深度学习模型确定状态估计信息，也可以利用卡尔曼滤波器等各种滤波器算法确定状态估计信息，本公开对此不做限制。

在操作S240，根据状态估计信息，确定目标对象的检测结果。

例如，检测结果可以例如是目标对象的轨迹信息。根据目标对象在当前时刻的状态估计信息和目标对象在之前时刻的状态估计信息，可以得到目标对像的轨迹信息，将该轨迹信息作为检测结果。

例如，检测结果可以通过车端与其他设备通讯技术(Vehicle to Everything，V2X)或者第五代移动通信技术(The 5^th Generation Mobile Communication Technology，5G)发送给车辆，使得车辆根据检测结果执行相关操作。

通过本公开实施例，根据车端感知数据和路侧感知数据进行目标对象检测，实现了一体化的感知数据融合，提高了车辆的感知范围、感知能力。结合路侧感知数据，可以实现多方位、长距离的连接检测，实现对象级的全部交通参与者的精准感知。有助于提高自动驾驶车辆对盲区和超视距范围内人、车、路和环境的精准感知识别能力，进而提升车辆对复杂环境和交通事件、交通态势的语义判断和理解认知，在一定程度上实现了对全量交通参与者实时准确感知识别。

在一些实施例中，感知数据还包括云端感知数据。

例如，云端感知数据例如可以包括道路的路网信息、气象信息和车辆之间的通信信息等等，可以实现车路云一体化的全量高精度协同感知，有助于解决车辆感知长尾问题。

又例如，云端例如可以部署于上文所述的服务器130。

在一些实施例中，感知数据消息包括时间信息、传感器标识、车道信息和属性信息，属性信息包括至少一个属性信息，属性信息与以下信息中的至少一个相对应：置信度信息和协方差信息。下面将结合图3进行详细说明。

图3是根据本公开的一个实施例的感知数据消息的示意图。

如图3所示，感知数据消息300可以是根据一个传感器(例如枪式摄像头)采集的感知数据生成的。感知数据消息300可以包括时间信息301、传感器标识302、车道信息303、至少一个属性信息以及与每个属性信息对应的置信度信息或协方差信息。

例如，时间信息301的值例如可以是传感器采集到感知数据的时间戳。在一个示例中，时间信息301的值可以为X年X月X日X时X分X秒。

例如，传感器标识302可以指示一个枪式摄像头。在一个示例中，基于传感器标识302可以确定传感器的位置。

例如，车道信息303的值可以指示采集感知数据的车道。在一个示例中，车道信息303可以指示感知数据是从右转车道采集的。

例如，至少一个属性信息可以包括类型属性信息304、位置属性信息305、速度属性信息306、角度属性信息307、加速度属性信息308、尺寸属性信息309、遮挡属性信息310和截断属性信息311。

例如，类型属性信息304与一个置信度信息对应。该置信度信息可以包括多个类型的置信度，将置信度最大的类型作为类型属性信息304的属性值。在一个示例中，多个类型例如可以包括轿车、卡车等类型。

位置属性信息305、速度属性信息306、角度属性信息307、加速度属性信息308以及尺寸属性信息309分别与一个协方差信息对应。在一个示例中，位置属性信息305包括一个坐标(x，y，z)。与位置属性信息305对应的协方差信息可以是该坐标的三个坐标值之间的协方差。该协方差信息的值可以是一个3*3的矩阵。

遮挡属性信息310和截断属性信息311分别与一个置信度信息对应。遮挡属性信息310的值可以指示与感知数据消息300对应的对象是否被遮挡。截断属性信息311的值可以指示与感知数据消息300对应的对象是否被截断。

在一些实施例中，对多个感知数据消息进行分组，得到至少一个感知数据消息分组包括：针对每个感知数据消息，根据感知数据消息中的置信度信息，确定对应属性信息的属性值；根据感知数据消息中的协方差信息，确定属性信息是否针对目标对象；以及在确定属性信息针对目标对象的情况下，根据感知数据消息中的时间信息，对感知数据消息进行分组。下面将结合图4进行详细说明。

图4是根据本公开的一个实施例的目标对象检测方法的原理图。

如图4所示，数据容器410可以根据路侧单元采集的感知数据生成感知数据消息，也可以根据车端或云端的感知数据生成感知数据消息。感知数据可以是由部署于路侧单元、车端或云端的传感器采集的。部署于路侧单元的传感器例如可以包括枪式摄像头、鱼眼摄像头、毫米波雷达和激光雷达等等。例如，在时刻T_1，根据传感器401、传感器402和传感器403采集的感知数据，分别生成了感知数据消息411、感知数据消息412和感知数据消息413。

又例如，感知数据可以是同步采集的，也可以是异步采集的。本实施例中，以同步采集为示例，部署于路侧单元、车端或云端的多个传感器可以同时采集感知数据。

数据关联模块420可以对感知数据消息进行分组。例如，可以确定感知数据消息之间的马氏距离(Mahalanobis Distance)，将马氏距离小于预设阈值的两个感知数据消息分组至同一感知数据消息分组中。在一个示例中，如图4所示，感知数据消息411和感知数据消息412之间的马氏距离小于预设距离阈值。二者可以是与同一个对象Obj_1相关的感知数据消息。感知数据消息411和感知数据消息412被分组至感知数据消息分组421中。而感知数据消息413与感知数据消息412之间的马氏距离大于或等于预设距离阈值。感知数据消息413可以是与另一个对象Obj_2相关的感知数据消息。感知数据消息413被分组至感知数据消息分组422。通过本公开实施例，与欧式距离不同，马氏距离修正了欧式距离中各个维度的尺度不一致且相关的问题，考虑了各个特性之间的联系，并且是尺度无关的。马氏距离独立于测量尺度。在本公开的应用场景中，马氏距离同时考虑了多个传感器数据之间的距离和属性。

状态估计模块430可以根据一个感知数据消息分组中的多个感知数据消息，确定针对目标对象的状态估计信息。例如，以对象Obj_1为目标对象，可以根据感知数据消息分组421中的多个感知数据消息，确定对象Obj_1的测量属性值。本实施例中，在时刻T_1，与对象Obj_1相关的多个感知数据消息中包含了与对象Obj_1相关的属性信息。根据这些属性信息的属性值，确定状态估计信息中每个属性信息的属性值。例如，感知数据消息411中位置属性信息的属性值为坐标(x_1_1，y_1_1，z_1_1)，而感知数据消息412中位置属性信息的属性值为坐标(x_1_2，y_1_2，z_1_2)。根据坐标(x_1_1，y_1_1，z_1_1)和坐标(x_1_2，y_1_2，z_1_2)，确定状态估计信息中位置属性信息的属性值(x_1，y_1，z_1)。x_1例如可以是x_1_1和x_1_2的平均值。将该属性值(x_1，y_1，z_1)作为对象Obj_1在时刻T_1的一个测量属性值。类似地，共可以确定多个测量属性值，可以将这多个测量属性值作为对象Obj_1的状态估计信息431。类似地，可以确定对象Obj_2的状态估计信息432。

状态预测模块440可以根据状态估计信息，确定目标对象的检测结果。例如，在无需校正的情况下，状态预测模块440可以将对象Obj_1的状态估计信息431作为目标对象的检测结果。

在一些实施例中，根据感知数据消息分组中的感知数据消息，确定针对目标对象的状态估计信息包括：根据目标对象在前一时刻的属性值，确定目标对象在当前时刻的预测属性值；以及根据预测属性值和目标对象在当前时刻的测量属性值，得到目标对象在当前时刻的优化属性值，作为状态估计信息。

在一些实施例中，感知数据消息分组包括多个感知数据消息；根据感知数据消息分组中的感知数据消息，确定针对目标对象的状态估计信息包括：将感知数据消息分组中的多个感知数据消息依次输入卡尔曼滤波器，得到当前时刻的状态估计信息。下面将结合图5进行详细说明。

图5是根据本公开的另一个实施例的目标对象检测方法的原理图。

如图5所示，数据容器510可以根据路侧单元采集的感知数据生成感知数据消息，也可以根据车端或云端的感知数据生成感知数据消息。感知数据可以是由部署于路侧单元、车端或云端的传感器采集的。部署于路侧单元的传感器例如可以包括枪式摄像头、鱼眼摄像头、毫米波雷达和激光雷达等等。例如，在时刻T_0，根据传感器501、传感器502和传感器503采集的感知数据，分别生成了感知数据消息511’、感知数据消息512’和感知数据消息513’。在时刻T_1，根据传感器501、传感器502和传感器503采集的感知数据，分别生成了感知数据消息511、感知数据消息512和感知数据消息513。可以理解，时刻T_1可以作为当前时刻，时刻T_0可以作为前一时刻。

又例如，感知数据可以是同步采集的，也可以是异步采集的。本实施例中，以同步采集为示例，部署于路侧单元、车端或云端的多个传感器可以同时采集感知数据。

数据关联模块520可以对感知数据消息进行分组。例如，可以确定感知数据消息之间的马氏距离，将马氏距离小于预设阈值的两个感知数据消息分组至同一感知数据消息分组中。在一个示例中，如图5所示，感知数据消息511和感知数据消息512之间的马氏距离小于预设距离阈值。二者可以是与同一个对象Obj_1相关的感知数据消息。感知数据消息511和感知数据消息512可以被分组至感知数据消息分组521中。而感知数据消息513与感知数据消息512之间的马氏距离大于或等于预设距离阈值。感知数据消息513可以是与另一个对象Obj_2相关的感知数据消息。感知数据消息513可以被分组至感知数据消息分组522。

与图4所示的实施例不同之处在于，状态估计模块530还可以根据目标对象在前一时刻的属性值，确定目标对象在当前时刻的预测属性值。再根据预测属性值和目标对象在当前时刻的测量属性值，得到目标对象在当前时刻的优化属性值，作为状态估计信息。

例如，以对象Obj_1为目标对象，可以根据感知数据消息分组521中的多个感知数据消息，确定对象Obj_1的测量属性值。如图5所示，在时刻T_1，针对对象Obj_1的多个感知数据消息中包含了与对象Obj_1相关的属性信息。根据这些属性信息的属性值，确定对象Obj_1的状态估计信息中每个属性信息的属性值。例如，感知数据消息511中位置属性信息的属性值为坐标(x_1_1，y_1_1，z_1_1)，而感知数据消息512中位置属性信息的属性值为坐标(x_1_2，y_1_2，z_1_2)。根据坐标(x_1_1，y_1_1，z_1_1)和坐标(x_1_2，y_1_2，z_1_2)，确定状态估计信息中位置属性信息的属性值(x_1，y_1，z_1)。x_1例如可以是x_1_1和x_1_2的平均值。将该属性值(x_1，y_1，z_1)作为对象Obj_1在时刻T_1的一个测量属性值。类似地，共可以确定对象Obj_1在时刻T_1的多个测量属性值。

又例如，本实施例中，在时刻T_0，感知数据消息511’和感知数据消息512’被分组至感知数据消息分组521’。根据感知数据消息分组521’中的多个感知数据消息，可以利用各种方式确定对象Obj_1在时刻T_1的预测属性值。例如，如上文所述，根据与确定对象Obj_1在时刻T_1的多个测量属性值类似的方式，可以确定对象Obj_1在时刻T_0的多个测量属性值。根据对象Obj_1在时刻T_0的多个测量属性值，可以根据各种方式，确定对象Obj_1在时刻T_1的多个预测属性值。在一个示例，根据在时刻T_0的多个测量属性值和预设偏移量，可以确定对象Obj_1在时刻T_1的多个预测属性值。

接下来，根据对象Obj_1在时刻T_1的多个预测属性值和对象Obj_1在时刻T_1多个测量属性值，利用卡尔曼滤波器，确定对象Obj_1在时刻T_1的多个优化属性值。将多个优化属性值作为状态估计信息531’。类似地，可以确定对象Obj_2的状态估计信息532’。卡尔曼滤波器可以快速地确定状态估计信息，可以在数十毫秒至数百毫秒的内确定状态估计信息。

状态预测模块540可以根据状态估计信息，确定目标对象的检测结果。例如，在无需校正的情况下，状态预测模块540可以将对象Obj_1的状态估计信息531’作为目标对象的状态预测信息541’。可以将状态预测信息541’与时刻T_0的感知数据消息分组521’进行关联，得到对象Obj_1的关联信息，作为对象Obj_1的检测结果。类似地，可以得到对象Obj_2的状态预测信息542’。

在一些实施例中，也可以根据对象Obj_1在时刻T_1的多个预测属性值和对象Obj_1在时刻T_1多个测量属性值，利用深度学习模型，确定对象Obj_1在时刻T_1的多个优化属性值。

在一些实施例中，根据状态估计信息，确定目标对象的检测结果包括：对状态估计信息进行处理，得到当前时刻的状态预测信息；以及将当前时刻的状态预测信息与前一时刻的感知数据消息分组进行关联。

例如，如上文所述，状态预测模块540可以根据状态估计信息，确定目标对象的检测结果。根据高精地图数据或深度学习模型，确定状态估计信息需要校正。可以利用高精地图数据或深度学习模型对状态估计信息进行校正，得到状态预测信息。再将状态预测信息与时刻T_0的感知数据消息分组521’进行关联，得到对象Obj_1的关联信息，作为对象Obj_2的检测结果。又例如，关联信息可以是对象Obj_1的轨迹信息，可以指示对象Obj_1自时刻T_0至时刻T_1的轨迹。

通过本公开实施例，可以对目标对象进行稳定跟踪(例如进行时序跟踪)，以便车辆、路侧单元或云端执行相关操作。

在一些实施例中，按照预设的时间间隔，传感器可以采集感知数据。在一个示例中，传感器501在时刻T_0采集了感知数据，并根据该感知数据生成了感知数据消息511’。经过一个时间间隔之后，传感器在时刻T_1又采集了感知数据，并根据该感知数据生成了感知数据消息511。这两个感知数据消息中的相应属性信息的置信度信息或协方差信息可以是不同的，例如，感知数据消息511和感知数据消息512中的位置属性信息的属性值可以不同，与位置属性信息对应的协方差信息也可以不同。

在一些实施例中，如上文所述，感知数据可以是同步采集的，也可以是异步采集的。以异步采集为示例，部署于路侧单元、车端或云端的多个传感器可以不同时采集感知数据。在对感知数据消息进行分组之前，上文所述的数据关联模块520可以对感知数据消息进行排序，将感知数据消息按照不同的时段进行排序。在进行分组时，上文所述的数据关联模块520可以对一个时段内的感知数据消息进行分组。可以将该时段的起始时刻作为当前时刻。

在一些实施例中，本公开提供的方法可以应用于各种场景。下面将结合图6至图11进行详细说明。

图6是根据本公开的一个实施例的可以应用目标对象检测方法的示例性场景示意图。

如图6所示，路口610由道路交汇形成。车辆601正常行驶于右转车道611，行人602逆行行驶于机动车道612。部署于车辆601的传感器可以采集区域A6011内的感知数据。部署于路侧单元的传感器621(例如摄像头)可以采集区域A6211内的感知数据。

如图6所示，位于右转车道611一侧的植物遮挡了行人602，使得行人602处于车辆601的静态盲区中。

根据部署于路侧单元的传感器623采集的多个感知数据，生成感知数据消息。

可以理解，还可以根据部署于其他路侧单元的传感器采集感知数据。例如，部署有传感器623的路侧单元还可以部署有声波雷达等传感器，以便采集与行人602相关的感知数据。

可以理解，除摄像头之外，部署有传感器621的路侧单元处还部署有其他传感器。其他传感器的感知范围可以与区域A6211相同，也可以与区域A6211不同。

对多个感知数据消息进行分组，可以得到至少一个感知数据消息分组。至少一个感知数据消息分组包括行人602的感知数据消息分组G_602。感知数据消息分组G_602包括：由与行人602相关的感知数据生成的感知数据消息。与行人602相关的感知数据可以是传感器621采集的。

可以将行人602作为目标对象。根据感知数据消息分组G_602中的感知数据消息，确定针对行人602的状态估计信息。再根据该状态估计信息，确定行人602的检测结果。基于该检测结果，车辆601可以确定行人602会出现在路口610。进而，车辆601可以提前执行相关操作以避让行人602。

可以理解，不同的路侧单元之间可以通过网络连接，检测结果可以由距离车辆最近的路侧单元发送给车辆。在一个示例中，检测结果可以由路侧单元631发送给车辆601。

图7是根据本公开的另一个实施例的可以应用目标对象检测方法的示例性场景示意图。

如图7所示，路口710由道路交汇形成。车辆701正常行驶于车道713，并即将进行掉头，以行驶于车道714。卡车703正常行驶，并在右转过程中。车辆704行驶于卡车703后方。部署于路侧单元的传感器723(例如摄像头)可以采集区域A7231内的感知数据。部署于路侧单元的传感器722(例如摄像头)可以采集区域A7221内的感知数据。

如图7所示，卡车703的体积较大。车辆704被卡车703遮挡，使得车辆704处于车辆701的动态盲区中。

根据传感器723、传感器722和部署于车辆701的传感器采集的多个感知数据，生成感知数据消息。

对多个感知数据消息进行分组，可以得到至少一个感知数据消息分组。至少一个感知数据消息分组包括车辆704的感知数据消息分组G_704。感知数据消息分组G_704包括：由与车辆704相关的感知数据生成的感知数据消息。与车辆704相关的感知数据可以是传感器723和传感器722采集的。

可以将车辆704作为目标对象。根据感知数据消息分组G_704中的感知数据消息，确定针对车辆704的状态估计信息。再根据该状态估计信息，确定车辆704的检测结果。基于该检测结果，车辆701可以确定车辆704出现在路口710，之后将出现于车道714。进而，车辆701可以提前执行相关操作以避让车辆704。

图8是根据本公开的另一个实施例的可以应用目标对象检测方法的示例性场景示意图。

如图8所示，路口810由道路交汇形成。车辆801’正常行驶于车道815。车道815上存在障碍物805。部署于路侧单元的传感器822’(例如摄像头)可以采集区域A8221’内的感知数据。部署于车辆801’的传感器可以采集区域A8011’内的感知数据。

如图8所示，在当前时刻，障碍物805与车辆801’的距离较远。对于车辆801’而言，障碍物805属于超视距障碍物。

根据传感器822’和部署于车辆801’的传感器采集的多个感知数据，可以生成感知数据消息。

对多个感知数据消息进行分组，可以得到至少一个感知数据消息分组。至少一个感知数据消息分组包括障碍物805的感知数据消息分组G_805。感知数据消息分组G_805包括：由与障碍物805相关的感知数据生成的感知数据消息。与障碍物805相关的感知数据可以是传感器822’采集的。

可以将障碍物805作为目标对象。根据感知数据消息分组G_805中的感知数据消息，确定针对障碍物805的状态估计信息。再根据该状态估计信息，确定障碍物805的检测结果。基于该检测结果，车辆801’可以确定障碍物805出现在车道815。进而，车辆801’可以提前执行相关操作以避让障碍物805，以避免急刹车，降低事故风险。

图9是根据本公开的另一个实施例的可以应用目标对象检测方法的示例性场景示意图。

如图9所示，路口910由道路交汇形成。车辆901正常行驶于车道915。右转车道911上有处于启动状态的车辆906和处于静止状态的其他车辆。部署于路侧单元的传感器922’(例如摄像头)可以采集区域A9221’内的感知数据。

如图9所示，车辆906处于启动状态，从右转车道911缓慢驶入车道915。部署于车辆901的传感器因观测视角等因素，难以准确估计静止或缓慢移动的障碍物的状态。例如，车辆901难以准确估计车辆906的状态。在一个示例中，车辆901难以准确估计车辆906的速度。

根据传感器922’采集的多个感知数据，生成感知数据消息。

对多个感知数据消息进行分组，可以得到至少一个感知数据消息分组。至少一个感知数据消息分组包括车辆906的感知数据消息分组G_906。感知数据消息分组G_906包括：由与车辆906相关的感知数据生成的感知数据消息。与车辆906相关的感知数据可以是传感器922’和部署于车辆901的传感器采集的。

可以将车辆906作为目标对象。根据感知数据消息分组G_906中的感知数据消息，确定针对车辆906的状态估计信息。再根据该状态估计信息，可以确定车辆906的状态预测信息。根据车辆906的状态预测信息和状态估计信息，可以确定车辆906在当前时刻的轨迹信息。类似的，可以获取车辆906在多个时刻的轨迹信息，作为车辆906的检测结果。基于该检测结果，车辆901可以确定车辆906正在从车道911缓慢驶出。进而，车辆901可以提前执行相关操作(例如变道至车道916或停车)以避让车辆906，以避免急刹车，降低事故风险。

图10是根据本公开的另一个实施例的可以应用目标对象检测方法的示例性场景示意图。

如图10所示，路口1010由道路交汇形成。车辆1001正常行驶于车道1015。车道1015上存在低矮障碍物1007。低矮障碍物1007例如可以是道路遗撒物。部署于路侧单元的传感器1022’(例如摄像头)可以采集区域A10221’内的感知数据。

部署于车辆1001的传感器因观测视角等因素，难以准确估计低矮障碍物1007的状态。

根据传感器1022’采集的多个感知数据，可以生成感知数据消息。

对多个感知数据消息进行分组，可以得到至少一个感知数据消息分组。至少一个感知数据消息分组包括低矮障碍物1007的感知数据消息分组G_1007。感知数据消息分组G_1007包括：由与低矮障碍物1007相关的感知数据生成的感知数据消息。与低矮障碍物1007相关的感知数据可以是传感器1022’采集的。

可以将低矮障碍物1007作为目标对象。根据感知数据消息分组G_1007中的感知数据消息，确定针对低矮障碍物1007的状态估计信息。再根据该状态估计信息，可以确定低矮障碍物1007的检测结果。基于该检测结果，车辆1001可以确定车道1015上存在低矮障碍物1007。进而，车辆1001可以提前执行相关操作(例如变道至车道1016或缓行)以避让低矮障碍物1007，以避免急刹车，降低事故风险。

图11是根据本公开的另一个实施例的可以应用目标对象检测方法的示例性场景示意图。

如图11所示，路口1110由道路交汇形成。车辆1101正常行驶于车道1115。卡车1103驶入路口1110。部署于路侧单元1131的传感器1122(例如摄像头)可以采集区域A11221内的感知数据。部署于路侧单元1131的传感器1122’(例如摄像头)可以采集区域A11221’内的感知数据。

如图11所示，卡车1103的体积较大，使得车辆1101的传感器无法获取信号灯1141展示的信号。

根据传感器1122’和传感器1122采集的多个感知数据，生成感知数据消息。此外，部署有传感器1122或传感器1122’的路侧单元1131可以获取信号灯1141的相关数据。

例如，信号灯1141可以是基于物联网技术的信号灯。信号灯1141的信号采集、信号控制系统可以获取信号灯1141展示的信号。基于物联网技术，信号灯1131展示的信号和信号灯时间可以被传输至路侧单元1131。信号灯1141的相关数据可以作为经过路口1110的车辆(例如车辆1101)的感知数据。如图11所示，信号灯1141当前展示的信号为绿灯，且绿灯时间还有1秒。

对多个感知数据消息进行分组，可以得到至少一个感知数据消息分组。至少一个感知数据消息分组包括车辆1101的感知数据消息分组G_1101。感知数据消息分组G_1101包括：由与车辆1101相关的感知数据生成的感知数据消息。与车辆1101相关的感知数据可以是传感器1122’采集的，也可是从信号灯1141获取的相关数据。

可以将车辆1101作为目标对象。根据感知数据消息分组G_1101中的感知数据消息，确定针对车辆1101的状态估计信息。再根据该状态估计信息，可以确定车辆1101的检测结果。该检测结果可以由路侧单元1131发送给车辆1101。检测结果中可以包括信号灯1141当前展示的信号和信号灯时间。基于该检测结果，车辆1101可以确定路口1110的信号灯展示的信号即将改变。进而，车辆1101可以提前执行相关操作(例如变道或停车)，以避免急刹车，避免闯红灯，降低事故风险。可以从信号灯直接获取感知数据，可以更加稳定准确地确定检测结果，不易受到外界环境或障碍物的干扰。

图12是根据本公开的一个实施例的目标对象检测装置的框图。

如图12所示，该装置1200可以包括生成模块1210、分组模块1220、第一确定模块1230和第二确定模块1240。

生成模块1210，用于根据与目标对象相关的多个感知数据，生成多个感知数据消息。例如，所述多个感知数据包括车端感知数据和路侧感知数据。

分组模块1220，用于对所述多个感知数据消息进行分组，得到至少一个感知数据消息分组。

第一确定模块1230，用于根据所述感知数据消息分组中的感知数据消息，确定针对所述目标对象的状态估计信息。

第二确定模块1240，用于根据所述状态估计信息，确定所述目标对象的检测结果。

在一些实施例中，所述感知数据消息包括时间信息、传感器标识、车道信息和属性信息，所述属性信息包括至少一个属性信息，所述属性信息与以下信息中的至少一个相对应：置信度信息和协方差信息。

在一些实施例中，所述分组模块包括：第一确定子模块，用于针对每个感知数据消息，根据所述感知数据消息中的置信度信息，确定对应属性信息的属性值；第二确定子模块，用于根据所述感知数据消息中的协方差信息，确定所述属性信息是否针对所述目标对象；以及分组子模块，用于在确定属性信息针对所述目标对象的情况下，根据所述感知数据消息中的时间信息，对所述感知数据消息进行分组。

在一些实施例中，根据第一确定模块包括：第三确定子模块，用于根据所述目标对象在前一时刻的属性值，确定所述目标对象在当前时刻的预测属性值；以及第一获得子模块，用于根据所述预测属性值和所述目标对象在当前时刻的测量属性值，得到所述目标对象在当前时刻的优化属性值，作为所述状态估计信息。

在一些实施例中，所述感知数据消息分组包括多个感知数据消息；所述第一确定模块包括：第二获得子模块，用于将所述感知数据消息分组中的多个感知数据消息依次输入卡尔曼滤波器，得到当前时刻的所述状态估计信息。

在一些实施例中，所述第二确定模块包括：处理子模块，用于对所述状态估计信息进行处理，得到当前时刻的状态预测信息；以及关联子模块，用于将所述当前时刻的状态预测信息与前一时刻的感知数据消息分组进行关联。

在一些实施例中，所述感知数据还包括云端感知数据。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

例如，本公开提供的电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开提供的方法。

例如，本公开提供的可读存储介质中存储有计算机指令，该计算机指令用于使计算机执行本公开提供的方法。

例如，本公开提供的计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开提供的方法。

图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(ROM)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序，来执行各种适当的动作和处理。在RAM 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。

设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如目标对象检测方法。例如，在一些实施例中，目标对象检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时，可以执行上文描述的目标对象检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标对象检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本公开还提供了一种路侧单元，包括本公开提供的电子设备。例如，该路侧单元包括上文所述的电子设备900。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (18)

1.一种目标对象检测方法，包括：

根据与目标对象相关的多个感知数据，生成多个感知数据消息，其中，所述多个感知数据包括车端感知数据和路侧感知数据；

对所述多个感知数据消息进行分组，得到至少一个感知数据消息分组；

根据所述感知数据消息分组中的感知数据消息，确定针对所述目标对象的状态估计信息；以及

根据所述状态估计信息，确定所述目标对象的检测结果。

2.根据权利要求1所述的方法，其中，所述感知数据消息包括时间信息、传感器标识、车道信息和属性信息，所述属性信息包括至少一个属性信息，所述属性信息与以下信息中的至少一个相对应：置信度信息和协方差信息。

3.根据权利要求2所述的方法，其中，所述对所述多个感知数据消息进行分组，得到至少一个感知数据消息分组包括：

针对每个感知数据消息，

根据所述感知数据消息中的置信度信息，确定对应属性信息的属性值；

根据所述感知数据消息中的协方差信息，确定所述属性信息是否针对所述目标对象；以及

在确定属性信息针对所述目标对象的情况下，根据所述感知数据消息中的时间信息，对所述感知数据消息进行分组。

4.根据权利要求1至3中任一项所述的方法，其中，所述根据所述感知数据消息分组中的感知数据消息，确定针对所述目标对象的状态估计信息包括：

根据所述目标对象在前一时刻的属性值，确定所述目标对象在当前时刻的预测属性值；以及

根据所述预测属性值和所述目标对象在当前时刻的测量属性值，得到所述目标对象在当前时刻的优化属性值，作为所述状态估计信息。

5.根据权利要求1至4中任一项所述的方法，其中，所述感知数据消息分组包括多个感知数据消息；

所述根据所述感知数据消息分组中的感知数据消息，确定针对所述目标对象的状态估计信息包括：

将所述感知数据消息分组中的多个感知数据消息依次输入卡尔曼滤波器，得到当前时刻的所述状态估计信息。

6.根据权利要求1所述的方法，其中，所述根据所述状态估计信息，确定所述目标对象的检测结果包括：

对所述状态估计信息进行处理，得到当前时刻的状态预测信息；以及

将所述当前时刻的状态预测信息与前一时刻的感知数据消息分组进行关联。

7.根据权利要求1至6中任一项所述的方法，其中，所述感知数据还包括云端感知数据。

8.一种目标对象检测装置，包括：

生成模块，用于根据与目标对象相关的多个感知数据，生成多个感知数据消息，其中，所述多个感知数据包括车端感知数据和路侧感知数据；

分组模块，用于对所述多个感知数据消息进行分组，得到至少一个感知数据消息分组；

第一确定模块，用于根据所述感知数据消息分组中的感知数据消息，确定针对所述目标对象的状态估计信息；以及

第二确定模块，用于根据所述状态估计信息，确定所述目标对象的检测结果。

9.根据权利要求8所述的装置，其中，所述感知数据消息包括时间信息、传感器标识、车道信息和属性信息，所述属性信息包括至少一个属性信息，所述属性信息与以下信息中的至少一个相对应：置信度信息和协方差信息。

10.根据权利要求9所述的装置，其中，所述分组模块包括：

第一确定子模块，用于针对每个感知数据消息，根据所述感知数据消息中的置信度信息，确定对应属性信息的属性值；

第二确定子模块，用于根据所述感知数据消息中的协方差信息，确定所述属性信息是否针对所述目标对象；以及

分组子模块，用于在确定属性信息针对所述目标对象的情况下，根据所述感知数据消息中的时间信息，对所述感知数据消息进行分组。

11.根据权利要求8至10中任一项所述的装置，其中，根据第一确定模块包括：

第三确定子模块，用于根据所述目标对象在前一时刻的属性值，确定所述目标对象在当前时刻的预测属性值；以及

第一获得子模块，用于根据所述预测属性值和所述目标对象在当前时刻的测量属性值，得到所述目标对象在当前时刻的优化属性值，作为所述状态估计信息。

12.根据权利要求8至13中任一项所述的装置，其中，所述感知数据消息分组包括多个感知数据消息；

所述第一确定模块包括：

第二获得子模块，用于将所述感知数据消息分组中的多个感知数据消息依次输入卡尔曼滤波器，得到当前时刻的所述状态估计信息。

13.根据权利要求8所述的装置，其中，所述第二确定模块包括：

处理子模块，用于对所述状态估计信息进行处理，得到当前时刻的状态预测信息；以及

关联子模块，用于将所述当前时刻的状态预测信息与前一时刻的感知数据消息分组进行关联。

14.根据权利要求8至13中任一项所述的装置，其中，所述感知数据还包括云端感知数据。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至7中任一项所述的方法。

18.一种路侧单元，包括权利要求15所述的电子设备。

Images