CN115951356A - 障碍物的移动状态的确定方法、装置、设备以及存储介质 - Google Patents

Abstract

本公开提供了障碍物的移动状态的确定方法、装置、设备以及存储介质，涉及人工智能领域，尤其涉及人工智能、自动驾驶、环境感知领域。具体实现方案为：处于自动驾驶的车辆获取目标区域的多帧图像数据。其中，目标区域包括多个障碍物，且该多个障碍物之间的距离小于预设距离，该障碍物为交通工具。针对该多个障碍物中的任一目标障碍物，车辆确定目标障碍物在多帧图像数据中每帧图像数据的位置信息。车辆根据目标障碍物在多帧图像数据中每帧图像数据的位置信息，确定目标障碍物的多个速度信息，并根据多个速度信息，确定目标障碍物的移动状态。如此，可以提供障碍物的移动状态的检测准确率，例如解决静止单车群速度误报的问题。

Description

障碍物的移动状态的确定方法、装置、设备以及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能、自动驾驶、环境感知领域，具体涉及一种障碍物的移动状态的确定方法、装置、设备以及存储介质。

背景技术

针对处于自动驾驶的车辆，路侧单车是一类常见的障碍物，其特点是密集停靠，不规则摆放，离车辆的横向距离忽远忽近不确定等。

通常情况下，为了保证车辆的安全驾驶，提高用户的体验，需要确定如路侧单车等障碍物的移动状态，从而实现车辆的安全平稳驾驶。

发明内容

本公开提供了一种障碍物的移动状态的确定方法、装置、设备以及存储介质。

根据本公开的第一方面，提供了一种障碍物的移动状态的确定方法，包括：

车辆获取目标区域的多帧图像数据。其中，目标区域包括多个障碍物，且该多个障碍物之间的距离小于预设距离。针对该多个障碍物中的任一目标障碍物，车辆确定目标障碍物在多帧图像数据中每帧图像数据的位置信息。车辆根据目标障碍物在多帧图像数据中每帧图像数据的位置信息，确定目标障碍物的多个速度信息，并根据多个速度信息，确定目标障碍物的移动状态。

根据本公开的第二方面，提供了一种障碍物的移动状态的确定装置，包括：获取单元，用于获取目标区域的多帧图像数据。其中，目标区域包括多个障碍物，且该多个障碍物之间的距离小于预设距离。确定单元，用于针对该多个障碍物中的任一目标障碍物，车辆确定目标障碍物在多帧图像数据中每帧图像数据的位置信息。确定单元，还用于车辆根据目标障碍物在多帧图像数据中每帧图像数据的位置信息，确定目标障碍物的多个速度信息，并根据多个速度信息，确定目标障碍物的移动状态。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的任一项方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，包括：

计算机指令用于使计算机执行第一方面中的任一项方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括：

计算机程序，计算机程序在被处理器执行第一方面中的任一项方法。

根据本公开的第六方面，提供了一种车辆，包括第三方面提供的电子设备。

根据本公开的技术方案，解决了车辆在行驶过程中，面对多个静止单车群，产生速度误报的问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提供的一种系统的架构的示意图；

图2是本公开实施例提供的一种障碍物的移动状态的确定方法的示意图；

图3是本公开实施例提供的另一种障碍物的移动状态的确定方法的示意图；

图4是本公开实施例提供的另一种障碍物的移动状态的确定方法的示意图；

图5是本公开实施例提供的另一种障碍物的移动状态的确定方法的示意图；

图6是本公开实施例提供的一种障碍物的移动状态的确定装置的示意图；

图7是本公开实施例提供的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在对本公开实施例的障碍物的移动状态的确定方法进行详细介绍之前，先对本公开实施例的应用要素进行解释。

针对驾驶场景，如自动驾驶场景来说，路侧单车群是一类常见障碍物。这类的障碍物的特点是密集停靠、不规则停放、与车辆的距离不一致等。基于该特点，尚无传感器可以准确且稳定的感知这类障碍物的位置信息和移动状态。因此，可能会出现车辆，如处于自动驾驶的车辆将处于静止状态的单车误检测为处于移动状态，从而产生速度误报的问题。基于此，当车辆经过该单车群时，可能会出现紧急刹车的问题，降低了的用户的体验。

另外，由于单车群的场景的特殊性，不能将单车群的速度误报问题和常规的机动车的速度误报问题归为一类，因此，不能根据机动车的移动状态的确定方法来确定单车群中单车的移动状态。

需要说明的是，本申请中，单车群可以为自行车群、电动车群，也可以为摩托车群等可移动的交通工具。另外，本申请中的障碍物不仅可以是单车群中的单车，还可以是其他类型的障碍物，其只要满足障碍物群中，不同障碍物相似度高，密集度大等特点即可。下面主要以单车群，车辆为处于自动驾驶的车辆(或称为自动驾驶车辆)为例进行描述。

在介绍本申请的技术方案之前，先对相关技术产生速度误报的原因进行分析。

通常情况下，处于自动驾驶的车辆可以通过视觉端(如采用摄像装置采集到的数据)、点云端(如采用雷达设备采集到的数据)以及融合端(如融合摄像装置和雷达设备的数据)检测单车群中单车的移动状态。下面分别对视觉端、点云端、融合端的检测方法进行说明。

一、视觉端。

其中，车辆的摄像装置可以采集车辆周围区域的图像数据。基于该图像数据，车辆可以通过速位滤波方式得出单车群中单车的速度信息，并根据速度信息，确定该单车的移动状态。例如，速位滤波方式可以为卡尔曼滤波。

但对于密集的单车群，车辆的摄像装置的检测能力较差。例如，可能会将同一类型的单车误认为同一单车，这样一来，车辆就可能将静态的单车错误的检测为移动的单车，从而产生速度误报的问题。

二、点云端。

其中，车辆的雷达设备可以采集车辆周围区域的点云数据。基于该点云数据，车辆能够较为准确的识别单车群中的单车。但是，由于车辆自身的运行，以及单车群这类障碍物的非刚体目标多边形(polygon)信息(如位姿)的变化较大，容易出现过分割或欠分割的问题。

其中，过分割可以是指一辆单车分割为多个单车，欠分割是指将多个单车分割为同一单车。基于点云数据的过分割或欠分割，同一单车在多个点云数据中的信息变化较大，可能会出现将静态的单车错误的识别为移动的单车，从而产生速度误报的问题。

三、融合端。

其中，车辆可以基于视觉端检测的速度信息和点云端检测的速度信息，确定单车群中单车的移动状态。例如，当视觉端和点云端任一端检测到单车具有速度，则确定单车群中的单车处于移动状态。

但当视觉端和点云端任一端出现速度误报，则融合端均会出现速度误报的问题。

进一步的，融合端还可以关联视觉端和点云端，即，根据视觉端确定的单车的速度信息和点云端采集的点云数据，确定单车群中单车的移动状态。

例如，车辆可以根据点云端采集到的点云数据以及视觉端检测的速度信息，采用速度捞回策略，确定单车群中单车的移动状态。

具体的，针对单车群中的任一单车，可以根据该单车的相邻的两帧点云数据(如第一帧点云数据和第二帧点云数据，第一帧点云数据的采集时间早于第二帧点云数据的采集时间)，确定单车的移动状态。

例如，车辆可以根据单车在第一帧点云数据中的实际位置信息以及视觉端确定的该单车的速度信息，确定单车在第二帧点云数据中的理论位置信息。如此，车辆可以比较单车在第二帧点云数据中的实际位置信息和理论位置信息，若实际位置信息与理论位置信息之间的差值小于预设值，则将视觉端的速度信息作为该单车的速度信息。这样，当视觉端的速度信息存在误报，则也会产生速度误报的问题。

鉴于此，本公开实施例从视觉端、点云端以及融合端等三个方面对单车群的速度误报问题进行优化，具体的，可以参照下述实施例的描述。

图1为本公开实施例提供的一种车辆的结构示意图。该车辆可以包括摄像装置、雷达设备以及处理器。摄像装置、雷达设备可以与处理器通信连接。例如，摄像装置和雷达设备可以通过控制器局域网络(controller area network，CAN)总线与处理器连接。

其中，摄像装置可以用于拍摄车辆周围的图像数据。例如，摄像装置可以响应于车辆的移动，拍摄车辆周围的图像数据，并将拍摄的图像数据传输给处理器。基于该图像数据，处理器可以确定车辆周围是否存在障碍物，还可以确定该障碍物的移动状态。

一种示例中，车辆可以配置有多个摄像装置，该多个摄像装置可以从不同角度拍摄车辆周围区域的图像数据。例如，该多个摄像装置可以安装在车辆的不同位置。如此，车辆可以通过该多个摄像装置拍摄车辆周围不同方位的图像数据。

其中，雷达设备可以用于拍摄车辆周围区域的点云数据。例如，雷达设备可以拍摄以车辆为中心、拍摄角度为360度的点云数据，并将拍摄的点云数据传输给处理器。

其中，处理器可以根据摄像装置拍摄的图像数据和雷达设备拍摄的点云数据，确定车辆周围区域内的障碍物的移动状态。

一种示例中，处理器可以为车辆的控制系统、集成电路、芯片或者片上系统、控制终端等。芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。

进一步的，在车辆处于自动驾驶状态下时，处理器可以根据车辆周围障碍物的移动状态，控制车辆的速度。例如，处理器可以通过车辆的刹车装置以及油门装置，控制车辆的移动速度的快慢。比如，当检测到障碍物处于移动状态，处理器可以控制车辆慢速行驶或者降低车辆的速度。当处理器检测到障碍物处于静止状态时，处理器可以控制车辆的速度保持不变。

本申请实施例中，车辆还可以包括其他装置，例如，还可以包括天线等。

本公开提供的障碍物的移动状态的确定方法的执行主体可以为上述车辆或车辆中的处理器。

下面结合附图对本公开实施例提供的障碍物的移动状态的确定方法进行详细介绍。

如图2所示，本公开实施例提供的障碍物的移动状态的确定方法可以包括：S201～S204。

S201、获取目标区域的多帧图像数据。

其中，目标区域是指车辆周围的区域。该目标区域可以包括多个障碍物，且该多个障碍物之间的距离小于预设距离。也即使说，该多个障碍物为密集相邻的障碍物。例如，该多个障碍物可以为单车群。目标区域的多帧图像数据对应的拍摄时间不同。

一种可能的场景中，该多个障碍物之间的相似度大于预设值。该预设阈值可以根据需要设置，不予限制。例如，该多个障碍物可以为同一类型的交通工具。比如，该多个障碍物可以均为单车或自行车。又比如，该多个障碍物可以均为电动车、摩托车等。当然，在本实施例中，障碍物也不局限于交通工具，具有相似度大，密集相邻等特征的对象都可以认为是本实施例中的障碍物。

一种可能的实现方式中，车辆可以设置有一个或多个摄像装置。车辆可以通过这一个或多个摄像装置拍摄目标区域的多帧图像数据。

进一步的，为了减低车辆的能耗，车辆可以响应于车辆的启动，通过摄像装置对目标区域进行拍摄。当车辆停止时，车辆可以控制摄像装置停止对目标区域进行拍摄。

又一种示例中，车辆在移动过程中，可以按照预设周期拍摄车辆的周围区域的图像数据。其中，预设周期可以根据需要设置，不予限制。

S202、确定目标障碍物在多帧图像数据中每帧图像数据的位置信息。

其中，目标障碍物可以是指多个障碍物中的任一障碍物。目标障碍物在图像数据中的位置信息可以是指目标障碍物在图像数据中的实际位置信息。该实际位置信息可以为一个图像数据中的一个区域，例如，可以为一个矩形区域。

一种示例中，车辆在获取到目标区域的多帧图像数据之后，可以对每帧图像数据进行识别，确定目标障碍物的位置信息。例如，车辆可以根据图像识别算法对图像数据进行识别，确定目标障碍物在图像数据中的位置信息。图像识别算法可以根据需要设置，不予限制。

需要说明的是，由于多个障碍物紧密相邻，因此，障碍物与障碍物之间可能存在遮挡的问题。本申请实施例中，对于不能完全识别的障碍物(如只能识别到目标障碍物的部分特征信息)，车辆可以将识别到的目标障碍物的部分特征信息作为目标障碍物，或者，车辆还可以根据目标障碍物的部分特征信息确定目标障碍物的类型，并根据目标障碍物的类型，确定该目标障碍物的尺寸(如长宽比)。如此，车辆可以根据目标障碍物的尺寸以及目标障碍物在图像数据中的部分特征信息，计算目标障碍物在图像数据的位置信息。

例如，车辆可以预先配置有多个不同类型的障碍物的特征信息(如结构、轮廓灯)。车辆可以将识别到的目标障碍物的部分特征信息与该多个不同类型的障碍物的特征信息进行比对，并根据比对结果，确定该障碍物的类型。比对结果可以包括特征信息之间的相似度(如结构相似度或轮廓相似度等)。若相似度大于阈值，则可以将该类型作为目标障碍物的类型。

进一步的，对于仅识别到部分特征信息的目标障碍物，车辆在确定该目标障碍物的类型之后，可以根据该类型的障碍物的长宽比以及目标障碍物在图像数据的尺寸，计算目标障碍物的被遮挡部分在图像数据中的位置信息。如此，车辆可以确定目标障碍物在每帧图像数据中完整的位置信息。

S203、根据目标障碍物在每帧图像数据中的位置信息，确定目标障碍物的多个速度信息。

其中，多个速度信息可以是指通过多种方式确定的目标障碍物在同一时间段内的速度信息。该时间段可以是指多帧图像数据的拍摄时间。

一种示例中，上述多种方式可以包括动静校验方式和融合位置测量方式。动静校验方式可以是指根据障碍物在多帧图像数据中任意相邻的两帧图像数据的位置信息，确定障碍物的多个速度信息。融合位置测量方式可以是指根据障碍物在连续的多帧图像数据的位置信息，确定障碍物的多个速度信息。具体的，可以参照后续的实施例的描述，此处不予赘述。

S204、根据目标障碍物的多个速度信息，确定目标障碍物的移动状态。

其中，目标障碍物的移动状态可以是指目标障碍物处于运行状态或静止状态。

一种示例中，车辆可以多个速度信息的均值，确定目标障碍物的移动状态。

例如，若多个速度信息的均值大于预设速度，则车辆可以确定目标障碍物处于移动状态；若多个速度信息的均值小于或等于预设速度，则车辆可以确定目标障碍物处于静止状态。其中，预设速度可以根据需要设置，例如可以为0.1米/秒、0.15米/秒等，不予限制。

又一种示例中，车辆可以根据多个速度信息中第一速度信息的数量，确定目标障碍物的移动状态。

其中，第一速度信息可以是指多个速度信息中大于0的速度信息。例如，若多个速度信息中第一速度信息的占比大于预设值，则车辆可以确定目标障碍物处于移动状态；若多个速度信息中第一速度信息的占比小于或等于预设值，则车辆可以确定目标障碍物处于静止状态。其中，预设值可以根据需要设置，例如，可以为0.6、0.7，不予限制。

基于图2中的技术方案，对于存在多个密集相邻的交通工具的区域，处于自动驾驶的车辆在获取到该区域的多帧图像数据之后，可以确定交通工具在每帧图像数据中的位置信息，并根据交通工具在每帧图像数据中的位置信息，确定交通工具的多个速度信息。如此，处于自动驾驶的车辆可以根据交通工具的多个速度信息，准确的确定多个紧密相邻的障碍物中各障碍物的移动状态，从而可以减少速度误报的概率。也即，本公开实施例可以从视觉端对障碍物的移动状态进行校验，抑制速度误报。

下面分别采用上述动静校验方式、融合位置测量方式确定目标障碍物的多个速度信息的过程对进行说明。

一、动静校验方式。

一种示例中，车辆可以根据目标障碍物在多帧图像数据中的任意两帧图像数据的位置信息以及对应的拍摄时间，确定目标障碍物的速度信息。如此，车辆可以计算得到目标障碍物的多个速度信息。

例如，多帧图像数据包括图像数据1～图像数据N。N为正整数。图像数据1的拍摄时间早于图像数据2的拍摄时间，图像数据2的拍摄时间早于图像数据3的拍摄时间，…，图像数据N-1的拍摄时间早于图像数据N的拍摄时间。

车辆可以根据目标障碍物在图像数据1的位置信息及拍摄时间、图像数据2的位置信息及拍摄时间，计算得到目标障碍物的一个速度信息(记做速度信息1)，根据目标障碍物在图像数据2的位置信息及拍摄时间、图像数据3的位置信息及拍摄时间，计算得到目标障碍物的一个速度信息(记做速度信息2)。……。类似的，车辆可以计算得到N-1个速度信息。

又一种示例中，为了减少处理器的计算压力，可以设置有速度缓冲区(buffer)。该速度缓冲区可以用于存储预设数量的速度信息。例如，预设数量可以为5个。也即，若车辆在根据目标障碍物在多帧图像数据中任意相邻的两帧图像数据的位置信息确定的目标障碍物的速度信息的数量超过5个，则处理器可以将确定时间最晚的5个速度信息存储至速度缓存区。

需要说明的是，针对目标区域的多个障碍物，若车辆确定的某个障碍物的速度信息的数量小于预设数量，则车辆可以将该障碍物进行标注。标注后的障碍物可以删除，或者可以由人工判断移动状态，或者车辆可以再次拍摄该障碍物的图像数据，并根据再次拍摄的图像数据，确定标注后的障碍物的速度信息。这样一来，避免出现由于障碍物的速度信息的数量过少，导致确定障碍物的移动状态时产生速度误报的问题。

二、融合位置测量方式。

一种示例中，车辆在获取到多帧图像数据之后，可以根据拍摄时间的先后顺序将该多帧图像数据划分为多个组。每个组可以包括连续的多帧图像数据。车辆可以根据目标障碍物在每个组中的连续的多帧图像数据的位置信息，确定目标障碍物的移动距离，以获得多个移动距离。之后，车辆根据目标障碍物的多个移动距离以及对应组中图像数据的拍摄时间，确定目标障碍物的多个速度信息。

例如，该多帧图像数据包括上述的图像数据1～图像数据N。车辆可以将该N帧图像数据划分为第一组和第二组。第一组包括该N帧图像数据中拍摄时间较早的前N/2帧图像数据，第二组包括该N帧图像数据中拍摄时间较晚的后N/2帧图像数据。如此，车辆可以根据目标障碍物在第一组的图像数据中的位置信息，确定目标障碍物的第一移动距离，并根据目标障碍物在第二组的图像数据中的位置信息，确定目标障碍物的第二移动距离。

之后，车辆可以根据第一移动距离以及第一组的图像数据的拍摄时长(也即前N/2帧图像数据中的第一帧图像的拍摄时间与第N/2帧图像数据的拍摄时间之间的时长)，计算得到目标障碍物的一个速度信息。类似的，车辆可以第二移动距离以及第二组的图像数据的拍摄时长，计算得到目标障碍物的一个速度信息。从而，车辆可以计算得到目标障碍物的多个(如2个)速度信息。

例如，车辆还可以根据目标障碍物的多个移动距离以及多帧图像数据的拍摄时长，计算目标障碍物的速度信息。

一种示例中，目标障碍物的速度信息可以根据公式一得到。

Speed＝(S₁+S₂)/(T_N-T₁)公式一

其中，Speed表示目标障碍物的速度信息，S₁表示目标障碍物的第一移动距离，S₂表示目标障碍物的第二移动距离，T_N表示多帧图像数据中最后一帧图像数据的拍摄时间(也即最新拍摄时间)，T₁表示多帧图像数据中第一帧图像数据的拍摄时间。

又一种示例中，为了提高准确率，处理器可以设置有位置缓冲区。该位置缓冲区可以用于存储预设数量的图像数据。该预设数量的图像数据为拍摄时间最晚的多帧图像数据。预设数量可以需要设置，比如，可以为6。

基于上述实施例，处于自动驾驶状态的车辆在获取到目标区域的多帧图像数据之后，可以通过多种方式确定障碍物的多个速度信息，并根据该多个速度信息确定障碍物的移动状态，从而可以尽可能的减少速度误报。

一些实施例中，如图3所示，本公开实施例的方法可以包括S301～S306。

S301、获取目标区域的多帧图像数据。

其中，S301可以参照上述S201的描述，不予赘述。

S302、获取目标区域的点云数据。

一种示例中，车辆可以通过配置的雷达设备拍摄目标区域的点云数据。

需要说明的是，本公开实施例的点云数据可以包括多帧点云数据，且该多帧点云数据的拍摄时间与多帧图像数据的拍摄时间一一对应。例如，车辆可以在同一时间段内通过摄像装置以及雷达设备对目标区域进行拍摄，得到该目标区域在该时间段内的多帧图像数据以及点云数据。

S303、根据目标障碍物的点云数据，确定目标障碍物处于无人状态。

其中，目标障碍物是否处于无人状态可以是指是否有人驾驶目标障碍物。例如，当目标障碍物为单车时，处于无人状态可以是指该单车处于停靠状态，且无人骑行；处于有人状态可以是指该单车上有人。

需要说明的是，当单车处于无人状态时，则说明该单车处于静止状态。当单车处于有人状态时，说明该单车可能处于移动状态，也可能处于静止状态。

一种示例中，针对单车群场景，车辆可以从点云端的模型进行处理，减少速度误报。

例如，车辆可以对目标区域的点云数据进行分割，得到每个障碍物的点云数据。车辆在得到目标障碍物的点云数据之后，可以将目标障碍物的点云数据输入预设检测模型，以确定目标障碍物是否处于无人状态。

其中，该预设检测模型具有根据障碍物的点云数据确定该障碍物是否处于无人状态的功能。例如，该预设检测模型可以是根据预设算法对多个样本点云数据训练得到的。该预设算法可以根据需要设置，比如，可以为神经网络算法、深度学习算法等。该多个样本数据可以包括多个处于无人状态的障碍物的点云数据以及多个处于有人状态的障碍物的点云数据。如此，车辆可以根据检测模型，快速准确的确定障碍物是否处于无人状态。

其中，该预设检测模型可以预先配置在车辆中的，或者，为车辆根据预设算法对多个样本点云数据进行训练得到的，该多个样本点云数据包括处于无人状态的障碍物的点云数据以及处于有人状态的障碍物的点云数据。预设算法可以根据需要设置，例如，可以为神经网络算法。

又一种示例中，车辆还可以根据目标障碍物的点云数据，确定目标障碍物的高度。若目标障碍物的高度低于或等于预设阈值，则车辆可以确定目标障碍物处于无人状态。若目标障碍物的高度高于预设阈值，则车辆可以确定该目标障碍物处于有人状态。如此，车辆可以根据障碍物的高度信息，快速的确定障碍物上是否有人。

其中，该预设阈值可以根据需要设置，例如，可以为障碍物的高度。本公开实施例中，车辆可以设置有多个不同类型的障碍物对应的预设阈值。例如，单车对应的预设阈值可以为1.3米、1.4米，电动车对应的预设阈值可以为1.3米～1.5米之间的任一数值，摩托车对应的预设阈值可以为1.3米～1.6米之间的任一数值。

S304、确定目标障碍物在多帧图像数据中每帧图像数据的位置信息。

其中，S304可以参照上述S202，不予赘述。

需要说明的是，本公开实施例中，为了避免出现将静止的障碍物误识别为移动的障碍物，车辆可以先通过点云数据检测障碍物上是否有人。若障碍物处于无人状态，则再根据多帧图像数据对障碍物的移动速度进行确定，提高了对障碍物的移动状态的检测的准确性，降低速度误报的概率。

S305、根据目标障碍物在每帧图像数据中的位置信息，确定目标障碍物的多个速度信息。

其中，S305可以参照上述S203的描述，不予赘述。

S306、根据目标障碍物的多个速度信息，确定目标障碍物的移动状态。

其中，SS306可以分别参照上述S204的描述，不予赘述。

基于图3的技术方案，针对位于目标区域内的多个密集相邻的障碍物，自动驾驶的车辆可以先根据点云数据，确定障碍物是否处于无人状态，并在确定障碍物处于无人状态后，根据多帧图像数据，对各个障碍物的移动状态进行检测。如此，可以避免出现车辆将处于无人状态的障碍物误识别为运行状态，产生速度误报的问题。

一些实施例中，当目标区域内的多个障碍物的数量小于预设阈值时，车辆在将点云数据输入预设检测模型之前，可以根据障碍物的点云数据，确定障碍物的高度。当障碍物的高度低于预设高度时，车辆可以直接确定该障碍物处于静止状态。

一些实施例中，如图4所示，本申请实施例提供的方法可以包括S401～S404。

S401、获取目标区域的多帧图像数据。

其中，S401可以参照上述S201的描述，不予赘述。

S402、确定目标障碍物在多帧图像数据中每帧图像数据的位置信息。

其中，S402可以参照上述S202的描述，不予赘述。

进一步的，车辆在确定目标障碍物在多帧图像数据中每帧图像数据的位置信息之后，车辆根据目标障碍物在多帧图像数据中每帧图像数据的位置信息，确定目标障碍物的多个速度信息，具体包括：

S403、根据目标障碍物在多帧图像数据中每帧图像数据的位置信息，确定目标障碍物的多个交并比(intersection over union，IOU)。

其中，目标障碍物的IOU可以用于表示目标障碍物的速度信息。目标障碍物的IOU与目标障碍物的速度信息成反比。例如，当目标障碍物的IOU大于预设值时，目标障碍物的速度信息为0。该预设值可以根据需要设置，例如，可以为0.9、1等，不予限制。

一种可能的实现方式中，车辆可以根据目标障碍物的点云数据，确定目标障碍物的高度信息。当目标障碍物的高度低于预设阈值时，车辆可以根据确定目障碍物在多帧图像数据中每帧图像数据的位置信息。也即，车辆的融合端可以先根据障碍物的高度对车辆进行过滤，避免出现速度捞回的问题。

进一步的，车辆在根据目标障碍物在多帧图像数据中每帧图像数据的位置信息，确定目标障碍物的多个IOU之后，车辆根据目标障碍物的多个速度信息，确定目标障碍物的移动状态，具体可以包括：

S404、根据目标障碍物的多个IOU，确定目标障碍物的移动状态。

其中，S404的具体方式可以参照上述S204。具体的，可以将S204中的速度信息替换为IOU。

基于图4的技术方案，车辆可以根据目标障碍物在多帧图像数据中的位置信息，确定目标障碍物的多个IOU。由于目标障碍物的IOU与速度信息相关，因此，车辆可以根据目标障碍物的IOU准确的确定车辆的速度信息。

一些实施例中，如图5所示，本公开实施例提供的方法可以包括S501～S505。

S501、获取目标区域的多帧图像数据。

其中，S501可以参照上述S201的描述，不予赘述。

S502、根据目标障碍物在多帧图像数据中每帧图像数据的位置信息。

其中，目标障碍物在图像数据的位置信息是指目标障碍物在图像数据中的实际位置信息。S501可以参照上述S202的描述，不予赘述。

进一步的，车辆在根据目标障碍物在多帧图像数据中每帧图像数据的位置信息之后，车辆根据目标障碍物在多帧图像数据中每帧图像数据的位置信息，确定目标障碍物的多个IOU，具体可以包括：

S503、根据车辆的运动信息以及目标障碍物在第一图像数据中的实际位置信息，确定目标障碍物在第二图像数据中的理论位置信息。

其中，车辆的运动信息是指车辆的自身运动补充(ego motion)参数。该参数可以用于反映车辆在第一图像数据的拍摄时间与第二图像数据的拍摄时间的移动情况。例如，该参数可以为一个多维参数，比如，可以为一个矩阵。第一图像数据和第二图像数据为多帧图像数据中任意相邻的第一图像数据和第二图像数据。第一图像数据的拍摄时间位于第二图像数据的拍摄时间之后。

一种示例中，车辆可以车辆的自身运行补充参数以及目标障碍物的尺寸系数，确定目标障碍物在第二图像数据中的理论位置信息。

其中，目标障碍物的尺寸系数可以是指目标障碍物的长宽比。

例如，目标障碍物在第二图像数据中的实际位置信息可以根据通过一个2维(2dimensions，2D)检测框表示。如此，车辆可以根据目标障碍物在第一图像数据中的2D检测框以及车辆的运行信息，计算得到目标障碍物在第二图像数据中的2D检测框，并将目标障碍物在第二图像数据中的2D检测框内的区域作为目标障碍物的理论位置信息。

具体的，车辆可以先根据第一图像数据到地面的变换矩阵、车辆的自身运动补充参数以及地面到第二图像数据的变换矩阵，计算目标障碍物的变换系数，并根据目标障碍物的变换系数、目标障碍物在第一图像数据的位置信息以及目标障碍物的尺寸系数，确定目标障碍物在第二图像数据中的理论位置信息。

例如，车辆可以根据公式二，计算目标障碍物在第二图像数据中的坐标点。

S＝ground_to_image1*ego_motion*image2_to_ground公式二

其中，S表示目标障碍物在第二图像数据中的变换系数，ground_to_image1表示地面到第二图像数据的变换矩阵，ego_motion表示车辆的自身运行补充参数，image2_to_ground表示第一图像数据到地面的变化矩阵。

需要说明的是，上述地面到图像数据的变换矩阵和图像数据到地面的变换矩阵可以根据摄像装置的参数(如内参和外参)确定。例如，车辆可以根据地面到摄像装置的变换参数(也即，外参)以及摄像装置到目标区域的变换参数(也即，内参)的乘积，得到地面到目标区域的图像数据的变化矩阵。

例如，以目标障碍物为单车，车辆可以将单车的与地面接触的两个像素点(也即单车的两个车轮上与地面接触的像素点)的坐标作为单车的位置信息，针对每个像素点，车辆可以根据目标障碍物的变换系数以及该像素点在第一图像数据的坐标，确定目标障碍物在第二图像数据中的理论坐标。如此，车辆可以计算得到单车的每个像素点在第二图像数据中的理论坐标。

车辆在计算得到单车的与地面接触的两个像素点的理论坐标之后，可以根据两个像素点的理论坐标得到单车在第二图像数据中的理论长度。如此，车辆可以根据单车在第二图像数据中的理论长度以及单车的长宽比，确定单车在第二图像数据中的理论宽度。从而，车辆可以得到单车在第二图像数据中的2D检测框(也即理论位置信息)。

S504、根据目标障碍物在第二图像数据中的实际位置信息与理论位置信息，确定目标障碍物的IOU。

其中，目标障碍物的IOU的具体计算方法可以参照现有技术，不予赘述。

进一步的，参照上述S501～S504的过程，车辆可以计算得到目标障碍物的多个IOU。

由上述可知，车辆基于自身运行信息以及障碍物在图像数据的实际位置，可以准确的确定障碍物在图像数据中的理论位置。如此，基于障碍物在图像数据中的理论位置以及实际位置，车辆可以准确的计算障碍物的IOU。

S505、根据目标障碍物的多个IOU，确定目标障碍物的移动状态。

其中，S505可以参照上述S404的描述，不予赘述。

一些实施例中，当车辆确定多个障碍物中各个障碍物的移动状态之后，可以根据障碍物的移动状态，控制车辆的速度。例如，当多个障碍物中处于移动状态的障碍物的数量大于或等于预设数量时，车辆可以降低车速；当多个障碍物处于移动状态的障碍物的数量小于预设数量时，车辆可以保持当前的车速。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

上述主要从计算机设备的角度对本公开实施例提供的方案进行了介绍。可以理解的是，计算机设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本公开所公开的实施例描述的各示例的表单识别方法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

本公开实施例可以根据上述方法示例对信息点的确定方法进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本公开实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

如图6所示，为本公开实施例提供的一种障碍物的移动状态的确定装置的结构示意图。该障碍物的移动状态的确定装置可以包括：获取单元601、确定单元602。

获取单元601，用于获取目标区域的多帧图像数据。其中，目标区域包括多个障碍物，且该多个障碍物之间的距离小于预设距离。

确定单元602，用于针对该多个障碍物中的任一目标障碍物，车辆确定目标障碍物在多帧图像数据中每帧图像数据的位置信息。

确定单元602，还用于车辆根据目标障碍物在多帧图像数据中每帧图像数据的位置信息，确定目标障碍物的多个速度信息，并根据多个速度信息，确定目标障碍物的移动状态。

可选的，确定单元602，具体用于：根据目标障碍物在多帧图像数据中任意相邻的两帧图像数据的位置信息，计算得到目标障碍物的多个第一速度信息；和/或，根据目标障碍物在多组图像数据的每组图像数据中的多个位置信息，确定目标障碍物的平均移动距离，以获取目标障碍物的多个平均移动距离，并根据目标障碍物的多个平均移动距离，确定目标障碍物的速度信息，以获取目标障碍物的多个速度信息，一组图像数据包括多帧图像数据中连续的多帧图像数据。

可选的，获取单元601，还用于获取目标障碍物的点云数据。确定单元602，还用于根据目标障碍物的点云数据，确定目标障碍物处于无人状态。

可选的，目标障碍物为交通工具，确定单元602，还用于：将目标障碍物的点云数据，输入预设检测模型，以确定目标障碍物处于无人状态。预设检测模型具备根据障碍物的点云数据确定障碍物是否处于无人状态的功能。

可选的，目标障碍物的多个速度信息中的每个速度信息采用IOU标识，IOU与速度信息成反比。确定单元602，具体用于：根据目标障碍物在多帧图像数据中每帧图像数据的位置信息，确定目标障碍物的多个IOU。

可选的，目标障碍物的高度小于预设阈值。

可选的，目标障碍物在图像数据中的位置信息为目标障碍物在图像数据中的实际位置信息。确定单元602，具体用于：针对多帧图像数据中任意相邻的第一图像数据和第二图像数据，根据车辆的自我运动信息，以及目标障碍物在第一图像数据中的实际位置信息，确定目标障碍物在第二图像数据中的理论位置信息。根据目标障碍物在第二图像数据中的实际位置信息以及确定出的目标障碍物在第二图像数据中的理论位置信息，确定目标障碍物的IOU。其中，第一图像数据的拍摄时间位于第二图像数据的拍摄时间之前。

根据本公开的实施例，本公开还提供了一种电子设备、一种车辆、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。例如，通信单元709可以用于执行图2中的S201。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和示例，例如图2中的S202、S203、S204。例如，在一些实施例中，图2～图5的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的图2～图5的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图2～图5的技术方案。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种障碍物的移动状态的确定方法，包括：

获取目标区域的多帧图像数据；所述目标区域包括多个障碍物，且所述多个障碍物之间的距离小于预设距离；

针对所述多个障碍物中的任一目标障碍物，确定所述目标障碍物在所述多帧图像数据中每帧图像数据的位置信息；

根据所述目标障碍物在所述多帧图像数据中每帧图像数据的位置信息，确定所述目标障碍物的多个速度信息，并根据所述多个速度信息，确定所述目标障碍物的移动状态。

2.根据权利要求1所述的方法，其中，所述根据所述目标障碍物在所述多帧图像数据中每帧图像数据的位置信息，确定所述目标障碍物的多个速度信息，包括：

根据所述目标障碍物在所述多帧图像数据中任意相邻的两帧图像数据的位置信息，计算得到所述目标障碍物的多个速度信息；和/或，

根据所述目标障碍物在多组图像数据的每组图像数据中的多个位置信息，确定所述目标障碍物的平均移动距离，以获取所述目标障碍物的多个平均移动距离；

根据所述目标障碍物的多个平均移动距离，确定所述目标障碍物的速度信息，以获取所述目标障碍物的多个速度信息，一组图像数据包括所述多帧图像数据中连续的多帧图像数据。

3.根据权利要求1或2所述的方法，其中，所述方法还包括：

获取所述目标障碍物的点云数据；

根据所述目标障碍物的点云数据，确定所述目标障碍物处于无人状态。

4.根据权利要求3所述的方法，其中，所述目标障碍物为交通工具；

所述方法还包括：

将所述目标障碍物的点云数据，输入预设检测模型，以确定所述目标障碍物是否处于无人状态，所述预设检测模型具备根据障碍物的点云数据确定所述障碍物是否处于无人状态的功能。

5.根据权利要求1-4任一项所述的方法，其中，所述目标障碍物的多个速度信息中每个速度信息采用交并比IOU表示，所述IOU与所述目标障碍物的速度信息成反比；所述根据所述目标障碍物在所述多帧图像数据中每帧图像数据的位置信息，确定所述目标障碍物的多个速度信息，包括：

根据所述目标障碍物在所述多帧图像数据中每帧图像数据的位置信息，确定所述目标障碍物的多个IOU。

6.根据权利要求5所述的方法，其中，所述目标障碍物的高度小于预设阈值。

7.根据权利要求5或6所述的方法，其中，所述位置信息为所述目标障碍物在图像数据中的实际位置信息；

所述根据所述目标障碍物在所述多帧图像数据中每帧图像数据的位置信息，确定所述目标障碍物的多个交并比IOU，包括：

针对所述多帧图像数据中任意相邻的第一图像数据和第二图像数据，根据车辆的运动信息，以及所述目标障碍物在所述第一图像数据中的实际位置信息，确定所述目标障碍物在所述第二图像数据中的理论位置信息；其中，所述第一图像数据的拍摄时间早于所述第二图像数据的拍摄时间；

根据所述目标障碍物在所述第二图像数据中的实际位置信息以及确定出的所述目标障碍物在所述第二图像数据中的理论位置信息，确定所述目标障碍物的IOU，以获得所述目标障碍物的多个IOU。

8.一种障碍物的移动状态的确定装置，应用于处于自动驾驶的车辆，包括：

获取单元，用于获取目标区域的多帧图像数据；所述目标区域包括多个障碍物，且所述多个障碍物之间的距离小于预设距离；

确定单元，用于针对所述多个障碍物中的任一目标障碍物，确定所述目标障碍物在所述多帧图像数据中每帧图像数据的位置信息；

所述确定单元，还用于根据所述目标障碍物在所述多帧图像数据中每帧图像数据的位置信息，确定所述目标障碍物的多个速度信息，并根据所述多个速度信息，确定所述目标障碍物的移动状态。

9.根据权利要求8所述的装置，其中，所述确定单元，具体用于：

根据所述目标障碍物在所述多帧图像数据中任意相邻的两帧图像数据的位置信息，计算得到所述目标障碍物的多个第一速度信息；和/或，

根据所述目标障碍物在多组图像数据的每组图像数据中的多个位置信息，确定所述目标障碍物的平均移动距离，以获取所述目标障碍物的多个平均移动距离；

根据所述目标障碍物的多个平均移动距离，确定所述目标障碍物的速度信息，以获取所述目标障碍物的多个速度信息，一组图像数据包括所述多帧图像数据中连续的多帧图像数据。

10.根据权利要求8或9所述的装置，其中，

所述获取单元，还用于获取所述目标障碍物的点云数据；

所述确定单元，还用于根据所述目标障碍物的点云数据，确定所述目标障碍物处于无人状态。

11.根据权利要求8-10任一项所述的装置，其中，所述目标障碍物的多个速度信息中每个速度信息采用IOU表示，所述IOU与所述目标障碍物的速度信息成反比；所述确定单元，具体用于：

根据所述目标障碍物在所述多帧图像数据中每帧图像数据的位置信息，确定所述目标障碍物的多个IOU。

12.根据权利要求11所述的装置，其中，所述目标障碍物的高度小于预设阈值。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

16.一种车辆，包括如权利要求13所述的电子设备。

Images