CN113850209B

CN113850209B - 一种动态物体检测方法、装置、交通工具及存储介质

Info

Publication number: CN113850209B
Application number: CN202111150032.6A
Authority: CN
Inventors: 袁行方; 韩旭
Original assignee: Guangzhou Weride Technology Co Ltd
Current assignee: Guangzhou Weride Technology Co Ltd
Priority date: 2021-09-29
Filing date: 2021-09-29
Publication date: 2024-05-28
Anticipated expiration: 2041-09-29
Also published as: CN113850209A

Abstract

本发明公开了一种动态物体检测方法、装置、交通工具及存储介质，方法包括：将第一跟踪目标信息和可信度参数投影到基于世界坐标系的格点中，获得格点存在性信息；使用第一跟踪目标信息和历史跟踪目标信息进行匹配，获得漏检的第二跟踪目标信息；获取第二跟踪目标信息的预测信息，预测信息包括第一位置信息和运动信息；判断第一位置信息在基于世界坐标系的格点中，是否存在可信度参数大于第一阈值的第一格点；如果存在，则根据第一格点调整所述第二跟踪目标信息的第一位置信息。通过本发明实施例，利用预测框对应的格点存在性信息，对预测框进行验证，输出通过验证的预测框，从而恢复漏检物体。

Description

一种动态物体检测方法、装置、交通工具及存储介质

技术领域

本发明涉及交通工具技术领域，尤其涉及一种动态物体检测方法、装置、交通工具及存储介质。

背景技术

无人驾驶中物体检测的方法主要包括基于机器学习或深度学习方法以及规则得到的物体检测框，以及无法用框描述的物体凸包或点云分割信息。两种检测方法分别有各自的优劣，检测框可以提供更多的物体特征信息，例如速度，类别等，但无法保证完美的召回率。凸包或点云分割结果通常可以提供更高的召回率，保证物体的检测，但这类方法通常只能提供当前位置的存在性信息，而无法给出更多物体级别的特征，例如种类，速度。因此当长尾物体出现，或物体出现在盲区/物体被遮挡，导致学习类方法无法稳定给出物体框的检测时，凸包信息或点云分割信息降低了物体跟踪的准确率，同时导致最终感知结果输出时物体特征的缺失。

发明内容

本发明的主要目的在于提供一种动态物体检测方法、装置、交通工具及存储介质，旨在解决现有技术中长尾物体检测不稳定、盲区内或遮挡情况下物体漏检的问题。

为实现上述目的，本发明提供了一种动态物体检测方法，所述方法包括以下步骤：

获取多个感知设备采集到的感知数据，使用第一预设网络模型对所述感知数据进行目标检测，获得第一跟踪目标信息和所述第一跟踪目标信息对应的可信度参数，所述可信度参数用于指示所述第一跟踪目标信息的可信程度；

将所述第一跟踪目标信息和所述可信度参数投影到基于世界坐标系的格点中；

使用所述第一跟踪目标信息和历史跟踪目标信息进行匹配，获得漏检的第二跟踪目标信息；

获取所述第二跟踪目标信息的预测信息，所述预测信息包括第一位置信息和运动信息；

判断所述第一位置信息在所述基于世界坐标系的格点中，是否存在所述可信度参数大于第一阈值的第一格点；如果存在，则根据所述第一格点调整所述第二跟踪目标信息的第一位置信息。

可选地，所述第二跟踪目标信息的预测信息，通过第二预设网络模型对所述第二跟踪目标信息的运动信息进行处理得到。

可选地，判断所述第一位置信息在所述基于世界坐标系的格点中，是否存在可信度大于第一阈值的第一格点，通过以下步骤实现：

获取所述第一位置信息在所述基于世界坐标系的格点中包含的第一格点；

从所述第一格点中获取可信度大于第一阈值的格点，得到第二格点；

判断所述第二格点的数量是否大于第二阈值，如果大于等于所述第二阈值，则确定所述第一位置信息存在可信度大于所述第一阈值的第一格点；如果小于所述第二阈值，则确定所述第一位置信息不存在可信度大于所述第一阈值的第一格点，所述第二目标信息的预测信息为误预测。

可选地，根据所述第一格点调整所述第二跟踪目标信息的第一位置信息，包括以下步骤：

根据所述第二跟踪目标信息的所述第一位置信息，查找所述第一位置信息相邻的第三格点，获得候选格点地图；

将所述第二跟踪目标信息的检测框移动到距离监测对象最近的可信度大于所述第一阈值的所述第三格点，获得第二位置信息和调整距离；

判断所述调整距离是否大于第三阈值；如果大于所述第三阈值，则不调整，直接输出所述第二跟踪目标信息的第一位置信息；如果小于等于所述第三阈值，则调整所述第二跟踪目标信息的第一位置信息为第二位置信息。

可选地，如果所述调整距离小于等于所述第三阈值，调整所述第二跟踪目标信息的所述运动信息的速度信息，通过如下公式调整：

v_new＝v_predict+d/dt

其中，v_new为调整后的速度，v_predict为所述第二跟踪目标信息中的所述运动信息的速度信息，d为调整距离的二维表示，dt为预测时间与原检测时间的差。

可选地，所述使用所述第一跟踪目标信息和历史跟踪目标信息进行匹配，通过匈牙利算法进行物体匹配。

可选地，在将所述特征信息投影到基于世界坐标系的格点中前，还包括以下步骤：

将所述特征信息从所述感知设备的坐标系转换到世界坐标系。

此外，为实现上述目的，本发明还提出一种动态物体检测装置，所述纠偏装置包括：

目标检测单元，用于获取多个感知设备采集到的感知数据，使用第一预设网络模型对所述感知数据进行目标检测，获得第一跟踪目标信息和所述第一跟踪目标信息对应的可信度参数，所述可信度参数用于指示所述第一跟踪目标信息的可信程度；

目标投影单元，用于将所述第一跟踪目标信息和所述可信度参数投影到基于世界坐标系的格点中；

漏检匹配单元，用于使用所述第一跟踪目标信息和历史跟踪目标信息进行匹配，获得漏检的第二跟踪目标信息；

目标预测单元，用于获取所述第二跟踪目标信息的预测信息，所述预测信息包括第一位置信息和运动信息；

目标调整单元，用于判断所述第一位置信息在所述基于世界坐标系的格点中，是否存在所述可信度参数大于第一阈值的第一格点；如果存在，则根据所述第一格点调整所述第二跟踪目标信息的第一位置信息。

此外，为实现上述目的，本发明还提出一种交通工具，所述交通工具包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的动态物体检测程序，所述动态物体检测程序配置为实现如上文所述动态物体检测方法的步骤。

此外，为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的动态物体检测方法的步骤。

本发明实利用预测框对应的格点存在性信息，对预测框进行验证，输出通过验证的预测框，从而恢复漏检物体。解决了现有技术中长尾物体检测不稳定、盲区内或遮挡情况下物体漏检的问题。从而提高了无人驾驶中移动物体的检测成功率。

附图说明

图1为本发明提供的一种动态物体检测方法的一个流程示意图。

图2为本发明提供的可信格点判断的流程示意图。

图3为本发明提供的预测目标调整的流程示意图。

图4为本发明提供的可信格点验证示意图。

图5为本发明提供的预测目标调整示意图。

图6为本发明动态物体检测装置实施例的结构框图。

图7是本发明实施例方案涉及的硬件运行环境的交通工具结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在一个实施例中，如图1所示，本发明提供动态物体检测方法，所述方法包括：

步骤101、获取多个感知设备采集到的感知数据，使用第一预设网络模型对所述感知数据进行目标检测，获得第一跟踪目标信息和所述第一跟踪目标信息对应的可信度参数，所述可信度参数用于指示所述第一跟踪目标信息的可信程度。

多个感知设备可以包括多种类型的感知设备，如摄像机、激光雷达、毫米波雷达等等，且针对不同应用场景，各感知设备的安装位置可以不同，本申请在此不作一一详述，以自动驾驶车辆为例，各感知设备可以安装在该自动驾驶车辆的车体外侧周围，以实现对自动驾驶车辆周围环境的检测。

为了保证检测结果的准确性，这多个感知设备在硬件层面上可以先进行时间同步，即在某时刻t，各感知设备所采集到的感知数据在物理意义上是保持时间一致性的，也就是说，这多个感知设备每次进行数据采集，可以在同一时刻完成，具体实现方法不做限定。

其中，各感知设备采集到的感知数据可以是各模态的数据，以自动驾驶车辆为例，模态可以指：对车辆周围环境信息的观察和收集的某种方法或视角。因此，对于不同感知设备，进行数据采集时所使用的方法或视角可以不同，以保证采集到的车辆周围环境信息的完整及可靠。

为了方便方案的描述，本实施例可以将M＝{m₁，m₂，…，m_n}表示车辆中各感知设备所采集到的感知数据的集合，N表示感知设备的数量，m_i表示第i个感知设备所采集到的感知数据(即该感知设备采集到的原始数据)。需要说明的是，感知设备i和感知设备j不一定属于同一类感知设备，且感知设备i和感知设备j所采集到的感知数据的维度可以不同。

且，若令t表示时间信息，t∈[0，T]，0可以表示起始时刻，T可以表示截止时刻，本申请对T的具体数值不作限定。仍以自动驾驶车辆场景为例，t∈[0，T]可以表示一次完整的自动驾驶过程，0为车辆启动时刻，T为车辆到达目的地后的停止时刻，因此，在对于应用场景下，该t∈[0，T]所表示的物理意义可能会有所不同，但本质含义及其使用方法是类似的，本申请在此可以令m_i ^t表示第i个感知设备在第t时刻的模态数据，即感知数据。

第一预设网络模型可以是卷积神经网络，也可以是其它机器学习网络或多个网络模型的组合。本申请实施例通过卷积神经网络对感知数据进行目标检测，得到点云物体检测框、点云分割结果、图像检测结果、图像分割结果等目标检测结果，同时获得每个目标检测结果的可信度参数。可信度参数用于指示每个目标检测结果的可信程度。

获取目标检测结果后，把目标检测结果从感知设备所在的坐标系，如相机坐标系转换到世间坐标系。然后保存这些目标检测结果。

步骤102、将所述第一跟踪目标信息和所述可信度参数投影到基于世界坐标系的格点中。

将获取的目标检测结果，如点云物体检测框、点云分割结果、图像检测结果、图像分割结果等目标检测结果，通过投影，分别映射到固定大小的格点中。格点大小，可以根据需求进行设置，如设置格点边长为10cm。同时将目标检测结果的可信度参数和投影后的格点进行关联，从而使每个格点都有对应的可信度参数。

步骤103、使用所述第一跟踪目标信息和历史跟踪目标信息进行匹配，获得漏检的第二跟踪目标信息。

无人驾驶车辆获取的目标检测结果，实时保存到本地，作为历史跟踪目标检测结果。历史跟踪目标检测结果和时间进行关联，保存一段时间内无人驾驶车辆获取的目标检测结果。

从历史跟踪目标检测结果获取一定时长的目标检测结果，如从当前时刻起往前60秒内所有的历史目标检测结果A和当前时刻检测到的目标检测结果B进行匹配，获得当前时刻漏检的目标检测结果C。具体获取多长时间内的目标检测结果进行匹配，可以通过手动配置进行修改。

本实施例使用匈牙利算法对历史目标检测结果A和当前时刻检测到的目标检测结果B进行匹配，获得当前时刻漏检的目标检测结果C。也可以使用其他算法进行匹配，如二分图匹配算法等。

步骤104、获取所述第二跟踪目标信息的预测信息，所述预测信息包括第一位置信息和运动信息。

当前时刻漏检的目标检测结果C为一个集合，可以包含多个目标检测结果，如C₁、C₂等。分别获取漏检的目标检测结果的预测信息，如漏检的目标检测结果为行人C₅，根据该行人C₅的历史信息，使用卡尔曼滤波进行预测(也可以使用其他算法进行预测，如物体位置插值)，预测行人C₅当前时刻的位置信息和速度信息。位置信息为检测框在世界坐标系的坐标信息，速度信息为当前时刻的速度、方向、加速度等信息。

步骤105、判断所述第一位置信息在所述基于世界坐标系的格点中，是否存在可信度参数大于第一阈值的第一格点；如果存在，则根据所述第一格点调整所述第二跟踪目标信息的第一位置信息。

获取漏检的目标检测结果的预测信息中的位置信息包含的格点信息，如根据预测行人C₅当前时刻的位置信息，获取该位置信息在基于世界坐标系的格点地图中包含的格点信息。然后判断格点信息的有效性，具体参见图2所示流程。

步骤201、获取所述第一位置信息在所述基于世界坐标系的格点中包含的第一格点。

根据预测行人C₅当前时刻的位置信息，获取该位置信息在基于世界坐标系的格点地图中包含的格点信息。获取的格点信息包括该位置信息中检测框内包含的格点数量、格点对应的可信度参数等信息。

步骤202、从所述第一格点中获取可信度大于第一阈值的格点，得到第二格点。

目标检测时，每个目标检测结果都会有对应的可信度参数。只有可信度参数大于一定值的目标检测结果才有效，如可信度参数大于70％的目标检测结果才表示有效的目标检测结果。具体可信度参数需要达到多少以上才表示有效的目标检测结果，可以根据实际情况进行设置。

对行人C₅检测框中包含的格点进行可信度参数判断，获取可信度参数大于70％的格点，作为有效格点，即第二格点。

步骤203、判断所述第二格点的数量是否大于第二阈值，如果大于等于所述第二阈值，则确定所述第一位置信息存在可信度大于所述第一阈值的第一格点；如果小于所述第二阈值，则确定所述第一位置信息不存在可信度大于所述第一阈值的第一格点，所述第二目标信息的预测信息为误预测。

对行人C₅检测框中包含的可信度参数大于70％的格点的数量进行判断，当前获取的可信度参数大于70％的格点的数量为3。然后判断可信度参数大于70％的格点的数量是否大于一个阈值，如2。该阈值可以根据不同的检测目标进行设置，如汽车，则需要5个以上；行人则只需要2个以上。当前行人C₅检测框中包含的可信度参数大于70％的格点的数量为3，大于阈值2，则表示该行人C₅的预测信息是有效的。如果小于阈值，则表示该预测信息是无效的，为误预测，可以丢弃该漏检的目标检测结果。图4所示，表示检测框中包含可信度参数大于阈值的格点情况。

如果预测信息的检测框包含的有效格点大于阈值，则根据所述第一格点调整所述第二跟踪目标信息的第一位置信息。具体参考图3所述流程：

步骤301、根据所述第二跟踪目标信息的所述第一位置信息，查找所述第一位置信息相邻的第三格点，获得候选格点地图。

查找行人C₅检测框位置附件的相邻格点，获得候选格点地图。

步骤302、将所述第二跟踪目标信息的检测框移动到距离监测对象最近的可信度大于所述第一阈值的所述第三格点，获得第二位置信息和调整距离。

将行人C₅检测框的位置移动到可信度大于阈值，如大于阈值70％的相邻格点上。然后获取检测框的调整距离dx、dy，dx，dy分别表示X轴、Y轴方向移动的距离。然后使用dx、dy计算移动距离，如移动距离为20cm。

步骤303、判断所述调整距离是否大于第三阈值；如果大于所述第三阈值，则不调整，直接输出所述第二跟踪目标信息的第一位置信息；如果小于等于所述第三阈值，则调整所述第二跟踪目标信息的第一位置信息为第二位置信息。

判断行人C₅检测框的位置移动距离是否大于第三阈值，如10cm。如果大于该第三阈值，则表示该格点离预测的位置较远，则认为该调整可信度较低，不对该行人C₅检测框进行移动，直接输出该预测的行人C₅检测框的位置信息，即表示该行人C₅的预测信息是正确的，直接输出该行人C₅的检测框到当前时刻的目标检测结果中。

如果小于该第三阈值，则表示该格点离预测的位置较近，即这些格点属于该行人C₅的格点，需要把该行人C₅的检测框移动到这些格点处。输出移动后的该行人C₅的检测框到当前时刻的目标检测结果中。图5描述了检测框的调整过程。

步骤304、如果所述调整距离小于等于所述第三阈值，调整所述第二跟踪目标信息的所述运动信息的速度信息。

如果小于该第三阈值，则表示该格点离预测的位置较近，即这些格点属于该行人C₅的格点，需要条件预测的位置信息，同时需要调整预测的速度信息。v_new＝v_predict+d/dt,v_predict为预测的速度，v_new为调整后的速度，d为调整距离的二维表示，dt为预测框时间与原检测时间的差。

此外，本发明实施例还提出一种动态物体检测装置，参照图6，所述动态物体检测装置包括：

目标检测单元10，用于获取多个感知设备采集到的感知数据，使用第一预设网络模型对所述感知数据进行目标检测，获得第一跟踪目标信息和所述第一跟踪目标信息对应的可信度参数，所述可信度参数用于指示所述第一跟踪目标信息的可信程度；

目标投影单元20，用于将所述第一跟踪目标信息和所述可信度参数投影到基于世界坐标系的格点中；

漏检匹配单元30，用于使用所述第一跟踪目标信息和历史跟踪目标信息进行匹配，获得漏检的第二跟踪目标信息；

目标预测单元40，用于获取所述第二跟踪目标信息的预测信息，所述预测信息包括第一位置信息和运动信息；

目标调整单元50，用于判断所述第一位置信息在所述基于世界坐标系的格点中，是否存在所述可信度参数大于第一阈值的第一格点；如果存在，则根据所述第一格点调整所述第二跟踪目标信息的第一位置信息。

在本实施例中，利用预测框对应的格点存在性信息，对预测框进行验证，输出通过验证的预测框，从而恢复漏检物体。解决了现有技术中长尾物体检测不稳定、盲区内或遮挡情况下物体漏检的问题。从而提高了无人驾驶中移动物体的检测成功率。

需要说明的是，上述装置中的各单元可用于实现上述方法中的各个步骤，同时达到相应的技术效果，本实施例在此不再赘述。

参照图7，图7为本发明实施例方案涉及的硬件运行环境的交通工具的结构示意图。

如图7所示，该交通工具可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI、4G、5G接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图7中示出的结构并不构成对交通工具的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及动态物体检测程序。

在图7所示的交通工具中，网络接口1004主要用于与外部网络进行数据通信；用户接口1003主要用于接收用户的输入指令；交通工具通过处理器1001调用存储器1005中存储的动态物体检测程序，并执行以下操作：

v_new＝v_predict+d/dt

此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质上存储有动态物体检测程序，动态物体检测程序被处理器执行时实现如下操作：

v_new＝v_predict+d/dt

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，控制器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种动态物体检测方法，其特征在于，所述方法包括以下步骤：

判断所述第一位置信息在所述基于世界坐标系的格点中，是否存在所述可信度参数大于第一阈值的第一格点；如果存在，则根据所述第一格点调整所述第二跟踪目标信息的第一位置信息；

其中，判断所述第一位置信息在所述基于世界坐标系的格点中，是否存在可信度大于第一阈值的第一格点，通过以下步骤实现：

判断所述第二格点的数量是否大于第二阈值，如果大于等于所述第二阈值，则确定所述第一位置信息存在可信度大于所述第一阈值的第一格点；如果小于所述第二阈值，则确定所述第一位置信息不存在可信度大于所述第一阈值的第一格点，所述第二目标信息的预测信息为误预测；

其中，根据所述第一格点调整所述第二跟踪目标信息的第一位置信息，包括以下步骤：

2.根据权利要求1所述方法，其特征在于，所述第二跟踪目标信息的预测信息，通过第二预设网络模型对所述第二跟踪目标信息的运动信息进行处理得到。

3.根据权利要求1所述方法，其特征在于，如果所述调整距离小于等于所述第三阈值，调整所述第二跟踪目标信息的所述运动信息的速度信息，通过如下公式调整：

v_new= v_predict + d / dt

4.根据权利要求1所述方法，其特征在于，所述使用所述第一跟踪目标信息和历史跟踪目标信息进行匹配，通过匈牙利算法进行物体匹配。

5.根据权利要求1所述方法，其特征在于，在将所述特征信息投影到基于世界坐标系的格点中前，还包括以下步骤：

6.一种动态物体检测装置，其特征在于，所述装置包括：

目标调整单元，用于判断所述第一位置信息在所述基于世界坐标系的格点中，是否存在所述可信度参数大于第一阈值的第一格点；如果存在，则根据所述第一格点调整所述第二跟踪目标信息的第一位置信息；

其中，所述目标调整单元还用于：

7.一种交通工具，其特征在于，所述交通工具包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的动态物体检测程序，所述动态物体检测程序配置为实现根据权利要求1至5中任一项所述动态物体检测方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的动态物体检测方法的步骤。