CN115797910A - 一种长尾目标识别方法、计算机可读存储介质及车辆 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，具体提供一种长尾目标识别方法、计算机可读存储介质及车辆，旨在解决现有无法有效进行长尾目标的识别且适用范围较窄的问题。为此目的，本发明的长尾目标识别方法包括：获取感兴趣场景的当前帧的点云数据和相应的图像数据，对当前帧的点云数据进行聚类，得到当前帧的目标聚类结果；至少根据相应的图像数据获得三维目标检测结果，根据当前帧的目标聚类结果和三维目标检测结果的匹配结果进行长尾目标的识别。该方法可以自动的进行长尾目标的识别，避免了基于由有限长尾数据和有限长尾目标类别训练得到的感知模型进行长尾目标识别时，使用范围窄且有效性低的问题。

Description

一种长尾目标识别方法、计算机可读存储介质及车辆

技术领域

本发明涉及自动驾驶技术领域，具体提供一种长尾目标识别方法、计算机可读存储介质及车辆。

背景技术

自动驾驶技术通常需要通过感知、定位、决策规划和控制等技术来实现驾驶设备在道路上的自动行驶，其中，感知作为自动驾驶技术的重要环节，是通过多传感器获取大量的周围环境信息，确保驾驶设备对周围环境的正确理解，以便后续做出相应的决策规划和控制。

但在现实中，面对海量的现实场景，会存在各种千奇百怪的道路物体，包括异型车、动物、道路异物等罕见的障碍物，并且各类障碍物的出现频率遵循长尾分布，大量的类别仅有少量的样本，不利于采集。其中，类别多且数量少的目标即可称为长尾目标，现有技术中通常是由安全员路测来收集长尾目标的长尾数据，再基于有限类别的长尾数据集训练感知模型，该方法收集长尾数据的效率低且获取的长尾目标类别有限，无法涵盖开放世界中的海量场景，因而基于此训练得到的感知模型也无法有效进行长尾目标的识别且适用范围较窄。

发明内容

本发明旨在解决上述技术问题，即，解决现有无法有效进行长尾目标的识别且适用范围较窄的问题。

在第一方面，本发明提供了一种长尾目标识别方法，其包括：

获取感兴趣场景的当前帧的点云数据和相应的图像数据；

对当前帧的所述点云数据进行聚类，得到所述当前帧的目标聚类结果；

至少根据所述相应的图像数据获得三维目标检测结果；

根据所述当前帧的目标聚类结果和所述三维目标检测结果的匹配结果，识别出长尾目标。

在一些实施例中，所述三维目标检测结果包括至少一个感知目标的三维目标检测框，所述当前帧的目标聚类结果包括至少一个聚类目标的聚类簇；

所述根据所述当前帧的目标聚类结果和所述三维目标检测结果的匹配结果，识别出长尾目标，包括：

将所述当前帧的聚类簇和所述三维目标检测框统一到同一坐标系中；

基于在所述坐标系中的位置判断所述当前帧的聚类簇和所述三维目标检测框是否匹配；

根据匹配结果识别出所述当前帧对应的长尾目标。

在一些实施例中，所述基于在所述坐标系中的位置判断所述当前帧的聚类簇和所述三维目标检测框是否匹配，包括：

通过所述三维目标检测框的位置信息和所述聚类簇的位置信息计算所述三维目标检测框和所述聚类簇的交并比；

根据所述交并比和预设交并比阈值的对比关系来确定所述当前帧的聚类簇和所述三维目标检测框是否匹配；或者，

通过所述聚类簇的位置信息计算所述聚类簇的中心点；

根据所述三维目标检测框的位置信息计算所述中心点到所述三维目标检测框的顶点的横向距离和纵向距离；

将所述横向距离与横向距离阈值进行对比以及将所述纵向距离与纵向距离阈值进行对比；

根据对比结果来确定所述当前帧的聚类簇和所述三维目标检测框是否匹配。

在一些实施例中，所述根据匹配结果识别出所述当前帧对应的长尾目标，包括：

将所述当前帧的聚类簇中没有与所述三维目标检测框匹配的聚类簇所对应的所述聚类目标确定为所述当前帧对应的长尾目标。

在一些实施例中，所述根据匹配结果识别出所述当前帧对应的长尾目标，包括：

将所述当前帧的聚类簇中没有与所述三维目标检测框匹配的聚类簇作为候选长尾目标聚类簇，确定在所述当前帧的多个相邻帧中所述候选长尾目标聚类簇是否匹配到所述三维目标检测框；

若所述多个相邻帧中所述候选长尾目标聚类簇均未匹配到所述三维目标检测框，将与所述候选长尾目标聚类簇对应的所述聚类目标确定为长尾目标。

在一些实施例中，当所述三维目标检测结果和所述当前帧的目标聚类结果在时间上不同步时，所述将所述当前帧的所述聚类簇和所述三维目标检测框统一到同一坐标系中之前，所述方法还包括：

根据所述三维目标检测框对应的第一时间戳和所述当前帧的聚类簇对应的第二时间戳确定时间差；

获取车辆运动信息；

基于所述车辆运动信息和所述时间差，对所述三维目标检测框进行运动补偿，得到所述三维目标检测框在所述第二时间戳对应的位置信息。

在一些实施例中，所述获取感兴趣场景的当前帧的点云数据和相应的图像数据之前，所述方法还包括：

识别车辆所处的场景类型；

判断所述场景类型与预设的场景类型是否一致；

如果一致，确定所述场景类型对应的场景为所述感兴趣场景；如果不一致，确定所述场景类型对应的场景为非感兴趣场景并对所述非感兴趣场景进行过滤。

在一些实施例中，所述获取感兴趣场景的当前帧的点云数据和相应的图像数据之前，所述方法还包括：

获取车辆所处场景的场景信息；

根据所述场景信息，对所述场景进行三维车道线检测；

根据三维车道线检测结果，确定所述场景中是否存在车道线；

当存在所述车道线时，确定所述场景为行驶道路场景并将所述行驶道路场景作为感兴趣场景；当不存在所述车道线时，确定所述场景为非感兴趣场景并对所述非感兴趣场景进行过滤。

在一些实施例中，所述对当前帧的所述点云数据进行聚类之前，所述方法还包括：

对所述当前帧的点云数据进行地面点提取，得到地面点云数据和非地面点云数据；

所述对当前帧的所述点云数据进行聚类，得到所述当前帧的目标聚类结果，包括：

对所述当前帧的非地面点云数据进行聚类，得到所述当前帧的目标聚类结果。

在一些实施例中，所述对所述当前帧的非地面点云数据进行聚类，得到所述当前帧的目标聚类结果之后，所述方法还包括：

根据所述三维车道线检测结果过滤掉所述目标聚类结果中的非道路目标；和/或

根据所述地面点云数据和所述目标聚类结果，确定所述目标聚类结果中聚类目标至地面的距离；

根据所述距离和预设距离阈值，过滤掉所述目标聚类结果中的非道路目标。

在一些实施例中，所述识别出长尾目标之后，所述方法还包括：

获取并存储所述长尾目标对应的图像数据和/或点云数据。

在第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的长尾目标识别方法。

在第三方面，本发明提供了一种车辆，其包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时实现上述任意一项所述的长尾目标识别方法。

方案1.一种长尾目标识别方法，其特征在于，包括：

获取感兴趣场景的当前帧的点云数据和相应的图像数据；

对当前帧的所述点云数据进行聚类，得到所述当前帧的目标聚类结果；

至少根据所述相应的图像数据获得三维目标检测结果；

根据所述当前帧的目标聚类结果和所述三维目标检测结果的匹配结果，识别出长尾目标。

方案2.根据方案1所述的方法，其特征在于，

所述三维目标检测结果包括至少一个感知目标的三维目标检测框，所述当前帧的目标聚类结果包括至少一个聚类目标的聚类簇；

所述根据所述当前帧的目标聚类结果和所述三维目标检测结果的匹配结果，识别出长尾目标，包括：

将所述当前帧的聚类簇和所述三维目标检测框统一到同一坐标系中；

基于在所述坐标系中的位置判断所述当前帧的聚类簇和所述三维目标检测框是否匹配；

根据匹配结果识别出所述当前帧对应的长尾目标。

方案3.根据方案2所述的方法，其特征在于，所述基于在所述坐标系中的位置判断所述当前帧的聚类簇和所述三维目标检测框是否匹配，包括：

通过所述三维目标检测框的位置信息和所述聚类簇的位置信息计算所述三维目标检测框和所述聚类簇的交并比；

根据所述交并比和预设交并比阈值的对比关系来确定所述当前帧的聚类簇和所述三维目标检测框是否匹配；或者，

通过所述聚类簇的位置信息计算所述聚类簇的中心点；

根据所述三维目标检测框的位置信息计算所述中心点到所述三维目标检测框的顶点的横向距离和纵向距离；

将所述横向距离与横向距离阈值进行对比以及将所述纵向距离与纵向距离阈值进行对比；

根据对比结果来确定所述当前帧的聚类簇和所述三维目标检测框是否匹配。

方案4.根据方案2或3所述的方法，其特征在于，所述根据匹配结果识别出所述当前帧对应的长尾目标，包括：

将所述当前帧的聚类簇中没有与所述三维目标检测框匹配的聚类簇所对应的所述聚类目标确定为所述当前帧对应的长尾目标。

方案5.根据方案2或3所述的方法，其特征在于，所述根据匹配结果识别出所述当前帧对应的长尾目标，包括：

将所述当前帧的聚类簇中没有与所述三维目标检测框匹配的聚类簇作为候选长尾目标聚类簇，确定在所述当前帧的多个相邻帧中所述候选长尾目标聚类簇是否匹配到所述三维目标检测框；

若所述多个相邻帧中所述候选长尾目标聚类簇均未匹配到所述三维目标检测框，将与所述候选长尾目标聚类簇对应的所述聚类目标确定为长尾目标。

方案6.根据方案2或3所述的方法，其特征在于，当所述三维目标检测结果和所述当前帧的目标聚类结果在时间上不同步时，所述将所述当前帧的所述聚类簇和所述三维目标检测框统一到同一坐标系中之前，所述方法还包括：

根据所述三维目标检测框对应的第一时间戳和所述当前帧的聚类簇对应的第二时间戳确定时间差；

获取车辆运动信息；

基于所述车辆运动信息和所述时间差，对所述三维目标检测框进行运动补偿，得到所述三维目标检测框在所述第二时间戳对应的位置信息。

方案7.根据方案1所述的方法，其特征在于，所述获取感兴趣场景的当前帧的点云数据和相应的图像数据之前，所述方法还包括：

识别车辆所处的场景类型；

判断所述场景类型与预设的场景类型是否一致；

如果一致，确定所述场景类型对应的场景为所述感兴趣场景；如果不一致，确定所述场景类型对应的场景为非感兴趣场景并对所述非感兴趣场景进行过滤。

方案8.根据方案1所述的方法，其特征在于，所述获取感兴趣场景的当前帧的点云数据和相应的图像数据之前，所述方法还包括：

获取车辆所处场景的场景信息；

根据所述场景信息，对所述场景进行三维车道线检测；

根据三维车道线检测结果，确定所述场景中是否存在车道线；

当存在所述车道线时，确定所述场景为行驶道路场景并将所述行驶道路场景作为感兴趣场景；当不存在所述车道线时，确定所述场景为非感兴趣场景并对所述非感兴趣场景进行过滤。

方案9.根据方案8所述的方法，其特征在于，所述对当前帧的所述点云数据进行聚类之前，所述方法还包括：

对所述当前帧的点云数据进行地面点提取，得到地面点云数据和非地面点云数据；

所述对当前帧的所述点云数据进行聚类，得到所述当前帧的目标聚类结果，包括：

对所述当前帧的非地面点云数据进行聚类，得到所述当前帧的目标聚类结果。

方案10.根据方案9所述的方法，其特征在于，所述对所述当前帧的非地面点云数据进行聚类，得到所述当前帧的目标聚类结果之后，所述方法还包括：

根据所述三维车道线检测结果过滤掉所述目标聚类结果中的非道路目标；和/或

根据所述地面点云数据和所述目标聚类结果，确定所述目标聚类结果中聚类目标至地面的距离；

根据所述距离和预设距离阈值，过滤掉所述目标聚类结果中的非道路目标。

方案11.根据方案1所述的方法，其特征在于，所述识别出长尾目标之后，所述方法还包括：

获取并存储所述长尾目标对应的图像数据和/或点云数据。

方案12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现方案1至11中任意一项所述的长尾目标识别方法。

方案13.一种车辆，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时实现方案1至11中任意一项所述的长尾目标识别方法。

在采用上述技术方案的情况下，本发明能够通过获取感兴趣场景的当前帧的点云数据和相应的图像数据，对当前帧的点云数据进行聚类，得到当前帧的目标聚类结果；至少根据相应的图像数据获得三维目标检测结果，根据当前帧的目标聚类结果和三维目标检测结果的匹配结果进行长尾目标的识别。该方法可以自动的进行长尾目标的识别，避免了基于由有限长尾数据和有限长尾目标类别训练得到的感知模型进行长尾目标识别时，使用范围窄且有效性低的问题，同时，有利于实现高效的收集长尾目标的长尾数据以及训练得到识别能力更强的感知模型。

附图说明

下面结合附图来描述本发明的优选实施方式，附图中：

图1是本发明实施例提供的长尾目标识别方法的主要步骤流程示意图；

图2是本发明实施例提供的步骤S14的具体执行方法流程示意图；

图3是本发明实施例提供的对三维目标检测结果进行运动补偿的方法流程示意图；

图4是本发明一实施例提供的步骤S23的具体执行方法流程示意图；

图5是本发明提供的长尾目标识别结果图；

图6是本发明实施例提供的应用于行驶道路场景的长尾目标识别方法流程示意图；

图7(1)是本发明提供的非道路目标示意图；图7(2)是本发明提供的降雨天气下的道路场景图；

图8是本发明实施例提供的过滤非道路目标的方法流程示意图；

图9是本发明实施例提供的长尾目标识别方法流程示意图；

图10是本发明实施例提供的一种车辆结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

由背景技术部分的描述可知，现有技术中通常是由安全员路测来收集长尾目标的长尾数据，再基于有限类别的长尾数据集训练感知模型，该方法收集长尾数据的效率低且获取的长尾目标类别有限，无法涵盖开放世界中的海量场景，因而基于此训练得到的感知模型也无法有效进行长尾目标的识别且适用范围较窄。

有鉴于此，本发明提供了一种长尾目标识别方法，参见图1所示，图1是本发明实施例提供的长尾目标识别方法的主要步骤流程示意图，其可以包括：

步骤S11：获取感兴趣场景的当前帧的点云数据和相应的图像数据；

步骤S12：对当前帧的点云数据进行聚类，得到当前帧的目标聚类结果；

步骤S13：至少根据相应的图像数据获得三维目标检测结果；

步骤S14：根据当前帧的目标聚类结果和三维目标检测结果的匹配结果，识别出长尾目标。

其中，感兴趣场景可以为需要进行长尾目标识别的任何场景，可以根据用户的需求进行选择。作为示例，感兴趣场景的场景类型可以包括车辆的行驶道路场景、停车场场景、降雨或降雪天气下的道路场景。

在一些实施例中，步骤S11可以具体为获取感兴趣场景的至少一帧图像数据和至少一帧点云数据；选取任一帧点云数据作为当前帧的点云数据。

在一些实施例中，步骤S11获取相应的图像数据可以为获取与当前帧时间同步的帧的图像数据。在另一些实施例中，步骤S11获取相应的图像数据还可以为：获取与当前帧时间最近邻的帧的图像数据。

需要说明的是，因点云数据和图像数据的采集频率不一致，存在点云数据和图像数据的时间不同步的情况，因此，可以将与当前帧的点云数据时间最近邻的帧的图像数据作为相应的图像数据。

在一些实施例中，可以为通过单目相机获取感兴趣场景的至少一帧图像数据，该图像数据可以为包含有如动态的行人、机动车和非机动车以及锥形桶等常见的静态障碍物的图像数据。

在一些实施例中，获取感兴趣场景的至少一帧点云数据可以为通过激光雷达获取感兴趣场景的至少一帧点云数据。

在一些实施例中，步骤S12可以具体为采用欧式聚类方法对点云数据进行聚类，其中，欧式聚类方法可以具体为选取点云数据中的某点作为目标点P，通过近邻搜索算法找到k个离目标点P最近的点，其中，可通过计算除目标点P之外其余点和目标点P的欧式距离得到离目标点P最近的k个点，进而可将k个点中距离小于设定阈值的点聚类为目标点P对应的集合中，从而得到与目标P点对应的一个聚类簇。其中，一个聚类簇对应一个聚类目标。

在其他实施例中，也可以采用其他聚类方法对点云数据进行聚类。

其中，聚类目标包括两类目标：一是能通过三维目标检测模型或多传感器融合方法识别出的感知目标；二是无法通过三维目标检测模型或多传感器融合方法识别出的目标。该部分无法通过三维目标检测模型或多传感器融合方法自动识别的目标即为本发明所述的长尾目标。

目标聚类结果可以包括感兴趣场景中聚类目标的聚类簇和聚类簇的位置信息。在一些实施例中，目标聚类结果还可以包括与当前帧对应的时间戳。

在一些实施例中，当相应的图像数据为与当前帧时间同步的帧的图像数据时，在步骤S13中根据相应的图像数据获得的三维目标检测结果为与当前帧时间同步的三维目标检测结果。在另一些实施例中，当相应的图像数据为与当前帧时间最近邻的帧的图像数据时，在步骤S13中根据相应的图像数据获得的三维目标检测结果为：与当前帧时间最近邻的帧所对应的三维目标检测结果。

需要说明的是，为了精确的进行长尾目标识别需要基于当前帧的目标聚类结果和与当前帧时间同步的三维目标检测结果进行长尾目标识别，但因点云数据和图像数据的采集频率不一致，存在当前帧的目标聚类结果和三维目标检测结果的时间不同步的情况，因此，可以将与当前帧时间最近邻的帧所对应的三维目标检测结果作为用于与当前帧的目标聚类结果进行匹配的三维目标检测结果，进一步通过对三维目标检测结果进行运动补偿后进行长尾目标识别。

在一些实施例中，步骤S13可以具体为采用训练好的三维目标检测模型对感兴趣场景的图像数据进行检测，得到三维目标检测结果。

在另一些实施例中，步骤S13中获取三维目标检测结果还可以为通过多传感器融合方法获取，如通过单目相机获取感兴趣场景的单目图像以及通过激光雷达获取感兴趣场景的点云数据，通过将单目图像和点云数据融合得到三维目标检测结果。

其中，三维目标检测结果可以包括感兴趣场景中感知目标的三维目标检测框和三维目标检测框的位置信息。在一些实施例中，三维目标检测结果还可以包括与相应的图像数据对应的时间戳。

在一些实施例中，三维目标检测结果可以包括至少一个感知目标的三维目标检测框，当前帧的目标聚类结果可以包括至少一个聚类目标的聚类簇。在这种情况下，参见图2所示，步骤S14可以具体为：

步骤S21：将当前帧的聚类簇和三维目标检测框统一到同一坐标系中；

步骤S22：基于在坐标系中的位置判断当前帧的聚类簇和三维目标检测框是否匹配；

步骤S23：根据匹配结果识别出与当前帧对应的长尾目标。

在一些实施例中，步骤S21可以为将当前帧的聚类簇的位置信息和三维目标检测框的位置信息转换到同一坐标下，步骤S22可以具体为基于同一坐标系中目标检测框的位置信息和聚类簇的位置信息判断当前帧的聚类簇和三维目标检测框是否匹配。在一些实施例中，步骤S21可以具体为将三维目标检测框的位置信息转换至聚类簇所在的坐标系，以便于后续提高匹配分析的效率。

在本发明实施例中，三维目标检测结果可以包括与相应的图像数据对应的时间戳，该时间戳可以作为第一时间戳。目标聚类结果可以包括与当前帧对应的时间戳，该时间戳可以作为第二时间戳。需要说明的是，第一时间戳和第二时间戳中的“第一”和“第二”仅是用于对时间戳进行区别，并不用于对时间戳对应的时序进行限定。

在一些实施例中，参见图3所示，当三维目标检测结果和当前帧的目标聚类结果在时间上不同步时，步骤S21之前，还可以包括：

步骤S31：根据三维目标检测框对应的第一时间戳和当前帧的聚类簇对应的第二时间戳确定时间差；

步骤S32：获取车辆运动信息；

步骤S33：基于车辆运动信息和时间差，对三维目标检测框进行运动补偿，得到三维目标检测框在第二时间戳对应的位置信息。

当三维目标检测结果和当前帧的目标聚类结果在时间上不同步时，三维目标检测框对应的第一时间戳和当前帧的聚类簇对应的第二时间戳不对齐。

在一些实施例中，步骤S31可以具体为：第一时间戳和第二时间戳可以为基于相同系统授时得到的，可以基于第一时间戳和与第一时间戳对应的采样频率确定第一时间戳对应的系统时间，基于第二时间戳和与第二时间戳对应的采样频率确定第二时间戳对应的系统时间，从而根据第一时间戳和第二时间戳分别对应的系统时间计算得到三维目标检测框和当前帧的聚类簇的时间差。

在一些实施例中，车辆运动信息可以包括速度信息、姿态信息和位置信息中的至少一种，作为示例，车辆运动信息可以包括车辆的速度以及横摆角。

在一些实施例中，步骤S33可以具体为基于车辆运动信息采用相关技术中常规的运动补偿方法将第一时间戳对应的三维目标检测框的位置信息补偿到第二时间戳对应的位置，以便于避免因时间戳不对齐、时间不同步导致的长尾目标误识别。

在一些实施例中，步骤S22可以具体为：通过三维目标检测框的位置信息和聚类簇的位置信息计算三维目标检测框和聚类簇的交并比，其中，聚类簇的位置信息可以包括聚类簇轮廓的位置信息；根据交并比和预设交并比阈值的对比关系来确定当前帧的聚类簇和三维目标检测框是否匹配。当交并比大于或等于预设交并比阈值时，确定当前帧的聚类簇和三维目标检测框匹配；当交并比小于预设交并比阈值时，确定当前帧的聚类簇和三维目标检测框不匹配。

在另一些实施例中，步骤S22还可以为：通过聚类簇的位置信息计算聚类簇的中心点；根据三维目标检测框的位置信息计算中心点到三维目标检测框的顶点的横向距离和纵向距离；将横向距离与横向距离阈值进行对比以及将纵向距离与纵向距离阈值进行对比。其中，可以分别计算中心点到三维目标检测框8个顶点的横向距离和纵向距离，最后将得到的8个顶点的横向距离分别与横向距离阈值进行对比以及将得到8个顶点的纵向距离分别与纵向距离阈值进行对比。当与各个顶点的横向距离均小于横向距离阈值且与各个顶点的纵向距离均小于纵向距离阈值时，确定三维目标检测结果和目标聚类结果匹配；否则，确定三维目标检测结果和目标聚类结果不匹配。其中，横向距离对应为在平行于地面的平面内水平方向上的距离，纵向距离对应为在平行于地面的平面内于垂直方向上的距离，横向距离阈值和纵向距离阈值均可根据实际需求进行设置。

在一些实施例中，步骤S23可以具体为：将当前帧的聚类簇中没有与三维目标检测框匹配的聚类簇所对应的聚类目标确定为当前帧对应的长尾目标。

为了避免基于单帧的聚类簇和相应的三维目标检测框的匹配结果来识别长尾目标，容易出现误识别的问题，在一些实施例中，还可以基于连续多帧的匹配结果来识别长尾目标，参见图4所示，步骤S23可以包括：

步骤S41：将当前帧的聚类簇中没有与三维目标检测框匹配的聚类簇作为候选长尾目标聚类簇，确定在当前帧的多个相邻帧中候选长尾目标聚类簇是否匹配到三维目标检测框；

步骤S42：若多个相邻帧候选长尾目标聚类簇均未匹配到三维目标检测框，将与候选长尾目标聚类簇对应的聚类目标确定为长尾目标。

在一些实施例中，步骤S41可以具体为基于当前帧的聚类簇所对应的第二时间戳，获取当前帧的多个相邻帧所对应的聚类簇以及各相邻帧聚类簇所对应的三维目标检测结果，并分别将各相邻帧聚类簇和相应三维目标检测结果中的三维目标检测框进行匹配，根据多个相邻帧的匹配结果确定否存在与候选长尾目标聚类簇匹配的三维目标检测框。其中，相邻帧的帧数可以根据需求进行设置。

作为具体示例，依时序获取第一帧、第二帧、第三帧以及第四帧点云数据的聚类簇，以第二帧作为当前帧，将第二帧的聚类簇中没有与三维目标检测框匹配的聚类簇作为候选长尾目标聚类簇，并确定第三帧和第四帧中候选长尾目标聚类簇是否匹配到三维目标检测框。如果第三帧和第四帧中候选长尾目标聚类簇均没有匹配到三维目标检测框，则将候选长尾目标聚类簇对应的聚类目标确定为长尾目标。

通过根据连续多帧的目标聚类结果中候选长尾目标聚类簇和相应三维目标检测结果中三维目标检测框的匹配结果来确定长尾目标，可以有效避免误检测，提高长尾目标的识别准确度。

作为示例，参见图5所示，图5是本发明提供的长尾目标识别结果图，其中，感兴趣场景可以为车辆的行驶道路场景，通过应用本发明提供的长尾目标识别方法可以检测出当前行驶道路上车辆A和车辆B的三维目标检测框，并至少得到两个车辆的聚类簇以及障碍物C的聚类簇，进而通过将两个车辆的聚类簇以及障碍物C的聚类簇分别和两个车辆的三维目标检测框进行匹配，可得到没有与三维目标检测框匹配的聚类簇即障碍物C对应的聚类簇，从而将障碍物C确定为长尾目标。

该方法可以自动识别出长尾目标，避免了人工识别效率低的问题。

以上为本发明实施例提供的一种长尾目标识别方法，通过获取感兴趣场景的当前帧的点云数据和相应的图像数据，对当前帧的点云数据进行聚类，得到当前帧的目标聚类结果，至少根据相应的图像数据获得三维目标检测结果，通过根据当前帧的目标聚类结果和三维目标检测结果的匹配结果进行长尾目标的识别。该方法可以自动的进行长尾目标的识别，避免了基于由有限长尾数据和有限长尾目标类别训练得到的感知模型进行长尾目标识别时，使用范围窄且有效性低的问题，同时，有利于实现高效的收集长尾目标的长尾数据以及训练得到识别能力更强的感知模型。

本发明提供的长尾目标识别方法可以应用于行驶道路场景的长尾目标识别，有利于提高车辆对行驶道路上目标的感知能力，在下文中将以应用于行驶道路场景的长尾目标识别为例进行描述。

参见图6所示，图6是本发明实施例提供的应用于行驶道路场景的长尾目标识别方法流程示意图，其可以包括：

步骤S61：获取车辆所处场景的场景信息；

步骤S62：根据场景信息，对场景进行三维车道线检测；

步骤S63：根据三维车道线检测结果，确定场景中是否存在车道线；

当不存在车道线时，确定场景为非感兴趣场景并对非感兴趣场景进行过滤，以节约计算资源，减少一些非行驶道路场景对计算资源的消耗；当存在车道线时，确定场景为行驶道路场景并将行驶道路场景作为感兴趣场景，执行步骤S64-S69；

步骤S64：获取感兴趣场景的当前帧的点云数据和相应的图像数据；

步骤S65：对当前帧的点云数据进行地面点提取，得到地面点云数据和非地面点云数据；

步骤S66：对当前帧的非地面点云数据进行聚类，得到当前帧的目标聚类结果；

步骤S67：根据三维车道线检测结果过滤掉目标聚类结果中的非道路目标；

步骤S68：至少根据相应的图像数据获得三维目标检测结果；

步骤S69：根据当前帧过滤后的目标聚类结果和三维目标检测结果的匹配结果，识别出长尾目标。

其中，步骤S64可以采用和上述实施例中步骤S11相同的方式实现，步骤S66对非地面点云数据进行聚类可以采用和步骤S12相同的方式实现，步骤S68可以采用和上述实施例中步骤S13相同的方式实现，步骤S69中针对当前帧过滤后的目标聚类结果和三维目标检测结果可以采用和步骤S14相同的方式进行匹配以及根据匹配结果识别长尾目标。为了简要起见在此不再赘述，具体可参见上文中的描述。

在一些实施例中，步骤S61可以为通过车辆上的图像采集装置和/或雷达装置获取车辆所处场景的场景信息，其中，场景信息可以包括图像数据和/或点云数据。

在一些实施例中，步骤S62可以具体为将获取到的场景信息输入训练好的三维车道线检测模型，得到三维车道线检测结果。

在一些实施例中，步骤S65可以具体为采用平面拟合法或基于点云地面点滤波算法对点云数据进行地面点提取，并将除地面点之外其余点对应的数据作为非地面点云数据，从而避免地面点对后续聚类结果的影响。

在一些实施例中，步骤S67可以具体为根据三维车道线检测结果确定行驶道路场景中的行驶区域，并根据目标聚类结果中聚类簇的位置信息确定与聚类簇对应的聚类目标是否在行驶区域内；如果不在，则将该聚类目标确定为非道路目标，将该非道路目标过滤掉，以避免非道路目标占用计算资源，提高后续对长尾目标识别的效率。参见图7(1)所示，图7(1)是本发明提供的非道路目标示意图，图中矩形框框出的、不在行驶区域内的障碍物将被作为非道路目标过滤掉。

其中，步骤S67根据三维车道线检测结果过滤掉目标聚类结果中的非道路目标之前，还可以将三维车道线检测结果和目标聚类结果统一到同一坐标系中。作为示例，三维车道线检测结果可以为在基于车辆所构建的坐标系下得到的，目标聚类结果可以为在基于激光雷达所构建的坐标系下得到，可以将三维车道线检测结果由车辆对应的坐标系转换至激光雷达对应的坐标系。

在另一些实施例中，在步骤S64之前还可以通过以下步骤过滤掉容易引起长尾目标误识别的场景类型：

识别车辆所处场景的场景类型；

判断场景类型与预设的场景类型是否一致；

如果一致，确定场景类型对应的场景为感兴趣场景；如果不一致，确定场景类型对应的场景为非感兴趣场景并对非感兴趣场景进行过滤。

其中，可以通过训练好的场景类型识别模型识别车辆所处场景的场景类型，场景类型可以包括行驶道路场景、降雨或降雪天气下的道路场景；预设场景类型可以为行驶道路场景，当场景类型为降雨或降雪天气下的道路场景时，将该场景类型作为非感兴趣场景过滤掉。

作为示例，如图7(2)所示，图7(2)是本发明提供的降雨天气下的道路场景图，如图中矩形框框出的积水会被误认为长尾目标。

在另一些实施例中，步骤S66之后还可以通过图8示出的步骤过滤掉非道路目标，其中，图8是本发明实施例提供的过滤非道路目标的方法流程示意图，包括：

步骤S81：根据地面点云数据和目标聚类结果，确定目标聚类结果中聚类目标至地面的距离；

步骤S82：根据距离和预设距离阈值，过滤掉目标聚类结果中的非道路目标。

在一些实施例中，步骤S81可以具体为根据地面点数据进行地平面拟合，根据目标聚类结果中聚类簇的位置信息确定聚类簇至拟合后得到的地平面的距离。

步骤S82可以具体将距离和预设距离阈值进行对比，根据对比结果过滤目标聚类结果中的非道路目标。

其中，非道路目标不属于行驶道路上的障碍物，不会对驾驶设备的行驶造成影响，预设距离阈值可以包括第一预设距离阈值和第二预设距离阈值。

当非道路目标为悬浮于道路上的目标，如红绿灯、路标等时，步骤S82可以具体为当距离大于第一预设距离阈值时，确定该聚类簇对应的聚类目标为非道路目标并对该非道路目标进行过滤。

当非道路目标为处于地面之下的目标时，步骤S82可以具体为当距离小于第二预设距离阈值时，确定该聚类簇对应的聚类目标为非道路目标并对该非道路目标进行过滤。

需要说明的是，可以同时执行步骤S67以及步骤S81、S82，以有效过滤掉目标聚类结果中的非道路目标，提高后续识别长尾目标的效率以及精确度。

在其他实施例中，还可以根据对非地面点云数据进行聚类后，得到的聚类簇的形状特征以及位置特征，识别非道路目标进而对非道路目标进行过滤。作为示例，当聚类簇的形状特征为树的特征，且位置特征为在驾驶设备行驶方向上连成一排时，可以确定该聚类簇对应的聚类目标为绿化带，该绿化带在行驶道路的两侧因而可以将其确定为非道路目标。

以上为本发明实施例提供的应用于行使道路场景的长尾目标识别方法，其可以通过三维车道线检测结果过滤掉不存在车道线的场景，进而针对存在车道线的感兴趣场景获取其当前帧的点云数据和相应的图像数据，至少根据相应的图像数据得到三维目标检测结果；通过对当前帧的点云数据进行地面点提取得到地面点数据和非地面点数据，对非地面点云数据进行聚类，得到当前帧的目标聚类结果；通过对当前帧的目标聚类结果中的非道路目标进行过滤，将三维目标检测结果和过滤后的目标聚类结果进行匹配，根据匹配结果识别出长尾目标。该方法不仅可以自动的进行长尾目标的识别，避免了基于由有限长尾数据和有限长尾目标类别训练得到的感知模型进行长尾目标识别时，使用范围窄且有效性低的问题；还可以进一步提高长尾目标识别的效率和精确度，利用提高车辆行驶过程中对周围环境信息的感知能力以及识别效率。

在一些实施例中，识别出长尾目标之后还可以进一步获取并存储长尾目标的相关数据，以便于后续利用长尾目标的相关数据进行感知模型的训练。该实施例可以基于上述图1或图6对应的实施例实现，在此以基于图1对应实施例实现为例进行描述。参见图9所示，图9是本发明实施例提供的长尾目标识别方法流程示意图，其可以包括：

步骤S91：获取感兴趣场景的当前帧的点云数据和相应的图像数据；

步骤S92：对当前帧的点云数据进行聚类，得到当前帧的目标聚类结果；

步骤S93：至少根据相应的图像数据获得三维目标检测结果；

步骤S94：根据当前帧的目标聚类结果和三维目标检测结果的匹配结果，识别出长尾目标；

步骤S95：获取并存储长尾目标对应的图像数据和/或点云数据。

其中，步骤S91-S94可以相应采用和S11-S14相同的方式实现，为了简要起见在此不再赘述，具体可参见上文中的描述。

在一些实施例中，步骤S95可以具体为从采集到的感兴趣场景区域的图像数据中筛选出长尾目标对应的图像数据并存储，和/或，从采集到的感兴趣场景区域的点云数据中筛选出长尾目标对应的点云数据并存储。

在一些实施例中，存储长尾目标对应的图像数据和/或点云数据可以将长尾目标对应的图像数据和/或点云数据上传至云端存储。其中，长尾目标对应的图像数据和/或点云数据可作为长尾数据并用于作为感知模型训练数据。

该方法实现了对长尾数据的自动采集，有利于为感知模型的训练提供更多数量以及更多长尾目标类别的感知模型训练训练数据，基于此训练得到的感知模型能够有效提高长尾目标识别的精确度和识别类别，扩大了使用范围。

本领域技术人员能够理解的是，本发明实现上述实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。

本发明的另一方面还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时能够实现上述任一实施例所述的长尾目标识别方法。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

本发明的另一方面，还提供了一种车辆100，参见图10所示，图10是本发明提供的一种车辆结构示意图，其可以包括：

存储器101和处理器102，存储器101中存储有计算机程序，计算机程序被处理器102执行时实现上述任一实施例所述的长尾目标识别方法。

在一些实施例中，车辆100可以包括多个存储器101和多个处理器102。而执行上述方法实施例的长尾目标识别方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的长尾目标识别方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储器101中，每个处理器102可以被配置成用于执行一个或多个存储器101中的程序，以共同实现上述方法实施例的长尾目标识别方法，即每个处理器102分别执行上述方法实施例的长尾目标识别方法的不同步骤，来共同实现上述方法实施例的长尾目标识别方法。

车辆100实现上述任一实施例所述的长尾目标识别方法时，可达到与执行相应实施例相同的有益效果。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种长尾目标识别方法，其特征在于，包括：

获取感兴趣场景的当前帧的点云数据和相应的图像数据；

对当前帧的所述点云数据进行聚类，得到所述当前帧的目标聚类结果；

至少根据所述相应的图像数据获得三维目标检测结果；

根据所述当前帧的目标聚类结果和所述三维目标检测结果的匹配结果，识别出长尾目标。

2.根据权利要求1所述的方法，其特征在于，

所述三维目标检测结果包括至少一个感知目标的三维目标检测框，所述当前帧的目标聚类结果包括至少一个聚类目标的聚类簇；

所述根据所述当前帧的目标聚类结果和所述三维目标检测结果的匹配结果，识别出长尾目标，包括：

将所述当前帧的聚类簇和所述三维目标检测框统一到同一坐标系中；

基于在所述坐标系中的位置判断所述当前帧的聚类簇和所述三维目标检测框是否匹配；

根据匹配结果识别出所述当前帧对应的长尾目标。

3.根据权利要求2所述的方法，其特征在于，所述基于在所述坐标系中的位置判断所述当前帧的聚类簇和所述三维目标检测框是否匹配，包括：

通过所述三维目标检测框的位置信息和所述聚类簇的位置信息计算所述三维目标检测框和所述聚类簇的交并比；

根据所述交并比和预设交并比阈值的对比关系来确定所述当前帧的聚类簇和所述三维目标检测框是否匹配；或者，

通过所述聚类簇的位置信息计算所述聚类簇的中心点；

根据所述三维目标检测框的位置信息计算所述中心点到所述三维目标检测框的顶点的横向距离和纵向距离；

将所述横向距离与横向距离阈值进行对比以及将所述纵向距离与纵向距离阈值进行对比；

根据对比结果来确定所述当前帧的聚类簇和所述三维目标检测框是否匹配。

4.根据权利要求2或3所述的方法，其特征在于，所述根据匹配结果识别出所述当前帧对应的长尾目标，包括：

将所述当前帧的聚类簇中没有与所述三维目标检测框匹配的聚类簇所对应的所述聚类目标确定为所述当前帧对应的长尾目标。

5.根据权利要求2或3所述的方法，其特征在于，所述根据匹配结果识别出所述当前帧对应的长尾目标，包括：

将所述当前帧的聚类簇中没有与所述三维目标检测框匹配的聚类簇作为候选长尾目标聚类簇，确定在所述当前帧的多个相邻帧中所述候选长尾目标聚类簇是否匹配到所述三维目标检测框；

若所述多个相邻帧中所述候选长尾目标聚类簇均未匹配到所述三维目标检测框，将与所述候选长尾目标聚类簇对应的所述聚类目标确定为长尾目标。

6.根据权利要求2或3所述的方法，其特征在于，当所述三维目标检测结果和所述当前帧的目标聚类结果在时间上不同步时，所述将所述当前帧的所述聚类簇和所述三维目标检测框统一到同一坐标系中之前，所述方法还包括：

根据所述三维目标检测框对应的第一时间戳和所述当前帧的聚类簇对应的第二时间戳确定时间差；

获取车辆运动信息；

基于所述车辆运动信息和所述时间差，对所述三维目标检测框进行运动补偿，得到所述三维目标检测框在所述第二时间戳对应的位置信息。

7.根据权利要求1所述的方法，其特征在于，所述获取感兴趣场景的当前帧的点云数据和相应的图像数据之前，所述方法还包括：

识别车辆所处的场景类型；

判断所述场景类型与预设的场景类型是否一致；

如果一致，确定所述场景类型对应的场景为所述感兴趣场景；如果不一致，确定所述场景类型对应的场景为非感兴趣场景并对所述非感兴趣场景进行过滤。

8.根据权利要求1所述的方法，其特征在于，所述获取感兴趣场景的当前帧的点云数据和相应的图像数据之前，所述方法还包括：

获取车辆所处场景的场景信息；

根据所述场景信息，对所述场景进行三维车道线检测；

根据三维车道线检测结果，确定所述场景中是否存在车道线；

当存在所述车道线时，确定所述场景为行驶道路场景并将所述行驶道路场景作为感兴趣场景；当不存在所述车道线时，确定所述场景为非感兴趣场景并对所述非感兴趣场景进行过滤。

9.根据权利要求8所述的方法，其特征在于，所述对当前帧的所述点云数据进行聚类之前，所述方法还包括：

对所述当前帧的点云数据进行地面点提取，得到地面点云数据和非地面点云数据；

所述对当前帧的所述点云数据进行聚类，得到所述当前帧的目标聚类结果，包括：

对所述当前帧的非地面点云数据进行聚类，得到所述当前帧的目标聚类结果。

10.根据权利要求9所述的方法，其特征在于，所述对所述当前帧的非地面点云数据进行聚类，得到所述当前帧的目标聚类结果之后，所述方法还包括：

根据所述三维车道线检测结果过滤掉所述目标聚类结果中的非道路目标；和/或

根据所述地面点云数据和所述目标聚类结果，确定所述目标聚类结果中聚类目标至地面的距离；

根据所述距离和预设距离阈值，过滤掉所述目标聚类结果中的非道路目标。

Images