CN114241195A - 一种目标识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供了一种目标识别方法、装置、电子设备及存储介质，涉及到图像处理技术领域，上述方法包括：获取由雷达采集的雷达点云及由相机采集的二维图像；对二维图像进行目标检测，得到二维图像中各目标的二维目标框；基于雷达坐标系和相机坐标系之间的转换关系，为各二维目标框内的雷达点添加目标标签；基于目标标签对雷达点云进行聚类，得到目标识别结果。目标的识别同时结合二维和三维信息，提高了识别的准确性。

Description

一种目标识别方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种目标识别方法、装置、电子设备及存储介质。

背景技术

目标识别是指将特殊目标从其它目标中被区分出来的过程，广泛应用在国民经济、空间技术和国防等领域。随着智能车辆的日益普及，如何将目标识别技术装载在车辆上，以便车辆能够在行驶过程中准确识别行驶路上的目标，从而及时应对，避免发生危险，成为了智能车辆开发过程中最重要的步骤之一。

现有技术中，大多利用激光雷达或视觉传感器来感应检测目标，但在实际应用中，两者单独应用都难以准确地识别目标。

发明内容

本发明实施例的目的在于提供一种目标识别方法、装置、电子设备及存储介质，以实现更加准确地识别目标。具体技术方案如下：

第一方面，本发明实施例提供了一种目标识别方法，所述方法包括：

获取由雷达采集的雷达点云及由相机采集的二维图像；

对所述二维图像进行目标检测，得到所述二维图像中各目标的二维目标框；

基于雷达坐标系和相机坐标系之间的转换关系，为各所述二维目标框内的雷达点云添加目标标签；

基于所述目标标签对雷达点云进行聚类，得到目标识别结果。

本发明的一个实施例中，所述方法还包括：

对所述雷达采集的雷达点云进行感兴趣区域提取，得到目标雷达点云；

为各所述二维目标框内的雷达点云添加目标标签，包括：

为各所述二维目标框内的目标雷达点云添加目标标签。

本发明的一个实施例中，在所述对所述雷达采集的雷达点云图像进行感兴趣区域提取之前，所述方法还包括：

对所述雷达采集的雷达点云进行地面点识别及过滤。

本发明的一个实施例中，所述方法还包括：

根据所述相机图像坐标系中各雷达点的索引，确定所述二维目标框内所包括的雷达点云。

本发明的一个实施例中，所述目标标签包括目标类型及目标ID；所述基于所述目标标签对雷达点云进行聚类，得到目标识别结果，包括：

基于所述目标标签对雷达点云进行聚类，得到各目标的三维目标框；

基于各所述目标标签，确定各所述三维目标框对应的目标类型及目标ID。

本发明的一个实施例中，所述基于所述目标标签对雷达点云进行聚类，得到各目标的三位目标框，包括：

基于目标标签对雷达点云进行聚类，得到各目标的三维雷达待修正点云簇；

对各所述目标的三维雷达待修正点云簇的边界进行修正，得到各所述目标的三维目标框。

第二方面，本发明实施例还提供了一种目标识别装置，所述装置包括：

对象获取模块，用于获取由雷达采集的雷达点云及由相机采集的二维图像；

目标检测模块，用于对所述二维图像进行目标检测，得到所述二维图像中各目标的二维目标框；

目标标签添加模块，用于基于雷达坐标系和相机坐标系之间的转换关系，为各所述二维目标框内的雷达点云添加目标标签；

雷达点聚类模块，用于基于所述目标标签对雷达点云进行聚类，得到目标识别结果。

本发明的一个实施例中，所述装置还包括：

区域提取模块，用于对所述雷达采集的雷达点云进行感兴趣区域提取，得到目标雷达点云；

标签添加模块，用于为各所述二维目标框内的目标雷达点云添加目标标签。

本发明的一个实施例中，所述装置还包括：

地面点过滤模块，用于对所述雷达采集的雷达点云进行地面点识别及过滤。

本发明的一个实施例中，所述装置还包括：

点云确定模块，用于根据所述相机图像坐标系中各雷达点的索引，确定所述二维目标框内所包括的雷达点云。

本发明的一个实施例中，所述目标标签包括目标类型及目标ID；所述雷达点聚类模块，还包括：

雷达点聚类子模块，用于基于所述目标标签对雷达点云进行聚类，得到各目标的三维目标框；

类型确定子模块，用于基于各所述目标标签，确定各所述三维目标框对应的目标类型及目标ID。

本发明的一个实施例中，所述雷达点聚类模块，具体用于：

基于目标标签对雷达点云进行聚类，得到各目标的三维雷达待修正点云簇；

对各所述目标的三维雷达待修正点云簇的边界进行修正，得到各所述目标的三维目标框。

第三方面，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一所述的方法步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的方法步骤。

本发明实施例有益效果：

本发明实施例提供的目标识别方法，首先获取由雷达采集的雷达点云及由相机采集的二维图像，对二维图像进行目标检测，得到二维图像中各目标的二维目标框，然后基于雷达坐标系和相机坐标系之间的转换关系，为各二维目标框内的雷达点添加目标标签，基于目标标签对雷达点云进行聚类，得到目标识别结果。

由上可见，应用本发明实施例提供的目标识别方法，将雷达获取的雷达点云转换到相机图像坐标系中，利用相机获取的二维图像中丰富的目标信息，根据雷达坐标系和相机坐标系之间的转换关系，对包括各目标的二维目标框中的雷达点添加目标标签，基于目标标签对雷达点云进行聚类，得到目标识别结果，这样同时结合了相机能够通过二维图像识别目标的精确度的特性，以及雷达能够获取的准确的三维信息的特性，从而可以更加准确地识别目标。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的第一种目标识别方法的流程示意图；

图2为本发明实施例提供的第二种目标识别方法的流程示意图；

图3为本发明实施例中步骤S111的一种可能的实现方式的示意图；

图4为本发明实施例提供的第三种目标识别方法的流程示意图；

图5为本发明实施例中步骤S141的一种可能的实现方式的示意图；

图6为本发明实施例提供的第一种目标识别装置的结构示意图；

图7为本发明实施例提供的第二种目标识别装置的结构示意图；

图8为本发明实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。

为解决现有技术在进行目标识别时，难以准确地识别目标的问题，本发明实施例提供了一种目标识别方法、装置、电子设备及存储介质。

下面通过具体实施例对本发明提供的目标识别方法进行详细说明。

本发明实施例的方法应用于智能终端，在实际使用过程中，该智能终端可以是车载终端，也可以为云服务器等。

本发明的一个实施例中，如图1所示，提供了第一种目标识别方法的流程示意图，上述方法包括以下步骤S11-S14。

步骤S11：获取由雷达采集的雷达点云及由相机采集的二维图像。

上述雷达可以是激光雷达。实际场景中，由于雷达的帧率与相机的帧率不同，因此需要对雷达采集的点云帧与相机采集的图像帧进行时间上的对齐。一个例子中，可以以帧率较大的设备(相机或雷达)的帧采集时刻作为基准，用另外一种设备的帧采集时刻来进行差值计算，按照采集时刻差值最小的原则，将点云帧与图像帧进行对齐。

例如，多帧二维图像的采集时刻的时间戳分别为：40毫秒(二维图像A采集时刻)、80毫秒(二维图像B采集时刻)、120毫秒(二维图像C采集时刻)、160毫秒(二维图像D采集时刻)、200毫秒(二维图像E采集时刻)，多帧雷达点云的采集时刻的时间戳分别为：50毫秒(雷达点云a采集时刻、100毫秒(雷达点云b采集时刻)、150毫秒(雷达点云c)采集时刻、200毫秒(雷达点云d采集时刻)；可知相机的帧率较大，则以相机为基准，按照采集时刻差值最小的原则，将二维图像A与雷达点云a对齐，将二维图像B与雷达点云b对齐，将二维图像C与雷达点云b对齐，将二维图像D与雷达点云c对齐，将二维图像E与雷达点云d对齐。

本发明的一个实施例中，参见图2，上述步骤S11之后还可以包括：

步骤S111：按照预先确定的雷达坐标系及相机图像坐标系的转换关系，将雷达点云转换到相机图像坐标系中，得到雷达点云中的各雷达点在相机图像坐标系中的坐标。

上述雷达坐标系可以是以雷达为原点的三维空间坐标系，相机图像坐标系可以为以相机为原点的二维坐标系。为了预先确定的雷达坐标系及相机图像坐标系的转换关系，雷达和相机之间需要预先进行联合标定，可以根据预先获取的雷达外参数和相机内参数，将雷达坐标系中的点映射到经过相机畸变后的图像坐标系中，从而确定转换关系。

根据预先确定的转换关系，可以将雷达所采集的雷达点云中的各雷达点映射到相机图像坐标系中，即根据各雷达点在雷达坐标系中的坐标，通过转换得到各雷达点在图像坐标系中的坐标。

步骤S12：对二维图像进行目标检测，得到二维图像中各目标的二维目标框。

上述二维图像中的目标是指需要检测的目标，目标的具体类型可以根据实际需求自定义设置。例如，可以为行人、车辆、路障、或指示牌等。二维目标图像中包括至少一个目标，在二维图像中有多个目标的情况下，目标类型可能多样。对二维图像进行目标检测，从而得到二维图像中所包括的各个目标，目标的检查结果可以为二维目标框的形式，二维目标框主要是用于提供目标具体位置和边界信息，此外可以包括目标类型信息，例如将目标类型标注于该二维目标框上。

上述对二维图像进行目标检测可以通过目标检测算法来实现，例如R-CNN(Region-CNN，基于卷积神经网络的区域检测)、YOLO(You Only Live Once，一种端-端的目标检测算法)等。

步骤S13：基于雷达坐标系和相机坐标系之间的转换关系，分别对各二维目标框内的雷达点云添加目标标签。

本发明的一个实施例中，参见图2，上述步骤S13可以是：

步骤S130：基于各雷达点在相机图像坐标系中的坐标，分别对各二维目标框内的雷达点添加目标标签。

其中，可以仅对二维目标框内的点云添加目标标签，也可以仅对框外点云添加目标标签，也可以同时对框内及框外点云均进行添加，例如，同一二维目标框中各雷达点的目标标签相同，不同二维目标框中各雷达点的目标标签不同。此添加目标标签的操作的本质是令二维目标框内外点云形成区别，用以进行点云聚类。

在对各二维目标框内的雷达点云添加目标标签时，可以是依据个二维目标框内所包含的雷达点云的形态，对每个二维目标框内一部分点云簇进行整体标记，也可以通过坐标转换关系，确定每个二维目标框内所包含的各个雷达点进行独立标记。

目标标签可以包括目标类型和/或目标ID。如上文所述，二维图像中可以包括多个类型的目标，例如，人、指示牌、车辆等，同一目标类型下的不同目标可以依据目标ID进行区分。

步骤S14：基于目标标签对雷达点云进行聚类，得到目标识别结果。

本发明的一个实施例中，参见图2，上述步骤S14可以包括：

步骤S141：基于目标标签对雷达点云进行聚类，得到各目标的三维雷达目标点云簇。

步骤S142：基于各目标的三维雷达目标点云簇，得到各目标的三维目标框。

上述基于目标标签对雷达点云进行聚类，是基于目标标签和雷达点云的原始信息(例如位置、反射强度等)进行聚类，相比于传统聚类方式，目标标签相当于为雷达点云多增加一个维度的描述特征，有利于提高聚类结果的准确性。聚类可以通过聚类算法实现，例如对目标标签相同的各雷达点采用K-Means(K均值)算法或DBSCAN(Density-Based SpatialClustering of Applications with Noise，基于密度的聚类算法)等进行聚类。

基于目标标签对雷达点云进行聚类，进一步得到每个目标的三维雷达目标点云簇，例如，得到人的三维雷达目标点云簇，或车的三维雷达目标点云簇。

三维雷达目标点云簇是三维空间中的雷达点集合，各雷达点在雷达坐标系中的坐标是具有三维空间信息的三维坐标，再将三维空间中的三维雷达目标点云簇转换为三维目标框，每一个三维目标框对应着一个目标，基于这些对应不同目标的三维空间框，可以识别不同目标以及各目标所在的位置。

由上可见，应用本发明实施例提供的目标识别方法，将雷达获取的雷达点云转换到相机图像坐标系中，利用相机获取的二维图像中丰富的目标信息，根据雷达点云中雷达点的在图像坐标系中的坐标，对包括各目标的二维目标框中的雷达点添加目标标签，再通过聚类雷达点云得到三维雷达目标点云簇，根据三维雷达目标点云簇来得到各目标的三维目标框，这些三维目标框即可以是各目标在三维空间中的位置所在，即可以得到目标识别结果。这样同时结合了相机能够通过二维图像识别目标的精确度的特性，以及雷达能够获取的准确的三维信息的特性，从而可以更加准确地识别目标。

本发明的一个实施例中，上述方法还包括：对雷达采集的雷达点云进行感兴趣区域提取，得到目标雷达点云。

所以，上述步骤为各二维目标框内的雷达点云添加目标标签，包括：

为各二维目标框内的目标雷达点云添加目标标签。

本发明的一个实施例中，在对达采集的雷达点云图像进行感兴趣区域提取之前，上述方法还包括：

对雷达采集的雷达点云进行地面点识别及过滤。

在一种可能的实施方式中，参见图3，上述步骤S111按照预先确定的雷达坐标系及相机图像坐标系的转换关系，将雷达点云转换到相机图像坐标系中，得到雷达点云中的各雷达点在相机图像坐标系中的坐标，包括：

步骤S111a：对雷达点云进行地面点过滤处理，以及感兴趣区域雷达点提取，得到目标雷达点云。

步骤S111b：按照预先确定的雷达坐标系及相机图像坐标系的转换关系，将目标雷达点云转换到相机图像坐标系中，得到目标雷达点云中的各雷达点在相机图像坐标系中的坐标。

上述雷达点云可以是雷达采集的雷达点的集合，可以位于雷达所能采集到的所有区域中，这些区域中可以包括在目标识别过程中需要进行识别的有意义区域，也可以包括在目标识别过程中不需要进行识别的无意义区域，例如，在检测行驶的道路时，道路上方的区域可以是有意义区域，道路地面区域可以是无意义区域。对雷达点云进行地面点过滤处理，可以是将位于无意义区域中的各雷达点从雷达点云中过滤去除。过滤去除各无意义区域中的雷达点，可以先基于RANSAC(随机采样)算法对雷达点云进行区域分割，根据实际需求对雷达点云所在的各个区域进行自定义设置，将雷达点云所在的各个区域分为有意义区域和无意义区域，然后过滤去除位于无意义区域中的雷达点。

上述感兴趣区域可以是目标识别过程中需要重点进行识别和分析的雷达点云所在的区域，例如，道路上方的区域在行驶过程中需要重点进行识别，则道路上方的区域可以是感兴趣区域。提取感兴趣区域雷达点，可以是提取雷达点云中位于感兴趣区域中的各雷达点，来得到目标雷达点云。例如，在识别行驶的道路时，道路上方区域可以是感兴趣区域，对位于这些区域中的各雷达点进行提取，可以得到目标雷达点云。

因此，上述为各二维目标框内的雷达点云添加目标标签，可以是为各二维目标框内的目标雷达点云添加目标标签。

上文提到，雷达坐标系和相机图像坐标系之间存在预先确定的转换关系，可以将雷达坐标系中的各雷达点转换到相机图像坐标系中，因此，在得到目标雷达点云后，可以将目标雷达点云中的各雷达点按照预先确定的雷达坐标系和相机图像坐标系之间的转换关系，转换到相机图像坐标系中，来得到目标雷达点云中的各雷达点在相机图像坐标系中的坐标。

由上可见，应用本发明实施例提供的目标识别方法，首先对雷达点云进行地面点过滤和感兴趣区域雷达点提取，过滤去除位于无意义区域中的雷达点，仅保留目标识别过程中需要重点识别的区域中的雷达点，将这些雷达点作为目标雷达点云转换到相机图像坐标系中，再进行后续处理，能够避免过多的杂乱雷达点对目标识别过程的干扰，提高了识别目标的效率。

本发明的一个实施例中，上述方法还包括：

根据所述相机图像坐标系中各雷达点的索引，确定所述二维目标框内所包括的雷达点云。

在将目标雷达点云转换到相机图像坐标系中后，保留相机图像坐标系中各雷达点在雷达坐标系中的索引。

目标雷达点云中的各雷达点可以保留相机坐标系中各雷达点在雷达坐标系中的索引，索引可以表示雷达点在雷达坐标系和相机坐标系的对应关系。

由上可见，应用本发明实施例提供的目标识别方法，根据相机图像坐标系中各雷达点的索引，来确定二维目标框内所包括的雷达点云，能够使得确定二维目标框内的雷达点云的判定依据更加充足，所确定的雷达点云更加准确。

本发明的一个实施例中，目标标签包括目标类型及目标ID，上述步骤S14基于所述目标标签对雷达点云进行聚类，得到目标识别结果，包括：

步骤一：基于目标标签对雷达点云进行聚类，得到各目标的三维目标框；

步骤二：基于各目标标签，确定各三维目标框对应的目标类型及目标ID。

本发明的一个实施例中，参见图4，上述图2中所示的目标识别方法，还包括：

步骤S15：基于各目标的三维雷达目标点云簇中各雷达点的目标标签，确定各三维目标框对应的目标类型及目标ID。

上述目标类型可以表示目标的类型，目标ID可以表示目标个体，目标的类型可以基于目标的分类命名，例如，人、路障、车辆等，目标ID则可以是同种分类的不同目标个体，例如，人A和人B，路障A和路障B，车辆A和车辆B。上文提到，二维图像中可以被检测到多个类型的目标，同一类型的目标中可以有多个目标个体，在识别目标后的后续处理中，对不同类型不同个体的目标可以有不同的处理方式。为各目标的三维雷达目标点云簇中各雷达点添加的目标标签中可以包括目标类型和目标ID，可以用于表示该雷达点对应的目标的目标类型和目标ID。因此，根据各目标的三维雷达目标点云簇中各雷达点的目标标签，可以确定该三维雷达目标点云簇对应的目标类型和目标ID，从而确定各三维雷达目标点云簇对应的各三维目标框对应的目标类型和目标ID。

由上可见，应用本发明实施例提供的目标识别方法，对各目标的三维雷达目标点云簇中各雷达点添加的目标标签包括对应目标的目标类型和目标ID，这些标签能够更加清楚地表示各目标的三维雷达目标点云簇对应不同的目标，从而可以确定各三维雷达目标点云簇对应的三维目标框对应的目标，使得目标识别过程更加准确、清楚。

在一种可能的实施方式中，上述步骤S14基于目标标签对雷达点云进行聚类，得到目标识别结果，包括：

步骤一：基于目标标签对各雷达点云进行聚类，得到各目标的三维雷达待修正点云簇。

步骤二：对各目标的三维雷达待修正点云簇的边界进行修正，得到各目标的三维雷达目标框。

在一种可能的实施方式中，参见图5，上述步骤S141按照各雷达点的目标标签进行聚类，得到各目标的三维雷达目标点云簇，包括：

步骤S141a：按照各雷达点的目标标签，对各雷达点进行聚类，得到各目标的三维雷达待修正点云簇。

步骤S141b：利用预设的区域生长算法，对各目标的三维雷达待修正点云簇的边界进行修正，得到各目标的三维雷达目标点云簇。

上文提到，各雷达点的目标标签可以表示该雷达点对应的目标。按照各雷达点的目标标签，对各雷达点进行聚类，可以是对对应同一个目标的多个雷达点进行聚类，来得到对应同一个目标的三维雷达待修正点云簇。不同的三维雷达待修正点云簇可以表示所对应的不同目标。上述对目标标签相同的各雷达点进行聚类，可以基于上文提到过的聚类算法来实现。

一个例子中，通过聚类得到的各目标的三维雷达待修正点云簇，由于聚类算法的局限性，可能会出现边界缺失的情况，无法完整清晰地表示所对应的目标。此时，可以利用预设的区域生长算法，对各三维雷达待修正点云簇的边界进行修正，得到修正边界后能够完整清晰表示所对应目标的三维雷达目标点云簇。

上述预设的区域生长算法可以是霍夫变换算法，通过检测三维雷达待修正点云簇边界上间断的点，将这些点所在的图像坐标空间变换到预先设定的参数空间，来实现三维雷达待修正点云簇边界上直线与曲线的拟合，从而修正各目标的三维雷达待修正点云簇的边界。上述预设的区域生长算法也可以是凸包(Convex Hull)算法，通过连接三维雷达待修正点云簇边界上的点，形成多边形，利用多边形的边界来补全三维雷达待修正点云簇的边界，从而修正各目标的三维雷达待修正点云簇的边界。

由上可见，应用本发明实施例提供的目标识别方法，在对目标标签相同的各雷达点进行聚类，得到对应不同目标的三维雷达待修正点云簇之后，还考虑到三维雷达待修正点云簇边界缺失的可能性，对各目标的三维雷达待修正点云簇的边界进行修正，最终得到各目标的三维雷达目标点云簇，基于这样的三维雷达目标点云簇来进行后续处理，能够更加准确地判定图像中的各目标，进而可以更加准确地识别三维空间中的各目标。

参见图6，本发明实施例还提供了一种目标识别装置的结构示意图，上述装置包括：

对象获取模块601，用于获取由雷达采集的雷达点云及由相机采集的二维图像；

目标检测模块602，用于对二维图像进行目标检测，得到二维图像中各目标的二维目标框；

目标标签添加模块603，用于基于雷达坐标系和相机坐标系之间的转换关系，为各二维目标框内的雷达点云添加目标标签；

雷达点聚类模块604，用于基于所述目标标签对雷达点云进行聚类，得到目标识别结果。

由上可见，应用本发明实施例提供的目标识别装置，将雷达获取的雷达点云转换到相机图像坐标系中，利用相机获取的二维图像中丰富的目标信息，根据雷达坐标系和相机坐标系之间的转换关系，对包括各目标的二维目标框中的雷达点添加目标标签，基于目标标签对雷达点云进行聚类，得到所述各目标的三维目标框，这些三维目标框即可以是各目标在三维空间中的位置所在，即可以得到目标识别结果，这样同时结合了相机能够通过二维图像识别目标的精确度的特性，以及雷达能够获取的准确的三维信息的特性，从而可以更加准确地识别目标。

本发明的一个实施例中，所述装置还包括：

区域提取模块，用于对所述雷达采集的雷达点云进行感兴趣区域提取，得到目标雷达点云；

标签添加模块，用于为所述各所述二维目标框内的目标雷达点云添加目标标签。

本发明的一个实施例中，所述装置还包括：

地面点过滤模块，用于对所述雷达采集的雷达点云进行地面点识别及过滤。

由上可见，应用本发明实施例提供的目标识别装置，首先对雷达点云进行地面点过滤和感兴趣区域雷达点提取，过滤去除位于无意义区域中的雷达点，仅保留目标识别过程中需要重点识别的区域中的雷达点，再进行后续处理，能够避免过多的杂乱雷达点对目标识别过程的干扰，提高了识别目标的效率。

本发明的一个实施例中，所述装置还包括：

点云确定模块，用于根据所述相机图像坐标系中各雷达点的索引，确定所述二维目标框内所包括的雷达点云。

由上可见，应用本发明实施例提供的目标识别装置，根据相机图像坐标系中各雷达点的索引，来确定二维目标框内所包括的雷达点云，能够使得确定二维目标框内的雷达点云的判定依据更加充足，所确定的雷达点云更加准确。

本发明的一个实施例中，所述目标标签包括目标类型及目标ID；所述雷达点聚类模块，还包括：

雷达点聚类子模块，用于基于所述目标标签对雷达点云进行聚类，得到各目标的三维目标框；

类型确定子模块，用于基于各所述目标标签，确定各所述三维目标框对应的目标类型及目标ID。

由上可见，应用本发明实施例提供的目标识别装置，对各雷达点添加的目标标签包括对应目标的目标类型和目标ID，这些标签能够更加清楚地表示各目标的三维雷达目标点云簇对应不同的目标，从而可以确定各三维雷达目标点云簇对应的三维目标框对应的目标，使得目标识别过程更加准确、清楚。

本发明的一个实施例中，所述雷达点聚类模块，具体用于：

基于目标标签对雷达点云进行聚类，得到各目标的三维雷达待修正点云簇；

对各所述目标的三维雷达待修正点云簇的边界进行修正，得到各所述目标的三维目标框。

由上可见，应用本发明实施例提供的目标识别装置，在对目标标签相同的各雷达点进行聚类，得到对应不同目标的三维雷达待修正点云簇之后，还考虑到三维雷达待修正点云簇边界缺失的可能性，对各目标的三维雷达待修正点云簇的边界进行修正，最终得到各目标的三维雷达目标点云簇，并进而得到各目标的三维目标框，基于这样的三维目标框能够更加准确地判定图像中的各目标，进而可以更加准确地识别三维空间中的各目标。

参见图7，本发明实施例还提供了另一种目标识别装置的结构示意图，上述装置包括：

对象获取模块701，用于获取由雷达采集的雷达点云及由相机采集的二维图像；

雷达点云转换模块702，用于按照预先确定的雷达坐标系及相机图像坐标系的转换关系，将雷达点云转换到相机图像坐标系中，得到雷达点云中的各雷达点在相机图像坐标系中的坐标；

目标检测模块703，用于对二维图像进行目标检测，得到二维图像中各目标的二维目标框；

目标标签添加模块704，用于基于各雷达点在相机图像坐标系中的坐标，分别对各二维目标框内的雷达点云添加目标标签；

雷达点聚类模块705，基于目标标签对雷达点云进行聚类，得到各目标的三维雷达目标点云簇；

三维目标框获得模块706，用于基于各所述目标的三维雷达目标点云簇，得到各目标的三维目标框。

由上可见，应用本发明实施例提供的目标识别装置，将雷达获取的雷达点云转换到相机图像坐标系中，利用相机获取的二维图像中丰富的目标信息，根据雷达点云中雷达点的在图像坐标系中的坐标，对包括各目标的二维目标框中的雷达点添加目标标签，再通过聚类得到三维雷达目标点云簇，根据三维雷达目标点云簇来得到各目标的三维目标框，这些三维目标框即可以是各目标在三维空间中的位置所在，这样同时结合了相机能够通过二维图像识别目标的精确度的特性，以及雷达能够获取的准确的三维信息的特性，从而可以更加准确地识别目标。

本发明的一个实施例中，雷达点云转换模块702，具体用于：

对雷达点云进行地面点过滤处理，以及感兴趣区域雷达点提取，得到目标雷达点云；

按照预先确定的雷达坐标系及相机图像坐标系的转换关系，将目标雷达点云转换到相机图像坐标系中，得到目标雷达点云中的各雷达点在相机图像坐标系中的坐标。

由上可见，应用本发明实施例提供的目标识别装置，首先对雷达点云进行地面点过滤和感兴趣区域雷达点提取，过滤去除位于无意义区域中的雷达点，仅保留目标识别过程中需要重点识别的区域中的雷达点，将这些雷达点作为目标雷达点云转换到相机图像坐标系中，再进行后续处理，能够避免过多的杂乱雷达点对目标识别过程的干扰，提高了识别目标的效率。

本发明的一个实施例中，雷达点云转换模块702，还用于：

在将目标雷达点云转换到相机图像坐标系中后，保留相机图像坐标系中各雷达点在雷达坐标系中的索引。

本发明的一个实施例中，目标标签包括目标类型及目标ID；上述装置还包括：

目标确定模块，用于基于各目标的三维雷达目标点云簇中各雷达点的目标标签，确定各三维目标框对应的目标类型及目标ID。

由上可见，应用本发明实施例提供的目标识别装置，对各目标的三维雷达目标点云簇中各雷达点添加的目标标签包括对应目标的目标类型和目标ID，这些标签能够更加清楚地表示各目标的三维雷达目标点云簇对应不同的目标，从而可以确定各三维雷达目标点云簇对应的三维目标框对应的目标，使得目标识别过程更加准确、清楚。

本发明的一个实施例中，雷达点聚类模块705，具体用于：

按照各雷达点的目标标签，对目标标签相同的各雷达点进行聚类，得到各目标的三维雷达待修正点云簇；

利用预设的区域生长算法，对各目标的三维雷达待修正点云簇的边界进行修正，得到各目标的三维雷达目标点云簇。

由上可见，应用本发明实施例提供的目标识别装置，在对目标标签相同的各雷达点进行聚类，得到对应不同目标的三维雷达待修正点云簇之后，还考虑到三维雷达待修正点云簇边界缺失的可能性，对各目标的三维雷达待修正点云簇的边界进行修正，最终得到各目标的三维雷达目标点云簇，基于这样的三维雷达目标点云簇来进行后续处理，能够更加准确地判定图像中的各目标，进而可以更加准确地识别三维空间中的各目标。

本发明实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，

存储器803，用于存放计算机程序；

处理器801，用于执行存储器803上所存放的程序时，实现上述任一目标识别方法的步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一类型型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一目标识别方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一目标识别方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质和程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种目标识别方法，其特征在于，所述方法包括：

获取由雷达采集的雷达点云及由相机采集的二维图像；

对所述二维图像进行目标检测，得到所述二维图像中各目标的二维目标框；

基于雷达坐标系和相机坐标系之间的转换关系，为各所述二维目标框内的雷达点云添加目标标签；

基于所述目标标签对雷达点云进行聚类，得到目标识别结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述雷达采集的雷达点云进行感兴趣区域提取，得到目标雷达点云；

则，为各所述二维目标框内的雷达点云添加目标标签，包括：

为各所述二维目标框内的目标雷达点云添加目标标签。

3.根据权利要求2所述的方法，其特征在于，在所述对所述雷达采集的雷达点云图像进行感兴趣区域提取之前，所述方法还包括：

对所述雷达采集的雷达点云进行地面点识别及过滤。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述相机图像坐标系中各雷达点的索引，确定所述二维目标框内所包括的雷达点云。

5.根据权利要求1所述的方法，其特征在于，所述目标标签包括目标类型及目标ID；所述基于所述目标标签对雷达点云进行聚类，得到目标识别结果，包括：

基于所述目标标签对雷达点云进行聚类，得到各目标的三维目标框；

基于所述目标标签，确定各所述三维目标框对应的目标类型及目标ID。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标标签对雷达点云进行聚类，得到各目标的三维目标框，包括：

基于目标标签对雷达点云进行聚类，得到各目标的三维雷达待修正点云簇；

对各所述目标的三维雷达待修正点云簇的边界进行修正，得到各所述目标的三维目标框。

7.一种目标识别装置，其特征在于，所述装置包括：

对象获取模块，用于获取由雷达采集的雷达点云及由相机采集的二维图像；

目标检测模块，用于对所述二维图像进行目标检测，得到所述二维图像中各目标的二维目标框；

目标标签添加模块，用于基于雷达坐标系和相机坐标系之间的转换关系，为各所述二维目标框内的雷达点云添加目标标签；

雷达点聚类模块，用于基于所述目标标签对雷达点云进行聚类，得到目标识别结果。

8.一种电子设备，其特征在于，包括处理器和存储器，其中：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序，以实现权利要求1-6任一所述的方法步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。

Images