CN115861741B - 目标标定方法、装置、电子设备、存储介质及车辆 - Google Patents

Abstract

本公开提供一种目标标定方法、装置、电子设备及存储介质。其中，该方法包括：获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象；响应于根据点云数据获取标注目标对象的第一检测框，根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点；根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。由此，能够实现自动化快速精准的对点云数据中的目标对象进行标注。

Description

目标标定方法、装置、电子设备、存储介质及车辆

技术领域

本公开涉及计算机技术领域，尤其涉及一种目标标定方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的不断发展，利用感知技术进行目标识别与检测的应用越来越多。相关技术中提出利用感知技术对点云数据进行目标识别与检测，其中，采用人工标注的方法对点云数据中的目标对象进行标注，以获取感知技术所需的训练集的数据。

但是，由于目标识别与检测的精确度与训练集的数据量有关，在训练集的数据量足够多的情况下，目标识别与检测的精确度越高。随着训练集的数据量增多，采用人工标注的方法，耗时耗力，因此，如何实现自动化快速精准的对目标进行标注成为亟需解决的问题。

发明内容

本公开提供一种目标标定方法、装置、电子设备及存储介质，能够实现自动化快速精准的对点云数据中的目标对象进行标注。

本公开实施例提供一种目标标定方法，包括：获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象；响应于根据点云数据获取标注目标对象的第一检测框，根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点；根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。

在一些实施例中，根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点，包括：将扫描点和像素点转换至目标坐标系，确定目标坐标系中，扫描点的坐标和像素点的坐标；确定目标坐标系中，图像数据对应的拍摄点的坐标；根据拍摄点的坐标和像素点的坐标，确定拍摄点至每个像素点的射线；确定位于射线上，且距离拍摄点最近的扫描点为目标点。

在一些实施例中，方法还包括：根据图像数据获取标注目标对象的第二检测框；确定像素点中位于第二检测框中的候选像素点。

在一些实施例中，根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点，包括：将扫描点和候选像素点转换至目标坐标系，确定目标坐标系中，扫描点的坐标和候选像素点的坐标；确定目标坐标系中，图像数据对应的拍摄点的坐标；根据拍摄点的坐标和候选像素点的坐标，确定拍摄点至每个候选像素点的射线；确定位于射线上，且距离拍摄点最近的扫描点为目标点。

在一些实施例中，确定目标坐标系中，图像数据对应的拍摄点的坐标，包括：确定图像数据对应的图像采集装置的外参；根据外参，确定目标坐标系中拍摄点的坐标。

在一些实施例中，根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框，包括：响应于第一数量和第二数量满足预设条件，确定第一检测框为目标检测框；响应于第一数量和第二数量未满足预设条件，确定第一检测框不是目标检测框；其中，预设条件，包括以下至少一种：

第一数量与第二数量的比值大于第一预设值；

第一数量与第二数量和第一数量的差值的比值大于第二预设值。

在一些实施例中，根据点云数据获取标注目标对象的第一检测框，包括：确定第一预训练模型；将点云数据输入至第一预训练模型，获取标注目标对象的第一检测框。

在一些实施例中，根据图像数据获取标注目标对象的第二检测框，包括：确定第二预训练模型；将图像数据输入至第二预训练模型，获取标注目标对象的第二检测框。

本公开实施例还提供一种目标标定装置，包括：数据获取单元，用于获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象；第一处理单元，用于响应于根据点云数据获取标注目标对象的第一检测框，根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点；第二处理单元，用于根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。

本公开实施例还提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器;其中，所述处理器被配置为执行所述指令，以实现上述的方法。

本公开实施例还提供一种车辆，所述车辆包括有上述实施例中的装置，或者所述车辆包括有上述实施例中的电子设备，或者所述车辆与上述实施例中的电子设备相互独立。

本公开实施例还提供一种计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的方法。

本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过实施本公开实施例，获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象；响应于根据点云数据获取标注目标对象的第一检测框，根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点；根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。由此，能够实现自动化快速精准的对点云数据中的目标对象进行标注。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1为本公开示例性实施例提供的一种目标标定方法的流程图；

图2为本公开示例性实施例提供的另一种目标标定方法的流程图；

图3为本公开示例性实施例提供的又一种目标标定方法的流程图；

图4为本公开示例性实施例提供的又一种目标标定方法的流程图；

图5为本公开示例性实施例提供的一种目标标定装置的结构图；

图6为本公开示例性实施例提供的目标标定装置中第一处理单元的结构图；

图7为本公开示例性实施例提供的另一种目标标定装置的结构图；

图8为本公开示例性实施例提供的一种电子设备的结构图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

相关技术中，提出利用感知技术对点云数据进行目标识别与检测，其中，采用人工标注的方法对点云数据中的目标进行标注，以获取感知技术所需的训练集的数据。但是，由于目标识别与检测的精确度与训练集的数据量有关，在训练集的数据量足够多的情况下，目标识别与检测的精确度越高。随着训练集的数据量增多，采用人工标注的方法，耗时耗力。

基于此，本公开实施例中提供一种目标标定方法，获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象；响应于根据点云数据获取标注目标对象的第一检测框，根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点；根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。采用本公开实施例提供的目标标定方法，能够实现自动化快速精准的对点云数据中的目标对象进行标注。

以下结合附图，详细说明本公开各实施例提供的技术方案。

图1为本公开实施例提供的一种目标标定方法的流程图。如图1所示，该方法包括但不限于如下步骤：

S1：获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象。

需要说明的是，本公开实施例的目标标定方法，可以由本公开实施例的目标标定装置执行，该目标标定装置可以由软件和/或硬件的方式实现。

其中，目标标定装置可以为电子设备，也可以是配置在电子设备中支持电子设备实现目标标定方法的芯片、芯片系统、或处理器等。

其中，电子设备可以安装并运行目标标定程序，电子设备可以包括但不限于智能手机、平板电脑、电脑等具有各种操作系统的硬件设备。

本公开实施例中，获取预设范围内的点云数据和图像数据，可以通过至少一个激光传感器获取预设范围内的点云数据，通过至少一个图像采集装置，获取预设范围的图像数据。

其中，图像采集装置可以为相机，录像机，等等。

其中，激光传感器获取预设范围内的点云数据的时间可以与图像采集装置获取预设范围的图像数据的时间相同，或者还可以不同。也即，可以同时或者不同时通过至少一个激光传感器获取预设范围内的点云数据，以及通过至少一个图像采集装置，获取预设范围的图像数据。

本公开实施例中，可以仅获取预设范围内的点云数据，或者还可以在获取预设范围内的点云数据的基础上，获取预设范围以外的点云数据。本公开实施例对此不作具体限制。

本公开实施例中，可以仅获取预设范围的图像数据，或者还可以在获取预设范围的图像数据的基础上，获取预设范围以外的图像数据。本公开实施例对此不作具体限制。

需要说明的是，本公开实施例获取的点云数据和图像数据中，包括预设范围内的点云数据和图像数据。

为方便理解本公开实施提供的目标标定方法，提供如下一种适用的场景：自动驾驶障碍物识别的场景。

其中，需要对目标对象进行标定，获取训练集的数据。

本公开实施例中，可以在车量的至少一个特定位置安装至少一个图像采集装置，至少一个激光传感器，其中，图像采集装置获取的图像数据与激光传感器获取的点云数据具有相同的预设范围。

本公开实施例中，预设范围内包括目标对象，目标对象可以为障碍物，例如：车辆周围的其他车辆、行人、路障等等。

其中，在车辆和障碍物处于相对静止的情况下，图像采集装置获取图像数据的时间可以与激光传感器获取点云数据的时间不同，或者还可以相同。

其中，在车辆和障碍物未处于相对静止的情况下，图像采集装置获取图像数据的时间需要与激光传感器获取点云数据的时间相同。

当然，本公开实施例提供的目标标定方法，还适用于上述场景以外的其他用于目标识别的应用场景，例如：机器人的取物、移动，等等。

可以理解的是，本公开实施例中，获取预设范围内的点云数据和图像数据的激光传感器和图像采集装置可以设置在需要对目标对象进行识别的主体上，目标对象可以与主体相对静止，或者目标对象还可以与主体未相对静止，处于相对移动的状态。其中，主体可以为车辆、机器人等等。

本公开实施例中，预设范围内包括目标对象，其中，预设范围内可以包括一个或多个目标对象，在目标对象包括多种类别的情况下，预设范围内还可以包括一个或多个类别的目标对象。

本公开实施例中，若目标对象与主体处于相对静止，可以同时或不同时获取预设范围内的点云数据和图像数据，在获取到预设范围内的点云数据和图像数据后，可以进行存储，并且不需要标记获取的时刻。

相反，若目标对象与主体未处于相对静止，需要同时获取预设范围内的点云数据和图像数据，在获取到预设范围内的点云数据和图像数据后，可以进行存储，并且需要标记获取的时刻。例如：以帧为单位，分别存储不同帧对应的预设范围内的点云数据和图像数据。

S2：响应于根据点云数据获取标注目标对象的第一检测框，根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点。

本公开实施例中，可以预先根据点云数据获取标注目标对象的第一检测框。

在一些实施例中，根据点云数据获取标注目标对象的第一检测框，包括：确定第一预训练模型；将点云数据输入至第一预训练模型，获取标注目标对象的第一检测框。

本公开实施例中，可以预先确定第一预训练模型。

示例性地，预先采用深度学习模型，根据点云数据进行预训练得到第一预训练模型。

本公开实施例中，在确定第一预训练模型后，可以将获取的预设范围内的点云数据输入至第一预训练模型，获取标注目标对象的第一检测框。

其中，在根据点云数据获取标注目标对象的第一检测框的情况下，还可以据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点。

其中，图像数据的像素点，可以为图像数据中按照预设采样间隔，确定的像素点。

可以理解的是，在通过图像采集装置获取预设范围的图像数据的情况下，图像数据对应的拍摄点，可以为图像采集装置设置的点，或者还可以为图像采集装置的参数以及获取的图像数据的配置参数确定的点。

其中，在图像数据为矩形的情况下，拍摄点和像素点的连线可以构成四棱锥结构。

本公开实施例中，根据点云数据获取标注目标对象的第一检测框，第一检测框中可以包括点云数据中的部分扫描点。

本公开实施例中，在确定标注目标对象的第一检测框的情况下，可以根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点。

可以理解的是，目标点可以为第一检测框的扫描点中出现在拍摄点和像素点的连线构成的四棱锥结构中的扫描点，或者目标点还可以为第一检测框的扫描点中出现在拍摄点和像素点的连线上的扫描点，或者目标点还可以为第一检测框的扫描点中出现在拍摄点和像素点的连线上的部分扫描点，或者目标点还可以为第一检测框的扫描点中出现在拍摄点和部分像素点的连线上的扫描点。

其中，目标点可以为第一检测框的扫描点中出现在拍摄点和像素点的连线上，且距离拍摄点最近的扫描点。

其中，可以预先确定图像数据中的目标对象对应的部分像素点，进而确定目标点为第一检测框的扫描点中，出现在拍摄点和目标对象对应的部分像素点的连线上的扫描点。

其中，可以预先确定图像数据中的目标对象对应的部分像素点，进而确定目标点为第一检测框的扫描点中，出现在拍摄点和目标对象对应的部分像素点的连线上，且距离拍摄点最近的扫描点。

基于此，本公开实施例中，可以确定第一检测框的扫描点中的目标点。

S3：根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。

本公开实施例中，在确定第一检测框中的扫描点和目标点的情况下，可以根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。

其中，在第一数量与第二数量的比值满足预设值的情况下，确定第一检测框为目标检测框，相反，在第一数量与第二数量的比值不满足预设值的情况下，确定第一检测框不是目标检测框。

其中，在第一数量与第二数量的差值满足预设值的情况下，确定第一检测框为目标检测框，相反，在第一数量与第二数量的差值不满足预设值的情况下，确定第一检测框不是目标检测框。

其中，在第一数量与第二数量和第一数量的差值的比值满足预设值的情况下，确定第一检测框为目标检测框，相反，在第一数量与第二数量和第一数量的差值的比值不满足预设值的情况下，确定第一检测框不是目标检测框。

通过实施本公开实施例，获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象；响应于根据点云数据获取标注目标对象的第一检测框，根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点；根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。由此，能够实现自动化快速精准的对点云数据中的目标对象进行标注。

图2为本公开实施例提供的另一种目标标定方法的流程图。如图2所示，该方法包括但不限于如下步骤：

S10：获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象。

其中，S10的相关描述可以参见上述实施例的相关描述，此处不再赘述。

S20：响应于根据点云数据获取标注目标对象的第一检测框，将第一检测框中的扫描点和图像数据中的像素点转换至目标坐标系，确定目标坐标系中，扫描点的坐标和像素点的坐标。

本公开实施例中，在根据点云数据获取标注目标对象的第一检测框的情况下，可以将第一检测框中的扫描点，以及图像数据中的像素点转换至目标坐标系。

其中，目标坐标系可以为世界坐标系，或者还可以以图像数据对应的图像采集装置建立的坐标系，或者还可以为以点云数据对应的激光传感器建立的坐标系，或者还可以以图像采集装置和激光传感器设置的主体建立的坐标系。

本公开实施例中，在将第一检测框中的扫描点和图像数据中的像素点转换至目标坐标系，可以确定目标坐标系中，扫描点的坐标和像素点的坐标。

S30：确定目标坐标系中，图像数据对应的拍摄点的坐标。

本公开实施例中，确定目标坐标系中，图像数据对应的拍摄点的坐标，包括：确定图像数据对应的图像采集装置的外参；根据外参，确定目标坐标系中拍摄点的坐标。

可以理解的是，图像数据对应的图像采集装置的外参，可以包括图像采集装置相对于主体的设置位置、视角区域方向、视场角、焦距等等。

本公开实施例中，在确定外参后，可以根据外参确定目标坐标系中拍摄点的坐标。

S40：根据拍摄点的坐标和像素点的坐标，确定拍摄点至每个像素点的射线。

本公开实施例中，在确定拍摄点的坐标和像素点的坐标，可以根据二者的坐标建立拍摄点至每个像素点的连线的方程，确定拍摄点至每个像素点的射线。

S50：确定位于射线上，且距离拍摄点最近的扫描点为目标点。

可以理解的是，本公开实施例中，已知扫描点的坐标，以及拍摄点至每个像素点的连线的方程，可以确定扫描点是否位于拍摄点至每个像素点的连线的方程中，也即可以确定扫描点是否位于拍摄点至每个像素点的射线上。

其中，在确定扫描点位于射线上的情况下，可以根据扫描点的坐标以及拍摄点的坐标，计算扫描点至拍摄点之间的距离，确定距离拍摄点最近的扫描点，进而确定位于射线上，且距离拍摄点最近的扫描点为目标点。

S60：根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。

本公开实施例中，根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框，包括：

响应于第一数量和第二数量满足预设条件，确定第一检测框为目标检测框；

响应于第一数量和第二数量未满足预设条件，确定第一检测框不是目标检测框；

其中，预设条件，包括以下至少一种：

第一数量与第二数量的比值大于第一预设值；

第一数量与第二数量和第一数量的差值的比值大于第二预设值。

本公开实施例中，确定扫描点中的目标点后，可以统计目标点的第一数量，以及第一检测框中扫描点的数量，进而根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。

其中，在第一数量和第二数量满足第一数量与第二数量的比值大于第一预设值的情况下，确定第一检测框为目标检测框。

其中，在第一数量和第二数量满足第一数量与第二数量和第一数量的差值的比值大于第二预设值的情况下，确定第一检测框为目标检测框。

其中，在第一数量和第二数量不满足第一数量与第二数量的比值大于第一预设值的情况下，确定第一检测框不是目标检测框。

其中，在第一数量和第二数量不满足第一数量与第二数量和第一数量的差值的比值大于第二预设值的情况下，确定第一检测框不是目标检测框。

本公开实施例中，第一预设值可以为5%，10%等，第二预设值可以为5%，10%等。当前，第一预设值和第二预设值的取值可以根据实际需要进行调整，本公开实施例对此不作具体限制。

通过实施本公开实施例，获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象，响应于根据点云数据获取标注目标对象的第一检测框，将第一检测框中的扫描点和图像数据中的像素点转换至目标坐标系，确定目标坐标系中，扫描点的坐标和像素点的坐标，确定目标坐标系中，图像数据对应的拍摄点的坐标，根据拍摄点的坐标和像素点的坐标，确定拍摄点至每个像素点的射线，确定位于射线上，且距离拍摄点最近的扫描点为目标点，根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。由此，能够实现自动化快速精准的对点云数据中的目标对象进行标注。

图3为本公开实施例提供的又一种目标标定方法的流程图。如图3所示，该方法包括但不限于如下步骤：

S100：获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象。

其中，S100的相关描述可以参见上述实施例的相关描述，此处不再赘述。

S200：响应于根据点云数据获取标注目标对象的第一检测框，根据图像数据获取标注目标对象的第二检测框，并确定图像数据对应的像素点中位于第二检测框中的候选像素点。

在一些实施例中，根据图像数据获取标注目标对象的第二检测框，包括：确定第二预训练模型；将图像数据输入至第二预训练模型，获取标注目标对象的第二检测框。

本公开实施例中，可以根据图像数据获取标注目标对象的第二检测框，其中，可以预先确定第二预训练模型。

示例性地，预先采用深度学习模型，根据图像数据进行预训练得到第二预训练模型。

本公开实施例中，在确定第二预训练模型后，可以将获取的预设范围的图像数据输入至第二预训练模型，获取标注目标对象的第二检测框。

其中，在获取标注目标对象的第二检测框的情况下，可以进一步，确定图像数据对应的像素点中位于第二检测框中的候选像素点。

S300：将扫描点和候选像素点转换至目标坐标系，确定目标坐标系中，扫描点的坐标和候选像素点的坐标。

本公开实施例中，在获取第一检测框和第二检测框的情况下，可以将第一检测框中的扫描点，以及第二检测框中的候选像素点转换至目标坐标系。

其中，目标坐标系可以为世界坐标系，或者还可以以图像数据对应的图像采集装置建立的坐标系，或者还可以为以点云数据对应的激光传感器建立的坐标系，或者还可以以图像采集装置和激光传感器设置的主体建立的坐标系。

本公开实施例中，在将第一检测框中的扫描点和第二检测框中的候选像素点转换至目标坐标系，可以确定目标坐标系中，扫描点的坐标和候选像素点的坐标。

S400：确定目标坐标系中，图像数据对应的拍摄点的坐标。

本公开实施例中，确定目标坐标系中，图像数据对应的拍摄点的坐标，包括：确定图像数据对应的图像采集装置的外参；根据外参，确定目标坐标系中拍摄点的坐标。

可以理解的是，图像数据对应的图像采集装置的外参，可以包括图像采集装置相对于主体的设置位置、视角区域方向、视场角、焦距等等。

本公开实施例中，在确定外参后，可以根据外参确定目标坐标系中拍摄点的坐标。

S500：根据拍摄点的坐标和候选像素点的坐标，确定拍摄点至每个候选像素点的射线。

本公开实施例中，在确定拍摄点的坐标和候选像素点的坐标，可以根据二者的坐标建立拍摄点至每个候选像素点的连线的方程，确定拍摄点至每个候选像素点的射线。

S600：确定位于射线上，且距离拍摄点最近的扫描点为目标点。

可以理解的是，本公开实施例中，已知扫描点的坐标，以及拍摄点至每个候选像素点的连线的方程，可以确定扫描点是否位于拍摄点至每个候选像素点的连线的方程中，也即可以确定扫描点是否位于拍摄点至每个候选像素点的射线上。

其中，在确定扫描点位于射线上的情况下，可以根据扫描点的坐标以及拍摄点的坐标，计算扫描点至拍摄点之间的距离，确定距离拍摄点最近的扫描点，进而确定位于射线上，且距离拍摄点最近的扫描点为目标点。

S700：根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。

本公开实施例中，根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框，包括：

响应于第一数量和第二数量满足预设条件，确定第一检测框为目标检测框；

响应于第一数量和第二数量未满足预设条件，确定第一检测框不是目标检测框；

其中，预设条件，包括以下至少一种：

第一数量与第二数量的比值大于第一预设值；

第一数量与第二数量和第一数量的差值的比值大于第二预设值。

本公开实施例中，确定扫描点中的目标点后，可以统计目标点的第一数量，以及第一检测框中扫描点的数量，进而根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。

其中，在第一数量和第二数量满足第一数量与第二数量的比值大于第一预设值的情况下，确定第一检测框为目标检测框。

其中，在第一数量和第二数量满足第一数量与第二数量和第一数量的差值的比值大于第二预设值的情况下，确定第一检测框为目标检测框。

其中，在第一数量和第二数量不满足第一数量与第二数量的比值大于第一预设值的情况下，确定第一检测框不是目标检测框。

其中，在第一数量和第二数量不满足第一数量与第二数量和第一数量的差值的比值大于第二预设值的情况下，确定第一检测框不是目标检测框。

本公开实施例中，第一预设值可以为5%，10%等，第二预设值可以为5%，10%等。当前，第一预设值和第二预设值的取值可以根据实际需要进行调整，本公开实施例对此不作具体限制。

通过实施本公开实施例，获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象，响应于根据点云数据获取标注目标对象的第一检测框，根据图像数据获取标注目标对象的第二检测框，并确定图像数据对应的像素点中位于第二检测框中的候选像素点，将扫描点和候选像素点转换至目标坐标系，确定目标坐标系中，扫描点的坐标和候选像素点的坐标，确定目标坐标系中，扫描点的坐标和像素点的坐标，确定目标坐标系中，图像数据对应的拍摄点的坐标，根据拍摄点的坐标和像素点的坐标，确定拍摄点至每个像素点的射线，确定位于射线上，且距离拍摄点最近的扫描点为目标点，根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。由此，能够实现自动化快速精准的对点云数据中的目标对象进行标注。

相关技术中，无人驾驶软件底层感知功能依赖深度学习技术来进行目标的检测与识别，而深度学习模型算法的效果受三个重要因素的影响，这三个因素包括数据、算力和场景，而且各大厂商自动驾驶能力目前拉开差距的关键指标是里程数，背后反应的就是数据量，模型在前期受使用结构影响会有较大的不同，到后期的增长完全依赖数据的量级与丰富度。

面对海量训练集，进行自动化的快速精准标注成为一个重要的瓶颈，业界OD（目标对象）的标注有直接对二维标注识别不同维度二维框来还原三维目标，这种方法的问题是还原的三维不精准，也有采用激光大模型做真值来进行预标注结合人工修正的结果来给视觉OD做真值，但是带来的问题是激光由于安装的位置较高可以看到很多摄像头看不到的目标，因此导致会有错误的真值存在，基于图像人工修改激光框慢速低效且得结合多张图像遮挡范围标注不准，基于激光直接预测的遮挡性准确度较低，如何自动化的参考视觉多帧图像来自动化快速的准确的标注激光上视觉可见目标的可见性成为一个亟待解决的问题。本方案提出先采用激光预标注目标框，利用多视角图像映射到激光上最近点打点，最终判断激光目标框中点的被打点比例来判断激光OD的可见与不可见属性，从而自动化精准实现视觉OD的真值标注，为模型的训练和评测提供高质量的数据。

如图4所示，本公开实施例提供又一种目标标定方法，该方法包括但不限于如下步骤：

（1）采集车采集数据，数据需包含激光和视觉数据。

（2）采用激光模型进行目标检测，得到预标注的3D目标检测框。

（3）将不同视角的视觉图像和激光转换到世界坐标系下。

（4）视觉图像结合外参，计算每个像素点（也可以对图像进行预识别待检测目标，只映射检测目标）映射到激光的最近点。

（5）对最近点进行打点标记。

（6）循环计算，直到所有图像数据处理完成。

（7）计算激光检测框中打点的数量与未打点的数量，计算检测框打点比例。

（8）通过比例给出每个检测框的可见与不可见属性（<5%为视觉不可见OD，>5%为可见属性）。

（9）完成的真值可以直接使用，如果要求极高可让标注人员微加工（避免大模型漏检产生的漏标，这个方面也可以通过视觉预检测弥补）。

本公开实施例中，采用视觉到激光最近距离打点的方式，利用激光预标框做区域范围限定，得到一种自动化精确进行遮挡快速标注方法，提升为了对视觉模型提效从而补充数据的质量和效率。

图5为本公开示例性实施例提供的一种目标标定装置10的结构图。如图5所示，该目标标定装置10包括：数据获取单元1、第一处理单元2和第二处理单元3。

数据获取单元1，用于获取预设范围内的点云数据和图像数据；其中，预设范围内包括目标对象。

第一处理单元2，用于响应于根据点云数据获取标注目标对象的第一检测框，根据图像数据的像素点和对应的拍摄点，确定第一检测框的扫描点中的目标点。

第二处理单元3，用于根据目标点的第一数量和扫描点的第二数量，确定第一检测框是否为目标检测框。

如图6所示，在一些实施例中，第一处理单元2，包括：第一坐标确定模块21、第二坐标确定模块22、第一射线确定模块23和第一目标点确定模块24。

第一坐标确定模块21，用于将扫描点和像素点转换至目标坐标系，确定目标坐标系中，扫描点的坐标和像素点的坐标。

第二坐标确定模块22，用于确定目标坐标系中，图像数据对应的拍摄点的坐标。

第一射线确定模块23，用于根据拍摄点的坐标和像素点的坐标，确定拍摄点至每个像素点的射线。

第一目标点确定模块24，用于确定位于射线上，且距离拍摄点最近的扫描点为目标点。

如图7所示，在一些实施例中，该目标标定装置10还包括：检测框确定单元4和像素点确定单元5。

检测框确定单元4，用于根据图像数据获取标注目标对象的第二检测框。

像素点确定单元5，用于确定像素点中位于第二检测框中的候选像素点。

如图6所示，在一些实施例中，第一处理单元2，包括：第一坐标确定模块21、第二坐标确定模块22、第一射线确定模块23和第一目标点确定模块24。

第一坐标确定模块21，用于将扫描点和候选像素点转换至目标坐标系，确定目标坐标系中，扫描点的坐标和候选像素点的坐标。

第二坐标确定模块22，用于确定目标坐标系中，图像数据对应的拍摄点的坐标。

第一射线确定模块23，用于根据拍摄点的坐标和候选像素点的坐标，确定拍摄点至每个候选像素点的射线。

第一目标点确定模块24，用于确定位于射线上，且距离拍摄点最近的扫描点为目标点。

在一些实施例中，第二坐标确定模块22，具体用于：确定图像数据对应的图像采集装置的外参；根据外参，确定目标坐标系中拍摄点的坐标。

在一些实施例中，第二处理单元3，具体用于：响应于第一数量和第二数量满足预设条件，确定第一检测框为目标检测框；响应于第一数量和第二数量未满足预设条件，确定第一检测框不是目标检测框；其中，预设条件，包括以下至少一种：

第一数量与第二数量的比值大于第一预设值；

第一数量与第二数量和第一数量的差值的比值大于第二预设值。

在一些实施例中，第一处理单元2，具体用于：确定第一预训练模型；将点云数据输入至第一预训练模型，获取标注目标对象的第一检测框。

在一些实施例中，检测框确定单元4，具体用于：确定第二预训练模型；将图像数据输入至第二预训练模型，获取标注目标对象的第二检测框。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例中，目标标定装置所取得的有益效果与上述目标标定方法所取得的有益效果相同，此处不再赘述。

图8是根据一示例性实施例示出的一种用于目标标定方法的电子设备100的结构图。

示例性地，电子设备100可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

如图8所示，电子设备100可以包括以下一个或多个组件：处理组件101，存储器102，电源组件103，多媒体组件104，音频组件105，输入/输出（I/ O）的接口106，传感器组件107，以及通信组件108。

处理组件101通常控制电子设备100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件101可以包括一个或多个处理器1011来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。

存储器102被配置为存储各种类型的数据以支持在电子设备100的操作。这些数据的示例包括用于在电子设备100上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM（Static Random-Access Memory，静态随机存取存储器），EEPROM（Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器），EPROM（Erasable Programmable Read-Only Memory，可擦除可编程只读存储器），PROM（Programmable read-only memory，可编程只读存储器），ROM（Read-Only Memory，只读存储器），磁存储器，快闪存储器，磁盘或光盘。

电源组件103为电子设备100的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为电子设备100生成、管理和分配电力相关联的组件。

多媒体组件104包括在所述电子设备100和用户之间的提供一个输出接口的触控显示屏。在一些实施例中，触控显示屏可以包括LCD（Liquid Crystal Display，液晶显示器）和TP（Touch Panel，触摸面板）。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件104包括一个前置摄像头和/或后置摄像头。当电子设备100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件105被配置为输出和/或输入音频信号。例如，音频组件105包括一个MIC（Microphone，麦克风），当电子设备100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，音频组件105还包括一个扬声器，用于输出音频信号。

I/ O接口2112为处理组件101和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件107包括一个或多个传感器，用于为电子设备100提供各个方面的状态评估。例如，传感器组件107可以检测到电子设备100的打开/关闭状态，组件的相对定位，例如所述组件为电子设备100的显示器和小键盘，传感器组件107还可以检测电子设备100或电子设备100一个组件的位置改变，用户与电子设备100接触的存在或不存在，电子设备100方位或加速/减速和电子设备100的温度变化。传感器组件107可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件107还可以包括光传感器，如CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）或CCD（Charge-coupled Device，电荷耦合元件）图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件107还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件108被配置为便于电子设备100和其他设备之间有线或无线方式的通信。电子设备100可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括NFC（Near FieldCommunication，近场通信）模块，以促进短程通信。例如，在NFC模块可基于RFID（RadioFrequency Identification，射频识别）技术， IrDA（Infrared Data Association，红外数据协会）技术， UWB（Ultra Wide Band，超宽带）技术， BT（Bluetooth，蓝牙）技术和其他技术来实现。

在示例性实施例中，电子设备100可以被一个或多个ASIC（Application SpecificIntegrated Circuit，专用集成电路）、DSP（Digital Signal Processor，数字信号处理器）、数字信号处理设备（DSPD）、PLD（Programmable Logic Device，可编程逻辑器件）、FPGA（Field Programmable Gate Array，现场可编程逻辑门阵列）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述目标标定方法。需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的目标标定方法的解释说明，此处不再赘述。

本公开实施例提供的电子设备100，可以执行如上面一些实施例所述的目标标定方法，其有益效果与上述的目标标定方法的有益效果相同，此处不再赘述。

为了实现上述实施例，本公开还提出一种车辆，所述车辆包括有上述实施例中的装置，或者所述车辆包括有上述实施例中的电子设备，或者所述车辆与上述实施例中的电子设备相互独立。

为了实现上述实施例，本公开还提出一种存储介质。

其中，该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如前所述的目标标定方法。例如，所述存储介质可以是ROM（Read Only Memory Image，只读存储器）、RAM (Random Access Memory，随机存取存储器)、CD-ROM（Compact Disc Read-Only Memory，紧凑型光盘只读存储器）、磁带、软盘和光数据存储设备等。

为了实现上述实施例，本公开还提供一种计算机程序产品，该计算机程序由电子设备的处理器执行时，使得电子设备能够执行如前所述的目标标定方法。

本领域内的技术人员应明白，本公开实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性地，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (17)

1.一种目标标定方法，其特征在于，包括：

获取预设范围内的点云数据和图像数据；其中，所述预设范围内包括目标对象；

响应于根据所述点云数据获取标注所述目标对象的第一检测框，根据所述图像数据的像素点和对应的拍摄点，确定所述第一检测框的扫描点中的目标点；

根据所述目标点的第一数量和所述扫描点的第二数量，确定所述第一检测框是否为目标检测框；

所述根据所述图像数据的像素点和对应的拍摄点，确定所述第一检测框的扫描点中的目标点，包括：

将所述扫描点和所述像素点转换至目标坐标系，确定所述目标坐标系中，所述扫描点的坐标和所述像素点的坐标；

确定所述目标坐标系中，所述图像数据对应的拍摄点的坐标；

根据所述拍摄点的坐标和所述像素点的坐标，确定所述拍摄点至每个所述像素点的射线；

确定位于所述射线上，且距离所述拍摄点最近的所述扫描点为所述目标点。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述图像数据获取标注所述目标对象的第二检测框；

确定所述像素点中位于所述第二检测框中的候选像素点。

3.根据权利要求2所述的方法，其特征在于，所述根据所述图像数据的像素点和对应的拍摄点，确定所述第一检测框的扫描点中的目标点，包括：

将所述扫描点和所述候选像素点转换至目标坐标系，确定所述目标坐标系中，所述扫描点的坐标和所述候选像素点的坐标；

确定所述目标坐标系中，所述图像数据对应的拍摄点的坐标；

根据所述拍摄点的坐标和所述候选像素点的坐标，确定所述拍摄点至每个所述候选像素点的射线；

确定位于所述射线上，且距离所述拍摄点最近的所述扫描点为所述目标点。

4.根据权利要求1或3所述的方法，其特征在于，所述确定所述目标坐标系中，所述图像数据对应的拍摄点的坐标，包括：

确定所述图像数据对应的图像采集装置的外参；

根据所述外参，确定所述目标坐标系中所述拍摄点的坐标。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标点的第一数量和所述扫描点的第二数量，确定所述第一检测框是否为目标检测框，包括：

响应于所述第一数量和所述第二数量满足预设条件，确定所述第一检测框为所述目标检测框；

响应于所述第一数量和所述第二数量未满足预设条件，确定所述第一检测框不是所述目标检测框；

其中，所述预设条件，包括以下至少一种：

所述第一数量与所述第二数量的比值大于第一预设值；

所述第一数量与所述第二数量和所述第一数量的差值的比值大于第二预设值。

6.根据权利要求1所述的方法，其特征在于，所述根据所述点云数据获取标注所述目标对象的第一检测框，包括：

确定第一预训练模型；

将所述点云数据输入至所述第一预训练模型，获取标注所述目标对象的所述第一检测框。

7.根据权利要求3所述的方法，其特征在于，所述根据所述图像数据获取标注所述目标对象的第二检测框，包括：

确定第二预训练模型；

将所述图像数据输入至所述第二预训练模型，获取标注所述目标对象的所述第二检测框。

8.一种目标标定装置，其特征在于，包括：

数据获取单元，用于获取预设范围内的点云数据和图像数据；其中，所述预设范围内包括目标对象；

第一处理单元，用于响应于根据所述点云数据获取标注所述目标对象的第一检测框，根据所述图像数据的像素点和对应的拍摄点，确定所述第一检测框的扫描点中的目标点；

第二处理单元，用于根据所述目标点的第一数量和所述扫描点的第二数量，确定所述第一检测框是否为目标检测框；

所述第一处理单元，包括：

第一坐标确定模块，用于将所述扫描点和所述像素点转换至目标坐标系，确定所述目标坐标系中，所述扫描点的坐标和所述像素点的坐标；

第二坐标确定模块，用于确定所述目标坐标系中，所述图像数据对应的拍摄点的坐标；

第一射线确定模块，用于根据所述拍摄点的坐标和所述像素点的坐标，确定所述拍摄点至每个所述像素点的射线；

第一目标点确定模块，用于确定位于所述射线上，且距离所述拍摄点最近的所述扫描点为所述目标点。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

检测框确定单元，用于根据所述图像数据获取标注所述目标对象的第二检测框；

像素点确定单元，用于确定所述像素点中位于所述第二检测框中的候选像素点。

10.根据权利要求9所述的装置，其特征在于，所述第一处理单元，包括：

第一坐标确定模块，用于将所述扫描点和所述候选像素点转换至目标坐标系，确定所述目标坐标系中，所述扫描点的坐标和所述候选像素点的坐标；

第二坐标确定模块，用于确定所述目标坐标系中，所述图像数据对应的拍摄点的坐标；

第一射线确定模块，用于根据所述拍摄点的坐标和所述候选像素点的坐标，确定所述拍摄点至每个所述候选像素点的射线；

第一目标点确定模块，用于确定位于所述射线上，且距离所述拍摄点最近的所述扫描点为所述目标点。

11.根据权利要求8或10所述的装置，其特征在于，所述第二坐标确定模块，具体用于：

确定所述图像数据对应的图像采集装置的外参；

根据所述外参，确定所述目标坐标系中所述拍摄点的坐标。

12.根据权利要求8所述的装置，其特征在于，所述第二处理单元，具体用于：

响应于所述第一数量和所述第二数量满足预设条件，确定所述第一检测框为所述目标检测框；

响应于所述第一数量和所述第二数量未满足预设条件，确定所述第一检测框不是所述目标检测框；

其中，所述预设条件，包括以下至少一种：

所述第一数量与所述第二数量的比值大于第一预设值；

所述第一数量与所述第二数量和所述第一数量的差值的比值大于第二预设值。

13.根据权利要求8所述的装置，其特征在于，所述第一处理单元，具体用于：

确定第一预训练模型；

将所述点云数据输入至所述第一预训练模型，获取标注所述目标对象的所述第一检测框。

14.根据权利要求9所述的装置，其特征在于，所述检测框确定单元，具体用于：

确定第二预训练模型；

将所述图像数据输入至所述第二预训练模型，获取标注所述目标对象的所述第二检测框。

15.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器;

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。

16.一种车辆，其特征在于，所述车辆包括有如权利要求8至14中任一项所述的装置；或者，所述车辆包括有如权利要求15所述的电子设备。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被计算机执行时用于实现如权利要求1-7中任一项所述的方法。