CN111310667A - 确定标注是否准确的方法、装置、存储介质与处理器 - Google Patents

Abstract

本发明公开了一种确定标注是否准确的方法、装置、存储介质、处理器与运载工具。其中，该方法包括：显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；接收在目标标注框上的第一预定操作，目标标注框为第一标注框或第二标注框；响应于第一预定操作，确定与目标标注框相匹配的第一标注框或第二标注框是否为准确的标注框，目标物体为与目标标注框对应的物体，相匹配的第一标注框和第二标注框对应同一个目标物体，准确的标注框至少满足：包围目标物体。本发明解决了缺乏一种高效确定标注是否准确的方法的技术问题。

Description

确定标注是否准确的方法、装置、存储介质与处理器

技术领域

本发明涉及自动驾驶领域，具体而言，涉及一种确定标注是否准确的方法、装置、存储介质、处理器与运载工具。

背景技术

自动驾驶领域中，为使得车辆的安全运行，往往需要采集测量周围环境的信息，基于采集的3D点云和2D图像，需要对采集的信息中的物体进行标注，现有技术中，缺乏一种高效确定标注是否准确的方法。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种确定标注是否准确的方法、装置、存储介质、处理器与运载工具，以至少解决缺乏一种高效确定标注是否准确的方法的技术问题。

根据本发明实施例的一个方面，提供了一种确定标注是否准确的方法，包括：显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；接收在目标标注框上的第一预定操作，所述目标标注框为所述第一标注框或所述第二标注框；响应于所述第一预定操作，确定与所述目标标注框相匹配的所述第一标注框或所述第二标注框是否为准确的标注框，目标物体为与所述目标标注框对应的物体，相匹配的所述第一标注框和所述第二标注框对应同一个所述目标物体，准确的所述标注框至少满足：包围所述目标物体。

可选地，在显示标注有第一标注框的2D图片和标注有第二标注框的3D点云之后，在接收在目标标注框上的第一预定操作之前，所述方法还包括：确定相匹配的所述第一标注框和所述第二标注框。

可选地，所述2D图片为相机传感器采集的图片，所述3D点云为激光雷达采集的点云，确定相匹配的所述第一标注框和所述第二标注框，包括：根据所述相机传感器与所述激光雷达的相对位置信息以及所述相机传感器的内部参数，确定坐标变换关系，所述坐标变换关系为由所述3D点云的坐标转换为所述2D图片的坐标的转换关系根据所述坐标变换关系将所述第二标注框对应的所述3D点云的坐标转换为所述2D图片的坐标；所述2D图片的坐标与所述第一标注框的坐标进行匹配；在所述2D图片的坐标与所述第一标注框的坐标相匹配的情况下，确定所述第一标注框和所述第二标注框匹配。

可选地，响应于所述第一预定操作，确定与所述目标标注框相匹配的所述第一标注框或所述第二标注框是否包围所述目标物体，包括：响应于所述第一预定操作，标示所述目标标注框相匹配的所述第一标注框或所述第二标注框；确定被标示的所述第一标注框或所述第二标注框是否为准确的标注框。

可选地，标示所述目标标注框相匹配的所述第一标注框或所述第二标注框，包括：将所述目标标注框相匹配的所述第一标注框或所述第二标注框显示为预定颜色，所述预定颜色与非目标标注框相匹配的所述标注框的颜色不同。

可选地，确定被标示的所述第一标注框或所述第二标注框是否为准确的标注框，包括：在显示界面的中心区域显示被标示的所述标注框，被标示的所述标注框的中心与所述显示界面的中心的距离在预定范围内，且所述第一标注框与所述第二标注框的形状相同；自动追踪被标示的所述标注框，以确定各帧的被标示的所述标注框是否为准确的所述标注框。

可选地，准确的所述标注框还满足以下条件：所述标注框的中心位置与所述目标物体的中心位置重合；所述标注框的形状与所述目标物体的形状相同；所述标注框的大小与所述目标物体的大小的差值小于等于第一预定值。

可选地，在显示标注有第一标注框的2D图片和标注有第二标注框的3D点云之前，所述方法还包括：获取训练数据，所述训练数据为所述3D点云中的目标物体和所述2D图片中的目标物体；将所述训练数据输入至训练模型进行训练，得到所述3D点云中的目标物体对应的第一标注模型和所述2D图片中的目标物体对应的第二标注模型。

可选地，显示标注有第一标注框的2D图片和标注有第二标注框的3D点云，包括：基于所述第一标注模型显示标注有第二标注框的3D点云；基于所述第二标注模型显示标注有所述第一标注框的2D图片。

可选地，所述第二标注框的形状为至少以下之一：立方体、圆柱体、棱柱体。所述第一标注框的形状为至少以下之一：矩形、三角形、圆形。

可选地，确定与所述目标标注框相匹配的所述第一标注框或所述第二标注框是否为准确的标注框，包括：接收作用在所述目标标注框匹配的标注框上的第二预定操作；响应于所述第二预定操作，放大所述目标标注框对应的所述标注框；基于放大后的所述标注框，确定所述目标标注框对应的所述标注框是否准确。

根据本发明实施例的另一方面，还提供了一种确定标注是否准确的方法，包括：显示标注有第一标注框的2D图片和标注有第二标注框的3D点云，所述2D图片为相机传感器采集的图片，所述3D点云为激光雷达采集的点云；根据所述相机传感器与所述激光雷达的相对位置信息以及所述相机传感器的内部参数，确定坐标变换关系，所述坐标变换关系为由所述3D点云的坐标转换为所述2D图片的坐标的转换关系；根据所述坐标变换关系将所述第二标注框对应的所述3D点云的坐标转换为所述2D图片的坐标；将所述2D图片的坐标与所述第一标注框的坐标进行匹配；在所述2D图片的坐标与所述第一标注框的坐标相匹配的情况下，确定所述第一标注框和所述第二标注框匹配；接收在目标标注框上的第一预定操作，所述目标标注框为所述第一标注框或所述第二标注框；响应于所述第一预定操作，确定与所述目标标注框相匹配的所述第一标注框或所述第二标注框是否为准确的标注框，目标物体为与所述目标标注框对应的物体，相匹配的所述第一标注框和所述第二标注框对应同一个所述目标物体，准确的所述标注框至少满足：包围所述目标物体。

根据本发明实施例的另一方面，还提供了一种确定标注是否准确的装置，包括：显示单元，用于显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；接收单元，用于接收在目标标注框上的第一预定操作，所述目标标注框为所述第一标注框或所述第二标注框；第一确定单元，用于响应于所述第一预定操作，确定与所述目标标注框相匹配的所述第一标注框或所述第二标注框是否为准确的标注框，目标物体为与所述目标标注框对应的物体，相匹配的所述第一标注框和所述第二标注框对应同一个所述目标物体，准确的所述标注框至少满足：包围所述目标物体。

根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行任意一种所述的方法。

根据本发明实施例的又一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的方法。

根据本发明实施例的再一方面，还提供了一种运载工具，所述运载工具包括一个或者多个处理器、存储器以及一个或者多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的确定标注是否准确的方法。

在本发明实施例中，采用判断确定标注是否准确的方式，通过确认2D和3D的标注框是否匹配，点击2D图片或3D地图点云上的标注框，还会锁定对应的另一个标注框，达到了查看标注框是否准确的目的，从而实现了车辆可以更为安全的运行，在采集测量周围环境的信息时，对采集的信息中的物体进行准确的标注的技术效果，进而解决了缺乏一种高效确定标注是否准确的方法技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种确定标注是否准确的方法的流程示意图；以及

图2是根据本发明实施例的一种确定标注是否准确的装置的结构示意图；

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

正如背景技术中所说的，现有技术中缺乏一种高效确定标注是否准确的方法，为了解决上述的技术问题，提供了一种确定标注是否准确的方法、装置、存储介质与处理器。

根据本发明实施例，提供了一种确定标注是否准确的方法实施例，图1是根据本发明实施例的一种确定标注是否准确的方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤S101，显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；

步骤S102，接收在目标标注框上的第一预定操作，上述目标标注框为上述第一标注框或上述第二标注框；

步骤S103，响应于上述第一预定操作，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否为准确的标注框，目标物体为与上述目标标注框对应的物体，相匹配的上述第一标注框和上述第二标注框对应同一个上述目标物体，准确的上述标注框至少满足：包围上述目标物体。

上述的方案中，首先，显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；其次，接收在目标标注框上的第一预定操作，上述目标标注框为上述第一标注框或上述第二标注框；之后，响应于上述第一预定操作，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否为准确的标注框，目标物体为与上述目标标注框对应的物体，相匹配的上述第一标注框和上述第二标注框对应同一个上述目标物体，准确的上述标注框至少满足：包围上述目标物体。该方法中，在响应于第一预定操作后，就可以确定与目标标注框相匹配的标注框是否为准确的标注框，该方法可以高效的确定标注框是否准确，从而也提高了确定车辆行驶策略的效率。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

需要说明的是，可以使用激光雷达的方法获取点云，发射激光束并接收从目标反射回来的信号，做分析处理，可以获得目标的距离、方位、高度、速度、姿态、形状等等，可以获得极高的角度、距离和速度分辨率，并且激光是直线传播、方向性好、光束较窄，所以抗干扰能力很强，不被地物回波形影，低空探测性性能好，而且激光雷达的结构简单，维修方便，操作容易，价格相对于微波雷达较低，采用激光雷达可以确定标注的准确度。

本发明的一种实施例中，在显示标注有第一标注框的2D图片和标注有第二标注框的3D点云之后，在接收在目标标注框上的第一预定操作之前，上述方法还包括：确定相匹配的上述第一标注框和上述第二标注框。这样后续可以直接根据该匹配的结果确定目标标注框对应的第一标注框或者第二标注框，这样在响应于第一预定操作后，就可以直接确定其对应的第一标注框或者第二标注框是否准确，可以更加高效地确定标注框是否准确。

本发明的又一种实施例中，上述2D图片为相机传感器采集的图片，上述3D点云为激光雷达采集的点云，确定相匹配的上述第一标注框和上述第二标注框，包括：根据上述相机传感器与上述激光雷达的相对位置信息以及上述相机传感器的内部参数，确定坐标变换关系，上述坐标变换关系为由上述3D点云的坐标转换为上述2D图片的坐标的转换关系；根据上述坐标变换关系将上述第二标注框对应的上述3D点云的坐标转换为上述2D图片的坐标；将上述2D图片的坐标与上述第一标注框的坐标进行匹配；在上述2D图片的坐标与上述第一标注框的坐标相匹配的情况下，确定上述第一标注框和上述第二标注框匹配，由于3D点云的坐标是三维坐标而2D图片的坐标是二维坐标，若想确定第一标注框和上述第二标注框匹配，需要先对第二标注框所在的3D点云的坐标进行将维处理，将三维将为二维，进而对将维后的第二标注框的坐标与第一标注框的坐标进行对比，在上述2D图片的坐标与上述第一标注框的坐标相匹配的情况下，确定上述第一标注框和上述第二标注框匹配，确定同一个物体对应的第一标注框和第二标注框，即确定匹配的第一标注框和第二标注框。该方法可以准确地确定匹配的第一标注框和第二标注框，从而使得后续能够更加高效准确地确定标注框是否为准确的标注框。

具体地，本发明的一种实施例中，响应于上述第一预定操作，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否包围上述目标物体，包括：响应于上述第一预定操作，标示上述目标标注框相匹配的上述第一标注框或上述第二标注框；确定被标示的上述第一标注框或上述第二标注框是否为准确的标注框。该方案中，响应于第一预定操作，与目标标注框对应的第一标注框或者第二标注框就会被标示出来，这样后续就可以直接确定标示出来的标注框是否准确，该方案使得确定标注框是否准确的过程更加高效。

本发明的又一种实施例中，标示上述目标标注框相匹配的上述第一标注框或上述第二标注框，包括：将上述目标标注框相匹配的上述第一标注框或上述第二标注框显示为预定颜色，上述预定颜色与非目标标注框相匹配的上述标注框的颜色不同。即目标标注框对应的标注框的颜色和非目标标注框对应的标注框的颜色是不同的，需要说明的是，目标标注框和非目标标注框对应为同一种标注框，即均为第一标注框或均为第二标注框，因此，目标标注框对应的标注框和非目标标注框对应的标注框也为同一种标注框，即均为第一标注框或者均为第二标注框，当目标标注框和非目标标注框为第一标注框时，二者对应的标注框为第二标注框。用不同的颜色显示目标标注框对应的标注框和非目标标注框对应的标注框，这样能够更快地识别出目标标注框对应的标注框，从而更加高效地确定该标注框是否准确。

当然，本申请的标示出标注框的方式并不限于采用不同的颜色的方式，还以采用其他的方式，比如在目标标注框对应的标注框的外周显示一个预定形状的图案，该预定形状的图案包围目标标注框对应的标注框。

为了更高效准确地确认标注的准确度，本发明的一种实施例中，确定被标示的上述第一标注框或上述第二标注框是否为准确的标注框，包括：在显示界面的中心区域显示被标示的上述标注框，被标示的上述标注框的中心与上述显示界面的中心的距离在预定范围内，且上述第一标注框与上述第二标注框的形状相同；自动追踪被标示的上述标注框，以确定各帧的被标示的上述标注框是否为准确的上述标注框，预定范围可以根据实际情况进行设置，以满足实际需求，理想的情况是，被标示的上述标注框的中心与上述显示界面的中心重合，通过对目标标注框对应的标注框进行自动追踪，以确定标注结果是否准确。

当然，本申请的追踪方式并不限于自动追踪，还可以为手动追踪，但是手动追踪的效率相对较低。

本发明的再一种实施例中，准确的上述标注框还满足以下条件：上述标注框的中心位置与上述目标物体的中心位置重合；上述标注框的形状与上述目标物体的形状相同；上述标注框的大小与上述目标物体的大小的差值小于等于第一预定值。第一预定值的可以根据实际情况进行设置，以满足实际需求，也就是说准确的标注框不仅要满足包围上述目标物体，还要满足上述的条件，这样确定的标注框更为准确。

本发明的又一种实施例中，在显示标注有第一标注框的2D图片和标注有第二标注框的3D点云之前，上述方法还包括：获取训练数据，上述训练数据为上述3D点云中的目标物体和上述2D图片中的目标物体；将上述训练数据输入至训练模型进行训练，得到上述3D点云中的目标物体对应的第一标注模型和上述2D图片中的目标物体对应的第二标注模型。即获取3D点云中的目标物体和2D图片中的目标物体的位置信息，大小信息等信息，并且进行模型训练，比如机器学习或者基于神经网络的方法进行训练，能够根据模型更准确地显示注第一标注框有第二标注框。

具体地，本发明的一种实施例中，显示标注有第一标注框的2D图片和标注有第二标注框的3D点云，包括：基于上述第一标注模型显示标注有第二标注框的3D点云；基于上述第二标注模型显示标注有上述第一标注框的2D图片。即能够更为有效地显示标注第一标注框的2D图片和标注第二标注框的3D点云。采用第一标注模型标注的第一标注框，采用第二标注模型标注的第二标注框，可以更高效地得到对应的标注框。

本发明的又一种实施例中，上述第二标注框的形状为至少以下之一：立方体、圆柱体、棱柱体，上述第一标注框的形状为至少以下之一：矩形、三角形、圆形。

当然，本发明的第二标注框的形状并不限于上述的几种，还可以为其他的形状，比如长方体、棱锥体和圆球等等，本领域技术人员可以根据实际情况，来确定第二标注框中的形状，本发明的第一标注框的形状并不限于上述的几种，还可以为其他的形状，比如正方形、椭圆形和菱形等等，本领域技术人员可以根据实际情况，来确定第一标注框中的形状。

本发明的第一预定操作可以为点击等操作，本领域技术人员可以根据实际情况选择合适的操作作为第一预定操作。

为了更加准确高效地识别目标标注框对应的标注框是否准确，本申请的一种实施例中，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否为准确的标注框，包括：接收作用在目标标注框匹配的标注框上的第二预定操作；响应于第二预定操作，放大目标标注框对应的标注框；基于放大后的标注框，确定该标注框是否准确。

上述的第二预定操作可以为双击操作，也可以为滑动操作，还可以为其他的合适操作。本领域技术人员可以根据实际情况选择合适的操作作为第二预定操作。

本发明的另一种典型的实施方式中，提供了一种确定标注是否准确的方法，包括：显示标注有第一标注框的2D图片和标注有第二标注框的3D点云，上述2D图片为相机传感器采集的图片，上述3D点云为激光雷达采集的点云；

根据上述相机传感器与上述激光雷达的相对位置信息以及上述相机传感器的内部参数，确定坐标变换关系，上述坐标变换关系为由上述3D点云的坐标转换为上述2D图片的坐标的转换关系；

根据上述坐标变换关系将上述第二标注框对应的上述3D点云的坐标转换为上述2D图片的坐标；

将上述2D图片的坐标与上述第一标注框的坐标进行匹配；

在上述2D图片的坐标与上述第一标注框的坐标相匹配的情况下，确定上述第一标注框和上述第二标注框匹配；

接收在目标标注框上的第一预定操作，上述目标标注框为上述第一标注框或上述第二标注框；

响应于上述第一预定操作，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否为准确的标注框，目标物体为与上述目标标注框对应的物体，相匹配的上述第一标注框和上述第二标注框对应同一个上述目标物体，准确的上述标注框至少满足：包围上述目标物体。

上述的方案中，在响应于第一预定操作后，就可以确定与目标标注框相匹配的标注框是否为准确的标注框，该方法可以高效的确定标注框是否准确，从而也提高了确定车辆行驶策略的效率。即根据3D点云中物体的位置信息、2D图片中物体的位置信息、3D点云中的物体的大小信息、2D图片中物体的大小信息以及坐标变换，确定同一个物体对应的第一标注框和第二标注框，即确定匹配的第一标注框和第二标注框。该方法可以准确地确定匹配的第一标注框和第二标注框，从而使得后续能够更加高效准确地确定标注框是否为准确的标注框。

图2是根据本发明实施例的一种确定标注是否准确的装置的结构示意图，如图2所示，该装置包括：

显示单元10，用于显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；

接收单元20，用于接收在目标标注框上的第一预定操作，上述目标标注框为上述第一标注框或上述第二标注框；

第一确定单元30，用于响应于上述第一预定操作，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否为准确的标注框，目标物体为与上述目标标注框对应的物体，相匹配的上述第一标注框和上述第二标注框对应同一个上述目标物体，准确的上述标注框至少满足：包围上述目标物体。

上述的装置中，显示单元显示标注有第一标注框的2D图片和标注有第二标注框的3D点云，接收单元接收在目标标注框上的第一预定操作，上述目标标注框为上述第一标注框或上述第二标注框，第一确定单元响应于上述第一预定操作，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否为准确的标注框，目标物体为与上述目标标注框对应的物体，相匹配的上述第一标注框和上述第二标注框对应同一个上述目标物体，准确的上述标注框至少满足：包围上述目标物体。该装置中，在响应于第一预定操作后，就可以确定与目标标注框相匹配的标注框是否为准确的标注框，该装置可以高效地确定标注框是否准确，从而也提高了确定车辆行驶策略的效率。

需要说明的是，可以使用激光雷达的方法获得点云，发射激光束并接收从目标反射回来的信号，做分析处理，可以获得目标的距离、方位、高度、速度、姿态、形状等等，可以获得极高的角度、距离和速度分辨率，并且激光是直线传播、方向性好、光束较窄，所以抗干扰能力很强，不被地物回波形影，低空探测性性能好，而且激光雷达的结构简单，维修方便，操作容易，价格相对于微波雷达较低，采用激光雷达可以确定标注的准确度。

本发明的一种实施例中，上述装置还包括第二确定单元，用于在显示标注有第一标注框的2D图片和标注有第二标注框的3D点云之后，在接收在目标标注框上的第一预定操作之前，确定相匹配的上述第一标注框和上述第二标注框。这样后续可以直接根据该匹配的结果确定目标标注框对应的第一标注框或者第二标注框，这样在响应于第一预定操作后，就可以直接确定其对应的第一标注框或者第二标注框是否准确，可以更加高效地确定标注框是否准确。

本发明的又一种实施例中，上述2D图片为相机传感器采集的图片，上述3D点云为激光雷达采集的点云，第二确定单元包括匹配模块，用于根据上述相机传感器与上述激光雷达的相对位置信息以及上述相机传感器的内部参数，确定坐标变换关系，上述坐标变换关系为由上述3D点云的坐标转换为上述2D图片的坐标的转换关系；根据上述坐标变换关系将上述第二标注框对应的上述3D点云的坐标转换为上述2D图片的坐标；将上述2D图片的坐标与上述第一标注框的坐标进行匹配；在上述2D图片的坐标与上述第一标注框的坐标相匹配的情况下，确定上述第一标注框和上述第二标注框匹配，由于3D点云的坐标是三维坐标而2D图片的坐标是二维坐标，若想确定第一标注框和上述第二标注框匹配，需要先对第二标注框所在的3D点云的坐标进行将维处理，将三维将为二维，进而对将维后的第二标注框的坐标与第一标注框的坐标进行对比，在上述2D图片的坐标与上述第一标注框的坐标相匹配的情况下，确定上述第一标注框和上述第二标注框匹配，确定同一个物体对应的第一标注框和第二标注框，即确定匹配的第一标注框和第二标注框。该方法可以准确地确定匹配的第一标注框和第二标注框，从而使得后续能够更加高效准确地确定标注框是否为准确的标注框。

具体地，本发明的一种实施例中，第一确定单元包括标识模块和确定模块，标识模块用于响应于上述第一预定操作，标示上述目标标注框相匹配的上述第一标注框或上述第二标注框，确定模块用于确定被标示的上述第一标注框或上述第二标注框是否为准确的标注框。该装置中，响应于第一预定操作，与目标标注框对应的第一标注框或者第二标注框就会被标示出来，这样后续就可以直接确定标示出来的标注框是否准确，该装置使得确定标注框是否准确的过程更加高效。

本发明的又一种实施例中，标识模块包括第一显示子模块，用于将上述目标标注框相匹配的上述第一标注框或上述第二标注框显示为预定颜色，上述预定颜色与非目标标注框相匹配的上述标注框的颜色不同。即目标标注框对应的标注框的颜色和非目标标注框对应的标注框的颜色是不同的，需要说明的是，目标标注框和非目标标注框对应为同一种标注框，即均为第一标注框或均为第二标注框，因此，目标标注框对应的标注框和非目标标注框对应的标注框也为同一种标注框，即均为第一标注框或者均为第二标注框，当目标标注框和非目标标注框为第一标注框时，二者对应的标注框为第二标注框。用不同的颜色显示目标标注框对应的标注框和非目标标注框对应的标注框，这样能够更快地识别出目标标注框对应的标注框，从而更加高效地确定该标注框是否准确。

当然，本申请的标示出标注框的方式并不限于采用不同的颜色的方式，还以采用其他的方式，比如在目标标注框对应的标注框的外周显示一个预定形状的图案，该预定形状的图案包围目标标注框对应的标注框。

为了更高效准确地确认标注的准确度，本发明的一种实施例中，确定模块包括第二显示子模块和确定子模块，第二显示子模块用于在显示界面的中心区域显示被标示的上述标注框，被标示的上述标注框的中心与上述显示界面的中心的距离在预定范围内，且上述第一标注框与上述第二标注框的形状相同；确定子模块用于自动追踪被标示的上述标注框，以确定各帧的被标示的上述标注框是否为准确的上述标注框，预定范围可以根据实际情况进行设置，以满足实际需求，理想的情况是，被标示的上述标注框的中心与上述显示界面的中心重合，通过对目标标注框对应的标注框进行自动追踪，以确定标注结果是否准确。

当然，本申请的追踪方式并不限于自动追踪，还可以为手动追踪，但是手动追踪的效率相对较低。

本发明的再一种实施例中，准确的上述标注框还满足以下条件：上述标注框的中心位置与上述目标物体的中心位置重合；上述标注框的形状与上述目标物体的形状相同上述标注框的大小与上述目标物体的大小的差值小于等于第一预定值。第一预定值的可以根据实际情况进行设置，以满足实际需求，也就是说准确的标注框不仅要满足包围上述目标物体，还要满足上述的条件，这样确定的标注框更为准确。

本发明的又一种实施例中，上述装置还包括获取单元和训练单元，获取单元用于在显示标注有第一标注框的2D图片和标注有第二标注框的3D点云之前，获取训练数据，上述训练数据为上述3D点云中的目标物体和上述2D图片中的目标物体，训练单元用于将上述训练数据输入至训练模型进行训练，得到上述3D点云中的目标物体对应的第一标注模型和上述2D图片中的目标物体对应的第二标注模型。即获取3D点云中的目标物体和2D图片中的目标物体的位置信息，大小信息等信息，并且进行模型训练，比如机器学习或者基于神经网络的方法进行训练，能够根据模型更准确地显示第一标注框的第二标注框。

具体地，本发明的一种实施例中，显示单元包括第一显示模块和第二显示模块，第一显示模块用于基于上述第一标注模型显示标注有第二标注框的3D点云，第二显示模块用于基于上述第二标注模型显示标注有上述第一标注框的2D图片。即能够更为有效地显示标注第一标注框的2D图片和标注第二标注框的3D点云。采用第一标注模型标注的第一标注框，采用第二标注模型标注的第二标注框，可以更高效地得到对应的标注框。

本发明的又一种实施例中，上述第二标注框的形状为至少以下之一：立方体、圆柱体、棱柱体，上述第一标注框的形状为至少以下之一：矩形、三角形、圆形。

当然，本发明的第二标注框的形状并不限于上述的几种，还可以为其他的形状，比如长方体、棱锥体和圆球等等，本领域技术人员可以根据实际情况，来确定第二标注框中的形状，本发明的第一标注框的形状并不限于上述的几种，还可以为其他的形状，比如正方形、椭圆形和菱形等等，本领域技术人员可以根据实际情况，来确定第一标注框中的形状。

本申请的第一预定操作可以为点击等操作，本领域技术人员可以根据实际情况选择合适的操作作为第一预定操作。

为了更加准确高效地识别目标标注框对应的标注框是否准确，本发明的再一种实施例中，第一确定单元包括接收模块，响应模块和第二确定模块，接收模块用于接收作用在上述目标标注框匹配的标注框上的第二预定操作，响应模块用于响应于上述第二预定操作，放大上述目标标注框对应的上述标注框，第二确定模块用于基于放大后的上述标注框，确定上述目标标注框对应的上述标注框是否准确，

上述的第二预定操作可以为双击操作，也可以为滑动操作，还可以为其他的合适操作。本领域技术人员可以根据实际情况选择合适的操作作为第二预定操作。

上述装置还包括处理器和存储器，上述显示单元，接收单元和第一确定单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来高效确定标注是否准确。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述确定标注是否准确的方法。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述确定标注是否准确的方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S101，显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；

步骤S102，接收在目标标注框上的第一预定操作，上述目标标注框为上述第一标注框或上述第二标注框；

步骤S103，响应于上述第一预定操作，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否为准确的标注框，目标物体为与上述目标标注框对应的物体，相匹配的上述第一标注框和上述第二标注框对应同一个上述目标物体，准确的上述标注框至少满足：包围上述目标物体。

本文中的设备可以是服务器、PC、PAD、手机等。

本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S101，显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；

步骤S102，接收在目标标注框上的第一预定操作，上述目标标注框为上述第一标注框或上述第二标注框；

步骤S103，响应于上述第一预定操作，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否为准确的标注框，目标物体为与上述目标标注框对应的物体，相匹配的上述第一标注框和上述第二标注框对应同一个上述目标物体，准确的上述标注框至少满足：包围上述目标物体。

本发明的再一种实施方式中，提供了一种运载工具，上述运载工具包括一个或者多个处理器、存储器以及一个或者多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于执行任意一种上述的确定标注是否准确的方法。上述的处理器可以安装在运载工具本体和/或安装在运载工具本体内，上述的存储器也可以安装在运载工具本体和/或安装在运载工具本体内。

该运载工具由于具有上述的处理器、存储器以及程序，使得其在运行过程对物体进行标注时，能够准确地确定标注是否准确，从而保证了运载工具的安全行驶，进而解决了现有技术中缺乏一种高效确定标注是否准确的方法技术问题。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

从以上的描述中，可以看出，本发明上述的实施例实现了如下技术效果：

1)、本申请的确定标注是否准确的方法，首先，显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；其次，接收在目标标注框上的第一预定操作，上述目标标注框为上述第一标注框或上述第二标注框；之后，响应于上述第一预定操作，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否为准确的标注框，目标物体为与上述目标标注框对应的物体，相匹配的上述第一标注框和上述第二标注框对应同一个上述目标物体，准确的上述标注框至少满足：包围上述目标物体。该方法中，在响应于第一预定操作后，就可以确定与目标标注框相匹配的标注框是否为准确的标注框，该方法可以高效的确定标注框是否准确，从而也提高了确定车辆行驶策略的效率。

2)、本申请的确定标注是否准确的装置，显示单元显示标注有第一标注框的2D图片和标注有第二标注框的3D点云，接收单元接收在目标标注框上的第一预定操作，上述目标标注框为上述第一标注框或上述第二标注框，第一确定单元响应于上述第一预定操作，确定与上述目标标注框相匹配的上述第一标注框或上述第二标注框是否为准确的标注框，目标物体为与上述目标标注框对应的物体，相匹配的上述第一标注框和上述第二标注框对应同一个上述目标物体，准确的上述标注框至少满足：包围上述目标物体。该装置中，在响应于第一预定操作后，就可以确定与目标标注框相匹配的标注框是否为准确的标注框，该装置可以高效地确定标注框是否准确，从而也提高了确定车辆行驶策略的效率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种确定标注是否准确的方法，其特征在于，包括：

显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；

接收在目标标注框上的第一预定操作，所述目标标注框为所述第一标注框或所述第二标注框；

响应于所述第一预定操作，确定与所述目标标注框相匹配的所述第一标注框或所述第二标注框是否为准确的标注框，目标物体为与所述目标标注框对应的物体，相匹配的所述第一标注框和所述第二标注框对应同一个所述目标物体，准确的所述标注框至少满足：包围所述目标物体。

2.根据权利要求1所述的方法，其特征在于，在显示标注有第一标注框的2D图片和标注有第二标注框的3D点云之后，在接收在目标标注框上的第一预定操作之前，所述方法还包括：

确定相匹配的所述第一标注框和所述第二标注框。

3.根据权利要求2所述的方法，其特征在于，所述2D图片为相机传感器采集的图片，所述3D点云为激光雷达采集的点云，确定相匹配的所述第一标注框和所述第二标注框，包括：

根据所述相机传感器与所述激光雷达的相对位置信息以及所述相机传感器的内部参数，确定坐标变换关系，所述坐标变换关系为由所述3D点云的坐标转换为所述2D图片的坐标的转换关系；

根据所述坐标变换关系将所述第二标注框对应的所述3D点云的坐标转换为所述2D图片的坐标；

将所述2D图片的坐标与所述第一标注框的坐标进行匹配；

在所述2D图片的坐标与所述第一标注框的坐标相匹配的情况下，确定所述第一标注框和所述第二标注框匹配。

4.根据权利要求1所述的方法，其特征在于，响应于所述第一预定操作，确定与所述目标标注框相匹配的所述第一标注框或所述第二标注框是否包围所述目标物体，包括：

响应于所述第一预定操作，标示所述目标标注框相匹配的所述第一标注框或所述第二标注框；

确定被标示的所述第一标注框或所述第二标注框是否为准确的标注框。

5.根据权利要求4所述的方法，其特征在于，标示所述目标标注框相匹配的所述第一标注框或所述第二标注框，包括：

将所述目标标注框相匹配的所述第一标注框或所述第二标注框显示为预定颜色，所述预定颜色与非目标标注框相匹配的所述标注框的颜色不同。

6.根据权利要求4所述的方法，其特征在于，确定被标示的所述第一标注框或所述第二标注框是否为准确的标注框，包括：

在显示界面的中心区域显示被标示的所述标注框，被标示的所述标注框的中心与所述显示界面的中心的距离在预定范围内，且所述第一标注框与所述第二标注框的形状相同；

自动追踪被标示的所述标注框，以确定各帧的被标示的所述标注框是否为准确的所述标注框。

7.根据权利要求4所述的方法，其特征在于，准确的所述标注框还满足以下条件：

所述标注框的中心位置与所述目标物体的中心位置重合；

所述标注框的形状与所述目标物体的形状相同；

所述标注框的大小与所述目标物体的大小的差值小于等于第一预定值。

8.根据权利要求1所述的方法，其特征在于，在显示标注有第一标注框的2D图片和标注有第二标注框的3D点云之前，所述方法还包括：

获取训练数据，所述训练数据为所述3D点云中的目标物体和所述2D图片中的目标物体；

将所述训练数据输入至训练模型进行训练，得到所述3D点云中的目标物体对应的第一标注模型和所述2D图片中的目标物体对应的第二标注模型。

9.根据权利要求8所述的方法，其特征在于，显示标注有第一标注框的2D图片和标注有第二标注框的3D点云，包括：

基于所述第一标注模型显示标注有第二标注框的3D点云；

基于所述第二标注模型显示标注有所述第一标注框的2D图片。

10.根据权利要求1至8中任一项所述的方法，其特征在于，所述第二标注框的形状为至少以下之一：立方体、圆柱体、棱柱体，所述第一标注框的形状为至少以下之一：矩形、三角形、圆形。

11.根据权利要求1至8中任一项所述的方法，其特征在于，确定与所述目标标注框相匹配的所述第一标注框或所述第二标注框是否为准确的标注框，包括：

接收作用在所述目标标注框匹配的标注框上的第二预定操作；

响应于所述第二预定操作，放大所述目标标注框对应的所述标注框；

基于放大后的所述标注框，确定所述目标标注框对应的所述标注框是否准确。

12.一种确定标注是否准确的方法，其特征在于，包括：

显示标注有第一标注框的2D图片和标注有第二标注框的3D点云，所述2D图片为相机传感器采集的图片，所述3D点云为激光雷达采集的点云；

根据所述相机传感器与所述激光雷达的相对位置信息以及所述相机传感器的内部参数，确定坐标变换关系，所述坐标变换关系为由所述3D点云的坐标转换为所述2D图片的坐标的转换关系；

根据所述坐标变换关系将所述第二标注框对应的所述3D点云的坐标转换为所述2D图片的坐标；

将所述2D图片的坐标与所述第一标注框的坐标进行匹配；

在所述2D图片的坐标与所述第一标注框的坐标相匹配的情况下，确定所述第一标注框和所述第二标注框匹配；

接收在目标标注框上的第一预定操作，所述目标标注框为所述第一标注框或所述第二标注框；

响应于所述第一预定操作，确定与所述目标标注框相匹配的所述第一标注框或所述第二标注框是否为准确的标注框，目标物体为与所述目标标注框对应的物体，相匹配的所述第一标注框和所述第二标注框对应同一个所述目标物体，准确的所述标注框至少满足：包围所述目标物体。

13.一种确定标注是否准确的装置，其特征在于，包括：

显示单元，用于显示标注有第一标注框的2D图片和标注有第二标注框的3D点云；

接收单元，用于接收在目标标注框上的第一预定操作，所述目标标注框为所述第一标注框或所述第二标注框；

第一确定单元，用于响应于所述第一预定操作，确定与所述目标标注框相匹配的所述第一标注框或所述第二标注框是否为准确的标注框，目标物体为与所述目标标注框对应的物体，相匹配的所述第一标注框和所述第二标注框对应同一个所述目标物体，准确的所述标注框至少满足：包围所述目标物体。

14.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至12中任意一项所述的方法。

15.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至12中任意一项所述的方法。

16.一种运载工具，其特征在于，所述运载工具包括一个或者多个处理器、存储器以及一个或者多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至12中任意一项所述的确定标注是否准确的方法。

Images