CN111368927A - 一种标注结果处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种标注结果处理方法、装置、设备及存储介质。其中，方法包括：获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果；根据各所述图片标注结果与各所述点云标注结果的形状，和/或位置关系，确定所述图片标注结果与所述点云标注结果之间的匹配关系。本发明实施例可以自动确定图片标注结果与点云标注结果之间的匹配关系，将能够同时识别出来的物体标注出来，实现结合点云标注结果和图片标注结果，获得更准确的标注结果。

Description

一种标注结果处理方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种标注结果处理方法、装置、设备及存储介质。

背景技术

在信息技术不断发展的时代中，对于标注结果的多样化有着更多的需求。通过激光雷达对场景中的物体进行识别，可以得到点云标注结果。通过相机对场景中的物体进行识别，可以得到图片标注结果。

对于同一个场景来说，激光雷达所识别出来的物体与相机看到的物体有着差异，即同一个场景的点云标注结果和图片标注结果有着差异。现在技术中往往单独对点云标注结果或图片标注结果进行展示和处理。

发明内容

本发明实施例提供一种标注结果处理方法、装置、设备及存储介质，以实现结合点云标注结果和图片标注结果，获得更准确的标注结果。

第一方面，本发明实施例提供了一种标注结果处理方法，包括：

获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果；

根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系。

第二方面，本发明实施例还提供了一种标注结果处理装置，包括：

标注结果获取模块，用于获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果；

标注结果匹配模块，用于根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系。

第三方面，本发明实施例还提供了一种计算机设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明实施例所述的标注结果处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例所述的标注结果处理方法。

本发明实施例的技术方案，通过获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果，然后根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系，可以自动确定图片标注结果与点云标注结果之间的匹配关系，将能够同时识别出来的物体标注出来，实现结合点云标注结果和图片标注结果，获得更准确的标注结果。

附图说明

图1a为本发明实施例一提供的一种标注结果处理方法的流程图；

图1b为本发明实施例一提供的目标图片标注框和目标点云标注框的示意图；

图1c为本发明实施例一提供的目标图片标注框与目标点云标注框的交并比的计算过程示意图；

图2为本发明实施例二提供的一种标注结果处理方法的流程图；

图3为本发明实施例三提供的一种标注结果处理方法的流程图；

图4为本发明实施例四提供的一种标注结果处理装置的流程图；

图5为本发明实施例五提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。

另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1a为本发明实施例一提供的一种标注结果处理方法的流程图。本发明实施例可适用于对标注结果进行处理的情况，该方法可以由本发明实施例提供的标注结果处理装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图1a所示，本发明实施例的方法具体包括：

步骤101、获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果。

其中，目标图片是在目标场景下，通过相机获取的图片。示例性的，目标场景可以为车辆驾驶场景。目标图片是在车辆驾驶场景下，通过相机获取的车辆设定方位的图片。设定方位包括前方、后方、左侧以及右侧。

可选的，图片标注结果可以包括图片标注框，点云标注结果可以包括点云标注框。

可选的，在获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果之前，可以包括：根据目标图片的图像数据，生成与目标图片对应的至少一个图片标注结果；根据与目标图片对应的三维激光点云数据，生成与目标图片对应的至少一个点云标注结果。

可选的，根据目标图片的图像数据，对目标图片中的物体进行识别，使用图框对识别出的每一个物体进行标注，生成与目标图片对应的至少一个图片标注框。识别出的每一个物体有唯一对应的一个图片标注框。

可选的，与目标图片对应的三维激光点云数据是在通过相机拍摄目标图片时，通过激光雷达同步采集的三维激光点云数据。根据三维激光点云数据进行物体识别，使用图框对识别出的每一个物体进行标注，生成与目标图片对应的至少一个点云标注框，将至少一个点云标注框投影至目标图片上。识别出的每一个物体有唯一对应的一个点云标注框。

在一个具体实例中，目标场景为车辆驾驶场景。目标图片是在车辆驾驶场景下，通过相机获取的车辆后方的图片。根据目标图片的图像数据，对目标图片中的障碍物进行识别，使用图框对识别出的每一个障碍物进行标注，生成与目标图片对应的至少一个图片标注框。识别出的每一个障碍物有唯一对应的一个图片标注框。根据三维激光点云数据进行障碍物识别，使用图框对识别出的每一个障碍物进行标注，生成与目标图片对应的至少一个点云标注框，将至少一个点云标注框投影至目标图片上。识别出的每一个障碍物有唯一对应的一个点云标注框。

步骤102、根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系。

可选的，点云标注结果可以包括图片标注框，点云标注结果可以包括点云标注框。根据各图片标注框与各点云标注框的形状，和/或位置关系，确定图片标注框与点云标注框之间的匹配关系。

可选的，根据各图片标注框与各点云标注框的形状，确定图片标注框与点云标注框之间的匹配关系。具体的，根据各图片标注框与各点云标注框的长和宽，计算各图片标注框与各点云标注框之间的相似度。然后根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框。

可选的，根据各图片标注框与各点云标注框的位置关系，确定图片标注框与点云标注框之间的匹配关系。具体的，根据各图片标注框与各点云标注框的位置关系，计算各图片标注框与各点云标注框之间的相似度。位置关系可以包括：交并比和归一化的中心距离。然后根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框。

可选的，根据各图片标注结果与各点云标注结果的形状和位置关系，确定图片标注结果与点云标注结果之间的匹配关系。具体的，使用预设的相似性度量计算公式，根据两框的形状和位置关系，计算各图片标注框与各点云标注框之间的相似度；根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框。

可选的，使用预设的相似性度量计算公式，根据两框的形状和位置关系，计算各图片标注框与各点云标注框之间的相似度，可以包括：根据下述相似性度量计算公式，计算目标图片标注框与目标点云标注框之间的相似度：

similarity＝IoU-αd/c-βv，

v＝4/pi^2*(arctan(w1/h1)-arctan(w2/h2))^2，

其中，similarity为目标图片标注框与目标点云标注框之间的相似度，IoU为目标图片标注框与目标点云标注框的交并比，d为目标图片标注框与目标点云标注框的中心点距离，c为目标图片标注框与目标点云标注框的最远点距离，d/c为归一化的中心距离，v为长宽比维度的权值，α、β为权重，pi为圆周率，w1为目标图片标注框的长，h1为目标图片标注框的宽，w2为目标点云标注框的长，h2为目标点云标注框的宽。

可选的，0﹤α﹤1，0﹤β﹤1。可以根据业务需求设置α、β的具体数值。例如，α＝0.5，β＝0.5。

在一个具体实例中，图1b为本发明实施例一提供的目标图片标注框和目标点云标注框的示意图。如图1b所示，w1为目标图片标注框1的长，w2为目标点云标注框2的长。h1为目标图片标注框1的宽，h2为目标点云标注框2的宽。d为目标图片标注框1与目标点云标注框2的中心点距离。c为目标图片标注框1与目标点云标注框2的最远点距离。图1c为本发明实施例一提供的目标图片标注框与目标点云标注框的交并比的计算过程示意图。如图1c所示，根据下述计算公式，计算目标图片标注框1与目标点云标注框2的交并比：

IoU为目标图片标注框1与目标点云标注框2的交并比，1n2为目标图片标注框1与目标点云标注框2的相交部分。

相似性度量计算公式结合了三个维度的信息。三个维度为两框的交并比、长宽比以及归一化的中心距离。由于相机内参在标定时存在一定的误差，导致三维激光点云数据投影至目标图片上会发生偏移，会给匹配造成一定的困难。交并比、长宽比以及归一化的中心距离都有与框尺度无关的性质，可以在框大小无关的情况下进行度量。即两个框按照相同比例放大或缩小时，定义的相似度大小不变。这种性质可以增加后续匹配算法的鲁棒性。

在得到各图片标注框与各点云标注框之间的相似度之后，根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框。

可选的，根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框，可以包括：使用二分图匹配算法，根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框，得到各图片标注框与各点云标注框之间的匹配关系，使得所有匹配关系的相似度和最大。

具体的，在使用预设的相似性度量计算公式，根据两框的形状和位置关系，计算各图片标注框与各点云标注框之间的相似度之后，根据二分图匹配算法，对每对图片标注框与点云标注框建图：每一个图片标注框、以及每一个点云标注框皆为图中的一个节点，每对图片标注框与点云标注框所对应的两个节点之间通过一条边连接。每一条边都会有一个权值。边的权值为对应的一对图片标注框与点云标注框的相似度的取反。其中，因为预设的相似性度量计算公式的计算结果为负值，所以权值边权为对应的一每对图片标注框与点云标注框的相似度的取反。然后根据建好的图进行二分图最大权匹配，寻找各图片标注框与各点云标注框之间的最优匹配，使得所有的匹配边的权值和最大，即所有匹配关系的相似度和最大。由此，求出与各图片标注框匹配的点云标注框，得到各图片标注框与各点云标注框之间的匹配关系。

可选的，可以还包括：获取针对匹配关系的修正信息，根据修正信息对匹配关系进行修正。

在得到各图片标注框与各点云标注框之间的匹配关系之后，用户可以在目标图片上，查看各图片标注框与各点云标注框之间的匹配关系。示例性的，在目标图片上，展示各图片标注框与各点云标注框之间的匹配关系。具有匹配关系的图片标注框与点云标注框之间有一条线连接。根据编号不同来用不同颜色的连接线展示不同的匹配关系，便于用户查看。

在查看各图片标注框与各点云标注框之间的匹配关系时，用户可以判断图片标注框与点云标注框标注的是否是同一个物体，并根据判断结果输入针对匹配关系的修正信息。

可选的，修正信息可以包括关系取消信息和/或关系建立信息。

关系取消信息是用于取消指定匹配关系的信息。关系建立信息是用于建立指定匹配关系的信息。如果用户确定图片标注框与点云标注框标注的是同一个物体，则可以继续查看其他匹配关系。如果用户确定图片标注框与点云标注框标注的不是同一个物体，则可以输入关系取消信息，取消错误的匹配关系。用户还可以输入关系建立信息，通过关系建立信息建立图片标注框与真正匹配的点云标注框之间的匹配关系。

可选的，根据修正信息对匹配关系进行修正，可以包括：取消与关系取消信息对应的匹配关系；和/或建立与关系建立信息对应的匹配关系。

可选的，在获取关系取消信息之后，确定与关系取消信息对应的匹配关系，然后取消与关系取消信息对应的匹配关系。

可选的，在获取关系建立信息之后，确定与关系建立信息对应的匹配关系，在与关系取消信息对应的匹配关系中的图片标注框与点云标注框之间，建立匹配关系。

在一个具体实例中，在目标图片上，通过浮窗展示点云标注框。对于有匹配的点云标注框的图片标注框，在用户在图片上通过鼠标左键选择一个图片标注框时，通过浮窗展示与该图片标注框具有匹配关系的点云标注框，并展示两框之间的连接线。如果用户确定图片标注框与点云标注框标注的是同一个物体，则可以通过鼠标左键选择另一个图片标注框，继续查看其他匹配关系。如果用户确定图片标注框与点云标注框标注的不是同一个物体，则可以将鼠标移动到图片标注框或者点云标注框上，通过鼠标右键取消两框的匹配关系。对于没有匹配的点云标注框的图片标注框，在用户在图片上通过鼠标左键选择一个图片标注框时，通过浮窗展示各点云标注框。然后用户可以通过鼠标左键选择一个点云标注框，此时两框之间会通过一条线连接，表示两个框的匹配关系建立。

本发明实施例提供了一种标注结果处理方法，通过获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果，然后根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系，可以自动确定图片标注结果与点云标注结果之间的匹配关系，将能够同时识别出来的物体标注出来，实现结合点云标注结果和图片标注结果，获得更准确的标注结果。

实施例二

图2为本发明实施例二提供的一种标注结果处理方法的流程图。本发明实施例可以与上述一个或者多个实施例中各个可选方案结合，在本发明实施例中，在获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果之前，包括：根据目标图片的图像数据，生成与目标图片对应的至少一个图片标注结果；根据与目标图片对应的三维激光点云数据，生成与目标图片对应的至少一个点云标注结果。

以及，还包括：获取针对匹配关系的修正信息，根据修正信息对匹配关系进行修正。

如图2所示，本发明实施例的方法具体包括：

步骤201、根据目标图片的图像数据，生成与目标图片对应的至少一个图片标注结果。

可选的，根据目标图片的图像数据，对目标图片中的物体进行识别，使用图框对识别出的每一个物体进行标注，生成与目标图片对应的至少一个图片标注框。识别出的每一个物体有唯一对应的一个图片标注框。

在一个具体实例中，目标场景为车辆驾驶场景。目标图片是在车辆驾驶场景下，通过相机获取的车辆后方的图片。根据目标图片的图像数据，对目标图片中的障碍物进行识别，使用图框对识别出的每一个障碍物进行标注，生成与目标图片对应的至少一个图片标注框。识别出的每一个障碍物有唯一对应的一个图片标注框。

步骤202、根据与目标图片对应的三维激光点云数据，生成与目标图片对应的至少一个点云标注结果。

可选的，与目标图片对应的三维激光点云数据是在通过相机拍摄目标图片时，通过激光雷达同步采集的三维激光点云数据。根据三维激光点云数据进行物体识别，使用图框对识别出的每一个物体进行标注，生成与目标图片对应的至少一个点云标注框，将至少一个点云标注框投影至目标图片上。识别出的每一个物体有唯一对应的一个点云标注框。

在一个具体实例中，根据三维激光点云数据进行障碍物识别，使用图框对识别出的每一个障碍物进行标注，生成与目标图片对应的至少一个点云标注框，将至少一个点云标注框投影至目标图片上。识别出的每一个障碍物有唯一对应的一个点云标注框。

步骤203、获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果。

步骤204、根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系。

步骤205、获取针对匹配关系的修正信息，根据修正信息对匹配关系进行修正。

在得到各图片标注框与各点云标注框之间的匹配关系之后，用户可以在目标图片上，查看各图片标注框与各点云标注框之间的匹配关系。示例性的，在目标图片上，展示各图片标注框与各点云标注框之间的匹配关系。具有匹配关系的图片标注框与点云标注框之间有一条线连接。根据编号不同来用不同颜色的连接线展示不同的匹配关系，便于用户查看。

在查看各图片标注框与各点云标注框之间的匹配关系时，用户可以判断图片标注框与点云标注框标注的是否是同一个物体，并根据判断结果输入针对匹配关系的修正信息。

可选的，修正信息可以包括关系取消信息和/或关系建立信息。

关系取消信息是用于取消指定匹配关系的信息。关系建立信息是用于建立指定匹配关系的信息。如果用户确定图片标注框与点云标注框标注的是同一个物体，则可以继续查看其他匹配关系。如果用户确定图片标注框与点云标注框标注的不是同一个物体，则可以输入关系取消信息，取消错误的匹配关系。用户还可以输入关系建立信息，通过关系建立信息建立图片标注框与真正匹配的点云标注框之间的匹配关系。

可选的，根据修正信息对匹配关系进行修正，可以包括：取消与关系取消信息对应的匹配关系；和/或建立与关系建立信息对应的匹配关系。

可选的，在获取关系取消信息之后，确定与关系取消信息对应的匹配关系，然后取消与关系取消信息对应的匹配关系。

可选的，在获取关系建立信息之后，确定与关系建立信息对应的匹配关系，在与关系取消信息对应的匹配关系中的图片标注框与点云标注框之间，建立匹配关系。

在一个具体实例中，在目标图片上，通过浮窗展示点云标注框。对于有匹配的点云标注框的图片标注框，在用户在图片上通过鼠标左键选择一个图片标注框时，通过浮窗展示与该图片标注框具有匹配关系的点云标注框，并展示两框之间的连接线。如果用户确定图片标注框与点云标注框标注的是同一个物体，则可以通过鼠标左键选择另一个图片标注框，继续查看其他匹配关系。如果用户确定图片标注框与点云标注框标注的不是同一个物体，则可以将鼠标移动到图片标注框或者点云标注框上，通过鼠标右键取消两框的匹配关系。对于没有匹配的点云标注框的图片标注框，在用户在图片上通过鼠标左键选择一个图片标注框时，通过浮窗展示各点云标注框。然后用户可以通过鼠标左键选择一个点云标注框，此时两框之间会通过一条线连接，表示两个框的匹配关系建立。

本发明实施例提供了一种标注结果处理方法，通过获取针对匹配关系的修正信息，根据修正信息对匹配关系进行修正，可以在自动确定图片标注结果与点云标注结果之间的匹配关系的同时，进一步根据修正信息提高匹配关系的准确率。

实施例三

图3为本发明实施例三提供的一种标注结果处理方法的流程图。本发明实施例可以与上述一个或者多个实施例中各个可选方案结合，在本发明实施例中，点云标注结果包括图片标注框，点云标注结果包括点云标注框。

以及，根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系，包括：使用预设的相似性度量计算公式，根据两框的形状和位置关系，计算各图片标注框与各点云标注框之间的相似度；根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框。

如图3所示，本发明实施例的方法具体包括：

步骤301、获取与目标图片对应的至少一个图片标注框和至少一个点云标注框。

步骤302、使用预设的相似性度量计算公式，根据两框的形状和位置关系，计算各图片标注框与各点云标注框之间的相似度。

可选的，使用预设的相似性度量计算公式，根据两框的形状和位置关系，计算各图片标注框与各点云标注框之间的相似度，可以包括：根据下述相似性度量计算公式，计算目标图片标注框与目标点云标注框之间的相似度：

similarity＝IoU-αd/c-βv，

v＝4/pi^2*(arctan(w1/h1)-arctan(w2/h2))^2，

其中，similarity为目标图片标注框与目标点云标注框之间的相似度，IoU为目标图片标注框与目标点云标注框的交并比，d为目标图片标注框与目标点云标注框的中心点距离，c为目标图片标注框与目标点云标注框的最远点距离，d/c为归一化的中心距离，v为长宽比维度的权值，α、β为权重，pi为圆周率，w1为目标图片标注框的长，h1为目标图片标注框的宽，w2为目标点云标注框的长，h2为目标点云标注框的宽。

相似性度量计算公式结合了三个维度的信息。三个维度为两框的交并比、长宽比以及归一化的中心距离。由于相机内参在标定时存在一定的误差，导致三维激光点云数据投影至目标图片上会发生偏移，会给匹配造成一定的困难。交并比、长宽比以及归一化的中心距离都有与框尺度无关的性质，可以在框大小无关的情况下进行度量。即两个框按照相同比例放大或缩小时，定义的相似度大小不变。这种性质可以增加后续匹配算法的鲁棒性。

步骤303、根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框。

在得到各图片标注框与各点云标注框之间的相似度之后，根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框。

可选的，根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框，可以包括：使用二分图匹配算法，根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框，得到各图片标注框与各点云标注框之间的匹配关系，使得所有匹配关系的相似度和最大。

具体的，对每对图片标注框与点云标注框建图，边权为每对图片标注框与点云标注框的相似度的取反；根据建好的图进行二分图最大权匹配，确定与各图片标注框匹配的点云标注框。匹配成功的图片标注框与点云标注框建立了匹配关系。

本发明实施例提供了一种标注结果处理方法，通过使用预设的相似性度量计算公式，根据两框的形状和位置关系，计算各图片标注框与各点云标注框之间的相似度；根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框，可以使用预设的相似性度量计算公式，根据两框的形状和位置关系，准确地计算各图片标注框与各点云标注框之间的相似度，可以根据各图片标注框与各点云标注框的形状和位置关系，自动确定图片标注结果与点云标注结果之间的匹配关系。

实施例四

图4为本发明实施例四提供的一种标注结果处理装置的结构示意图。如图4所示，所述装置可以配置于计算机设备中，包括：标注结果获取模块401和标注结果匹配模块402。

其中，标注结果获取模块401，用于获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果；标注结果匹配模块402，用于根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系。

本发明实施例提供了一种标注结果处理装置，通过获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果，然后根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系，可以自动确定图片标注结果与点云标注结果之间的匹配关系，将能够同时识别出来的物体标注出来，实现结合点云标注结果和图片标注结果，获得更准确的标注结果。

在上述各实施例的基础上，标注结果处理装置可以还包括：匹配关系修正模块，用于获取针对匹配关系的修正信息，根据修正信息对匹配关系进行修正。

在上述各实施例的基础上，点云标注结果可以包括图片标注框，点云标注结果可以包括点云标注框。

在上述各实施例的基础上，标注结果匹配模块402可以包括：相似度计算子模块，用于使用预设的相似性度量计算公式，根据两框的形状和位置关系，计算各图片标注框与各点云标注框之间的相似度；标注框匹配子模块，用于根据各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框。

在上述各实施例的基础上，相似度计算子模块可以包括：相似度计算单元，用于根据下述相似性度量计算公式，计算目标图片标注框与目标点云标注框之间的相似度：

similarity＝IoU-αd/c-βv，

v＝4/pi^2*(arctan(w1/h1)-arctan(w2/h2))^2，

其中，similarity为目标图片标注框与目标点云标注框之间的相似度，IoU为目标图片标注框与目标点云标注框的交并比，d为目标图片标注框与目标点云标注框的中心点距离，c为目标图片标注框与目标点云标注框的最远点距离，d/c为归一化的中心距离，v为长宽比维度的权值，α、β为权重，pi为圆周率，w1为目标图片标注框的长，h1为目标图片标注框的宽，w2为目标点云标注框的长，h2为目标点云标注框的宽。

在上述各实施例的基础上，标注结果处理装置可以还包括：第一生成模块，用于根据目标图片的图像数据，生成与目标图片对应的至少一个图片标注结果；第二生成模块，用于根据与目标图片对应的三维激光点云数据，生成与目标图片对应的至少一个点云标注结果。

在上述各实施例的基础上，修正信息包括关系取消信息和/或关系建立信息；匹配关系修正模块可以包括：关系取消子模块，用于取消与关系取消信息对应的匹配关系；和/或关系建立子模块，用于建立与关系建立信息对应的匹配关系。

上述标注结果处理装置可执行本发明任意实施例所提供的标注结果处理方法，具备执行标注结果处理方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机设备12以通用计算机设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。处理器16包括但不限于AI处理器。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图5中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

计算机设备12的处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的标注结果处理方法。该方法具体可以包括：获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果；根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的标注结果处理方法。该方法具体可以包括：获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果；根据各图片标注结果与各点云标注结果的形状，和/或位置关系，确定图片标注结果与点云标注结果之间的匹配关系。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Ruby、Go，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，以及AI算法的计算机语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种标注结果处理方法，其特征在于，包括：

获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果；

根据各所述图片标注结果与各所述点云标注结果的形状，和/或位置关系，确定所述图片标注结果与所述点云标注结果之间的匹配关系。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取针对所述匹配关系的修正信息，根据所述修正信息对所述匹配关系进行修正。

3.根据权利要求1所述的方法，其特征在于，所述点云标注结果包括图片标注框，所述点云标注结果包括点云标注框。

4.根据权利要求3所述的方法，其特征在于，所述根据各所述图片标注结果与各所述点云标注结果的形状，和/或位置关系，确定所述图片标注结果与所述点云标注结果之间的匹配关系，包括：

使用预设的相似性度量计算公式，根据两框的形状和位置关系，计算各图片标注框与各点云标注框之间的相似度；

根据所述各图片标注框与各点云标注框之间的相似度，确定与各图片标注框匹配的点云标注框。

5.根据权利要求4所述的方法，其特征在于，所述使用预设的相似性度量计算公式，根据两框的形状和位置关系，计算各图片标注框与各点云标注框之间的相似度，包括：

根据下述相似性度量计算公式，计算目标图片标注框与目标点云标注框之间的相似度：

similarity＝IoU-αd/c-βv，

v＝4/pi^2*(arctan(w1/h1)-arctan(w2/h2))^2，

其中，similarity为目标图片标注框与目标点云标注框之间的相似度，IoU为目标图片标注框与目标点云标注框的交并比，d为目标图片标注框与目标点云标注框的中心点距离，c为目标图片标注框与目标点云标注框的最远点距离，d/c为归一化的中心距离，v为长宽比维度的权值，α、β为权重，pi为圆周率，w1为目标图片标注框的长，h1为目标图片标注框的宽，w2为目标点云标注框的长，h2为目标点云标注框的宽。

6.根据权利要求1所述的方法，其特征在于，在获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果之前，包括：

根据目标图片的图像数据，生成与所述目标图片对应的至少一个图片标注结果；

根据与所述目标图片对应的三维激光点云数据，生成与所述目标图片对应的至少一个点云标注结果。

7.根据权利要求2所述的方法，其特征在于，所述修正信息包括关系取消信息和/或关系建立信息；

所述根据所述修正信息对所述匹配关系进行修正，包括：

取消与所述关系取消信息对应的匹配关系；和/或

建立与所述关系建立信息对应的匹配关系。

8.一种标注结果处理装置，其特征在于，包括：

标注结果获取模块，用于获取与目标图片对应的至少一个图片标注结果和至少一个点云标注结果；

标注结果匹配模块，用于根据各所述图片标注结果与各所述点云标注结果的形状，和/或位置关系，确定所述图片标注结果与所述点云标注结果之间的匹配关系。

9.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的标注结果处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一所述的标注结果处理方法。

Images