CN114332435A - 一种基于三维重建的图像标注方法及装置 - Google Patents

Abstract

本发明实施例公开一种基于三维重建的图像标注方法及装置，能够利用三维重建原理，根据自动驾驶车辆中图像采集设备采集的初始图像构建得到特征地图，人工在特征地图的一次操作，即一次标注，就可以投影到多张二维图像上得到标注图像，从而可以大大提高标注的效率。并且，利用高精度的三维重建，人工的一次标注可以准确地投影到多张二维图像上，实现标注的一致性，避免了错误标注的产生，从而可以提高图像标注的准确性。另外，利用训练好的目标检测模型进行元素感知时，可以基于三维重建的结果将感知到的当前目标元素投影在二维图像上，并将目标检测模型感知结果和投影结果进行对比，确定目标检测模型的感知结果，从而可以对模型的准确性进行评估。

Description

一种基于三维重建的图像标注方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于三维重建的图像标注方法及装置。

背景技术

基于深度学习的图像识别需要大量的样本图像来训练模型，而在模型训练之前，需要首先对各样本图像进行标注得到标注结果。

已知的样本标注方法，通常会使用一个预训练的模型辅助，即在待标注图像上使用预训练的模型产生标注框，再由人工去调整。但预训练模型产生的标注框稳定性较差，会有错漏等情况，需要人工逐一核实，从而导致样本标注过程在数量巨大时人力成本高，标注效率较低。因此，为了提高图像标注的效率，亟需一种图像标注方法。

发明内容

本发明提供了一种基于三维重建的图像标注方法及装置，以提高图像标注效率。具体的技术方案如下。

第一方面，本发明实施例提供一种基于三维重建的图像标注方法，所述方法包括：

获取各自动驾驶车辆中图像采集设备采集的初始图像；

针对每帧所述初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各所述已知对象的类别信息和坐标信息；

针对每辆自动驾驶车辆，根据该自动驾驶车辆中图像采集设备采集的部分图像，各所述部分图像中所包括各所述已知对象的类别信息和坐标信息进行三维重建，得到该自动驾驶车辆对应的三维重建结果，所述三维重建结果包括：各所述已知对象的观测关系、各所述部分图像的位姿、以及各所述部分图像中所包括已知对象在世界系的三维坐标；任一所述已知对象的观测关系包括：该已知对象和包含该已知对象的各部分图像的对应关系；

将各自动驾驶车辆对应的三维重建结果进行融合，得到特征地图；

展示所述特征地图，并接收针对所述特征地图中存在的目标元素的标注结果；任一所述目标元素的标注结果包括该目标元素的三维坐标和类别信息；

针对所述特征地图中任一目标元素，在所述特征地图的已知对象中识别该目标元素预设距离范围内的目标对象，根据各所述目标对象的观测关系，在各所述初始图像中查找存在该目标对象的候选图像，根据该目标元素的三维坐标以及各所述候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像，构建包含各目标元素坐标信息和类别信息的标注图像。

可选的，所述方法还包括：

构建初始网络模型；并将所述标注图像输入所述初始网络模型中，对所述初始网络模型进行训练，得到目标检测模型；

获取待识别图像，以及所述待识别图像的位姿；将所述待识别图像输入所述目标检测模型中，得到所述待识别图像的识别结果，所述识别结果包括所述待识别图像中包括的当前目标元素的坐标信息和类别信息；

根据所述当前目标元素的坐标信息，以及所述待识别图像的位姿，计算所述当前目标元素在所述特征地图中的三维坐标；

根据所述当前目标元素在所述特征地图中的三维坐标，在所述特征地图的已知对象中识别所述当前目标元素预设距离范围内的当前目标对象，根据各所述当前目标对象的观测关系，在各所述初始图像中查找存在所述当前目标对象的当前候选图像，根据所述当前目标元素的三维坐标以及各所述当前候选图像的位姿，计算所述当前目标元素在各当前候选图像中对应的坐标信息，并根据所述当前目标元素在各所述当前候选图像中对应的坐标信息确定包含所述当前目标元素的当前目标图像，得到所述待识别图像的标准结果，所述标准结果包括各所述当前目标图像中包括的所述当前目标元素的坐标信息和类别信息；

将所述待识别图像的识别结果和标准结果进行对比，确定所述识别结果中的类别信息是否正确。

可选的，所述方法还包括：

获取识别结果正确的待识别图像，并根据所识别出的待识别图像对所述目标检测模型进行优化。

可选的，所述针对每帧所述初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各所述已知对象的类别信息和坐标信息之后，所述方法还包括：

针对每辆自动驾驶车辆中图像采集设备采集的每帧初始图像，判断该初始图像的已知对象检测结果是否与该初始图像前后预设数量帧初始图像的已知对象检测结果均不同，且该初始图像前后预设数量帧初始图像的已知对象检测结果均相同；如果是，删除该初始图像。

可选的，所述根据该目标元素的三维坐标以及各所述候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像的步骤包括：

根据该目标元素的三维坐标以及各所述候选图像的位姿，对该目标元素进行投影，得到该目标元素在各候选图像中的坐标信息；

针对任一所述候选图像，判断该目标元素在该候选图像中的坐标信息是否位于该候选图像的坐标范围内，如果是，将该候选图像确定为包含该目标元素的目标图像。

第二方面，本发明实施例提供一种基于三维重建的图像标注装置，所述装置包括：

初始图像获取模块，用于获取各自动驾驶车辆中图像采集设备采集的初始图像；

已知对象检测模块，用于针对每帧所述初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各所述已知对象的类别信息和坐标信息；

三维重建模块，用于针对每辆自动驾驶车辆，根据该自动驾驶车辆中图像采集设备采集的部分图像，各所述部分图像中所包括各所述已知对象的类别信息和坐标信息进行三维重建，得到该自动驾驶车辆对应的三维重建结果，所述三维重建结果包括：各所述已知对象的观测关系、各所述部分图像的位姿、以及各所述部分图像中所包括已知对象在世界系的三维坐标；任一所述已知对象的观测关系包括：该已知对象和包含该已知对象的各部分图像的对应关系；

特征地图确定模块，用于将各自动驾驶车辆对应的三维重建结果进行融合，得到特征地图；

目标元素标注模块，用于展示所述特征地图，并接收针对所述特征地图中存在的目标元素的标注结果；任一所述目标元素的标注结果包括该目标元素的三维坐标和类别信息；

标注图像确定模块，用于针对所述特征地图中任一目标元素，在所述特征地图的已知对象中识别该目标元素预设距离范围内的目标对象，根据各所述目标对象的观测关系，在各所述初始图像中查找存在该目标对象的候选图像，根据该目标元素的三维坐标以及各所述候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像，构建包含各目标元素坐标信息和类别信息的标注图像。

可选的，所述装置还包括：

网络模型构建模块，用于构建初始网络模型；并将所述标注图像输入所述初始网络模型中，对所述初始网络模型进行训练，得到目标检测模型；

图像识别模块，用于获取待识别图像，以及所述待识别图像的位姿；将所述待识别图像输入所述目标检测模型中，得到所述待识别图像的识别结果，所述识别结果包括所述待识别图像中包括的当前目标元素的坐标信息和类别信息；

三维坐标确定模块，用于根据所述当前目标元素的坐标信息，以及所述待识别图像的位姿，计算所述当前目标元素在所述特征地图中的三维坐标；

目标元素投影模块，用于根据所述当前目标元素在所述特征地图中的三维坐标，在所述特征地图的已知对象中识别所述当前目标元素预设距离范围内的当前目标对象，根据各所述当前目标对象的观测关系，在各所述初始图像中查找存在所述当前目标对象的当前候选图像，根据所述当前目标元素的三维坐标以及各所述当前候选图像的位姿，计算所述当前目标元素在各当前候选图像中对应的坐标信息，并根据所述当前目标元素在各所述当前候选图像中对应的坐标信息确定包含所述当前目标元素的当前目标图像，得到所述待识别图像的标准结果，所述标准结果包括各所述当前目标图像中包括的所述当前目标元素的坐标信息和类别信息；

识别结果对比模块，用于将所述待识别图像的识别结果和标准结果进行对比，确定所述识别结果中的类别信息是否正确。

可选的，所述装置还包括：

模型优化模块，用于获取识别结果正确的待识别图像，并根据所识别出的待识别图像对所述目标检测模型进行优化。

可选的，所述装置还包括：

初始图像处理模块，用于针对每辆自动驾驶车辆中图像采集设备采集的每帧初始图像，判断该初始图像的已知对象检测结果是否与该初始图像前后预设数量帧初始图像的已知对象检测结果均不同，且该初始图像前后预设数量帧初始图像的已知对象检测结果均相同；如果是，删除该初始图像。

可选的，所述标注图像确定模块包括：

元素投影子模块，用于根据该目标元素的三维坐标以及各所述候选图像的位姿，对该目标元素进行投影，得到该目标元素在各候选图像中的坐标信息；

图像确定子模块，用于针对任一所述候选图像，判断该目标元素在该候选图像中的坐标信息是否位于该候选图像的坐标范围内，如果是，将该候选图像确定为包含该目标元素的目标图像。

由上述内容可知，本发明实施例提供的基于三维重建的图像标注方法及装置，能够利用三维重建原理，根据自动驾驶车辆中图像采集设备采集的初始图像构建得到特征地图，人工在特征地图的一次操作，即一次标注，就可以投影到多张二维图像上得到标注图像，从而可以大大提高标注的效率。并且，利用高精度的三维重建，人工的一次标注可以准确地投影到多张二维图像上，实现标注的一致性，避免了错误标注的产生，从而可以提高图像标注的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、利用三维重建原理，根据自动驾驶车辆中图像采集设备采集的初始图像构建得到特征地图，人工在特征地图的一次操作，即一次标注，就可以投影到多张二维图像上得到标注图像，从而可以大大提高标注的效率。并且，利用高精度的三维重建，人工的一次标注可以准确地投影到多张二维图像上，实现标注的一致性，避免了错误标注的产生，从而可以提高图像标注的准确性。

2、利用训练好的目标检测模型进行元素感知时，可以通过高精度的相机位姿，基于三维重建的结果将感知到的当前目标元素大规模的投影在二维图像上，并将目标检测模型感知结果和投影结果进行对比，确定目标检测模型的感知结果是否准确，从而可以对目标检测模型的准确性进行评估。

3、根据目标检测模型感知结果和投影结果的对比，可以选取感知结果正确的待识别图像，从而可以根据选取的待识别图像对目标检测模型进行优化，由于待识别图像可能对应不同的天气情况、环境亮度等，从而根据大量的待识别图像对目标检测模型进行优化后，可以提高目标检测模型的泛化能力，后续通过优化后的目标检测模型进行元素感知时，可以对不同质量的图像均进行准确的目标感知，提高目标检测模型感知的准确性。

4、根据对初始图像的已知对象检测结果，对明显检测错误的初始图像进行剔除，从而可以根据检测结果正确的初始图像进行三维重建，得到精确的特征地图，进而进行图像标注时，能够提高图像标注的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于三维重建的图像标注方法的一种流程示意图；

图2a为用户在展示的特征地图中进行元素标注的结果示意图；

图2b、2c分别为图2a所示标注结果对应的标注图像示意图；

图3为本发明实施例提供的基于三维重建的图像标注方法的另一种流程示意图；

图4为本发明实施例提供的基于三维重建的图像标注装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种基于三维重建的图像标注方法及装置，能够提高图像标注的效率。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的基于三维重建的图像标注方法的一种流程示意图。该方法可以应用于电子设备。该方法具体包括以下步骤。

S110：获取各自动驾驶车辆中图像采集设备采集的初始图像。

在本发明实施例中，可以在各自动驾驶车辆中安装图像采集设备，如相机、行车记录仪等，图像采集设备可以按照设定的周期采集车辆行驶环境中的图像，可以称为初始图像，并发送给电子设备。

例如，可以预先通过任一种无线连接方式在各自动驾驶车辆的图像采集设备和电子设备间建立无线连接，从而各自动驾驶车辆的图像采集设备采集到初始图像后，即可将各初始图像发送至电子设备。

在一种实现方式中，为了节省网络资源，图像采集设备可以在采集到一定数量的初始图像后，如10帧、20帧、30帧等，将这些初始图像一起发送至电子设备；或者，可以在接收到电子设备发送的图像获取请求后，将还未发送的初始图像均发送至电子设备，这都是合理的，本发明实施例对此不作具体限定。

S120：针对每帧初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各已知对象的类别信息和坐标信息。

其中，上述已知对象可以为一种或多种，本发明实施例对此不作限定。具体的，上述已知对象例如可以包括标杆、车道线、地标等，本发明实施例对此不作限定。

对初始图像中的已知对象进行检测时，具体的，电子设备可以采用预先训练得到的神经网络模型对已知对象进行检测，或者，电子设备可以采用已知的任一种图像检测方法对初始图像中的已知对象进行检测，本发明实施例对此不作限定。

可以理解，无论是通过神经网络模型还是别的检测算法进行已知对象检测，都可能出现检测结果错误的情况，而检测结果错误将直接影响三维重建结果的准确性。

作为本发明实施例的一种实施方式，为了提高三维重建结果的准确性，进而提高图像标注的准确性，电子设备在对各初始图像进行已知对象检测后，还可以根据检测结果，将明显检测错误的初始图像剔除。

例如，电子设备可以针对每辆自动驾驶车辆中图像采集设备采集的每帧初始图像，判断该初始图像的已知对象检测结果是否与该初始图像前后预设数量帧初始图像的已知对象检测结果均不同，且该初始图像前后预设数量帧初始图像的已知对象检测结果均相同；如果是，删除该初始图像。

由于各自动驾驶车辆中图像采集设备采集的初始图像均为连续帧，连续帧中可能存在同一已知对象，因此连续帧中的已知对象检测结果可能相同。而当任一帧的已知对象检测结果与其前后帧检测结果不同时，表明该帧初始图像已知对象检测结果错误，这种情况下可以删除该初始图像。

根据对初始图像的已知对象检测结果，对明显检测错误的初始图像进行剔除，从而可以根据检测结果正确的初始图像进行三维重建，得到精确的特征地图，进而进行图像标注时，能够提高图像标注的准确性。

S130：针对每辆自动驾驶车辆，根据该自动驾驶车辆中图像采集设备采集的部分图像，各部分图像中所包括各已知对象的类别信息和坐标信息进行三维重建，得到该自动驾驶车辆对应的三维重建结果，三维重建结果包括：各已知对象的观测关系、各部分图像的位姿、以及各部分图像中所包括已知对象在世界系的三维坐标；任一已知对象的观测关系包括：该已知对象和包含该已知对象的各部分图像的对应关系。

在本发明实施例中，为了提高图像标注的效率，可以通过三维重建的方式根据初始图像得到特征地图，进而在特征地图中进行标注，将标注结果投影至多张二维图像中，即可得到包含标注结果的多张二维图像。也就是说，可以仅根据一次标注得到多张包含标注结果的标注图像，从而可以提高图像标注效率，这为本发明的发明点之一。

具体的，电子设备在获取到各初始图像后，可以分别根据各自动驾驶车辆中图像采集设备采集的初始图像，可以称为部分图像，以及步骤S120中的已知对象检测结果进行三维重建，得到各三维重建结果。

例如，针对任一自动驾驶车辆的图像采集设备采集的部分图像，可以首先初始化选择两帧部分图像进行第一次光束平差法(Bundle Adjustment，BA)，然后循环添加新的部分图像进行新的BA优化，最后直到所有的部分图像都被添加到BA优化中，此时就得到了所有部分图像的位姿和场景的视觉点云地图，也即各部分图像中所包括已知对象在世界系的三维坐标。并且，在三维重建过程中，还可以得到任一已知对象的观测关系，即该已知对象和包含该已知对象的各部分图像的对应关系。

S140：将各自动驾驶车辆对应的三维重建结果进行融合，得到特征地图。

例如，可以根据各三维重建结果中所包括的各已知对象在世界系的三维坐标，将各三维重建结果进行融合，即可得到包含每个三维重建结果的特征地图。

S150：展示特征地图，并接收针对特征地图中存在的目标元素的标注结果；任一目标元素的标注结果包括该目标元素的三维坐标和类别信息。

得到特征地图后，可以基于特征地图进行目标元素标注。该目标元素与上述已知对象不同，可以为用户需要进行检测的元素，例如转向标志、人行道标志等。

具体的，电子设备可以展示特征地图，从而用户可以在所展示的特征地图上标注目标元素所在位置，如可以在目标元素所在区域拉框，得到该目标元素的三维坐标。例如，可以将用户所确定边框的4个角点坐标作为该目标元素的三维坐标。并且，还可以标注出该目标元素的类别信息，例如，可以包括转向标志、人行道标志等。

S160：针对特征地图中任一目标元素，在特征地图的已知对象中识别该目标元素预设距离范围内的目标对象，根据各目标对象的观测关系，在各初始图像中查找存在该目标对象的候选图像，根据该目标元素的三维坐标以及各候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像，构建包含各目标元素坐标信息和类别信息的标注图像。

在特征地图中对各目标元素进行标注后，即可根据各目标元素的标注结果进行投影，得到多张包含标注结果的二维图像，可以称为标注图像。

具体的，电子设备可以针对特征地图中任一目标元素，在特征地图的已知对象中识别该目标元素预设距离范围内的目标对象，上述预设距离范围例如可以为3米、5米、8米等。之后可以根据各目标对象的观测关系，在各初始图像中查找存在该目标对象的候选图像，也即查找待投影的图像。查找到候选图像后，可以根据该目标元素的三维坐标以及各候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，也即计算各目标元素在各候选图像中对应的图像点坐标。进一步可以根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像，并构建包含各目标元素坐标信息和类别信息的标注图像。

例如，电子设备可以根据该目标元素的三维坐标以及各候选图像的位姿，对该目标元素进行投影，得到该目标元素在各候选图像中的坐标信息；并针对任一候选图像，判断该目标元素在该候选图像中的坐标信息是否位于该候选图像的坐标范围内，如果是，将该候选图像确定为包含该目标元素的目标图像。

在一个具体的实施例中，如图2a所示，用户可以在展示的特征地图中标注出路标“用”字210，得到所标注边框的4个角点坐标，通过投影可以得到如图2b、2c的标注图像，对应的标注结果为220、230。

由上述内容可知，本实施例可以利用三维重建原理，根据自动驾驶车辆中图像采集设备采集的初始图像构建得到特征地图，人工在特征地图的一次操作，即一次标注，就可以投影到多张二维图像上得到标注图像，从而可以大大提高标注的效率。并且，利用高精度的三维重建，人工的一次标注可以准确地投影到多张二维图像上，实现标注的一致性，避免了错误标注的产生，从而可以提高图像标注的准确性。

作为本发明实施例的一种实施方式，电子设备得到标注图像之后，还可以根据标注图像进行模型训练，具体的，如图3所示，可以包括以下步骤：

S310：构建初始网络模型；并将标注图像输入初始网络模型中，对初始网络模型进行训练，得到目标检测模型。

卷积神经网络模型具有运算速度快以及计算准确等特点。在本发明实施例中，为了提高元素检测的效率和准确性，可以预先根据标注图像训练得到目标检测模型。

上述目标检测模型可以为卷积神经网络模型，卷积神经网络是一种前馈神经网络，卷积神经网络中的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型数据处理有出色表现。卷积神经网络一般由卷积层、池化层、非线性层和全连接层等网络层组成。当然，本实施例中的目标检测模型还可以为全卷积神经网络模型，即不包含全连接层的卷积神经网络，本发明实施例不对目标检测模型的类型和/或结构作限定。

如可以采用已知的任一种方法对预设的初始网络模型进行训练，本发明实施例对此不作限定。具体的目标检测模型的训练过程，可以在已有的深度学习网络平台上进行，也可以通过搭建的程序框架实现，这里不作限定。

S320：获取待识别图像，以及待识别图像的位姿；将待识别图像输入目标检测模型中，得到待识别图像的识别结果，识别结果包括待识别图像中包括的当前目标元素的坐标信息和类别信息。

训练得到目标检测模型后，对待识别图像进行元素检测时，将待识别图像输入预先训练得到的目标检测模型中，目标检测模型即可输出待识别图像对应的当前目标元素的坐标信息和类别信息。

在一种实现方式中，目标检测模型可以输出当前目标元素的各类别信息对应的权重，电子设备可以将权重最高的类别信息作为当前目标元素的类别信息。

S330：根据当前目标元素的坐标信息，以及待识别图像的位姿，计算当前目标元素在特征地图中的三维坐标。

也就是说，可以将当前目标元素投影至三维空间，并确定对应的三维坐标。例如，当目标检测模型输出的为当前目标元素所在边框的4个角点坐标时，可以分别计算该4个角点坐标在特征地图中的投影坐标，作为当前目标元素在特征地图中的三维坐标。

S340：根据当前目标元素在特征地图中的三维坐标，在特征地图的已知对象中识别当前目标元素预设距离范围内的当前目标对象，根据各当前目标对象的观测关系，在各初始图像中查找存在当前目标对象的当前候选图像，根据当前目标元素的三维坐标以及各当前候选图像的位姿，计算当前目标元素在各当前候选图像中对应的坐标信息，并根据当前目标元素在各当前候选图像中对应的坐标信息确定包含当前目标元素的当前目标图像，得到待识别图像的标准结果，标准结果包括各当前目标图像中包括的当前目标元素的坐标信息和类别信息。

具体的，电子设备可以在特征地图的已知对象中识别当前目标元素预设距离范围内的当前目标对象，上述预设距离范围例如可以为3米、5米、8米等。之后可以根据各当前目标对象的观测关系，在各初始图像中查找存在当前目标对象的当前候选图像，也即查找待投影的图像。查找到当前候选图像后，可以根据当前目标元素的三维坐标以及各当前候选图像的位姿，计算当前目标元素在各当前候选图像中的坐标信息，也即计算当前目标元素在各当前候选图像中对应的图像点坐标。进一步可以根据当前目标元素在各当前候选图像中对应的坐标信息确定包含当前目标元素的当前目标图像，得到待识别图像的标准结果。

例如，电子设备可以根据当前目标元素的三维坐标以及各当前候选图像的位姿，对当前目标元素进行投影，得到当前目标元素在各当前候选图像中的坐标信息；并针对任一当前候选图像，判断当前目标元素在该当前候选图像中的坐标信息是否位于该当前候选图像的坐标范围内，如果是，将该当前候选图像确定为包含当前目标元素的当前目标图像。

S350：将待识别图像的识别结果和标准结果进行对比，确定识别结果中的类别信息是否正确。

例如，电子设备可以判断识别结果的类别信息是否与标准结果的类别信息是否完全相同，如果否，则确定识别结果中的类别信息不正确。

本发明实施例中，利用训练好的目标检测模型进行元素感知时，可以通过高精度的相机位姿，基于三维重建的结果将感知到的当前目标元素大规模的投影在二维图像上，并将目标检测模型感知结果和投影结果进行对比，确定目标检测模型的感知结果是否准确，从而可以对目标检测模型的准确性进行评估。

作为本发明实施例的一种实施方式，还可以获取识别结果正确的待识别图像，并根据所识别出的待识别图像对目标检测模型进行优化。

也就是说，可以根据所识别出的待识别对象重新对目标检测模型进行训练，并使用训练后的目标检测模型更新之前存储的目标检测模型。具体的训练方法，可以与上述目标检测检测模型的训练方法类似，本发明实施例在此不再赘述。

根据目标检测模型感知结果和投影结果的对比，可以选取感知结果正确的待识别图像，从而可以根据选取的待识别图像对目标检测模型进行优化，由于待识别图像可能对应不同的天气情况、环境亮度等，从而根据大量的待识别图像对目标检测模型进行优化后，可以提高目标检测模型的泛化能力，后续通过优化后的目标检测模型进行元素感知时，可以对不同质量的图像均进行准确的目标感知，提高目标检测模型感知的准确性。

如图4所示，其示出了本发明实施例提供的一种基于三维重建的图像标注装置的结构示意图，所述装置包括：

初始图像获取模块410，用于获取各自动驾驶车辆中图像采集设备采集的初始图像；

已知对象检测模块420，用于针对每帧所述初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各所述已知对象的类别信息和坐标信息；

三维重建模块430，用于针对每辆自动驾驶车辆，根据该自动驾驶车辆中图像采集设备采集的部分图像，各所述部分图像中所包括各所述已知对象的类别信息和坐标信息进行三维重建，得到该自动驾驶车辆对应的三维重建结果，所述三维重建结果包括：各所述已知对象的观测关系、各所述部分图像的位姿、以及各所述部分图像中所包括已知对象在世界系的三维坐标；任一所述已知对象的观测关系包括：该已知对象和包含该已知对象的各部分图像的对应关系；

特征地图确定模块440，用于将各自动驾驶车辆对应的三维重建结果进行融合，得到特征地图；

目标元素标注模块450，用于展示所述特征地图，并接收针对所述特征地图中存在的目标元素的标注结果；任一所述目标元素的标注结果包括该目标元素的三维坐标和类别信息；

标注图像确定模块460，用于针对所述特征地图中任一目标元素，在所述特征地图的已知对象中识别该目标元素预设距离范围内的目标对象，根据各所述目标对象的观测关系，在各所述初始图像中查找存在该目标对象的候选图像，根据该目标元素的三维坐标以及各所述候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像，构建包含各目标元素坐标信息和类别信息的标注图像。

可选的，所述装置还包括：

网络模型构建模块，用于构建初始网络模型；并将所述标注图像输入所述初始网络模型中，对所述初始网络模型进行训练，得到目标检测模型；

图像识别模块，用于获取待识别图像，以及所述待识别图像的位姿；将所述待识别图像输入所述目标检测模型中，得到所述待识别图像的识别结果，所述识别结果包括所述待识别图像中包括的当前目标元素的坐标信息和类别信息；

三维坐标确定模块，用于根据所述当前目标元素的坐标信息，以及所述待识别图像的位姿，计算所述当前目标元素在所述特征地图中的三维坐标；

目标元素投影模块，用于根据所述当前目标元素在所述特征地图中的三维坐标，在所述特征地图的已知对象中识别所述当前目标元素预设距离范围内的当前目标对象，根据各所述当前目标对象的观测关系，在各所述初始图像中查找存在所述当前目标对象的当前候选图像，根据所述当前目标元素的三维坐标以及各所述当前候选图像的位姿，计算所述当前目标元素在各当前候选图像中对应的坐标信息，并根据所述当前目标元素在各所述当前候选图像中对应的坐标信息确定包含所述当前目标元素的当前目标图像，得到所述待识别图像的标准结果，所述标准结果包括各所述当前目标图像中包括的所述当前目标元素的坐标信息和类别信息；

识别结果对比模块，用于将所述待识别图像的识别结果和标准结果进行对比，确定所述识别结果中的类别信息是否正确。

可选的，所述装置还包括：

模型优化模块，用于获取识别结果正确的待识别图像，并根据所识别出的待识别图像对所述目标检测模型进行优化。

可选的，所述装置还包括：

初始图像处理模块，用于针对每辆自动驾驶车辆中图像采集设备采集的每帧初始图像，判断该初始图像的已知对象检测结果是否与该初始图像前后预设数量帧初始图像的已知对象检测结果均不同，且该初始图像前后预设数量帧初始图像的已知对象检测结果均相同；如果是，删除该初始图像。

可选的，所述标注图像确定模块包括：

元素投影子模块，用于根据该目标元素的三维坐标以及各所述候选图像的位姿，对该目标元素进行投影，得到该目标元素在各候选图像中的坐标信息；

图像确定子模块，用于针对任一所述候选图像，判断该目标元素在该候选图像中的坐标信息是否位于该候选图像的坐标范围内，如果是，将该候选图像确定为包含该目标元素的目标图像。

由上述内容可知，本实施例可以利用三维重建原理，根据自动驾驶车辆中图像采集设备采集的初始图像构建得到特征地图，人工在特征地图的一次操作，即一次标注，就可以投影到多张二维图像上得到标注图像，从而可以大大提高标注的效率。并且，利用高精度的三维重建，人工的一次标注可以准确地投影到多张二维图像上，实现标注的一致性，避免了错误标注的产生，从而可以提高图像标注的准确性。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于三维重建的图像标注方法，其特征在于，所述方法包括：

获取各自动驾驶车辆中图像采集设备采集的初始图像；

针对每帧所述初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各所述已知对象的类别信息和坐标信息；

针对每辆自动驾驶车辆，根据该自动驾驶车辆中图像采集设备采集的部分图像，各所述部分图像中所包括各所述已知对象的类别信息和坐标信息进行三维重建，得到该自动驾驶车辆对应的三维重建结果，所述三维重建结果包括：各所述已知对象的观测关系、各所述部分图像的位姿、以及各所述部分图像中所包括已知对象在世界系的三维坐标；任一所述已知对象的观测关系包括：该已知对象和包含该已知对象的各部分图像的对应关系；

将各自动驾驶车辆对应的三维重建结果进行融合，得到特征地图；

展示所述特征地图，并接收针对所述特征地图中存在的目标元素的标注结果；任一所述目标元素的标注结果包括该目标元素的三维坐标和类别信息；

针对所述特征地图中任一目标元素，在所述特征地图的已知对象中识别该目标元素预设距离范围内的目标对象，根据各所述目标对象的观测关系，在各所述初始图像中查找存在该目标对象的候选图像，根据该目标元素的三维坐标以及各所述候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像，构建包含各目标元素坐标信息和类别信息的标注图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

构建初始网络模型；并将所述标注图像输入所述初始网络模型中，对所述初始网络模型进行训练，得到目标检测模型；

获取待识别图像，以及所述待识别图像的位姿；将所述待识别图像输入所述目标检测模型中，得到所述待识别图像的识别结果，所述识别结果包括所述待识别图像中包括的当前目标元素的坐标信息和类别信息；

根据所述当前目标元素的坐标信息，以及所述待识别图像的位姿，计算所述当前目标元素在所述特征地图中的三维坐标；

根据所述当前目标元素在所述特征地图中的三维坐标，在所述特征地图的已知对象中识别所述当前目标元素预设距离范围内的当前目标对象，根据各所述当前目标对象的观测关系，在各所述初始图像中查找存在所述当前目标对象的当前候选图像，根据所述当前目标元素的三维坐标以及各所述当前候选图像的位姿，计算所述当前目标元素在各当前候选图像中对应的坐标信息，并根据所述当前目标元素在各所述当前候选图像中对应的坐标信息确定包含所述当前目标元素的当前目标图像，得到所述待识别图像的标准结果，所述标准结果包括各所述当前目标图像中包括的所述当前目标元素的坐标信息和类别信息；

将所述待识别图像的识别结果和标准结果进行对比，确定所述识别结果中的类别信息是否正确。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取识别结果正确的待识别图像，并根据所识别出的待识别图像对所述目标检测模型进行优化。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述针对每帧所述初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各所述已知对象的类别信息和坐标信息之后，所述方法还包括：

针对每辆自动驾驶车辆中图像采集设备采集的每帧初始图像，判断该初始图像的已知对象检测结果是否与该初始图像前后预设数量帧初始图像的已知对象检测结果均不同，且该初始图像前后预设数量帧初始图像的已知对象检测结果均相同；如果是，删除该初始图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据该目标元素的三维坐标以及各所述候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像的步骤包括：

根据该目标元素的三维坐标以及各所述候选图像的位姿，对该目标元素进行投影，得到该目标元素在各候选图像中的坐标信息；

针对任一所述候选图像，判断该目标元素在该候选图像中的坐标信息是否位于该候选图像的坐标范围内，如果是，将该候选图像确定为包含该目标元素的目标图像。

6.一种基于三维重建的图像标注装置，其特征在于，所述装置包括：

初始图像获取模块，用于获取各自动驾驶车辆中图像采集设备采集的初始图像；

已知对象检测模块，用于针对每帧所述初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各所述已知对象的类别信息和坐标信息；

三维重建模块，用于针对每辆自动驾驶车辆，根据该自动驾驶车辆中图像采集设备采集的部分图像，各所述部分图像中所包括各所述已知对象的类别信息和坐标信息进行三维重建，得到该自动驾驶车辆对应的三维重建结果，所述三维重建结果包括：各所述已知对象的观测关系、各所述部分图像的位姿、以及各所述部分图像中所包括已知对象在世界系的三维坐标；任一所述已知对象的观测关系包括：该已知对象和包含该已知对象的各部分图像的对应关系；

特征地图确定模块，用于将各自动驾驶车辆对应的三维重建结果进行融合，得到特征地图；

目标元素标注模块，用于展示所述特征地图，并接收针对所述特征地图中存在的目标元素的标注结果；任一所述目标元素的标注结果包括该目标元素的三维坐标和类别信息；

标注图像确定模块，用于针对所述特征地图中任一目标元素，在所述特征地图的已知对象中识别该目标元素预设距离范围内的目标对象，根据各所述目标对象的观测关系，在各所述初始图像中查找存在该目标对象的候选图像，根据该目标元素的三维坐标以及各所述候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像，构建包含各目标元素坐标信息和类别信息的标注图像。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

网络模型构建模块，用于构建初始网络模型；并将所述标注图像输入所述初始网络模型中，对所述初始网络模型进行训练，得到目标检测模型；

图像识别模块，用于获取待识别图像，以及所述待识别图像的位姿；将所述待识别图像输入所述目标检测模型中，得到所述待识别图像的识别结果，所述识别结果包括所述待识别图像中包括的当前目标元素的坐标信息和类别信息；

三维坐标确定模块，用于根据所述当前目标元素的坐标信息，以及所述待识别图像的位姿，计算所述当前目标元素在所述特征地图中的三维坐标；

目标元素投影模块，用于根据所述当前目标元素在所述特征地图中的三维坐标，在所述特征地图的已知对象中识别所述当前目标元素预设距离范围内的当前目标对象，根据各所述当前目标对象的观测关系，在各所述初始图像中查找存在所述当前目标对象的当前候选图像，根据所述当前目标元素的三维坐标以及各所述当前候选图像的位姿，计算所述当前目标元素在各当前候选图像中对应的坐标信息，并根据所述当前目标元素在各所述当前候选图像中对应的坐标信息确定包含所述当前目标元素的当前目标图像，得到所述待识别图像的标准结果，所述标准结果包括各所述当前目标图像中包括的所述当前目标元素的坐标信息和类别信息；

识别结果对比模块，用于将所述待识别图像的识别结果和标准结果进行对比，确定所述识别结果中的类别信息是否正确。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

模型优化模块，用于获取识别结果正确的待识别图像，并根据所识别出的待识别图像对所述目标检测模型进行优化。

9.根据权利要求6-8任一项所述的装置，其特征在于，所述装置还包括：

初始图像处理模块，用于针对每辆自动驾驶车辆中图像采集设备采集的每帧初始图像，判断该初始图像的已知对象检测结果是否与该初始图像前后预设数量帧初始图像的已知对象检测结果均不同，且该初始图像前后预设数量帧初始图像的已知对象检测结果均相同；如果是，删除该初始图像。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述标注图像确定模块包括：

元素投影子模块，用于根据该目标元素的三维坐标以及各所述候选图像的位姿，对该目标元素进行投影，得到该目标元素在各候选图像中的坐标信息；

图像确定子模块，用于针对任一所述候选图像，判断该目标元素在该候选图像中的坐标信息是否位于该候选图像的坐标范围内，如果是，将该候选图像确定为包含该目标元素的目标图像。

Images