CN114387199A - 图像标注方法及装置 - Google Patents

Abstract

本申请提供一种图像标注方法及装置。该方法包括：根据目标的三维模型，生成待标注图像和所述待标注图像的分割图，所述待标注图像中包含所述目标，所述分割图中包含所述待标注图像上所述目标所在区域的区域信息；根据所述区域信息，确定所述待标注图像上所述目标的标注框的位置坐标；根据所述位置坐标，在所述待标注图像上绘制所述标注框，以得到标注图像。本申请通过利用由三维模型得到的分割图上精准的区域信息，确定标注框的位置坐标，并绘制标注框，能够提高图像标注的标注框位置的精准度。

Description

图像标注方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像标注方法及装置。

背景技术

深度学习算法被广泛用于图像的目标识别。经过训练的深度学习模型可以用于对输入图像中目标的分类、识别或分割等。深度学习模型的训练过程需要大量的训练样本，每个训练样本包括训练图像以及该训练图像的标注图像。

一般地，在获取训练图像后，由人工查看训练图像中的目标，并针对其绘制标注框，从而实现对训练图像的标注，得到训练图像的标注图像。

然而，对训练图像进行人工标注，所绘制的标注框位置的精准度较差，进而影响后续的模型训练。

发明内容

本申请实施例提供一种图像标注方法及装置，以解决对图像进行标注的标注框位置精准度差的问题。

第一方面，本申请实施例提供一种图像标注方法，包括：

根据目标的三维模型，生成待标注图像和所述待标注图像的分割图，所述待标注图像中包含所述目标，所述分割图中包含所述待标注图像上所述目标所在区域的区域信息；

根据所述区域信息，确定所述待标注图像上所述目标的标注框的位置坐标；

根据所述位置坐标，在所述待标注图像上绘制所述标注框，以得到标注图像。

第二方面，本申请实施例提供一种图像标注装置，包括：

生成模块，用于根据目标的三维模型，生成待标注图像和所述待标注图像的分割图，所述待标注图像中包含所述目标，所述分割图中包含所述待标注图像上所述目标所在区域的区域信息；

处理模块，用于根据所述区域信息，确定所述待标注图像上所述目标的标注框的位置坐标；

绘制模块，用于根据所述位置坐标，在所述待标注图像上绘制所述标注框，以得到标注图像。

第三方面，本申请实施例提供一种图像标注设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的实施方式所述的图像标注方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的实施方式所述的图像标注方法。

本申请实施例提供的图像标注方法及装置，根据目标的三维模型，生成待标注图像和待标注图像的分割图，待标注图像中包含目标，分割图中包含待标注图像上目标所在区域的区域信息；根据区域信息，确定待标注图像上目标的标注框的位置坐标；根据位置坐标，在待标注图像上绘制标注框，以得到标注图像，通过利用由三维模型得到的分割图上精准的区域信息，确定标注框的位置坐标，并绘制标注框，能够提高图像标注的标注框位置的精准度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的图像标注方法的场景示意图；

图2为本申请一实施例提供的图像标注方法的流程示意图；

图3A为本申请实施例提供的包含实验桌上实验器材的待标注图像；

图3B为图3A的分割图；

图3C为根据图3B对图3A进行标注得到的标注图像；

图4为本申请又一实施例提供的图像标注方法的流程示意图；

图5A为本申请实施例提供的包含街道上行人的待标注图像；

图5B为图5A的分割图；

图5C为根据图5B对图5A进行标注得到的标注图像；

图6为本申请另一实施例提供的图像标注方法的流程示意图；

图7A为本申请实施例提供的包含冰柜中饮料瓶的待标注图像；

图7B为图7A的分割图；

图7C为根据图7B对图7A进行标注得到的标注图像；

图8为本申请再一实施例提供的图像标注方法的流程示意图；

图9为图3A-3C所示示例的流程示意图；

图10为图5A-5C所示示例的流程示意图；

图11为图7A-7C所示示例的流程示意图；

图12为本申请一实施例提供的图像标注装置的结构示意图；

图13为本申请一实施例提供的图像标注设备的硬件结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例通过构建目标的三维模型，利用光学追踪技术根据虚拟的模型及环境得到待标注图像，以及待标注图像的分割图，然后利用分割图中包含的目标所在区域的区域信息，来确定标注框的位置坐标，进而在待标注图像上绘制标注框。通过利用三维虚拟数据向二维平面映射得到的分割图上精准的区域信息，进行标注框的绘制，能够提高图像标注的标注框位置的精准度，并且相对于人工标注，能够提高标注效率。

图1为本申请一实施例提供的图像标注方法的场景示意图。如图1所示，该场景中包括图像标注设备11和服务器12。其中，图像标注设备11可以为台式计算机、笔记本计算机、手机、平板电脑、车载终端、服务器等电子设备。图像标注设备11用于对图像进行标注，生成训练样本，并对基于深度学习的目标识别模型进行训练，将训练后的目标识别模型上传到服务器12。服务器12用于接收训练后的目标识别模型，根据目标识别模型对待处理图像进行识别，得到识别结果。

图像标注设备11对图像进行标注的过程可以为：图像标注设备11可以根据包含目标和环境的图像、视频、激光扫描数据等自动构建目标的三维模型和三维环境模型，并将目标的三维模型部署于三维环境模型中，从而得到场景模型。或者，图像标注设备11也可以根据用户的控制操作绘制目标的三维模型和三维环境模型，按照用户指示将目标的三维模型部署于三维环境模型中，从而得到场景模型。图像标注设备11根据用户设置的环境配置参数，调整场景模型的灯光参数、相机参数、目标标识等，通过光线追踪技术将场景模型向二维平面映射，得到待标注图像，以及待标注图像的分割图。图像标注设备11根据分割图中目标所在区域的区域信息，确定待标注图像上目标的标注框的位置坐标，然后根据位置坐标，在待标注图像上绘制标注框，将目标的标识添加到标注框的相应位置，从而得到标注图像。参照图1中图像标注设备11下方虚线框内的部分，目标为水杯，目标的三维模型为水杯模型，三维环境模型可以根据需求设定，如货架、餐桌等。图像标注设备11可以通过虚拟相机将包含水杯的场景模型映射到二维平面，得到包含水杯的待标注图像以及待标注图像的分割图(图1中未示出)。根据分割图中水杯所在区域的区域信息，确定待标注图像上水杯的标注框的位置坐标，然后根据位置坐标，在待标注图像上绘制水杯的标注框，从而得到标注图像。在得到标注图像后，图像标注设备11将待标注图像及其对应的标注图像组成训练样本。本申请实施例通过利用三维虚拟数据向二维平面映射得到的分割图上精准的区域信息，进行标注框的绘制，能够提高图像标注的标注框位置的精准度，并且能够提高标注效率，进而提高训练样本的生成效率及训练效果。

需要说明的是，图1的场景仅作为示例，本申请实施例提供的图像标注方法还可以用于其他的场景，在此不作限定。

图2为本申请一实施例提供的图像标注方法的流程示意图。该方法的执行主体为图像标注设备。如图2所示，该方法包括：

S201、根据目标的三维模型，生成待标注图像和待标注图像的分割图，待标注图像中包含目标，分割图中包含待标注图像上目标所在区域的区域信息。

本实施例中，目标的三维模型为虚拟的三维数据模型。目标的三维模型可以是图像标注设备自动生成的，也可以是图像标注设备根据用户的控制操作所构建的。目标可以根据实际需求确定，例如，目标可以为行人，标注得到的训练样本所训练的目标识别模型用于对街道上的行人进行识别。分割图可以通过多种方式来获得，例如可以通过光学追踪算法由目标的三维模型得到分割图，或者通过对待标注图像进行语义分割得到分割图。分割图与待标注图像中目标所在区域一致。分割图中同一目标所在区域内的像素点的像素值可以为同一数值。根据分割图可以确定待标注图像上目标的所在区域。

S202、根据区域信息，确定待标注图像上目标的标注框的位置坐标。

本实施例中，标注框的形状在此不作限定，例如，可以为矩形、梯形、圆形、不规则形状等。标注框的位置坐标可以包括标注框上各边界线的位置坐标，和/或标注框上多个位置点的位置坐标等。标注框框住的区域可以包含待标注图像上目标所在区域的全部或部分。

S203、根据位置坐标，在待标注图像上绘制标注框，以得到标注图像。

本实施例中，标注图像为对待标注图像进行自动标注所得到的图像。标注图像用于和待标注图像构成训练样本，以对目标识别模型进行训练。确定标注框的位置坐标后，图像标注设备在待标注图像上绘制出标注框，从而得到标注图像。

本申请实施例中，根据目标的三维模型，生成待标注图像和待标注图像的分割图，待标注图像中包含目标，分割图中包含待标注图像上目标所在区域的区域信息；根据区域信息，确定待标注图像上目标的标注框的位置坐标；根据位置坐标，在待标注图像上绘制标注框，以得到标注图像，通过利用由三维模型得到的分割图上精准的区域信息，确定标注框的位置坐标，并绘制标注框，能够提高图像标注的标注框位置的精准度。

可选地，标注框的类型包括方向标注框和轴对齐标注框，其中，方向标注框和轴对齐标注框均为矩形框。方向标注框的主轴与图像的坐标轴不平行，方向标注框的两条边界线平行于主轴，另外两条边界线垂直于主轴。轴对齐标注框的主轴与图像的坐标轴平行，轴对齐标注框的两条边界线平行于图像沿高度方向的第一轴，另外两条边界线平行于图像沿宽度方向的第二轴。下面通过两个实施例分别对方向标注框的位置坐标的确定方式，和轴对齐标注框的位置坐标的确定方式进行说明。

作为本申请的一个实施例，在图2实施例的基础上，标注框包括方向标注框；

S202可以包括：

确定目标的方向标注框的主轴；

根据区域信息和主轴，确定目标的方向标注框的位置坐标，其中，方向标注框的两条边界线平行于主轴，且方向标注框为目标所在区域的最小外接矩形。

本实施例中，对于方向标注框，可以首先根据三维模型或分割图确定方向标注框的主轴，然后根据主轴和分割图上目标所在区域的区域信息，确定两条边界线平行于主轴，且为目标所在区域的最小外接矩形的矩形框作为方向标准框。

可选地，方向标注框的主轴的确定方式可以采用下述两种实现方式中的一种：

在第一种实现方式中，可以根据三维模型上指定位置点的坐标来确定方向标注框的主轴。具体地，将三维模型上两个指定位置点的三维坐标，映射到待标注图像上，以得到与两个位置点对应的两个目标位置点的位置坐标；将两个目标位置点的连线，确定为主轴。

该实现方式中，指定位置点可以为由用户根据实际需求设定，将目标的三维模型上的两个关键特征点作为指定位置点。图像标注设备采用光线追踪算法，将三维模型上两个指定位置点的三维坐标，映射到待标注图像上，可以得到目标位置点的位置坐标。这两个目标位置点的坐标的连线即为方向标注框的主轴。

本实施例中，通过将目标三维模型上指定位置点映射到待标注图像上，以确定方向标注框的主轴，能够使得确定出的方向标注框的主轴与目标的空间位置相一致，从而提高标注框的准确性。

在第二种实现方式中，可以根据主成分分析(Principal Component Analysis，PCA)算法来确定方向标注框的主轴。具体地，通过主成分分析算法，对分割图上目标所在区域内的各像素点坐标进行处理，以得到特征向量；根据特征向量，确定主轴。

PCA算法是一种数据降维方法，通过线性变换将原始数据变换为一组各维度线性无关的表示，以此来提取数据的主要线性分量。在该实现方式中，图像标注设备将分割图中目标所在区域内的各像素点坐标(X，Y)构成数据集，计算该数据集的协方差矩阵，然后计算该协方差矩阵的特征向量，该特征向量的方向即为方向标定框的主轴。

本实施例通过PCA算法来对分割图中目标所在区域进行主成分分析，从而确定方向标定框的主轴，能够使得方向标定框的主轴表征目标所在区域的主要方向，从而提高标注框的准确性。

下面通过一个对实验桌内实验器材进行标注的示例进行说明。图3A为本申请实施例提供的包含实验桌上实验器材的待标注图像，图3B为图3A的分割图，图3C为根据图3B对图3A进行标注得到的标注图像。该示例中，实验为电学实验，桌上的实验器材包括开关31、滑动变阻器32、电压表33、电流表34、导线接线头35、导线36、灯37等。导线接线头35连接于开关31、滑动变阻器32、电压表33、电流表34等的接线旋钮38上。目标为实验器材。其中，开关31、电压表33、电流表34的标注框为轴对称标注框；滑动变阻器32、导线接线头35、导线36的标注框为方向标注框。以滑动变阻器32的方向标注框为例，若采用上述第一种实现方式，可以由用户在滑动变阻器的三维模型上选择两个指定位置点，如在滑动轴的两端各选取一个指定位置点，图像标注设备将三维模型中滑动轴两端的指定位置点映射到待标注图像上确定两个相应的目标位置点，连接两个目标位置点确定主轴；若采用上述第二种实现方式，图像标注设备可以对图3B所示的分割图中滑动变阻器所在区域内的各像素点坐标进行主成分分析，以得到特征向量；根据特征向量，确定主轴。

作为本申请的一个实施例，在图2实施例的基础上，标注框包括轴对齐标注框。

S202可以包括：

获取分割图上目标所在区域内的各像素点的坐标；坐标包括沿分割图高度方向的第一轴坐标值，和沿分割图宽度方向的第二轴坐标值；

确定所有像素点的第一轴坐标值中的最大值和最小值，以及第二轴坐标值中的最大值和最小值；

根据第一轴坐标值中的最大值和最小值，以及第二轴坐标值中的最大值和最小值，确定目标的轴对齐标注框的位置坐标，其中，轴对齐标注框的两条边界线与高度方向平行。

本实施例中，分割图的坐标系由沿高度方向的第一轴和沿宽度方向的第二轴构建。各像素点的坐标包括第一轴坐标值和第二轴坐标值。图像标注设备对比目标所在区域内所有像素点的第一轴坐标值，得到其中的最大值和最小值；对比目标所在区域内所有像素点的第二轴坐标值，得到其中的最大值和最小值。图像标注设备可以将与第二轴平行的直线中穿过第一轴坐标值最大值对应位置点的直线，以及穿过第一轴坐标值最小值对应位置点的直线，确定为轴对称标注框的两条边界线；可以将与第一轴平行的直线中穿过第二轴坐标值最大值对应位置点的直线，以及穿过第二轴坐标值最小值对应位置点的直线，确定为轴对称标注框的另外两条边界线。

本实施例通过分割图上目标所在区域内的各像素点的坐标中，第一轴坐标值中的最大值和最小值，以及第二轴坐标值中的最大值和最小值，能够准确确定目标的轴对齐标注框的位置坐标，进而使得绘制出的轴对齐标注框更加精准。

在上述任一实施例的基础上，作为本申请的一个实施例，目标为至少一个，每个目标对应于一个标识以及一个标注框。该方法还包括：

针对每个目标，建立该目标的标识与该目标的标注框的关联关系。

本实施例中，图像标注在标注出待标注图像上各目标的标注框后，对于每个目标，可以在该目标的标注框的指定位置添加该目标的标识，或者通过每种线条颜色对应于一个标识，以该目标的标识所对应的线条颜色绘制该目标的标注框。标识与标注框的关联关系还可以为其他方式，在此不作限定。

图4为本申请又一实施例提供的图像标注方法的流程示意图。在上述任一实施例的基础上，本实施例中目标为多个，每个目标在三维环境模型中对应一个位置。如图4所示，该方法包括：

S401、将各目标的三维模型配置于三维环境模型中的相应位置，以得到第一场景模型，并根据第一场景模型生成包含各目标的待标注图像以及待标注图像的分割图。

本实施例中，待标注图像中除了包括目标外，还包括背景。在构建模型时，构建各目标的三维模型，以及用于作为背景的三维环境模型。将各目标的三维模型配置于三维环境模型中的相应位置，得到第一场景模型。根据该第一场景模型所生成的待标注图像以及待标注图像的分割图中包括所有目标。

S402、针对每个目标，将该目标的三维模型配置于三维环境模型中的相应位置，以得到第二场景模型，并根据第二模型，生成包含该目标的独立图像以及独立图像的分割图，并根据独立图像的分割图上该目标所在区域的区域信息，确定独立图像上该目标的标注框的位置坐标。

本实施例中，将每个目标的三维模型配置于三维环境模型中的相应位置，得到一个第二场景模型。每个目标对应于一个第二场景模型，该第二场景模型中仅包括该目标，不包括其他目标。根据该第二场景模型所生成的独立图像以及独立图像的分割图中仅包括该目标，不包括其他目标。

需要说明的是，本实施例中S401和S402执行的先后顺序不作限定，可以先执行S401再执行S402，也可以先执行S402再执行S401，也可以并行执行。

S403、将各独立图像上各目标的标注框的位置坐标，确定为待标注图像上各目标的标注框的位置坐标。

S404、根据位置坐标，在待标注图像上绘制标注框，以得到标注图像。

本实施例中，每个独立图像上仅有一个目标，待标注图像上包括所有目标。将每个独立图像中目标的标注框的位置坐标，确定为待标注图像上该目标的标注框的位置坐标。这样确定出待标注图像上每个目标的标注框的位置坐标，进而绘制出各目标的标注框。

在一些应用场景中，待标注图像上包括多个目标，目标之间存在相互遮挡。在要求绘制的标注框包含目标被遮挡部分时，可以采用本实施例中的方式。即，将各目标的三维模型分别配置于三维环境模型中的相应位置，得到每个目标对应于一个第二场景模型，进而得到仅包含单个目标的独立图像以及分割图，确定出目标在独立图像上的标注框位置。再将每个独立图像上目标的标注框位置确定为待标注图像上每个目标的位置，从而使得即使目标被部分遮挡的情况下，也能绘制出包含目标全部部分的标注框。

下面通过一个对街道上行人进行标注的示例进行说明。图5A为包含街道上行人的待标注图像，图5B为图5A的分割图，图5C为根据图5B对图5A进行标注得到的标注图像。该示例中，目标为行人，街道为背景。有的行人的身体部分被其他行人所遮挡，而要求绘制的标注框中包含行人被遮挡的部分。按照图4实施例的方式，可以将每个行人与街道单独生成一张独立图像，确定独立图像中该行人的标注框位置，然后按照各独立图像中每个行人的标注框位置在待标注图像上绘制各行人的标注框。

图6为本申请另一实施例提供的图像标注方法的流程示意图。在上述任一实施例的基础上，本实施例中目标为多个。如图6所示，该方法包括：

S601、根据目标的三维模型，生成待标注图像和待标注图像的分割图，待标注图像中包含目标，分割图中包含待标注图像上目标所在区域的区域信息。

S602、根据区域信息，确定待标注图像上目标的标注框的位置坐标。

S603、根据位置坐标，在待标注图像上绘制标注框。

S604、确定第一指定目标的标注框的指定边界线上，第一指定目标所占长度，在指定边界线总长度中所占的比例。其中，第一指定目标为，标注框与其他目标的标注框存在重合的目标。

S605、根据比例，调整第一指定目标的标注框的大小，以得到标注图像。

本实施例中，指定边界线可以根据实际需求确定，在此不作限定。例如，标注框为矩形，指定边界线可以是矩形的左边界线、右边界线以及底部边界线，或者，也可以为矩形的左边界线和右边界线。在待标注图像上绘制出标注框后，可以确定所有目标中的第一指定目标。然后针对性地调整每个第一指定目标的标注框。具体地，对于某第一指定目标，可以计算其标注框的指定边界线上，该第一指定目标所占的长度在该指定边界线总长度中所占的比例。根据比例，调整该第一指定目标的标注框的大小，以使调整后的标注框符合要求。

可选地，S605可以包括在比例小于预设比例门限时，调小第一指定目标的标注框，直至比例等于或大于预设比例门限，或者直至该第一指定目标的标注框与其他目标的标注框不存在重合。

本实施例中，在一种可能的实现方式中，在比例小于预设比例门限时，调小第一指定目标的标注框，直至比例等于或大于预设比例门限。在另一可能的实现方式中，在比例小于预设比例门限时，调小第一指定目标的标注框，直至该第一指定目标的标注框与其他目标的标注框不存在重合。预设比例门限可以根据实际需求设定，在此不作限定，例如，预设比例门限可以为0.9，0.8等。以0.9为例，在比例小于0.9时，调小第一指定目标的标注框，如缩小标注框的全部或部分边长等，直到比例等于0.9，或者，调小第一指定目标的标注框，直至该第一指定目标的标注框与其他目标的标注框不存在重合。

待标注图像中包括多个目标，目标之间存在相互遮挡，因而绘制出某目标的标注框后，该标注框的边界线上可能存在其他目标的区域，即两个以及两个以上目标的标注框可能存在重合。在要求标注框的边界线较少的包含其他目标的应用场景中，可以采用本实施例中的方式对标注框进一步调整，即根据第一指定目标的标注框的指定边界线上，第一指定目标所占长度，在指定边界线总长度中所占的比例，调整标注框，从而使得标注框的边界线较少的包含其他目标，与其他目标的标注框较少重合或不重合，满足该应用场景的需求。

下面通过一个对冰柜中饮料瓶进行标注的示例进行说明。图7A为包含冰柜中饮料瓶的待标注图像，图7B为图7A的分割图，图7C为根据图7B对图7A进行标注得到的标注图像。该示例中，目标为饮料瓶。要求绘制的标注框中包含饮料瓶的瓶盖以及部分瓶身，每个饮料瓶的标注框上较少的包含其他饮料瓶的区域，与其他饮料瓶的的标注框不重合或者较少重合。可以通过图6实施例的方式，对其中的部分饮料瓶的标注框进行调整，以符合需求。具体地，在该示例中，指定边界线为矩形的左边界线、右边界线以及底部边界线。预设比例门限取为0.95。由于顶部边界线为瓶盖所在区域，因而在调整过程中不会下调顶部边界线，以防止将瓶盖划分到顶部边界线之外，可以通过平移左边界线、右边界线以及底部边界线，调整比例。

作为本申请的一个实施例，在上述任一实施例的基础上，根据区域信息，确定待标注图像上目标的标注框的位置坐标，可以包括：

将至少两个待组合目标确定为组合目标；

根据组合目标的区域信息，确定待标注图像上组合目标的组合标注框的位置坐标。

本实施例中，在某些应用场景中，需要为多个目标绘制同一标注框。其中，待组合目标可以由用户指定。图像标注设备可以根据用户指定的待组合目标的标识，确定至少两个待组合目标，将该至少两个待组合目标确定为组合目标。根据组合目标的区域信息，确定待标注图像上组合目标的组合标注框的位置坐标。对于一个组合目标，作为一个目标进行处理，绘制得到一个标注框。组合目标的组合标注框位置坐标的确定方式，可以采用上述任一实施例中的目标的标注框位置坐标的确定方式，在此不作限定。如图3A-3C的示例中，可以将导线接线头35及其所连接的接线旋钮38确定为组合目标，绘制包含导线接线头35及其所连接的接线旋钮38的组合标注框。

本实施例通过根据组合目标的区域信息，确定待标注图像上组合目标的组合标注框的位置坐标，从而实现对组合标注框的绘制。

在上述任一实施例的基础上，图8为本申请再一实施例提供的图像标注方法的流程示意图。如图8所示，该方法包括：

S801、构建目标的三维模型，以及三维环境模型。

S802、将目标的三维模型配置于三维环境模型中，并通过光线追踪算法生成待标注图像和待标注图像的分割图。

本实施例中，图像标注设备根据包含目标和环境的图像、视频、激光扫描数据等自动构建目标的三维模型和三维环境模型，并将目标的三维模型部署于三维环境模型中，从而得到场景模型。或者，图像标注设备也可以根据用户的控制操作绘制目标的三维模型和三维环境模型，按照用户指示将目标的三维模型部署于三维环境模型中，从而得到场景模型。图像标注设备可以通过光线追踪算法将场景模型映射生成待标注图像和待标注图像的分割图。

S803、根据区域信息，确定待标注图像上目标的标注框的位置坐标。

S804、根据位置坐标，在待标注图像上绘制标注框，以得到标注图像。

S805、将待标注图像与标注图像，组成训练样本。

本实施例中，可以将待标注图像与标注图像构成一个训练样本。通过调整灯光参数、相机参数等，可以由同一场景模型生成多个待标注图像，进而得到多个训练样本，从而极大提高训练样本的生成效率。

下面通过图3A-3C，图5A-5C，图7A-7C三个应用场景，对本申请实施例提供的图像标注方法进行说明。

图9为图3A-3C所示示例的流程示意图。首先构建开关31、滑动变阻器32、电压表33、电流表34、导线接线头35、导线36、灯37等目标的三维模型，以及构建实验台、地面等三维环境模型，将目标的三维模型配置于三维环境模型，得到该应用场景的场景模型。然后配置灯光参数、相机参数、各目标的标识等参数，通过渲染处理得到待标注图像和分割图。该应用场景中的标注框包括方向标注框、轴对称标注框以及组合标注框，按照上述相应实施例的方式确定各标注框的位置坐标并绘制各标注框，得到标注图像。

图10为图5A-5C所示示例的流程示意图。首先构建多个行人的三维模型，以及构建街道、墙壁、草坪等三维环境模型，将所有行人的三维模型配置于三维环境模型，得到该应用场景的场景模型。并配置灯光参数、相机参数、各目标的标识等参数，通过渲染处理得到待标注图像。并且对于每个行人，将该行人单独配置于三维环境模型，得到该行人的独立图像及分割图，根据分割图确定独立图像中该行人的标注框。将各行人的标注框绘制到待标注图像中的相应位置，从而得到标注图像。该应用场景中的标注框包括轴对称标注框，要求标注框中包含行人被遮挡的部分，因而按照上述方式可以确定各标注框的位置坐标并绘制各标注框，得到标注图像。

图11为图7A-7C所示示例的流程示意图。首先构建多个饮料瓶的三维模型，以及构建冰柜的三维环境模型，将多个饮料瓶的三维模型配置于三维环境模型，得到该应用场景的场景模型。然后配置灯光参数、相机参数、目标的标识等参数，通过渲染处理得到待标注图像和分割图。该应用场景中的标注框包括方向标注框，要求一个饮料瓶标注框的边界线上较少存在其他饮料瓶的瓶身。本示例中将每个饮料瓶的瓶盖中心和瓶底中心作为指定位置点，映射到待标注图像上，从而确定每个饮料瓶标注框的主轴。然后根据主轴和分割图确定每个饮料瓶的标注框，并在确定标注框后，根据标注框的左边界线、右边界线、底部边界线上该饮料瓶所占长度，在边界线总长度中所占的比例调整标注框的大小，从而得到标注图像。

图12为本申请一实施例提供的图像标注装置的结构示意图。如图12所示，该图像标注装置120包括：生成模块1201、处理模块1202和绘制模块1203。

生成模块1201，用于根据目标的三维模型，生成待标注图像和待标注图像的分割图，待标注图像中包含目标，分割图中包含待标注图像上目标所在区域的区域信息。

处理模块1202，用于根据区域信息，确定待标注图像上目标的标注框的位置坐标。

绘制模块1203，用于根据位置坐标，在待标注图像上绘制标注框，以得到标注图像。

可选地，标注框包括方向标注框；

处理模块1202，用于：

确定目标的方向标注框的主轴；

根据区域信息和主轴，确定目标的方向标注框的位置坐标，其中，方向标注框的两条边界线平行于主轴，且方向标注框为目标所在区域的最小外接矩形。

可选地，处理模块1202，用于：

将三维模型上两个指定位置点的三维坐标，映射到待标注图像上，以得到与两个位置点对应的两个目标位置点的位置坐标；

将两个目标位置点的连线，确定为主轴。

可选地，处理模块1202，用于：

通过主成分分析算法，对分割图上目标所在区域内的各像素点坐标进行处理，以得到特征向量；

根据特征向量，确定主轴。

可选地，标注框包括轴对齐标注框；

处理模块1202，用于：

获取分割图上目标所在区域内的各像素点的坐标；坐标包括沿分割图高度方向的第一轴坐标值，和沿分割图宽度方向的第二轴坐标值；

确定所有像素点的第一轴坐标值中的最大值和最小值，以及第二轴坐标值中的最大值和最小值；

根据第一轴坐标值中的最大值和最小值，以及第二轴坐标值中的最大值和最小值，确定目标的轴对齐标注框的位置坐标，其中，轴对齐标注框的两条边界线与高度方向平行。

可选地，目标为至少一个，每个目标对应于一个标识以及一个标注框；

处理模块1202，还用于：

针对每个目标，建立该目标的标识与该目标的标注框的关联关系。

可选地，目标为多个，每个目标在三维环境模型中对应一个位置；

生成模块1201，用于：

将各目标的三维模型配置于三维环境模型中的相应位置，以得到第一场景模型，并根据第一场景模型生成包含各目标的待标注图像以及待标注图像的分割图；

处理模块1202，用于：

根据区域信息，确定待标注图像上目标的标注框的位置坐标，包括：

针对每个目标，将该目标的三维模型配置于三维环境模型中的相应位置，以得到第二场景模型，并根据第二模型，生成包含该目标的独立图像以及独立图像的分割图，并根据独立图像的分割图上该目标所在区域的区域信息，确定独立图像上该目标的标注框的位置坐标；

将各独立图像上各目标的标注框的位置坐标，确定为待标注图像上各目标的标注框的位置坐标。

可选地，目标为多个；

处理模块1202，还用于：

确定第一指定目标的标注框的指定边界线上，第一指定目标所占长度，在指定边界线总长度中所占的比例；其中，第一指定目标为，标注框与其他目标的标注框存在重合的目标。

根据比例，调整第一指定目标的标注框的大小。

可选地，处理模块1202，用于：

在比例小于预设比例门限时，调小第一指定目标的标注框，直至比例等于或大于预设比例门限，或者直至第一指定目标的标注框与其他目标的标注框不存在重合。

可选地，目标为多个；标注框包括包括组合标注框；

处理模块1202，用于：

将至少两个待组合目标确定为组合目标；

根据组合目标的区域信息，确定待标注图像上组合目标的组合标注框的位置坐标。

可选地，生成模块1201，用于：

构建目标的三维模型，以及三维环境模型；

将目标的三维模型配置于三维环境模型中，并通过光线追踪算法生成待标注图像和待标注图像的分割图；

处理模块1202，还用于：

将待标注图像与标注图像，组成训练样本。

本申请实施例提供的图像标注装置，可用于执行上述的方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

图13为本申请一实施例提供的图像标注设备的硬件结构示意图。如图13所示，本实施例提供的图像标注设备130包括：至少一个处理器1301和存储器1302。该图像标注设备130还包括通信部件1303。其中，处理器1301、存储器1302以及通信部件1303通过总线1304连接。

在具体实现过程中，至少一个处理器1301执行所述存储器1302存储的计算机执行指令，使得至少一个处理器1301执行如上的图像标注方法。

处理器1301的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述的图13所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上的图像标注方法。

上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种图像标注方法，其特征在于，包括：

根据目标的三维模型，生成待标注图像和所述待标注图像的分割图，所述待标注图像中包含所述目标，所述分割图中包含所述待标注图像上所述目标所在区域的区域信息；

根据所述区域信息，确定所述待标注图像上所述目标的标注框的位置坐标；

根据所述位置坐标，在所述待标注图像上绘制所述标注框，以得到标注图像。

2.根据权利要求1所述的方法，其特征在于，所述标注框包括方向标注框；

根据所述区域信息，确定所述待标注图像上所述目标的标注框的位置坐标，包括：

确定所述目标的方向标注框的主轴；

根据所述区域信息和所述主轴，确定所述目标的方向标注框的位置坐标，其中，所述方向标注框的两条边界线平行于所述主轴，且所述方向标注框为所述目标所在区域的最小外接矩形。

3.根据权利要求2所述的方法，其特征在于，确定所述目标的方向标注框的主轴，包括：

将所述三维模型上两个指定位置点的三维坐标，映射到所述待标注图像上，以得到与所述两个位置点对应的两个目标位置点的位置坐标；

将所述两个目标位置点的连线，确定为所述主轴。

4.根据权利要求2所述的方法，其特征在于，确定所述目标的方向标注框的主轴，包括：

通过主成分分析算法，对所述分割图上所述目标所在区域内的各像素点坐标进行处理，以得到特征向量；

根据所述特征向量，确定所述主轴。

5.根据权利要求2所述的方法，其特征在于，所述标注框包括轴对齐标注框；

根据所述区域信息，确定所述待标注图像上所述目标的标注框的位置坐标，包括：

获取所述分割图上所述目标所在区域内的各像素点的坐标；所述坐标包括沿所述分割图高度方向的第一轴坐标值，和沿所述分割图宽度方向的第二轴坐标值；

确定所有像素点的第一轴坐标值中的最大值和最小值，以及第二轴坐标值中的最大值和最小值；

根据第一轴坐标值中的最大值和最小值，以及第二轴坐标值中的最大值和最小值，确定所述目标的轴对齐标注框的位置坐标，其中，所述轴对齐标注框的两条边界线与所述高度方向平行。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述目标为至少一个，每个目标对应于一个标识以及一个标注框；

所述方法还包括：

针对每个目标，建立该目标的标识与该目标的标注框的关联关系。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述目标为多个，每个目标在三维环境模型中对应一个位置；

根据目标的三维模型，生成待标注图像和所述待标注图像的分割图，包括：

将各目标的三维模型配置于所述三维环境模型中的相应位置，以得到第一场景模型，并根据第一场景模型生成包含各目标的待标注图像以及所述待标注图像的分割图；

根据所述区域信息，确定所述待标注图像上所述目标的标注框的位置坐标，包括：

针对每个目标，将该目标的三维模型配置于三维环境模型中的相应位置，以得到第二场景模型，并根据所述第二模型，生成包含该目标的独立图像以及所述独立图像的分割图，并根据所述独立图像的分割图上该目标所在区域的区域信息，确定所述独立图像上该目标的标注框的位置坐标；

将各独立图像上各目标的标注框的位置坐标，确定为所述待标注图像上各目标的标注框的位置坐标。

8.根据权利要求1-5任一项所述的方法，其特征在于，所述目标为多个；在根据所述位置坐标，在所述待标注图像上绘制标注框之后，所述方法还包括：

确定第一指定目标的标注框的指定边界线上，所述第一指定目标所占长度在所述指定边界线总长度中所占的比例；其中，所述第一指定目标为，标注框与其他目标的标注框存在重合的目标；

根据所述比例，调整所述第一指定目标的标注框的大小。

9.根据权利要求8所述的方法，其特征在于，根据所述比例，调整所述第一指定目标的标注框的大小，包括：

在所述比例小于预设比例门限时，调小所述第一指定目标的标注框，直至所述比例等于或大于所述预设比例门限，或者直至所述第一指定目标的标注框与其他目标的标注框不存在重合。

10.根据权利要求1-5任一项所述的方法，其特征在于，所述目标为多个；所述标注框包括包括组合标注框；

根据所述区域信息，确定所述待标注图像上所述目标的标注框的位置坐标，包括：

将至少两个待组合目标确定为组合目标；

根据所述组合目标的区域信息，确定所述待标注图像上所述组合目标的组合标注框的位置坐标。

11.根据权利要求1-5任一项所述的方法，其特征在于，根据目标的三维模型，生成待标注图像和所述待标注图像的分割图，包括：

构建目标的三维模型，以及三维环境模型；

将所述目标的三维模型配置于所述三维环境模型中，并通过光线追踪算法生成所述待标注图像和所述待标注图像的分割图；

在得到标注图像之后，所述方法还包括：

将所述待标注图像与所述标注图像，组成训练样本。

12.一种图像标注装置，其特征在于，包括：

生成模块，用于根据目标的三维模型，生成待标注图像和所述待标注图像的分割图，所述待标注图像中包含所述目标，所述分割图中包含所述待标注图像上所述目标所在区域的区域信息；

处理模块，用于根据所述区域信息，确定所述待标注图像上所述目标的标注框的位置坐标；

绘制模块，用于根据所述位置坐标，在所述待标注图像上绘制所述标注框，以得到标注图像。

Images