CN110929792B - 图像标注方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了图像标注方法、装置、电子设备及存储介质，该图像标注方法包括：获取待标注图像的特征图、第一位置信息以及第二位置信息，所述第一位置信息包括第一标注点在所述待标注图像上的位置信息，所述第二位置信息包括第二标注点在所述待标注图像上的位置信息；对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点；根据所述多个标注点对所述待标注图像进行标注。

Description

图像标注方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及图像标注方法、装置、电子设备及存储介质。

背景技术

随着人工智能的发展，神经网络应用的范围越来越广泛。例如，使用预先训练好的神经网络对监控视频中的人物识别或者对核磁共振图像中肿瘤识别。

虽然神经网络对图像识别有着不错的表现。但是，神经网络的训练需要有足够高质量的训练数据集。而训练数据集的制作是一个非常高成本的项目，目前对训练数据集的标注大多是人工标注，而人工标注的方式往往需要投入大量时间和人力成本。

发明内容

本申请实施例提供了图像标注方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供一种图像标注方法，包括：

获取待标注图像的特征图、第一位置信息以及第二位置信息，所述第一位置信息包括第一标注点在所述待标注图像上的位置信息，所述第二位置信息包括第二标注点在所述待标注图像上的位置信息；

对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点；

根据所述多个标注点对所述待标注图像进行标注。

在一种可能的实施方式中，所述第一标注点和所述第二标注点是通过神经网络对所述待标注图像进行处理得到的，或所述第一标注点和所述第二标注点为预设的标注点。

在一种可能的实施方式中，在所述第一标注点和所述第二标注点为预设的虚拟标注点的情况下，所述对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点，包括：

对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到输入数据；

将所述输入数据输入到标注模型，得到第一目标位置信息；

根据所述第一目标位置信息得到所述待标注图像上的第一目标标注点，并将所述第一目标标注点作为所述多个标注点中的一个；

使用所述第一目标位置信息替换所述第一位置信息，得到新的第一位置信息；

对所述特征图、所述新的第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的新的第一目标标注点，并将所述新的第一目标标注点作为所述多个标注点中的一个；

在最新的第一目标标注点为所述待标注图像上的最后一个标注点的情况下，得到所述待标注图像上的多个标注点。

在一种可能的实施方式中，所述特征图包括与N个通道对应的N个子特征图，所述N为大于1的整数，所述对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到输入数据，包括：

将所述N个通道上每个通道对应的子特征图与所述标注模型中的第一卷积核进行卷积处理，得到第一卷积结果；

将所述第一位置信息与所述标注模型中的第二卷积核进行卷积处理，得到第二卷积结果；

将所述第二位置信息与所述标注模型中的第三卷积核进行卷积处理，得到第三卷积结果；

对所述每个通道对应的第一卷积结果、第二卷积结果以及第三卷积结果进行加权求和处理，得到所述每个通道对应的第四卷积结果；

将所述每个通道对应的第四卷积结果进行组合，得到输入数据。

在一种可能的实施方式中，所述第一位置信息包括与所述第一标注点对应的坐标矩阵，所述第二位置信息包括与所述第二标注点对应的坐标矩阵；

和/或，所述第一位置信息包括与所述第一标注点的坐标矩阵对应的第一张量，所述第二位置信息包括与所述第二标注点的坐标矩阵对应的第二张量。

在一种可能的实施方式中，标注点的坐标矩阵为所述标注点对应的像素坐标矩阵经多次复制、组合后得到的三维矩阵，所述三维矩阵中每层记载的数据相同。

在一种可能的实施方式中，所述第一张量和所述第二张量包括标志位；所述第一张量的标志位用于标识所述第一标注点为所述待标注图像上的第一个标注点，所述第二张量的标志位用于标识所述第二个标注点为所述待标注图像上的第二个标注点。

在一种可能的实施方式中，在所述第一特征信息包括所述第一张量，且所述第二特征信息包括所述第二张量的情况下，所述将所述N个通道上每个通道对应的子特征图与所述标注模型中的第一卷积核进行卷积处理，得到第一卷积结果，包括：

对所述N个通道上每个通道对应的子特征图进行处理，得到每个通道的第三张量；

对所述每个通道的第三张量添加标志位，得到所述每个通道的目标张量；

将所述每个通道的目标张量与所述第一卷积核进行卷积处理，得到第一卷积结果。

在一种可能的实施方式中，在所述第一位置信息包括所述第一张量，且所述位置信息包括所述第二张量的情况下，所述最新的第一目标标注点的位置信息包括标志位，且所述最新的第一目标标注点的位置信息包括的标志位用于标识所述最新的第一目标标注点为所述待标注图像上的最后一个标注点。

第二方面，本申请实施例提供一种图像标注装置，包括：

获取单元，用于获取待标注图像的特征图、第一位置信息以及第二位置信息，所述第一位置信息包括第一标注点在所述待标注图像上的位置信息，所述第二位置信息包括第二标注点在所述待标注图像上的位置信息；

处理单元，用于对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点；

标注单元，用于根据所述多个标注点对所述待标注图像进行标注。

在一种可能的实施方式中，所述第一标注点和所述第二标注点是通过神经网络对所述待标注图像进行处理得到的，或所述第一标注点和所述第二标注点为预设的标注点。

在一种可能的实施方式中，在所述第一标注点和所述第二标注点为预设的虚拟标注点的情况下，

在对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点方面，所述处理单元，具体用于：

对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到输入数据；

将所述输入数据输入到标注模型，得到第一目标位置信息；

根据所述第一目标位置信息得到所述待标注图像上的第一目标标注点，并将所述第一目标标注点作为所述多个标注点中的一个；

使用所述第一目标位置信息替换所述第一位置信息，得到新的第一位置信息；

对所述特征图、所述新的第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的新的第一目标标注点，并将所述新的第一目标标注点作为所述多个标注点中的一个；

在最新的第一目标标注点为所述待标注图像上的最后一个标注点的情况下，得到所述待标注图像上的多个标注点。

在一种可能的实施方式中，所述特征图包括与N个通道对应的N个子特征图，所述N为大于1的整数，

在对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到输入数据方面，所述处理单元，具体用于：

将所述N个通道上每个通道对应的子特征图与所述标注模型中的第一卷积核进行卷积处理，得到第一卷积结果；

将所述第一位置信息与所述标注模型中的第二卷积核进行卷积处理，得到第二卷积结果；

将所述第二位置信息与所述标注模型中的第三卷积核进行卷积处理，得到第三卷积结果；

对所述每个通道对应的第一卷积结果、第二卷积结果以及第三卷积结果进行加权求和处理，得到所述每个通道对应的第四卷积结果；

将所述每个通道对应的第四卷积结果进行组合，得到输入数据。

在一种可能的实施方式中，所述第一位置信息包括与所述第一标注点对应的坐标矩阵，所述第二位置信息包括与所述第二标注点对应的坐标矩阵；

和/或，所述第一位置信息包括与所述第一标注点的坐标矩阵对应的第一张量，所述第二位置信息包括与所述第二标注点的坐标矩阵对应的第二张量。

在一种可能的实施方式中，标注点的坐标矩阵为所述标注点对应的像素坐标矩阵经多次复制、组合后得到的三维矩阵，所述三维矩阵中每层记载的数据相同。

在一种可能的实施方式中，所述第一张量和所述第二张量包括标志位；

所述第一张量的标志位用于标识所述第一标注点为所述待标注图像上的第一个标注点，所述第二张量的标志位用于标识所述第二个标注点为所述待标注图像上的第二个标注点。

在一种可能的实施方式中，在所述第一特征信息包括所述第一张量，且所述第二特征信息包括所述第二张量的情况下，在将所述N个通道上每个通道对应的子特征图与所述标注模型中的第一卷积核进行卷积处理，得到第一卷积结果方面，所述处理单元，具体用于：

对所述N个通道上每个通道对应的子特征图进行处理，得到每个通道的第三张量；

对所述每个通道的第三张量添加标志位，得到所述每个通道的目标张量；

将所述每个通道的目标张量与所述第一卷积核进行卷积处理，得到第一卷积结果。

在一种可能的实施方式中，在所述第一位置信息包括所述第一张量，且所述位置信息包括所述第二张量的情况下，所述最新的第一目标标注点的位置信息包括标志位，且所述最新的第一目标标注点的位置信息包括的标志位用于标识所述最新的第一目标标注点为所述待标注图像上的最后一个标注点。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如第一方面所述的方法中的步骤的指令。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面所述的方法。

实施本申请实施例，具有如下有益效果：

可以看出，在本申请实施例中，通过对特征图、第一位置信息和第二位置信息的处理，实现对待标注图像进行自动标注，从而节省了人力和物力；另外，对特征图、第一位置信息和第二位置信息进行卷积处理，从而使得到的输入数据在空间上保持了连续性，进而提高标注点预测的精确性，提高标注精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像标注方法的流程示意图；

图2为本申请实施例提供的一种卷积过程的流程示意图；

图3为本申请实施例提供的一种拼接过程的流程示意图；

图4为本申请实施例提供的一种对坐标矩阵编码的示意图

图5为本申请实施例提供的一种图像标注装置的结构示意图；

图6为本申请实施例提供的一种图像标注装置的功能单元组成框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

目标分割可看做是一个多边形预测的任务(polygon prediction)，即预测出图像中目标对象边界上的多个标注点，将多个标注点顺次连接起来，得到目标对象的多边形边界，通过多边形标注的方式从图像中分割目标对象。

在本申请实施例提供的一种实现方式中，在对待标注图像中的目标对象进行标注的过程中，可以先通过卷积网络(ConvolutionalNeuralNetwork,CNN)确定出目标对象边界上的第一个标注点和第二个标注点，将该第一个标注点、第二个标注点以及该目标对象的特征图输入到循环神经网络(Recurrent Neural Network，RNN)，预测出第三个标注点；然后，将第二个标注点、第三个标注点以及该特征图输入到该RNN中，预测出第四个标注点。依次迭代，得到多个标注点；在预测出的最新的标注点为目标对象边界上的最后一个标注点的情况下，结束迭代，将预测出的所有标注点依次连接起来，得到目标对象的多边形边界，从而将目标对象分割出来。

由此可见，通过多边形标注的方式分割目标对象，可以使用卷积网络先确定出两个已知的标注点。故在进行标注的过程中，需要先额外训练一个卷积网络，以用于确定第一个标注点和第二个标注点。

当然，也可以预先按照一定规则或是随机确定两个点(即第一标注点和第二标注点)，并将确定的这两个标注点和特征图输入RNN中，以实现第三标注点(即待标注图像中的第一个标注点)及后续标注点的确定，从而得到多个标注点，并基于多个标注点实现待标注图像的标注，即目标分割。

这样就可以省去预先通过卷积网络确定两个已知的标注点的过程，从而进一步节省标注过程耗费的人力物力。

下面结合附图，对本申请实施例提供的技术方案进行进一步阐述。

图1为本申请实施例提供的一种图像标注方法的流程示意图。该方法可以应用于图像标注装置。该方法可以包括但不限于以下步骤：

101：获取待标注图像的特征图、第一位置信息以及第二位置信息。

其中，待标注图像通常为诸如相机等图像采集设备采集的二维图像，该特征图为待标注图像的特征图。本申请所提及的对待标注图像标注，实质上是对待标注图像中的待标注对象进行标注，该待标注对象为从待标注图像中所框选出。例如，待标注图像中包含车辆、行人、交通信号灯，等等；在框选车辆作为待标注对象的情况下，则需要对车辆进行标注，以将车辆从待标注图像中分割出来。

其中，该第一位置信息包括第一标注点在待标注图像上的位置信息，该第二位置信息包括第二标注点在待标注图像上的位置信息。

可选的，第一标注点和第二标注点可以是待标注图像上的像素点。在一种实现方式中，第一标注点和第二标注点可以是通过CNN对待标注图像进行处理得到的。也就是说使用CNN网络先后确定出属于待标注对象边界上的第一标注点和第二标注点，则第一位置信息和第二位置信息表征第一标注点和第二标注点在待标注对象边界上的位置；另外，第一标注点和第二标注点也可以是从待标注图像上随机选出的两个标注点；还可以是从待标注图像上按照一定的规则选出的两个标注点。例如，从待标注图像中选取像素值差值最小的两个像素点作为上述两个标注点。其中，选出的两个标注点可以是待标注对象边界上的两个标注点，也可以远离待标注对象边界上的两个标注点。本申请对此不做限定。

可选的，第一标注点和第二标注点还可以是预设的两个虚拟标注点。即第一标注点和第二标注点不是待标注图像上的像素点，而是预设的与待标注图像无任何关联的两个标注点。

102：对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点。

可选的，对特征图、第一位置信息以及第二位置信息进行卷积处理，得到输入数据；将输入数据输入到标注模型，得到第一目标位置信息；根据第一目标位置信息得到待标注图像上的第一目标标注点；使用第一目标位置信息替换第一位置信息，即舍弃之前的第一标注点，将之前的第二标注点作为新的第一标注点以及将预测出的第一目标标注点作为新的第二标注点进行卷积处理，得到新的输入数据；将新的输入数据再次输入到标注模型，可得到新的第一目标标注点；依次迭代，直至预测出的最新的第一目标标注点为待标注图像上的最后一个标注点的情况下，得到待标注图像上的多个标注点。

需要说明的是，在第一标注点和第二标注点是待标注对象边界上的两个标注点(包括通过CNN处理得到或者选出)的情况下，则该多个标注点包括第一标注点、第二标注点，以及在迭代循环过程中，预测出的所有第一目标标注点，而且该第一标注点为待标注图像中的第一个标注点；在第一标注点和第二标注点不是待标注对象边界上的两个标注点(包括选出或者预设的虚拟标注点)的情况下，则该多个标注点为在迭代循环过程中，预测出的所有第一目标标注点，则该所有第一目标标注点中第一次预测出的第一目标标注点为待标注图像中的第一个标注点。

进一步地，在最新的第一目标标注点与待标注图像上的第一个标注点的距离小于阈值的情况下，确定最新的第一目标标注点为待标注图像上的最后一个标注点；另外，在第一位置信息和第二位置信息包含标志位的情况下，可通过最新的第一目标位置信息的标志位确定最新的第一目标标注点是否为最后一个标注点。其中，阈值可以根据经验值预先设定，或是依据在先确定的相邻两个标注点之间的距离来确定，或是基于在先确定的每两个相邻标注点之间的距离来确定等。在本申请实施例中，对于阈值的取值、设置时机、设置方式等不予限定，可以包括但不限于上述例举的情况。后面对包含标志位的情况进行详细叙述，在此不做过多的描述。

103：根据所述多个标注点对所述待标注图像进行标注。

图像标注装置可以将多个标注点按照预测出的顺序依次连接，构成多边形边界，从而实现对待标注图像进行标注。

可选的，在使用多个标注点对待标注图像进行标注之前，还可对标注点进行修正(例如，可以通过拖曳标注点等以调整标注点的位置)，并采用修正后的多个标注点对待标注图像进行标注。为了使标注结果更加准确，可以由工作人员来实现标注点的修正，从而通过半自动标注的方式得到既节省人力物力又相对准确的标注过程。

可以看出，在本实施例中，通过对特征图、第一位置信息和第二位置信息进行卷积处理，实现自动对待标注图像进行标注，进而节省了人力物力；另外，通过卷积处理，使得到的输入数据在空间上保持了连续性，尽可能的提高了标注点预测的精确性，提高标注精度；另外，可以使用预设的标注点对待图像进行标注，无需先使用卷积网络确定出两个已知的标注点，简化了网络结构，进而简化标注过程，提高用户体验。

在一种可能的实施方式中，特征图可以包括多个子特征图，每个子特征图可以对应一个通道，即特征图可以包括与N个通道对应的N个子特征图，该特征图是对待标注图像在N个通道上进行处理，每个通道生成一个子特征图，进而得到该N个子特征图，N为大于1的整数。

如图2所示，对特征图、第一位置信息以及第二位置信息进行卷积处理，得到输入数据的过程包括以下步骤：

步骤a：将每个通道对应的子特征图与标注模型中的第一卷积核进行卷积处理，得到第一卷积结果。

其中，图2中以对通道1的子特征图进行卷积处理为例做具体说明，其他通道的子特征图的卷积处理过程与通道1的卷积处理过程相同或相似，不再赘述。

步骤b：将第一位置信息与标注模型中的第二卷积核进行卷积处理，得到第二卷积结果。

由于特征图包括N个通道的子特征图，即该特征图可以是一个三维数据。因此，在第一标注点的第一位置信息为二维数据的情况下，则对每个通道的子特征图进行卷积处理的过程中，随着通道数的加深，可重复利用第一位置信息、第二位置信息进行卷积处理，进而得到与每个通道对应的第二卷积结果和第三卷积结果。

当然，在第一标注点的第一位置信息为二维数据的情况下，可以先对第一位置信息和第二位置信息进行复制，得到分别与第一位置信息、第二位置信息对应的三维数据，该三维数据中每层记载的数据相同。以第一位置信息对应的三维数据为例，那么该三维数据中每层记载的数据相同，同样的，对于第二位置信息对应的三维数据也是如此。因此，在对每个通道进行卷积处理的情况下，可对该通道复制得到的第一位置信息和第二位置信息直接进行卷积处理。

步骤c：将第二位置信息与标注模型中的第三卷积核进行卷积处理，得到第三卷积结果。

对第二位置信息的卷积处理过程与第一位置信息相同或相似，不再叙述。

步骤d：对每个通道对应的第一卷积结果、第二卷积结果以及第三卷积结果进行加权求和处理，得到每个通道对应的第四卷积结果。

步骤e：将每个通道对应的第四卷积结果进行组合，得到输入数据。

最后，将每个通道对应的第四卷积结果进行纵向拼接，得到输入数据。

需要说明的是，每个通道的对应的第一卷积核、第二卷积核、第三卷积核，各自之间可以相同，也可以不同。也就是说，第i个通道所对应的第一卷积核和第j个通道所对应的第一卷积核，可以不同，也可以相同，本申请对此不做限定，其中，i≠j。此外，每个通道所对应的第一卷积核、第二卷积核、第三卷积核相互之间可以相同，也可以不同。仅需保证每个通道对应的第一卷积结果、第二卷积结果、第三卷积结果的维度相同即可。本申请对第一卷积核、第二卷积核以及第三卷积核的具体形式不做限定。

在本实施方式中，在每个通道对应的子特征图、第一位置信息、第二位置信息进行卷积处理，并将卷积结果进行加权处理，从而使每个通道得到的第四卷积结果均包含有特征图的信息、第一位置信息和第二位置信息。因此，拼接后得到的输入数据，从纵向来看输入数据中的每一层所对应的数据类型相同，故该输入数据在空间维度上(纵向)具有连续性，进而在将该输入数据输入到标注模型(循环网络)进行迭代时，可以尽可能准确的预测出下一个标注点，提高标注的精准度。

在一种可能的实施方式中，如图3所示，还可对N个子特征图、第一位置信息、第二位置信息进行纵向拼接，直接得到输入数据，并将输入数据输入到循环网络，得到第一目标标注点。

在本实施方式中，可对特征图、第一位置信息以及第二位置信息直接拼接得到输入数据，无需进行卷积运算，进而提高标注效率。

在一种可能的实现方式中，第一位置信息包括与第一标注点对应的坐标矩阵，第二位置信息包括与第二标注点对应的坐标矩阵；和/或，第一位置信息包括与第一标注点的坐标矩阵对应的第一张量，第二位置信息包括与第二标注点的坐标矩阵对应的第二张量。

可以理解的是，第一位置信息和第二位置信息的信息类型一致，比如，两者可以均为坐标矩阵或者均为张量。

在第一标注点和第二标注点为待标注图像上的像素点的情况下，第一标注点对应的坐标矩阵和第二标注点对应的坐标矩阵，可以通过对待标注图像的像素矩阵进行one-hot编码得到。如图4所示，将像素矩阵中第一标注点和第二标注点所在的位置编码为1，其他位置编码为零，得到与像素矩阵维度相同的与第一标注点对应的像素坐标矩阵，以及与第二标注点对应的像素坐标矩阵。

进一步地，对第一标注点对应的像素坐标矩阵，以及与第二标注点对应的像素坐标矩阵，进行多次复制，组合后得到与第一标注点以及第二标注点对应的坐标矩阵，即三维矩阵。三维矩阵中每层所记载的数据相同，即第一标注点的三维矩阵中每层所记载的数据均为第一标注点的像素坐标矩阵，第二标注点的三维矩阵中每层所记载的数据均为第二标注点的像素坐标矩阵。

另外，在得到第一标注点的像素坐标矩阵以及第二标注点的像素坐标矩阵的情况下，可对像素坐标矩阵进行编码，得到第一标注点的张量以及第二标注点的张量，其中，张量可以为一维张量，也可以为多维张量，本申请中以一维张量为例做具体说明，但不对此做限定。

例如，可以将二维矩阵各行进行首尾拼接，得到与二维矩阵对应的一维张量。例如，对图4中第一标注点的坐标矩阵进行编码，得到一维张量：[0 0 0 0 0 0 1 0 0 0 0 00 0 0 0]。

同样，对标注点的张量进行多次复制，组合得到第一标注点的第一张量(宽度为1的三维矩阵)和第二标注点的第二张量(宽度为1的三维矩阵)。

在第一标注点和第二标注点为预设的标注点的情况下，由于标注点往往不是待标注图像上的像素点，故可将第一标注点和第二标注点的坐标矩阵设定为维度与像素矩阵维度相同的全0矩阵。同样，对第一标注点和第二标注点的坐标矩阵(全0矩阵)进行编码，得到第一标注点和第二标注点的张量。

需要说明的是，图2示出了第一位置信息和第二位置信息为三维矩阵时的卷积处理过程。但是，在第一位置信息和第二位置信息为三维矩阵的情况下，为了对各个卷积结果进行加权。因此，需要对每个通道的子特征图进行张量转化，得到每个通道的第三张量。然后，对每个通道对应的第一张量、第二张量和第三张量分别进行卷积处理，其卷积过程与图2相同或相似，不再叙述。

在一种可能的实现方式中，在使用张量进行卷积的情况下，可对该张量添加标志位，通过标志位标识标注点在待标注图像上的标注顺序。

下面以添加三个标志位为例做具体说明，但不限定标志位的维度，也就意味着，还可以通过添加多于或是少于3的标志位，来实现对标注点标注顺序的标识。

第一标注点的标志位用于标识第一标注点为待标注图像上的第一个标注点，第二标注点的标志位用于标识第二标注点为待标注图像上的第二个标注点。

举例来说，标志位[1 0 0]标识标注点为待标注图像上的第一个标注点，标志位[01 0]标识标注点为待标注图像上的第二个标注点，标志位[0 0 1]标识标注点为待标注图像上的最后一个标注点。因此，如图2所示，在第一标注点为待标注图像上的第一标注点的情况下，则第一标注点的张量为[0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0]。然后，对第一标注点的张量[0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0]进行多次复制，组合得到第一标注点的第一位置信息

进一步地，由于第一位置信息和第二位置信息包含有标志位。因此，在将每个通道对应的子特征图转化为第三张量后，还需要对每个通道的第三张量添加标志位，得到每个通道的目标张量。由于子特征图不是待标注图像上的标注点，故可对第三张量添加[0 0 0]的标志位，得到每个通道的目标张量。

可以理解的是，在第一张量、第二张量、第三张量均包含有标志位的情况下，则输出的第一目标位置信息中也包含有标志位。也就是说，上述的标注模型可以为多任务网络模型，在预测下一个标注点位置信息的情况下，同时预测下一个标注点是否为最后一个标注点，即预测下一个标注点的位置信息中每个标志位为1的概率。因此，解析最新的第一目标位置信息中的标志位，在该标志位满足条件的情况下，也就是标志位为[0 0 1]的情况下，确定该最新的第一目标位置信息对应的最新的第一目标标注点为待标注图像上的最后一个标注点。

在本实施方式中，通过添加标志位的方式，进行迭代停止判断，从而可以快速、准确的确定出最后一个标注点，进而提高标注效率和精度。

图5为本申请实施例提供的一种图像标注装置500的结构示意图。如图5所示，图像标注装置500包括处理器、存储器、通信接口以及一个或多个程序，其中，且上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：

获取待标注图像的特征图、第一位置信息以及第二位置信息，所述第一位置信息包括第一标注点在所述待标注图像上的位置信息，所述第二位置信息包括第二标注点在所述待标注图像上的位置信息；

对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点；

根据所述多个标注点对所述待标注图像进行标注。

在一种可能的实施方式中，所述第一标注点和所述第二标注点是通过神经网络对所述待标注图像进行处理得到的，或所述第一标注点和所述第二标注点为预设的标注点。

在一种可能的实施方式中，在所述第一标注点和所述第二标注点为预设的虚拟标注点的情况下，在对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点方面，上述程序具体用于执行以下步骤的指令：

对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到输入数据；

将所述输入数据输入到标注模型，得到第一目标位置信息；

根据所述第一目标位置信息得到所述待标注图像上的第一目标标注点，并将所述第一目标标注点作为所述多个标注点中的一个；

使用所述第一目标位置信息替换所述第一位置信息，得到新的第一位置信息；

对所述特征图、所述新的第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的新的第一目标标注点，并将所述新的第一目标标注点作为所述多个标注点中的一个；

在最新的第一目标标注点为所述待标注图像上的最后一个标注点的情况下，得到所述待标注图像上的多个标注点

在一种可能的实施方式中，所述特征图包括与N个通道对应的N个子特征图，所述N为大于1的整数，在对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到输入数据方面，上述程序具体用于执行以下步骤的指令：

将所述N个通道上每个通道对应的子特征图与所述标注模型中的第一卷积核进行卷积处理，得到第一卷积结果；

将所述第一位置信息与所述标注模型中的第二卷积核进行卷积处理，得到第二卷积结果；

将所述第二位置信息与所述标注模型中的第三卷积核进行卷积处理，得到第三卷积结果；

对所述每个通道对应的第一卷积结果、第二卷积结果以及第三卷积结果进行加权求和处理，得到所述每个通道对应的第四卷积结果；

将所述每个通道对应的第四卷积结果进行组合，得到输入数据。

在一种可能的实施方式中，所述第一位置信息包括与所述第一标注点对应的坐标矩阵，所述第二位置信息包括与所述第二标注点对应的坐标矩阵；

和/或，所述第一位置信息包括与所述第一标注点的坐标矩阵对应的第一张量，所述第二位置信息包括与所述第二标注点的坐标矩阵对应的第二张量。

在一种可能的实施方式中，标注点的坐标矩阵为所述标注点对应的像素坐标矩阵经多次复制、组合后得到的三维矩阵，所述三维矩阵中每层记载的数据相同。

在一种可能的实施方式中，所述第一张量和所述第二张量包括标志位；所述第一张量的标志位用于标识所述第一标注点为所述待标注图像上的第一个标注点，所述第二张量的标志位用于标识所述第二个标注点为所述待标注图像上的第二个标注点。

在一种可能的实施方式中，在所述第一特征信息包括所述第一张量，且所述第二特征信息包括所述第二张量的情况下，在将所述N个通道上每个通道对应的子特征图与所述标注模型中的第一卷积核进行卷积处理，得到第一卷积结果方面，上述程序具体用于执行以下步骤的指令：

对所述N个通道上每个通道对应的子特征图进行处理，得到每个通道的第三张量；

对所述每个通道的第三张量添加标志位，得到所述每个通道的目标张量；

将所述每个通道的目标张量与所述第一卷积核进行卷积处理，得到第一卷积结果。

在一种可能的实施方式中，在所述第一位置信息包括所述第一张量，且所述位置信息包括所述第二张量的情况下，所述最新的第一目标标注点的位置信息包括标志位，且所述最新的第一目标标注点的位置信息包括的标志位用于标识所述最新的第一目标标注点为所述待标注图像上的最后一个标注点。

图6为本申请实施例提供的一种图像标注装置600的功能单元组成框图。图像标注装置600包括：获取单元610、处理单元620和标注单元630，其中：

获取单元610，用于获取待标注图像的特征图、第一位置信息以及第二位置信息，所述第一位置信息包括第一标注点在所述待标注图像上的位置信息，所述第二位置信息包括第二标注点在所述待标注图像上的位置信息；

处理单元620，用于对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点；

标注单元630，用于根据所述多个标注点对所述待标注图像进行标注。

在一种可能的实施方式中，所述第一标注点和所述第二标注点是通过神经网络对所述待标注图像进行处理得到的，或所述第一标注点和所述第二标注点为预设的标注点。

在一种可能的实施方式中，在所述第一标注点和所述第二标注点为预设的虚拟标注点的情况下，

在对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点方面，处理单元620，具体用于：

对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到输入数据；

将所述输入数据输入到标注模型，得到第一目标位置信息；

根据所述第一目标位置信息得到所述待标注图像上的第一目标标注点，并将所述第一目标标注点作为所述多个标注点中的一个；

使用所述第一目标位置信息替换所述第一位置信息，得到新的第一位置信息；

对所述特征图、所述新的第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的新的第一目标标注点，并将所述新的第一目标标注点作为所述多个标注点中的一个；

在最新的第一目标标注点为所述待标注图像上的最后一个标注点的情况下，得到所述待标注图像上的多个标注点。

在一种可能的实施方式中，所述特征图包括与N个通道对应的N个子特征图，所述N为大于1的整数，

在对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到输入数据方面，处理单元620，具体用于：

将所述N个通道上每个通道对应的子特征图与所述标注模型中的第一卷积核进行卷积处理，得到第一卷积结果；

将所述第一位置信息与所述标注模型中的第二卷积核进行卷积处理，得到第二卷积结果；

将所述第二位置信息与所述标注模型中的第三卷积核进行卷积处理，得到第三卷积结果；

对所述每个通道对应的第一卷积结果、第二卷积结果以及第三卷积结果进行加权求和处理，得到所述每个通道对应的第四卷积结果；

将所述每个通道对应的第四卷积结果进行组合，得到输入数据。

在一种可能的实施方式中，所述第一位置信息包括与所述第一标注点对应的坐标矩阵，所述第二位置信息包括与所述第二标注点对应的坐标矩阵；

和/或，所述第一位置信息包括与所述第一标注点的坐标矩阵对应的第一张量，所述第二位置信息包括与所述第二标注点的坐标矩阵对应的第二张量。

在一种可能的实施方式中，标注点的坐标矩阵为所述标注点对应的像素坐标矩阵经多次复制、组合后得到的三维矩阵，所述三维矩阵中每层记载的数据相同。

在一种可能的实施方式中，所述第一张量和所述第二张量包括标志位；所述第一张量的标志位用于标识所述第一标注点为所述待标注图像上的第一个标注点，所述第二张量的标志位用于标识所述第二个标注点为所述待标注图像上的第二个标注点。

在一种可能的实施方式中，在所述第一特征信息包括所述第一张量，且所述第二特征信息包括所述第二张量的情况下，在将所述N个通道上每个通道对应的子特征图与所述标注模型中的第一卷积核进行卷积处理，得到第一卷积结果方面，处理单元620，具体用于：

对所述N个通道上每个通道对应的子特征图进行处理，得到每个通道的第三张量；

对所述每个通道的第三张量添加标志位，得到所述每个通道的目标张量；

将所述每个通道的目标张量与所述第一卷积核进行卷积处理，得到第一卷积结果。

在一种可能的实施方式中，在所述第一位置信息包括所述第一张量，且所述位置信息包括所述第二张量的情况下，所述最新的第一目标标注点的位置信息包括标志位，且所述最新的第一目标标注点的位置信息包括的标志位用于标识所述最新的第一目标标注点为所述待标注图像上的最后一个标注点。

本申请实施例还提供一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种图像标注方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种图像标注方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种图像标注方法，其特征在于，包括：

获取待标注图像的特征图、第一位置信息以及第二位置信息，所述第一位置信息包括第一标注点在所述待标注图像上的位置信息，所述第二位置信息包括第二标注点在所述待标注图像上的位置信息，其中，所述第一标注点和所述第二标注点为预设的虚拟标注点；

对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点；所述特征图包括与N个通道对应的N个子特征图，包括：将所述N个通道上每个通道对应的子特征图与标注模型中的第一卷积核进行卷积处理，得到第一卷积结果；将所述第一位置信息与所述标注模型中的第二卷积核进行卷积处理，得到第二卷积结果；将所述第二位置信息与所述标注模型中的第三卷积核进行卷积处理，得到第三卷积结果；对所述每个通道对应的第一卷积结果、第二卷积结果以及第三卷积结果进行加权求和处理，得到所述每个通道对应的第四卷积结果；将所述每个通道对应的第四卷积结果进行组合，得到输入数据；将所述输入数据输入到标注模型，得到所述多个标注点；包括：

将所述输入数据输入到标注模型，得到第一目标位置信息；根据所述第一目标位置信息得到所述待标注图像上的第一目标标注点，并将所述第一目标标注点作为所述多个标注点中的一个；使用所述第一目标位置信息替换所述第一位置信息，得到新的第一位置信息；对所述特征图、所述新的第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的新的第一目标标注点，并将所述新的第一目标标注点作为所述多个标注点中的一个；在最新的第一目标标注点为所述待标注图像上的最后一个标注点的情况下，得到所述待标注图像上的多个标注点；

根据所述多个标注点对所述待标注图像进行标注。

2.根据权利要求1所述的方法，其特征在于，

所述第一位置信息包括与所述第一标注点对应的坐标矩阵，所述第二位置信息包括与所述第二标注点对应的坐标矩阵；

和/或，所述第一位置信息包括与所述第一标注点的坐标矩阵对应的第一张量，所述第二位置信息包括与所述第二标注点的坐标矩阵对应的第二张量。

3.根据权利要求2所述的方法，其特征在于，标注点的坐标矩阵为所述标注点对应的像素坐标矩阵经多次复制、组合后得到的三维矩阵，所述三维矩阵中每层记载的数据相同。

4.根据权利要求3所述的方法，其特征在于，

所述第一张量和所述第二张量包括标志位；

所述第一张量的标志位用于标识所述第一标注点为所述待标注图像上的第一个标注点，所述第二张量的标志位用于标识所述第二标注点为所述待标注图像上的第二个标注点。

5.根据权利要求4所述的方法，其特征在于，在所述第一位置信息包括所述第一张量，且所述第二位置信息包括所述第二张量的情况下，所述将所述N个通道上每个通道对应的子特征图与标注模型中的第一卷积核进行卷积处理，得到第一卷积结果，包括：

对所述N个通道上每个通道对应的子特征图进行处理，得到每个通道的第三张量；

对所述每个通道的第三张量添加标志位，得到所述每个通道的目标张量；

将所述每个通道的目标张量与所述第一卷积核进行卷积处理，得到第一卷积结果。

6.根据权利要求4或5所述的方法，其特征在于，在所述第一位置信息包括所述第一张量，且所述位置信息包括所述第二张量的情况下，所述最新的第一目标标注点的位置信息包括标志位，且所述最新的第一目标标注点的位置信息包括的标志位用于标识所述最新的第一目标标注点为所述待标注图像上的最后一个标注点。

7.一种图像标注装置，其特征在于，包括：

获取单元，用于获取待标注图像的特征图、第一位置信息以及第二位置信息，所述第一位置信息包括第一标注点在所述待标注图像上的位置信息，所述第二位置信息包括第二标注点在所述待标注图像上的位置信息，其中，所述第一标注点和所述第二标注点为预设的虚拟标注点；

处理单元，用于对所述特征图、所述第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的多个标注点；所述特征图包括与N个通道对应的N个子特征图，包括：将所述N个通道上每个通道对应的子特征图与标注模型中的第一卷积核进行卷积处理，得到第一卷积结果；将所述第一位置信息与所述标注模型中的第二卷积核进行卷积处理，得到第二卷积结果；将所述第二位置信息与所述标注模型中的第三卷积核进行卷积处理，得到第三卷积结果；对所述每个通道对应的第一卷积结果、第二卷积结果以及第三卷积结果进行加权求和处理，得到所述每个通道对应的第四卷积结果；将所述每个通道对应的第四卷积结果进行组合，得到输入数据；将所述输入数据输入到标注模型，得到所述多个标注点；包括：

将所述输入数据输入到标注模型，得到第一目标位置信息；根据所述第一目标位置信息得到所述待标注图像上的第一目标标注点，并将所述第一目标标注点作为所述多个标注点中的一个；使用所述第一目标位置信息替换所述第一位置信息，得到新的第一位置信息；对所述特征图、所述新的第一位置信息以及所述第二位置信息进行卷积处理，得到所述待标注图像上的新的第一目标标注点，并将所述新的第一目标标注点作为所述多个标注点中的一个；在最新的第一目标标注点为所述待标注图像上的最后一个标注点的情况下，得到所述待标注图像上的多个标注点；

标注单元，用于根据所述多个标注点对所述待标注图像进行标注。

8.根据权利要求7所述的装置，其特征在于，

所述第一位置信息包括与所述第一标注点对应的坐标矩阵，所述第二位置信息包括与所述第二标注点对应的坐标矩阵；

和/或，所述第一位置信息包括与所述第一标注点的坐标矩阵对应的第一张量，所述第二位置信息包括与所述第二标注点的坐标矩阵对应的第二张量。

9.根据权利要求8所述的装置，其特征在于，标注点的坐标矩阵为所述标注点对应的像素坐标矩阵经多次复制、组合后得到的三维矩阵，所述三维矩阵中每层记载的数据相同。

10.根据权利要求9所述的装置，其特征在于，

所述第一张量和所述第二张量包括标志位；

所述第一张量的标志位用于标识所述第一标注点为所述待标注图像上的第一个标注点，所述第二张量的标志位用于标识所述第二标注点为所述待标注图像上的第二个标注点。

11.根据权利要求10所述的装置，其特征在于，在所述第一位置信息包括所述第一张量，且所述第二位置信息包括所述第二张量的情况下，在将所述N个通道上每个通道对应的子特征图与标注模型中的第一卷积核进行卷积处理，得到第一卷积结果方面，所述处理单元，具体用于：

对所述N个通道上每个通道对应的子特征图进行处理，得到每个通道的第三张量；

对所述每个通道的第三张量添加标志位，得到所述每个通道的目标张量；

将所述每个通道的目标张量与所述第一卷积核进行卷积处理，得到第一卷积结果。

12.根据权利要求10或11所述的装置，其特征在于，在所述第一位置信息包括所述第一张量，且所述位置信息包括所述第二张量的情况下，所述最新的第一目标标注点的位置信息包括标志位，且所述最新的第一目标标注点的位置信息包括的标志位用于标识所述最新的第一目标标注点为所述待标注图像上的最后一个标注点。

13.一种电子设备，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-6任一项方法中的步骤的指令。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-6任一项所述的方法。