CN113963146A - 图片标注方法及装置 - Google Patents

Abstract

本申请公开了一种图片标注方法及装置，属于数据标注领域。所述方法包括：对于图片序列中待标注的第一图片，获取第一图片之前的第二图片的标注结果；确定该标注结果中的标注目标在第一图片之前的N张图片中的位置，根据标注目标在N张图片中的位置，确定标注目标的位置变化规律；根据标注目标的位置变化规律，确定标注目标在第一图片中的预测位置，然后可以根据该预测位置辅助对第一图标中的标注目标进行标注。如此，提高了标注效率和准确率，且算法更为简单，更加适应于实时预测场景，且对硬件资源要求较低。

Description

图片标注方法及装置

技术领域

本申请涉及数据标注领域，特别涉及一种图片标注方法及装置。

背景技术

在机器学习领域，为了得到与图像识别相关的训练数据，需要事先对一些图片序列进行标注，然后将图片序列中的每张图片以及对应的标注结果作为训练数据。示例的，标注结果可以包括标注目标的位置、类型或颜色等。标注目标为预先指定的需要进行标注的目标，如人或车等。

相关技术中，为了提高图片标注效率，在对图片序列进行标注时，对于图片序列中待标注的每张图片，可以通过目标检测模型来对每张图片进行目标检测，以识别得到每张图片中标注目标的位置，然后根据识别到的位置，在图片中的对应位置绘制标注目标的目标框，并为该标注目标添加目标标识、类型或颜色等标注信息，以对图片中标注目标进行标注。

但是，由于目标检测模型的算法复杂，因此利用目标检测模型的识别结果进行标注的耗时较久，且对硬件环境的要求较高，具有一定的局限性。

发明内容

本申请提供了一种图片标注方法及装置，可以解决相关技术存在的利用目标检测模型的识别结果进行标注的耗时较久，且对硬件环境的要求较高，具有一定的局限性的问题。所述技术方案如下：

一方面，提供了一种图片标注方法，所述方法包括：

对于图片序列中待标注的第一图片，获取位于所述第一图片之前的第二图片的标注结果，所述标注结果包括所述第二图片中存在的标注目标的位置；

确定所述标注目标在位于所述第一图片之前的N张图片中的位置，根据所述标注目标在所述N张图片中的位置，确定所述标注目标的位置变化规律，所述N为大于1的整数；

根据所述标注目标的位置变化规律，确定所述标注目标在所述第一图片中的预测位置；

基于所述预测位置，对所述第一图标进行标注。

可选地，所述标注目标包括M个目标，所述M为正整数；

所述根据所述标注目标在所述N张图片中的位置，确定所述标注目标的位置变化规律，包括：

对于所述M个目标中的第一目标，对所述第一目标在所述N张图片中的位置坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的位置坐标为因变量的线性回归方程，所述第一目标为所述M个目标中的任一个；

所述根据所述标注目标的位置变化规律，确定所述标注目标在所述第一图片中的预测位置，包括：

根据所述第一图片在所述图片序列中的排序，通过所述线性回归方程，确定所述第一目标在所述第一图片中的预测位置坐标。

可选地，所述确定所述标注目标在位于所述第一图片之前的N张图片中的位置，包括：

确定所述第一目标在所述N张图片中的目标框的位置，得到与所述N张图片一一对应的N个目标框的位置坐标；

所述对所述第一目标在所述N张图片中的位置坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的位置坐标为因变量的线性回归方程，包括：

对与所述N张图片一一对应的N个目标框的位置坐标进行线性拟合，得到所述线性回归方程。

可选地，所述N个目标框中的每个目标框的位置坐标包括每个目标框的第一顶点坐标和第二顶点坐标；

所述对与所述N张图片一一对应的N个目标框的位置坐标进行线性拟合，得到所述线性回归方程，包括：

对与所述N张图片一一对应的N个目标框的第一顶点坐标的X轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第一顶点的X轴坐标为因变量的第一线性回归方程；

对与所述N张图片一一对应的N个目标框的第一顶点坐标的Y轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第一顶点的Y轴坐标为因变量的第二线性回归方程；

对与所述N张图片一一对应的N个目标框的第二顶点坐标的X轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第二顶点的X轴坐标为因变量的第三线性回归方程；

对与所述N张图片一一对应的N个目标框的第二顶点坐标的Y轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第二顶点的Y轴坐标为因变量的第四线性回归方程。

可选地，所述根据所述第一图片在所述图片序列中的排序，通过所述线性回归方程，确定所述第一目标在所述第一图片中的预测位置坐标，包括：

根据所述第一图片在所述图片序列中的排序，分别通过所述第一线性回归方程、所述第二线性回归方程、所述第三线性回归方程以及所述第四线性回归方程，确定所述第一图片中所述第一目标的目标框的第一顶点的预测X轴坐标和预测Y轴坐标，以及所述第一目标的目标框的第二顶点的预测X轴坐标和Y轴坐标。

可选地，所述基于所述预测位置，对所述第一图标进行标注，包括：

基于所述预测位置，对所述预测位置中存在的标注目标进行标注；

或者，

在所述第一图片中对所述预测位置进行突出显示，以提醒标注人员对所述预测位置中存在的标注目标进行标注。

可选地，所述标注目标在所述第一图片中的预测位置包括所述标注目标的目标框的预测位置坐标；

所述在所述第一图片中对所述预测位置进行突出显示，包括：

根据所述预测位置坐标，在所述第一图片中绘制所述标注目标的目标框。

可选地，所述在所述第一图片中绘制所述标注目标的目标框之后，还包括：

根据所述第二图片的标注结果中包括的所述标注目标的目标标识，为所述第一图片中存在的所述标注目标添加目标标识。

可选地，所述确定所述标注目标在位于所述第一图片之前的N张图片中的位置之前，还包括：

若检测到所述标注目标在N-1张图片中连续出现，则执行确定所述标注目标在位于所述第一图片之前的N张图片中的位置的步骤，所述N张图片为所述N张图片中除所述第二图片之外的其他图片；

若检测到所述标注目标在N-1张图片中未连续出现，则不对所述第一图片进行辅助标注。

另一方面，提供了一种图片标注装置，所述装置包括：

获取模块，用于对于图片序列中待标注的第一图片，获取位于所述第一图片之前的第二图片的标注结果，所述标注结果包括所述第二图片中存在的标注目标的位置；

第一确定模块，用于确定所述标注目标在位于所述第一图片之前的N张图片中的位置，根据所述标注目标在所述N张图片中的位置，确定所述标注目标的位置变化规律，所述N为大于1的整数；

第二确定模块，用于根据所述标注目标的位置变化规律，确定所述标注目标在所述第一图片中的预测位置；

标注模块，用于基于所述预测位置，对所述第一图标进行标注。

可选地，所述标注目标包括M个目标，所述M为正整数；

所述第一确定模块用于：

对于所述M个目标中的第一目标，对所述第一目标在所述N张图片中的位置坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的位置坐标为因变量的线性回归方程，所述第一目标为所述M个目标中的任一个；

所述第二确定模块用于：

根据所述第一图片在所述图片序列中的排序，通过所述线性回归方程，确定所述第一目标在所述第一图片中的预测位置坐标。

可选地，所述第一确定模块用于：

确定所述第一目标在所述N张图片中的目标框的位置，得到与所述N张图片一一对应的N个目标框的位置坐标；

对与所述N张图片一一对应的N个目标框的位置坐标进行线性拟合，得到所述线性回归方程。

可选地，所述N个目标框中的每个目标框的位置坐标包括每个目标框的第一顶点坐标和第二顶点坐标；

所述第一确定模块用于：

对与所述N张图片一一对应的N个目标框的第一顶点坐标的X轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第一顶点的X轴坐标为因变量的第一线性回归方程；

对与所述N张图片一一对应的N个目标框的第一顶点坐标的Y轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第一顶点的Y轴坐标为因变量的第二线性回归方程；

对与所述N张图片一一对应的N个目标框的第二顶点坐标的X轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第二顶点的X轴坐标为因变量的第三线性回归方程；

对与所述N张图片一一对应的N个目标框的第二顶点坐标的Y轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第二顶点的Y轴坐标为因变量的第四线性回归方程。

可选地，所述第二确定模块用于：

根据所述第一图片在所述图片序列中的排序，分别通过所述第一线性回归方程、所述第二线性回归方程、所述第三线性回归方程以及所述第四线性回归方程，确定所述第一图片中所述第一目标的目标框的第一顶点的预测X轴坐标和预测Y轴坐标，以及所述第一目标的目标框的第二顶点的预测X轴坐标和Y轴坐标。

可选地，所述标注模块包括：

标注单元，用于基于所述预测位置，对所述预测位置中存在的标注目标进行标注；

或者，

显示单元，用于在所述第一图片中对所述预测位置进行突出显示，以提醒标注人员对所述预测位置中存在的标注目标进行标注。

可选地，所述标注目标在所述第一图片中的预测位置包括所述标注目标的目标框的预测位置坐标；

所述显示单元用于：

根据所述预测位置坐标，在所述第一图片中绘制所述标注目标的目标框。

可选地，所述标注模块还用于：

根据所述第二图片的标注结果中包括的所述标注目标的目标标识，为所述第一图片中存在的所述标注目标添加目标标识。

可选地，所述装置还包括：

第一触发模块，用于若检测到所述标注目标在N-1张图片中连续出现，则触发第一确定模块确定所述标注目标在位于所述第一图片之前的N张图片中的位置的步骤，所述N张图片为所述N张图片中除所述第二图片之外的其他图片；

第二触发模块，用于若检测到所述标注目标在N-1张图片中未连续出现，则不对所述第一图片进行辅助标注。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现上述所述任一种图片标注方法的步骤。

另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述任一种图片标注方法的步骤。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的图片标注方法的步骤。

本申请提供的技术方案至少可以带来以下有益效果：

在对图片序列进行标注时，对于其中待标注的图片，可以先获取该图片的前一张图片的标注结果，然后根据该标注目标在当前图片的前N张图片中的位置，确定标注目标的位置变化规律，以此预测该标注目标在第一图片中的位置，然后基于预测位置辅助对第一图片中的标注目标进行标注，如此可以提高标注效率和标注准确率。而且，这种标注算法相比于目标检测算法更为简单，算法耗时较短，更加适应于实时预测场景，且对硬件资源要求较低，所需的部署环境成本较低。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图片标注方法的流程图；

图2是本申请实施例提供的另一种图片标注方法的流程图；

图3是本申请实施例提供的一种图片标注装置的结构示意图；

图4是本申请实施例提供的一种计算机设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请进行详细说明之前，先对本申请的应用场景进行介绍。

本申请实施例提供的图片标注方法应用于对图片序列进行标注的场景中。示例的，可以在标注人员进行人工标注的过程中，辅助标注人员进行标注，以减少标注人员的重复劳动，加快标注速度，以及降低目标漏标的风险，提高标注准确率。

比如，在标注人员对某张图片进行标注之前，可以先通过本申请提供的图片标注方法预测出当前图片中待标注的标注目标的位置，并对预测的位置进行突出显示，提醒标注人员查看突出显示的标注目标是否为真实有效的标注目标，以进行人工校验，人工校验通过之后即可对突出显示的标注目标进一步添加其他标注信息。示例的，可以通过该方法预测出当前图片中待标注的标注目标的目标框的位置，并根据预测的位置在当前图片中绘制出该标注目标的目标框。

需要说明的是，待标注的图片序列可以为按序排列的单独的图片，也可以为视频中的视频帧。也即是，本申请提供的方法可以对单独的多张图片进行辅助标注，也可以对视频的视频帧进行辅助标注。

还需要说明的是，由于本申请实施例提供的图片标注方法的算法简单，因此算法耗时较短，更加适应于实时预测场景，而且所需硬件资源较低，所需的部署环境成本较低。比如，本申请实施例提供的图片标注方法所需的硬件资源为普通的CPU即可，不需要GPU。

接下来对本申请实施例提供的图片标注方法进行详细的解释说明。

图1是本申请实施例提供的一种图片标注方法的流程图，该方法应用于计算机设备中，比如应用于计算机设备的CPU中。请参考图1，该方法包括如下步骤：

步骤101：对于图片序列中待标注的第一图片，获取位于第一图片之前的第二图片的标注结果，该标注结果包括第二图片中存在的标注目标的位置。

其中，第二图片为第一图片的前一张图片。在需要对第一图片进行标注时，可以先获取前一张图片的标注结果，根据前一张图片的标注结果，来预测第一图片中待标注目标的位置，辅助对第一目标进行标注。

其中，标注目标为预先设置的需要进行标注的目标，如人或车等。第二图片的标注结果包括第二图片中存在的标注目标的位置，标注目标的位置可以用位置坐标来表示。比如，第二图片的标注结果可以包括第二图片中标注目标的目标框的位置坐标。另外，第二图片的标注结果还可以包括标注目标的目标标识、类型、颜色或尺寸等。目标标识可以为目标名称或目标ID等。

步骤102：确定该标注目标在位于第一图片之前的N张图片中的位置，根据标注目标在该N张图片中的位置，确定标注目标的位置变化规律，N为大于1的整数。

其中，该N张图片为第一图片的前N张图片，N可以预先设置，比如N可以为10或15等。标注目标的位置变化规律可以为能够指示标注目标的位置变化情况的位置变化曲线或线性拟合方程等。

作为一个示例，标注目标可以包括M个目标，M为正整数。也即是，标注目标可以包括1个或多个目标，多个目标的目标类型可以相同，也可以不同。在确定标注目标的位置变化规律时，对于标注目标包括的M个目标中的每个目标，可以确定每个目标在第一图片之前的N张图片中的位置，根据每个目标在这N张图片中的位置，确定每个目标的位置变化规律，以根据每个的位置变化规律，确定每个目标在第一图片中的预测位置。

作为一个示例，对于M个目标中的第一目标，可以对第一目标在N张图片中的位置坐标进行线性拟合，得到以图片排序为自变量、第一目标的位置坐标为因变量的线性回归方程。其中，第一目标为M个目标中的任一个。

比如，若标注目标的位置为标注目标的目标框的位置为例，则对于M个目标中的第一目标，可以先确定第一目标在N张图片中的目标框的位置，得到与所述N张图片一一对应的N个目标框的位置坐标，然后，对与N张图片一一对应的N个目标框的位置坐标进行线性拟合，得到线性回归方程。

作为一个示例，N个目标框中的每个目标框的位置坐标包括每个目标框的第一顶点坐标和第二顶点坐标，其中，第一顶点和第二顶点为不同的顶点，比如，第一顶点为目标框的左上角，第二顶点为目标框的右下角；或者，第一顶点为目标框的右上角，第二顶点为目标框的左下角。

在对目标框的位置坐标进行线性拟合时，可以分别对与N张图片一一对应的N个目标框的第一顶点坐标进行线性拟合，得到以图片排序为自变量、第一目标的目标框的第一顶点的位置坐标为因变量的线性回归方程，以及对与N张图片一一对应的N个目标框的第二顶点坐标进行线性拟合，得到以图片排序为自变量、第一目标的目标框的第二顶点的位置坐标为因变量的线性回归方程。

作为一个示例，第一顶点坐标和第二顶点坐标可以为基于第一图片构建的直角坐标系中的坐标，该直角坐标系包括相互垂直的X轴和Y轴。比如，直角坐标系可以以第一图片的左下角为原点，以相互垂直的两条边为X轴和Y轴的直角坐标系。比如，第一顶点坐标可以包括X轴坐标和Y轴坐标，第二顶点坐标也可以包括X轴坐标和Y轴坐标。

进一步地，还可以对第一顶点的X轴坐标和Y轴坐标分别进行拟合，以及对第二顶点的X轴坐标和Y轴坐标分别进行拟合。比如，对与N张图片一一对应的N个目标框的位置坐标进行线性拟合，得到线性回归方程的过程可以包括如下步骤：

1)对与N张图片一一对应的N个目标框的第一顶点坐标的X轴坐标进行线性拟合，得到以图片排序为自变量、第一目标的目标框的第一顶点的X轴坐标为因变量的第一线性回归方程。

2)对与N张图片一一对应的N个目标框的第一顶点坐标的Y轴坐标进行线性拟合，得到以图片排序为自变量、第一目标的目标框的第一顶点的Y轴坐标为因变量的第二线性回归方程。

3)对与N张图片一一对应的N个目标框的第二顶点坐标的X轴坐标进行线性拟合，得到以图片排序为自变量、第一目标的目标框的第二顶点的X轴坐标为因变量的第三线性回归方程。

4)对与N张图片一一对应的N个目标框的第二顶点坐标的Y轴坐标进行线性拟合，得到以图片排序为自变量、第一目标的目标框的第二顶点的Y轴坐标为因变量的第四线性回归方程。

需要说明的是，上述第一线性回归方程、第二线性回归方程、第三线性回归方程以及第四线性回归方程均为一元一次方程。

步骤103：根据该标注目标的位置变化规律，确定该标注目标在第一图片中的预测位置。

作为一个示例，若该标注目标的位置变化规律为能够指示标注目标的位置变化情况的线性回归方程，则可以根据第一图片在图片序列中的排序，通过线性回归方程，确定第一目标在第一图片中的预测位置坐标。

比如，将第一图片在图片序列中的排序代入到该线性回归方程中，通过该线性回归方程计算得到第一目标的位置坐标，将该第一目标的位置坐标作为第一目标在第一图片中的预测位置坐标。

作为一个示例，若线性回归方程包括上述第一线性回归方程、第二线性回归方程、第三线性回归方程以及第四线性回归方程，则可以根据第一图片在图片序列中的排序，分别通过第一线性回归方程、第二线性回归方程、第三线性回归方程以及第四线性回归方程，确定第一图片中第一目标的目标框的第一顶点的预测X轴坐标和预测Y轴坐标，以及第一目标的目标框的第二顶点的预测X轴坐标和Y轴坐标。

也即是，可以根据第一图片在图片序列中的排序，通过第一线性回归方程，确定第一图片中第一目标的目标框的第一顶点的预测X轴坐标；通过第二线性回归方程，确定第一顶点的预测Y轴坐标；通过第三线性回归方程，确定第二顶点的预测X轴坐标；通过第四线性回归方程，确定第二顶点的预测Y轴坐标。

需要说明的是，第一顶点的X轴坐标和Y轴坐标，以及第二顶点的X轴坐标和Y轴坐标，即可指示第一目标的目标框的预测位置坐标。或者，也可以根据第一顶点的X轴坐标和Y轴坐标，以及第二顶点的X轴坐标和Y轴坐标，确定第一目标的目标框的预测位置坐标。

步骤104：基于该预测位置，对第一图标进行标注。

本申请实施例中，可以基于该预测位置，自动对第一图标进行标注，也可以基于该预测位置，辅助标注人员对第一图标进行标注。

作为一个示例，基于该预测位置，对第一图标进行标注可以包括以下两种实现方式：

第一种可能的实现方式：基于该预测位置，对该预测位置中存在的标注目标进行标注。

也即是，可以直接将该预测位置中的目标确定为待标注的标注目标，并对该标注目标进行标注。这种实现方式标注效率较高，减少了人工参与，降低了标注成本。

作为一个示例，对标注目标进行标注的操作包括：根据第二图片的标注结果中包括的标注目标的目标标识，为第一图片中存在的标注目标添加目标标识。也即是，可以在确定该预测位置后，直接为预测位置中的标注目标添加与上一张图片中同一标注目标的相同目标标识，如此，可以减少标注人员的重复劳动，加快了标注速度。

第二种可能的实现方式：在第一图片中对该预测位置进行突出显示，以提醒标注人员对该预测位置中存在的标注目标进行标注。

也即是，可以通过对第一图片中的预测位置进行突出显示，来辅助标注人员查看预测位置中的标注目标，进而提醒标注人员对其中的标注目标进行标注。如此，提供了一种辅助标注方法，可以辅助标注人员对图片进行标注，降低了目标漏标的风险，提高了标注效率和标注准确率。

其中，对预测位置进行突出显示是指以特殊效果展示该预测位置对应的区域，以便标注人员能够直观地查看到该预测位置中存在的标注目标。比如，对预测位置进行突出显示的方式包括以特定颜色显示、高亮显示或标注出轮廓等。

作为一个示例，可以根据预测位置坐标，在第一图片中绘制标注目标的目标框。如此，标注人员在标注之前即可首先查看到标注目标的目标框，辅助标注人员对该标注目标进行标注，而无需通过人眼从第一图片中找寻标注目标，减少了标注人员的人眼劳动，加快了标注速度。

通过对预测的位置进行突出显示，可以提醒标注人员对该预测位置中存在的标注目标进行标注，减少遗漏标注目标的风险。另外，通过对预测的位置进行突出显示，还可以提醒标注人员查看突出显示的标注目标是否为真实有效的标注目标，以进行人工校验，若是真实有效的标注目标，则为该标注目标添加其他标注信息，若不是，则删除该标注目标的目标框，不对该标注目标进行标注，如此可以减少目标标注错误，提高标注准确率。

作为一个示例，在第一图片中绘制标注目标的目标框之后，还可以根据第二图片的标注结果中包括的标注目标的目标标识，为第一图片中存在的标注目标添加目标标识。也即是，可以在第一图片中绘制标注目标的目标框之后，直接为第一图片中的该标注目标添加与上一张图片中同一标注目标的相同目标标识，如此，可以减少标注人员的重复劳动，加快了标注速度。

需要说明的是，在数据标注领域，图片序列中不同图片之间的同一目标，其目标标识必须相同，可以根据目标标识是否一致判断是否为同一目标。

本申请实施例中，在对图片序列进行标注时，对于其中待标注的图片，可以先获取该图片的前一张图片的标注结果，然后根据该标注目标在当前图片的前N张图片中的位置，确定标注目标的位置变化规律，以此预测该标注目标在第一图片中的位置，然后基于预测位置辅助对第一图片中的标注目标进行标注，如此可以提高标注效率和标注准确率。而且，这种标注算法相比于目标检测算法更为简单，算法耗时较短，更加适应于实时预测场景，且对硬件资源要求较低，所需的部署环境成本较低。

图2是本申请实施例提供的另一种图片标注方法的流程图，如图2所示，该方法包括如下步骤：

步骤201：对于图片序列中待标注的第一图片，检测第一图片是否已具有对应的标注结果。

作为一个示例，可以在导入待标注的图片序列后，按照本申请实施例提供的方法对图片序列中的每张图片依次进行辅助标注。

步骤202：若第一图片已具有对应的标注结果，则加载第一图片的标注结果。

也即是，若第一图片已经被标注并有了标注结果，则也就无需对第一图片进行标注，直接加载使用已有的标注结果即可。

其中，第一图片已具有对应的标注结果可以由人工标注得到，也可以由设备标注得到，本申请实施例对此不作限定

作为一个示例，对于待标注的图片序列，标注人员可以先人工标注其中的前N张图片，以便设备根据前N张图片的标注结果对之后的图片进行辅助标注，如此可以提高标注准确性。

步骤203：若第一图片不具有对应的标注结果，则获取位于第一图片之前的第二图片的标注结果。

也即是，若第一图片还未被标注，则可以获取前一张图片的标注结果，以便根据前一张图片的标注结果，对当前的第一图标进行辅助标注。

若第一图片具有对应的标注结果，说明第一图标已被标注，这种情况下，可以不采用本申请实施例提供的方法对第一图标进行标注，而是直接使用已标注的标注结果，也可以继续采用本申请实施例提供的方法对第一图标进行标注，并基于后续的标注结果对已有标注结果进行更新。

步骤204：检测第二图片的标注结果是否为空。

若第二图片的标注结果不为空，则执行下述步骤205；若第二图片的标注结果为空，则不对第一图片进行辅助标注。

其中，辅助标注是指在确定标注目标在第一图标中的预测位置后，在第一图片中对该预测位置进行突出显示，以提醒标注人员对该预测位置中存在的标注目标进行标注。

也即是，如果前一张图片不存在标注结果，则可以不对当前的第一图片进行辅助标注，而是由标注人员进行人工标注。

步骤205：若第二图片的标注结果不为空，则确定第二图片的标注结果中的标注目标。

也即是，若前一张图片存在标注结果，则可以从第二图片的标注结果中确定已标注的标注目标。该标注目标可以包括一个或多个目标。

步骤206：检测该标注目标在N-1张图片中是否连续出现，该N-1张图片为第一图片的前N张图片中除第二图片之外的其他图片。

也即是，可以检测前一张图标中已标注的标注结果在前N张图标中是否连续出现，即前N张图片中的每张图片是否均出现该标注结果。

若该标注目标在N-1张图片中连续出现，则执行下述步骤208；若该标注目标在N-1张图片中未连续出现，则不对第一图片进行辅助标注。

步骤207：若该标注目标在N-1张图片中连续出现，则根据该标注目标在前N张图片中的位置，确定标注目标的位置变化规律，根据标注目标的位置变化规律，确定标注目标在第一图片中的预测位置。

步骤208：在第一图片中对该预测位置进行突出显示，以提醒标注人员对该预测位置中存在的标注目标进行标注。

需要说明的是，步骤207-208的具体实现方式可以参考上述步骤102-104的相关描述，本申请实施例对此不作限定。

还需要说明的是，图2实施例仅是本申请实施例提供的一个可选实施例，其中的某些步骤可以为可选步骤，本领域技术人员可以根据图2实施例进行相应变换，只有能达到辅助标注的目的即可。

本申请实施例中，对于图片序列中待标注的第一图片，通过获取位于第一图片之前的第二图片的标注结果，然后根据该标注目标在第一图片的前N张图片中的位置，确定标注目标的位置变化规律，以此预测该标注目标在第一图片中的位置，再在第一图片中对预测位置进行突出显示，可以提醒标注人员对突出显示的标注目标进行标注。如此，提供了一种辅助标注方法，可以辅助标注人员对图片进行标注，降低了目标漏标的风险，提高了标注效率和标注准确率。而且，这种辅助标注算法相比于目标检测算法更为简单，因此算法耗时较短，更加适应于实时预测场景，且对硬件资源要求较低，所需的部署环境成本较低。

图3是本申请实施例提供的一种图片标注装置的结构示意图，该装置可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部。请参考图3，该装置包括：

获取模块301，用于对于图片序列中待标注的第一图片，获取位于所述第一图片之前的第二图片的标注结果，所述标注结果包括所述第二图片中存在的标注目标的位置；

第一确定模块302，用于确定所述标注目标在位于所述第一图片之前的N张图片中的位置，根据所述标注目标在所述N张图片中的位置，确定所述标注目标的位置变化规律，所述N为大于1的整数；

第二确定模块303，用于根据所述标注目标的位置变化规律，确定所述标注目标在所述第一图片中的预测位置；

标注模块304，用于基于所述预测位置，对所述第一图标进行标注。

可选地，所述标注目标包括M个目标，所述M为正整数；

所述第一确定模块302用于：

对于所述M个目标中的第一目标，对所述第一目标在所述N张图片中的位置坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的位置坐标为因变量的线性回归方程，所述第一目标为所述M个目标中的任一个；

所述第二确定模块303用于：

根据所述第一图片在所述图片序列中的排序，通过所述线性回归方程，确定所述第一目标在所述第一图片中的预测位置坐标。

可选地，所述第一确定模块302用于：

确定所述第一目标在所述N张图片中的目标框的位置，得到与所述N张图片一一对应的N个目标框的位置坐标；

对与所述N张图片一一对应的N个目标框的位置坐标进行线性拟合，得到所述线性回归方程。

可选地，所述N个目标框中的每个目标框的位置坐标包括每个目标框的第一顶点坐标和第二顶点坐标；

所述第一确定模块302用于：

对与所述N张图片一一对应的N个目标框的第一顶点坐标的X轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第一顶点的X轴坐标为因变量的第一线性回归方程；

对与所述N张图片一一对应的N个目标框的第一顶点坐标的Y轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第一顶点的Y轴坐标为因变量的第二线性回归方程；

对与所述N张图片一一对应的N个目标框的第二顶点坐标的X轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第二顶点的X轴坐标为因变量的第三线性回归方程；

对与所述N张图片一一对应的N个目标框的第二顶点坐标的Y轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第二顶点的Y轴坐标为因变量的第四线性回归方程。

可选地，所述第二确定模块303用于：

根据所述第一图片在所述图片序列中的排序，分别通过所述第一线性回归方程、所述第二线性回归方程、所述第三线性回归方程以及所述第四线性回归方程，确定所述第一图片中所述第一目标的目标框的第一顶点的预测X轴坐标和预测Y轴坐标，以及所述第一目标的目标框的第二顶点的预测X轴坐标和Y轴坐标。

可选地，所述标注模块304包括：

标注单元，用于基于所述预测位置，对所述预测位置中存在的标注目标进行标注；

或者，

显示单元，用于在所述第一图片中对所述预测位置进行突出显示，以提醒标注人员对所述预测位置中存在的标注目标进行标注。

可选地，所述标注目标在所述第一图片中的预测位置包括所述标注目标的目标框的预测位置坐标；

所述显示单元用于：

根据所述预测位置坐标，在所述第一图片中绘制所述标注目标的目标框。

可选地，所述标注模块还用于：

根据所述第二图片的标注结果中包括的所述标注目标的目标标识，为所述第一图片中存在的所述标注目标添加目标标识。

可选地，所述装置还包括：

第一触发模块，用于若检测到所述标注目标在N-1张图片中连续出现，则触发第一确定模块确定所述标注目标在位于所述第一图片之前的N张图片中的位置的步骤，所述N张图片为所述N张图片中除所述第二图片之外的其他图片；

第二触发模块，用于若检测到所述标注目标在N-1张图片中未连续出现，则不对所述第一图片进行辅助标注。

本申请实施例中，在对图片序列进行标注时，对于其中待标注的图片，可以先获取该图片的前一张图片的标注结果，然后根据该标注目标在当前图片的前N张图片中的位置，确定标注目标的位置变化规律，以此预测该标注目标在第一图片中的位置，然后基于预测位置辅助对第一图片中的标注目标进行标注，如此可以提高标注效率和标注准确率。而且，这种标注算法相比于目标检测算法更为简单，算法耗时较短，更加适应于实时预测场景，且对硬件资源要求较低，所需的部署环境成本较低。

需要说明的是：上述实施例提供的图片标注装置在对图片进行标注时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图片标注装置与图片标注方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图4是本申请实施例提供的一种计算机设备400的结构框图。该计算机设备400可以是手机、平板电脑、智能电视、多媒体播放设备、可穿戴设备、台式电脑、服务器等电子设备。该计算机设备400可用于实施上述实施例中提供的图片标注方法。

通常，计算机设备400包括有：处理器401和存储器402。

处理器401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现本申请中方法实施例提供的图片标注方法。

在一些实施例中，计算机设备400还可选包括有：外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地，外围设备可以包括：显示屏404、音频电路405、通信接口406和电源407中的至少一种。

本领域技术人员可以理解，图4中示出的结构并不构成对计算机设备400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性的实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述图片标注方法。

在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述图片标注方法。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图片标注方法，其特征在于，所述方法包括：

对于图片序列中待标注的第一图片，获取位于所述第一图片之前的第二图片的标注结果，所述标注结果包括所述第二图片中存在的标注目标的位置；

确定所述标注目标在位于所述第一图片之前的N张图片中的位置，根据所述标注目标在所述N张图片中的位置，确定所述标注目标的位置变化规律，所述N为大于1的整数；

根据所述标注目标的位置变化规律，确定所述标注目标在所述第一图片中的预测位置；

基于所述预测位置，对所述第一图标进行标注。

2.如权利要求1所述的方法，其特征在于，所述标注目标包括M个目标，所述M为正整数；

所述根据所述标注目标在所述N张图片中的位置，确定所述标注目标的位置变化规律，包括：

对于所述M个目标中的第一目标，对所述第一目标在所述N张图片中的位置坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的位置坐标为因变量的线性回归方程，所述第一目标为所述M个目标中的任一个；

所述根据所述标注目标的位置变化规律，确定所述标注目标在所述第一图片中的预测位置，包括：

根据所述第一图片在所述图片序列中的排序，通过所述线性回归方程，确定所述第一目标在所述第一图片中的预测位置坐标。

3.如权利要求2所述的方法，其特征在于，所述确定所述标注目标在位于所述第一图片之前的N张图片中的位置，包括：

确定所述第一目标在所述N张图片中的目标框的位置，得到与所述N张图片一一对应的N个目标框的位置坐标；

所述对所述第一目标在所述N张图片中的位置坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的位置坐标为因变量的线性回归方程，包括：

对与所述N张图片一一对应的N个目标框的位置坐标进行线性拟合，得到所述线性回归方程。

4.如权利要求3所述的方法，其特征在于，所述N个目标框中的每个目标框的位置坐标包括每个目标框的第一顶点坐标和第二顶点坐标；

所述对与所述N张图片一一对应的N个目标框的位置坐标进行线性拟合，得到所述线性回归方程，包括：

对与所述N张图片一一对应的N个目标框的第一顶点坐标的X轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第一顶点的X轴坐标为因变量的第一线性回归方程；

对与所述N张图片一一对应的N个目标框的第一顶点坐标的Y轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第一顶点的Y轴坐标为因变量的第二线性回归方程；

对与所述N张图片一一对应的N个目标框的第二顶点坐标的X轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第二顶点的X轴坐标为因变量的第三线性回归方程；

对与所述N张图片一一对应的N个目标框的第二顶点坐标的Y轴坐标进行线性拟合，得到以图片排序为自变量、所述第一目标的目标框的第二顶点的Y轴坐标为因变量的第四线性回归方程。

5.如权利要求4所述的方法，其特征在于，所述根据所述第一图片在所述图片序列中的排序，通过所述线性回归方程，确定所述第一目标在所述第一图片中的预测位置坐标，包括：

根据所述第一图片在所述图片序列中的排序，分别通过所述第一线性回归方程、所述第二线性回归方程、所述第三线性回归方程以及所述第四线性回归方程，确定所述第一图片中所述第一目标的目标框的第一顶点的预测X轴坐标和预测Y轴坐标，以及所述第一目标的目标框的第二顶点的预测X轴坐标和Y轴坐标。

6.如权利要求1所述的方法，其特征在于，所述基于所述预测位置，对所述第一图标进行标注，包括：

基于所述预测位置，对所述预测位置中存在的标注目标进行标注；

或者，

在所述第一图片中对所述预测位置进行突出显示，以提醒标注人员对所述预测位置中存在的标注目标进行标注。

7.如权利要求6所述的方法，其特征在于，所述标注目标在所述第一图片中的预测位置包括所述标注目标的目标框的预测位置坐标；

所述在所述第一图片中对所述预测位置进行突出显示，包括：

根据所述预测位置坐标，在所述第一图片中绘制所述标注目标的目标框。

8.如权利要求7所述的方法，其特征在于，所述在所述第一图片中绘制所述标注目标的目标框之后，还包括：

根据所述第二图片的标注结果中包括的所述标注目标的目标标识，为所述第一图片中存在的所述标注目标添加目标标识。

9.如权利要求1-8任一所述的方法，其特征在于，所述确定所述标注目标在位于所述第一图片之前的N张图片中的位置之前，还包括：

若检测到所述标注目标在N-1张图片中连续出现，则执行确定所述标注目标在位于所述第一图片之前的N张图片中的位置的步骤，所述N张图片为所述N张图片中除所述第二图片之外的其他图片；

若检测到所述标注目标在N-1张图片中未连续出现，则不对所述第一图片进行辅助标注。

10.一种图片标注装置，其特征在于，所述装置包括：

获取模块，用于对于图片序列中待标注的第一图片，获取位于所述第一图片之前的第二图片的标注结果，所述标注结果包括所述第二图片中存在的标注目标的位置；

第一确定模块，用于确定所述标注目标在位于所述第一图片之前的N张图片中的位置，根据所述标注目标在所述N张图片中的位置，确定所述标注目标的位置变化规律，所述N为大于1的整数；

第二确定模块，用于根据所述标注目标的位置变化规律，确定所述标注目标在所述第一图片中的预测位置；

标注模块，用于基于所述预测位置，对所述第一图标进行标注。

Images