CN105975980A - 监控图像标注质量的方法和装置 - Google Patents

Abstract

本申请公开了监控图像标注质量的方法和装置。方法包括：执行获取步骤获取单次任务的标注数据的准确率：向标注账户下发待标注图像，待标注图像包括预定比例的样本图像，获取对待标注图像的人工标注数据，人工标注数据包括样本图像的当前标注数据，获取当前标注数据相对于样本图像的标准标注数据准确的比值，响应于比值大于预定值，将待标注图像输入图片识别模型，得到自动标注数据，比对人工标注数据与自动标注数据，得到单次任务的标注数据的准确率；计算多次任务的标注数据的准确率与预设的平均标注准确率的方差；基于方差，确定向标注账户下发的样本图像数量和/或确定适于标注账户标注的图像类型，因此检测标注结果的效率和准确率较高。

Description

监控图像标注质量的方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及监控图像标注质量的方法和装置。

背景技术

在识别图像的过程中，通常需要大量人工标注的图像作为输入数据以训练图像识别模型。然而，当需要人工标注的图像的数量较多时，可能会有部分标注人员为了尽快完成标注任务额度，会在标注的过程中胡乱标注一些图像，因此在训练图像识别模型之前，需要对标注人员的标注数据进行审核。

目前，在对标注人员的标注数据进行审核时，采用人工作业来完成审核，因此审核的人力成本较高，并且审核的效率和准确率较低。

发明内容

本申请的目的在于提出一种改进的监控图像标注质量的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种监控图像标注质量的方法，所述方法包括：执行获取步骤获取单次任务的标注数据的准确率，所述获取步骤包括：向标注账户下发待标注图像，所述待标注图像包括预定比例的样本图像，获取对所述待标注图像的人工标注数据，所述人工标注数据包括样本图像的当前标注数据，获取所述当前标注数据相对于样本图像的标准标注数据准确的比值，响应于所述比值大于预定值，将所述待标注图像输入图片识别模型，得到自动标注数据，比对所述人工标注数据和所述自动标注数据，得到单次任务的标注数据的准确率；计算多次任务的标注数据的准确率与预设的平均标注准确率的方差；基于所述方差，确定向所述标注账户下发的样本图像数量和/或确定适于所述标注账户标注的图像类型。

在一些实施例中，所述方法还包括：响应于所述比值大于预定值，提取所述人工标注数据以及所述人工标注数据中每一个标注数据的图像特征；根据从多个标注账户的多次任务中提取的人工标注数据以及图像特征，训练所述图片识别模型。

在一些实施例中，所述计算所述标注数据的准确率与预设的平均标注准确率的方差包括：通过以下公式确定所述方差： 其中，σ表示标准差，D(X)表示方差，x_i表示第i次任务的标注数据的准确率，E(X)表示预设的平均标注准确率，p_i表示第i次任务的标注数据的准确率出现的概率，n表示所有任务的数量。

在一些实施例中，所述方法还包括：抽取已核定标注数据的图像作为所述样本图像，并将所述已核定标注数据作为所述标准标注数据。

在一些实施例中，所述样本图像包括以下一项或多项：未标注的图像、部分标注的图像和附有错误标注的图像。

在一些实施例中，所述方法还包括：向多个标注账户下发同一张待标注图像；从所述多个标注账户获取对所述同一张待标注图像的标注数据；比对获取的标注数据是否相同，并获取相同的标注数据占获取的标注数据的百分比；响应于所述百分比高于预定值，根据每个标注账户的对所述同一张待标注图像的标注数据与所述相同的标注数据是否一致，确定下发的样本图像数量和/或确定适于所述标注账户标注的图像类型。

在一些实施例中，所述方法还包括：若已标注的图像为视频切割的图像，比对相邻的两个视频中在先视频的末帧图像的标注数据与在后视频的首帧图像的标注数据是否一致；若不一致，呈现提示标注数据不一致的信息。

在一些实施例中，所述向标注账户下发待标注图像包括：根据待标注图像的数量和所述标注账户的标注数据的历史准确率，向标注账户下发待标注图像。

第二方面，本申请提供了一种监控图像标注质量的装置，所述装置包括：准确率获取模块，用于执行获取步骤获取单次任务的标注数据的准确率，所述获取步骤包括：向标注账户下发待标注图像，所述待标注图像包括预定比例的样本图像，获取对所述待标注图像的人工标注数据，所述人工标注数据包括样本图像的当前标注数据，获取所述当前标注数据相对于样本图像的标准标注数据准确的比值，响应于所述比值大于预定值，将所述待标注图像输入图片识别模型，得到自动标注数据，比对所述人工标注数据和所述自动标注数据，得到单次任务的标注数据的准确率；方差计算模块，用于计算多次任务的标注数据的准确率与预设的平均标注准确率的方差；样本图像确定模块，用于基于所述方差，确定向所述标注账户下发的样本图像数量和/或确定适于所述标注账户标注的图像类型。

在一些实施例中，所述装置还包括：图像特征提取模块，用于响应于所述比值大于预定值，提取所述人工标注数据以及所述人工标注数据中每一个标注数据的图像特征；模型训练模块，用于根据从多个标注账户的多次任务中提取的人工标注数据以及图像特征，训练所述图片识别模型。

在一些实施例中，所述方差计算模块进一步用于：通过以下公式确定所述方差：

${\mathrm{\σ}}^2=D\left(X\right)={\Σ}_{i=1}^n{\[x_i-E\left(X\right)\]}^2{p}_i;$

其中，σ表示标准差，D(X)表示方差，x_i表示第i次任务的标注数据的准确率，E(X)表示预设的平均标注准确率，p_i表示第i次任务的标注数据的准确率出现的概率，n表示所有任务的数量。

在一些实施例中，所述装置还包括：标准标注数据确定模块，用于抽取已核定标注数据的图像作为所述样本图像，并将所述已核定标注数据作为所述标准标注数据。

在一些实施例中，所述准确率获取模块下发的所述样本图像包括以下一项或多项：未标注的图像、部分标注的图像和附有错误标注的图像。

在一些实施例中，所述装置还包括：同一图像下发模块，用于向多个标注账户下发同一张待标注图像；同一图像标注数据获取模块，用于从所述多个标注账户获取对所述同一张待标注图像的标注数据；相同标注数据获取模块，用于比对获取的标注数据是否相同，并获取相同的标注数据占获取的标注数据的百分比；确定样本图像模块，用于响应于所述百分比高于预定值，根据每个标注账户的对所述同一张待标注图像的标注数据与所述相同的标注数据是否一致，确定下发的样本图像数量和/或确定适于所述标注账户标注的图像类型。

在一些实施例中，所述装置还包括：切割视频比对模块，用于若已标注的图像为视频切割的图像，比对相邻的两个视频中在先视频的末帧图像的标注数据与在后视频的首帧图像的标注数据是否一致；提示信息呈现模块，用于若所述比对的结果不一致，呈现提示标注数据不一致的信息。

在一些实施例中，所述准确率获取模块进一步用于：根据待标注图像的数量和所述标注账户的标注数据的历史准确率，向标注账户下发待标注图像。

本申请提供的监控图像标注质量的方法和装置，通过执行获取步骤获取单次任务的标注数据的准确率：在向标注账户下发的待标注图像中包括预定比例的样本图像，响应于样本图像的当前标注数据与标准标注数据准确的比值大于预定值，将待标注图像输入图片识别模型得到自动标注数据，比对人工标注数据和自动标注数据，得到单次任务的标注数据的准确率，而后计算多次任务的标注数据的准确率与预设的平均标注准确率的方差，最后基于多次任务的标注数据的准确率与平均标注准确率的方差，确定向标注账户下发的样本图像数量和/或确定适于标注账户标注的图像类型，从而降低了对标注账户的标注数据进行审核的人力成本，并且检测标注结果的效率和准确率较高。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的监控图像标注质量的方法的一个实施例的流程图；

图3是根据本申请的图2中的获取单次任务的标注数据的准确率的方法的一个实施例的流程图；

图4是根据本申请的监控图像标注质量的方法的一个应用场景的示意图；

图5是根据本申请的监控图像标注质量的装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的监控图像标注质量的方法或监控图像标注质量的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105、106。网络104用以在终端设备101、102、103和服务器105、106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户110可以使用终端设备101、102、103通过网络104与服务器105、106交互，以接收待标注图像或发送附有标注数据的图像等。终端设备101、102、103上可以安装有各种客户端应用，例如图像标注类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持图像标注的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。

服务器105、106可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的待标注图像、附有标注数据的图像等进行管理的后台服务器。后台服务器可以对接收到的附有标注数据的图像等数据进行分析等处理，并将处理结果(例如之后下发的待标注图像)反馈给终端设备。

需要说明的是，本申请实施例所提供的监控图像标注质量的方法一般由服务器105、106执行，相应地，监控图像标注质量的装置一般设置于服务器105、106中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的监控图像标注质量的方法的一个实施例的流程200。所述的监控图像标注质量的方法200，包括以下步骤：

在步骤210中，执行获取步骤获取单次任务的标注数据的准确率。

请参考图3，图3示出了上述步骤210执行获取步骤获取单次任务的标注数据的准确率的流程图。在图3中，上述的步骤210包括步骤2101、2102、2103、2104和步骤2105。

其中，在步骤2101中，向标注账户下发待标注图像，待标注图像包括预定比例的样本图像。

在这里，标注账户是标注人员领取待标注图像以及提交附有标注数据的图像的账户，其使用者可以为个人，也可以为标注人员群体。样本图像是指已经具有标准标注数据的图像，样本图像的来源，可以是从样本库中获得的图像，也可以是已核定标注数据的图像。

可选地，向标注账户下发待标注图像包括：根据待标注图像的数量和标注账户的标注数据的历史准确率，向标注账户下发待标注图像。

可选地，样本图像可以包括以下一项或多项：未标注的图像、部分标注的图像和附有错误标注的图像。

在这里，若样本图像为未标注的图像，则可以检测用户标注数据相对于标准标注数据的准确程度，从而确定该标注账户是否作弊；若样本图像为部分标注的图像(例如使用图像识别模型自动标注了部分标注数据的图像)，则可以根据用户是否标注未标注区域判断用户是否作弊；若样本图像为附有错误标注的图像，则可以根据用户是否去除错误标注区域判断用户是否作弊。

在步骤2102中，获取对待标注图像的人工标注数据，人工标注数据包括样本图像的当前标注数据。

在这里，基于步骤2101向标注账户下发的待标注图像，可以获取标注账户提交的对待标注图像的人工标注数据。

在步骤2103中，获取当前标注数据相对于样本图像的标准标注数据准确的比值。

在这里，在获取当前标注数据相对于样本图像的标准标注数据准确的比值时，可以首先获取当前标注数据相对于标准标注数据准确的数量，之后使用准确的数量除以标准标注数据的数量，得到上述准确的比值。

可选地，上述监控图像标注质量的方法还包括：抽取已核定标注数据的图像作为样本图像，将已核定标注数据作为标准标注数据。

在步骤2104中，响应于比值大于预定值，将所述待标注图像输入图片识别模型，得到自动标注数据。

在这里，基于步骤2103中得到的准确的比值大于预定值，推定标注账户人工标注数据的准确率较高，从而可以将标注账户单次任务的人工标注数据输入图片识别模型，反推单次任务的标注数据的准确率。

这里的图片识别模型，可以是预先训练好的供监控图像标注质量的方法使用的模型，也可以是使用步骤2101至2103中得到的比值大于预定值的人工标注数据训练得到的模型。

可选地，上述监控图像标注质量的方法还可以包括：响应于比值大于预定值，提取人工标注数据以及人工标注数据中每一个标注数据的图像特征；根据从多个标注账户的多次任务中提取的人工标注数据以及图像特征，训练图片识别模型。

在步骤2105中，比对所述人工标注数据与所述自动标注数据，得到单次任务的标注数据的准确率。

在这里，在将所述待标注图像输入图片识别模型，得到自动标注数据之后，可以比对所述人工标注数据与所述自动标注数据，得到人工标注数据中准确的标注数据的数量，之后可以用准确的标注数据的数量除以人工标注数据的数量，得到单次任务的标注数据的准确率。

返回图2，在步骤220中，计算多次任务的标注数据的准确率与预设的平均标注准确率的方差。

在本实施例中，方差(variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量，表达了单次任务的标注数据的准确率偏离均值的程度，更是揭示了单次任务的标注数据的准确率内部彼此波动的程度，也用于度量标注账户在多次任务的提交的标注数据的准确率的稳定性。

在本实施例的一些可选实现方式中，计算标注数据的准确率与预设的平均标注准确率的方差可以包括：

通过以下公式确定方差：

${\mathrm{\σ}}^2=D\left(X\right)={\Σ}_{i=1}^n{\[x_i-E\left(X\right)\]}^2{p}_i;$

其中，σ表示标准差，D(X)表示方差，x_i表示第i次任务的标注数据的准确率，E(X)表示预设的平均标注准确率，p_i表示第i次任务的标注数据的准确率出现的概率，n表示所有任务的数量。

示例性的，离散概率方差的计算方法如下：预先假设所有标注人员平均标注准确率98％，可能绝大多数的标注质量在95％～100％(质量稳定)，也可能其中某些人标注质量很高，准确率约在100％，而某些人标注质量很差，准确率约在50％，因此，通过考察各个标注人员与平均标注准确率98％的方差大小，就可以考察标注人员的标注质量。

步骤230，基于方差，确定向标注账户下发的样本图像数量和/或确定适于标注账户标注的图像类型。

在本实施例中，可以基于方差确定标注账户的标注质量和标注数据的准确率的稳定性，从而调节与标注账户之间的合作关系。例如，如果方差很小，则表示该标注账户的标注人员质量稳定，发放的样本图像就少，如果方差很大，则质量较差，需要重点考察，发放的样本图像比例就会很大，当样本图像的比例超过一定数量后，取消该标注账户的标注人员的标注资格。

在本实施例的一些可选实现方式中，上述监控图像标注质量的方法还可以包括：向多个标注账户下发同一张待标注图像；从多个标注账户获取对同一张待标注图像的标注数据；比对获取的标注数据是否相同，并获取相同的标注数据占获取的标注数据的百分比；响应于百分比高于预定值，根据每个标注账户的对同一张待标注图像的标注数据与相同的标注数据是否一致，确定下发的样本图像数量和/或确定适于标注账户标注的图像类型。

在本实施例的一些可选实现方式中，上述监控图像标注质量的方法还可以包括：若已标注的图像为视频切割的图像，比对相邻的两个视频中在先视频的末帧图像的标注数据与在后视频的首帧图像的标注数据是否一致；若不一致，呈现提示标注数据不一致的信息。

继续参见图4，图4是根据本实施例的监控图像标注质量的方法的应用场景的一个示意图。在图4的应用场景中，监控图像标注质量的方法包括以下步骤：

在步骤401中，将预先标注的图像或抽取一定量已经审核通过的图像作为样本库，之后执行步骤402；

在步骤402中，根据实际待标注图像的数量，以及标注账户标注质量的稳定性，抽取预定数量的样本图像，之后执行步骤403；

在步骤403中，将抽取出的样本图像混合在实际需要标注的图像中发放给标注人员标注，之后执行步骤404；

在步骤404中，对比标注人员手工标注数据与样本标注数据之间的差异，确定该标注账户是否作弊，之后执行步骤406；

在步骤405中，预先将多次任务得到的所有标注数据作为数据训练集发放给图像识别模型进行图片识别模型训练，之后将图片识别模型用于步骤406；

在步骤406中，在图像识别模型完备后输入上述实际需要标注的图像，之后执行步骤407；

在步骤407中，图像识别模型输出自动标注数据，之后执行步骤408；

在步骤408中，比对人工标注数据与自动标注数据，计算出单次任务的标注数据的准确率，之后执行步骤409；

在步骤409中，根据多组任务计算该人员的标注数据的准确率以及离散方差，根据方差值大小判断质量稳定性，之后执行步骤402。

本申请的上述实施例提供的方法基于多次任务的标注数据的准确率与平均标注准确率的方差，确定向标注账户下发的样本图像数量和/或确定适于所述标注账户标注的图像类型，从而降低了对标注账户的标注数据进行审核的人力成本，并且检测标注结果的效率和准确率较高。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种监控图像标注质量的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的监控图像标注质量的装置500包括：准确率获取模块510、方差计算模块520和样本图像确定模块530。其中，准确率获取模块510，用于执行获取步骤获取单次任务的标注数据的准确率，获取步骤包括：向标注账户下发待标注图像，待标注图像包括预定比例的样本图像，获取对待标注图像的人工标注数据，人工标注数据包括样本图像的当前标注数据，获取当前标注数据相对于样本图像的标准标注数据准确的比值，响应于比值大于预定值，将待标注图像输入图片识别模型，得到自动标注数据，比对人工标注数据与自动标注数据，得到单次任务的标注数据的准确率；方差计算模块520，用于计算多次任务的标注数据的准确率与预设的平均标注准确率的方差；样本图像确定模块530，用于基于方差，确定向标注账户下发的样本图像数量和/或确定适于标注账户标注的图像类型。

本实施例的一些可选实现方式中，装置还包括：图像特征提取模块(图中未示出)，用于响应于比值大于预定值，提取人工标注数据以及人工标注数据中每一个标注数据的图像特征；模型训练模块(图中未示出)，用于根据从多个标注账户的多次任务中提取的人工标注数据以及图像特征，训练图片识别模型。

本实施例的一些可选实现方式中，方差计算模块520进一步用于：通过以下公式确定方差：

${\mathrm{\σ}}^2=D\left(X\right)={\Σ}_{i=1}^n{\[x_i-E\left(X\right)\]}^2{p}_i;$

其中，σ表示标准差，D(X)表示方差，x_i表示第i次任务的标注数据的准确率，E(X)表示预设的平均标注准确率，p_i表示第i次任务的标注数据的准确率出现的概率，n表示所有任务的数量。

本实施例的一些可选实现方式中，装置还包括：标准标注数据确定模块(图中未示出)，用于抽取已核定标注数据的图像作为样本图像，并将已核定标注数据作为标准标注数据。

本实施例的一些可选实现方式中，准确率获取模块510下发的样本图像包括以下一项或多项：未标注的图像、部分标注的图像和附有错误标注的图像。

本实施例的一些可选实现方式中，装置还包括：同一图像下发模块(图中未示出)，用于向多个标注账户下发同一张待标注图像；同一图像标注数据获取模块(图中未示出)，用于从多个标注账户获取对同一张待标注图像的标注数据；相同标注数据获取模块(图中未示出)，用于比对获取的标注数据是否相同，并获取相同的标注数据占获取的标注数据的百分比；确定样本图像模块(图中未示出)，用于响应于百分比高于预定值，根据每个标注账户的对同一张待标注图像的标注数据与相同的标注数据是否一致，确定下发的样本图像数量和/或确定适于标注账户标注的图像类型。

本实施例的一些可选实现方式中，装置还包括：切割视频比对模块(图中未示出)，用于若已标注的图像为视频切割的图像，比对相邻的两个视频中在先视频的末帧图像的标注数据与在后视频的首帧图像的标注数据是否一致；提示信息呈现模块(图中未示出)，用于若比对的结果不一致，呈现提示标注数据不一致的信息。

本实施例的一些可选实现方式中，准确率获取模块510进一步用于：根据待标注图像的数量和标注账户的标注数据的历史准确率，向标注账户下发待标注图像。

本领域技术人员可以理解，上述监控图像标注质量的装置500还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图5中未示出。

应当理解，装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对监控图像标注质量的方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。装置500中的相应单元可以与终端设备和/或服务器中的单元相互配合以实现本申请实施例的方案。

下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统600的结构示意图。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括准确率获取模块、方差计算模块和样本图像确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，方差计算模块还可以被描述为“用于计算多次任务的标注数据的准确率与预设的平均标注准确率的方差的模块”。

作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当一个或者多个程序被一个设备执行时，使得设备：执行获取步骤获取单次任务的标注数据的准确率，所述获取步骤包括：向标注账户下发待标注图像，待标注图像包括预定比例的样本图像，获取对待标注图像的人工标注数据，人工标注数据包括样本图像的当前标注数据，获取当前标注数据相对于样本图像的标准标注数据准确的比值，响应于比值大于预定值，将所述待标注图像输入图片识别模型，得到自动标注数据，比对所述人工标注数据与所述自动标注数据，得到单次任务的标注数据的准确率；计算多次任务的标注数据的准确率与预设的平均标注准确率的方差；根据方差，确定向标注账户下发的待标注图像中的样本图像数量和/或确定适于标注账户标注的图像类型。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种监控图像标注质量的方法，其特征在于，所述方法包括：

执行获取步骤获取单次任务的标注数据的准确率，所述获取步骤包括：向标注账户下发待标注图像，所述待标注图像包括预定比例的样本图像，获取对所述待标注图像的人工标注数据，所述人工标注数据包括样本图像的当前标注数据，获取所述当前标注数据相对于样本图像的标准标注数据准确的比值，响应于所述比值大于预定值，将所述待标注图像输入图片识别模型，得到自动标注数据，比对所述人工标注数据和所述自动标注数据，得到单次任务的标注数据的准确率；

计算多次任务的标注数据的准确率与预设的平均标注准确率的方差；

基于所述方差，确定向所述标注账户下发的样本图像数量和/或确定适于所述标注账户标注的图像类型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述比值大于预定值，提取所述人工标注数据以及所述人工标注数据中每一个标注数据的图像特征；

根据从多个标注账户的多次任务中提取的人工标注数据以及图像特征，训练所述图片识别模型。

3.根据权利要求2所述的方法，其特征在于，所述计算所述标注数据的准确率与预设的平均标注准确率的方差包括：

通过以下公式确定所述方差：

${\mathrm{\σ}}^2=D\left(X\right)={\mathrm{\Σ}}_{i=1}^n{\[x_i-E\left(X\right)\]}^2{p}_i;$

其中，σ表示标准差，D(X)表示方差，x_i表示第i次任务的标注数据的准确率，E(X)表示预设的平均标注准确率，p_i表示第i次任务的标注数据的准确率出现的概率，n表示所有任务的数量。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

抽取已核定标注数据的图像作为所述样本图像，并将所述已核定标注数据作为所述标准标注数据。

5.根据权利要求1-4之一所述的方法，其特征在于，

所述样本图像包括以下一项或多项：

未标注的图像、部分标注的图像和附有错误标注的图像。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

向多个标注账户下发同一张待标注图像；

从所述多个标注账户获取对所述同一张待标注图像的标注数据；

比对获取的标注数据是否相同，并获取相同的标注数据占获取的标注数据的百分比；

响应于所述百分比高于预定值，根据每个标注账户的对所述同一张待标注图像的标注数据与所述相同的标注数据是否一致，确定下发的样本图像数量和/或确定适于所述标注账户标注的图像类型。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若已标注的图像为视频切割的图像，比对相邻的两个视频中在先视频的末帧图像的标注数据与在后视频的首帧图像的标注数据是否一致；

若不一致，呈现提示标注数据不一致的信息。

8.根据权利要求1所述的方法，其特征在于，所述向标注账户下发待标注图像包括：

根据待标注图像的数量和所述标注账户的标注数据的历史准确率，向标注账户下发待标注图像。

9.一种监控图像标注质量的装置，其特征在于，所述装置包括：

准确率获取模块，用于执行获取步骤获取单次任务的标注数据的准确率，所述获取步骤包括：向标注账户下发待标注图像，所述待标注图像包括预定比例的样本图像，获取对所述待标注图像的人工标注数据，所述人工标注数据包括样本图像的当前标注数据，获取所述当前标注数据相对于样本图像的标准标注数据准确的比值，响应于所述比值大于预定值，将所述待标注图像输入图片识别模型，得到自动标注数据，比对所述人工标注数据和所述自动标注数据，得到单次任务的标注数据的准确率；

方差计算模块，用于计算多次任务的标注数据的准确率与预设的平均标注准确率的方差；

样本图像确定模块，用于基于所述方差，确定向所述标注账户下发的样本图像数量和/或确定适于所述标注账户标注的图像类型。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

图像特征提取模块，用于响应于所述比值大于预定值，提取所述人工标注数据以及所述人工标注数据中每一个标注数据的图像特征；

模型训练模块，用于根据从多个标注账户的多次任务中提取的人工标注数据以及图像特征，训练所述图片识别模型。

11.根据权利要求10所述的装置，其特征在于，所述方差计算模块进一步用于：通过以下公式确定所述方差：

${\mathrm{\σ}}^2=D\left(X\right)={\mathrm{\Σ}}_{i=1}^n{\[x_i-E\left(X\right)\]}^2{p}_i;$

其中，σ表示标准差，D(X)表示方差，x_i表示第i次任务的标注数据的准确率，E(X)表示预设的平均标注准确率，p_i表示第i次任务的标注数据的准确率出现的概率，n表示所有任务的数量。

12.根据权利要求9所述的装置，其特征在于，所述装置还包括：

标准标注数据确定模块，用于抽取已核定标注数据的图像作为所述样本图像，并将所述已核定标注数据作为所述标准标注数据。

13.根据权利要求9-12之一所述的装置，其特征在于，所述准确率获取模块下发的所述样本图像包括以下一项或多项：

未标注的图像、部分标注的图像和附有错误标注的图像。

14.根据权利要求9所述的装置，其特征在于，所述装置还包括：

同一图像下发模块，用于向多个标注账户下发同一张待标注图像；

同一图像标注数据获取模块，用于从所述多个标注账户获取对所述同一张待标注图像的标注数据；

相同标注数据获取模块，用于比对获取的标注数据是否相同，并获取相同的标注数据占获取的标注数据的百分比；

确定样本图像模块，用于响应于所述百分比高于预定值，根据每个标注账户的对所述同一张待标注图像的标注数据与所述相同的标注数据是否一致，确定下发的样本图像数量和/或确定适于所述标注账户标注的图像类型。

15.根据权利要求9所述的装置，其特征在于，所述装置还包括：

切割视频比对模块，用于若已标注的图像为视频切割的图像，比对相邻的两个视频中在先视频的末帧图像的标注数据与在后视频的首帧图像的标注数据是否一致；

提示信息呈现模块，用于若所述比对的结果不一致，呈现提示标注数据不一致的信息。

16.根据权利要求9所述的装置，其特征在于，所述准确率获取模块进一步用于：

根据待标注图像的数量和所述标注账户的标注数据的历史准确率，向标注账户下发待标注图像。