CN110263853A - 利用错误样本检查人工客户端状态的方法及装置 - Google Patents

Abstract

本发明提供了一种利用错误样本检查人工客户端状态的方法及装置，方法包括：获取预设数量个错误样本，并加入一测试样本集中，组成待处理样本集；其中，所述错误样本预先标注有错误标注结果，所述测试样本集中的样本预先标注有标注结果；将所述待处理样本集发送给人工客户端，以便所述人工客户端对所述待处理样本集中的各个样本的标注结果进行审核；根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态。应用本发明提供的方案可以快速判断人工客户端是否处于异常状态。

Description

利用错误样本检查人工客户端状态的方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种利用错误样本检查人工客户端状态的方法、装置、电子设备和计算机可读存储介质。

背景技术

在人工智能领域的模型训练中需要人工客户端来对样本进行标注，或者对样本的标注结果进行审核，如果在进行样本标注或审核时人工客户端处于异常状态，则无法保证样本的标注情况达标，从而导致训练得到的模型的识别准确率不达标。因此，需要对人工客户端的状态进行检查，确保人工客户端在进行样本标注或审核时处于正常状态，从而使训练得到的模型的准确率达标。

目前，可以通过检查人工客户端所审核的全部样本的标注结果，根据审核结果判断人工客户端是否存在异常，然而通常样本集中样本的数量非常大，这样就需要花费较多时间才能判断人工客户端是否异常。

发明内容

本发明的目的在于提供一种利用错误样本检查人工客户端状态的方法、装置、电子设备和计算机可读存储介质，以快速确定人工客户端的标注准确率。具体技术方案如下：

第一方面，本发明提供了一种利用错误样本检查人工客户端状态的方法，所述方法包括：

获取预设数量个错误样本，并加入一测试样本集中，组成待处理样本集；其中，所述错误样本预先标注有错误标注结果，所述测试样本集中的样本预先标注有标注结果；

将所述待处理样本集发送给人工客户端，以便所述人工客户端对所述待处理样本集中各个样本的标注结果进行审核；

根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态。

可选的，所述人工客户端对所述待处理样本集中各个样本的标注结果进行审核，包括：

针对所述待处理样本集中每一样本，所述人工客户端判断所标注的标注结果是否正确；如果否，则对该样本所标注的标注结果进行修改。

可选的，所述根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态，包括：

针对所述预设数量个错误样本中的每一样本，判断所述人工客户端是否对该样本的标注结果进行了修改；

获取所述预设数量个错误样本中被修改了标注结果的错误样本的比例，作为第一比例；

若所述第一比例小于预设阈值，则判定所述人工客户端处于异常状态。

可选的，所述方法还包括：

根据所述第一比例确定所述人工客户端的标注准确率。

可选的，所述根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态，包括：

针对所述预设数量个错误样本中的每一错误样本，判断所述人工客户端是否将该样本的错误标注结果修改为正确标注结果；

获取所述预设数量个错误样本中被所述人工客户端修改为正确标注结果的错误样本的比例，作为第二比例；

若所述第二比例小于预设阈值，则判定所述人工客户端处于异常状态。

可选的，所述方法还包括：

根据所述第二比例确定所述人工客户端的标注准确率。

可选的，所述预设数量大于等于最小样本抽取数量N；

其中，N＝Z2×(P×(1-P))/E2；Z表示与置信度相关的统计量，置信度为所述人工客户端的审核准确率落入预设的置信区间的概率；E表示预设的抽样误差值；P表示所述测试样本集中样本标注的准确率。

可选的，所述预设阈值为预先设置的所述人工客户端的目标审核准确率。

可选的，所述获取预设数量个错误样本，包括：

从错误样本库中获取预设数量个错误样本，其中，所述错误样本库包含标注有错误标注结果的样本。

可选的，所述方法还包括：

提取所述错误样本库中错误样本的特征，根据所提取的特征生成新的错误样本，并将生成的新错误样本加入所述错误样本库中。

第二方面，本发明还提供了一种利用错误样本检查人工客户端状态的装置，所述装置包括：

获取模块，用于获取预设数量个错误样本，并加入一测试样本集中，组成待处理样本集；其中，所述错误样本预先标注有错误标注结果，所述测试样本集中的样本预先标注有标注结果；

审核模块，用于将所述待处理样本集发送给人工客户端，以便所述人工客户端对所述待处理样本集中各个样本的标注结果进行审核；

检查模块，用于根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态。

可选的，所述审核模块中人工客户端对所述待处理样本集中各个样本的标注结果进行审核，包括：

针对所述待处理样本集中每一样本，所述人工客户端判断所标注的标注结果是否正确；如果否，则对该样本所标注的标注结果进行修改。

可选的，所述检查模块，具体用于：

针对所述预设数量个错误样本中的每一样本，判断所述人工客户端是否对该样本的标注结果进行了修改；获取所述预设数量个错误样本中被修改了标注结果的错误样本的比例，作为第一比例；若所述第一比例小于预设阈值，则判定所述人工客户端处于异常状态。

可选的，所述装置还包括：

第一确定模块，用于根据所述第一比例确定所述人工客户端的标注准确率。

可选的，所述检查模块，具体用于：

针对所述预设数量个错误样本中的每一错误样本，判断所述人工客户端是否将该样本的错误标注结果修改为正确标注结果；获取所述预设数量个错误样本中被所述人工客户端修改为正确标注结果的错误样本的比例，作为第二比例；若所述第二比例小于预设阈值，则判定所述人工客户端处于异常状态。

可选的，所述装置还包括：

第二确定模块，用于根据所述第二比例确定所述人工客户端的标注准确率。

可选的，所述预设数量大于等于最小样本抽取数量N；

其中，N＝Z²×(P×(1-P))/E²；Z表示与置信度相关的统计量，置信度为所述人工客户端的审核准确率落入预设的置信区间的概率；E表示预设的抽样误差值；P表示所述测试样本集中样本标注的准确率。

可选的，所述预设阈值为预先设置的所述人工客户端的目标审核准确率。

可选的，所述获取模块获取预设数量个错误样本，具体为：

从错误样本库中获取预设数量个错误样本，其中，所述错误样本库包含标注有错误标注结果的样本。

可选的，所述装置还包括：

生成模块，用于提取所述错误样本库中错误样本的特征，根据所提取的特征生成新的错误样本，并将生成的新错误样本加入所述错误样本库中。

第三方面，本发明还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面所述的利用错误样本检查人工客户端状态的方法的步骤。

第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面述所述的利用错误样本检查人工客户端状态的方法的步骤。

与现有技术相比，本发明将预设数量个错误样本加入一测试样本集组成待处理样本集，将待处理样本集发给人工客户端进行审核，这样只需要检查人工客户端对错误样本的审核结果即可推断人工客户端对整个待处理样本集的标注准确率，而不需要统计人工客户端对整个待处理样本集的标注情况来确定标注准确率，从而实现了快速确定人工客户端是否处于异常状态，并且缩短了统计时间，降低了费用成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的利用错误样本检查人工客户端状态的方法的流程示意图；

图2是本发明一实施例提供的利用错误样本检查人工客户端状态的装置的结构示意图；

图3是本发明一实施例提供的电子设备的结构示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种利用错误样本检查人工客户端状态的方法、装置、电子设备及计算机可读存储介质作进一步详细说明。根据权利要求书和下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

为解决现有技术的问题，本发明实施例提供了一种利用错误样本检查人工客户端状态的方法、装置、电子设备及计算机可读存储介质。

需要说明的是，本发明实施例的利用错误样本检查人工客户端状态的方法可应用于本发明实施例的利用错误样本检查人工客户端状态的装置，该利用错误样本检查人工客户端状态的装置可被配置于电子设备上。其中，该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。

图1是本发明一实施例提供的一种利用错误样本检查人工客户端状态的方法的流程示意图。请参考图1，一种利用错误样本检查人工客户端状态的方法可以包括如下步骤：

步骤S101，获取预设数量个错误样本，并加入一测试样本集中，组成待处理样本集；其中，所述错误样本预先标注有错误标注结果，所述测试样本集中的样本预先标注有标注结果。

本实施例对错误样本的类型不做限定，错误样本可以是票据图片、车辆图片、人脸图片、植物图片、试卷图片等。所述测试样本集中样本的类型需与所述错误样本的类型相同，例如，若所述测试样本集中样本是人脸图片，那么所获取的预设数量个错误样本也为人脸图片。错误样本标注有错误标注结果，即错误样本的标注结果与其真实的识别结果不一致或不同，例如一错误样本为人脸图像，图像的真实识别结果为“性别：女”，但是被错误标注为“性别：男”。

所述测试样本集中各个样本也预先标注有标注结果，例如通过一识别模型对测试样本集中各个样本进行识别和标注，或者通过人工标注，本实施例对各个样本的标注结果是否正确不做限定。本实施例对测试样本集中的样本数量亦不做限定，但是为了使判断人工客户端是否异常的判断结果更加准确，样本数量通常应设置为较大的数值，例如样本数量为100、1000等。错误样本和测试样本集中样本的标注结果可以直接标注在样本图片上，也可以标注作为样本图片的属性信息。

实际应用中，所述错误样本可以为人工故意标错的样本，也可以通过获取标注完成的样本集，审核并过滤出其中标注错误的样本。进一步的，还可以维护一个错误样本库，将标注错误的样本加入其中，并根据样本类型进行分类存储。使用错误样本库，可以提高获取错误样本的效率，进而提高检查人工客户端是否异常的效率。

因此，所述获取预设数量个错误样本，可以为：从错误样本库中获取预设数量个错误样本，其中，所述错误样本库包含标注有错误标注结果的样本。

由于本发明的核心思想是通过统计人工客户端对预设数量个错误样本的错误标注结果的审核情况，来推断人工客户端对整个待处理样本集中样本的审核情况，进而判断人工客户端是否处于异常状态，因此，为了保证后续统计的准确性，对错误样本的数量可以有如下要求：

所述预设数量大于等于最小样本抽取数量N；

其中，N＝Z²×(P×(1-P))/E²；Z表示与置信度相关的统计量，置信度为所述人工客户端的审核准确率落入预设的置信区间的概率；E表示预设的抽样误差值；P表示所述测试样本集中样本标注的准确率。

Z与置信度的对应关系如下：当置信度为90％时，Z＝1.64；置信度为95％时，Z＝1.96；置信度为95.45％时，Z＝2；置信度为99％时，Z＝2.68；置信度为99.73时，Z＝3；以上数据可以通过查询统计表得出。本实施例的置信区间为90％～99.99％，也就是说认为所述人工客户端的审核准确率应该在90％～99.99％的几率落入到P的范围内，本实施例可以采用95％的置信度。

本实施例中，抽样误差值E可以设定在±5％之间，P为概率值，可以设定其为90％。如果通过上述计算公式计算得到最小样本抽取数量N等于100，则所述预设数量可以设定大于等于100的任意数值。

进一步的，针对所述错误样本库，还可以提取所述错误样本库中错误样本的特征，根据所提取的特征生成新的错误样本，并将生成的新错误样本加入所述错误样本库中。例如，若某一错误样本为植物图片，其中的植物为月季，但是被错误标注为玫瑰，则可以提取错误样本中月季的特征，然后获取图片中植物特征与月季特征相匹配的其他样本，将其它样本中的植物也标注为玫瑰，从而生成新的错误样本。又如，某一错误样本为包含字符内容的图片，其中一个字符数字“0”被错误标注为字母“o”，则提取字符数字“0”的特征，将其它的数字“0”也标注为字母“o”，从而生成新的错误样本。自动归纳错误样本的特征，并自动生成更多的错误样本，可以进一步扩大错误样本库。

步骤S102，将所述待处理样本集发送给人工客户端，以便所述人工客户端对所述待处理样本集中各个样本的标注结果进行审核。

所述人工客户端会对所述待处理样本集中各个样本的标注结果进行审核处理，审核处理包括：针对所述待处理样本集中每一样本，所述人工客户端判断所标注的标注结果是否正确；如果否，则对该样本所标注的标注结果进行修改。如果判定不正确，还可以对该样本所标注的识别结果进行修改。需要说明的是，由于待处理样本集中包含两类样本，即按照正常标注流程进行标注处理后的样本，和加入的标注有错误标注结果的错误样本，人工客户端在审核时，不会对这两类样本进行区分，而是将错误样本同样视为按照正常标注流程进行标注处理的样本。

举例而言，若某一样本的标注结果为女性，而人工客户端在审核后判定该样本的标注结果有误，且经过自身的识别后判定该样本的识别结果应该为男性，则可以对该样本所标注的标注结果修改为自身所判定的识别结果。

实际上，对于错误样本中的某一样本，人工客户端可能没有识别出该样本被标注错误，从而导致人工客户端将该样本的标注结果判定为正确。人工客户端对错误样本的审核情况反应了人工客户端对整个待处理样本集中样本的识别(标注)情况，进而通过检查人工客户端对这类样本的审核情况可以来推断人工客户端的标注准确率或审核准确率，并且判断人工客户端是否存在异常。

步骤S103，根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态。

在一种实现方式中，所述根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态，包括：

针对所述预设数量个错误样本中的每一样本，判断所述人工客户端是否对该样本的标注结果进行了修改；

获取所述预设数量个错误样本中被修改了标注结果的错误样本的比例，作为第一比例；

若所述第一比例小于预设阈值，则判定所述人工客户端处于异常状态。

可以理解的是，通常来说，如果人工客户端能够对错误样本的错误标注结果进行修改，则可以认为人工客户端能够将该错误样本进行正确的标注。若错误样本中被人工客户端修改了标注结果的样本的比例大于等于预设阈值，可以认为人工客户端没有出现异常，反之，若错误样本中被人工客户端修改了标注结果的样本的比例小于预设阈值，则表示人工客户端出现了异常。进一步的，还可以通过错误样本中被人工客户端修改了标注结果的样本的比例，来推断人工客户端对整个待处理样本集的标注准确率，例如将第一比例作为人工客户端的标注准确率。

具体而言，确定所述预设数量个错误样本中被所述人工客户端修改了标注结果的样本的比例，可以有如下两种方式：

方式一：对于经人工客户端审核后的所述待处理样本集，首先获取各个错误样本，然后判断人工客户端对标注结果进行了修改的样本的数量，进而获取所述错误样本中被所述人工客户端修改了标注结果的样本的比例；

方式二：对于经人工客户端审核后的所述待处理样本集，首先可以判断人工客户端对哪些样本的标注结果进行了修改，然后统计出这些样本中哪些是属于错误样本的，进而获取错误样本中被所述人工客户端修改了标注结果的样本的比例。

在另一种实现方式中，所述根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态，包括：

针对所述预设数量个错误样本中的每一错误样本，判断所述人工客户端是否将该样本的错误标注结果修改为正确标注结果；

获取所述预设数量个错误样本中被所述人工客户端修改为正确标注结果的错误样本的比例，作为第二比例；

若所述第二比例小于预设阈值，则判定所述人工客户端处于异常状态。

在这一实现方式中，若错误样本中被人工客户端修改为正确标注结果的样本的比例大于等于预设阈值，可以认为人工客户端没有出现异常，反之，若错误样本中被人工客户端修改为正确标注结果的样本的比例小于预设阈值，则表示人工客户端出现了异常。进一步的，还可以通过错误样本中被人工客户端修改为正确标注结果的样本的比例，来推断人工客户端对整个待处理样本集的标注准确率，例如将第二比例作为人工客户端的标注准确率。

根据错误样本中被人工客户端修改为正确标注结果的样本的比例，用来判断人工客户端是否存在异常，以及用来表征人工客户端的标注准确率，相比于上一种实现方式更加准确。

类似的，确定所述错误样本中被所述人工客户端修改为正确标注结果的样本的比例，可以有如下两种方式：

方式一：对于经人工客户端审核后的所述待处理样本集，首先获取各个错误样本，然后判断人工客户端将标注结果修改为正确标注结果的样本的数量，进而获取所述错误样本中被所述人工客户端修改为正确标注结果的样本的比例；

方式二：对于经人工客户端审核后的所述待处理样本集，首先可以判断人工客户端将哪些样本标注结果修改为正确标注结果，然后统计出这些样本中哪些是属于错误样本的，进而获取错误样本中被所述人工客户端修改为正确标注结果的样本的比例。

当判断出第一比例大于预设阈值，或第二比例大于预设阈值时，可以判定人工客户端处于异常状态，同时也表示人工客户端的标注准确率达不到期望值，因此可以对人工客户端进行修正，以使其标注准确率符合要求。

其中，所述预设阈值为预先设置的所述人工客户端的目标审核准确率，例如，设置预设阈值为90％。即如果需要一个达到至少90％准确率的标注集，那么混入的错误样本经所述人工客户端审核后的标注准确率也至少要达到90％。

综上所述，本实施例将预设数量个错误样本加入一测试样本集组成待处理样本集，将待处理样本集发给人工客户端进行审核，这样只需要检查人工客户端对错误样本的审核结果即可推断人工客户端对整个待处理样本集的标注准确率，而不需要统计人工客户端对整个待处理样本集的标注情况来确定标注准确率，从而实现了快速确定人工客户端是否处于异常状态，并且缩短了统计时间，降低了费用成本。

相应于上述利用错误样本检查人工客户端状态的方法实施例，本发明一实施例还提供了一种利用错误样本检查人工客户端状态的装置，图2是本发明一实施例提供的一种利用错误样本检查人工客户端状态的装置的结构示意图。请参考图2，一种利用错误样本检查人工客户端状态的装置可以包括：

获取模块201，用于获取预设数量个错误样本，并加入一测试样本集中，组成待处理样本集；其中，所述错误样本预先标注有错误标注结果，所述测试样本集中的样本预先标注有标注结果；

审核模块202，用于将所述待处理样本集发送给人工客户端，以便所述人工客户端对所述待处理样本集中各个样本的标注结果进行审核；

检查模块203，用于根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态。

本实施例将预设数量个错误样本加入一测试样本集组成待处理样本集，将待处理样本集发给人工客户端进行审核，这样只需要检查人工客户端对错误样本的审核结果即可推断人工客户端对整个待处理样本集的标注准确率，而不需要统计人工客户端对整个待处理样本集的标注情况来确定标注准确率，从而实现了快速确定人工客户端是否处于异常状态，并且缩短了统计时间，降低了费用成本。

可选的，所述审核模块202中人工客户端对所述待处理样本集中各个样本的标注结果进行审核，包括：

针对所述待处理样本集中每一样本，所述人工客户端判断所标注的标注结果是否正确；如果否，则对该样本所标注的标注结果进行修改。

可选的，所述检查模块203，具体用于：

针对所述预设数量个错误样本中的每一样本，判断所述人工客户端是否对该样本的标注结果进行了修改；获取所述预设数量个错误样本中被修改了标注结果的错误样本的比例，作为第一比例；若所述第一比例小于预设阈值，则判定所述人工客户端处于异常状态。

可选的，所述装置还包括：

第一确定模块，用于根据所述第一比例确定所述人工客户端的标注准确率。

可选的，所述检查模块203，具体用于：

针对所述预设数量个错误样本中的每一错误样本，判断所述人工客户端是否将该样本的错误标注结果修改为正确标注结果；获取所述预设数量个错误样本中被所述人工客户端修改为正确标注结果的错误样本的比例，作为第二比例；若所述第二比例小于预设阈值，则判定所述人工客户端处于异常状态。

可选的，所述装置还包括：

第二确定模块，用于根据所述第二比例确定所述人工客户端的标注准确率。

可选的，所述预设数量大于等于最小样本抽取数量N；

其中，N＝Z2×(P×(1-P))/E2；Z表示与置信度相关的统计量，置信度为所述人工客户端的审核准确率落入预设的置信区间的概率；E表示预设的抽样误差值；P表示所述测试样本集中样本标注的准确率。

可选的，所述预设阈值为预先设置的所述人工客户端的目标审核准确率。

可选的，所述获取模块获取预设数量个错误样本，具体为：

从错误样本库中获取预设数量个错误样本，其中，所述错误样本库包含标注有错误标注结果的样本。

可选的，所述装置还包括：

生成模块，用于提取所述错误样本库中错误样本的特征，根据所提取的特征生成新的错误样本，并将生成的新错误样本加入所述错误样本库中。

本发明一实施例还提供了一种电子设备，图3是本发明一实施例提供的一种电子设备的结构示意图。请参考图3，一种电子设备包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，

存储器303，用于存放计算机程序；

处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：

获取预设数量个错误样本，并加入一测试样本集中，组成待处理样本集；其中，所述错误样本预先标注有错误标注结果，所述测试样本集中的样本预先标注有标注结果；

将所述待处理样本集发送给人工客户端，以便所述人工客户端对所述待处理样本集中各个样本的标注结果进行审核；

根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态。

关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1所示的方法实施例，在此不做赘述。

另外，处理器301执行存储器303上所存放的程序而实现的利用错误样本检查人工客户端状态的方法的其他实现方式，与前述方法实施例部分所提及的实现方式相同，这里也不再赘述。

本实施例将预设数量个错误样本加入一测试样本集组成待处理样本集，将待处理样本集发给人工客户端进行审核，这样只需要检查人工客户端对错误样本的审核结果即可推断人工客户端对整个待处理样本集的标注准确率，而不需要统计人工客户端对整个待处理样本集的标注情况来确定标注准确率，从而实现了快速确定人工客户端是否处于异常状态，并且缩短了统计时间，降低了费用成本。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明一实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时实现上述的利用错误样本检查人工客户端状态的方法的步骤。

本实施例将预设数量个错误样本加入一测试样本集组成待处理样本集，将待处理样本集发给人工客户端进行审核，这样只需要检查人工客户端对错误样本的审核结果即可推断人工客户端对整个待处理样本集的标注准确率，而不需要统计人工客户端对整个待处理样本集的标注情况来确定标注准确率，从而实现了快速确定人工客户端是否处于异常状态，并且缩短了统计时间，降低了费用成本。

需要说明的是，本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (20)

1.一种利用错误样本检查人工客户端状态的方法，其特征在于，所述方法包括：

获取预设数量个错误样本，并加入一测试样本集中，组成待处理样本集；其中，所述错误样本预先标注有错误标注结果，所述测试样本集中的样本预先标注有标注结果；

将所述待处理样本集发送给人工客户端，以便所述人工客户端对所述待处理样本集中各个样本的标注结果进行审核；

根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态。

2.如权利要求1所述的利用错误样本检查人工客户端状态的方法，其特征在于，所述人工客户端对所述待处理样本集中各个样本的标注结果进行审核，包括：

针对所述待处理样本集中每一样本，所述人工客户端判断所标注的标注结果是否正确；如果否，则对该样本所标注的标注结果进行修改。

3.如权利要求2所述的利用错误样本检查人工客户端状态的方法，其特征在于，所述根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态，包括：

针对所述预设数量个错误样本中的每一样本，判断所述人工客户端是否对该样本的标注结果进行了修改；

获取所述预设数量个错误样本中被修改了标注结果的错误样本的比例，作为第一比例；

若所述第一比例小于预设阈值，则判定所述人工客户端处于异常状态。

4.如权利要求3所述的利用错误样本检查人工客户端状态的方法，其特征在于，所述方法还包括：

根据所述第一比例确定所述人工客户端的标注准确率。

5.如权利要求2所述的利用错误样本检查人工客户端状态的方法，其特征在于，所述根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态，包括：

针对所述预设数量个错误样本中的每一错误样本，判断所述人工客户端是否将该样本的错误标注结果修改为正确标注结果；

获取所述预设数量个错误样本中被所述人工客户端修改为正确标注结果的错误样本的比例，作为第二比例；

若所述第二比例小于预设阈值，则判定所述人工客户端处于异常状态。

6.如权利要求5所述的利用错误样本检查人工客户端状态的方法，其特征在于，所述方法还包括：

根据所述第二比例确定所述人工客户端的标注准确率。

7.如权利要求1所述的利用错误样本检查人工客户端状态的方法，其特征在于，所述预设数量大于等于最小样本抽取数量N；

其中，N＝Z²×(P×(1-P))/E²；Z表示与置信度相关的统计量，置信度为所述人工客户端的审核准确率落入预设的置信区间的概率；E表示预设的抽样误差值；P表示所述测试样本集中样本标注的准确率。

8.如权利要求3或5所述的利用错误样本检查人工客户端状态的方法，其特征在于，所述预设阈值为预先设置的所述人工客户端的目标审核准确率。

9.如权利要求1-7任一项所述的利用错误样本检查人工客户端状态的方法，其特征在于，所述获取预设数量个错误样本，包括：

从错误样本库中获取预设数量个错误样本，其中，所述错误样本库包含标注有错误标注结果的样本。

10.如权利要求9所述的利用错误样本检查人工客户端状态的方法，其特征在于，所述方法还包括：

提取所述错误样本库中错误样本的特征，根据所提取的特征生成新的错误样本，并将生成的新错误样本加入所述错误样本库中。

11.一种利用错误样本检查人工客户端状态的装置，其特征在于，所述装置包括：

获取模块，用于获取预设数量个错误样本，并加入一测试样本集中，组成待处理样本集；其中，所述错误样本预先标注有错误标注结果，所述测试样本集中的样本预先标注有标注结果；

审核模块，用于将所述待处理样本集发送给人工客户端，以便所述人工客户端对所述待处理样本集中各个样本的标注结果进行审核；

检查模块，用于根据所述人工客户端对所述预设数量个错误样本的审核结果，检查所述人工客户端是否处于异常状态。

12.如权利要求11所述的利用错误样本检查人工客户端状态的装置，其特征在于，所述审核模块中人工客户端对所述待处理样本集中各个样本的标注结果进行审核，包括：

针对所述待处理样本集中每一样本，所述人工客户端判断所标注的标注结果是否正确；如果否，则对该样本所标注的标注结果进行修改。

13.如权利要求12所述的利用错误样本检查人工客户端状态的装置，其特征在于，所述检查模块，具体用于：

针对所述预设数量个错误样本中的每一样本，判断所述人工客户端是否对该样本的标注结果进行了修改；获取所述预设数量个错误样本中被修改了标注结果的错误样本的比例，作为第一比例；若所述第一比例小于预设阈值，则判定所述人工客户端处于异常状态。

14.如权利要求12所述的利用错误样本检查人工客户端状态的装置，其特征在于，所述检查模块，具体用于：

针对所述预设数量个错误样本中的每一错误样本，判断所述人工客户端是否将该样本的错误标注结果修改为正确标注结果；获取所述预设数量个错误样本中被所述人工客户端修改为正确标注结果的错误样本的比例，作为第二比例；若所述第二比例小于预设阈值，则判定所述人工客户端处于异常状态。

15.如权利要求11所述的利用错误样本检查人工客户端状态的装置，其特征在于，所述预设数量大于等于最小样本抽取数量N；

其中，N＝Z²×(P×(1-P))/E²；Z表示与置信度相关的统计量，置信度为所述人工客户端的审核准确率落入预设的置信区间的概率；E表示预设的抽样误差值；P表示所述测试样本集中样本标注的准确率。

16.如权利要求13或14所述的利用错误样本检查人工客户端状态的装置，其特征在于，所述预设阈值为预先设置的所述人工客户端的目标审核准确率。

17.如权利要求11-15任一项所述的利用错误样本检查人工客户端状态的装置，其特征在于，所述获取模块获取预设数量个错误样本，具体为：

从错误样本库中获取预设数量个错误样本，其中，所述错误样本库包含标注有错误标注结果的样本。

18.如权利要求17所述的利用错误样本检查人工客户端状态的装置，其特征在于，所述装置还包括：

生成模块，用于提取所述错误样本库中错误样本的特征，根据所提取的特征生成新的错误样本，并将生成的新错误样本加入所述错误样本库中。

19.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-10任一所述的方法步骤。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一项所述的方法步骤。