CN110781583B - 审核模式优化方法、装置及电子设备 - Google Patents

Abstract

本公开实施例提供了一种审核模式优化方法、装置及电子设备，属于仿真建模技术领域，该方法包括：提供审核过程仿真模型；根据审核结果确定审核模式下任务的准确率以及单位任务人力，其中所述单位任务人力指示所述审核模式下平均一个任务被审核的轮数；以及基于所述准确率以及单位任务人力优化所述审核模式。根据本公开实施例的方法通过仿真实验，对比不同审核模式的优劣，量化成质量、效率、成本指标，引导选择全局最优的审核模式。

Description

审核模式优化方法、装置及电子设备

技术领域

本公开涉及仿真建模技术领域，尤其涉及一种审核模式优化方法、装置及电子设备。

背景技术

仿真是一种对系统问题求数值解的计算技术，尤其当系统无法通过建立数学模型求解时，仿真技术能有效地来处理。仿真环境实验跟现实系统实验的差别在于，仿真实验不是依据实际环境，而是作为实际系统映像的系统模型以及相应的“人造”环境下进行的，通过系统的仿真，对一些难以建立物理模型和数学模型的对象系统，可通过仿真模型来顺利地解决预测、分析和评价等系统问题，可以把一个复杂系统降阶成若干子系统以便于分析。通过系统仿真实验能启发新的思想或产生新的模式，还能暴露出原系统中隐藏着的一些问题，以便及时解决。

随着互联网技术的发展，大量的互联网资源被上传到网络平台上，对于这些上传的互联网资源，需要进行审核以确保其满足平台和国家法律的要求。现阶段，对于这些内容的审核多采用机器审核和人工审核相结合的方式。对于审核的质量，设置有一系列的质量指标，诸如整体的审核准确率、盲审准确率、召回率、下架率、模拟事故投放准确率、漏放率等。

通过对审核过程的仿真建模，以及审核员的审核行为(审核员准确率、规避率、作弊率、审核效率等，每个审核员都不是完全相同的，可以基于分布情况进行仿真)、各审核队列任务难度系数、审核模式、审核规则的建模与仿真，建立起审核仿真环境，基于该审核仿真环境可以例如优化审核过程，并将仿真实验结果可视化。

发明内容

有鉴于此，本公开实施例提供一种审核模式优化方法、装置及电子设备，以至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种审核模式优化方法，所述方法包括：

提供审核过程仿真模型，所述审核过程仿真模型包括：

参数设置模块，被配置为设置所述审核过程仿真模型的参数，所述参数包括审核模式、审核员数据以及审核任务，所述审核模式包括与所述审核模式对应的抽样率，所述审核员数据包括审核员人数以及审核员的正确率，所述审核任务包含任务数量；

任务分配模块，根据所述审核模式将所述任务按顺序随机提供给带正确率标签的审核员；以及

审核结果确定模块，根据所述带正确率标签的审核员的正确率确定分配给所述审核员的任务的审核结果，

根据所述审核结果确定所述审核模式下所述任务的准确率以及单位任务人力，其中所述单位任务人力指示所述审核模式下平均一个任务被审核的轮数；以及

基于所述准确率以及单位任务人力优化所述审核模式。

根据本公开实施例的一种具体实现方式，所述审核模式包括以下中的至少一种：

质检，所述质检为按照所述抽样率随机抽出任务分配给不同初审人员进行盲审，并且在初审与盲审结果不一致的情况下将所述任务分给有质检权限的人员进行审核；

双审，所述双审与抽样率为1的质检等效；

抽检，所述抽检按照所述抽样率进行随机抽检，并将抽检出的任务分配给有抽检权限的人员进行审核；以及

标注，所述标注将任务分配给一个或多个不同的审核人员进行审核。

根据本公开实施例的一种具体实现方式，所述根据所述带正确率标签的审核员的正确率确定分配给所述审核员的任务的审核结果，包括：

给定在区间(0，1)内的随机数；

如果所述随机数小于所述带正确率标签的审核员的正确率，则确定分配给所述审核员的任务的审核结果为正确；并且

如果所述随机数不小于所述带正确率标签的审核员的正确率，则确定分配给所述审核员的任务的审核结果为错误。

根据本公开实施例的一种具体实现方式，通过如下步骤获得所述审核员的准确率：

获取历史审核员数据，所述历史审核员数据包括审核的准确率；

计算历史审核员数据中的准确率的平均值与方差，并根据计算出的参数对准确率进行建模，以获得审核员的准确率模型。

根据本公开实施例的一种具体实现方式，所述审核员包括具有质检权限的审核员和没有质检权限的审核员，并且所述获得审核员的准确率模型，包括：

分别获得所述具有质检权限的审核员的准确率模型和所述没有质检权限的审核员的准确率模型。

根据本公开实施例的一种具体实现方式，所述计算历史审核员数据中的准确率的平均值与方差，并根据计算出的参数对准确率进行建模，包括：

判断所述历史审核员数据中的准确率是否符合正态分布模型；以及

使用正态分布模型对所述历史审核员数据中的准确率进行建模。

根据本公开实施例的一种具体实现方式，所述根据所述审核结果确定所述审核模式下所述任务的准确率，包括：

计算所述审核任务所包含的所有任务中审核结果为正确的比例；以及

确定所述审核模式下所述准确率随抽样率的变化。

根据本公开实施例的一种具体实现方式，在所述审核模式为标注的情况下，确定所述标注的次数与准确率之间的关系，其中所述标注的次数与所述任务被分配给的审核员的人数对应。

根据本公开实施例的一种具体实现方式，所述基于所述准确率以及单位任务人力优化所述审核模式，包括：

基于准确率要求，计算各审核模式下的单位任务人力随抽样率的变化；以及

将单位任务人力最小时所对应的抽样率作为该审核模式下的抽样率。

根据本公开实施例的一种具体实现方式，所述根据所述审核结果确定所述审核模式下所述任务的单位任务人力，包括：

设置步长对所述任务进行离散抽样，并将预定轮实验的单位任务人力的平均值作为所述审核模式下的单位任务人力。

根据本公开实施例的一种具体实现方式，所述基于所述准确率以及单位任务人力优化所述审核模式，包括：

计算给定准确率下各审核模式的单位任务人力，并将单位任务人力最小的审核模式作为最优审核模式。

根据本公开实施例的一种具体实现方式，所述基于所述准确率以及单位任务人力优化所述审核模式，包括：

计算准确率满足预定条件的情况下各审核模式的单位任务人力，并将单位任务人力最小的审核模式作为最优审核模式。

第二方面，本公开实施例提供了一种审核模式优化装置，该装置包括：

审核仿真模块，所述审核仿真模块包括：

参数设置模块，被配置为设置所述审核过程仿真模型的参数，所述参数包括审核模式、审核员数据以及审核任务，所述审核模式包括与所述审核模式对应的抽样率，所述审核员数据包括审核员人数以及审核员的正确率，所述审核任务包含任务数量；

任务分配模块，根据所述审核模式将所述任务按顺序随机提供给带正确率标签的审核员；以及

审核结果确定模块，根据所述带正确率标签的审核员的正确率确定分配给所述审核员的任务的审核结果，

确定模块，被配置为根据所述审核结果确定所述审核模式下所述任务的准确率以及单位任务人力，其中所述单位任务人力指示所述审核模式下平均一个任务被审核的轮数；以及

优化模块，基于所述准确率以及单位任务人力优化所述审核模式。

第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：

至少一个处理器；以及，

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的审核模式优化方法。

第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的审核模式优化方法。

第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的审核模式优化方法。

本公开实施例中的审核模式优化方法包括：提供审核过程仿真模型，所述审核过程仿真模型包括：参数设置模块，被配置为设置所述审核过程仿真模型的参数，所述参数包括审核模式、审核员数据以及审核任务，所述审核模式包括与所述审核模式对应的抽样率，所述审核员数据包括审核员人数以及审核员的正确率，所述审核任务包含任务数量；任务分配模块，根据所述审核模式将所述任务按顺序随机提供给带正确率标签的审核员；以及审核结果确定模块，根据所述带正确率标签的审核员的正确率确定分配给所述审核员的任务的审核结果，根据所述审核结果确定所述审核模式下所述任务的准确率以及单位任务人力，其中所述单位任务人力指示所述审核模式下平均一个任务被审核的轮数；以及基于所述准确率以及单位任务人力优化所述审核模式。根据本公开实施例的方法通过仿真实验，对比不同审核模式的优劣，量化成质量、效率、成本指标，引导选择全局最优的审核模式。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本公开实施例提供的一种审核模式优化方法的流程图；

图2为本公开实施例提供的审核过程仿真模型的框图；

图3为本公开实施例提供的根据审核员的正确率来确定分配给该审核员的任务的审核结果的流程图；

图4为本公开实施例提供的获得审核员的准确率的流程图；

图5为本公开实施例提供的设置审核任务的流程图；

图6为本公开实施例提供的审核模式优化装置的框图；并且

图7为本公开实施例提供的电子设备示意图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本公开实施例提供一种审核模式优化方法。本实施例提供的审核模式优化方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。

参见图1，本公开实施例提供的一种审核模式优化方法，包括：

S100：提供审核过程仿真模型。

在本公开实施例中，通过仿真模型来对审核过程进行仿真，通过仿真，来对审核过程进行优化。

参见图2，示出了本公开实施例提供的一种审核过程仿真模型(装置)200，审核过程仿真模型200包括参数设置模块201、任务分配模块202和审核结果确定模块203。

参数设置模块201设置审核过程仿真模型200的参数，参数包括审核模式、审核员数据以及审核任务。

审核模式例如可以包括质检、双审、抽检、标注和自定义等等。

质检为按照一定的抽样率随机抽出任务分配给不同初审人员进行盲审，并且在初审与盲审结果不一致的情况下将所述任务分给有质检权限的人员进行审核；双审可以与抽样率为1的质检等效；抽检是按照一定的抽样率进行随机抽检，并将抽检出的任务分配给有抽检权限的人员进行审核；并且标注将任务分配给一个或多个不同的审核人员进行审核，例如将任务分配给n个不同的审核人员进行审核。

审核员数据例如可以包括审核员人数、审核员的正确率以及正确率的方差。审核员人数是为审核任务所配置的审核员的数量。

审核任务例如可以包括总任务数、每个任务的可选择数、任务进审频度(即，多少秒进审1个任务)、任务难度因子均值以及任务难度方差(其可以通过平均准确率反应)。

在本公开实施例中，在设置审核模式、审核员数据以及审核任务的过程中，还需要设置诸如抽样率、标注次数之类的参数，这些参数例如是在设置审核模式时需要设置的参数。

另外，参数设置模块201还可以设置规避率平均值、规避率方差、审核员任务平均审核时长平均值、审核员任务平均审核时长方差、审核员审核总时长工作总时长比值以及外包质检正确率之类的参数。

此外，参数设置模块201还可以设置限制性的参数，例如准确率大小限制(例如，最大0.999，最小0.5)、规避率大小限制(例如，最大0.2，最小0.01)、任务平均审核时长大小限制(例如，最大50，最小0.1)等等。也就是说，在审核过程仿真时，必须满足所设置的限制性参数。

任务分配模块202根据审核模式将任务按顺序随机提供给带正确率标签的审核员。

在通过参数设置模块201设置了审核过程仿真模型的参数之后，任务分配模块202根据所设置的参数将这些任务分配给审核员进行审核。

在本公开实施例中，所提供的任务带有正确答案标签，即只有当审核员审核该任务并给出该任务的正确答案之后，才被判定为审核正确。此外，对于所提供的审核员，每个审核员具有一定的准确率，在本公开实施例中，所提供的审核员还已知其审核正确率，即所提供的审核员还具有正确率标签。正确率可以是确定的值，可替代地，正确率可以是满足特定分布的随机数。在本公开实施例中，正确率是根据历史数据获得的满足正态分布的随机数。

审核结果确定模块300根据带正确率标签的审核员的正确率确定分配给该审核员的任务的审核结果。

在通过任务分配模块202提供了审核任务和审核员之后，开始根据在参数设置模块201中设置的审核模式对提供的审核任务进行审核。例如在审核模式为抽检的情况下，按照抽检的抽样率将所提供的任务按顺序随机提供给审核员，具体地，提供给具有抽检权限的审核员。

在本公开实施例中，在审核模式的前提下(也受到抽检率的限制)，一般不会存在一个任务被提供给同一个审核员多次的情况。如果出现不符合审核模式的情况，则跳过该任务，进而判断下一个任务是否符合审核模式。

审核结果确定模块204根据所述带正确率标签的审核员的正确率确定分配给所述审核员的任务的审核结果。

在将任务分配给审核员之后，需要判断该审核员对该任务的审核结果。在本公开实施例中，根据该任务所分配的审核员的正确率来确定该任务的审核结果。

参见图3，根据审核员的正确率来确定分配给该审核员的任务的审核结果的步骤包括：

S301：给定在区间(0，1)内的随机数。该随机数例如可以用随机生成器来生成。

S302：判断所生成的随机数与审核员的正确率的大小关系。如上所述，在本公开实施例中，审核员的正确率例如可以是确定的数值，并且还可以是满足特定分布的随机数。

S303：在随机数小于审核员的正确率的情况下，则确定该任务的审核结果为正确。否则，确定该任务的审核结果为错误。

根据本公开实施例的审核过程仿真模型200能够模拟各种审核模式、不同审核人员数据情况下的正确率等指标。

S200：根据所述审核结果确定所述审核模式下所述任务的准确率以及单位任务人力，其中所述单位任务人力指示所述审核模式下平均一个任务被审核的轮数。在通过所提供的审核过程仿真模型获得了所设置的任务的审核结果之后，根据所述审核结果确定所述审核模式下所述任务的准确率以及单位任务人力。

在获得了所设置的任务的审核结果(正确或错误)之后，统计所有这些任务的准确率。具体地，统计所有任务中通过图3所示的方法得到的审核结果为正确的任务的比例，并且统计审核的总人次与所审核的任务数的比值，即单位任务人力。在本公开实施例中，单位任务人力指示所述审核模式下平均一个任务被审核的轮数。

S300：基于所述准确率以及单位任务人力优化所述审核模式。

在本公开实施例中，通过审核过程仿真模型模拟得到各审核模式下，对于所设置的参数条件下的准确率以及单位任务人力，可以获得各种审核模式下的最优参数，例如准确率最高或者单位任务人力最少。

可替代地，可以在满足准确率最高或者单位任务人力最少的条件下，选择最优的审核模式。

也就是说，在本公开实施例中，基于准确率以及单位任务人力优化审核模式。

根据本公开实施例的审核过程仿真模型的审核模式优化方法，通过仿真实验，对比不同审核模式的优劣，量化成质量、效率、成本指标，引导选择全局最优的审核模式。

此外，在本公开实施例中，可以通过参数设置模块201设置诸如盲审比率、抽样率之类的参数，可以检验这些参数对最终准确率及质量指标的影响(由于实际抽检、质检人员的准确率并不是100％正确，也是有一定的分布，基于这个分布模型进行仿真建模，可以从多个维度指导抽检比率的选择)。

另外，可以根据某段时间不同时刻的进审量、审出量及审核员，判断某段时间队列人员是否处于不饱和状态(领不到任务)，基于队列人员饱和程度进行人员调配，减少人力成本。

另外，还可以根据本公开实施例的方法判断审核系统是否高效，比如一个任务特别难，是否应该让审核员上报到另一个队列，还是规避该任务、还是强制决断，对质量是否有影响，有多大的影响等。

再者，还可以通过本公开实施例的方法检验队列维度及个人维度的一致率、准确率相关性有多大，任务量大于多少，一致率与准确率强相关，是否任务量足够大时，用一致率指标可以衡量准确率指标等，是否实验结果违背实际的审核情况，比如有些任务很难，审核员都共性犯错。

根据本公开实施例的一种具体实现方式，在所提供的任务被分配给审核员并确定了该审核员的审核结果之后，对审核该任务的审核员进行记录，并且更新该任务的状态。

具体地，为了统计和显示该模型的结果，需要对审核结果进行记录。在本公开中，至少记录审核任务的审核员。应当理解，除了记录审核任务的审核员之外，还可以记录其他结果，例如审核结果正确与否等等。

此外，对于审核任务，其会存在不同的阶段。在本公开实施例中，显示审核任务所处的审核阶段，例如开启状态、解决中状态、结束状态和废弃阶段等等。开启状态是指任何任务能够被分配给审核员，例如在通过参数设置模块201设置了审核任务之后，这些审核任务即可被初始化为初始状态。解决中状态指示审核任务正被审核，结束状态指示审核任务已审核结束，并且废弃状态指示审核任务被废弃。例如，对于一个任务，其不符合所设置的审核模式，则可将该任务废弃。

另外，由于审核模式包含质检、标注等，这些模式要求单个审核任务进行多次审核。在这种情况下，审核任务的状态还可以包括任务抽中待盲审状态、待质检状态等等。

应当注意，审核任务的状态不限于以上所列的状态，而且还可以包括其他的状态。

根据本公开实施例的一种具体实现方式，在根据审核模式将所有任务分配给审核员并确定了审核员的审核结果之后，计算所述审核模式下的正确率、一致率和耗费人力。

对于所设置的审核模式、审核员人数和审核任务等参数，在基于所选择的审核模式完成对审核任务的审核之后，对该审核模式下的正确率、一致率和所耗费的人力等参数进行统计。

正确率例如可以是审核员审核结果为正确的任务数量与总任务数量的比例，其范围在0～1的范围内。

一致率是指在相同条件下对同一任务审核结果的一致程度。例如，在标注模式下，一个任务被分配给n个审核员，则可以统计该任务的一致程度。

耗费人力例如可以是完成所设置的任务所需要的人数，耗费人力例如可以可以与成本对应。

此外，在根据所设置的审核模式将所有任务分配给审核员并确定了审核员的审核结果之后，显示所述审核模式下的审核情况。审核情况例如可以包括审核的正确率、一致率和耗费人力等等。

对于所设置的参数，例如可以通过echart之类的工具显示审核结果，并基于审核结果确定审核模式。例如，在正确率相同的条件下可以选择单位人力最少的审核模式。此外，还可以判断个人维度与整体维度的抽样率是否符合预期。

根据本公开实施例的一种具体实现方式，审核员的准确率例如可以是针对单个审核员所设置的准确率。也就是说，针对每个审核员设置准确率。可替代地，审核员的准确率可以是在个人维度和整体维度均满足特定分布的准确率。在本公开实施例中，通过设置审核员的准确率的分布来确定审核员的准确率。在这种情况下，单个审核员的准确率满足所述分布，并且在设置了审核员人数的情况下，这些一定数量的审核员的准确率也满足特定分布。

参见图4，示出了获得审核员的准确率的步骤。

S401：获取历史审核员数据，所述历史审核员数据包括审核的准确率。此外，历史审核员数据还可以包括一致率、已审数、质检数等数据。

S402：计算历史审核员数据中的准确率的平均值与方差，并根据计算出的参数对准确率进行建模，以获得审核员的准确率模型。

在通过历史审核员数据获得了审核员的准确率模型之后，即可得到每个审核员的准确率。在这种情况下，单个审核员的准确率满足该准确率模型，并且多个审核员的整体准确率分布也满足该准确率模型。

此外，在本公开实施例中，可以对审核员进行分类，并分别对不同类别的审核员的准确率进行建模。具体地，可以将审核员分为具有质检权限的审核员和没有质检权限的审核员，并且可以通过图4的步骤分别获得具有质检权限的审核员的准确率模型和没有质检权限的审核员的准确率模型。

根据本公开实施例的一种具体实现方式，可以判断历史审核员数据中的准确率是否符合正态分布模型，并且在满足正态分布的情况下，用正态分布模型对所述历史审核员数据中的准确率进行建模。

检验方法例如可以采用K-S检验、W检验等等，这些检验方法的具体过程在此不作赘述。如此，在历史审核员数据中的准确率符合正态分布的情况下，则参数设置模块201设置的带正确率标签的审核员的正确率可以满足该正态分布，并且对于一定数量的审核员，其整体的正确率分布也满足正态分布。如此，可以将审核员的准确率分布设置为满足正态分布，并可以向单个审核员分配0～1之间的满足正态分布的准确率来设置审核员的准确率。

虽然在以上以具有质检权限的审核员和没有质检权限的审核员对审核员的类别进行了换分，但本公开实施例不限于此，而且还可以根据是否有权限进行标注等进行划分。

根据本公开实施例的一种具体实现方式，通过图5所示的步骤来设置审核任务。

S501：设置总任务数以及每个任务的可选择数。在本公开实施例中，需要设置需要完成的任务的数量，以及每个任务的可选择数，如此，在根据审核模式完成所有任务的审核之后才结束审核过程。

S502：初始化任务状态以将任务状态设置为开启状态，所述开启指示所述任务能够被分配给审核员。在设置了审核任务之后，初始化审核任务，具体地，将审核任务的状态设置为开启状态，以允许这些任务被分配给审核员以供审核。

S503：对每个任务标记答案标签，并且其中所述答案标签对于审核员不可见。

为了判断审核员是否正确地对任务进行了审核，需要知道每个任务的正确答案，并将该正确答案与审核员的判断结果进行比较以确定审核员的审核准确性。

具体地，在本公开实施例中，为每个任务设置答案标签，并且这些答案标签对于审核员是不可见的，以免影响审核员的审核过程。

根据本公开实施例的一种具体实现方式，在审核模式为标注的情况下，确定标注的次数与准确率之间的关系，其中所述标注的次数与所述任务被分配给的审核员的人数对应，也就是说，任务被分配给审查员一次，被标注一次。

通过图1所示的方法，对于标注模式，可以得到不同的标注次数下的准确率，从而确定最优的标注次数。例如，所要求的准确率为0.96，通过仿真过程发现只有在标注4次之后才能够使得准确率大于0.96，则可以将标注次数设置为4，如此能够最大程度地节省标注的人力成本。

根据本公开实施例的一种具体实现方式，在计算了所设置的审核任务所包含的所有任务中审核结果为正确的比例之后，还检验准确率随抽样率的变化情况。具体地，可以通过改变审核该模式(例如，质检)下的抽样率，然后计算抽样率改变后的准确率，如此能够得到满足特定准确率条件下的最优抽样率。也即，基于准确率来确定抽样率。

可替代地，可以在满足准确率要求的情况下，计算各中审核模式下的单位任务人力随抽样率的变化。如此，能够在保证准确率的前提下将单位任务人力控制得最小。在这种情况下，可以将单位任务人力最小时所对应的抽样率作为该审核模式下的抽样率。也就是说，对于不同的抽样模式，会设置不同的最优抽样率。

根据本公开实施例的一种具体实现方式，对于单位任务人力的计算，可以设置步长以对所设置的任务进行离散抽样，并且将多轮(预定数)抽样实验的单位任务人力的平均值作为该审核模式下的单位任务人力。

在外，在准确率确定的情况下，可以计算各种模式下的单位任务人力，然后将单位任务人力最小的审核模式作为最优审核模式，如此能够在保证准确率的前提下最大限度地降低人力成本。

此外，对于准确率需要满足预定条件的情况，可以计算各种模式下的单位任务人力，然后将单位任务人力最小的审核模式作为最优审核模式，如此能够在保证准确率的前提下最大限度地降低人力成本。

对于准确率满足特定值和满足预定条件(例如，大于预定值)的情况，通过仿真可能得出在选择不同的审核模式时能够最大程度地降低单位任务人力的结论，如此针对不同的要求可以选择不同的审核模式。

根据本公开实施例的方法通过仿真实验，对比不同审核模式的优劣，量化成质量、效率、成本指标，引导选择全局最优的审核模式。

图6示出了根据本公开实施例的审核模式优化装置600的框图，该审核模式优化装置600包括：

审核仿真模块601，所述审核仿真模块包括：

参数设置模块，被配置为设置所述审核过程仿真模型的参数，所述参数包括审核模式、审核员数据以及审核任务，所述审核模式包括与所述审核模式对应的抽样率，所述审核员数据包括审核员人数以及审核员的正确率，所述审核任务包含任务数量；

任务分配模块，根据所述审核模式将所述任务按顺序随机提供给带正确率标签的审核员；以及

审核结果确定模块，根据所述带正确率标签的审核员的正确率确定分配给所述审核员的任务的审核结果，

确定模块602，被配置为根据所述审核结果确定所述审核模式下所述任务的准确率以及单位任务人力，其中所述单位任务人力指示所述审核模式下平均一个任务被审核的轮数；以及

优化模块603，基于所述准确率以及单位任务人力优化所述审核模式。

图6所示装置可以对应的执行上述方法实施例中的内容，本实施例未详细描述的部分，参照上述方法实施例中记载的内容，在此不再赘述。

参见图7，本公开实施例还提供了一种电子设备70，该电子设备包括：

至少一个处理器；以及，

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法实施例中的审核模式优化方法。

本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述方法实施例中的审核模式优化方法。

本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述方法实施例中的审核模式优化方法。

下面参考图7，其示出了适于用来实现本公开实施例的电子设备70的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，电子设备70可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备70操作所需的各种程序和数据。处理装置701、ROM702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备70与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备70，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 602被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。

或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种审核模式优化方法，其特征在于，所述方法包括：

提供审核过程仿真模型，所述审核过程仿真模型包括：

参数设置模块，被配置为设置所述审核过程仿真模型的参数，所述参数包括审核模式、审核员数据以及审核任务，所述审核模式包括与所述审核模式对应的抽样率，所述审核员数据包括审核员人数以及审核员的正确率，所述审核任务包含任务数量；

任务分配模块，根据所述审核模式将所述任务按顺序随机提供给带正确率标签的审核员；以及

审核结果确定模块，根据所述带正确率标签的审核员的正确率确定分配给所述审核员的任务的审核结果，

根据所述审核结果确定所述审核模式下所述任务的准确率以及单位任务人力，其中所述单位任务人力指示所述审核模式下平均一个任务被审核的轮数；以及

基于所述准确率以及单位任务人力优化所述审核模式。

2.根据权利要求1所述的审核模式优化方法，其特征在于，所述审核模式包括以下中的至少一种：

质检，所述质检为按照所述抽样率随机抽出任务分配给不同初审人员进行盲审，并且在初审与盲审结果不一致的情况下将所述任务分给有质检权限的人员进行审核；

双审，所述双审与抽样率为1的质检等效；

抽检，所述抽检按照所述抽样率进行随机抽检，并将抽检出的任务分配给有抽检权限的人员进行审核；以及

标注，所述标注将任务分配给一个或多个不同的审核人员进行审核。

3.根据权利要求1所述的审核模式优化方法，其特征在于，所述根据所述带正确率标签的审核员的正确率确定分配给所述审核员的任务的审核结果，包括：

给定在区间(0，1)内的随机数；

如果所述随机数小于所述带正确率标签的审核员的正确率，则确定分配给所述审核员的任务的审核结果为正确；并且

如果所述随机数不小于所述带正确率标签的审核员的正确率，则确定分配给所述审核员的任务的审核结果为错误。

4.根据权利要求1所述的审核模式优化方法，其特征在于，通过如下步骤获得所述审核员的准确率：

获取历史审核员数据，所述历史审核员数据包括审核的准确率；

计算历史审核员数据中的准确率的平均值与方差，并根据计算出的参数对准确率进行建模，以获得审核员的准确率模型。

5.根据权利要求4所述的审核模式优化方法，其特征在于，所述审核员包括具有质检权限的审核员和没有质检权限的审核员，并且所述获得审核员的准确率模型，包括：

分别获得所述具有质检权限的审核员的准确率模型和所述没有质检权限的审核员的准确率模型。

6.根据权利要求4所述的审核模式优化方法，其特征在于，所述计算历史审核员数据中的准确率的平均值与方差，并根据计算出的参数对准确率进行建模，包括：

判断所述历史审核员数据中的准确率是否符合正态分布模型；以及

使用正态分布模型对所述历史审核员数据中的准确率进行建模。

7.根据权利要求1所述的审核模式优化方法，其特征在于，所述根据所述审核结果确定所述审核模式下所述任务的准确率，包括：

计算所述审核任务所包含的所有任务中审核结果为正确的比例；以及

确定所述审核模式下所述准确率随抽样率的变化。

8.根据权利要求2所述的审核模式优化方法，其特征在于，在所述审核模式为标注的情况下，确定所述标注的次数与准确率之间的关系，其中所述标注的次数与所述任务被分配给的审核员的人数对应。

9.根据权利要求1所述的审核模式优化方法，其特征在于，所述基于所述准确率以及单位任务人力优化所述审核模式，包括：

基于准确率要求，计算各审核模式下的单位任务人力随抽样率的变化；以及

将单位任务人力最小时所对应的抽样率作为该审核模式下的抽样率。

10.根据权利要求1所述的审核模式优化方法，其特征在于，所述根据所述审核结果确定所述审核模式下所述任务的单位任务人力，包括：

设置步长对所述任务进行离散抽样，并将预定轮实验的单位任务人力的平均值作为所述审核模式下的单位任务人力。

11.根据权利要求1所述的审核模式优化方法，其特征在于，所述基于所述准确率以及单位任务人力优化所述审核模式，包括：

计算给定准确率下各审核模式的单位任务人力，并将单位任务人力最小的审核模式作为最优审核模式。

12.根据权利要求1所述的审核模式优化方法，其特征在于，所述基于所述准确率以及单位任务人力优化所述审核模式，包括：

计算准确率满足预定条件的情况下各审核模式的单位任务人力，并将单位任务人力最小的审核模式作为最优审核模式。

13.一种审核模式优化装置，其特征在于，包括：

审核仿真模块，审核仿真模块包括：

参数设置模块，被配置为设置审核过程仿真模型的参数，所述参数包括审核模式、审核员数据以及审核任务，所述审核模式包括与所述审核模式对应的抽样率，所述审核员数据包括审核员人数以及审核员的正确率，所述审核任务包含任务数量；

任务分配模块，根据所述审核模式将所述任务按顺序随机提供给带正确率标签的审核员；以及

审核结果确定模块，根据所述带正确率标签的审核员的正确率确定分配给所述审核员的任务的审核结果，

确定模块，被配置为根据所述审核结果确定所述审核模式下所述任务的准确率以及单位任务人力，其中所述单位任务人力指示所述审核模式下平均一个任务被审核的轮数；以及

优化模块，基于所述准确率以及单位任务人力优化所述审核模式。

14.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1-12中任一项所述的审核模式优化方法。

15.一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述权利要求1-12中任一项所述的审核模式优化方法。

Images