CN110765596B - 审核过程仿真模型建模方法、装置及电子设备 - Google Patents

Abstract

本公开实施例中提供了一种审核过程仿真模型建模方法、装置及电子设备，属于仿真建模技术领域，该方法包括：设置所述审核过程仿真模型的参数，所述参数包括审核策略、审核员人数以及审核任务；提供预定数量的带正确答案标签的任务以及带正确率标签的审核员；根据所述审核策略将所述预定数量的带正确答案标签的任务按顺序随机提供给所述带正确率标签的审核员；以及根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果。通过本公开的处理方案，能够优化审核过程、降低审核成本。

Description

审核过程仿真模型建模方法、装置及电子设备

技术领域

本公开涉及仿真建模技术领域，尤其涉及一种审核过程仿真模型建模方法、核过程仿真模型及电子设备。

背景技术

仿真是一种对系统问题求数值解的计算技术，尤其当系统无法通过建立数学模型求解时，仿真技术能有效地来处理。仿真环境实验跟现实系统实验的差别在于，仿真实验不是依据实际环境，而是作为实际系统映像的系统模型以及相应的“人造”环境下进行的，通过系统的仿真，对一些难以建立物理模型和数学模型的对象系统，可通过仿真模型来顺利地解决预测、分析和评价等系统问题，可以把一个复杂系统降阶成若干子系统以便于分析。通过系统仿真实验能启发新的思想或产生新的策略，还能暴露出原系统中隐藏着的一些问题，以便及时解决。

随着互联网技术的发展，大量的互联网资源被上传到网络平台上，对于这些上传的互联网资源，需要进行审核以确保其满足平台和国家法律的要求。现阶段，对于这些内容的审核多采用机器审核和人工审核相结合的方式。对于审核的质量，设置有一系列的质量指标，诸如整体的审核准确率、盲审准确率、召回率、下架率、模拟事故投放准确率、漏放率等。

通过对审核过程的仿真建模，以及审核员的审核行为(审核员准确率、规避率、作弊率、审核效率等，每个审核员都不是完全相同的，可以基于分布情况进行仿真)、各审核队列任务难度系数、审核策略、审核规则的建模与仿真，建立起审核仿真环境，基于该审核仿真环境可以例如优化审核过程，并将仿真实验结果可视化。

发明内容

有鉴于此，本公开实施例提供一种审核过程仿真模型建模方法、装置及电子设备，以至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种审核过程仿真模型建模方法，所述方法包括：

设置所述审核过程仿真模型的参数，所述参数包括审核策略、审核员人数以及审核任务；

提供预定数量的带正确答案标签的任务以及带正确率标签的审核员，其中所述正确率标签指示所述审核员的正确率；

根据所述审核策略将所述预定数量的带正确答案标签的任务按顺序随机提供给所述带正确率标签的审核员；以及

根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果。

根据本公开实施例的一种具体实现方式，所述根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果，包括：

给定在区间(0，1)内的随机数；

如果所述随机数小于所述带正确率标签的审核员的正确率，则确定所述带正确答案标签的任务的审核结果为正确；并且

如果所述随机数不小于所述带正确率标签的审核员的正确率，则确定所述带正确答案标签的任务的审核结果为错误。

根据本公开实施例的一种具体实现方式，所述方法还包括：

在所述带正确答案标签的任务被分配给审核员并确定了所述审核员的审核结果之后，记录所述任务的审核员并更新所述任务的状态，其中所述任务的状态包括：

开启状态，所述开启指示所述任务能够被分配给审核员；

解决中状态，所述解决中状态指示所述任务正被审核；

结束状态，所述结束状态指示所述任务已审核结束；

废弃状态，所述废弃状态指示所述任务被废弃；

任务抽中待盲审状态，所述任务抽中待盲审状态指示所述任务有待分配以进行盲审；以及

待质检状态，所述待质检状态指示所述任务有待质检。

根据本公开实施例的一种具体实现方式，所述方法还包括：

在根据所述审核策略将所有任务分配给审核员并确定了所述审核员的审核结果之后，计算所述审核策略下的正确率、一致率和耗费人力。

根据本公开实施例的一种具体实现方式，所述方法还包括：

在根据所述审核策略将所有任务分配给审核员并确定了所述审核员的审核结果之后，显示所述审核策略下的审核审核情况，所述审核情况包括所述审核策略下的正确率、一致率和耗费人力。

根据本公开实施例的一种具体实现方式，所述审核策略包括以下中的至少一种：

质检，所述质检为按照所述抽样率随机抽出审核对象分配给不同初审人员进行盲审，并且在初审与盲审结果不一致的情况下将所述审核对象分给有质检权限的人员进行审核；

双审，所述双审与所述抽样率为1的质检等效；

抽检，所述抽检按照所述抽样率进行随机抽检，并将抽检出的审核对象分配给有抽检权限的人员进行审核；以及

标注，所述标注将审核对象分配给一个或多个不同的审核人员进行审核。

根据本公开实施例的一种具体实现方式，通过如下步骤获得所述审核员的准确率：

获取历史审核员数据，所述历史审核员数据包括审核的准确率；

计算历史审核员数据中的准确率的平均值与方差，并根据计算出的参数对准确率进行建模，以获得审核员的准确率模型。

根据本公开实施例的一种具体实现方式，所述提供带正确率标签的审核员，包括：

根据所述审核员人数，利用所述审核员的准确率模型获得所述带正确率标签的审核员。

根据本公开实施例的一种具体实现方式，所述审核员包括具有质检权限的审核员和没有质检权限的审核员，并且所述获得审核员的准确率模型，包括：

分别获得所述具有质检权限的审核员的准确率模型和所述没有质检权限的审核员的准确率模型。

根据本公开实施例的一种具体实现方式，所述计算历史审核员数据中的准确率的平均值与方差，并根据计算出的参数对准确率进行建模，包括：

判断所述历史审核员数据中的准确率是否符合正态分布模型；以及

使用正态分布模型对所述历史审核员数据中的准确率进行建模。

根据本公开实施例的一种具体实现方式，所述设置所述审核过程仿真模型的参数，包括设置审核任务，并且所述设置所述审核任务，包括：

设置总任务数以及每个任务的可选择数；

初始化任务状态以将任务状态设置为开启状态，所述开启指示所述任务能够被分配给审核员；以及

对每个任务标记答案标签，并且其中所述答案标签对于审核员不可见。

第二方面，本公开实施例提供了一种审核过程仿真模型，包括：

参数设置模块，被配置为设置审核过程仿真模型的参数，所述参数包括审核策略、审核员人数以及审核任务；

提供模块，提供预定数量的带正确答案标签的任务以及带正确率标签的审核员，其中所述正确率标签指示所述审核员的正确率；

任务分配模块，根据所述审核策略将所述预定数量的带正确答案标签的任务按顺序随机提供给所述带正确率标签的审核员；以及

审核结果确定模块，根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果。

第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：

至少一个处理器；以及，

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的审核过程仿真方法。

第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的审核过程仿真方法。

第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的审核过程仿真方法。

本公开实施例中的审核过程仿真模型建模方案，包括：设置所述审核过程仿真模型的参数，所述参数包括审核策略、审核员人数以及审核任务；提供预定数量的带正确答案标签的任务以及带正确率标签的审核员；根据所述审核策略将所述预定数量的带正确答案标签的任务按顺序随机提供给所述带正确率标签的审核员；以及根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果。通过本公开的处理方案，能够优化审核过程、降低审核成本。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本公开实施例提供的一种审核过程仿真模型建模方法流程图；

图2为本公开实施例提供的根据审核员的正确率来确定分配给该审核员的任务的审核结果的流程图；

图3为本公开实施例提供的获得审核员的准确率的流程图；

图4为本公开实施例提供的设置审核任务的流程图；

图5为本公开实施例提供的审核过程仿真模型建模装置的框图；

图6为本公开实施例提供的电子设备示意图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本公开实施例提供一种审核过程仿真模型建模方法。本实施例提供的图像质量评估方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。

参见图1，本公开实施例提供的一种审核过程仿真模型建模方法，包括：

S100：设置所述审核过程仿真模型的参数，所述参数包括审核策略、审核员人数以及审核任务。

在本公开实施例中，审核过程仿真模型用于对审核过程进行模拟仿真，在对该模型进行建模的过程中，首先设置该审核过程仿真模型的参数。

该审核过程仿真模型的参数例如可以包括审核策略、审核员人数以及审核任务。

审核策略例如可以包括质检、双审、抽检和标注等等。

质检为按照一定的抽样率随机抽出审核对象分配给不同初审人员进行盲审，并且在初审与盲审结果不一致的情况下将所述审核对象分给有质检权限的人员进行审核；双审可以与抽样率为1的质检等效；抽检是按照一定的抽样率进行随机抽检，并将抽检出的任务分配给有抽检权限的人员进行审核；并且标注将任务分配给一个或多个不同的审核人员进行审核，例如将任务分配给n个不同的审核人员进行审核。

审核员人数是为审核任务所配置的审核员的数量。

审核任务例如可以包括总任务数以及每个任务的可选择数。

在本公开实施例中，在设置审核策略、审核员人数以及审核任务的过程中，还需要设置诸如抽样率、标注次数之类的参数，这些参数例如是在设置审核策略时需要设置的参数。

S200：提供预定数量的带正确答案标签的任务以及带正确率标签的审核员，其中所述正确率标签指示所述审核员的正确率。

在设置了所述审核过程仿真模型的参数之后，提供仿真的任务以及对这些任务进行审核的审核员。

具体地，在本公开实施例中，所提供的任务带有正确答案标签，即只有当审核员审核该任务并给出该任务的正确答案标签之后，才被判定为审核正确。例如对于一个判断正误任务，正确答案为正确，则为该任务设置正确答案标签，即，正确标签。并且当审核员给出的审核结果为正确时判断审核结果为正确。

此外，对于所提供的审核员，每个审核员具有一定的准确率，在本公开实施例中，所提供的审核员还已知其审核正确率，即所提供的审核员还具有正确率标签。正确率可以是确定的值，可替代地，正确率可以是满足特定分布的随机数。在本公开实施例中，正确率是根据历史数据获得的满足正态分布的随机数。

S300：根据所述审核策略将所述预定数量的带正确答案标签的任务按顺序随机提供给所述带正确率标签的审核员。

在通过步骤S200提供了审核任务和审核员之后，开始根据在步骤S100中设置的审核策略对提供的审核任务进行审核。

在本公开实施例中，例如审核策略为抽检的情况下，按照抽检的抽样率将所提供的带正确答案标签的任务按顺序随机提供给审核员，具体地，提供给具有抽检权限的审核员。

在本公开实施例中，在审核策略的前提下(也受到抽检率的限制)，一般不会存在一个任务被提供给同一个审核员多次的情况。如果出现不符合审核策略的情况，则跳过该任务，进而判断下一个任务是否符合审核策略。

S400：根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果。

在将任务分配给审核员之后，需要判断该审核员对该任务的审核结果。在本公开实施例中，根据该任务所分配的审核员的正确率来确定该任务的审核结果。

参见图2，根据审核员的正确率来确定分配给该审核员的任务的审核结果的步骤包括：

S201：给定在区间(0，1)内的随机数。该随机数例如可以用随机生成器来生成。

S202：判断所生成的随机数与审核员的正确率的大小关系。如上所述，在本公开实施例中，审核员的正确率例如可以是确定的数值，并且还可以是满足特定分布的随机数。

S203：在随机数小于审核员的正确率的情况下，则确定该任务的审核结果为正确，即该任务的答案标签。否则，确定该任务的审核结果为错误，即非任务正确答案标签。

根据S100～S400的审核过程仿真模型建模方法所建立的模型能够模拟各种审核策略、不同审核人员数量情况下的正确率等指标，从而能够优化审核过程、降低审核成本。

根据本公开实施例的一种具体实现方式，在所提供的带正确答案标签的任务被分配给审核员并确定了该审核员的审核结果之后，对审核该任务的审核员进行记录，并且更新该任务的状态。

具体地，为了统计和显示该模型的结果，需要对审核结果进行记录。在本公开中，至少记录审核任务的审核员。应当理解，除了记录审核任务的审核员之外，还可以记录其他结果，例如审核结果正确与否等等。

此外，对于审核任务，其会存在不同的阶段。在本公开实施例中，显示审核任务所处的审核阶段，例如开启状态、解决中状态、结束状态和废弃阶段等等。开启状态是指任何任务能够被分配给审核员，例如在步骤S100中设置审核任务之后，这些审核任务即可被初始化为初始状态。解决中状态指示审核任务正被审核，结束状态指示审核任务已审核结束，并且废弃状态指示审核任务被废弃。例如，对于一个任务，其不符合所设置的审核策略，则可将该任务废弃。

另外，由于审核策略包含质检、标注等，这些策略要求单个审核任务进行多次审核。在这种情况下，审核任务的状态还可以包括任务抽中待盲审状态、待质检状态等等。

应当注意，审核任务的状态不限于以上所列的状态，而且还可以包括其他的状态。

根据本公开实施例的一种具体实现方式，在根据审核策略将所有任务分配给审核员并确定了审核员的审核结果之后，计算所述审核策略下的正确率、一致率和耗费人力。

对于在步骤S100中选择的审核策略、审核员人数和审核任务等参数，在基于所选择的审核策略完成对审核任务的审核之后，对该审核策略下的正确率、一致率和所耗费的人力等参数进行统计。

正确率例如可以是审核员审核结果为正确的任务数量与总任务数量的比例，其范围在0～1的范围内。

一致率是指在相同条件下对同一任务审核结果的一致程度。例如，在标注策略下，一个任务被分配给n个审核员，则可以统计该任务的一致程度。

耗费人力例如可以是完成所设置的任务所需要的人数，耗费人力例如可以可以与成本对应。

此外，在根据所设置的审核策略将所有任务分配给审核员并确定了审核员的审核结果之后，显示所述审核策略下的审核情况。审核情况例如可以包括审核的正确率、一致率和耗费人力等等。

对于所设置的参数，例如可以通过echart之类的工具显示审核结果，并基于审核结果确定审核策略。例如，在正确率相同的条件下可以选择单位人力最少的审核策略。此外，还可以判断个人维度与整体维度的抽样率是否符合预期。

根据本公开实施例的一种具体实现方式，审核员的准确率例如可以是针对单个审核员所设置的准确率。也就是说，针对每个审核员设置准确率。可替代地，审核员的准确率可以是在个人维度和整体维度均满足特定分布的准确率。在本公开实施例中，通过设置审核员的准确率的分布来确定审核员的准确率。在这种情况下，单个审核员的准确率满足分布，并且在设置了审核员人数的情况下，这些一定数量的审核员的准确率也满足特定分布。

参见图3，示出了获得审核员的准确率的步骤。

S301：获取历史审核员数据，所述历史审核员数据包括审核的准确率。此外，历史审核员数据还可以包括一致率、已审数、质检数等数据。

S302：计算历史审核员数据中的准确率的平均值与方差，并根据计算出的参数对准确率进行建模，以获得审核员的准确率模型。

在通过历史审核员数据获得了审核员的准确率模型之后，即可得到每个审核员的准确率。在这种情况下，单个审核员的准确率满足该准确率模型，并且多个审核员的整体准确率分布也满足该准确率模型。

此外，在本公开实施例中，可以对审核员进行分类，并分别对不同类别的审核员的准确率进行建模。具体地，可以将审核员分为具有质检权限的审核员和没有质检权限的审核员，并且可以通过图3的步骤分别获得具有质检权限的审核员的准确率模型和没有质检权限的审核员的准确率模型。

根据本公开实施例的一种具体实现方式，可以判断历史审核员数据中的准确率是否符合正态分布模型，并且在满足正态分布的情况下，用正态分布模型对所述历史审核员数据中的准确率进行建模。

检验方法例如可以采用K-S检验、W检验等等，这些检验方法的具体过程在此不作赘述。如此，在历史审核员数据中的准确率符合正态分布的情况下，则在步骤S100中设置的带正确率标签的审核员的正确率可以满足该正态分布，并且对于一定数量的审核员，其整体的正确率分布也满足正态分布。如此，可以将审核员的准确率分布设置为满足正态分布，并可以向单个审核员分配0～1之间的满足正态分布的准确率来设置审核员的准确率。

虽然在以上以具有质检权限的审核员和没有质检权限的审核员对审核员的类别进行了换分，但本公开实施例不限于此，而且还可以根据是否有权限进行标注等进行划分。

根据本公开实施例的一种具体实现方式，通过图4所示的步骤来设置审核任务。

S401：设置总任务数以及每个任务的可选择数。在本公开实施例中，需要设置需要完成的任务的数量，以及每个任务的可选择数，如此，在根据审核策略完成所有任务的审核之后才结束审核过程。

S402：初始化任务状态以将任务状态设置为开启状态，所述开启指示所述任务能够被分配给审核员。在设置了审核任务之后，初始化审核任务，具体地，将审核任务的状态设置为开启状态，以允许这些任务被分配给审核员以供审核。

S403：对每个任务标记答案标签，并且其中所述答案标签对于审核员不可见。

为了判断审核员是否正确地对任务进行了审核，需要知道每个任务的正确答案，并将该正确答案与审核员的判断结果进行比较以确定审核员的审核准确性。

具体地，在本公开实施例中，为每个任务设置答案标签，并且这些答案标签对于审核员是不可见的，以免影响审核员的审核过程。

以上，已经参考附图描述了根据本公开实施例的对审核过程仿真模型进行建模的方法。通过该方法，能够优化审核过程、降低审核成本。

图5示出了根据本公开实施例的审核过程仿真模型建模装置500的框图，该审核过程仿真模型建模装置500包括：

参数设置模块501，被配置为设置审核过程仿真模型的参数，所述参数包括审核策略、审核员人数以及审核任务。

提供模块502，提供预定数量的带正确答案标签的任务以及带正确率标签的审核员，其中所述正确率标签指示所述审核员的正确率。

任务分配模块503，根据所述审核策略将所述预定数量的带正确答案标签的任务按顺序随机提供给所述带正确率标签的审核员。

审核结果确定模块504，根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果。

图5所示装置可以对应的执行上述方法实施例中的内容，本实施例未详细描述的部分，参照上述方法实施例中记载的内容，在此不再赘述。

参见图6，本公开实施例还提供了一种电子设备60，该电子设备包括：

至少一个处理器；以及，

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法实施例中的审核过程仿真模型建模方法。

本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述方法实施例中的审核过程仿真模型建模方法。

本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述方法实施例中的的审核过程仿真模型建模方法。

下面参考图6，其示出了适于用来实现本公开实施例的电子设备60的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备60可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备60操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备60与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备60，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。

或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种审核过程仿真模型建模方法，其特征在于，所述方法包括：

设置所述审核过程仿真模型的参数，所述参数包括审核策略、审核员人数以及审核任务；

提供预定数量的带正确答案标签的任务以及带正确率标签的审核员，其中所述正确率标签指示所述审核员的正确率；

根据所述审核策略将所述预定数量的带正确答案标签的任务按顺序随机提供给所述带正确率标签的审核员；以及

根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果；

所述根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果，包括：

给定在区间（0，1）内的随机数；

如果所述随机数小于所述带正确率标签的审核员的正确率，则确定所述带正确答案标签的任务的审核结果为正确；并且

如果所述随机数不小于所述带正确率标签的审核员的正确率，则确定所述带正确答案标签的任务的审核结果为错误。

2.根据权利要求1所述的审核过程仿真模型建模方法，其特征在于，所述方法还包括：

在所述带正确答案标签的任务被分配给审核员并确定了所述审核员的审核结果之后，记录所述任务的审核员并更新所述任务的状态，其中所述任务的状态包括：

开启状态，所述开启状态指示所述任务能够被分配给审核员；

解决中状态，所述解决中状态指示所述任务正被审核；

结束状态，所述结束状态指示所述任务已审核结束；

废弃状态，所述废弃状态指示所述任务被废弃；

任务抽中待盲审状态，所述任务抽中待盲审状态指示所述任务有待分配以进行盲审；以及

待质检状态，所述待质检状态指示所述任务有待质检。

3.根据权利要求1所述的审核过程仿真模型建模方法，其特征在于，所述方法还包括：

在根据所述审核策略将所有任务分配给审核员并确定了所述审核员的审核结果之后，计算所述审核策略下的正确率、一致率和耗费人力。

4.根据权利要求3所述的审核过程仿真模型建模方法，其特征在于，所述方法还包括：

在根据所述审核策略将所有任务分配给审核员并确定了所述审核员的审核结果之后，显示所述审核策略下的审核情况，所述审核情况包括所述审核策略下的正确率、一致率和耗费人力。

5.根据权利要求1所述的审核过程仿真模型建模方法，其特征在于，所述审核策略包括以下中的至少一种：

质检，所述质检为按照抽样率随机抽出审核对象分配给不同初审人员进行盲审，并且在初审与盲审结果不一致的情况下将所述审核对象分给有质检权限的人员进行审核；

双审，所述双审与所述抽样率为1的质检等效；

抽检，所述抽检按照所述抽样率进行随机抽检，并将抽检出的任务分配给有抽检权限的人员进行审核；以及

标注，所述标注将任务分配给一个或多个不同的审核人员进行审核。

6.根据权利要求1所述的审核过程仿真模型建模方法，其特征在于，通过如下步骤获得所述审核员的准确率：

获取历史审核员数据，所述历史审核员数据包括审核的准确率；

计算历史审核员数据中的准确率的平均值与方差，并根据计算出的参数对准确率进行建模，以获得审核员的准确率模型。

7.根据权利要求6所述的审核过程仿真模型建模方法，其特征在于，所述提供带正确率标签的审核员，包括：

根据所述审核员人数，利用所述审核员的准确率模型获得所述带正确率标签的审核员。

8.根据权利要求6所述的审核过程仿真模型建模方法，其特征在于，所述审核员包括具有质检权限的审核员和没有质检权限的审核员，并且所述获得审核员的准确率模型，包括：

分别获得所述具有质检权限的审核员的准确率模型和所述没有质检权限的审核员的准确率模型。

9.根据权利要求8所述的审核过程仿真模型建模方法，其特征在于，所述计算历史审核员数据中的准确率的平均值与方差，并根据计算出的参数对准确率进行建模，包括：

判断所述历史审核员数据中的准确率是否符合正态分布模型；以及

使用正态分布模型对所述历史审核员数据中的准确率进行建模。

10.根据权利要求1所述的审核过程仿真模型建模方法，其特征在于，所述设置所述审核过程仿真模型的参数，包括设置审核任务，并且所述设置所述审核任务，包括：

设置总任务数以及每个任务的可选择数；

初始化任务状态以将任务状态设置为开启状态，所述开启指示所述任务能够被分配给审核员；以及

对每个任务标记答案标签，并且其中所述答案标签对于审核员不可见。

11.一种审核过程仿真模型建模装置，其特征在于，包括：

参数设置模块，被配置为设置所述审核过程仿真模型的参数，所述参数包括审核策略、审核员人数以及审核任务；

提供模块，提供预定数量的带正确答案标签的任务以及带正确率标签的审核员，其中所述正确率标签指示所述审核员的正确率；

任务分配模块，根据所述审核策略将所述预定数量的带正确答案标签的任务按顺序随机提供给所述带正确率标签的审核员；以及

审核结果确定模块，根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果；

所述审核结果确定模块进一步被配置为：

给定在区间（0，1）内的随机数；

如果所述随机数小于所述带正确率标签的审核员的正确率，则确定所述带正确答案标签的任务的审核结果为正确；并且

如果所述随机数不小于所述带正确率标签的审核员的正确率，则确定所述带正确答案标签的任务的审核结果为错误。

12.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1-10中任一项所述的审核过程仿真模型建模方法。

13.一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述权利要求1-10中任一项所述的审核过程仿真模型建模方法。

Images