CN107679766B - 一种群智任务动态冗余调度方法及装置 - Google Patents

Abstract

本发明公开了一种群智任务动态冗余调度方法及装置，所述方法包括：接收用户输入的总预算值和待完成的任务；为各个任务分配初始冗余度并发布至群智平台，其中，所述冗余度用于实现对所述任务的标注，得到标注结果；从群智平台收集标注结果，并基于所述总预算值计算剩余预算值，判断所述剩余预算值是否大于零；当所述剩余预算值大于零时，对所述各个任务进行质量评估，并基于质量评估结果选择出质量小于预设阈值的任务；为所选择出的任务分配预设数量的冗余度并发布至群智平台；当所述剩余预算值等于零时，采用汇聚算法对各个任务的各个标注结果进行汇聚，得到各个任务的汇聚结果并输出给所述用户。

Description

一种群智任务动态冗余调度方法及装置

技术领域

本发明涉及群智技术领域，尤其涉及一种群智任务动态冗余调度方法及装置。

背景技术

群智(Crowd Intelligence)是互联网带来的一种分布式问题求解模式。众包是群智的一种模式，指一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式包给非特定的大众网络的做法，常用应用场景比如reCAPTCHA验证码，数据(图片、视频、音频)标注，微写作等。由于群智的参与者往往来自普通大众群体，个体的任务处理质量参差不齐，为了保证群智任务的整体质量，群智任务大都采用冗余分发的方式。如图1所示，客户把群智问题(Task)提交给群智平台(以CrowdFlower为例)，将同一问题分发给多个工人，获得多份答案，然后通过设计汇聚算法对收到的答案进行汇聚，最终向客户返回一个质量高的答案。

通过群智进行知识的获取已经成为一种广泛采用的技术手段。例如：斯坦福大学给出的图片标注数据集(ImageNet)正是通过众包群智的方式来构建的。

一般来讲，知识获取问题是指在人工智能和知识工程系统中，机器(计算机或智能机)如何获取知识的问题。由于知识的缺乏和获取的难度，很多知识获取不是自动生成的，是基于人工的移植。而基于群智的知识获取很好的解决了这一问题。在基于群智的知识获取问题中，所有答案都是不同粒度的知识，以图片标注为例，标注出的“狗”、“哈士奇”、“哈巴狗”就是不同粒度的知识，而且这些备选标注是存在上下位词关系，而且可以从“哈士奇”这一知识中泛化出“狗”这一知识，由此，对于基于群智的知识获取问题，越高的专指度，或者细粒度，越能获取最好的知识。

通常客户需要处理多个同等类型的任务，比如给10万张图片做标注。然后根据预算和质量要求，给予群智平台一个冗余度N，即每个图片需要得到N个冗余标注，然后根据汇聚算法，得到图片的最终标注。一般来讲，每个标注的价格基本是一样的，由此标注单价乘以任务数量，再乘以冗余度就是总的预算。在现有的群智平台(如CrowdFlower、AMT等)都是采用固定冗余度的做法，然而虽然是同类的任务，但是每个任务其实是有差别的，简单任务其实不需要太多的冗余，而对于困难任务所设的冗余度可能远远不够。由此固定冗余度的传统做法虽然解决了群智数据的可靠性问题，但是也存在资源浪费的现象。

发明内容

为解决上述技术问题，本发明实施例提供了一种群智任务动态冗余调度方法及装置。

本发明实施例提供的群智任务动态冗余调度方法，包括：

接收用户输入的总预算值和待完成的任务；

为各个任务分配初始冗余度并发布至群智平台，其中，所述冗余度用于实现对所述任务的标注，得到标注结果；

从群智平台收集标注结果，并基于所述总预算值计算剩余预算值，判断所述剩余预算值是否大于零；

当所述剩余预算值大于零时，对所述各个任务进行质量评估，并基于质量评估结果选择出质量小于预设阈值的任务；为所选择出的任务分配预设数量的冗余度并发布至群智平台；

当所述剩余预算值等于零时，采用汇聚算法对各个任务的各个标注结果进行汇聚，得到各个任务的汇聚结果并输出给所述用户。

本发明实施例中，所述方法还包括：

基于命中率评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果；或者，

基于一致性评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果。

本发明实施例中，所述基于命中率评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果，包括：

构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词时，M(x_g，x_h)等于1，否则M(x_g，x_h)等于0；

基于所述上下位词关系函数，构造如下命中率评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果。

本发明实施例中，所述基于一致性评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果，包括：

构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词，则M(x_g，x_h)等于1，否则M(x_g，x_h)等于0；

基于所述上下位词关系函数，构造如下一致性评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果；M_s代表如下一致性函数：

其中，S代表专指度函数，如果x_g等于x_h或者x_g是x_h的上位词，则x_g与x_h一致，否则x_g与x_h不一致。

本发明实施例中，所述方法还包括：

基于各个标注结果，建立对应的数结构，其中，所述数结构包括各个标注结果所代表的节点；

构造如下专指度函数：

其中，D(x_g)为节点x_g的深度，H(x_g)代表节点x_g的高度。

本发明实施例中，所述对所述各个任务进行质量评估，包括：

构造标注结果的质量γ_ij，其中，γ_ij代表工人j对任务i的标注结果l_ij的质量；

基于所述标注结果的质量γ_ij，构造任务的如下质量二次型评估函数：

e_i＝T_iA⁽ⁱ⁾T_i ^T

其中，e_i代表任务i的质量，T_i是任务i所有标注结果的质量形成的标注质量向量T_i＝(γ_i1，γ_i2，...，γ_in)，

是任务i的标注关联矩阵

本发明实施例中，所述构造标注结果的质量γ_ij，包括：

基于如下公式之一构造标注结果的质量γ_ii：

γ_ij＝S(l_ij)

γ_ij＝C_ij

γ_ij＝S(l_ij)C_ij

其中，S代表专指度函数，C_ij代表工人对标注结果打的自信度分数。

本发明实施例提供的群智任务动态冗余调度装置，包括：

接收模块，用于接收用户输入的总预算值和待完成的任务；

初始化模块，用于为各个任务分配初始冗余度并发布至群智平台，其中，所述冗余度用于实现对所述任务的标注，得到标注结果；

结果收集模块，用于从群智平台收集标注结果，并基于所述总预算值计算剩余预算值，判断所述剩余预算值是否大于零；

任务质量评估模块，用于当所述剩余预算值大于零时，对所述各个任务进行质量评估；

任务选择模块，用于基于质量评估结果选择出质量小于预设阈值的任务；为所选择出的任务分配预设数量的冗余度并发布至群智平台；

结果汇聚模块，用于当所述剩余预算值等于零时，采用汇聚算法对各个任务的各个标注结果进行汇聚，得到各个任务的汇聚结果；

输出模块，用于将汇聚结果输出给用户。

本发明实施例中，所述装置还包括：

汇聚算法评价模块，用于基于命中率评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果；或者，基于一致性评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果。

本发明实施例中，所述汇聚算法评价模块包括：

命中率单元，用于构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词时，M(x_g，x_h)等于1，否则M(x_g，x_h)等于0；

基于所述上下位词关系函数，构造如下命中率评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果。

本发明实施例中，所述汇聚算法评价模块包括：

一致性单元，用于构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于xh或者x_g是x_h的上位词，则M(x_g，x_h)等于1，否则M(x_g，x_h)等于0；

基于所述上下位词关系函数，构造如下一致性评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果；M_s代表如下一致性函数：

其中，S代表专指度函数，如果x_g等于x_h或者x_g是x_h的上位词，则x_g与x_h一致，否则x_g与x_h不一致。

本发明实施例中，所述一致性单元，还用于基于各个标注结果，建立对应的数结构，其中，所述数结构包括各个标注结果所代表的节点；构造如下专指度函数：

其中，D(x_g)为节点x_g的深度，H(x_g)代表节点x_g的高度。

本发明实施例中，所述任务质量评估模块，具体用于：构造标注结果的质量γ_ij，其中，γ_ij代表工人j对任务i的标注结果l_ij的质量；

基于所述标注结果的质量γ_ij，构造任务的如下质量二次型评估函数：

e_i＝T_iA⁽ⁱ⁾T_i ^T

其中，e_i代表任务i的质量，T_i是任务i所有标注结果的质量形成的标注质量向量T_i＝(γ_i1，γ_i2，...，γ_in)，

是任务i的标注关联矩阵

本发明实施例中，所述任务质量评估模块，具体用于：基于如下公式之一构造标注结果的质量γ_ij：

γ_ij＝S(l_ij)

γ_ij＝C_ij

γ_ij＝S(l_ij)C_ij

其中，S代表专指度函数，C_ij代表工人对标注结果打的自信度分数。

本发明实施例的技术方案中，接收用户输入的总预算值和待完成的任务；为各个任务分配初始冗余度并发布至群智平台，其中，所述冗余度用于实现对所述任务的标注，得到标注结果；从群智平台收集标注结果，并基于所述总预算值计算剩余预算值，判断所述剩余预算值是否大于零；当所述剩余预算值大于零时，对所述各个任务进行质量评估，并基于质量评估结果选择出质量小于预设阈值的任务；为所选择出的任务分配预设数量的冗余度并发布至群智平台；当所述剩余预算值等于零时，采用汇聚算法对各个任务的各个标注结果进行汇聚，得到各个任务的汇聚结果并输出给所述用户。采用本发明实施例的技术方案，基于任务的质量动态的为各个任务分配合适的冗余度，从而合理利用预算，并且得到最优的汇聚结果。

附图说明

图1为传统群智框架图；

图2为本发明实施例的群智任务动态冗余调度方法的流程示意图；

图3为本发明实施例的基于命中率评价指标评价汇聚结果的流程示意图；

图4为本发明实施例的基于一致性评价指标评价汇聚结果的流程示意图；

图5为本发明实施例的树结构图；

图6为本发明实施例的对所述各个任务进行质量评估的流程示意图；

图7为本发明实施例的群智冗余度管理调度框架图；

图8为本发明实施例的任务选择算法的代码图；

图9为本发明实施例的结果汇聚算法的代码图；

图10为本发明实施例的群智任务动态冗余调度装置的结构组成示意图。

具体实施方式

为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。

针对固定冗余度造成资源浪费的情况，本发明实施例提出了一种面向知识获取的群智任务动态冗余调度方法。动态冗余调度方法需要解决以下几个问题：

1。动态冗余的最终目标是在给定预算约束下得到更好的任务处理质量，然而目前的群智任务结果质量的评价指标多为准确度/误差值(与正确答案比较)。然而，知识获取类任务的处理质量不能用基于二值(正确储误)的方式进行度量。比如：对于正确结果为“哈巴狗”的图片标注来讲，标注“狗”对于原有群智方法是判断该标注为错误，但实际上“狗”在某种意义上来讲是部分正确的。所以需要定义一种评价指标来度量汇聚的结果。

2。动态冗余的关键是如何评估每个任务的质量，从而决定是否分配更多的冗余度。由此需要可靠的任务质量评估手段。

3。评估任务质量需要数据作为支撑，而在群智执行过程获取的标注可以作为任务质量评估的数据，但是为了评估任务质量而采集群智数据同样也是在使用群智的预算。如何权衡提高任务质量评估的准确性和提高预算利用效率是很关键的问题。

针对动态冗余的空白现状和以上提到的三个问题，本发明实施例给出了相应的解决方案：

1。针对当前汇聚结果评价指标单一，不适合基于群智的知识获取问题，本发明实施例提出了基于专指度度量的“一致性”和“命中率”两个汇聚算法评价指标。

2。针对任务难度难以评估准确的问题，本发明实施例提出了基于备选答案关系的二次型任务评估方法。

3。针对权衡预算用于评估任务还是用于直接提高冗余度达到提高结果质量的问题，本发明实施例设计了一个工作流框架用于动态进行群智过程，进行任务评估的同时也同时提高部分任务的冗余度直到预算使用完毕。

图2为本发明实施例的群智任务动态冗余调度方法的流程示意图，如图2所示，所述群智任务动态冗余调度方法包括以下步骤：

步骤201：接收用户输入的总预算值和待完成的任务。

步骤202：为各个任务分配初始冗余度并发布至群智平台，其中，所述冗余度用于实现对所述任务的标注，得到标注结果。

步骤203：从群智平台收集标注结果，并基于所述总预算值计算剩余预算值，判断所述剩余预算值是否大于零，是时，执行步骤204，否时，执行步骤205。

步骤204：对所述各个任务进行质量评估，并基于质量评估结果选择出质量小于预设阈值的任务；为所选择出的任务分配预设数量的冗余度并发布至群智平台，执行步骤203。

步骤205：采用汇聚算法对各个任务的各个标注结果进行汇聚，得到各个任务的汇聚结果并输出给所述用户。

以下对本发明实施例的群智任务动态冗余调度方法中的具体细节进行详细描述。

传统汇聚算法的评价指标大多采用准确度/误差来度量，具体如下：

准确度＝汇聚答案等于标准答案的任务数量/任务总数；

误差＝1准确度。

这里，准确度和误差是等价的，只是从不同的角度给出了评价方式。

对应于准确度，本发明实施例提出了一致性和命中率两个评价方式。具体地，基于命中率评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果；或者，基于一致性评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果。

图3为本发明实施例的基于命中率评价指标评价汇聚结果的流程示意图，如图3所示，包括如下步骤：

步骤301：构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词时，M(x_g，x_h)等于1，否则M(x_g，x_h)等于0。

这里，上下位词关系函数实际表示了标注结果之间依据上下位词关系的有向图。

步骤302：基于所述上下位词关系函数，构造如下命中率评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果。

图4为本发明实施例的基于一致性评价指标评价汇聚结果的流程示意图，如图4所示，包括如下步骤：

步骤401：构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词，则M(x_g，x_h)等于1，否则M(x_g，x_h)等于0。

步骤402：基于所述上下位词关系函数，构造如下一致性评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果；M_s代表如下一致性函数：

其中，S代表专指度函数，如果x_g等于x_h或者x_g是x_h的上位词，则x_g与x_h一致，否则x_g与x_h不一致。

以下对专指度函数进行解释说明。

首先，基于各个标注结果，建立对应的数结构，其中，所述数结构包括各个标注结果所代表的节点。

具体地，如图5所示，对于知识获取群智问题，所有答案都是不同粒度的知识，以图片标注为例，标注出的“狗”、“哈士奇”、“哈巴狗”就是不同粒度的知识，而且所有备选标注是存在上下位词关系，可以用一个分类树来表示这种关系。

其次，构造如下专指度函数：

其中，D(x_g)为节点x_g的深度，H(x_g)代表节点x_g的高度。

具体地，专指度函数是度量在一个上下位词关系组成的分类树中度量节点的专指度。分类越细，越靠近叶子节点，认为该节点的特性越强，由此，本发明实施例定义了专指度函数。可以证明专指度函数满足0＜S(x_g)≤1，对任意x_g成立，而对于任意x_g的上位词x_h有S(x_h)＜S(x_g)。

图6为本发明实施例的对所述各个任务进行质量评估的流程示意图，如图6所示，包括如下步骤：

步骤601：构造标注结果的质量γ_ij，其中，γ_ij代表工人j对任务i的标注结果l_ij的质量。

本发明实施例中，每个任务在做之前是没有数据指明其难度的，而随着任务被冗余执行，得到了标注结果之后本发明实施例就可以对其进行质量评估，本发明实施例采用对标注结果的质量进行评估间接来评估任务质量。本发明实施例把单个标注，即工人j对任务i的标注结果l_ij的质量记作γ_ij。这个质量有多个可采用的方案：

方案一：γ_ij＝S(l_ij)，即标注结果的质量等于标注结果的专指度值。

方案二：γ_ij＝C_ij，即标注结果的质量等于工人对于标注结果给的自信度分数，该自信度分数是介于0到1的数，是工人做任务的时候自己给自己对该任务完成满意度打的分值。

方案三：γ_ij＝S(l_ij)C_ij，即标注结果的质量等于标注结果的专指度值与工人对标注结果给的自信度分数的乘积。

步骤602：基于所述标注结果的质量γ_ij，构造任务的如下质量二次型评估函数：

e_i＝T_iA⁽ⁱ⁾T_i ^T

其中，e_i代表任务i的质量，T_i是任务i所有标注结果的质量形成的标注质量向量T_i＝(γ_i1，γ_i2，...，γ_in)，

是任务i的标注关联矩阵

图7为本发明实施例的群智冗余度管理调度框架图，该框架的核心是由一个调度器构成，完成将客户给的任务分批次的交给群智平台，由群智平台中的工人来完成所给的任务。如图7所示，框架的流程如下：

1。首先客户提供预算和需要完成的任务，先用统一的最小冗余给每个任务分配最小冗余度的标注。

2。答案收集器从群智平台收集标注结果。

3。得到标注结果的同时也花费了相应的预算，然后判断是否还有预算，如果还有执行4，如果没有跳转到6。

4。对当前的任务进行质量估计。

5。根据质量估计的结果进行任务选择，选择质量较差的任务分配额外一个或多个冗余度，跳转到2。

6。采用结果汇聚算法进行结果汇聚，将冗余的答案合并为单一的统一答案，反馈给客户。

本发明实施例的技术方案中，基于任务质量实现任务选择算法如图8所示，输入的是任务质量评估向量E，当前的冗余度向量R，容许的最大冗余度r_max和一个比率参数alpha，其中，alpha大于0小于1，决定了下一轮需要新标注的任务数占总任务的比例。这个任务选择方法实际就是选择出所有任务中质量最差的前alpha比例的任务投放到群智平台，来获取新一轮的标注结果。

本发明实施例的汇聚算法，可以采用当前众数投票方法，DS方法等主流方法。此外，本发明实施例考虑到任务的标注结果(也即答案)之间的上下位词关系，由此得到了以下的汇聚算法MWK+图9所示的结果汇聚算法。如图9所示，输入为所有标注形成的标注矩阵L和表征备选答案间的上下位词关系的函数M。通过算法的计算得到每个任务的最佳答案。其中beta是算法的传导系数参数，在0到1之间。Beta越大，其备选答案间的关系更加重视，影响越大。反之影响越小，极端的，当beta＝0时，该方法退化为带权重的众数投票方法。

图10为本发明实施例的群智任务动态冗余调度装置的结构组成示意图如图10所示，所述装置包括：

接收模块1001，用于接收用户输入的总预算值和待完成的任务；

初始化模块1002，用于为各个任务分配初始冗余度并发布至群智平台，其中，所述冗余度用于实现对所述任务的标注，得到标注结果；

结果收集模块1003，用于从群智平台收集标注结果，并基于所述总预算值计算剩余预算值，判断所述剩余预算值是否大于零；

任务质量评估模块1004，用于当所述剩余预算值大于零时，对所述各个任务进行质量评估；

任务选择模块1005，用于基于质量评估结果选择出质量小于预设阈值的任务；为所选择出的任务分配预设数量的冗余度并发布至群智平台；

结果汇聚模块1006，用于当所述剩余预算值等于零时，采用汇聚算法对各个任务的各个标注结果进行汇聚，得到各个任务的汇聚结果；

输出模块1007，用于将汇聚结果输出给用户。

在一实施方式中，所述装置还包括：

汇聚算法评价模块1008，用于基于命中率评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果；或者，基于一致性评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果。

在一实施方式中，所述汇聚算法评价模块1008包括：

命中率单元10081，用于构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词时，M(x_g，x_h)等于1，否则M(x_g，x_h)等于0；

基于所述上下位词关系函数，构造如下命中率评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果。

在一实施方式中，所述汇聚算法评价模块1008包括：

一致性单元10082，用于构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词，则M(x_g，x_h)等于1，否则M(x_g，x_h)等于0；

基于所述上下位词关系函数，构造如下一致性评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果；M_s代表如下一致性函数：

其中，S代表专指度函数，如果x_g等于x_h或者x_g是x_h的上位词，则x_g与x_h一致，否则x_g与x_h不一致。

在一实施方式中，所述一致性单元10082，还用于基于各个标注结果，建立对应的数结构，其中，所述数结构包括各个标注结果所代表的节点；构造如下专指度函数：

其中，D(x_g)为节点x_g的深度，H(x_g)代表节点x_g的高度。

在一实施方式中，所述任务质量评估模块1004，具体用于：构造标注结果的质量γ_ij，其中，γ_ij代表工人j对任务i的标注结果l_ij的质量；

基于所述标注结果的质量γ_ii，构造任务的如下质量二次型评估函数：

e_i＝T_iA⁽ⁱ⁾T_i ^T

其中，e_i代表任务i的质量，T_i是任务i所有标注结果的质量形成的标注质量向量T_i＝(γ_i1，γ_i2，...，γ_in)，

是任务i的标注关联矩阵

在一实施方式中，所述任务质量评估模块1004，具体用于：基于如下公式之一构造标注结果的质量γ_ij：

γ_ij＝S(l_ij)

γ_ij＝C_ij

γ_ij＝S(l_ij)C_ij

其中，S代表专指度函数，C_ij代表工人对标注结果打的自信度分数。

本领域技术人员应当理解，图10所示的群智任务动态冗余调度装置中的各模块的实现功能可参照前述群智任务动态冗余调度方法的相关描述而理解，图6所示的开发者的推荐装置中的各模块的实现功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明实施例上述装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种群智任务动态冗余调度方法，其特征在于，所述方法包括：

接收用户输入的总预算值和待完成的任务；

为各个任务分配初始冗余度并发布至群智平台，其中，所述冗余度用于实现对所述任务的标注，得到标注结果；

从群智平台收集标注结果，并基于所述总预算值计算剩余预算值，判断所述剩余预算值是否大于零；

当所述剩余预算值大于零时，对所述各个任务进行质量评估，并基于质量评估结果选择出质量小于预设阈值的任务；为所选择出的任务分配预设数量的冗余度并发布至群智平台；

当所述剩余预算值等于零时，采用汇聚算法对各个任务的各个标注结果进行汇聚，得到各个任务的汇聚结果并输出给所述用户；

所述方法还包括：

基于命中率评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果；或者，

基于一致性评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果；

所述基于命中率评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果，包括：

构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词时，M(x_g，x_h)等于1，否则M(x_g，x_h)等于0；

基于所述上下位词关系函数，构造如下命中率评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果；

所述基于一致性评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果，包括：

构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词，则M(x_g，x_h)等于1，否则M(x_g，x_h)等于0；

基于所述上下位词关系函数，构造如下一致性评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果；M_s代表如下一致性函数：

其中，S代表专指度函数，如果x_g等于x_h或者x_g是x_h的上位词，则x_g与x_h一致，否则x_g与x_h不一致；

所述方法还包括：

基于各个标注结果，建立对应的数结构，其中，所述数结构包括各个标注结果所代表的节点；

构造如下专指度函数：

其中，D(x_g)为节点x_g的深度，H(x_g)代表节点x_g的高度。

2.根据权利要求1所述的群智任务动态冗余调度方法，其特征在于，所述对所述各个任务进行质量评估，包括：

构造标注结果的质量γ_ij，其中，γ_ij代表工人j对任务i的标注结果l_ij的质量；

基于所述标注结果的质量γ_ij，构造任务的如下质量二次型评估函数：

其中，e_i代表任务i的质量，T_i是任务i所有标注结果的质量形成的标注质量向量T_i＝(γ_i1，γ_i2，...，γ_im)，

是任务i的标注关联矩阵，

3.根据权利要求2所述的群智任务动态冗余调度方法，其特征在于，

所述构造标注结果的质量γ_ij，包括：

基于如下公式之一构造标注结果的质量γ_ij：

γ_ij＝S(l_ij)

γ_ij＝C_ij

γ_ij＝S(l_ij)C_ij

其中，S代表专指度函数，C_ij代表工人对标注结果打的自信度分数。

4.一种群智任务动态冗余调度装置，其特征在于，所述装置包括：

接收模块，用于接收用户输入的总预算值和待完成的任务；

初始化模块，用于为各个任务分配初始冗余度并发布至群智平台，其中，所述冗余度用于实现对所述任务的标注，得到标注结果；

结果收集模块，用于从群智平台收集标注结果，并基于所述总预算值计算剩余预算值，判断所述剩余预算值是否大于零；

任务质量评估模块，用于当所述剩余预算值大于零时，对所述各个任务进行质量评估；

任务选择模块，用于基于质量评估结果选择出质量小于预设阈值的任务；为所选择出的任务分配预设数量的冗余度并发布至群智平台；

结果汇聚模块，用于当所述剩余预算值等于零时，采用汇聚算法对各个任务的各个标注结果进行汇聚，得到各个任务的汇聚结果；

输出模块，用于将汇聚结果输出给用户；

所述装置还包括：

汇聚算法评价模块，用于基于命中率评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果；或者，基于一致性评价指标对所述各个任务的汇聚结果处理，得到所述汇聚结果的评价结果；

所述汇聚算法评价模块包括：

命中率单元，用于构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词时，M(x_g，x_h)等于1，否则M(x_g，x_h)等于0；

基于所述上下位词关系函数，构造如下命中率评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果；

所述汇聚算法评价模块包括：

一致性单元，用于构造如下上下位词关系函数：

其中，x_g和x_h代表两个结果对象，如果x_g等于x_h或者x_g是x_h的上位词，则M(x_g，x_h)等于1，否则M(x_g，x_h)等于0；

基于所述上下位词关系函数，构造如下一致性评价指标：

其中，

代表汇聚算法的评价结果，

是所有任务的汇聚结果集合，

代表任务i的汇聚结果，n为任务数量；Y＝{y_i}是所有任务的真实结果集合，y_i代表任务i的真实结果；M_s代表如下一致性函数：

其中，S代表专指度函数，如果x_g等于x_h或者x_g是x_h的上位词，则x_g与x_h一致，否则x_g与x_h不一致；

所述一致性单元，还用于基于各个标注结果，建立对应的数结构，其中，所述数结构包括各个标注结果所代表的节点；构造如下专指度函数：

其中，D(x_g)为节点x_g的深度，H(x_g)代表节点x_g的高度。

5.根据权利要求4所述的群智任务动态冗余调度装置，其特征在于，所述任务质量评估模块，具体用于：构造标注结果的质量γ_ij，其中，γ_ij代表工人j对任务i的标注结果l_ij的质量；

基于所述标注结果的质量γ_ij，构造任务的如下质量二次型评估函数：

其中，e_i代表任务i的质量，T_i是任务i所有标注结果的质量形成的标注质量向量T_i＝(γ_i1，γ_i2，...，γ_im)，

是任务i的标注关联矩阵，

6.根据权利要求5所述的群智任务动态冗余调度装置，其特征在于，所述任务质量评估模块，具体用于：基于如下公式之一构造标注结果的质量γ_ij：

γ_ij＝S(l_ij)

γ_ij＝C_ij

γ_ij＝S(l_ij)C_ij

其中，S代表专指度函数，C_ij代表工人对标注结果打的自信度分数。

Images