CN104599084B - 一种群体计算的质量控制方法及装置 - Google Patents
一种群体计算的质量控制方法及装置 Download PDFInfo
- Publication number
- CN104599084B CN104599084B CN201510076468.3A CN201510076468A CN104599084B CN 104599084 B CN104599084 B CN 104599084B CN 201510076468 A CN201510076468 A CN 201510076468A CN 104599084 B CN104599084 B CN 104599084B
- Authority
- CN
- China
- Prior art keywords
- subtask
- msub
- degree
- test assignment
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种群体计算的质量控制方法及装置。本发明一种群体计算的质量控制方法，包括：将待处理的众包任务集合划分成多个子任务集合；从子任务集合中选择测试任务，并确定测试任务的难度系数和准确答案；确定第一子任务集合和第二子任务集合；根据测试任务的难度系数确定第一子任务集合中子任务的难度系数；根据测试任务评估工人的能力系数，并根据工人的能力系数以及第一子任务集合中子任务的难度系数确定工人完成子任务的准确度；根据准确度获取第一子任务集合中子任务的完成结果，并获取第二子任务集合中子任务的完成结果。本发明提高了众包任务完成的准确率，也在一定程度上控制了花费。
Description
技术领域
本发明涉及计算机技术，尤其涉及一种群体计算的质量控制方法及装置。
背景技术
众包(crowdsourcing)指的是一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式外包给非特定的(而且通常是大型的)大众网络的做法。近年来，众包在很多领域获得了广泛的应用，众包任务发布者将任务发布在众包平台，通过众包平台，收集大量的数据或者任务完成的结果，这些数据质量越高越好，即主要指收集的数据的广泛性或者完成任务结果的准确性，目前群体计算研究的主要问题集中在控制众包平台的发布任务的花费、控制结果收集和最终答案汇聚的质量。
目前对于众包技术质量控制研究主要基于以下几点：(1)参与者能力分析与选择：由于众包平台参与者来自大众群体，良莠不齐，为了能使得众包任务得以正常完成，怎样判断参与者能力和怎样选用参与者以及如何有效地结合工人因素、请求人的任务优化目标进行在线任务分配是个问题；(2)任务分割与结果汇聚：由于很多任务单个人难于完成，并且众包参与者之间的合作关系较弱。所以如何将一个任务数目庞大的任务集分割成单个参与者能够单独完成的量也是一个很大的挑战。由于众包系统更适合于微观任务，因此为了支持复杂任务，需要把复杂的任务集划分为数目较少的微观任务系列，然后把微观任务系列分发给任务完成者(也称作工人)，并收集工人对微观任务的答案，最后整合工人答案来完成初始的复杂任务。
目前群体计算的研究主要集中在“实名制平台”(所谓实名制即为：平台或者发包者可以根据工人的基本资料获得用户的资料或者工人的信息)，主要通过建立任务和工人的映射关系，从而提高任务完成的质量，然而对于一些平台，参与者的能力良莠不齐及平台本身存在一些恶意的用户，发包方难于获得用户的信息和用户完成历史信息，难于估计参与完成任务的工人的能力，从而较难控制结果收集和最终答案汇聚的质量。
发明内容
本发明提供一种群体计算的质量控制方法及装置，解决了现有技术中较难控制结果收集和最终答案汇聚的质量的问题。
第一方面，本发明提供一种群体计算的质量控制方法，包括：
将待处理的众包任务集合划分成多个任务类别的子任务集合；
从所述子任务集合中选择测试任务，并确定所述测试任务的难度系数和准确答案；
确定第一子任务集合和第二子任务集合；其中，所述第一子任务集合为加入所述测试任务的子任务集合，所述第二子任务集合为未加入所述测试任务的子任务集合；
根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数；
根据所述测试任务的难度系数和准确答案评估工人的能力系数，并根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度；
根据所述准确度获取所述第一子任务集合中子任务的完成结果，并获取所述第二子任务集合中子任务的完成结果。
可选地，所述将待处理的众包任务集合划分成多个任务类别的子任务集合，包括：
利用谱聚类的聚类方法将所述待处理的众包任务集合划分成多个所述子任务集合。
可选地，所述从所述子任务集合中选择测试任务，包括：
计算所述子任务集合与其他任意子任务集合组成的k-1个任务类序对中子任务包含所述子任务集合的信息量；其中，所述子任务集合的个数为k；所述k为大于1的整数；
从每个所述k-1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的Nk/k个子任务，得到Nk(k-1)/k个子任务，并从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务，将所述Nk个子任务作为测试任务；其中，所述Nk为预设的测试任务的个数，且为大于1的整数。
可选地，所述计算所述子任务集合与其他任意子任务集合组成的k-1个任务类序对中子任务包含所述子任务集合的信息量，包括：
将所述子任务集合Ti及其他任意子任务集合Tj组成任务类序对＜Ti,Tj＞，所述Ti中的子任务t不属于Ti类的概率pij(t)＝dis(t-uj)/(dis(t-ui)+dis(t-uj))；其中，dis(·)为计算欧式距离的函数；ui表示所述Ti的特征值的均值；uj表示所述Tj的特征值的均值；i为1到k的整数；j为1到k的整数；i不等于j；
则所述Ti中的所述子任务t包含所述Ti的信息量为：Iij(t)＝-logpij(t)。
可选地，所述从每个所述k-1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的Nk/k个子任务，得到Nk(k-1)/k个子任务，并从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务，将所述Nk个子任务作为测试任务，包括：
从每个所述k-1个任务类序对中选择包含信息量最大的子任务的集合为：T'ij＝{argmax({Iij(tl)|tl∈(Ti/T'ij))}∪T'ij；其中，tl∈(Ti/T'ij)表示子任务tl属于所述Ti，但不属于所述T'ij；所述T'ij的初始值为空集，所述T'ij的元素个数为Nk/k；
根据所述T'ij得到所述k-1个任务类序对中包含Nk(k-1)/k个子任务的集合为：其中，T为所述众包任务集合；argmax(·)函数用于求出使信息量最大的子任务；
从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务的集合为：其中，tl∈(Ti/Ti″)表示子任务tl属于所述Ti，但不属于所述Ti″；所述Ti″的初始值为空集，所述Ti″的元素个数为Nk/k；表示所述k-1个任务类序对中tl包含所述Ti的信息量之和；argmin(·)函数用于求出使信息量最小的子任务；
将所述Ti″集合中的Nk/k个子任务和所述Ti'集合中的Nk(k-1)/k个子任务作为Nk个测试任务。
可选地，所述根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数，包括：
根据所述测试任务tm的特征向量为e＝(x1,x2,…,xN)，建立多元线性回归模型如下：
dm＝β0+β1x1+β2x2+…+βNxN+ε；其中，ε～N(0,σ2)；
根据所述多元线性回归模型计算得到β0,β1,β2,…,βN；其中，N为所述特征向量的维数；m为1到Nk的整数。
确定所述子任务的特征向量W＝(w1,w2,…,wN)，并根据所述特征向量和所述β0,β1,β2,…,βN计算所述子任务的难度系数d'。
可选地，所述根据所述测试任务的难度系数和准确答案评估工人的能力系数，包括：
设工人的能力系数为a，测试任务为所述测试任务的难度系数为所述测试任务的准确答案为将所述测试任务的完成结果表示为
根据先验概率分布，工人提供的所述测试任务的完成结果om为正确答案的概率服从如下公式(1)的分布：
所述om为错误答案的概率服从如下公式(2)的分布：
其中，θ(x)为赫维赛德阶跃函数；m为1到Nk的整数；
利用最大化后验分布可求得下述公式(3)：
对所述公式(3)采用极大似然估计方法，获取所述能力系数a。
可选地，所述根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度，包括：
根据所述能力系数a和所述子任务的难度系数d'，利用如下公式计算所述工人完成所述子任务的准确度：
其中，f为所述子任务的完成结果。
可选地，所述根据所述准确度获取所述第一子任务集合中子任务的完成结果，包括：
选取准确度大于预设的准确度阈值的工人的完成结果，作为所述子任务的完成结果；
所述获取所述第二子任务集合中子任务的完成结果，包括：
利用多数决定原则确定所述第二子任务集合中子任务的完成结果。
第二方面，本发明实施例提供一种群体计算的质量控制装置，包括：
划分模块，用于将待处理的众包任务集合划分成多个任务类别的子任务集合；
确定模块，用于从所述子任务集合中选择测试任务，并确定所述测试任务的难度系数和准确答案；
所述确定模块，还用于确定第一子任务集合和第二子任务集合；其中，所述第一子任务集合为加入所述测试任务的子任务集合，所述第二子任务集合为未加入所述测试任务的子任务集合；
所述确定模块，还用于根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数；
所述确定模块，还用于根据所述测试任务的难度系数和准确答案评估工人的能力系数，并根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度；
获取模块，用于根据所述准确度获取所述第一子任务集合中子任务的完成结果，并获取所述第二子任务集合中子任务的完成结果。
本发明一种群体计算的质量控制方法及装置，在一些难于获得或者获得不了网络用户信息的平台下，由于用户针对各类问题的回答的能力不同，并且问题的复杂程度也不同，将复杂多样的众包任务集合利用聚类算法进行划分，分成多个子任务集合，并利用信息熵的方法提取出典型的子任务进行评估，从而决定哪些子任务集合需要加入测试任务，哪些子任务集合不需要加入测试任务，并根据测试任务的难度系数确定加入测试任务的子任务集合中子任务的难度系数以及工人的能力系数，确定完成结果的准确度，根据准确度确定最终完成结果，这样一方面解决了难度较大任务的结果汇聚问题，可以提高最终完成结果的准确率，另一方面在简单任务中不加入测试任务，也在一定程度上控制了花费。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明群体计算的质量控制方法实施例的流程图；
图2为本发明方法实施例的原理图；
图3为本发明方法实施例的体系结构图；
图4为本发明方法实施例的任务划分示意图；
图5为本发明群体计算的质量控制装置实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前，众包已经渗透到了人们生活中的方方面面，大量的众包任务通过网络发布并由未知的人完成，面对未知的结果的众包任务，如何评测结果，获得准确的答案，成为了一个关键问题。若平台可提供用户的相关历史信息及个人信息，可以统计归纳出该用户的完成众包任务的能力，从而选取能力较高的用户来完成众包任务。但是大量的众包平台，仍然难于获得用户的历史信息及私人信息，使得发包人难于判断用户提交答案的准确性，当然对于一些简单的任务，则可直接用多数决定原则(majority rule)的方法来汇聚结果，且结果汇聚的质量较高，但是对于复杂的任务群，直接使用该方法获得的结果往往是错的，因此本发明的主要目标是针对复杂任务集，通过穿插一些测试任务，并在结果汇聚中用测试任务来评估参与者的能力，从而实时性剔除能力低的工人提交的结果，从而提高复杂任务的结果的准确率，满足发包方的需求。
图1为本发明群体计算的质量控制方法实施例的流程图。图2为本发明方法实施例的原理图。图3为本发明方法实施例的体系结构图。如图1所示，本实施例的方法可以包括：
步骤101、将待处理的众包任务集合划分成多个任务类别的子任务集合；
步骤102、从所述子任务集合中选择测试任务，并确定所述测试任务的难度系数和准确答案；
步骤103、确定第一子任务集合和第二子任务集合；其中，所述第一子任务集合为加入所述测试任务的子任务集合，所述第二子任务集合为未加入所述测试任务的子任务集合；
步骤104、根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数；
步骤105、根据所述测试任务的难度系数和准确答案评估工人的能力系数，并根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度；
步骤106、根据所述准确度获取所述第一子任务集合中子任务的完成结果，并获取所述第二子任务集合中子任务的完成结果。
具体来说，如图2、图3所示，本发明的质量控制方法是一个复杂的任务优化过程，也是一个很实用的众包平台匿名承包流程。从群体计算的角度来看，本发明利用自动化的方法把复杂的众包任务分成多类微任务，即将待处理的众包任务集合划分成多个任务类别的子任务集合，然后将子任务集合交给多个工人解决(图3中的网络用户即工人)，然后再将子任务集合中子任务的完成结果组合成最优结果；因为发包方提交的众包任务中的任务庞大繁杂，随意分发难于获得高质量的结果，因此可通过数据挖掘的方法完成子任务集合的类别划分；划分类别之后，要从所述子任务集合中选择测试任务，并确定所述测试任务的难度系数，确定所述测试任务的难度系数的过程可通过专家决策，如何抽取有代表性的测试任务给专家评估是至关重要的，如果过高的评估了任务的难度，选取的测试任务过多，就会设置一些冗余的测试任务来评估子任务完成结果的准确率，则会加大费用，若过低的评估了测试任务的难度，则获得的结果会不准确。例如可以从这些各个任务类别的子任务集合中将任意两个子任务类别中不能确定的和最能确定的多个任务作为测试任务交给专家评估；
选择测试任务之后，还要确定哪些子任务集合需要加入测试任务，哪些不需要加入测试任务，即确定第一子任务集合和第二子任务集合，将所述第一子任务集合和所述第二子任务集合进行发布；其中，所述第一子任务集合为加入所述测试任务的子任务集合，所述第二子任务集合为未加入所述测试任务的子任务集合；所述第一子任务集合可能包含多个类别的子任务集合，所述第二子任务集合也可能包含多个类别的子任务集合；发布时第一子任务集合包含的多个子任务集合中加入的测试任务相同，多个字任务集合可以不是同时发布的。
然后根据所述测试任务的难度系数确定第一子任务集合中子任务的难度系数；发布的众包任务集合中包括：第一子任务集合和第二子任务集合；第一子任务集合中还包括测试任务的正确答案；最终会根据该测试任务的难度系数以及正确答案评估工人的能力系数，并根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度；根据所述准确度获取所述第一子任务集合中子任务的完成结果，即将准确度高的工人的完成结果作为最终第一子任务集合中该子任务的完成结果，并获取第二子任务集合中子任务的完成结果；第二子任务集合中子任务的完成结果直接利用多数决定原则(majority rule)获取。
对于复杂的任务来说，由于用户的能力可能不高，所以将多数决定原则用于结果汇聚得到的结果难于满足发包方的要求，而且对于结果也难于评估，而对于那些简单的任务如果加上测试任务的话，则增加了用户的费用，降低了流程的效率，因此可采用本发明实施例的质量控制方法来解决上述问题。
本实施例，在一些难于获得或者获得不了网络用户信息的平台下，由于用户针对各类问题的回答的能力不同，并且问题的复杂程度也不同，将复杂多样的众包任务集合利用聚类算法进行划分，分成多个子任务集合，并利用信息熵的方法提取出典型的子任务让专家评估，从而决定哪些子任务集合需要加入测试任务，哪些子任务集合不需要加入测试任务，最终根据子任务完成结果的准确度确定完成结果，这样一方面解决了难度较大任务的结果汇聚问题，可以提高完成结果的准确率，另一方面在简单任务中不加入测试任务，也在一定程度上控制了花费。
图4为本发明方法实施例的任务划分示意图。
在上述实施例的基础上，进一步的，所述将待处理的众包任务集合划分成多个任务类别的子任务集合，包括：
利用谱聚类的聚类方法将所述待处理的众包任务集合划分成多个所述子任务集合。
具体来说，对于众包任务集合来说，如何做出合理的任务类别划分是关键，可利用谱聚类的方法将待处理的众包任务集合划分成多个任务类别的子任务集合，即当发包方上传包含很多各类复杂的子任务的众包任务集合时，可将所述众包任务集合按照各种属性分类。本实施例以图片中实体的匹配任务集合为例，以如下的图片匹配任务的特征来给出谱聚类的任务类别划分算法：
建立众包任务中各个子任务之间的近似矩阵，最后利用谱聚类方法进行分类。如通过图像匹配的特征提取：灰度值近似度、ASIFT值近似度(轮廓及灰度值变化率近似度)、任务发放形式近似度和任务特征近似度，然后利用谱聚类的方法生成近似矩阵W，其中的元素表示任务之间的近似度。如图4所示为各个类别即为划分后的子任务集合，可将众包任务划分为3类子任务集合。
进一步的，所述从所述子任务集合中选择测试任务，包括：
计算所述子任务集合与其他任意子任务集合组成的k-1个任务类序对中子任务包含所述子任务集合的信息量；其中，所述子任务集合的个数为k；所述k为大于1的整数；
从每个所述k-1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的Nk/k个子任务，得到Nk(k-1)/k个子任务，并从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务，将所述Nk个子任务作为测试任务；其中，所述Nk为预设的测试任务的个数，且为大于1的整数。
进一步的，所述计算所述子任务集合与其他任意子任务集合组成的k-1个任务类序对中子任务包含所述子任务集合的信息量，包括：
将所述子任务集合Ti及其他任意子任务集合Tj组成任务类序对＜Ti,Tj＞，所述Ti中的子任务t不属于Ti类的概率pij(t)＝dis(t-uj)/(dis(t-ui)+dis(t-uj))；其中，dis(·)为计算欧式距离的函数；ui表示所述Ti的特征值的均值；uj表示所述Tj的特征值的均值；i为1到k的整数；j为1到k的整数；i不等于j；
则所述Ti中的所述子任务t包含所述Ti的信息量为：Iij(t)＝-logpij(t)。
进一步的，所述从每个所述k-1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的Nk/k个子任务，得到Nk(k-1)/k个子任务，并从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务，将所述Nk个子任务作为测试任务，包括：
从每个所述k-1个任务类序对中选择包含信息量最大的子任务的集合为：T'ij＝{argmax({Iij(tl)|tl∈(Ti/T'ij))}∪T'ij；其中，tl∈(Ti/T'ij)表示子任务tl属于所述Ti，但不属于所述T'ij；所述T'ij的初始值为空集，所述T'ij的元素个数为Nk/k；
根据所述T'ij得到所述k-1个任务类序对中包含Nk(k-1)/k个子任务的集合为：其中，T为所述众包任务集合；argmax(·)函数用于求出使信息量最大的子任务；
从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务的集合为：其中，tl∈(Ti/Ti″)表示子任务tl属于所述Ti，但不属于所述Ti″；所述Ti″的初始值为空集，所述Ti″的元素个数为Nk/k；表示所述k-1个任务类序对中tl包含所述Ti的信息量之和；argmin(·)函数用于求出使信息量最小的子任务；
将所述Ti″集合中的Nk/k个子任务和所述Ti'集合中的Nk(k-1)/k个子任务作为Nk个测试任务。
具体来说，选择测试任务主要是选取经典的样例来评估众包任务集合，可以在子任务集合中选择和别的子任务集合的类别容易混淆的的子任务和与其他类别的子任务集合区别度较大的子任务，选择测试任务时，首先计算子任务包含所述子任务集合的信息量：根据目前分好的多个任务类别的k个子任务集合，计算出各个子任务集合的各个特征值的均值，将该子任务集合及其他任意子任务集合组成k-1个任务类序对＜Ti,Tj＞，因此可得所述Ti中的子任务t不属于Ti类的概率pij(t)＝dis(t-uj)/(dis(t-ui)+dis(t-uj))；则该子任务t不为Ti类的概率为：1-pij(t)。则所述Ti中的所述子任务t包含所述Ti的信息量为：Iij(t)＝-logpij(t)；其中，dis(·)为计算欧式距离的函数；ui表示所述Ti的特征值的均值；uj表示所述Tj的特征值的均值；i为1到k的整数；j为1到k的整数；i不等于j。
假设我们将抽取Nk个子任务作为测试任务，则每个任务类序对中选择包含信息量最大的Nk/k个子任务，所述Nk/k个子任务的信息量从最大值降序排列，即选择最大信息量、第二大信息量等组成Nk/k子任务的集合，即从每个所述k-1个任务类序对中选择包含信息量最大的子任务的集合为：T'ij＝{argmax({Iij(tl)|tl∈(Ti/T'ij))}∪T'ij；其中，tl∈(Ti/T'ij)表示子任务tl属于所述Ti，但不属于所述T'ij；所述T'ij的初始值为空集，所述T'ij的元素个数为Nk/k；根据所述T'ij得到所述k-1个任务类序对中包含Nk(k-1)/k个子任务的集合为：其中，T为所述众包任务集合；argmax(·)函数用于求出使信息量最大的子任务；
从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务的集合为：Ti″＝{argmin({Ii(tl)|tl∈(Ti/Ti″)}∪Ti″；其中，tl∈(Ti/Ti″)表示子任务tl属于所述Ti，但不属于所述Ti″；所述Ti″的初始值为空集，所述Ti″的元素个数为Nk/k；表示所述k-1个任务类序对中tl包含所述Ti的信息量之和；argmin(·)函数用于求出使信息量最小的子任务；
将所述Ti″集合中的Nk/k个子任务和所述Ti'集合中的Nk(k-1)/k个子任务作为Nk个测试任务。
选择出测试任务之后，专家给出该测试任务的难度系数以及正确答案。
进一步的，所述根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数，包括：
根据所述测试任务tm的特征向量为e＝(x1,x2,…,xN)，建立多元线性回归模型如下：
dm＝β0+β1x1+β2x2+…+βNxN+ε；其中，ε～N(0,σ2)；
根据所述多元线性回归模型计算得到β0,β1,β2,…,βN；其中，N为所述特征向量的维数。
确定所述子任务的特征向量W＝(w1,w2,…,wN)，并根据所述特征向量和所述β0,β1,β2,…,βN计算所述子任务的难度系数d'。
具体来说，m为1到Nk的整数，根据所述测试任务tm的特征向量为e＝(x1,x2,…,xN)，建立多元线性回归模型如下：
dm＝β0+β1x1+β2x2+…+βNxN+ε；其中，ε～N(0,σ2)；
则多元线性回归模型包含Nk个方程，根据所述测试任务tm的特征向量，以及所述测试任务的难度系数，可估计出β0,β1,β2,…,βN的值，N与Nk可以不相等，即可大于Nk或小于Nk，也可以等于Nk；ε～N(0,σ2)为误差；
然后确定所述子任务的特征向量W＝(w1,w2,…,wN)，并根据所述特征向量和所述β0,β1,β2,…,βN计算所述子任务的难度系数d'，d'＝β0+β1w1+β2w2+…+βNwN。
进一步的，所述根据所述测试任务的难度系数和准确答案评估工人的能力系数，包括：
设工人的能力系数为a，测试任务为所述测试任务的难度系数为所述测试任务的准确答案为将所述测试任务的完成结果表示为
根据先验概率分布，工人提供的所述测试任务的完成结果om为正确答案的概率服从如下公式(1)的分布：
所述om为错误答案的概率服从如下公式(2)的分布：
其中，θ(x)为赫维赛德阶跃函数；m为1到Nk的整数；
利用最大化后验分布可求得：
对公式(3)采用极大似然估计方法，获取所述能力系数a。
具体来说，假设我们设置了包含多个子任务的的众包任务集合，其中还包含了多个测试任务，可以根据贝叶斯模型获取到工人的能力系数。
设工人的能力系数为a，测试任务为所述测试任务的难度系数为所述测试任务的准确答案为将所述测试任务的完成结果表示为
根据先验概率分布，工人提供的所述测试任务的完成结果om为正确答案的概率服从如下公式(1)的分布：
所述om为错误答案的概率服从如下公式(2)的分布：
其中，θ(x)为赫维赛德阶跃函数；m为1到Nk的整数；
利用最大化后验分布可求得：
对公式(3)采用极大似然估计方法，获取所述能力系数a。
进一步的，所述根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度，包括：
根据所述能力系数a和所述子任务的难度系数d'，利用如下公式计算所述工人完成所述子任务的准确度：
其中，f为所述子任务的完成结果。
具体来说，根据所述工人的能力系数a以及所述第一子任务集合的难度系数d'，可得出工人完成该子任务的准确度为：
进一步的，所述根据所述准确度获取所述第一子任务集合中子任务的完成结果，包括：
选取准确度大于预设的准确度阈值的工人的完成结果，作为所述子任务的完成结果；
所述获取所述第二子任务集合中子任务的完成结果，包括：
利用多数决定原则获取所述第二子任务集合中子任务的完成结果。
具体来说，对于第一子任务集合中子任务，可以根据各个第一子任务集合中子任务的完成结果的准确度确定该子任务最终的完成结果，即选择准确度高的工人的完成结果作为最终的完成结果，对于第二子任务集合中子任务来说，可以将该第二子任务集合中子任务的结果直接使用多数决定原则确定该子任务最终的完成结果，即多数人赞成的答案为正确答案。
最后将第一子任务集合和第二子任务集合中的所有子任务的完成结果提交给发布方，完成任务。
图5为本发明群体计算的质量控制装置实施例的结构示意图，如图5所示，本实施例的群体计算的质量控制装置可以包括：划分模块501、确定模块502和获取模块503，其中，划分模块501，用于将待处理的众包任务集合划分成多个任务类别的子任务集合；
确定模块502，用于从所述子任务集合中选择测试任务，并确定所述测试任务的难度系数和准确答案；
所述确定模块502，还用于确定第一子任务集合和第二子任务集合；其中，所述第一子任务集合为加入所述测试任务的子任务集合，所述第二子任务集合为未加入所述测试任务的子任务集合；
所述确定模块502，还用于根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数；
所述确定模块502，还用于根据所述测试任务的难度系数和准确答案评估工人的能力系数，并根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度；
获取模块503，用于根据所述准确度获取所述第一子任务集合中子任务的完成结果，并获取所述第二子任务集合中子任务的完成结果。
本实施例的群体计算的质量控制装置可以设置于应用服务器上。
进一步的，划分模块501，具体用于：
利用谱聚类的聚类方法将所述待处理的众包任务集合划分成多个所述子任务集合。
进一步的，所述确定模块502，具体用于：
计算所述子任务集合与其他任意子任务集合组成的k-1个任务类序对中子任务包含所述子任务集合的信息量；其中，所述子任务集合的个数为k；所述k为大于1的整数；
从每个所述k-1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的Nk/k个子任务，得到Nk(k-1)/k个子任务，并从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务，将所述Nk个子任务作为测试任务；其中，所述Nk为预设的测试任务的个数，且为大于1的整数。
进一步的，所述确定模块502，具体用于：
将所述子任务集合Ti及其他任意子任务集合Tj组成任务类序对＜Ti,Tj＞，所述Ti中的子任务t不属于Ti类的概率pij(t)＝dis(t-uj)/(dis(t-ui)+dis(t-uj))；其中，dis(·)为计算欧式距离的函数；ui表示所述Ti的特征值的均值；uj表示所述Tj的特征值的均值；i为1到k的整数；j为1到k的整数；i不等于j；
则所述Ti中的所述子任务t包含所述Ti的信息量为：Iij(t)＝-logpij(t)。
进一步的，所述确定模块502，具体用于：
从每个所述k-1个任务类序对中选择包含信息量最大的子任务的集合为：T'ij＝{argmax({Iij(tl)|tl∈(Ti/T'ij))}∪T'ij；其中，tl∈(Ti/T'ij)表示子任务tl属于所述Ti，但不属于所述T'ij；所述T'ij的初始值为空集，所述T'ij的元素个数为Nk/k；
根据所述T'ij得到所述k-1个任务类序对中包含Nk(k-1)/k个子任务的集合为：其中，T为所述众包任务集合；argmax(·)函数用于求出使信息量最大的子任务；
从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务的集合为：其中，tl∈(Ti/Ti″)表示子任务tl属于所述Ti，但不属于所述Ti″；所述Ti″的初始值为空集，所述Ti″的元素个数为Nk/k；表示所述k-1个任务类序对中tl包含所述Ti的信息量之和；argmin(·)函数用于求出使信息量最小的子任务；
将所述Ti″集合中的Nk/k个子任务和所述Ti'集合中的Nk(k-1)/k个子任务作为Nk个测试任务。
进一步的，所述确定模块502，具体用于：
根据所述测试任务tm的特征向量为e＝(x1,x2,…,xN)，建立多元线性回归模型如下：
dm＝β0+β1x1+β2x2+…+βNxN+ε；其中，ε～N(0,σ2)；
根据所述多元线性回归模型计算得到β0,β1,β2,…,βN；其中，N为所述特征向量的维数；m为1到Nk的整数。
确定所述子任务的特征向量W＝(w1,w2,…,wN)，并根据所述特征向量和所述β0,β1,β2,…,βN计算所述子任务的难度系数d'。
进一步的，所述确定模块502，具体用于：
设工人的能力系数为a，测试任务为所述测试任务的难度系数为所述测试任务的准确答案为将所述测试任务的完成结果表示为
根据先验概率分布，工人提供的所述测试任务的完成结果om为正确答案的概率服从如下公式(1)的分布：
所述om为错误答案的概率服从如下公式(2)的分布：
其中，θ(x)为赫维赛德阶跃函数；m为1到Nk的整数；
利用最大化后验分布可求得下述公式(3)：
对公式(3)采用极大似然估计方法，获取所述能力系数a。
进一步的，所述确定模块502，具体用于：
根据所述能力系数a和所述子任务的难度系数d'，利用如下公式计算所述工人完成所述子任务的准确度：
其中，f为所述子任务的完成结果。
进一步的，所述获取模块503，具体用于：
选取准确度大于预设的准确度阈值的工人的完成结果，作为所述第一子任务集合中所述子任务的完成结果；
利用多数决定原则获取所述第二子任务集合中子任务的完成结果。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种群体计算的质量控制方法，其特征在于，包括：
将待处理的众包任务集合划分成多个任务类别的子任务集合；
从所述子任务集合中选择测试任务，并确定所述测试任务的难度系数和准确答案；
确定第一子任务集合和第二子任务集合；其中，所述第一子任务集合为加入所述测试任务的子任务集合，所述第二子任务集合为未加入所述测试任务的子任务集合；
根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数；
根据所述测试任务的难度系数和准确答案评估工人的能力系数，并根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度；
根据所述准确度获取所述第一子任务集合中子任务的完成结果，并获取所述第二子任务集合中子任务的完成结果；
其中，所述从所述子任务集合中选择测试任务，包括：计算所述子任务集合与其他任意子任务集合组成的k-1个任务类序对中子任务包含所述子任务集合的信息量；其中，所述子任务集合的个数为k；所述k为大于1的整数；从每个所述k-1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的Nk/k个子任务，得到Nk(k-1)/k个子任务，并从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务，将所述Nk个子任务作为测试任务；其中，所述Nk为预设的测试任务的个数，且为大于1的整数；
所述从每个所述k-1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的Nk/k个子任务，得到Nk(k-1)/k个子任务，并从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务，将所述Nk个子任务作为测试任务，包括：
从每个所述k-1个任务类序对中选择包含信息量最大的子任务的集合为：T'ij＝{argmax({Iij(tl)|tl∈(Ti/T'ij))}∪T'ij；其中，tl∈(Ti/T'ij)表示子任务tl属于所述Ti，但不属于所述T'ij；所述T'ij的初始值为空集，所述T'ij的元素个数为Nk/k；
根据所述T'ij得到所述k-1个任务类序对中包含Nk(k-1)/k个子任务的集合为：其中，T为所述众包任务集合；argmax(·)函数用于求出使信息量最大的子任务；
从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务的集合为：其中，tl∈(Ti/Ti”)表示子任务tl属于所述Ti，但不属于所述Ti”；所述Ti”的初始值为空集，所述Ti”的元素个数为Nk/k；表示所述k-1个任务类序对中tl包含所述Ti的信息量之和；argmin(·)函数用于求出使信息量最小的子任务；
将所述Ti”集合中的Nk/k个子任务和所述Ti'集合中的Nk(k-1)/k个子任务作为Nk个测试任务；
所述根据所述测试任务的难度系数和准确答案评估工人的能力系数，包括：
设工人的能力系数为a，测试任务为所述测试任务的难度系数为所述测试任务的准确答案为将所述测试任务的完成结果表示为
根据先验概率分布，工人提供的所述测试任务的完成结果om为正确答案的概率服从如下公式(1)的分布：
所述om为错误答案的概率服从如下公式(2)的分布：
其中，θ(x)为赫维赛德阶跃函数；m为1到Nk的整数；
利用最大化后验分布可求得下述公式(3)：
<mrow>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
<mo>&CircleTimes;</mo>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>&NotEqual;</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
<mo>|</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mo>&Pi;</mo>
<mrow>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>&NotEqual;</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
</mrow>
<mi>K</mi>
</msubsup>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>&NotEqual;</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
<mo>|</mo>
<msub>
<mi>d</mi>
<mi>m</mi>
</msub>
<mo>;</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mo>&Pi;</mo>
<mrow>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
</mrow>
<mi>K</mi>
</msubsup>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
<mo>|</mo>
<msub>
<mi>d</mi>
<mi>m</mi>
</msub>
<mo>;</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
对所述公式(3)采用极大似然估计方法，获取所述能力系数a。
2.根据权利要求1所述的方法，其特征在于，所述将待处理的众包任务集合划分成多个任务类别的子任务集合，包括：
利用谱聚类的聚类方法将所述待处理的众包任务集合划分成多个所述子任务集合。
3.根据权利要求1所述的方法，其特征在于，所述计算所述子任务集合与其他任意子任务集合组成的k-1个任务类序对中子任务包含所述子任务集合的信息量，包括：
将所述子任务集合Ti及其他任意子任务集合Tj组成任务类序对<Ti,Tj>，所述Ti中的子任务t不属于Tj类的概率pij(t)＝dis(t-uj)/(dis(t-ui)+dis(t-uj))；其中，dis(·)为计算欧式距离的函数；ui表示所述Ti的特征值的均值；uj表示所述Tj的特征值的均值；i为1到k的整数；j为1到k的整数；i不等于j；
则所述Ti中的所述子任务t包含所述Tj的信息量为：Iij(t)＝-log pij(t)。
4.根据权利要求3所述的方法，其特征在于，所述根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数，包括：
根据所述测试任务tm的特征向量为e＝(x1,x2,…,xN)，建立多元线性回归模型如下：
dm＝β0+β1x1+β2x2+…+βNxN+ε；其中，ε～N(0,σ2)；
根据所述多元线性回归模型计算得到β0,β1,β2,…,βN；其中，N为所述特征向量的维数；m为1到Nk的整数；
确定所述子任务的特征向量W＝(w1,w2,…,wN)，并根据所述特征向量和所述β0,β1,β2,…,βN计算所述子任务的难度系数d'。
5.根据权利要求4所述的方法，其特征在于，所述根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度，包括：
根据所述能力系数a和所述子任务的难度系数d'，利用如下公式计算所述工人完成所述子任务的准确度：
其中，f为所述子任务的完成结果。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述准确度获取所述第一子任务集合中子任务的完成结果，包括：
选取准确度大于预设的准确度阈值的工人的完成结果，作为所述子任务的完成结果；
所述获取所述第二子任务集合中子任务的完成结果，包括：
利用多数决定原则获取所述第二子任务集合中子任务的完成结果。
7.一种群体计算的质量控制装置，其特征在于，包括：
划分模块，用于将待处理的众包任务集合划分成多个任务类别的子任务集合；
确定模块，用于从所述子任务集合中选择测试任务，并确定所述测试任务的难度系数和准确答案；
所述确定模块，还用于确定第一子任务集合和第二子任务集合；其中，所述第一子任务集合为加入所述测试任务的子任务集合，所述第二子任务集合为未加入所述测试任务的子任务集合；
所述确定模块，还用于根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数；
所述确定模块，还用于根据所述测试任务的难度系数和准确答案评估工人的能力系数，并根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度；
获取模块，用于根据所述准确度获取所述第一子任务集合中子任务的完成结果，并获取所述第二子任务集合中子任务的完成结果；
其中，所述确定模块，具体用于：计算所述子任务集合与其他任意子任务集合组成的k-1个任务类序对中子任务包含所述子任务集合的信息量；其中，所述子任务集合的个数为k；所述k为大于1的整数；从每个所述k-1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的Nk/k个子任务，得到Nk(k-1)/k个子任务，并从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务，将所述Nk个子任务作为测试任务；其中，所述Nk为预设的测试任务的个数，且为大于1的整数；
所述确定模块，具体还用于：
从每个所述k-1个任务类序对中选择包含信息量最大的子任务的集合为：T'ij＝{argmax({Iij(tl)|tl∈(Ti/T'ij))}∪T'ij；其中，tl∈(Ti/T'ij)表示子任务tl属于所述Ti，但不属于所述T'ij；所述T'ij的初始值为空集，所述T'ij的元素个数为Nk/k；
根据所述T'ij得到所述k-1个任务类序对中包含Nk(k-1)/k个子任务的集合为：其中，T为所述众包任务集合；argmax(·)函数用于求出使信息量最大的子任务；
从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务的集合为：其中，tl∈(Ti/Ti”)表示子任务tl属于所述Ti，但不属于所述Ti”；所述Ti”的初始值为空集，所述Ti”的元素个数为Nk/k；表示所述k-1个任务类序对中tl包含所述Ti的信息量之和；arg min(·)函数用于求出使信息量最小的子任务；
将所述Ti”集合中的Nk/k个子任务和所述Ti'集合中的Nk(k-1)/k个子任务作为Nk个测试任务；
所述确定模块，具体还用于：
设工人的能力系数为a，测试任务为所述测试任务的难度系数为所述测试任务的准确答案为将所述测试任务的完成结果表示为
根据先验概率分布，工人提供的所述测试任务的完成结果om为正确答案的概率服从如下公式(1)的分布：
所述om为错误答案的概率服从如下公式(2)的分布：
其中，θ(x)为赫维赛德阶跃函数；m为1到Nk的整数；
利用最大化后验分布可求得下述公式(3)：
<mrow>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
<mo>&CircleTimes;</mo>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>&NotEqual;</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
<mo>|</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mo>&Pi;</mo>
<mrow>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>&NotEqual;</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
</mrow>
<mi>K</mi>
</msubsup>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>&NotEqual;</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
<mo>|</mo>
<msub>
<mi>d</mi>
<mi>m</mi>
</msub>
<mo>;</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mo>&Pi;</mo>
<mrow>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
</mrow>
<mi>K</mi>
</msubsup>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>o</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<msub>
<mi>GT</mi>
<mi>m</mi>
</msub>
<mo>|</mo>
<msub>
<mi>d</mi>
<mi>m</mi>
</msub>
<mo>;</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
对所述公式(3)采用极大似然估计方法，获取所述能力系数a。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510076468.3A CN104599084B (zh) | 2015-02-12 | 2015-02-12 | 一种群体计算的质量控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510076468.3A CN104599084B (zh) | 2015-02-12 | 2015-02-12 | 一种群体计算的质量控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104599084A CN104599084A (zh) | 2015-05-06 |
| CN104599084B true CN104599084B (zh) | 2017-11-03 |
Family
ID=53124849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510076468.3A Active CN104599084B (zh) | 2015-02-12 | 2015-02-12 | 一种群体计算的质量控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104599084B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018537801A (ja) * | 2016-01-07 | 2018-12-20 | 平安科技（深▲せん▼）有限公司 | 車両保険調査任務の発表システム、装置、方法及び読み取り可能な記憶媒体 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122786B (zh) * | 2016-02-25 | 2021-01-08 | 华为技术有限公司 | 一种众包学习方法及装置 |
| CN105825333A (zh) * | 2016-03-14 | 2016-08-03 | 南京邮电大学 | 基于云平台匿名地点的众包服务系统及任务分配方法 |
| CN106228029B (zh) * | 2016-08-30 | 2019-02-22 | 北京航空航天大学 | 基于众包的量化问题求解方法和装置 |
| CN107067105A (zh) * | 2017-04-07 | 2017-08-18 | 华东师范大学 | 一种基于最优数据分组的众包策略分配方法 |
| CN107767055B (zh) * | 2017-10-24 | 2021-07-23 | 北京航空航天大学 | 一种基于串谋检测的众包结果汇聚方法及装置 |
| CN107730131B (zh) * | 2017-10-24 | 2021-09-10 | 北京航空航天大学 | 一种众包软件开发者的能力预测及推荐方法、装置 |
| CN107909262B (zh) * | 2017-11-13 | 2022-01-07 | 北京航空航天大学 | 一种众包代价复杂度的获取方法 |
| CN108734196A (zh) * | 2018-04-17 | 2018-11-02 | 平安科技（深圳）有限公司 | 众包平台的作业方法、装置、计算机设备和存储介质 |
| CN109032792A (zh) * | 2018-07-10 | 2018-12-18 | 矩阵元技术（深圳）有限公司 | 外包计算方法及系统 |
| CN109451015B (zh) * | 2018-11-02 | 2021-10-08 | 华东交通大学 | 群智感知数据的处理方法、装置、电子设备及存储介质 |
| CN109686157B (zh) * | 2018-12-10 | 2021-04-30 | 武汉精立电子技术有限公司 | 一种兼具复判与考试功能的面板复检系统 |
| CN111339068B (zh) * | 2018-12-18 | 2024-04-19 | 北京奇虎科技有限公司 | 众包质量控制方法、装置、计算机存储介质和计算设备 |
| CN110929807B (zh) * | 2019-12-06 | 2021-04-06 | 腾讯科技（深圳）有限公司 | 图像分类模型的训练方法、图像分类方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200334A (zh) * | 2014-09-16 | 2014-12-10 | 张文铸 | 一种基于SaaS模式的众包项目管理控制系统及方法 |
-
2015
- 2015-02-12 CN CN201510076468.3A patent/CN104599084B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200334A (zh) * | 2014-09-16 | 2014-12-10 | 张文铸 | 一种基于SaaS模式的众包项目管理控制系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| Quality Control in Crowdsourcing Systems:Issues and Directions;Mohammad A等;《IEEE Internet Computing》;20130331;第76-80页 * |
| 众包质量控制策略及评估算法研究;张志强 等;《计算机学报》;20130815;第36卷(第8期);第1636-1647页 * |
| 众包质量控制策略及评估算法研究;逄居升;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140415;第I141-3页 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018537801A (ja) * | 2016-01-07 | 2018-12-20 | 平安科技（深▲せん▼）有限公司 | 車両保険調査任務の発表システム、装置、方法及び読み取り可能な記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104599084A (zh) | 2015-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104599084B (zh) | 一种群体计算的质量控制方法及装置 | |
| US11659050B2 (en) | Discovering signature of electronic social networks | |
| Daraio et al. | Rankings and university performance: A conditional multidimensional approach | |
| WO2017143921A1 (zh) | 一种多重抽样模型训练方法及装置 | |
| CN105207821B (zh) | 一种面向业务的网络综合性能评估方法 | |
| Kádárová et al. | The proposal of an innovative integrated BSC–DEA model | |
| CN107766418A (zh) | 一种基于融合模型的信用评估方法、电子设备和存储介质 | |
| CN104503973A (zh) | 一种基于奇异值分解与分类器融合推荐的方法 | |
| CN105354595A (zh) | 一种鲁棒视觉图像分类方法及系统 | |
| CN107515938A (zh) | 一种云制造环境下的供需智能匹配方法 | |
| CN107797931A (zh) | 一种基于二次评价的软件质量评价方法及系统 | |
| CN104462614A (zh) | 一种基于网络数据的主动学习方法及装置 | |
| CN110175850A (zh) | 一种交易信息的处理方法及装置 | |
| CN108897750A (zh) | 融合多元上下文信息的个性化地点推荐方法及设备 | |
| CN112365007A (zh) | 模型参数确定方法、装置、设备及存储介质 | |
| Denk et al. | Avoid filling Swiss cheese with whipped cream: imputation techniques and evaluation procedures for cross-country time series | |
| Chadebec et al. | Geometry-aware hamiltonian variational auto-encoder | |
| Drago | Interval based composite indicators | |
| CN109800424A (zh) | 一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法 | |
| CN109242671A (zh) | 一种基于多视角不完整数据的信贷违约预测方法及系统 | |
| CN110163495A (zh) | 一种多维综合大学发展评价指标体系的评估方法 | |
| CN104636489B (zh) | 描述属性数据的处理方法和装置 | |
| CN107169571A (zh) | 一种特征筛选方法及装置 | |
| CN111078820B (zh) | 基于权重符号社交网络嵌入的边权预测方法 | |
| Nayak et al. | Comparison of multi-criteria decision making methods used in requirement engineering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |