CN112101776A - 一种众包任务工作组确定方法 - Google Patents

一种众包任务工作组确定方法 Download PDF

Info

Publication number
CN112101776A
CN112101776A CN202010954383.1A CN202010954383A CN112101776A CN 112101776 A CN112101776 A CN 112101776A CN 202010954383 A CN202010954383 A CN 202010954383A CN 112101776 A CN112101776 A CN 112101776A
Authority
CN
China
Prior art keywords
worker
task
workers
crowdsourcing
crowd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010954383.1A
Other languages
English (en)
Other versions
CN112101776B (zh
Inventor
吴晓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Jilian Human Resources Service Group Co ltd
Original Assignee
Hebei Jilian Human Resources Service Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Jilian Human Resources Service Group Co ltd filed Critical Hebei Jilian Human Resources Service Group Co ltd
Priority to CN202010954383.1A priority Critical patent/CN112101776B/zh
Publication of CN112101776A publication Critical patent/CN112101776A/zh
Application granted granted Critical
Publication of CN112101776B publication Critical patent/CN112101776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Computational Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

本发明实施例提供一种众包任务工作组确定方法、装置、电子设备和可读存储介质，其中方法包括：计算所述工作者的准确率的先验概率分布；确定向所述工作者所分配的测试任务的测试结果；计算所述工作者的准确率的后验概率；确定是否选择所述工作者加入候选工作者集合；从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组。本发明实施例提供的众包任务工作组确定方法、装置、电子设备和可读存储介质，结合工作者的准确率的先验概率以及工作者在测试任务中的表现，基于工作者的准确率的后验概率来评估工作者是否符合众包任务的需要，使得众包任务工作组的确定更加准确。

Description

一种众包任务工作组确定方法
技术领域
本发明涉及互联网领域，尤其涉及一种众包任务工作组确定方法、装置、电子设备和可读存储介质。
背景技术
众包是指雇佣方通过互联网将工作分配给由多个外部工作者所组成的工作组的工作模式，其中一种典型的众包任务为信息标注任务，用于在信息检索、机器学习等研究领域为雇佣方构建语料库。
雇佣方在为众包任务选取工作者时会对工作者的工作准确率进行评估。然而现有的评估方式往往仅通过发布给工作者的少量测试任务来确定，导致评估准确性较低，使得所组建的工作组无法满足众包任务的需要。
发明内容
针对现有技术存在的上述至少一个技术问题，本发明实施例提供一种众包任务工作组确定方法、装置、电子设备和可读存储介质。
第一方面，本发明实施例提供一种众包任务工作组确定方法，包括：
根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布；
确定向所述工作者所分配的测试任务的测试结果；
基于所述先验概率分布和所述测试结果，计算所述工作者的准确率的后验概率；
根据所述众包任务的预期准确率和所述工作者的准确率的后验概率，确定是否选择所述工作者加入候选工作者集合；
从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组；
根据所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者。
可选地，所述基于所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者，具体包括：
根据预设的时间间隔，基于所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率；
根据更新后的所述众包任务工作组中的每一工作者的后验概率，筛选所述众包任务工作组中的工作者；
从所述候选工作者集合中选择工作者加入所述众包任务工作组。
可选地，所述根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布，具体包括：
根据工作者的历史众包任务完成质量，确定所述工作者的历史众包任务完成质量的期望和方差；
根据所述工作者的历史众包任务完成质量的期望和方差，确定所述工作者的准确率的先验概率分布。
可选地，所述工作者的准确率的先验概率分布符合Beta分布；
对应地，所述根据所述工作者的历史众包任务完成质量的期望和方差，确定所述工作者的准确率的先验概率分布，具体包括：
将所述工作者的历史众包任务完成质量的期望和方差表示为Beta分布的形式；
根据所述工作者的历史众包任务完成质量的期望和方差的Beta分布的表示形式，确定所述工作者的准确率的先验概率分布的参数。
可选地，所述方法还包括：
所述众包任务工作组根据每一工作者对于众包任务的个人决策结果，按照多数原则确定所述众包任务的工作组决策结果。
可选地，若所述工作者的所述个人决策结果与所述工作组决策结果相同，则确定所述个人决策结果为正确，否则，确定所述个人决策结果为错误。
可选地，所述众包任务和所述测试任务是二元决策任务。
第二方面，本发明实施例提供一种众包任务工作组确定装置，包括：
先验概率确定模块，用于根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布；
测试结果确定模块，用于确定向所述工作者所分配的测试任务的测试结果；
后验概率确定模块，用于基于所述先验概率分布和所述测试结果，计算所述工作者的准确率的后验概率；
候选工作者确定模块，用于根据所述众包任务的预期准确率和所述工作者的准确率的后验概率，确定是否选择所述工作者加入候选工作者集合；
工作组确定模块，用于从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组；
工作组更新模块，用于根据所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的众包任务工作组确定方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的众包任务工作组确定方法的步骤。
本发明实施例提供的众包任务工作组确定方法、装置、电子设备和可读存储介质，结合工作者的准确率的先验概率以及工作者在测试任务中的表现，基于工作者的准确率的后验概率来评估工作者是否符合众包任务的需要，使得众包任务工作组的确定更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中众包任务工作组确定方法的流程示意图；
图2为本发明实施例中众包任务工作组更新方法的流程示意图；
图3为本发明实施例中工作者准确率的先验概率分布确定方法；
图4为本发明实施例中众包任务工作组确定装置的结构示意图；
图5为本发明实施例中电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种众包任务工作组确定方法。图1为本发明实施例提供的众包任务工作组确定方法的流程示意图，如图1所示，该方法包括：
S110，根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布。
本发明实施例中的工作者，可以是众包任务的雇佣方所发布的众包任务的接受者。工作者应具备完成众包任务的技能，通过与雇佣方的互相选择接受众包任务以获得报酬。工作者完成众包任务的历史数据可以记录在众包发布和接收平台上，历史数据可以包括工作者完成每一项众包任务的详细数据和结果正确率，也可以包括雇佣方对工作者的评价数据。工作者的历史众包任务的完成质量可以是指工作者在众包发布和接收平台上完成的所有众包任务的历史数据。
工作者的准确率可以是指工作者能够正确完成众包任务的概率。先验概率一般是指在B事件发生以前A事件的概率，在本发明实施例中工作者的准确率的先验概率可以是指在为工作者分配测试任务之前，根据该工作者完成的众包任务的历史数据所计算得到的能够正确完成众包任务的概率。
S120，确定向所述工作者所分配的测试任务的测试结果。
本发明实施例中雇佣方为了评估工作者的准确率，可以在正式任务发布之前，通过向工作者发布一些已知正确结果的测试任务，并将工作者在测试任务中的完成情况作为评估所考虑的因素之一。
以图片标记任务为例，假设正式众包任务需要工作者标记10000张图片中的每一张是否包含违法信息。雇佣方选择其中的100张图片作为测试任务的数据集合。工作者基于该数据集合完成测试任务，雇佣方将工作者标记100张图片是否包含违法信息的结果与标准结果进行比较，确定出该工作者的测试结果。
S130，基于所述先验概率分布和所述测试结果，计算所述工作者的准确率的后验概率。
后验概率通常是指在B事件发生之后，对A事件发生概率的重新评估。本发明实施例中的后验概率是在先验概率分布和测试结果的基础上得到的。基于贝叶斯定理的原理，将根据该工作者完成的众包任务的历史数据所计算得到的能够正确完成众包任务的概率作为先验概率，再加入工作者在测试任务中的测试结果对先验概率进行进一步地修正，得到更加准确的后验概率。
相对而言，仅通过测试任务对工作者的准确率进行评估，会导致有的恶意工作者只在测试任务中认真完成任务，而在正式任务中表现懈怠。同时，有的优质工作者可能在过去的任务中表现优秀，但由于测试任务发挥失常而被雇佣方淘汰。此外，由于众包领域的测试任务的工作量较小，也会导致测试结果的偶然性较大，使得测试的结果准确性较低。
进一步地，本发明实施例中的后验概率同样可以被认为是一个随机变量，其分布也符合Beta分布。
S140，根据所述众包任务的预期准确率和所述工作者的准确率的后验概率，确定是否选择所述工作者加入候选工作者集合。
本发明实施例中的众包任务的预期准确率，可以是指雇佣方对于工作者能够正确完成众包任务的概率的最低期望值，取值范围在0到1之间；工作者的准确率的后验概率是指对工作者实际能够正确完成众包任务的概率的实际评估值，取值范围也在0到1之间。众包任务的候选工作者集合是指经能够达到雇佣方最低期望的工作者的集合。
候选工作者集合的确定方式可以是，首先根据工作者的准确率的后验概率分布，计算该后验概率分布的数学期望，得到该工作者的准确率的后验概率，然而将众包任务的预期准确率和工作者的准确率的后验概率进行比较。如果工作者的准确率的后验概率大于众包任务的预期准确率，则表示该工作者满足雇佣方的最低期望，可以加入候选工作者集合；否则，表示该工作者不满足雇佣方的最低期望，无法加入候选工作者集合。
S150，从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组。
雇佣方在得到众包任务的候选工作者集合后，会根据众包任务需求的人数、工作者与众包任务的属性匹配程度等因素来确定最终加入众包任务工作组的工作者。众包任务工作组是指最终参与众包任务的工作者的集合。
例如，在报名众包任务的100名工作者中，经计算得到的候选工作者集合包含30名准确率的后验概率达到雇佣方最低期望值的工作者。
若该众包任务需要的工作者数量为20名，则雇佣方可以在候选工作者集合中进一步进行筛选。雇佣方可以根据后验概率从高到低进行排列，选择前20名工作者组成众包任务工作组。
雇佣方也可以根据众包任务的实际需求，选择个人属性匹配程度最高的20名工作者组成众包任务工作组。举例说明，对于图片标记类的任务，可以基于工作者擅长的项目类别因素，优先选择参与图片标记类众包任务次数最多的工作者加入众包任务工作组；对于任务难度较大的众包任务，可以基于工作者任务经验的因素，优先选择参与众包任务次数最多或在平台上注册时间最长的工作者加入众包任务工作组；对于具有特定内容的众包任务，还可以根据工作者的年龄、性别等因素筛选出众包任务工作组的工作者。
在选择工作者组成众包任务工作组时，众包任务需求的人数以及各类工作者与众包任务的属性匹配程度等因素可以分别作为雇佣方唯一参考的因素，也可以根据实际需求结合多种因素共同进行参考。
本步骤在确定众包任务工作组时，除了通过确定工作者的准确率的后验概率外，还有效地利用的众包任务本身的属性以及工作者的个人属性，使得所选择出的工作者更加符合众包任务的需要，进一步提高了所确定的众包任务工作者的准确性。
S160，根据所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者。
可以理解的是，工作者在完成众包任务的过程中，其相对于众包任务的后验概率是动态变化的：一方面，工作者在完成该众包任务的同时，也可以参与其他众包任务，而其他众包任务的完成情况会导致该工作者的历史众包任务完成质量数据发生变化，进而影响对应的先验概率；另一方面，如果众包任务是分阶段完成的，当工作者完成一个阶段的众包任务后，也会基于类似的原因影响对应的先验概率。例如，某一工作者在完成该众包任务的阶段性任务后表现较差，此时需要考虑将该工作者从众包项目工作组中排除，以免影响众包任务后续阶段的完成情况。
因此，为了进一步避免工作组中包含恶意工作者而影响到众包任务的完成情况，需要对众包任务工作组中的工作者进行动态地更新。具体地，可以动态地更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者。相对于众包任务工作组中的工作者一旦确定不再改变的情形，本步骤中的方法可以动态地调整众包任务工作组中的工作者，使得工作者的确定更加准确。
本发明实施例提供的众包任务工作组确定方法，结合工作者的准确率的先验概率以及工作者在测试任务中的表现，基于工作者的准确率的后验概率来评估工作者是否符合众包任务的需要，使得众包任务工作组的确定更加准确。
基于上述实施例，图2为本发明实施例提供的众包任务工作组更新方法的流程示意图，如图2所示，步骤S160具体包括：
S161，根据预设的时间间隔，基于所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率。
具体地，本步骤基于工作者在完成众包任务的过程中，其相对于众包任务的后验概率是动态变化的这一特点，动态地计算更新后的众包任务工作组中的每一工作者的后验概率。众包任务工作组中的每一工作者的后验概率的变化的原因是工作者的历史众包任务完成情况也是动态变化的。
因此，更新后的工作者的后验概率是基于工作者之前的测试结果以及更新后的工作者的历史众包任务完成情况计算得到的，具体的计算方法可以参考前述步骤，该实施例不作具体的赘述。本步骤中更新后验概率的时间频率可以根据雇佣方需求进行具体设定。
S162，根据更新后的所述众包任务工作组中的每一工作者的后验概率，筛选所述众包任务工作组中的工作者。
在众包任务工作组中的每一工作者的后验概率更新之后，需要对众包任务工作组中的工作者进行更新。一种可以实施的方法为在众包任务工作组中引入淘汰机制，即将更新后的后验概率排名靠后的工作者从所述众包任务工作组中删除。具体删除的标准可以是，将更新后的后验概率低于期望准确率的工作者从众包任务工作组中删除，也可以是将更新后的后验概率低于预设准确率的工作者从众包任务工作组中删除，本发明实施例不作具体限定。在当前众包任务工作组中的工作者均符合雇佣者的条件的情况下，众包任务工作组也可以保持不变。
S163，从所述候选工作者集合中选择工作者加入所述众包任务工作组。
当众包任务工作组的部分工作者被删除后，需要为众包任务工作组补充对应数量的工作者，以满足众包任务的需要。所补充的工作者可以从候选工作者集合中进行选择。具体选择的方法可以与步骤S150相同，也可以与步骤S150不同，本发明实施例不作具体限定。当步骤S162中众包任务工作组保持不变时，本步骤也可以省略。
本发明实施例提供的众包任务工作组更新方法，通过动态地调整众包任务工作组中的工作者，避免了所确定的工作组中存在恶意工作者或表现不佳的工作者的情况，进一步使得工作者的确定更加准确。
基于上述任一实施例，图3为本发明实施例提供的工作者准确率的先验概率分布确定方法，如图3所示，步骤S110具体包括：
S111，根据工作者的历史众包任务完成质量，确定所述工作者的历史众包任务完成质量的期望和方差。
具体地，本发明实施例中先验概率p可以被认为是一个随机变量，其分布符合Beta分布，Beta分布的密度函数是：
Figure BDA0002678109960000091
其中，α和β是工作者准确率的先验概率分布的分布参数，Γ是伽马函数，p的取值范围在0到1之间。
Beta分布的期望E(p)和方差Var(p)的计算公式分别是：
Figure BDA0002678109960000092
Figure BDA0002678109960000093
如果雇佣方可以获取工作者的历史任务完成情况，则可以通过历史任务完成情况对工作者的先验分布参数α和β进行计算，具体计算方法如下：假设工作者已经完成了k次众包任务，任务完成的准确率分别是(θ1,θ2,...,θk)。
举例说明，如果工作者完成的任务是单项二元决策任务，例如对于一幅图片中是否包含违法信息进行标注，任务完成的结果为正确或错误，相应的任务完成的准确率的取值为1或0；如果工作者完成的任务是多项二元决策任务，例如对于100幅图片中是否包含违法信息进行标注，任务完成的结果为标注正确的图片的数量，例如工作者在正确标注了80幅图片的情况下，该任务完成的准确率是0.8。
本步骤可以根据历史任务完成准确率数据(θ1,θ2,...,θk)计算这些准确率的期望
Figure BDA0002678109960000101
和方差
Figure BDA0002678109960000102
S112，根据所述工作者的历史众包任务完成质量的期望和方差，确定所述工作者的准确率的先验概率分布。
将步骤S111计算得到的工作者历史任务完成准确率数据的期望和方差代入到Beta分布的期望和方差计算公式，可以计算得到工作者的准确率的先验概率分布的分布参数α和β的估计值：
Figure BDA0002678109960000103
Figure BDA0002678109960000104
先验概率分布的分布参数α和β对于工作者的准确率的评估非常重要，如果雇佣方未能工作者的历史任务完成准确率数据，可以直接设置α和β均为1，这时，工作者的准确率的先验概率Beta分布为(0,1)上的均匀分布。
本发明实施例提供的工作者准确率的先验概率分布确定方法，在假设工作者的准确率的概率分布为Beta分布的前提下，通过历史任务完成准确率数据的期望和方差，计算出工作者准确率的先验概率分布，实现了对工作者对于众包任务的准确率的初步估计。
基于上述任一实施例，本发明实施例提供一种工作者准确率的后验概率确定方法，步骤S130具体包括：
在工作者准确率的先验概率分布f(p)以及工作者测试任务X成后，接下来需要计算出工作者准确率的后验概率分布f(p|X)，用于确认是否要雇佣工作者完成众包任务。
假定雇佣方发布的测试任务数量为n，候选工作者的任务完成结果为X＝{x1,x2,…,xn}，其中，xi表示第i个测试任务的结果，xi＝0示第i个测试任务结果错误，xi＝1表示第i个测试任务结果正确，则失败的任务的数量为
Figure BDA0002678109960000105
由于各个测试任务之间是相互独立的，可以将工作者的测试任务完成结果看作是成功率为p的二项分布：
Figure BDA0002678109960000111
根据贝叶斯定理，在先验概率和测试结果的基础上计算得到的后验概率，可以进一步修正先验概率的准确性，相应地，后验概率f(p|X)可以表示为：
Figure BDA0002678109960000112
可见，工作者准确率的后验概率分布也符合Beta分布。具体地，当工作者的测试任务结果为X＝{x1,x2,…,xn}，其中失败任务数量为m时，p的后验概率的分布符合参数为的α+n-m和β+m的Beta分布。将该分布参数带入到Beta分布的期望计算公式中，可以确定最终得到的后验概率值。最终计算得到的后验概率值用于确认是否要雇佣工作者完成众包任务。
本发明实施例提供的工作者准确率的后验概率确定方法，结合工作者的准确率的先验概率以及工作者在测试任务中的表现，基于工作者的准确率的后验概率来评估工作者是否符合众包任务的需要，使得众包任务工作组的确定更加准确。
基于上述任一实施例，本发明实施例提供一种众包任务决策方法，该方法具体包括：
所述众包任务和所述测试任务可以是具有明确决策结果的任务，具体地，所述众包任务和所述测试任务可以是二元决策任务，例如判定图片中是否包含违法信息，工作者需要针对任务给出明确的是或否的决定，雇佣方可以根据工作者的决策判断工作者的决策正确或错误。
相应地，众包任务的工作组可以将工作者的数量设置为奇数，在工作者对二元决策任务或其他具有明确决策结果的任务给出个人决策结果后，按照少数服从多数的原则给出工作组决策结果。
若工作者的个人决策结果与工作组决策结果相同，则确定个人决策结果为正确，否则，确定个人决策结果为错误。
本发明实施例提供的众包任务决策方法，根据个人决策结果确定工作组决策结果，再根据工作组决策结果反过来评价个人决策结果。对于没有给定答案的众包任务而言可以快速地确定任务决策结果，且决策结果具有较高的可靠性；同时，也实现了快速评估工作者的众包任务完成情况。
基于上述任一实施例，图4为本发明实施例提供的众包任务工作组确定装置，如图4所示，该装置具体包括：
先验概率确定模块410，用于根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布；
测试结果确定模块420，用于确定向所述工作者所分配的测试任务的测试结果；
后验概率确定模块430，用于基于所述先验概率分布和所述测试结果，计算所述工作者的准确率的后验概率；
候选工作者确定模块440，用于根据所述众包任务的预期准确率和所述工作者的准确率的后验概率，确定是否选择所述工作者加入候选工作者集合；
工作组确定模块450，用于从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组；
工作组更新模块460，用于根据所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者。
本发明实施例提供的众包任务工作组确定装置，结合工作者的准确率的先验概率以及工作者在测试任务中的表现，基于工作者的准确率的后验概率来评估工作者是否符合众包任务的需要，使得众包任务工作组的确定更加准确。
基于上述任一实施例，该装置进一步用于：
根据预设的时间间隔，基于所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率；
根据更新后的所述众包任务工作组中的每一工作者的后验概率，筛选所述众包任务工作组中的工作者；
从所述候选工作者集合中选择工作者加入所述众包任务工作组。
基于上述任一实施例，该装置进一步用于：
根据工作者的历史众包任务完成质量，确定所述工作者的历史众包任务完成质量的期望和方差；
根据所述工作者的历史众包任务完成质量的期望和方差，确定所述工作者的准确率的先验概率分布。
基于上述任一实施例，该装置进一步用于：
所述工作者的准确率的先验概率分布符合Beta分布；
将所述工作者的历史众包任务完成质量的期望和方差表示为Beta分布的形式；
根据所述工作者的历史众包任务完成质量的期望和方差的Beta分布的表示形式，确定所述工作者的准确率的先验概率分布的参数。
基于上述任一实施例，该装置进一步用于：
所述众包任务工作组根据每一工作者对于众包任务的个人决策结果，按照多数原则确定所述众包任务的工作组决策结果。
基于上述任一实施例，该装置进一步用于：
其中，若所述工作者的所述个人决策结果与所述工作组决策结果相同，则确定所述个人决策结果为正确，否则，确定所述个人决策结果为错误。
基于上述任一实施例，该装置进一步用于：
所述众包任务和所述测试任务是二元决策任务。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行如下方法：
根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布；
确定向所述工作者所分配的测试任务的测试结果；
基于所述先验概率分布和所述测试结果，计算所述工作者的准确率的后验概率；
根据所述众包任务的预期准确率和所述工作者的准确率的后验概率，确定是否选择所述工作者加入候选工作者集合；
从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组；
根据所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布；
确定向所述工作者所分配的测试任务的测试结果；
基于所述先验概率分布和所述测试结果，计算所述工作者的准确率的后验概率；
根据所述众包任务的预期准确率和所述工作者的准确率的后验概率，确定是否选择所述工作者加入候选工作者集合；
从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组；
根据所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种众包任务工作组确定方法，其特征在于，包括：
根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布；
确定向所述工作者所分配的测试任务的测试结果；
基于所述先验概率分布和所述测试结果，计算所述工作者的准确率的后验概率；
根据所述众包任务的预期准确率和所述工作者的准确率的后验概率，确定是否选择所述工作者加入候选工作者集合；
从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组；
根据所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者。
2.根据权利要求1所述的众包任务工作组确定方法，其特征在于，所述根据所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者，具体包括：
根据预设的时间间隔，基于所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率；
根据更新后的所述众包任务工作组中的每一工作者的后验概率，筛选所述众包任务工作组中的工作者；
从所述候选工作者集合中选择工作者加入所述众包任务工作组。
3.根据权利要求1所述的众包任务工作组确定方法，其特征在于，所述根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布，具体包括：
根据工作者的历史众包任务完成质量，确定所述工作者的历史众包任务完成质量的期望和方差；
根据所述工作者的历史众包任务完成质量的期望和方差，确定所述工作者的准确率的先验概率分布。
4.根据权利要求3所述的众包任务工作组确定方法，其特征在于，所述工作者的准确率的先验概率分布符合Beta分布；
对应地，所述根据所述工作者的历史众包任务完成质量的期望和方差，确定所述工作者的准确率的先验概率分布，具体包括：
将所述工作者的历史众包任务完成质量的期望和方差表示为Beta分布的形式；
根据所述工作者的历史众包任务完成质量的期望和方差的Beta分布的表示形式，确定所述工作者的准确率的先验概率分布的参数。
5.根据权利要求1所述的众包任务工作组确定方法，其特征在于，所述方法还包括：
所述众包任务工作组根据每一工作者对于众包任务的个人决策结果，按照多数原则确定所述众包任务的工作组决策结果。
6.根据权利要求5所述的众包任务工作组确定方法，其特征在于，若所述工作者的所述个人决策结果与所述工作组决策结果相同，则确定所述个人决策结果为正确，否则，确定所述个人决策结果为错误。
7.根据权利要求1至6任一项所述的众包任务工作组确定方法，其特征在于，所述众包任务和所述测试任务是二元决策任务。
8.一种众包任务工作组确定装置，其特征在于，包括：
先验概率确定模块，用于根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布；
测试结果确定模块，用于确定向所述工作者所分配的测试任务的测试结果；
后验概率确定模块，用于基于所述先验概率分布和所述测试结果，计算所述工作者的准确率的后验概率；
候选工作者确定模块，用于根据所述众包任务的预期准确率和所述工作者的准确率的后验概率，确定是否选择所述工作者加入候选工作者集合；
工作组确定模块，用于从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组；
工作组更新模块，用于根据所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的众包任务工作组确定方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的众包任务工作组确定方法的步骤。
CN202010954383.1A 2020-09-11 2020-09-11 一种众包任务工作组确定方法 Active CN112101776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010954383.1A CN112101776B (zh) 2020-09-11 2020-09-11 一种众包任务工作组确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010954383.1A CN112101776B (zh) 2020-09-11 2020-09-11 一种众包任务工作组确定方法

Publications (2)

Publication Number Publication Date
CN112101776A true CN112101776A (zh) 2020-12-18
CN112101776B CN112101776B (zh) 2024-08-06

Family

ID=73751495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010954383.1A Active CN112101776B (zh) 2020-09-11 2020-09-11 一种众包任务工作组确定方法

Country Status (1)

Country Link
CN (1) CN112101776B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131130A (zh) * 2022-07-01 2022-09-30 江苏苏宁银行股份有限公司 一种可配置的账务核心自动跑批方法、装置和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110313933A1 (en) * 2010-03-16 2011-12-22 The University Of Washington Through Its Center For Commercialization Decision-Theoretic Control of Crowd-Sourced Workflows
US20150254596A1 (en) * 2014-03-07 2015-09-10 Netflix, Inc. Distributing tasks to workers in a crowd-sourcing workforce
CN107871196A (zh) * 2016-09-28 2018-04-03 郑州大学 一种基于滑动任务窗的众包质量评估方法
CN107909262A (zh) * 2017-11-13 2018-04-13 北京航空航天大学 一种众包代价复杂度的获取方法
CN108596800A (zh) * 2018-04-13 2018-09-28 北京交通大学 一种基于贝叶斯的开放性答案决策方法
CN110443292A (zh) * 2019-07-24 2019-11-12 北京交通大学 多影响因素的众包答案决策方法
CN111626616A (zh) * 2020-05-27 2020-09-04 深圳莫比嗨客数据智能科技有限公司 一种众包任务推荐方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110313933A1 (en) * 2010-03-16 2011-12-22 The University Of Washington Through Its Center For Commercialization Decision-Theoretic Control of Crowd-Sourced Workflows
US20150254596A1 (en) * 2014-03-07 2015-09-10 Netflix, Inc. Distributing tasks to workers in a crowd-sourcing workforce
CN107871196A (zh) * 2016-09-28 2018-04-03 郑州大学 一种基于滑动任务窗的众包质量评估方法
CN107909262A (zh) * 2017-11-13 2018-04-13 北京航空航天大学 一种众包代价复杂度的获取方法
CN108596800A (zh) * 2018-04-13 2018-09-28 北京交通大学 一种基于贝叶斯的开放性答案决策方法
CN110443292A (zh) * 2019-07-24 2019-11-12 北京交通大学 多影响因素的众包答案决策方法
CN111626616A (zh) * 2020-05-27 2020-09-04 深圳莫比嗨客数据智能科技有限公司 一种众包任务推荐方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IOANNIS BOUTSIS等: "On Task Assignment for Real-Time Reliable Crowdsourcing", 2014 IEEE 34TH INTERNATIONAL CONFERENCE ON DISTRIBUTED COMPUTING SYSTEMS, 1 September 2014 (2014-09-01), pages 1 - 10 *
仲秋雁等: "考虑工作者信誉的众包质量EM评估方法", 科技管理研究, vol. 38, no. 21, 10 November 2018 (2018-11-10), pages 70 - 76 *
明志茂等著: "《动态分布参数的贝叶斯可靠性分析》", 国防工业出版社, pages: 44 - 46 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131130A (zh) * 2022-07-01 2022-09-30 江苏苏宁银行股份有限公司 一种可配置的账务核心自动跑批方法、装置和存储介质

Also Published As

Publication number Publication date
CN112101776B (zh) 2024-08-06

Similar Documents

Publication Publication Date Title
US11580457B2 (en) Prediction method, terminal, and server
Kallus et al. Stochastic optimization forests
CN111294819B (zh) 一种网络优化方法及装置
Mikhailiuk et al. Active sampling for pairwise comparisons via approximate message passing and information gain maximization
CN107730286A (zh) 一种目标客户筛选方法及装置
CN112966081B (zh) 处理问答信息的方法、装置、设备和存储介质
JP2019144767A (ja) 学習プログラム、学習方法および学習装置
CN111695624A (zh) 数据增强策略的更新方法、装置、设备及存储介质
CN112101776A (zh) 一种众包任务工作组确定方法
CN110968790A (zh) 基于大数据的潜在客户智能推荐方法、设备和存储介质
CN108074108B (zh) 一种净推荐值的显示方法及其终端
Mikhailiuk et al. Psychometric scaling of TID2013 dataset
CN114385714B (zh) 基于反馈的多排序融合方法、装置、设备及可读存储介质
CN110880013A (zh) 识别文本的方法及装置
US20210311941A1 (en) Method and device for determining social rank of node in social network
WO2023135638A1 (ja) 生成方法、生成プログラムおよび情報処理装置
CN113806616B (zh) 微博用户识别方法、系统、电子设备及存储介质
CN114862606B (zh) 一种基于云服务的保险信息处理方法、装置
CN111754056B (zh) 模型评估方法以及相关装置
US20230419120A1 (en) Learning method, estimation method, learning apparatus, estimation apparatus, and program
US20160026927A1 (en) Bayesian interactive decision support for multi-attribute problems with even swaps
CN114925265A (zh) 基于群体行为的用户画像群体获取方法、系统、设备和计算机可读存储介质
CN116301728A (zh) 基于自适应生成应用的方法及装置、电子设备和存储介质
CN117195104A (zh) 资源分类方法、装置、电子设备及存储介质
CN117076468A (zh) 用于信息更新的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant