CN115130888A - 一种基于自步学习的众包任务分配方法及系统 - Google Patents

一种基于自步学习的众包任务分配方法及系统 Download PDF

Info

Publication number
CN115130888A
CN115130888A CN202210808436.8A CN202210808436A CN115130888A CN 115130888 A CN115130888 A CN 115130888A CN 202210808436 A CN202210808436 A CN 202210808436A CN 115130888 A CN115130888 A CN 115130888A
Authority
CN
China
Prior art keywords
task
worker
tasks
self
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210808436.8A
Other languages
English (en)
Inventor
余国先
康祥平
王峻
郭伟
崔立真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210808436.8A priority Critical patent/CN115130888A/zh
Publication of CN115130888A publication Critical patent/CN115130888A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及众包技术领域，提供了一种基于自步学习的众包任务分配方法及系统，包括：响应于非首次任务请求，将标注难度由易到难的一组非基准任务发送给工人终端，以获取工人终端返回的工人对非基准任务的标注结果；根据工人对非基准任务的标注结果、工人的质量以及非基准任务的标注难度，推理出非基准任务的真值，并更新工人的质量；其中，非基准任务的标注难度为通过自步学习分类器预测得到的非基准任务的分类概率向量的熵值。大幅度提高了工人标注答案的质量，并节省预算。

Description

一种基于自步学习的众包任务分配方法及系统
技术领域
本发明属于众包技术领域，尤其涉及一种基于自步学习的众包任务分配方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
众包是一种人机回圈的计算范式，它协调人群(在线工人)来解决对于计算机而言较为困难的问题，例如图像标注、情感分析和蛋白质结构设计等。由于的众包中任务难度、工人能力以及激励机制等诸多因素的影响，从不同的众包工人收集到的答案质量参差不齐，目前研究人员已经提出了许多方法来获得高质量的众包标注，并通过对工人、任务进行建模来减少项目的预算。然而，现有大多数的众包算法都默认的假设工人在完成众包任务的过程中其处理任务的能力以及答案的质量是始终固定不变的，但是在实际的项目实施过程中，工人的能力可以通过任务标注正确性的反馈以及后续逐步完成由容易到困难的任务来进行提高，如同人类固有的自步学习能力一样，如何在众包项目中选择合适的任务对工人进行反馈以及分配由易到难的任务，以此来激发工人的自步学习能力，提高处理困难任务的能力，是当前提高众包项目合理地进行任务分配完成质量控制以及节省预算中亟待解决的难点。
目前众包中任务分配的方法可以分为三大类：以任务为中心，即为给定的工人分配一组合适的任务，例如分配不确定性最大的一组任务或者分配收益最大的一组任务；以工人为中心，即分配任务时考虑了工人的质量和偏好，例如根据工人在已完成任务上的表现来估计工人的质量，并预测工人可以胜任的任务集，又或者在分配任务时限制低质量的工人，此外还要考虑工人偏好的策略，为工人分配其相关的任务；同时以工人和任务为中心，即同时对工人和任务进行建模，例如对工人所擅长的领域和对任务所属的领域进行分析，并为工人分配其最相关最有把握的任务，此外还有基于工人已完成的任务和任务的潜在难度，挖掘工人的潜在技能。
上述大多数解决方案都假设在众包过程中，工人的能力保持不变，这些方法的目标在于精确的衡量工人的能力和擅长的技能，而忽视了工人具有的自步学习能力，忽视了工人在完成任务的过程中可以增强自身技能这一重要的事实。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于自步学习的众包任务分配方法及系统，考虑了工人的自步学习能力，并通过基准任务的反馈刺激工人的自步学习能力，并逐渐升级任务的难度以进一步提高了工人完成任务的能力，从而大幅度提高了工人标注答案的质量，并节省预算。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于自步学习的众包任务分配方法，其包括：
响应于非首次任务请求，将标注难度由易到难的一组非基准任务发送给工人终端，以获取工人终端返回的工人对非基准任务的标注结果；
根据工人对非基准任务的标注结果、工人的质量以及非基准任务的标注难度，推理出非基准任务的真值，并更新工人的质量；
其中，非基准任务的标注难度为通过自步学习分类器预测得到的非基准任务的分类概率向量的熵值。
进一步地，所述自步学习分类器在首次训练时，根据所有的基准任务和真值组成的训练集来训练；
在得到某组非基准任务的真值后，将该组非基准任务及其真值组成新的训练集对自步学习分类器进行重新训练。
进一步地，所述工人的质量的初始化方法为：
响应于首次任务请求，发送基准任务至工人终端，以获取工人对基准任务的标注结果；
根据基准任务的真值和工人的标注结果，计算工人的质量。
进一步地，所述基准任务的获取方法为：采用聚类算法对所有任务进行聚类，在每个簇中选择若干个任务作为基准任务。
进一步地，对于每个簇，选择距离聚类中心最近的若干个任务作为基准任务；
每个簇选取的基准任务的数量与簇包含的任务数成正比。
进一步地，采用EM算法推理出非基准任务的真值，并更新工人的质量，具体步骤为：
在E步骤中，根据工人对非基准任务的标注结果、工人的质量以及非基准任务的标注难度，来估计非基准任务的真值概率分布；
在M步骤中，根据非基准任务的标注难度以及E步骤中推理出来的真值，来更新工人的质量；
E步骤和M步骤循环迭代进行，直至达到收敛条件，得到最终的非基准任务的真值和工人的质量。
进一步地，所述自步学习分类器的优化目标为：
Figure BDA0003739347070000041
s.t.vi∈[0,1]
其中，
Figure BDA0003739347070000042
是预测模型f(xi,w)在第i个基准任务xi上的损失函数值，w是预测模型f(xi,w)的参数，λ是控制自步学习速度的标量参数，参数vi用于决定预测模型是否选择第i个基准任务进行训练，m为用于自步学习分类器训练的任务数量。
本发明的第二个方面提供一种基于自步学习的众包任务分配系统，其包括：
分配模块，其被配置为：响应于非首次任务请求，将标注难度由易到难的一组非基准任务发送给工人终端，以获取工人终端返回的工人对非基准任务的标注结果；
推理模块，其被配置为：根据工人对非基准任务的标注结果、工人的质量以及非基准任务的标注难度，推理出非基准任务的真值，并更新工人的质量；
其中，非基准任务的标注难度为通过自步学习分类器预测得到的非基准任务的分类概率向量的熵值。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种基于自步学习的众包任务分配方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种基于自步学习的众包任务分配方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于自步学习的众包任务分配方法，其考虑了工人的自步学习能力，并通过基准任务的反馈刺激工人的自步学习能力，在此基础上，首先通过较为简单的任务巩固和加强工人学到的知识和技能，再逐渐升级任务的难度以进一步提高工人完成任务的能力，从而大幅度提高工人标注答案的质量，并节省预算。
本发明提供了一种基于自步学习的众包任务分配方法，其要求新的工人在有真值的基准任务上进行标注，以评估工人的能力并且提供关于标注正确性的反馈，从而激发工人的自步学习能力。
本发明提供了一种基于自步学习的众包任务分配方法，其利用基准任务及其真值组成的训练集来训练一个任务难度预测模型，即自步学习分类器，实现将任务由易到难地分配给众包工人，从而进一步促进他们能力的增长。
本发明提供了一种基于自步学习的众包任务分配方法，其在工人对任务标注的答案后，利用工人的质量以及任务的难度进行真值推理，推理出任务的真实答案。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一的一种基于自步学习的众包任务分配方法的整体流程图；
图2是本发明实施例一的一种基于自步学习的众包任务分配方法的详细流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于自步学习的众包任务分配方法，如图1和图2所示，具体包括以下步骤：
步骤101、工人评估。将基准任务发送至发布者终端，以获取任务发布者对准任务的标注结果，并将其作为真值；响应于首次任务请求，发送基准任务至工人终端，以获取工人对基准任务的标注结果；根据基准任务的真值和工人的标注结果，计算工人的准确率，即初始的工人的质量。其中，基准任务的获取方法为：采用聚类算法对所有任务进行聚类，在每个簇中选择若干个任务作为基准任务，其余的即为非基准任务。对于每个簇，选择距离聚类中心最近的若干个任务作为基准任务；每个簇选取的基准任务的数量与簇包含的任务数成正比。
选取具有代表性的任务作为基准任务，并发送至发布者终端，以获取发布者终端返回的任务发布者指定的真值，用以测试工人的质量，以及提供训练数据来训练后续的自步学习分类器。
具体的，首先通过聚类选择一些具有“代表性”的任务作为基准任务，并让任务发布者手动标注真值，响应于众包工人的首次任务请求，将这些基准任务发送给发送首次任务请求的工人终端，来测试众包工人的标注质量，同时工人终端会显示工人所提供的标注是否正确的反馈，从而启动工人的自步学习过程，此外，这些基准数据以及真值将组成训练集来训练后续的自步学习分类器。
步骤101的具体实现方式如下：
S1011、采用聚类算法对所有任务进行聚类，选取最靠近聚类质心的任务作为基准任务，并让任务发布者指定真值。
由于只能要求任务发布者为有限数量的任务标注真值答案，因此，必须选择最具有代表性和最有益的任务作为基准任务，这些任务需要具备两个特点，即它们可以准确地评估工人对于此众包项目的准确率；由这些任务生成的训练数据可以为剩余的任务建立一个可靠的任务难度预测模型。因此，提出使用聚类的方式来选出最具代表性的任务。具体来说，设众包任务有C个类别(即每个任务有C个选项)，且基准任务的数量被限定为k个，使用k-means聚类算法将所有任务聚为C个簇，对于任意一个簇c，选择最靠近簇中心点的前kc个任务作为基准任务，kc与对应簇包含的任务数成正比，即满足如下形式：
Figure BDA0003739347070000071
其中，Nc表示第c个簇的任务数目，N表示众包项目中任务的总数。由于这k个任务是最靠近聚类中心点的任务，所以是与其他任务最为相似的一组任务集，因此工人在此项目中所有任务上的表现与在这k个任务上的表现最相似，进而这一组任务集可以准确地评估工人的质量和准确率；此外，这些靠近聚类质心的任务和其他任务的特征最近似，即是其中最为典型的任务，可以代表整个项目中任务的典型特征，故而在这些典型任务上训练的模型可以准确地捕获任务的特征。
S1012、使用基准任务集及其真值来测试新来工人的质量，并给与其正确与否的反馈。
当工人第一次在平台中请求执行众包项目的任务时，平台首先让工人执行这些指明真值的基准任务，从而初始化工人对于此项目的初始准确率或者质量，同时，当工人每完成一个基准任务，会给出正确与否的反馈，帮助工人获得关于项目中任务的基本知识和技能，激发工人的自步学习能力。
S1013、将基准任务和其真值组成训练集用以训练自步学习分类器，即将这些基准任务与其真值标签作为后续任务难度预测模型的训练集。
步骤102、自步任务分配。响应于非首次任务请求，将标注难度由易到难的一组非基准任务发送给工人终端，以获取工人终端返回的工人对非基准任务的标注结果。其中，非基准任务的标注难度为通过自步学习分类器预测得到的非基准任务的分类概率向量的熵值，自步学习分类器在首次训练时，根据所有的基准任务和真值组成的训练集来训练，具体的，根据基准任务及其真值组成的训练数据来训练自步学习分类器，来评估非基准任务的难度，为工人分配由易到难的任务。
步骤102的具体实现方式如下：
S1021、使用基准任务和任务发布者指定的真值来训练自步学习分类器，计算分类器对非基准任务预测概率向量的熵值作为非基准任务的难度。
训练自步学习分类器，设
Figure BDA0003739347070000081
是带有真值标签的数据集(在首次训练时为基准数据集)，m为用于自步学习分类器训练的任务数量(在首次训练时为基准任务的数量k)，其中xi代表基准任务中第i个任务，yi∈{1,2,…,C}是任务发布者指定的真值标签，C是任务的类别总数，则在首次训练时，自步学习分类器的优化目标可以表述为如下形式：
Figure BDA0003739347070000091
s.t.vi∈[0,1]
其中，
Figure BDA0003739347070000092
是预测模型f(xi,w)在第i个任务xi上的损失函数值，w是预测模型f(xi,w)的参数，λ是控制自步学习速度的标量参数，vi参数用于决定当前迭代轮次中预测模型是否选择第i个任务进行训练。
具体的，在自步学习优化过程中，首先按照如下公式更新参数v：
Figure BDA0003739347070000093
将损失函数值小于λ的样本权重置为1，否则置为0，然后根据已更新的参数v更新模型参数w。在迭代开始时，会选取损失函数值小于λ的样本进行学习(即对于当前模型而言较为简单的样本)，每次迭代完成后，逐渐增加λ，随着λ的增大，会逐渐选择损失函数值较大的样本(即对于模型而言较困难的样本)进行学习，这样模型从简单的样本开始学习，再逐渐学习较难的样本，可以加快模型收敛速率，避免一开始就使用困难样本进行训练，陷入局部最优点。
在上述自步分类器在基准数据集上训练完成后，本发明使用基于任务的熵值作为其难度衡量标准，即将任务(非基准任务)输入到自步学习分类器中得到其预测分类概率向量，计算分类向量的熵值作为任务标注的难度，任务熵值越大，则此任务对于当前模型的不确定性程度和模糊程度就越大，对于工人而言，准确标注任务的难度就越大。设Pc(xi)表示自步分类器预测非基准任务xi属于第c个类别的概率，则任务的标注难度量化为如下形式：
Figure BDA0003739347070000101
S1022、根据计算出的任务的难度，为请求任务的工人分配由易到难的一组任务。
根据任务难度衡量的结果进行任务分配，当工人请求完成一组任务时，首先使用自步学习分类器确定未分配任务的难度，并从小到大进行难度排序，然后选择前b个任务分配给工人进行标注。当工人将已分配的任务全部标注完成之后，再利用这些已分配的任务及其共识标签组成新的训练集对自步学习分类器进行训练，从而更新自步学习分类器以进行下一轮的任务分配。
步骤103、真值推理。根据工人对非基准任务的标注结果、工人的质量以及非基准任务的标注难度，采用EM算法推理出非基准任务的真值，并更新工人的质量。具体步骤为：在E步骤中，根据工人对非基准任务xi的标注结果
Figure BDA0003739347070000102
工人的质量qw以及非基准任务xi的标注难度di，来估计非基准任务xi的真值概率分布si；在M步骤中，根据非基准任务xi的标注难度di以及E步骤中推理出来的真值概率分布si，来更新工人的质量qw；E步骤和M步骤循环迭代进行，直至达到收敛条件，得到最终的非基准任务的真值和工人的质量。
综合工人对任务标注的答案，根据工人的能力以及任务的难度推理出任务的真实答案，同时更新工人的能力。具体的，根据工人初始化的能力、任务的难度以及收集到的任务答案，推导出任务的真值概率分布；根据推出的真值概率分布更新工人的质量。
进行任务的真值推理，即综合工人对任务的标注答案，根据工人的质量和任务的难度，推理出任务的真实答案，并更新工人的质量。对于工人质量和任务真值答案之前的相互作用，考虑了两个基本观察：给定一个任务，如果工人的能力水平高于任务的难度，那么他的答案有较大的可能是真值答案；如果某个工人能够经常正确地标注任务，那么这名工人相对于这些任务有较高的质量。基于这两个观察结果，使用期望最大化算法(EM算法)来优化为工人和任务建模的参数集。对于每个任务，设si＝[si,1,si,2,…,si,C]来表示任务xi的真值概率分布，其中si,j(1≤j≤C)代表第j个类别是真实标签的概率，C是所有可能的类别数，任务的难度表示为di(1≤i≤n)，n表示非基准任务的数量，工人w的质量定义为
Figure BDA0003739347070000111
其中
Figure BDA0003739347070000112
表示参与的工人集合，工人的标注答案表示为
Figure BDA0003739347070000113
对于任务xi，所有工人对其标注的答案表示为
Figure BDA0003739347070000114
例如
Figure BDA0003739347070000115
可能表示为
Figure BDA0003739347070000116
具体的，EM算法的每次迭代包括两个步骤，分为E步骤和M步骤，在E步骤中，根据任务xi的标注答案
Figure BDA0003739347070000117
任务的难度di以及工人的质量qw来估计任务的真值概率分布si，而在M步骤中，根据任务的难度以及E步骤中推理出来的真值概率分布si来更新工人的质量qw，这两步骤循环迭代进行，直至参数都达到收敛，基于最终估计的任务xi真值概率分布si，可以得出非基准任务的共识答案(真值)为概率最大值对应的标签，即
Figure BDA0003739347070000118
步骤103的具体实现方式如下：
S1031、E步骤，即根据工人的能力，任务的难度以及收集到的标注答案推理出真值概率分布(qw→si)。其中工人的能力通过S101进行初始化，任务的难度由S102计算得出，本平台的真值推理算法遵循两个通用的基本假设，即工人对各个任务标注的过程都是相互独立的，互不影响；任务答案的先验概率分布服从均匀分布
Figure BDA0003739347070000119
基于这两个基本假设，可以推导出任务xi的真值概率分布为如下形式：
Figure BDA0003739347070000121
每个任务总共有C种可能的答案，设
Figure BDA0003739347070000122
表示工人w能够正确标注任务xi的概率，则可以推出工人w将任务xi标注为某一个错误答案的概率为：
Figure BDA0003739347070000123
进一步地，
Figure BDA0003739347070000124
其中，
Figure BDA0003739347070000125
代表指示函数，如果输入为真，则函数输出为1，否则输出0。当任务xi的难度较低时，而工人w的质量较高，则工人能够正确标注任务的概率
Figure BDA0003739347070000126
就较高，因此使用标准逻辑回归联合考虑任务难度和工人的质量来近似
Figure BDA0003739347070000127
为如下形式：
Figure BDA0003739347070000128
公式(8)将概率
Figure BDA0003739347070000129
映射到0到1之间，并联合建模工人的质量和任务难度之间的相互关系，由此，最终可以推出任意一个任务xi的真值概率分布si。
S1032、M步骤，估计工人的质量，即根据S1031中估计的真值概率分布来估计工人的质量(si→qw)，本步骤根据工人正确标注的任务占其标注过的所有任务的比例，以及其标注过的任务的难度来衡量工人的质量，如果某个工人能够将困难的任务标注正确，那么他的质量应当要比其他只能完成简单的任务的工人的质量更高。据此，工人的质量可近似为如下形式：
Figure BDA00037393470700001210
其中，
Figure BDA00037393470700001211
代表工人w标注过的任务集合。然而，由于任务xi的真值
Figure BDA00037393470700001212
未知，所以工人的质量qw不能用公式(9)直接计算出来，因此本发明根据E步骤中估计得到的真值概率分布来计算任务xi标注正确的期望值：
Figure BDA0003739347070000131
因此，通过任务的真值概率分布和任务的难度，可以计算出工人质量qw的期望为如下形式：
Figure BDA0003739347070000132
由此，对于任意一个标注过任务的工人w，本步骤通过S1031估计的任务的真值概率分布，可以估计出工人w的质量qw。
特别注意的是，S1031和S1032两步骤循环迭代进行，即当S1032步骤执行完毕时，会继续执行S1031步骤，循环进行直至所有参数达到收敛，最终推导出任务的真值(共识标签)以及对应工人的质量。
在一组非基准任务的标注结果，通过步骤103的EM算法得到共识标签，并更新工人的质量后，将一组非基准任务及其共识标签组成新的训练集对自步学习分类器进行重新训练；将未分配的非基准任务输入重新训练后的自步学习分类器，得到未分配的非基准任务的难度；在步骤102再次接收到非首次任务请求时，会再次响应于非首次任务请求，将标注难度由易到难的一组非基准任务发送给工人终端，以获取工人终端返回的工人对非基准任务的标注结果；步骤103的EM算法采用更新后的工人的质量推理出非基准任务的真值，并再次更新工人的质量。工人的质量更新后发送给工人终端的一组非基准任务的难度大于工人的质量更新前。
本实施例首先要求新的工人在有真值的基准任务上进行标注，以评估工人的能力并且提供关于标注正确性的反馈，从而激发工人的自步学习能力，然后利用基准任务及其真值组成的训练集来训练一个任务难度预测模型，即自步学习分类器，实现将任务由易到难地分配给众包工人，从而进一步促进他们能力的增长，最后在工人对任务标注的答案后，利用工人的质量以及任务的难度进行真值推理，推理出任务的真实答案。考虑了工人的自步学习能力，并通过基准任务的反馈刺激工人的自步学习能力，在此基础上，首先通过较为简单的任务巩固和加强工人学到的知识和技能，再逐渐升级任务的难度以进一步提高工人完成任务的能力，从而大幅度提高工人标注答案的质量，并节省预算。
实施例二
本实施例提供了一种基于自步学习的众包任务分配系统，其具体包括如下模块：
分配模块，其被配置为：响应于非首次任务请求，将标注难度由易到难的一组非基准任务发送给工人终端，以获取工人终端返回的工人对非基准任务的标注结果；
推理模块，其被配置为：根据工人对非基准任务的标注结果、工人的质量以及非基准任务的标注难度，推理出非基准任务的真值，并更新工人的质量；
其中，非基准任务的标注难度为通过自步学习分类器预测得到的非基准任务的分类概率向量的熵值。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种基于自步学习的众包任务分配方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种基于自步学习的众包任务分配方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自步学习的众包任务分配方法，其特征在于，包括：
响应于非首次任务请求，将标注难度由易到难的一组非基准任务发送给工人终端，以获取工人终端返回的工人对非基准任务的标注结果；
根据工人对非基准任务的标注结果、工人的质量以及非基准任务的标注难度，推理出非基准任务的真值，并更新工人的质量；
其中，非基准任务的标注难度为通过自步学习分类器预测得到的非基准任务的分类概率向量的熵值。
2.如权利要求1所述的一种基于自步学习的众包任务分配方法，其特征在于，所述自步学习分类器在首次训练时，根据所有的基准任务和真值组成的训练集来训练；
在得到某组非基准任务的真值后，将该组非基准任务及其真值组成新的训练集对自步学习分类器进行重新训练。
3.如权利要求1所述的一种基于自步学习的众包任务分配方法，其特征在于，所述工人的质量的初始化方法为：
响应于首次任务请求，发送基准任务至工人终端，以获取工人对基准任务的标注结果；
根据基准任务的真值和工人的标注结果，计算工人的质量。
4.如权利要求2或3任一项所述的一种基于自步学习的众包任务分配方法，其特征在于，所述基准任务的获取方法为：采用聚类算法对所有任务进行聚类，在每个簇中选择若干个任务作为基准任务。
5.如权利要求4所述的一种基于自步学习的众包任务分配方法，其特征在于，对于每个簇，选择距离聚类中心最近的若干个任务作为基准任务；
每个簇选取的基准任务的数量与簇包含的任务数成正比。
6.如权利要求1所述的一种基于自步学习的众包任务分配方法，其特征在于，采用EM算法推理出非基准任务的真值，并更新工人的质量，具体步骤为：
在E步骤中，根据工人对非基准任务的标注结果、工人的质量以及非基准任务的标注难度，来估计非基准任务的真值概率分布；
在M步骤中，根据非基准任务的标注难度以及E步骤中推理出来的真值概率分布，来更新工人的质量；
E步骤和M步骤循环迭代进行，直至达到收敛条件，得到最终的非基准任务的真值和工人的质量。
7.如权利要求1所述的一种基于自步学习的众包任务分配方法，其特征在于，所述自步学习分类器的优化目标为：
Figure FDA0003739347060000021
s.t.vi∈[0,1]
其中，
Figure FDA0003739347060000022
是预测模型f(xi,w)在第i个任务xi上的损失函数值，w是预测模型f(xi,w)的参数，λ是控制自步学习速度的标量参数，参数vi用于决定预测模型是否选择第i个任务进行训练，m为用于自步学习分类器训练的任务数量。
8.一种基于自步学习的众包任务分配系统，其特征在于，包括：
分配模块，其被配置为：响应于非首次任务请求，将标注难度由易到难的一组非基准任务发送给工人终端，以获取工人终端返回的工人对非基准任务的标注结果；
推理模块，其被配置为：根据工人对非基准任务的标注结果、工人的质量以及非基准任务的标注难度，推理出非基准任务的真值，并更新工人的质量；
其中，非基准任务的标注难度为通过自步学习分类器预测得到的非基准任务的分类概率向量的熵值。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于自步学习的众包任务分配方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于自步学习的众包任务分配方法中的步骤。
CN202210808436.8A 2022-07-11 2022-07-11 一种基于自步学习的众包任务分配方法及系统 Pending CN115130888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210808436.8A CN115130888A (zh) 2022-07-11 2022-07-11 一种基于自步学习的众包任务分配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210808436.8A CN115130888A (zh) 2022-07-11 2022-07-11 一种基于自步学习的众包任务分配方法及系统

Publications (1)

Publication Number Publication Date
CN115130888A true CN115130888A (zh) 2022-09-30

Family

ID=83383665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210808436.8A Pending CN115130888A (zh) 2022-07-11 2022-07-11 一种基于自步学习的众包任务分配方法及系统

Country Status (1)

Country Link
CN (1) CN115130888A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994675A (zh) * 2023-03-22 2023-04-21 北京语言大学 一种面向文本序列的高性价比众包工人选择方法及装置
CN116825212A (zh) * 2023-08-29 2023-09-29 山东大学 一种基于生物医学众包平台的数据收集标注方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994675A (zh) * 2023-03-22 2023-04-21 北京语言大学 一种面向文本序列的高性价比众包工人选择方法及装置
CN116825212A (zh) * 2023-08-29 2023-09-29 山东大学 一种基于生物医学众包平台的数据收集标注方法及系统
CN116825212B (zh) * 2023-08-29 2023-11-28 山东大学 一种基于生物医学众包平台的数据收集标注方法及系统

Similar Documents

Publication Publication Date Title
Tuli et al. COSCO: Container orchestration using co-simulation and gradient based optimization for fog computing environments
CN110119844B (zh) 引入情绪调控机制的机器人运动决策方法、系统、装置
US20170293844A1 (en) Human-machine collaborative optimization via apprenticeship scheduling
CN115130888A (zh) 一种基于自步学习的众包任务分配方法及系统
CN110070391B (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN110458663B (zh) 一种车辆推荐方法、装置、设备及存储介质
US11501215B2 (en) Hierarchical clustered reinforcement machine learning
EP3525139A1 (en) Automatically scaling neural networks based on load
Govindarajan et al. Dynamic learning path prediction—A learning analytics solution
Al-Tarabily et al. Optimizing dynamic multi-agent performance in E-learning environment
Tuli et al. GOSH: Task scheduling using deep surrogate models in fog computing environments
CN115238169A (zh) 一种慕课可解释推荐方法、终端设备及存储介质
CN112819152B (zh) 一种神经网络训练方法及装置
CN112949774A (zh) 神经网络模型的训练方法、装置、计算机设备及存储介质
CN108596359A (zh) 康复医嘱任务分派优化方法、装置和设备
CN111401551A (zh) 基于强化学习的弱监督自学习方法
CN115827198A (zh) 任务分配方法、任务分配系统和计算机可读存储介质
Diaz et al. Incorporating decision-maker’s preferences into the automatic configuration of bi-objective optimisation algorithms
CN113987261A (zh) 一种基于动态信任感知的视频推荐方法及系统
Saemi et al. Solving task scheduling problem in mobile cloud computing using the hybrid multi-objective Harris Hawks optimization algorithm
Zong et al. A Crowd–AI Collaborative Approach to Address Demographic Bias for Student Performance Prediction in Online Education
CN112712282A (zh) 一种面向众包市场的基于适应度的任务分配方法
CN116957870B (zh) 临床技能考核管理系统控制方法、装置、设备及介质
CN113780341B (zh) 一种多维度情绪识别方法及系统
CN116825212B (zh) 一种基于生物医学众包平台的数据收集标注方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination