CN111626616A - 一种众包任务推荐方法 - Google Patents

Abstract

本发明提供一种众包任务推荐方法，包括如下步骤：根据众包平台上的众包工人数据和历史任务，对众包工人进行用户画像更新及用户画像等级更新；根据待处理任务的要求对所述众包工人进行筛选，并获得众包工人列表；根据所述待处理任务的要求和所述众包工人列表确定所述待处理任务的完成时间和价格；根据所述完成时间和价格，通过任务推荐模型确定所述众包工人的推荐概率列表；根据所述待处理任务和所述推荐概率列表，将待处理任务推荐给所述众包工人列表中的众包工人。本发明通过对众包工人进行用户画像，通过用户画像中的属性对众包工人的技能进行等级评分，并生成推荐概率列表，从而实现将任务自动推送给众包工人。

Description

一种众包任务推荐方法

技术领域

本发明涉及任务推荐领域，尤其涉及一种众包任务推荐方法。

背景技术

近年来，众包作为一种分布式的问题解决和商业生产模式正在得到广泛的应用，如广为人知的Mturk、CrowdFlower、百度众测等平台。众包模式通过在互联网众包平台上征集大量分布在世界各地的众包工人来完成一个人或一个团队难以在短时间内完成的任务。在众包模式中，任务被分配给互联网上的工人来完成，这样公司的生产成本就可以大大降低，众包工人则可以通过完成众包任务获得经济回报或者锻炼专业技能，同时众包平台则可以通过众包任务的分派和回收获取服务费用，是一种多赢的商业模式。

在众包系统中，任务推荐可以帮助任务的发布者更快地获得高质量的输出，并可以帮助众包工人更快地找到适合的任务。但是对于众包任务发布方和众包工人来说，希望合适的工人完成合适的任务往往并没有达到预期。对一个众包工人来说，他经常难以找到合适的任务来完成，因为他往往需要面对海量的任务选择，这些任务有的需要特殊技能，有的价格差别很大。例如，在2011年2月，MTurk平台每天平均为合格的众包工人提供的任务约为8万项，众包工人需要从这些众多的任务中选择适合自己背景和技能的任务，来赚取可能微不足道的经济回报。因此，如何快捷地帮助众包工人选择和获取合适的任务是非常重要的。同样，这项需求也同样适用于众包任务发布方，他们同样希望将众包任务尽快得分派给合适的众包工人。现在众包平台上积累的关于众包工人完成任务相关的海量数据为解决这一问题提供了可能，如果利用这些数据对众包工人进行用户画像，挖掘众包工人的任务偏好以及专业技能等方面，并提供给众包工人适合的任务推荐，可以帮助众包工人更快的获取合适任务，并且能够帮助众包任务发布方尽快回收高质量的任务反馈。因此，设计一种众包任务推荐方案，来实现自动化将众包任务推荐给适合的众包工人，成为一种现实的需求。

发明内容

本发明提供一种众包任务推荐方法，以克服上述技术问题。

本发明提供一种众包任务推荐方法，包括如下步骤：

S1：更新众包平台上每一众包工人对应的用户画像参数，所述用户画像参数包括用户画像属性以及用户画像等级；

S2：根据待处理任务的要求对所述众包工人进行筛选并获得众包工人列表，所述众包工人列表由符合待处理任务的要求的众包工人构成；

S3：确定所述待处理任务的完成时间和价格，所述时间和价格根据所述待处理任务的要求和所述众包工人列表确定；

S4：确定所述众包工人的推荐概率列表，所述推荐概率列表根据所述完成时间和价格并通过任务推荐模型；

S5：根据所述待处理任务和所述推荐概率列表，将待处理任务推荐给所述众包工人列表中的众包工人。

进一步地，所述S1中所述用户画像属性包括：背景与技术描述、在线时间偏好描述和历史任务完成情况描述；

所述背景与技术描述包括：所学专业、从事领域和技能等级；

所述在线时间偏好描述包括：常登录时间段和常领取任务时间段；

所述历史任务完成情况包括：常完成任务的类型、常完成任务所属领域、完成任务的准确率和常完成任务的价格。

进一步地，所述S1中所述用户画像等级更新包括以下步骤：

S101：采集背景与技术描述、在线时间偏好描述和历史任务完成情况描述参数，通过文本预处理剔除非法数据；

S102：计算所述属性中数值及集合信息，包括常登录时长、常完成任务的时间、常登录时间段等；采用LDA聚类计算更新常完成任务的类型、常完成任务所属领域；

S103：根据完成任务情况计算众包工人w_i等级评分SC_i，根据等级评分SC_i归类等级BC_i；在当前第t+1周期后等级评分SC_i计算公式为：

其中，SC_i为当前第t+1周期的等级的评分；对众包工人w_i，BC_i为技能等级(BC_i∈C，C为等级集合)，TA_i为众包工人完成任务的准确率，TA_i(t)为截止第t周期其任务完成准确率，α为任务完成准确度系数，β为任务完成数量系数，M为当前第t+1周期内众包平台总任务数，m_i为众包工人w_i在当前第t+1周期内完成任务数，DI_j为第j个任务的难度，TN_j为第j个任务的题目数量；

S104：根据所述众包工人的评分，进行等级更新。

进一步地，所述S3中根据所述待处理任务的要求和所述众包工人列表确定所述待处理任务的完成时间和价格包括如下步骤：

S301：通过LDA聚类所有待处理任务的文本来确定所述待处理任务的类别；

S302：从历史任务中抽取与所述待处理任务同属一类的所有任务集合；

S303：建立由历史任务的题目数量、任务发布方设定的题目难度值、完成准确率、完成时间和定价组成的训练集，并对所述训练集进行线性回归处理；并分别拟合待处理任务的完成时间和价格的函数。

进一步地，所述S4中所述推荐模型的建立步骤如下：

S401：根据历史众包任务和用户画像构建推荐模型训练集，并得到待处理任务中的文本信息和众包工人参与度信息；

S402：通过独热编码(One-Hot)对所述文本信息和众包工人参与度信息进行处理，并将处理后的文本信息输入至双向循环神经网络来提取文本高层特征，将众包工人参与度信息分输入至单向循环神经网络来提取活跃度高层特征；

S403：采用集合元素间按位相乘方法对所述文本高层特征和活跃度高层特征进行融合得到最终特征；

S404：将所述最终特征输入softmax层进行计算得到所述推荐概率列表。

本发明通过对众包工人进行用户画像，通过用户画像中的属性对众包工人的技能进行等级评分，并生成推荐概率列表，从而实现将任务自动推送给众包工人。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明众包任务推荐方法的流程图；

图2为本发明众包任务推荐方法的用户画像等级更新流程图；

图3为本发明众包任务推荐方法的确定待处理任务的完成时间和价格流程图；

图4为本发明众包任务推荐方法的推荐模型的建立的流程图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种众包任务推荐方法，如图1所示，包括如下步骤：

S1：更新众包平台上每一众包工人对应的用户画像参数，所述用户画像参数包括用户画像属性以及用户画像等级；

S2：根据待处理任务的要求对所述众包工人进行筛选，并获得众包工人列表；众包任务会对参与众包工人的所学专业、从事领域(如医学图像标注任务等)或技能等级及完成任务的准确率有要求，执行该步骤筛选符合专业背景或者技能等级的候选众包工人列表；

S3：根据所述待处理任务的要求和所述众包工人列表确定所述待处理任务的完成时间和价格；

S4：根据所述完成时间和价格，通过任务推荐模型确定所述众包工人的推荐概率列表；

S5：根据所述待处理任务和所述推荐概率列表，将待处理任务推荐给所述众包工人列表中的众包工人。

进一步地，所述S1中所述用户画像属性包括：背景与技术描述、在线时间偏好描述和历史任务完成情况描述；

所述背景与技术描述包括：所学专业、从事领域和技能等级；

所述在线时间偏好描述包括：常登录时间段和常领取任务时间段；

所述历史任务完成情况包括：常完成任务的类型、常完成任务所属领域、完成任务的准确率和常完成任务的价格。

进一步地，如图2所示，所述S1中所述用户画像等级更新包括以下步骤：

S101：采集背景与技术描述、在线时间偏好描述和历史任务完成情况描述参数，通过文本预处理剔除非法数据(非法数据是指缺少关键属性值、属性值数据类型错误、属性数值越界、属性值出现不应有的特殊字符等情况的数据)；

S102：计算所述属性中数值及集合信息，包括常登录时间段、常领取任务的时间段、常完成任务的价格等；采用LDA聚类(隐含狄利克雷分布)计算更新常完成任务的类型、常完成任务所属领域；

所述LDA聚类分为两个阶段，即训练阶段和推断阶段。在训练阶段，训练集中所有待处理任务的文档中每个单词都被用来学习参数集合的最优值。在推断阶段，给定一个任务，基于训练阶段学习到的参数集合，LDA可以推断出该任务中的主题概率分布，并取分布中概率最大的主题作为该任务的主题，历史库中同样属于该主题的任务可以视为与task的类别相同。基于LDA聚类，可以得到每个任务的主题概率分布和每个任务的所属类别。通过观察每个工人完成的历史任务及任务的主题分布情况，可以统计得到每个工人最喜欢完成哪种主题的任务，进而得到常完成任务的类型和所属领域(LDA聚类为现有技术，本申请不在赘述)。

S103：根据完成任务情况计算众包工人w_i等级评分SC_i，根据等级评分SC_i归类等级BC_i；在当前第t+1周期后等级评分SC_i计算公式为：

其中，SC_i为当前第t+1周期的等级的评分；对众包工人w_i，BC_i为技能等级(BC_i∈C，C为等级集合)，TA_i为众包工人完成任务的准确率，TA_i(t)为截止第t周期其任务完成准确率，α为任务完成准确度系数，β为任务完成数量系数，M为当前第t+1周期内众包平台总任务数，m_i为众包工人w_i在当前第t+1周期内完成任务数，DI_j为第j个任务的难度，TN_j为第j个任务的题目数量；

根据众包工人w_i的等级评分SC_i可得到众包工人w_i的技能等级BC_i＝Rank(SC_i)，其中Rank()函数可根据平台对用户等级划分的规则，由等级的评分SC_i所在分数段映射为众包工人w_i的技能等级BC_i。

S104：根据所述众包工人的评分，进行等级更新。

进一步地，如图3所示，所述S3中根据所述待处理任务的要求和所述众包工人列表确定所述待处理任务的完成时间和价格包括如下步骤：

S301：通过LDA聚类所有待处理任务的文本来确定所述待处理任务的类别；

S302：从历史任务中抽取与所述待处理任务同属一类的所有任务集合；

S303：建立由历史任务的题目数量、任务发布方设定的题目难度值、完成准确率、完成时间和定价组成的训练集，并对所述训练集进行线性回归处理；并分别拟合待处理任务的完成时间和价格的函数。

具体而言，通过LDA聚类所有待处理任务的文本来确定所述待处理任务的类别；

从历史任务中抽取与所述待处理任务同属一类的所有任务集合；

Ts_new＝{Ts₁,…,Ts_i,…,Ts_n}

Ts_i表示Ts_new中的第i个任务；

根据历史任务的题目数量TN_i、任务发布方设定的题目难度值DI_i、完成准确率TA_i、完成时间t_i和定价PR_i,组成训练集：

[((TN₀,DI₀),(TA₀,t₀,PR₀)),...,((TN_i,DI_i),(TA_i,t_i,PR_i))，…，((TN_n,DI_n),(TA_n,t_n,PR_n))]i＝0...n

通过以上训练集训练一个线性回归，其目标为分别拟合函数：

其中w表示权值参数，

和

分别表示任务完成时间和定价估计值。

根据最小二乘法，定义关于任务完成时间t_new和定价PR_new的损失函数：

其中，n表示训练集中的样本数量。分别求解使得L_t和L_pr最小的参数组合w_t和w_pr作为最优参数

和

然后输入新任务的题目数量TN_new和题目难度DI_new，返回预测的任务完成时间t_new和定价PR_new，计算公式为：

进一步地，如图4所示，所述S4中所述推荐模型的建立步骤如下：

S401：根据历史众包任务和用户画像构建推荐模型训练集，并得到待处理任务中的文本信息和众包工人参与度信息；

S402：通过独热编码(One-Hot)对所述文本信息和众包工人参与度信息进行处理，并将处理后的文本信息输入至双向循环神经网络来提取文本高层特征，将众包工人参与度信息分输入至单向循环神经网络来提取活跃度高层特征；

S403：采用集合元素间按位相乘方法对所述文本高层特征和活跃度高层特征进行融合得到最终特征；

S404：将所述最终特征输入softmax层进行计算得到所述推荐概率列表。

具体而言，对于Ts_new中的每个Ts_i，其文本信息为Tst_i，计算其对应的众包工人活动序列Ws_i，且Ws_i＝{w₁,…,w_j,…,w_m}，w_j表示参与完成过第i个任务的第j个工人，计算公式如下：

首先获取当前时间节点(即当然任务T_new的发布时间)往前一段时间(如三个月)内，工人对任务Ts_i的提交记录，并将这些记录按照提交时间从远到近排列，取出这些记录的提交工人来组成Ws_i。

根据上述处理过程，得到Ts_new中每个任务的文本信息Tst和工人参与度信息Ws。

使用独热编码(One-Hot)来处理任务的文本信息和工人的参与度信息，得到被OneHot化之后的文本信息O_Tst和工人活跃度信息O_Ws，即：

O_Tst＝OneHot(Tst) (8)

O_Ws＝OneHot(Ws) (9)

将任务的文本信息O_Tst输入双向循环神经网络来提取文本高层特征Ht，对应的函数为FF，即Ht＝FF(O_Tst)。

将任务的工人活动序列O_Ws输入单向循环神经网络来提取活跃度高层特征Hw，对应的函数为F，即Hw＝F(O_Ws)。

采用集合元素间按位相乘方法对文本高层特征和活跃度高层特征进行特征融合，得到最终特征logits，即

其中

表示元素间按位相乘的融合方式。

将最终特征logits会输入softmax层进行计算，输出众包工人的推荐概率列表。

最终特征logits是一个长度为h的一维向量，h为S3步骤中众包工人列表的长度，且logits＝[z₁,…,z_h]，z为计算过程中的中间变量，softmax层会将logits中(-∞,+∞)的实数映射为(0,1)之间的实数，即概率，同时保证它们之和为1。经过softmax层之后，第i个工人的推荐概率p_i的计算公式如下：

进一步地，根据待处理任务和推荐概率列表，将待处理任务推荐给推荐概率列表中的众包工人。

根据待处理任务T_new的题目总数、每个题目需要重复完成次数Qr和每个众包工人完成题目数上限Ql，确定任务所需众包工人总人数Wk，且

其中，Qr为重复完成次数，Ql为每个众包工人完成题目数上限，T_new为新的待处理任务，Wk为包工人总人数，INT(x)函数为对x取整。

将众包任务题目打包成组题，每个组题中题目数Qg计算公式如下：

将每个组题分派给选取的Wk个众包工人。

本实施例中推荐概率列表给出等级评分靠前的10个众包工人，如表1。

表1

众包工人编号	推荐任务题目编号
		49	100,25,33,47,22
23	98,5,32,77,40
		7	99,25,38,3,47
62	89,75,21,7,63
		91	100,25,33,47,22
37	11,24,37,44,9
		85	89,75,21,7,63
1	99,25,38,3,47
		18	11,24,37,44,9
77	98,5,32,77,40

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种众包任务推荐方法，其特征在于，包括如下步骤：

S1：更新众包平台上每一众包工人对应的用户画像参数，所述用户画像参数包括用户画像属性以及用户画像等级；

S2：根据待处理任务的要求对所述众包工人进行筛选并获得众包工人列表，所述众包工人列表由符合待处理任务的要求的众包工人构成；

S3：确定所述待处理任务的完成时间和价格，所述时间和价格根据所述待处理任务的要求和所述众包工人列表确定；

S4：确定所述众包工人的推荐概率列表，所述推荐概率列表根据所述完成时间和价格并通过任务推荐模型；

S5：根据所述待处理任务和所述推荐概率列表，将待处理任务推荐给所述众包工人列表中的众包工人。

2.根据权利要求1所述的方法，其特征在于，所述S1中所述用户画像属性包括：背景与技术描述、在线时间偏好描述和历史任务完成情况描述；

所述背景与技术描述包括：所学专业、从事领域和技能等级；

所述在线时间偏好描述包括：常登录时间段和常领取任务时间段；

所述历史任务完成情况包括：常完成任务的类型、常完成任务所属领域、完成任务的准确率和常完成任务的价格。

3.根据权利要求2所述的方法，其特征在于，所述S1中所述用户画像等级更新包括以下步骤：

S101：采集背景与技术描述、在线时间偏好描述和历史任务完成情况描述参数，通过文本预处理剔除非法数据；

S102：计算所述属性中数值及集合信息，包括常登录时长、常完成任务的时间、常登录时间段等；采用LDA聚类计算更新常完成任务的类型、常完成任务所属领域；

S103：根据完成任务情况计算众包工人等级评分，根据等级评分归类技能等级；在当前第t+1周期后等级评分SC_i计算公式为：

其中，SC_i为当前第t+1周期的等级的评分；对众包工人w_i，BC_i为技能等级(BC_i∈C，C为等级集合)，TA_i为众包工人完成任务的准确率，TA_i(t)为截止第t周期其任务完成准确率，α为任务完成准确度系数，β为任务完成数量系数，M为当前第t+1周期内众包平台总任务数，m_i为众包工人w_i在当前第t+1周期内完成任务数，DI_j为第j个任务的难度，TN_j为第j个任务的题目数量；

S104：根据所述众包工人的评分，进行等级更新。

4.根据权利要求3所述的方法，其特征在于，所述S3中根据所述待处理任务的要求和所述众包工人列表确定所述待处理任务的完成时间和价格包括如下步骤：

S301：通过LDA聚类所有待处理任务的文本来确定所述待处理任务的类别；

S302：从历史任务中抽取与所述待处理任务同属一类的所有任务集合；

S303：建立由历史任务的题目数量、任务发布方设定的题目难度值、完成准确率、完成时间和定价组成的训练集，并对所述训练集进行线性回归处理；并分别拟合待处理任务的完成时间和价格的函数。

5.根据权利要求4所述的方法，其特征在于，所述S4中所述推荐模型的建立步骤如下：

S401：根据历史众包任务和用户画像构建推荐模型训练集，并得到待处理任务中的文本信息和众包工人参与度信息；

S402：通过独热编码(One-Hot)对所述文本信息和众包工人参与度信息进行处理，并将处理后的文本信息输入至双向循环神经网络来提取文本高层特征，将众包工人参与度信息分输入至单向循环神经网络来提取活跃度高层特征；

S403：采用集合元素间按位相乘方法对所述文本高层特征和活跃度高层特征进行融合得到最终特征；

S404：将所述最终特征输入softmax层进行计算得到所述推荐概率列表。

Images