CN110020098A - 众包系统中抑制水军问题的细粒度推荐机制 - Google Patents
众包系统中抑制水军问题的细粒度推荐机制 Download PDFInfo
- Publication number
- CN110020098A CN110020098A CN201710708968.3A CN201710708968A CN110020098A CN 110020098 A CN110020098 A CN 110020098A CN 201710708968 A CN201710708968 A CN 201710708968A CN 110020098 A CN110020098 A CN 110020098A
- Authority
- CN
- China
- Prior art keywords
- user
- theme
- interest
- degree
- professional standards
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title abstract description 13
- 230000002401 inhibitory effect Effects 0.000 claims abstract description 13
- 230000008447 perception Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 55
- 230000008901 benefit Effects 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 239000004568 cement Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000008092 positive effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 239000004744 fabric Substances 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000008569 process Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 6
- 108090000623 proteins and genes Proteins 0.000 description 5
- 230000002195 synergetic effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 101000911753 Homo sapiens Protein FAM107B Proteins 0.000 description 1
- 102100026983 Protein FAM107B Human genes 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/101—Collaborative creation, e.g. joint development of products or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种众包系统中抑制水军问题的细粒度推荐机制，该众包系统中抑制水军问题的细粒度推荐机制包括如下步骤：在主题模型中，输入Q个问题和K个主题，所述Q和K均为正整数，获取问题q的主题k，所述q为Q个问题中的一个问题，所述k为K个主题中的一个主题；计算用户列表中的用户关于主题k的专业水平和兴趣度，生成用户画像；结合兴趣度和专业水平协同感知，为主题为k的任务输出排序后的用户列表。本发明利用兴趣度和专业水平共同发挥作用这一事实，并且利用兴趣有时会对专业水平施加反作用力，同时考虑用户的兴趣度在现实世界中是随着时间而发生变化的，抑制众包体系中的水军问题，提高了众包任务的完成质量，提高了用户的体验度。
Description
技术领域
本发明涉及数据排序技术领域，具体涉及一种众包系统中抑制水军问题的细粒度推荐方法和推荐系统。
背景技术
随着网络在线服务的发展，利用群体智慧执行大规模任务这一工作模式得到越来越广泛地应用。众包是这样一种工作模式，任务请求者通过金钱奖励的方式招集具有不同能力的工作人员来处理任务，众包模式所带来的好处已经在今天得到广泛认可，并且已经不止一个众包平台(例如Amazon Mechanical Turk)开始运行。众包系统的主要组成部分包含：运营平台的服务提供商，发起任务的任务请求者以及参与任务并给出答案的用户。
尽管众包已经取得较大的发展，但对服务提供商来说仍然存在一些问题待解决，水军就是主要问题之一。“水军问题”最初是指一种在线行为，指雇用一些水军用户来大量散布某种特定的观点，而其所散布的内容大多是不负责的、不切实际的。例如，当电子商务卖家设法提高自己的商品销量时，一个很实用的方式就是雇用水军用户来大量杜撰有利于自己商品的评论。水军仅完成任务以获得回报而并不注重其言论的客观性。众包活动也存在水军用户，主要是指任务完成情况较差或错误率较高的用户。产生这一现象的主要原因在于用户很难从大量的任务中找到适合自己的任务。因此，许多参与者参与的是其并不擅长或并不感兴趣的任务，他们会不假思索或者随意地给出答案。众包系统中的水军问题不仅降低了任务完成的质量并且影响了用户体验。
为了解决此问题，有效的分配或推荐机制成为了迫切需要。近年来，有相当一部分为任务选择用户或者向用户推荐任务的方法被提出，其中最直观的思路是根据用户的可靠性来选择合适的用户，用户提供正确答案的频率越高，他就越可靠。然而，当任务主题不相同时，用户的可靠性往往会发生变化。意识到这一点，许多研究者开始对主题领域进行划分，并且两个与水军问题高度相关的度量因素被提出：专业水平以及兴趣度。尽管如此，这些方法仍然不够精细。
一方面，几乎所有的方法都单独以专业水平或兴趣度作为推荐的准则。忽视了兴趣度和专业水平共同发挥作用这一事实，并且兴趣有时会对专业水平施加反作用力。具体来说，在完成任务过程中，兴趣度可能会产生积极或消极的反馈，因为兴趣过高或过低都会影响用户做事情的态度。图1中给出一个例子来证明该观点。图1展示了一个在现实生活可能存在的虚拟场景，其中，正确率代表不同用户完成任务的质量。如果用户A不像用户C一样对该任务感兴趣，则用户A的正确率可能会比用户C的偏低。同样地，如果用户B的专业水平较低但是对该任务兴趣度比较高，则他的正确率未必比用户A差。
另一方面，在所有这些方法中，用户的兴趣度被假设为恒定不变的，但其在现实世界中是随着时间而发生变化的，因为兴趣度会受情绪，环境以及流行文化的影响。
近年来，推荐机制成为抑制众包系统中水军问题的一种重要途径，因为其可以优化用户和任务之间的匹配关系。因此，诸多为任务选择用户或者向用户推荐任务的技术应运而生。在本节中，将介绍与我们的研究有关的现有工作。
一些现有的方法根据用户的可靠性来选择用户，这是最直观的想法。Cao等人提出了一种通过计算用户错误率来获取用户可靠性的方法。Raykar等提出一种叫做SpEM的经验贝叶斯算法，迭代排除不合格者，然后从用户过去的行为进行可靠性评估。还有一种方法叫做Pick-a-Crowd，通过预测完成任务的准确性来评估可靠性。Ho等人也通过估计完成任务的准确性作为用户的可靠性，并在确保任务完成的质量的前提下，本着预算最小化的原则为用户分配任务。Tran-Tranh等人采用边界多臂老虎机算法，以达到总体效益最大化为目标建立任务模型。研究者们还提出了不同的方法来评估用户的可靠性，为任务选择合适的参与者。需指出的是，IntexCrowd与上述方法不相同。几乎以上所有方法仅单一关注可靠性，而且忽略了可靠性并不恒定，因为在不同主题下用户的可靠性会发生变化。
意识到这一点，一些研究者考虑对主题领域进行划分。两个与水军问题相关的度量被提出：特定主题的专业水平以及特定主题的兴趣度。Bouguessa等提出了一个基于入度的模型来寻找专业水平高的用户。Jurczyk等采用HITS算法估计用户排名分数。Zhang等提出专业水平排序与链接评估算法。他们还提出了Z值来衡量用户的相关专业知识。Yang等提出了CQARank模型，利用投票信息来估计问题的潜在主题和用户的专业水平。Zhao等人提出TEL模型，根据用户的历史贡献识别任务主题以及从用户中发现专家。Zhao等开发了贝叶斯生成模型，以得到用户的潜在技能以及潜在的任务类别。Ma等人提出FaitCrowd机制，模拟产生问题内容以及回答问题的过程，通过概率推理估计专业水平。Liu等人利用语言模型和LDA模型的混合模型来预测最佳回答者。与此同时，一些研究者开始利用基于话题兴趣度的推荐机制。Zhao等人通过迁移学习的方法来估计用户的兴趣度。Guo等人提出一个问答生成模型，通过探索类别信息来发现用户的潜在兴趣。Lin等人提出了一种方法，研究用户对任务的兴趣偏好，并引入经典协作过滤器来向用户推荐任务。Xu等人提出DRM模型来考虑用户的双重角色，并评估其兴趣度进行推荐。研究者们都提出了各种方式来评估用户的兴趣度用于推荐依据。尽管这些方法相比仅考虑可靠性的方法，相对更加合理，但与IntexCrowd相比在精细程度方面还有所欠缺。第一，这些方法没有考虑到兴趣度是时变的，第二，几乎所有这些方法都单一将专业知识或兴趣程度作为主要的推荐准则而忽略了兴趣度与专业水平的协同效应。并且忽视了兴趣程度有时会对专业水平施加反作用力的事实。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种众包系统中抑制水军问题的细粒度推荐机制。
为了实现本发明的上述目的，本发明提供了一种众包系统中抑制水军问题的细粒度推荐机制，其包括如下步骤：
S1,在主题模型中，输入Q个问题和K个主题，所述Q和K均为正整数，获取问题q的主题k，所述q为Q个问题中的一个问题，所述k为K个主题中的一个主题；
S2，计算用户列表中的用户关于主题k的专业水平和兴趣度，生成用户画像；
S3，结合兴趣度和专业水平协同感知，为主题为k的任务输出排序后的用户列表。
本发明提供一种基于兴趣-专业水平协同感知的细粒度推荐机制，抑制众包系统中的水军问题；本发明利用兴趣度和专业水平共同发挥作用这一事实，并且利用兴趣有时会对专业水平施加反作用力，同时考虑用户的兴趣度在现实世界中是随着时间而发生变化的，提高了众包的完成质量，提高了用户的体验度。
为了实现本发明的上述目的，本发明提供了一种众包系统中抑制水军问题的细粒度推荐机制，其包括服务注册库，查询调度控制器，主题分类器和核心处理单元；所述服务注册库是一个存储库，用于存储用户参与历史任务的记录；所述主题分类器通过主题模型为每个任务自动分配主题，为服务注册库中的每个任务分配一个主题并识别新发布的任务的主题，服务注册库与主题分类器相连，对于服务注册库中以及新发布的任务，主题分类器将为每个任务分配一个主题；查询调度控制器向核心处理单元发送请求，请求根据主题获取的关于新发布任务的推荐结果；所述核心处理单元利用本发明的方法获得新发布任务的推荐结果。
本发明基于兴趣专长协作意识的细粒度推荐机制，抑制众包体系中的水军问题；提高了众包的完成质量，提高了用户的体验度。
在本发明的一种优选实施方式中，所述核心处理单元包括用户画像模块和推荐模块，所述用户画像模块包括专业水平管理器和兴趣度管理器，所述专业水平管理器评估用户的专业水平，兴趣度管理器根据权利要求3所述的方法评估用户的兴趣度；所述推荐模块包括反作用力管理器和统计效益管理器，推荐模块从用户画像模块获取到用户的当前兴趣度和专业水平，获取时考虑兴趣度在完成任务过程中可能会产生积极或消极的反馈，负反馈代表兴趣度较低时，兴趣度会对专业水平产生负面作用，正反馈代表兴趣程度很高或不低时，兴趣度会对专业水平产生积极作用；反作用力管理器根据实时兴趣度来量化两种反馈从而评估这种反作用力；统计效益是指用户的历史兴趣度趋势中所反映出的效益；排序管理器在反作用力管理器进行处理后，排序管理器特定主题的任务提出建议用户列表作为推荐结果。
本发明利用兴趣度和专业水平共同发挥作用这一事实，并且利用兴趣有时会对专业水平施加反作用力，而且考虑用户的兴趣度在现实世界中是随着时间而发生变化的，提高了众包的完成质量，提高了用户的体验度。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是现有技术存在的众包答题情况；
图2是本发明第一种优选实施方式中众包系统中抑制水军问题的细粒度推荐系统的系统框图；
图3是本发明第一种优选实施方式中任务生成过程示意图；
图4是本发明第一种优选实施方式中问题生成的算法；
图5是本发明第一种优选实施方式中建立用户画像的算法；
图6是本发明第一种优选实施方式中用户排名的算法。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明提供了一种众包系统中抑制水军问题的细粒度推荐系统，如图2所示，其包括服务注册库，查询调度控制器，主题分类器和核心处理单元。其中，服务注册库是一个存储库，用于存储用户参与历史任务的记录。对于服务注册库中以及新发布的任务，主题分类器将为每个任务分配一个主题。查询调度控制器可以向核心处理单元发送请求，请求根据主题获取的关于新发布任务的推荐结果。
核心处理单元包含五个管理器，被分为两个模块，也就是说，一个模块是由几个管理器组成的。核心处理单位负责阅读用户的历史记录，建立用户特征画像(专业水平和兴趣度)，并将特定主题下的用户排名列表作为推荐结果。
主题分类器和核心处理单元的五个管理器的作用描述如下：
主题分类器：通过主题模型为每个任务自动分配主题。它不仅为服务注册库中的每个任务分配一个主题，而且能识别新发布的任务的主题。因此我们假设有k个主题，所以主题标识k的范围从1到K。
专业水平管理器和兴趣度管理器:专业水平管理器和兴趣度管理器并行工作。前者负责评估用户的专业水平，后者则评估用户的兴趣度。给定主题k，将主题k的所有历史记录传递给两个管理器以生成用户画像。在现实中，用户的兴趣度会随时间发生变化，获得用户瞬时的兴趣度值极为重要。我们将每次用户参与任务表示为在某个时间点发生的一次交互。接着，假设每次交互发生时，会有一个瞬时兴趣度。划分主题域后，用户的瞬时兴趣度值可以分为k组，按时间顺序排序，在此提出以下定义：
定义1：专业水平表示为数组eku：
eku＝[e1u,e2u,e3u,…,eKu],where eku∈(-∞,+∞) (1)
定义2：历史兴趣值表示为是K个数组的集合，表示用户u在历史不同时刻t对于K个主题的瞬时兴趣度。
定义3：当前兴趣度用数组Iku表示，代表用户u在当前时刻关于第k个主题的兴趣度，可通过对历史兴趣度预测获得。
Iku＝[I1u,I2u,…,IKu] (3)
反作用力管理器和统计效益管理器：推荐模块从用户画像模块获取到用户的当前兴趣度和专业水平。然而，在现实中，兴趣度在完成任务过程中可能会产生积极或消极的反馈，因为兴趣高或低都会影响用户做事情的态度。另外，在实际中主题的兴趣度通常是浮动的，我们认为，当历史兴趣度呈现总体上升态势时，其统计趋势较为积极，因而更可能促进众包任务的完成质量。因此，提出以下定义：
定义4：用Fnega表示负反馈，代表兴趣度较低时，兴趣度会对专业水平产生负面作用。
定义5：用Fpos表示正反馈，代表兴趣程度很高或不低时，兴趣度会对专业水平产生积极作用。
因此，反作用力管理器的作用是根据实时兴趣度来量化两种反馈从而评估这种反作用力。
定义6:统计效益是指用户的历史兴趣度趋势中所反映出的效益。
排序管理器：在反作用力管理器进行处理后，基于兴趣度-专业水平协同感知的排序算法被排序管理器采用，为特定主题的任务提出建议用户列表作为推荐结果。对主题为k的任务，推荐结果类似如下格式：
Lk＝{u4,u7,u1,…} (4)
列表中的用户按合适度进行排序，意味着具有较高适应度的人员具有较高的排名。
利用该结构，本发明提供了一种众包系统中抑制水军问题的细粒度推荐方法，其包括如下步骤：
S1,在主题模型中，输入Q个问题和K个主题，所述Q和K均为正整数，获取问题q的主题k，所述q为Q个问题中的一个问题，所述k为K个主题中的一个主题；
S2，计算用户列表中的用户关于主题k的专业水平和兴趣度，生成用户画像；
S3，结合兴趣度和专业水平协同感知，为主题为k的任务输出排序后的用户列表。
在本实施方式中，将任务表示为问题q。在主题模型中，输入为Q个问题及K个主题。对于问题q,它的内容所包含的所有的词用wqm表示，其中m的范围为1到Mq。主题模型的输出为主题标签zq，表示问题q的主题。令φk表示主题k的主题词分布，表示背景词分布，θ表示主题分布。然后让表示支配背景词和主题词之间进行选择的二项分布。任务的生成过程如下，问题的生成过程如图3和图4所示：
S11，输入Q个问题，对于每个问题，假设其只关于一个主题，其主题服从参数为θ的多项分布，主题分布参数θ服从参数为α的狄利克雷分布，即θ～Dir(α)；背景词汇服从参数为φ`的多项分布，背景词汇分布参数φ`服从参数为β的狄利克雷分布，即φ`～Dir(β)；
S12，假设组成问题的词表示为wqm，其中m＝1,2，……，Mq；并且将所有的词分为两类：主题词和背景词，在生成问题的过程中，每生成一个词，要选择该词为背景词还是主题词，当yqm＝1时，为主题词，当yqm＝0时，为背景词，这一选择服从参数为的二项分布，即参数服从参数为η的狄利克雷分布，即分布函数为
S13，对于每一个k＝1，2，3，……，K，其主题词服从参数为φ的多项分布，参数φ服从参数为β的狄利克雷分布；背景词服从参数为φ′的多项分布，参数φ′服从参数为β′的狄利克雷分布；
S14，通过吉布斯采样，迭代求解出各个参数，输出每一个问题q＝1，2，3，……，Q的主题因子zq。
在本实施方式中，在输入Q个问题后看看算法是否收敛，具体收敛判别条件可根据具体要求确定，例如前后两次计算的误差值小于阈值，在本实施方中，如果不收敛反复执行S11输入Q个问题之后至S14的内容。
本发明是一种生成模型，先模拟文本产生的过程：先选择个主题，再根据主题选择词汇和语句，其中每一步的内容都要服从一种概率分布，概率分布涉及到参数，现在参数不知道，就要先假设一些参数。设定好了生成过程的参数之后，通过不断的迭代采样来求解出参数值(一般是吉布斯采样)。
本发明假设k个主题，把k个主题标号为1到k，因而输出的就是标号。需要指出的是，这个主题模型并不是实实在在的那种主题，例如“军事”、“体育”这种具体的主题，而是抽象的潜在主题，没有具体的内容指代。
本发明把文本的内容分成了两类词，一类是主题词，一类是背景词。例如：我是中国人。这句话，中国人是主题词，其他是背景词。
主题k与主题词之间的关系，就是这个主题词表达的是主题k相关内容。要生成一个句子，先从k个主题中选定一个，而这个过程服从参数为θ的多项分布，接下来一个词一个词的生成。在生成每个词的过程中，要先选定这个词是主题词还是背景词，这个过程又服从一个二项分布，接下来在定好了这个词是主题词还是背景词之后，要从词典中选择出这个词语，这个过程又服从多项分布。
用户u在问题q提供答案的过程，由以下因素决定：(1)问题的主题；(2)用户关于该主题的专业水平；(3)用户参与该主题的任务时，回答正确的次数；(4)用户在参与任务时的瞬时兴趣度。假设专业水平和兴趣度对完成任务的质量有协同作用。给出用户u针对问题q生成答案aqu的过程。直观地说，大多数用户有能力为大多数问题提供正确的答案，但只有少数人是专家。因此，假设在每一个主题中，用户的专业水平服从高斯分布，即equ～N(μ1,σ2)。假设对每个问题q都有γq种选择{1,2,......,γ}。从均匀分布中抽取一个正确的答案Tq，从多项分布Multi(θ)中得到主题因子zq＝k,从高斯分布N(μ2,σ2)中得到在完成各个任务的时刻的瞬时兴趣值使用逻辑函数,给定主题zq＝k，用户u给出关于问题q的答案为aqu，当用户给出的答案正确时，aqu＝c，这一过程的联合概率表示如下：
其中， 是用户u对主题zq＝k的历史回答正确次数。
对所有的aqu＝c'≠c，
因此，对主题zq＝k，其联合概率为：
借助最大化后验概率的方法，求出和因而建立目标函数如下：
然后采用梯度下降法迭代求取和
至此，可得出用户u的专业水平，并且用矢量表示为:
eku＝[e1u,e2u,e3u,…,eKu] (7)
利用获得表示历史兴趣度的向量组代表用户u的历史兴趣度。接着，便可以推断出用户u的当前兴趣程度。
一般来说，用户过去的偏好会影响到未来的兴趣，而近期的兴趣度值在预测过程中的影响应当比远期的要高。为模仿历史行为的影响，应用指数衰减函数[来测量这种波动：
其中，τ是内核参数，n-t的值代表第t时刻与当前时刻n之间的时间戳。预测用户当前关于不同主题的兴趣度：
Iku是一个具有如下格式的矢量：
Iku＝[I1u,I2u,…,IKu] (10)
因此，整个用户分析的过程可以用图5所示算法2来描述，具体为：
设置参数μ1,μ2,σ2,σ'2。
S21，依据步骤S1获得的关于某个问题q的主题k，以及用户u对问题q的答案aqu，这一过程的联合概率表示为：
其中，用户u给出关于问题q的答案为aqu，假设在每一个主题中，用户的专业水平服从高斯分布，即用户的专业水平equ～N(μ1,σ2)，假设对每个问题q都有γq种选择{1,2,......,γ}，从均匀分布中抽取一个正确的答案Tq，当用户给出正确答案时aqu＝c，是用户u对主题zq＝k的历史正确的次数；
借助最大化后验概率的方法，建立如下目标函数：
通过梯度下降法，求得用户的专业水平和兴趣度
S22，得出用户u的专业水平表示为数组eku＝[e1u,e2u,e3u,…,eKu]
接着通过用户的历史兴趣度值预测用户当前关于主题k的兴趣度
则用户u的历史兴趣度表示为数组Iku＝[I1u,I2u,…,IKu]
τ是内核参数，n-t的值代表第t时刻与当前时刻n之间的某一时刻。
在本实施方式中，步骤S21之前先看看算法是否收敛，具体收敛判别条件可根据具体要求确定，例如前后两次计算的误差值小于阈值，在本实施方中，如果不收敛反复执行S21至S21的内容。和分别为上一步得到的专业水平和历史不同t时刻的瞬时兴趣度值，和分别为新求解的当前步的专业水平和历史不同t时刻的瞬时兴趣度值。
用户画像之后，为特定主题的任务输出排序后的用户列表。而排序算法结合了兴趣度-专业水平协同感知。
兴趣度将对专业水平施加反作用力，反作用力称为正反馈或者负反馈，设置兴趣度阈值如下：
Th1＝χ1·μ'，χ1和μ'这两个参数是在建立模型的过程中自己设定的模型变量。
若用户对主题k的当前兴趣度不低于Th1，则将会对专业水平施加正的反馈,否则会产生负反馈。
在量化反馈时，假设较高的兴趣度会产生更强的正反馈；反之，兴趣度越低，负反馈越强，借助于模糊函数定义这种反馈：
进一步假设反馈并不总是在任何时候被触发，并且它的触发与转移概率相关。转移概率与该用户参与的该主题的任务的频率或比例有关。具体来说，给定主题k，当用户u的当前兴趣度高于阈值时，可能产生正反馈。如果他多次参加了主题k的任务，他更有可能认真对待任务，因为他非常重视，目前的兴趣程度相对较高。如果他参加了主题k的任务不多，他不太可能认真对待任务，因为他的历史记录反映出他没有过多的关注这一类主题。相反，当他目前的兴趣程度低于阈值时，如果他参加了少量主题k的任务，他更可能会漫不经心地对待这项任务，因为他的历史记录不能反映太多的关注，而他的当前兴趣度又相对较低。基于以上分析，我们可针对主题k为用户u定义以下转移概率：
其中，nku代表用户u参加主题为k的任务的次数，在公式(16)中j的范围为1至总数K。此外，还考虑了不同流行度的主题会影响用户选择任务的因素。因此，让wk表示过去一段时间内整个服务注册库的主题流行情况。wk可以表示为：
其中Nk表示在过去的一段时间内整个数据库中关于话题k的总任务数，f的范围从1至K。
接收到反馈后，可得到用户关于该主题的专业水平的新表达式：
由于在现实中用户的历史兴趣度是波动的，如果用户的历史兴趣度具有积极的统计趋势，更可能会促进众包任务的完成质量。因此将上述的波动趋势称为统计效益，并引入了两个新概念：绝对效益和有效效益。每个时刻的兴趣度和后一个时刻之间会有一些变化。变化的绝对值称为绝对效益。如果某时刻的兴趣度相对于其上一时刻的兴趣程度呈现上升状态，则这种变化被定义为有效效益。基于以上分析，定义统计效益为有效效益和绝对效益的比值：
其中，代表用户u关于主题k的绝对效益，代表有效效益。
给定主题k，首先将专业水平过低的用户过滤掉。设置阈值Th2,这意味着给定主题k，专业水平高于Th2的用户将作为候选用户
过滤后，建立了一个排序函数，计算候选用户的排序分数，并对其排序。构造排序函数如下：
S1＝λ·Se+(1-λ)·SI (16)
其中，Se代表专业水平因子，SI代表兴趣度因子。
引入反作用力，兴趣度对专业水平产生的反馈是由转移概率pku触发的。因此，得到专业水平因子如下：
然后，还考虑了统计效益。假定统计效益被视为对兴趣度Iku的权重，得出兴趣度因子如下：
SI＝Utiku·Iku
给定主题k，用户u的最终排名得分的表达式可以按递归方式表达如下：
Sku＝λ·(eku)′+(1-λ)·Utiku·Iku (17)
其中λ∈[0，1]是一个阻尼因子来控制权重。
产生推荐结果的整个过程可用图6所示的算法描述，具体方法为：
S31，根据步骤S2获得的用户专业水平和用户当前兴趣度，对于主题k，设置兴趣度阈值Th1，阈值Th2和λ；
S32，给定主题k，首先将专业水平过低的用户过滤掉，设置阈值Th2＝χ2·μ,χ2和μ这两个参数是在建立模型的过程中自己设定的模型变量。专业水平高于Th2的用户将作为候选用户
S33，对于u(k)中的每一个用户，
定义反馈：
其中，Th1＝χ1·μ'，
定义转移概率：
其中，nku代表用户u参加主题为k的任务的次数，j的范围为1至总数K，此外，我们还考虑了不同流行度的主题会影响用户选择任务的因素，wk表示过去一段时间内整个服务注册库的主题流行情况，为：
其中，Nk表示在过去的一段时间内整个数据库中关于主题k的总任务数，f的范围从1至K，
用户u关于主题k的专业水平的新表达式：
S34，每个时刻的兴趣度和后一个时刻之间会有一些变化，变化的绝对值称为绝对效益，如果某时刻的兴趣度相对于其上一时刻的兴趣程度呈现上升状态，则这种变化被定义为有效效益，定义统计效益为有效效益和绝对效益的比值：
其中，代表用户u关于主题k的绝对效益，代表有效效益；
S35，建立排序函数，计算候选用户的排序分数，并对其排序，排序函数为：
S1＝λ·Se+(1-λ)·SI，
其中，Se为专业水平因子，SI为兴趣度因子，
专业水平因子为：
兴趣度因子为：
SI＝Utiku·Iku，
给定主题k，用户u的最终排名得分的表达式按递归方式表达如下：
Sku＝λ·(eku)′+(1-λ)·Utiku·Iku。
在本实施方式中，使用一个名为RF的数据集来模拟场景。RF(relavancefinding，相关性查找)来自于NIST的TREC文本检索会议。RF是在亚马逊的Amazon Mechanical Turk中实施的5标签众包任务，Amazon Mechanical Turk的用户通过5级评级来确定给定主题和给定文档的相关性。RF数据集包含了来自753个用户一共20232个例子的98453条判断记录。有3277个实例具有由NIST标识的正确标签(正确答案)。每个记录包含以下字段：主题ID，工作人员ID，正确标签和实际标签。
表1用户在主题id为20032下的专业水平值
通过以下规则从类似众包行为的数据库中建立一个场景：worker被称作用户，主题ID表示主题因子，worker ID则表示用户标识，正确标签代表正确答案，而实际标签则表示用户给出的答案。一个整体判断表示具有worker ID的用户在某一时刻参与特定主题ID的任务，并给出标签作为答案。为便于研究IntexCrowd的兴趣度动态变化，假设数据库中的任务参与记录是按时间排序的。
当发起者在众包系统中发布一项任务时，生成与任务关联的查询以获取主题因子。假设返回的主题因子是20032。因此，在服务注册库中的具有相同主题因子的相关记录将被推送至用户画像模块。RF数据库中包含了59个用户的1388条相关记录。嵌入在用户分析模块中的算法将通过Gibbs-EM采样来推断用户对这些主题的专业知识水平以及兴趣程度。我们执行200次Gibbs-EM采样。将
eku高斯先验设为均值μ1为36，方差σ2为70。将瞬时兴趣程度的高斯先验的平均值μ2设为28，方差σ2设置为50。经过一系列的迭代操作，可以获得59位用户的专业知识水平以及兴趣度。
表2主题20032中候选用户画像结果
并不是所有用户的资料都可以进入下一阶段，因为用户没有足够的专业知识来保证基本的要求需要被过滤。这里，基本要求是指上文提到的阈值Th2＝χ2·μ。根据经验设置如果某一用户的专业水平比该阈值低，则该用户无法正常工作的可能性很大。表1显示了59位用户的专业水平，可以看到20位用户符合专业水平要求并构成候选人。表2是综合分析用户的资料，其中第二列和第三列分别显示了候选用户的专业水平和历史兴趣度。表2中的第四列是根据公式(13)得到的用户当前兴趣程度。在此，参数τ设置为3，表1和表2中的变量值取整数。
开始采用排序算法。本发明进一步考虑了专业水平和兴趣度的协同效应。为了模拟每个候选用户的兴趣度对专业水平施加的反作用力，两个变量：反馈Fi→e和转移概率pku，分别根据公式(15)和(16)被量化，其值显示在表3的第二列到第三列中。公式(15)中的参数设置：r1＝0.3，r2＝0.15，s1＝0.65,s2＝0.45,为了对每个候选用户的时间兴趣度的统计效益进行建模，首先采用了两个变量：和接着，在表3的第四列给出了根据公式(19)估计的统计效益的值。因此，关于主题id20032的每个候选用户的最终排名分数可以通过公式(21)来量化。在公式(21)中，将参数λ的值设置为0.65。图4给出了20位候选用户对应的的最终排名分数值。变量Fi→e和pku四舍五入到小数点后三位，变量四舍五入到小数点后两位。
表3候选用户对于主题ID20032的反馈值，转移概率值和统计效益
从结果中可以看出，用户u153,u142和u229是通过兴趣专业协作意识综合评估的前三名，而用户u131，u128和u212是最差的3位。
值得注意的是，尽管有些候选人的专业水平比较高，但他们的最终排名成绩不如我们推荐方法推荐的其他分数高。我们以u212为例，其专业水平为43，但其最终排名成绩为41.9117。事实上，并不难理解为何为如此。因为该用户当前兴趣度相对较低，很可能会对专业水平产生反作用力，排名成绩也会受到影响。另一方面，一些不具有较高专业知识水平的候选用户仍然被赋予相对较高的最终排名得分，例如u103。这种情况明显表明了反作用力的影响。此外，有趣的是，即使有些用户的专业水平与当前兴趣度极为相似，但其最终排名成绩也有很大差距，这可以通过u153和u226的例子来说明。他们的历史兴趣度的历史趋势的差异导致他们的统计效益之间的差异，从而将他们从更细致的方面区分开来。因此，这些结果准确地验证了本发明技术方案的合理性，并且可以通过从更精细的角度识别用户的特征，以抑制众包系统中的水军问题。
本发明能够更好地抑制水军问题。其在以下方面比先前的方法更精细。首先，它考虑到专业水平，这对识别水军很重要。第二，进一步考虑兴趣程度的时变特征，比以前的方法更为精确。第三，考虑到兴趣度波动的统计效益，这可能是潜在的影响因素。最后，由于假设兴趣度和专业水平共同发挥作用，影响水军问题的出现，基于兴趣度-专业水平协同感知的排名函数被应用，以优化对用户的选择。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (6)
1.一种众包系统中抑制水军问题的细粒度推荐方法，其特征在于，包括如下步骤：
S1,在主题模型中，输入Q个问题和K个主题，所述Q和K均为正整数，获取问题q的主题k，所述q为Q个问题中的一个问题，所述k为K个主题中的一个主题；
S2，计算用户列表中的用户关于主题k的专业水平和兴趣度，生成用户画像；
S3，结合兴趣度和专业水平协同感知，为主题为k的任务输出排序后的用户列表。
2.根据权利要求1所述的众包系统中抑制水军问题的细粒度推荐方法，其特征在于，所述步骤S1中获取问题q的主题k的方法为：
S11，对于每个问题，假设其只关于一个主题，其主题服从参数为θ的多项分布，主题分布参数θ服从参数为α的狄利克雷分布，即θ～Dir(α)；背景词汇服从参数为φ`的多项分布，背景词汇分布参数φ`服从参数为β的狄利克雷分布，即φ`～Dir(β)；
S12，假设组成问题的词表示为wqm，其中m＝1,2，……，Mq；并且将所有的词分为两类：主题词和背景词，在生成问题的过程中，每生成一个词，要选择该词为背景词还是主题词，当yqm＝1时，为主题词，当yqm＝0时，为背景词，这一选择服从参数为的二项分布，即参数服从参数为η的狄利克雷分布，即分布函数为
S13，对于每一个k＝1，2，3，……，K，其主题词服从参数为φ的多项分布，参数φ服从参数为β的狄利克雷分布；背景词服从参数为φ′的多项分布，参数φ′服从参数为β′的狄利克雷分布；
S14，通过吉布斯采样，迭代求解出各个参数，输出每一个问题q＝1，2，3，……，Q的主题因子zq。
3.根据权利要求1所述的众包系统中抑制水军问题的细粒度推荐方法，其特征在于，所述步骤S2中生成用户画像的方法为：
S21，依据步骤S1获得的关于某个问题q的主题k，以及用户u对问题q的答案aqu，这一过程的联合概率表示为：
其中，用户u给出关于问题q的答案为aqu，假设在每一个主题中，用户的专业水平服从高斯分布，即用户的专业水平equ～N(μ1,σ2)，假设对每个问题q都有γq种选择{1,2,......,γ}，从均匀分布中抽取一个正确的答案Tq，当用户给出正确答案时aqu＝c，是用户u对主题zq＝k的历史正确的次数；
借助最大化后验概率的方法，建立如下目标函数：
通过梯度下降法，求得用户的专业水平和兴趣度
S22，得出用户u的专业水平表示为数组eku＝[e1u,e2u,e3u,…,eKu]
接着通过用户的历史兴趣度值预测用户当前关于主题k的兴趣度
则用户u的历史兴趣度表示为数组Iku＝[I1u,I2u,…,IKu]
τ是内核参数，n-t的值代表第t时刻与当前时刻n之间的某一时刻。
4.根据权利要求1所述的众包系统中抑制水军问题的细粒度推荐方法，其特征在于，所述步骤S3的具体方法为：
S31，根据步骤S2获得的用户专业水平和用户当前兴趣度，对于主题k，设置兴趣度阈值Th1；
S32，给定主题k，首先将专业水平过低的用户过滤掉，设置阈值Th2＝χ2·μ,专业水平高于Th2的用户将作为候选用户
S33，对于u(k)中的每一个用户，
定义反馈：
其中，Th1＝χ1·μ'，
定义转移概率：
其中，nku代表用户u参加主题为k的任务的次数，j的范围为1至总数K，此外，我们还考虑了不同流行度的主题会影响用户选择任务的因素，wk表示过去一段时间内整个服务注册库的主题流行情况，为：
其中，Nk表示在过去的一段时间内整个数据库中关于主题k的总任务数，f的范围从1至K，
用户u关于主题k的专业水平的新表达式：
S34，每个时刻的兴趣度和后一个时刻之间会有一些变化，变化的绝对值称为绝对效益，如果某时刻的兴趣度相对于其上一时刻的兴趣程度呈现上升状态，则这种变化被定义为有效效益，定义统计效益为有效效益和绝对效益的比值：
其中，代表用户u关于主题k的绝对效益，代表有效效益；
S35，建立排序函数，计算候选用户的排序分数，并对其排序，排序函数为：
S1＝λ·Se+(1-λ)·SI，
其中，Se为专业水平因子，SI为兴趣度因子，
专业水平因子为：
兴趣度因子为：
SI＝Utiku·Iku，
给定主题k，用户u的最终排名得分的表达式按递归方式表达如下：
Sku＝λ·(eku)′+(1-λ)·Utiku·Iku。
5.一种众包系统中抑制水军问题的细粒度推荐系统，其特征在于，包括服务注册库，查询调度控制器，主题分类器和核心处理单元；
所述服务注册库是一个存储库，用于存储用户参与历史任务的记录；
所述主题分类器通过主题模型为每个任务自动分配主题，为服务注册库中的每个任务分配一个主题并识别新发布的任务的主题，服务注册库与主题分类器相连，对于服务注册库中以及新发布的任务，主题分类器将为每个任务分配一个主题；
查询调度控制器向核心处理单元发送请求，请求根据主题获取的关于新发布任务的推荐结果；
所述核心处理单元利用权利要求1-4之一的方法获得新发布任务的推荐结果。
6.根据权利要求1所述的众包系统中抑制水军问题的细粒度推荐系统，其特征在于，所述核心处理单元包括用户画像模块和推荐模块，所述用户画像模块包括专业水平管理器和兴趣度管理器，所述专业水平管理器根据权利要求3所述的方法评估用户的专业水平，兴趣度管理器根据权利要求3所述的方法评估用户的兴趣度；
所述推荐模块包括反作用力管理器和统计效益管理器，推荐模块从用户画像模块获取到用户的当前兴趣度和专业水平，获取时考虑兴趣度在完成任务过程中可能会产生积极或消极的反馈，负反馈代表兴趣度较低时，兴趣度会对专业水平产生负面作用，正反馈代表兴趣程度很高或不低时，兴趣度会对专业水平产生积极作用；反作用力管理器根据实时兴趣度来量化两种反馈从而评估这种反作用力；统计效益是指用户的历史兴趣度趋势中所反映出的效益；排序管理器在反作用力管理器进行处理后，排序管理器基于权利要求4所述的方法，为特定主题的任务提出建议用户列表作为推荐结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710708968.3A CN110020098A (zh) | 2017-08-17 | 2017-08-17 | 众包系统中抑制水军问题的细粒度推荐机制 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710708968.3A CN110020098A (zh) | 2017-08-17 | 2017-08-17 | 众包系统中抑制水军问题的细粒度推荐机制 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110020098A true CN110020098A (zh) | 2019-07-16 |
Family
ID=67186099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710708968.3A Pending CN110020098A (zh) | 2017-08-17 | 2017-08-17 | 众包系统中抑制水军问题的细粒度推荐机制 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110020098A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533186A (zh) * | 2019-09-04 | 2019-12-03 | 武汉轻工大学 | 众包定价体系的评估方法、装置、设备及可读存储介质 |
| CN111506813A (zh) * | 2020-04-08 | 2020-08-07 | 中国电子科技集团公司第五十四研究所 | 一种基于用户画像的遥感信息精准推荐方法 |
| CN112765326A (zh) * | 2021-01-27 | 2021-05-07 | 西安电子科技大学 | 一种问答社区专家推荐方法、系统及应用 |
| US11386299B2 (en) | 2018-11-16 | 2022-07-12 | Yandex Europe Ag | Method of completing a task |
| US11416773B2 (en) | 2019-05-27 | 2022-08-16 | Yandex Europe Ag | Method and system for determining result for task executed in crowd-sourced environment |
| US11475387B2 (en) | 2019-09-09 | 2022-10-18 | Yandex Europe Ag | Method and system for determining productivity rate of user in computer-implemented crowd-sourced environment |
| US11481650B2 (en) | 2019-11-05 | 2022-10-25 | Yandex Europe Ag | Method and system for selecting label from plurality of labels for task in crowd-sourced environment |
| US11727329B2 (en) | 2020-02-14 | 2023-08-15 | Yandex Europe Ag | Method and system for receiving label for digital task executed within crowd-sourced environment |
| US11727336B2 (en) | 2019-04-15 | 2023-08-15 | Yandex Europe Ag | Method and system for determining result for task executed in crowd-sourced environment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130057220A (ko) * | 2011-11-23 | 2013-05-31 | 대구대학교 산학협력단 | 협업 필터링을 이용한 온라인 마인드맵 주제어 자동 추천 방법 |
| CN104572797A (zh) * | 2014-05-12 | 2015-04-29 | 深圳市智搜信息技术有限公司 | 基于主题模型的个性化服务推荐系统和方法 |
| CN105740342A (zh) * | 2016-01-22 | 2016-07-06 | 天津中科智能识别产业技术研究院有限公司 | 一种基于社会关系主题模型的社交网络朋友推荐方法 |
| CN106997383A (zh) * | 2017-03-22 | 2017-08-01 | 山东大学 | 基于PageRank算法的问题推荐方法及系统 |
-
2017
- 2017-08-17 CN CN201710708968.3A patent/CN110020098A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130057220A (ko) * | 2011-11-23 | 2013-05-31 | 대구대학교 산학협력단 | 협업 필터링을 이용한 온라인 마인드맵 주제어 자동 추천 방법 |
| CN104572797A (zh) * | 2014-05-12 | 2015-04-29 | 深圳市智搜信息技术有限公司 | 基于主题模型的个性化服务推荐系统和方法 |
| CN105740342A (zh) * | 2016-01-22 | 2016-07-06 | 天津中科智能识别产业技术研究院有限公司 | 一种基于社会关系主题模型的社交网络朋友推荐方法 |
| CN106997383A (zh) * | 2017-03-22 | 2017-08-01 | 山东大学 | 基于PageRank算法的问题推荐方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 郭智威等: "Fine-Grained Recommendation Mechanism to Curb Astroturfing in Crowdsourcing Systems", 《IEEE》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11386299B2 (en) | 2018-11-16 | 2022-07-12 | Yandex Europe Ag | Method of completing a task |
| US11727336B2 (en) | 2019-04-15 | 2023-08-15 | Yandex Europe Ag | Method and system for determining result for task executed in crowd-sourced environment |
| US11416773B2 (en) | 2019-05-27 | 2022-08-16 | Yandex Europe Ag | Method and system for determining result for task executed in crowd-sourced environment |
| CN110533186A (zh) * | 2019-09-04 | 2019-12-03 | 武汉轻工大学 | 众包定价体系的评估方法、装置、设备及可读存储介质 |
| US11475387B2 (en) | 2019-09-09 | 2022-10-18 | Yandex Europe Ag | Method and system for determining productivity rate of user in computer-implemented crowd-sourced environment |
| US11481650B2 (en) | 2019-11-05 | 2022-10-25 | Yandex Europe Ag | Method and system for selecting label from plurality of labels for task in crowd-sourced environment |
| US11727329B2 (en) | 2020-02-14 | 2023-08-15 | Yandex Europe Ag | Method and system for receiving label for digital task executed within crowd-sourced environment |
| CN111506813A (zh) * | 2020-04-08 | 2020-08-07 | 中国电子科技集团公司第五十四研究所 | 一种基于用户画像的遥感信息精准推荐方法 |
| CN112765326A (zh) * | 2021-01-27 | 2021-05-07 | 西安电子科技大学 | 一种问答社区专家推荐方法、系统及应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110020098A (zh) | 众包系统中抑制水军问题的细粒度推荐机制 | |
| Batistič et al. | History, evolution and future of big data and analytics: a bibliometric analysis of its relationship to performance in organizations | |
| Filip et al. | Computer-supported collaborative decision-making | |
| US20180053092A1 (en) | Method and System for Innovation Management and Optimization Under Uncertainty | |
| CN110046304A (zh) | 一种用户推荐方法和装置 | |
| US20210174306A1 (en) | Adaptive and reusable processing of retroactive sequences for automated predictions | |
| Wen et al. | A knowledge-based intelligent decision support system for national defense budget planning | |
| Wang et al. | Personalized and explainable employee training course recommendations: A bayesian variational approach | |
| CN110971659A (zh) | 推荐消息的推送方法、装置及存储介质 | |
| CN109472305A (zh) | 答案质量确定模型训练方法、答案质量确定方法及装置 | |
| Upendran et al. | Application of predictive analytics in intelligent course recommendation | |
| Bharathy et al. | Holistically evaluating agent-based social systems models: A case study | |
| Moldoveanu | Thinking strategically about thinking strategically: the computational structure and dynamics of managerial problem selection and formulation | |
| US20230353590A1 (en) | Project failure reduction through generation, structuring, and/or assessment of a critical event objectt | |
| Lestari et al. | Technique for order preference by similarity to ideal solution as decision support method for determining employee performance of sales section | |
| Relich | A computational intelligence approach to predicting new product success | |
| Chen et al. | Session-based recommendation: Learning multi-dimension interests via a multi-head attention graph neural network | |
| Pekar et al. | Forecasting consumer spending from purchase intentions expressed on social media | |
| Yong et al. | A neural networks approach for software risk analysis | |
| Wang | PoissonMat: Remodeling Matrix Factorization using Poisson Distribution and Solving the Cold Start Problem without Input Data | |
| CN114461906A (zh) | 一种聚焦于用户核心兴趣的序列推荐方法及装置 | |
| Jain et al. | Identification of opinion leader in online social network using fuzzy trust system | |
| Liu et al. | Worker recommendation for crowdsourced q&a services: A triple-factor aware approach | |
| Bharathy et al. | Applications of social systems modeling to political risk management | |
| CN110569591B (zh) | 基于Bi-LSTM的敏捷开发需求变更预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210928 Address after: No. 326, building 2, yard 5, Zhongguancun South Street, Haidian District, Beijing 100081 Applicant after: Tang Hui Address before: Room 5038, No. 7, Nanyou Road, Nanjing, Jiangsu 211106 Applicant before: NANJING NETEAST TECHNOLOGIES Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190716 |