CN108734196A - 众包平台的作业方法、装置、计算机设备和存储介质 - Google Patents

众包平台的作业方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN108734196A
CN108734196A CN201810343877.9A CN201810343877A CN108734196A CN 108734196 A CN108734196 A CN 108734196A CN 201810343877 A CN201810343877 A CN 201810343877A CN 108734196 A CN108734196 A CN 108734196A
Authority
CN
China
Prior art keywords
crowdsourcing
account
task
test
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810343877.9A
Other languages
English (en)
Inventor
李佳琳
刘鹏
赵�怡
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810343877.9A priority Critical patent/CN108734196A/zh
Priority to PCT/CN2018/095318 priority patent/WO2019200736A1/zh
Publication of CN108734196A publication Critical patent/CN108734196A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明揭示了一种众包平台的作业方法、装置、计算机设备和存储介质，其中方法包括：按照预设的发送规则发送测试任务给众包账户；其中，所述测试任务在所述众包账户显示的答案是错误答案，所述测试任务与常规的众包任务的模式相同；接收所述众包账户针对所述测试任务的反馈信息，并将所述反馈信息与预设的正确答案进行比对，判断众包账户的回答是否正确；若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户。使用上述方法，有效地防止众包用户的刷分行为。

Description

众包平台的作业方法、装置、计算机设备和存储介质
技术领域
本发明涉及到众包领域，特别是涉及到一种众包平台的作业方法、装置、计算机设备和存储介质。
背景技术
众包平台是《连线》(Wired)杂志2006年发明的一个专业术语，用来描述一种新的商业模式，即企业利用互联网来将工作分配出去、发现创意或解决技术问题。企业对图像识别进行验证或改进时，会以众包的方式在众包平台上发放图片校对任务，以收集用户的反馈。
用户在众包平台获取图片校对任务，并人为判断系统自动给出的识别结果与图片内容是否一致，如不一致，则进行修改，然后点击“下一张”按钮进行答案提交。众包平台本身自带系统对于图片的识别结果，故用户可选择直接提交系统答案。由于系统校验原则是基于同一任务派发给至少三个用户，将收集的三个答案以多数原则进行交叉比对自动生成，那么当多数用户都直接采用错误的系统答案进行直接提交时，系统会将此答案判断为正确(实际上可能是错误的)，故存在用户的刷分行为漏洞，需要有效的防刷分措施进行实时监控。
发明内容
本发明的主要目的为提供一种可以对众包账户进行刷分等行为测试的众包平台的作业方法、装置、计算机设备和存储介质。
为了实现上述发明目的，本发明提出一种众包平台的作业方法，包括：
按照预设的发送规则发送测试任务给众包账户；其中，所述测试任务在所述众包账户显示的答案是错误答案，所述测试任务与常规的众包任务的模式相同；
接收所述众包账户针对所述测试任务的反馈信息，并将所述反馈信息与预设的正确答案进行比对，判断众包账户的回答是否正确；
若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户。
进一步地，所述预设的发送规则，包括：
每发送指定数量的众包任务后，发送一道测试任务；或者，
按照众包任务的总数量，设置对应数量的测试任务，并且随机分布地发送所述测试任务；或者；
按照众包任务的总数量，设置对应数量的测试任务，并在发送众包任务的开始阶段，相对密集地随机发送所述测试任务。
进一步地，所述若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户的步骤之后，包括：
记录第一指定时间长度内，所述众包账户回答错误的累计答错数和/或连续答错数；
根据所述累计答错数和/或连续答错数，对所述众包账户进行惩罚。
进一步地，所述记录第一指定时间长度内所述众包账户回答错误的累计答错数和/或连续答错数的步骤之后，包括：
记录第二指定时间长度内，所述众包账户任务作业情况；其中，所述第二指定时间长度大于所述第一指定时间长度，并且所述第二指定时间长度是所述第一指定时间长度的正整数倍，所述作业情况包括所述众包账户在多个所述第一时间长度内的累计答错数和/或连续答错数；
根据所述众包账户任务作业情况，控制发送给所述众包账户的发送频率。
进一步地，所述在测试任务库中调取其它测试任务继续发送给所述众包账户的步骤，包括：
根据所述众包账户的所属地理区域，查找与所述所属地理区域对应的第一测试任务库；
在所述第一测试任务库中调取测试任务继续发送给所述众包账户。
进一步地，所述在所述第一测试任务库中调取测试任务继续发送给所述众包账户的步骤之后，包括：
判断所述第一测试任务库中的测试任务是否全部被使用过一次；
若是，则与其它所属地理区域对应的第二测试任务库进行互相替换。
进一步地，所述按照预设的发送规则发送测试任务给众包账户的步骤，包括：
在众包任务之间穿插发送指定内容的短文。
本发明还提供一种众包平台的作业装置，包括：
发送测试单元，用于按照预设的发送规则发送测试任务给众包账户；其中，所述测试任务在所述众包账户显示的答案是错误答案，所述测试任务与常规的众包任务的模式相同；
接收比对单元，用于接收所述众包账户针对所述测试任务的反馈信息，并将所述反馈信息与预设的正确答案进行比对，判断众包账户的回答是否正确；
执行动作单元，用于若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本发明的众包平台的作业方法、装置、计算机设备和存储介质，因为测试任务和常规的众包任务的模式相同，所以众包账户的作业人员不会知道众包平台发送的任务中，哪一个是测试任务，哪一个是众包任务，因此，众包平台能无感知地测试作业人员是否进行刷分等行为，并通过此方法持续让用户处于认真做题的状态之中，使众包平台能够最大程度地获取有价值的任务答案。而且，如果众包用户连续答错撤人任务，则会通知发送众包任务或测试任务等，有效地防止众包用户的刷分行为。
附图说明
图1为本发明一实施例的众包平台的作业方法的流程示意图；
图2为本发明一实施例的众包平台的作业方法的流程示意图；
图3为本发明一实施例的众包平台的作业方法的流程示意图；
图4为本发明一实施例的众包平台的作业装置的结构示意框图；
图5为本发明一实施例的众包平台的作业装置的结构示意框图；
图6为本发明一实施例的众包平台的作业装置的结构示意框图；
图7为本发明一实施例的执行动作单元的结构示意框图；
图8为本发明一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明实施例提供一种众包平台的作业方法，包括步骤：
S1、按照预设的发送规则发送测试任务给众包账户；其中，所述测试任务在所述众包账户显示的答案是错误答案，所述测试任务与常规的众包任务的模式相同；
S2、接收所述众包账户针对所述测试任务的反馈信息，并将所述反馈信息与预设的正确答案进行比对，判断众包账户的回答是否正确；
S3、若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户。
如上述步骤S1所述，上述测试任务是指存储在测试任务库中的预设任务，该测试任务包含任务试题、错误答案和正确答案，在发送给众包账户时，将任务试题和错误答案一起发送，而正确答案则用于与众包账户的反馈信息进行比较。上述的众包账户是指针对众包平台注册的账户，其可以接收众包平台发布的任务，并对众包任务进行处理，进而得到积分等奖励，在结算时可以根据积分的数量获得相应的金钱等奖励。上述常规的众包任务是指发布众包任务的企业等实际需要众包的任务，如发送图片识别的任务给众包账户，以收集图片识别的准确性的信息等。本实施例中，测试任务与众包任务的模式相同，可以使众包账户对应的用户无感知的进行测试，比如，众包任务的模式为一张图片和一条对图片的解释文字，那么测试任务同样是一张图片和一条对图片的解释文字，区别在于，众包任务中对图片的解释文字可能是正确的，也可能是错误的，并且没有预设的正确答案，而测试任务中对图片的解释文字一定是错误的，并且有预设的正确答案。
如上述步骤S2所述，上述反馈信息即为用户针对测试任务的回答信息，回答信息包括多种情况，第一种是，用户认为众包账户上针对测试任务体显示的答案是正确的，进而直接点击“下一题”的反馈；第二种是，用户发觉众包账户上针对测试任务体显示的答案是错误的，进而进行修改，然后将修改后的答案提交给众包平台，然后点击“下一题”或直接进入下一题的反馈等。本实施例中，上述预设的正确答案，是指众包平台针对任务试题设置的正确答案。在上述“将反馈信息与预设的正确答案进行比对”的过程中，一般涉及到文字语义分析等技术，反馈信息表达的意思与正确答案表达的意思相同即可认为众包账户回答正确的，无需一字不差的完全相同，否则，认为众包账户回答错误。
如上述步骤S3所述，上述的比对结果即为回答正确或者回答错误两种结果。上述测试任务库中存储有大量的不同测试任务。当发送给众包账户一个测试任务后，众包账户的反馈答案是错误的，则会继续从测试任务库中调取其他的测试任务发送给众包账户，直到所述众包账户回答正确，然后发送所述众包任务给所述众包账户。通过连续的测试，可以判断出众包账户是存在刷分行为，还是不小心输入错误的答案等，比如，用户连续输入错的答案，则说明众包账户存在刷分行为；如果众包账户只是第一道测试任务做错了，而第二道测试任务做对了，则说明众包账户的用户只是做错题了，而不是故意刷分等。为了提高众包任务的回答准确性，如果用户存在刷分行为，则停止发送给该众包账户众包任务。在其它实施例中，还会根据比对结果以及预设的作业规则执行相应的动作，上述预设的作业规则，是指众包平台设置的相关规则，主要是针对比对结果进行设置，比如，如果回答正确，则继续发送测试任务，如果连续正确回答测试任务指定次数，则提高发送众包任务的频率等规则。上述执行相应的动作，即众包平台按照作业规则进行作业，如作业规则是“回答错误，则继续发送测试任务”，那么当众包账户的反馈信息与预设的正确答案不同，则执行“继续发送测试任务”的动作。
本实施例中，上述众包平台计算众包任务的答案的方法为交叉比对法，具体如下：
当众包平台派发给n个众包账户同一道众包任务进行验证，得到答案A1,A2,……An,若存在相同答案A1＝A2＝Ax，则记B1＝1+1+1＝3，以此类推共有k个不同答案，得到B1,B2,……Bk。若B1,B2,……Bk中有且只有一个最大值B，且>50％，则校验成功，众包平台采用B对应的多数答案。反之，校验失败，系统将重新派发该众包任务等。而对测试任务则直接与预设的正确答案进行比对，无需进行交叉比对等动作。上述的交叉比对法，众包平台无需准备正确的答案，只需要在多个答案中查找出相同答案数量最多的一个答案即可，该相同答案数量最多的答案即会被认为是正确的答案。
本实施例中，上述预设的发送规则，包括：每发送指定数量的众包任务后，发送一道测试任务。比如，每发送10道众包任务后，发送一道测试任务。
在另一实施例中，上述预设的发送规则，包括：按照众包任务的总数量，设置对应数量的测试任务，并且随机分布地发送所述测试任务。比如，共有20道众包任务，那边么可以设置4道测试任务，这4道测试任务随机穿插在20道众包任务中进行发送。
在又一实施例中，上述预设的发送规则，包括：按照众包任务的总数量，设置对应数量的测试任务，并在发送众包任务的开始阶段，相对密集地随机发送所述测试任务。比如，共有100道众包任务，设置有20道测试任务，在发送前10次的众包任务中穿插5道测试任务，在后90次中随机穿插其余的15道测试任务。在发送众包任务的开始阶段，相对密集地随机发送所述测试任务，可以及时发现众包账户对应的用户是否认真负责，比如，众包账户在做测试任务时都是回答错误，显然，该用户不适合完成该类型的众包任务，或者是存在刷分行为，进而停止继续给该用户发送众包任务。
在一具体实施例中，上述预设的发送规则如下表所示：
测试任务和众包任务总数N 测试任务分布
N＝[0-15] 无测试任务
N＝[16-40] 随机分布5道测试任务(共5道测试任务)
N＝[41-100] 每15道分布一道测试任务(共4道测试任务)
N＝[101-200] 每25道分布一道测试任务(共4道测试任务)
N＝[201-400] 每20道分布一道测试任务(共10道测试任务)
N>400 重复上述测试任务分布，值不发生变化
参照图2，本实施例中，上述若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户的步骤S3之后，包括：
S311、记录第一指定时间长度内，所述众包账户回答错误的累计答错数和/或连续答错数；
S312、根据所述累计答错数和/或连续答错数，对所述众包账户进行惩罚。
如上述步骤S311所述，上述第一指定时间长度一般为几个小时或者一天的时间，即每个众包账户从开始完成众包任务至结算时结束的时间长度。众包任务一般都是一天一结算的。上述累计答错数是指众包账户的从一开始做众包任务直至当天的结算为止，一共答错测试任务的次数。上述连续答错数是指用众包账户连续答错测试任务的数量，比如，用户连续答错5道测试任务，则连续答错数为5。本实施例中，可以同时记录累计答错数和连续答错数，也可以只记录一种答错数，可以根据要求进行设置。
如上述步骤S312所述，会设置惩罚规则，而惩罚规则与累计答错数和/或连续答错数有关。
在一具体实施例中，测试任务的答错数计算有两个维度：累计答错数(K)以及连续答错数(Q)，其中K＝{0，1，2，3，4，5}，Q＝＝{0，1，2，3，4}。规则是：每当众包账户做错一道测试任务时，K的计数加1，Q的计数加1；每当众包账户做对一道测试任务时，K的计数不变，Q的计数重置清零。实现在最短的时间内将不良用户摒除在众包平台之外并对应给出不同力度的惩罚措施。具体计数和惩罚过程如下：
1、当众包账户答错第一道测试任务时，标记K＝1,Q＝1(K、Q的初始值为0)；
2、由于当众包账户在任意一道测试任务出错时，其所做的下一题也会是测试人任务，此时：(1)若众包账户答对第二道测试任务(即未连续答错测试任务)，K的计数不变，Q重置为0，即此时K＝1，Q＝0；(2)若众包账户再次答错测试任务(即连错两题)，同时标记错题数K＝K+1，Q＝Q+1，即此时K＝2,Q＝2；
3、按照以上规则，每当用户完成一道测试任务，实时更新K与Q的计数。
4、K、Q的不同计数分别对应不同的惩罚系数DK、DQ值，具体对应关系分别见如下两个表格：
K与DK值对应关系
K 0 1 2 3 4 5
DK 0 0 0 0.4 0.8 1
Q与DQ值对应关系
Q 0 1 2 3 4
DQ 0 0 0.2 0.8 1
DK，DQ的分值代表众包平台将扣除众包账户当天的任务积分的比例，取两者的最大值作为惩罚系数的当前有效值。例如：当DK＝0.4，DQ＝0.8,系统将取0.8为有效值，扣除用户当天80％的任务积分作为惩罚。此外，DK＝1时，系统除了扣除众包账户当天所做的所有任务积分之外，还会将众包账户今天的任务完成单数清零，重新计数；DQ＝1时，系统除了清零任务单数与任务积分之外，会在一个小时之内暂停对该刷分用户的任务派发。
参照图3，本实施例中，上述记录第一指定时间长度内所述众包账户回答错误的累计答错数和/或连续答错数的步骤S311之后，包括：
S313、记录第二指定时间长度内，所述众包账户任务作业情况；其中，所述第二指定时间长度大于所述第一指定时间长度，并且所述第二指定时间长度是所述第一指定时间长度的正整数倍，所述作业情况包括所述众包账户在多个所述第一时间长度内的累计答错数和/或连续答错数；
S314、根据所述众包账户任务作业情况，控制发送给所述众包账户的发送频率。
如上述步骤S313和S314所述，即为记录上述众包账户的作业情况，然后根据作业情况控制众包任务的发送频率。比如，某人在1个月内出现多次刷分情况，则降低发送给该用户任务的频率，当刷分情况严重到指定程度(比如连续5天都存在刷分情况)后，禁封该人的任务账号等。可以进一步地防止众包平台的刷分情况。
本实施例中，上述在测试任务库中调取其它测试任务继续发送给所述众包账户的步骤，包括：
S3101、根据所述众包账户的所属地理区域，查找与所述所属地理区域对应的第一测试任务库；
S3102、在所述第一测试任务库中调取测试任务继续发送给所述众包账户；
S3103、判断所述第一测试任务库中的测试任务是否全部被使用过一次；
S3104、若是，则与其它所属地理区域对应的第二测试任务库进行互相替换。
如上述步骤S3101、S3102、S3103和S3104所述，上述测试任务库包括多个，每个测试任务库中设置不同的测试任务，每个测试任务库对应一个地理区域进行发放，比如，A测试任务库中的测试任务只针对广州地区的众包账户发放；当A测试任务库中的测试任务全部被使用一遍之后，与其它区域对应的测试任务库进行替换，如广州的A测试任务库与湖南的B测试任务库进行替换，减少同一测试任务在同一区域内的多次出现，如果同一题被同一人回答两次，则会引起用户的注意，进而知道是测试任务而认真对待，对于其它题则继续刷分。
本实施例中，众包平台还会记录发送给每一个众包账户的测试任务编号，以防止同样的测试任务发送给同一个众包账户多次。具体的，每一道测任务设置一个编号，记录每一个众包账户回答过的每一道测试任务的编号，如果需要发送测试任务给众包账户题时，则获取该众包账户已经测试过的测试任务编号，然后选择与其不同编号的测试任务发送给用户进行测试。
本实施例中，众包平台连续多天，在每一天的不同时间给全部的参与答题的众包账户发送测试任务，然后收集答题情况，分析不同地域的人的答题情况，进而了解不同区域的人的心理状态，从而确定不同区域的众包任务的发送时段。比如，广州地区的用户，每天早晨9点答题最好，下午3点存在严重刷分情况，则在之后的发送任务过程中，广州地区在早上9点左右时，提高发送任务的频率，而在下午3点左右的时候降低发送任务的频率等。
本本实施例中，还可以对各个众包账户进行长期的监控，针对不同地区在不同季节众包账户的答题情况，进行适当的发送众包任务，比如，广州地区的众包账户在夏天时存在刷分行为严重，那么在夏天时降低给该地区的众包任账户发送众包任务的频率，而在冬天时的答题效率更高，则在冬天提高该地区的众包任务发送频率等。
本实施例中，上述众包平台的作业方法还包括：在众包任务之间穿插发送指定内容的短文。即众包平台在发送众包任务的过程中，还会在众包任务之间穿插发送短文，该短文可以是笑话短文、心灵鸡汤短文等供用户缓解疲劳。进一步地，在笑话或心灵鸡汤等短文界面会设置相应的下一题或退出阅读等按钮，记录用户接收到笑话短文、心灵鸡汤短文等短文后，触发答题(点击下一题或退出阅读等按钮)的时间长度，进而判断出用户的阅读喜好，比如，用户遇到冷笑话短文即会快速点击下“退出阅读”等，那么一段时间的分析后，即不会再发送冷笑话给该用户。
本发明实施例的众包平台的作业方法，因为测试任务和常规的众包任务的模式相同，所以众包账户的作业人员不会知道众包平台发送的任务中，哪一个是测试任务，哪一个是众包任务，因此，众包平台能无感知地测试作业人员是否进行刷分等行为，并通过此方法持续让用户处于认真做题的状态之中，使众包平台能够最大程度地获取有价值的任务答案。
参照图4，本发明实施例还提供一种众包平台的作业装置，包括：
发送测试单元10，用于按照预设的发送规则发送测试任务给众包账户；其中，所述测试任务在所述众包账户显示的答案是错误答案，所述测试任务与常规的众包任务的模式相同；
接收比对单元20，用于接收所述众包账户针对所述测试任务的反馈信息，并将所述反馈信息与预设的正确答案进行比对，判断众包账户的回答是否正确；
执行动作单元30，用于若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户。
在上述发送测试单元10中，上述测试任务是指存储在测试任务库中的预设任务，该测试任务包含任务试题、错误答案和正确答案，在发送给众包账户时，将任务试题和错误答案一起发送，而正确答案则用于与众包账户的反馈信息进行比较。上述的众包账户是指针对众包平台注册的账户，其可以接收众包平台发布的任务，并对众包任务进行处理，进而得到积分等奖励，在结算时可以根据积分的数量获得相应的金钱等奖励。上述常规的众包任务是指发布众包任务的企业等实际需要众包的任务，如发送图片识别的任务给众包账户，以收集图片识别的准确性的信息等。本实施例中，测试任务与众包任务的模式相同，可以使众包账户对应的用户无感知的进行测试，比如，众包任务的模式为一张图片和一条对图片的解释文字，那么测试任务同样是一张图片和一条对图片的解释文字，区别在于，众包任务中对图片的解释文字可能是正确的，也可能是错误的，并且没有预设的正确答案，而测试任务中对图片的解释文字可能是一定是错误的，并且有预设的正确答案。
在上述接收比对单元20中，上述反馈信息即为用户针对测试任务的回答信息，回答信息包括多种情况，第一种是，用户认为众包账户上针对测试任务体显示的答案是正确的，进而直接点击“下一题”的反馈；第二种是，用户发觉众包账户上针对测试任务体显示的答案是错误的，进而进行修改，然后将修改后的答案提交给众包平台，然后点击“下一题”或直接进入下一题的反馈等。本实施例中，上述预设的正确答案，是指众包平台针对任务试题设置的正确答案。在上述“将反馈信息与预设的正确答案进行比对”的过程中，一般涉及到文字语义分析等技术，反馈信息表达的意思与正确答案表达的意思相同即可认为众包账户回答正确的，无需一字不差的完全相同，否则，认为众包账户回答错误。
在上述执行动作单元30中，上述的比对结果即为回答正确或者回答错误两种结果。上述测试任务库中存储有大量的不同测试任务。当发送给众包账户一个测试任务后，众包账户的反馈答案是错误的，则会继续从测试任务库中调取其他的测试任务发送给众包账户，直到所述众包账户回答正确，然后发送所述众包任务给所述众包账户。通过连续的测试，可以判断出众包账户是存在刷分行为，还是不小心输入错误的答案等，比如，用户连续输入错的答案，则说明众包账户存在刷分行为；如果众包账户只是第一道测试任务做错了，而第二道测试任务做对了，则说明众包账户的用户只是做错题了，而不是故意刷分等。为了提高众包任务的回答准确性，如果用户存在刷分行为，则停止发送给该众包账户众包任务。在其它实施例中，还会根据比对结果以及预设的作业规则执行相应的动作，上述预设的作业规则，是指众包平台设置的相关规则，主要是针对比对结果进行设置，比如，如果回答正确，则继续发送测试任务，如果连续正确回答测试任务指定次数，则提高发送众包任务的频率等规则。上述执行相应的动作，即众包平台按照作业规则进行作业，如作业规则是“回答错误，则继续发送测试任务”，那么当众包账户的反馈信息与预设的正确答案不同，则执行“继续发送测试任务”的动作。
本实施例中，上述众包平台计算众包任务的答案的方法为交叉比对法，具体如下：
当众包平台派发给n个众包账户同一道众包任务进行验证，得到答案A1,A2,……An,若存在相同答案A1＝A2＝Ax，则记B1＝1+1+1＝3，以此类推共有k个不同答案，得到B1,B2,……Bk。若B1,B2,……Bk中有且只有一个最大值B，且>50％，则校验成功，众包平台采用B对应的多数答案。反之，校验失败，系统将重新派发该众包任务等。而对测试任务则直接与预设的正确答案进行比对，无需进行交叉比对等动作。上述的交叉比对法，众包平台无需准备正确的答案，只需要在多个答案中查找出相同答案数量最多的一个答案即可，该相同答案数量最多的答案即会被认为是正确的答案。
本实施例中，上述预设的发送规则，包括：每发送指定数量的众包任务后，发送一道测试任务。比如，每发送10道众包任务后，发送一道测试任务。
在另一实施例中，上述预设的发送规则，包括：按照众包任务的总数量，设置对应数量的测试任务，并且随机分布地发送所述测试任务。比如，共有20道众包任务，那边么可以设置4道测试任务，这4道测试任务随机穿插在20道众包任务中进行发送。
在又一实施例中，上述预设的发送规则，包括：按照众包任务的总数量，设置对应数量的测试任务，并在发送众包任务的开始阶段，相对密集地随机发送所述测试任务。比如，共有100道众包任务，设置有20道测试任务，在发送前10次的众包任务中穿插5道测试任务，在后90次中随机穿插其余的15道测试任务。在发送众包任务的开始阶段，相对密集地随机发送所述测试任务，可以及时发现众包账户对应的用户是否认真负责，比如，众包账户在做测试任务时都是回答错误，显然，该用户不适合完成该类型的众包任务，或者是存在刷分行为，进而停止继续给该用户发送众包任务。
在一具体实施例中，上述预设的发送规则如下表所示：
测试任务和众包任务总数N 测试任务分布
N＝[0-15] 无测试任务
N＝[16-40] 随机分布5道测试任务(共5道测试任务)
N＝[41-100] 每15道分布一道测试任务(共4道测试任务)
N＝[101-200] 每25道分布一道测试任务(共4道测试任务)
N＝[201-400] 每20道分布一道测试任务(共10道测试任务)
N>400 重复上述测试任务分布，值不发生变化
参照图5，本实施例中，上述众包平台的作业装置，还包括：
第一记录单元311，用于记录第一指定时间长度内，所述众包账户回答错误的累计答错数和/或连续答错数；
惩罚单元312，用于根据所述累计答错数和/或连续答错数，对所述众包账户进行惩罚。
在上述第一记录单元311中，上述第一指定时间长度一般为几个小时或者一天的时间，即每个众包账户从开始完成众包任务至结算时结束的时间长度。众包任务一般都是一天一结算的。上述累计答错数是指众包账户的从一开始做众包任务直至当天的结算为止，一共答错测试任务的次数。上述连续答错数是指用众包账户连续答错测试任务的数量，比如，用户连续答错5道测试任务，则连续答错数为5。本实施例中，可以同时记录累计答错数和连续答错数，也可以只记录一种答错数，可以根据要求进行设置。
在上述惩罚单元312中，会设置惩罚规则，而惩罚规则与累计答错数和/或连续答错数有关。
在一具体实施例中，测试任务的答错数计算有两个维度：累计答错数(K)以及连续答错数(Q)，其中K＝{0，1，2，3，4，5}，Q＝＝{0，1，2，3，4}。规则是：每当众包账户做错一道测试任务时，K的计数加1，Q的计数加1；每当众包账户做对一道测试任务时，K的计数不变，Q的计数重置清零。实现在最短的时间内将不良用户摒除在众包平台之外并对应给出不同力度的惩罚措施。具体计数和惩罚过程如下：
1、当众包账户答错第一道测试任务时，标记K＝1,Q＝1(K、Q的初始值为0)；
2、由于当众包账户在任意一道测试任务出错时，其所做的下一题也会是测试人任务，此时：(1)若众包账户答对第二道测试任务(即未连续答错测试任务)，K的计数不变，Q重置为0，即此时K＝1，Q＝0；(2)若众包账户再次答错测试任务(即连错两题)，同时标记错题数K＝K+1，Q＝Q+1，即此时K＝2,Q＝2；
3、按照以上规则，每当用户完成一道测试任务，实时更新K与Q的计数。
4、K、Q的不同计数分别对应不同的惩罚系数DK、DQ值，具体对应关系分别见如下两个表格：
K与DK值对应关系
K 0 1 2 3 4 5
DK 0 0 0 0.4 0.8 1
Q与DQ值对应关系
Q 0 1 2 3 4
DQ 0 0 0.2 0.8 1
DK，DQ的分值代表众包平台将扣除众包账户当天的任务积分的比例，取两者的最大值作为惩罚系数的当前有效值。例如：当DK＝0.4，DQ＝0.8,系统将取0.8为有效值，扣除用户当天80％的任务积分作为惩罚。此外，DK＝1时，系统除了扣除众包账户当天所做的所有任务积分之外，还会将众包账户今天的任务完成单数清零，重新计数；DQ＝1时，系统除了清零任务单数与任务积分之外，会在一个小时之内暂停对该刷分用户的任务派发。
参照图6，本实施例中，上述众包平台的作业装置还包括：
第二记录单元313，用于记录第二指定时间长度内，所述众包账户任务作业情况；其中，所述第二指定时间长度大于所述第一指定时间长度，并且所述第二指定时间长度是所述第一指定时间长度的正整数倍，所述作业情况包括所述众包账户在多个所述第一时间长度内的累计答错数和/或连续答错数；
发送控制单元314，用于根据所述众包账户任务作业情况，控制发送给所述众包账户的发送频率。
在上述第二记录单元313和发送控制单元314中，即为记录上述众包账户的作业情况的单元，其根据作业情况控制众包任务的发送频率。比如，某人在1个月内出现多次刷分情况，则降低发送给该用户任务的频率，当刷分情况严重到指定程度(比如连续5天都存在刷分情况)后，禁封该人的任务账号等。可以进一步地防止众包平台的刷分情况。
参照图7，本实施例中，上述执行动作单元30，包括：
查找子模块3101，用于根据所述众包账户的所属地理区域，查找与所述所属地理区域对应的第一测试任务库；
调取子模块3102，用于在所述第一测试任务库中调取测试任务继续发送给所述众包账户；
判断子模块3103，用于判断所述第一测试任务库中的测试任务是否全部被使用过一次；
替换子模块3104、，用于若所述第一测试任务库中的测试任务全部被使用过一次，则与其它所属地理区域对应的第二测试任务库进行互相替换。
上述测试任务库包括多个，每个测试任务库中设置不同的测试任务，每个测试任务库对应一个地理区域进行发放，比如，A测试任务库中的测试任务只针对广州地区的众包账户发放；当A测试任务库中的测试任务全部被使用一遍之后，与其它区域对应的测试任务库进行替换，如广州的A测试任务库与湖南的B测试任务库进行替换，减少同一测试任务在同一区域内的多次出现，如果同一题被同一人回答两次，则会引起用户的注意，进而知道是测试任务而认真对待，对于其它题则继续刷分。
本实施例中，众包平台的作业装置还包括第三记录单元，用于记录发送给每一个众包账户的测试任务编号，以防止同样的测试任务发送给同一个众包账户多次。具体的，每一道测任务设置一个编号，记录每一个众包账户回答过的每一道测试任务的编号，如果需要发送测试任务给众包账户题时，则获取该众包账户已经测试过的测试任务编号，然后选择与其不同编号的测试任务发送给用户进行测试。
本实施例中，众包平台的作业装置还包括发送收集单元，用于在连续多天，在每一天的不同时间给全部的参与答题的众包账户发送测试任务，然后收集答题情况，分析不同地域的人的答题情况，进而了解不同区域的人的心理状态，从而确定不同区域的众包任务的发送时段。比如，广州地区的用户，每天早晨9点答题最好，下午3点存在严重刷分情况，则在之后的发送任务过程中，广州地区在早上9点左右时，提高发送任务的频率，而在下午3点左右的时候降低发送任务的频率等。
本本实施例中，还可以对各个众包账户进行长期的监控，针对不同地区在不同季节众包账户的答题情况，进行适当的发送众包任务，比如，广州地区的众包账户在夏天时存在刷分行为严重，那么在夏天时降低给该地区的众包任账户发送众包任务的频率，而在冬天时的答题效率更高，则在冬天提高该地区的众包任务发送频率等。
本实施例中，众包平台的作业装置还包括短文单元，用于在众包任务之间穿插发送指定内容的短文。即在发送众包任务的过程中，在众包任务之间穿插发送短文，该短文可以是笑话短文、心灵鸡汤短文等供用户缓解疲劳。进一步地，众包平台的作业装置还包括监控单元，用于在笑话或心灵鸡汤等短文界面会设置相应的下一题或退出阅读等按钮，记录用户接收到笑话短文、心灵鸡汤短文等短文后，触发答题(点击下一题或退出阅读等按钮)的时间长度，进而判断出用户的阅读喜好，比如，用户遇到冷笑话短文即会快速点击下“退出阅读”等，那么一段时间的分析后，即不会再发送冷笑话给该用户。
本发明实施例的众包平台的作业装置，因为测试任务和常规的众包任务的模式相同，所以众包账户的作业人员不会知道众包平台发送的任务中，哪一个是测试任务，哪一个是众包任务，因此，众包平台能无感知地测试作业人员是否进行刷分等行为，并通过此方法持续让用户处于认真做题的状态之中，使众包平台能够最大程度地获取有价值的任务答案.
参照图8，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储测试任务等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种众包平台的作业方法。
上述处理器执行上述众包平台的作业方法的步骤：按照预设的发送规则发送测试任务给众包账户；其中，所述测试任务在所述众包账户显示的答案是错误答案，所述测试任务与常规的众包任务的模式相同；接收所述众包账户针对所述测试任务的反馈信息，并将所述反馈信息与预设的正确答案进行比对，判断众包账户的回答是否正确；若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户。
上述众包平台的作业方法，因为测试任务和常规的众包任务的模式相同，所以众包账户的作业人员不会知道众包平台发送的任务中，哪一个是测试任务，哪一个是众包任务，因此，众包平台能无感知地测试作业人员是否进行刷分等行为，并通过此方法持续让用户处于认真做题的状态之中，使众包平台能够最大程度地获取有价值的任务答案。
在一个实施例中，上述预设的发送规则，包括：每发送指定数量的众包任务后，发送一道测试任务；或者，按照众包任务的总数量，设置对应数量的测试任务，并且随机分布地发送所述测试任务；或者；按照众包任务的总数量，设置对应数量的测试任务，并在发送众包任务的开始阶段，相对密集地随机发送所述测试任务。
在一个实施例中，上述根据比对结果以及预设的作业规则，执行相应的动作的步骤之后，包括：记录第一指定时间长度内，所述众包账户回答错误的累计答错数和/或连续答错数；根据所述累计答错数和/或连续答错数，对所述众包账户进行惩罚。
在一个实施例中，上述记录第一指定时间长度内所述众包账户回答错误的累计答错数和/或连续答错数的步骤之后，包括：记录第二指定时间长度内，所述众包账户任务作业情况；其中，所述第二指定时间长度大于所述第一指定时间长度，并且所述第二指定时间长度是所述第一指定时间长度的正整数倍，所述作业情况包括所述众包账户在多个所述第一时间长度内的累计答错数和/或连续答错数；根据所述众包账户任务作业情况，控制发送给所述众包账户的发送频率。
在一个实施例中，上述在测试任务库中调取其它测试任务继续发送给所述众包账户的步骤，包括：根据所述众包账户的所属地理区域，查找与所述所属地理区域对应的第一测试任务库；在所述第一测试任务库中调取测试任务继续发送给所述众包账户。
在一个实施例中，上述在所述第一测试任务库中调取测试任务继续发送给所述众包账户的步骤之后，包括：判断所述第一测试任务库中的测试任务是否全部被使用过一次；若是，则与其它所属地理区域对应的第二测试任务库进行互相替换。
在一实施例中，上述众包平台的作业方法还包括：在众包任务之间穿插发送指定内容的短文。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现众包平台的作业方法，具体为：按照预设的发送规则发送测试任务给众包账户；其中，所述测试任务在所述众包账户显示的答案是错误答案，所述测试任务与常规的众包任务的模式相同；接收所述众包账户针对所述测试任务的反馈信息，并将所述反馈信息与预设的正确答案进行比对，判断众包账户的回答是否正确；若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户。
上述计算机程序被处理器执行时实现众包平台的作业方法，因为测试任务和常规的众包任务的模式相同，所以众包账户的作业人员不会知道众包平台发送的任务中，哪一个是测试任务，哪一个是众包任务，因此，众包平台能无感知地测试作业人员是否进行刷分等行为，并通过此方法持续让用户处于认真做题的状态之中，使众包平台能够最大程度地获取有价值的任务答案。
在一个实施例中，上述处理器执行的预设的发送规则，包括：每发送指定数量的众包任务后，发送一道测试任务；或者，按照众包任务的总数量，设置对应数量的测试任务，并且随机分布地发送所述测试任务；或者；按照众包任务的总数量，设置对应数量的测试任务，并在发送众包任务的开始阶段，相对密集地随机发送所述测试任务。
在一个实施例中，上述处理器根据比对结果以及预设的作业规则，执行相应的动作的步骤之后，包括：记录第一指定时间长度内，所述众包账户回答错误的累计答错数和/或连续答错数；根据所述累计答错数和/或连续答错数，对所述众包账户进行惩罚。
在一个实施例中，上述处理器记录第一指定时间长度内所述众包账户回答错误的累计答错数和/或连续答错数的步骤之后，包括：记录第二指定时间长度内，所述众包账户任务作业情况；其中，所述第二指定时间长度大于所述第一指定时间长度，并且所述第二指定时间长度是所述第一指定时间长度的正整数倍，所述作业情况包括所述众包账户在多个所述第一时间长度内的累计答错数和/或连续答错数；根据所述众包账户任务作业情况，控制发送给所述众包账户的发送频率。
在一个实施例中，上述处理器在测试任务库中调取其它测试任务继续发送给所述众包账户的步骤，包括：根据所述众包账户的所属地理区域，查找与所述所属地理区域对应的第一测试任务库；在所述第一测试任务库中调取测试任务继续发送给所述众包账户。
在一个实施例中，上述处理器在所述第一测试任务库中调取测试任务继续发送给所述众包账户的步骤之后，包括：判断所述第一测试任务库中的测试任务是否全部被使用过一次；若是，则与其它所属地理区域对应的第二测试任务库进行互相替换。
在一个实施例中，上述处理器还会在众包任务之间穿插发送指定内容的短文。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种众包平台的作业方法，其特征在于，包括：
按照预设的发送规则发送测试任务给众包账户；其中，所述测试任务在所述众包账户显示的答案是错误答案，所述测试任务与常规的众包任务的模式相同；
接收所述众包账户针对所述测试任务的反馈信息，并将所述反馈信息与预设的正确答案进行比对，判断众包账户的回答是否正确；
若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户。
2.根据权利要求1所述的众包平台的作业方法，其特征在于，所述预设的发送规则，包括：
每发送指定数量的众包任务后，发送一道测试任务；或者，
按照众包任务的总数量，设置对应数量的测试任务，并且随机分布地发送所述测试任务；或者；
按照众包任务的总数量，设置对应数量的测试任务，并在发送众包任务的开始阶段，相对密集地随机发送所述测试任务。
3.根据权利要求1所述的众包平台的作业方法，其特征在于，所述若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户的步骤之后，包括：
记录第一指定时间长度内，所述众包账户回答错误的累计答错数和/或连续答错数；
根据所述累计答错数和/或连续答错数，对所述众包账户进行惩罚。
4.根据权利要求3所述的众包平台的作业方法，其特征在于，所述记录第一指定时间长度内所述众包账户回答错误的累计答错数和/或连续答错数的步骤之后，包括：
记录第二指定时间长度内，所述众包账户任务作业情况；其中，所述第二指定时间长度大于所述第一指定时间长度，并且所述第二指定时间长度是所述第一指定时间长度的正整数倍，所述作业情况包括所述众包账户在多个所述第一时间长度内的累计答错数和/或连续答错数；
根据所述众包账户任务作业情况，控制发送给所述众包账户的发送频率。
5.根据权利要求1所述的众包平台的作业方法，其特征在于，所述在测试任务库中调取其它测试任务继续发送给所述众包账户的步骤，包括：
根据所述众包账户的所属地理区域，查找与所述所属地理区域对应的第一测试任务库；
在所述第一测试任务库中调取测试任务继续发送给所述众包账户。
6.根据权利要求5所述的众包平台的作业方法，其特征在于，所述在所述第一测试任务库中调取测试任务继续发送给所述众包账户的步骤之后，包括：
判断所述第一测试任务库中的测试任务是否全部被使用过一次；
若是，则与其它所属地理区域对应的第二测试任务库进行互相替换。
7.根据权利要求1所述的众包平台的作业方法，其特征在于，所述方法还包括：
在众包任务之间穿插发送指定内容的短文。
8.一种众包平台的作业装置，其特征在于，包括：
发送测试单元，用于按照预设的发送规则发送测试任务给众包账户；其中，所述测试任务在所述众包账户显示的答案是错误答案，所述测试任务与常规的众包任务的模式相同；
接收比对单元，用于接收所述众包账户针对所述测试任务的反馈信息，并将所述反馈信息与预设的正确答案进行比对，判断众包账户的回答是否正确；
执行动作单元，用于若所述众包账户的回答错误，则在测试任务库中调取其它测试任务继续发送给所述众包账户，直到所述众包账户回答正确，然后发送众包任务给所述众包账户；其中，当众包账户连续回答错误指定次数，则暂停发送众包任务和测试任务给所述众包账户。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201810343877.9A 2018-04-17 2018-04-17 众包平台的作业方法、装置、计算机设备和存储介质 Withdrawn CN108734196A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810343877.9A CN108734196A (zh) 2018-04-17 2018-04-17 众包平台的作业方法、装置、计算机设备和存储介质
PCT/CN2018/095318 WO2019200736A1 (zh) 2018-04-17 2018-07-11 众包平台的作业方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810343877.9A CN108734196A (zh) 2018-04-17 2018-04-17 众包平台的作业方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN108734196A true CN108734196A (zh) 2018-11-02

Family

ID=63938988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810343877.9A Withdrawn CN108734196A (zh) 2018-04-17 2018-04-17 众包平台的作业方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN108734196A (zh)
WO (1) WO2019200736A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582581A (zh) * 2018-11-30 2019-04-05 平安科技（深圳）有限公司 一种基于众包任务的结果确定方法及相关设备
CN111291376A (zh) * 2018-12-08 2020-06-16 南京慕测信息科技有限公司 一种基于众包和机器学习的web漏洞验证方法
CN111339231A (zh) * 2020-02-25 2020-06-26 合肥四维图新科技有限公司 众包更新结果的处理方法及装置
CN113032426A (zh) * 2021-04-08 2021-06-25 平安科技（深圳）有限公司 识别结果的智能校对方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598286B (zh) * 2020-12-23 2024-11-08 北京百舸飞驰科技有限公司 一种众包用户作弊行为检测方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150356488A1 (en) * 2014-06-09 2015-12-10 Microsoft Corporation Evaluating Workers in a Crowdsourcing Environment
CN104599084B (zh) * 2015-02-12 2017-11-03 北京航空航天大学 一种群体计算的质量控制方法及装置
CN105184653A (zh) * 2015-09-08 2015-12-23 苏州大学 一种面向社交网络的基于信任的众包工人筛选方法
CN107871196A (zh) * 2016-09-28 2018-04-03 郑州大学 一种基于滑动任务窗的众包质量评估方法
CN107239689B (zh) * 2017-05-11 2020-05-19 深圳市华傲数据技术有限公司 一种基于众包的验证信息的识别方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582581A (zh) * 2018-11-30 2019-04-05 平安科技（深圳）有限公司 一种基于众包任务的结果确定方法及相关设备
CN109582581B (zh) * 2018-11-30 2023-08-25 平安科技（深圳）有限公司 一种基于众包任务的结果确定方法及相关设备
CN111291376A (zh) * 2018-12-08 2020-06-16 南京慕测信息科技有限公司 一种基于众包和机器学习的web漏洞验证方法
CN111339231A (zh) * 2020-02-25 2020-06-26 合肥四维图新科技有限公司 众包更新结果的处理方法及装置
CN111339231B (zh) * 2020-02-25 2024-04-09 合肥四维图新科技有限公司 众包更新结果的处理方法及装置
CN113032426A (zh) * 2021-04-08 2021-06-25 平安科技（深圳）有限公司 识别结果的智能校对方法、装置、设备及存储介质
WO2022213466A1 (zh) * 2021-04-08 2022-10-13 平安科技（深圳）有限公司 识别结果的智能校对方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2019200736A1 (zh) 2019-10-24

Similar Documents

Publication Publication Date Title
CN108734196A (zh) 众包平台的作业方法、装置、计算机设备和存储介质
Kardan et al. Providing adaptive support in an interactive simulation for learning: An experimental evaluation
EP1701301A1 (en) Performance analysis and assessment tool and method
Bratthall et al. Can you trust a single data source exploratory software engineering case study?
US20150310456A1 (en) Educational Survey System
CN110490651A (zh) 信息推送方法、装置、设备及计算机可读存储介质
Abimaulana et al. Evaluation of scrum-based software development process maturity using the smm and amm: A case of education technology startup
CN110310407A (zh) 基于用户行为监控的防刷票方法及装置
CN110502675B (zh) 基于数据分析的语音拨叫用户分类方法及相关设备
Nick et al. Facilitating the practical evaluation of organizational memories using the goal-question-metric technique
CN117786408A (zh) 大语言模型的训练方法、装置、电子设备和存储介质
CN112219215A (zh) 行动改善系统以及行动改善方法
Tako Model development in discrete-event simulation: Insights from six expert modelers
Parson et al. Mining Student Time Management Patterns in Programming Projects
CN110400030A (zh) 一种处理动态问题能力的测评方法及系统、存储介质
Holsapple et al. Process factors in knowledge acquisition
CN116975395B (zh) 错误反馈数据的处理方法、装置、设备以及介质
JP2003308000A (ja) 研修コースデザイン方法、研修方法、学習効果確認方法及びプログラム
Ismail Measuring Success of water Reservoir project by using Delphi and Priority evaluation method
CN110807179A (zh) 一种用户识别方法、装置、服务器及存储介质
CN111026537B (zh) 一种会话调度方法、装置、计算机设备及存储介质
CN113435798B (zh) 执法培训方法、设备及可读存储介质
Kasunic An Integrated View of Process and Measurement
KR102006086B1 (ko) 사용성 확보를 위한 후속작업 시뮬레이션 방법 및 장치
Preusse et al. Error interpretation during everyday automation use

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181102

WW01 Invention patent application withdrawn after publication