CN109582581A - 一种基于众包任务的结果确定方法及相关设备 - Google Patents

一种基于众包任务的结果确定方法及相关设备 Download PDF

Info

Publication number
CN109582581A
CN109582581A CN201811464838.0A CN201811464838A CN109582581A CN 109582581 A CN109582581 A CN 109582581A CN 201811464838 A CN201811464838 A CN 201811464838A CN 109582581 A CN109582581 A CN 109582581A
Authority
CN
China
Prior art keywords
user
answer
task
target
crowdsourcing task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811464838.0A
Other languages
English (en)
Other versions
CN109582581B (zh
Inventor
黄夕桐
李佳琳
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201811464838.0A priority Critical patent/CN109582581B/zh
Publication of CN109582581A publication Critical patent/CN109582581A/zh
Application granted granted Critical
Publication of CN109582581B publication Critical patent/CN109582581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了一种基于众包任务的结果确定方法及相关设备,应用于众包技术领域,所述方法包括:根据N个用户中每个用户针对目标众包任务输入答案所对应操作行为的行为信息,确定出用户针对目标众包任务进行校验所得到的N个答案中每个答案的种类,并确定出每种答案的数量;根据每种答案对应的可信度加权系数和每种答案的数量确定出每种答案的校验分值,从每种答案对应的校验分值中确定出最大校验分值,若比较得到最大校验分值大于所述预设校验阈值,则将最大校验分值对应的答案确定为目标众包任务的任务结果。采用本申请,可结合用户输入答案对应的行为信息,确定众包任务结果,有利于提高众包任务结果的准确性。

Description

一种基于众包任务的结果确定方法及相关设备
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于众包任务的结果确定方法及相关设备。
背景技术
众包任务是指一个公司或者机构把过去由员工执行的工作任务,以自由自愿的形式外包给非特定的(而且通常是大型的)大众网络的做法。众包平台上的员工分为两类:在平台上发布任务的人员称为任务发布者,完成任务的人员称为用户。任务发布者在平台上发布任务,用户通过完成任务获得一定的报酬。
众包任务的工作方式可以帮助任务发布者获得大量自由的用户,通过利用这些用户的智慧解决实际问题。然而,由于用户和任务发布者具有自私特性并且致力于获得自身效益的最大化,这样的情况导致用户所提交的结果中包含大量随意甚至虚假的答案。因此,如何从用户提交的大量任务结果中,选择出准确度较高的结果,成为一个亟待解决的问题。
发明内容
本申请实施例提供了一种基于众包任务的结果确定方法及相关设备,可结合用户输入答案对应的行为信息,确定众包任务结果,有利于提高众包任务结果的准确性。
第一方面,本申请实施例提供了一种基于众包任务的结果确定方法,所述方法应用于服务器,其特征在于,该方法包括:
从客户端获取N个用户中每个用户针对目标众包任务进行校验的校验信息,所述校验信息包括每个用户针对所述目标众包任务输入的答案,以及每个用户输入所述答案所对应的操作行为的行为信息,所述N为预先配置的大于或者等于1的整数;
根据每个用户输入所述答案所对应的操作行为的所述行为信息,确定出所述N个用户针对所述目标众包任务进行校验所得到的N个所述答案中每个所述答案的种类,并确定出每种种类的所述答案的数量;
获取为每种种类的所述答案预先配置的可信度加权系数,并根据所述可信度加权系数和所述每种种类的所述答案的数量确定出每种种类的所述答案所对应的校验分值;
从所述每种种类的所述答案对应的所述校验分值中确定出最大校验分值,并将所述最大校验分值与预设校验阈值比较;
若比较得到所述最大校验分值大于所述预设校验阈值,则检测所述最大校验分值的数量是否为一个;
若检测得到所述最大校验分值的数量为一个,则将所述最大校验分值对应的答案确定为所述目标众包任务的任务结果。
在一个实施例中,检测所述最大校验分值的数量是否为一个之后,若检测得到所述最大校验分值的数量为多个,则确定所述多个最大校验分值中每个最大校验分值对应答案的数量;比较所述每个最大校验分值所对应答案的数量,将所述多个最大校验分值对应答案中数量最多的答案确定为所述目标众包任务的任务结果。
一个实施例中,从客户端获取N个用户中每个用户针对目标众包任务进行校验的校验信息之前,还可以向客户端发送将目标众包任务分配给N个用户进行校验的指示信息,所述指示信息用于指示所述客户端将所述目标众包任务分配给N个用户进行所述校验信息的采集。
一个实施例中,将所述最大校验分值对应的答案确定为所述目标众包任务的任务结果之后,还可以将所述最大校验分值对应的答案确定为目标答案,并将所述目标答案对应用户的信用分值增加预设奖励阈值;当检测到所述用户的信用分值大于或者等于预设信用阈值时,将所述用户确定为可信用户;对所述可信用户的用户信息添加可信标签,并将添加所述可信标签的用户信息发送至所述客户端,以便于所述客户端根据所述可信标签将所述目标众包任务分配给所述可信用户进行校验。
第二方面,本申请实施例提供了另一种基于众包任务的结果确定方法,所述方法应用于客户端,其特征在于,该方法包括:
当接收到用户针对目标众包任务输入触发校验的触发操作时,在显示界面展示针对所述目标众包任务的校验页面,所述校验页面包括所述目标众包任务对应的测试图片和识别所述测试图片内容所得到的识别信息;
接收用户校验所述测试图片和所述识别信息后针对所述目标众包任务所输入的答案,并记录所述用户输入所述答案所对应的操作行为的行为信息;
生成包括所述答案和所述行为信息的所述用户针对所述目标众包任务进行校验的校验信息,并将所述校验信息发送至服务器,以便于所述服务器获取到所述校验信息后,根据所述校验信息确定针对所述目标众包任务的任务结果。
在一个实施例中,所述客户端安装有指定应用,还可以接收所述服务器发送的将目标众包任务分配给N个用户进行校验的指示信息,所述指示信息用于指示将所述目标众包任务分配给N个用户进行校验信息的采集,所述校验信息包括每个用户针对所述目标众包任务输入的答案,以及每个用户输入所述答案所对应的操作行为,所述N为预先配置的大于或者等于1的整数;获取所述指定应用对应的所有在线用户中N个用户的用户账号,将所述目标众包任务分配至所述N个用户的用户账号中,以便于所述N个用户针对所述目标众包任务输入触发校验的触发操作。
第三方面,本申请实施例提供了一种基于众包任务的结果确定装置,该装置配置于服务器,该基于众包任务的结果确定装置包括用于执行上述第一方面的方法的单元。
第四方面,本申请实施例提供了另一种基于众包任务的结果确定装置,该装置配置于客户端,该基于众包任务的结果确定装置包括用于执行上述第二方面的方法的单元。
第五方面,本申请实施例提供了一种服务器,该服务器包括处理器、网络接口和存储器,所述处理器、网络接口和存储器相互连接,其中,所述网络接口受所述处理器的控制用于收发消息,所述存储器用于存储支持服务器执行上述方法的计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面的方法。
第六方面,本申请实施例提供了一种客户端,该客户端包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储支持服务器执行上述方法的计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第二方面的方法。
第七方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第八方面,本申请实施例提供了另一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第二方面的方法。
本申请实施例中,服务器可以从客户端获取N个用户中每个用户针对目标众包任务进行校验的校验信息,该校验信息包括每个用户针对目标众包任务输入的答案,以及每个用户输入答案所对应的操作行为的行为信息。进一步地,服务器可以根据每个用户输入答案所对应的操作行为的行为信息,确定出N个用户针对目标众包任务进行校验所得到的N答案中每个答案的种类,并确定出每种种类的答案的数量。进一步地,服务器可以获取为每种种类的答案预先配置的可信度加权系数,并根据可信度加权系数和每种种类的答案的数量分别确定出每种种类的答案所对应的校验分值,并从每种种类的答案对应的校验分值中确定出最大校验分值,并将最大校验分值与预设校验阈值比较,若比较得到最大校验分值大于预设校验阈值,则检测最大校验分值的数量是否为一个,若检测得到最大校验分值的数量为一个,则将大校验分值对应的答案确定为目标众包任务的任务结果。采用本申请,可以结合用户针对众包任务输入的答案的行为信息,确定众包任务的任务结果,有利于提高任务结果的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于众包任务的结果确定系统的结构示意图;
图2是本申请实施例提供的一种基于众包任务的结果确定方法的流程示意图;
图3是本申请实施例提供的另一种基于众包任务的结果确定方法的流程示意图;
图4是本申请实施例提供的又一种基于众包任务的结果确定方法的交互示意图;
图5是本申请实施例提供的一种基于众包任务的结果确定装置的示意性框图;
图6是本申请实施例提供的一种服务器的示意性框图;
图7是本申请实施例提供的另一种基于众包任务的结果确定装置的示意性框图;
图8是本申请实施例提供的一种客户端的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,是本申请实施例可应用的一种基于众包任务的结果确定系统的结构示意图。如图1所示,该基于众包任务的结果确定系统可包括服务器101和客户端102。其中,该服务器101可以是众包任务平台对应的服务器,可以用于提供众包任务的相关服务。该客户端102可以为一种指定应用(该指定应用如众包任务平台本身),还可以是安装有指定应用的终端设备,可以用于提供众包任务发布以及众包任务答案回收的相关服务。其中,上述服务器101和客户端102之间可以进行数据交互。
在一个实施例中,服务器101可以向客户端102发送将目标众包任务分配给N个用户进行校验的指示信息,该指示信息用于指示客户端将目标众包任务分配给N个用户进行校验信息的采集,该校验信息包括N个用户中每个用户针对目标众包任务所输入的答案,以及每个用户输入答案所对应的操作行为的行为信息,该N为预先配置的大于或者等于1的整数。进一步地,客户端102接收到该指示信息后,可以从所有用户中获取N个用户的用户信息,并基于N个用户的用户信息将目标众包任务分配至该N个用户,用户查看该目标众包任务后,可以针对目标众包任务输入触发校验的触发操作。当客户端102接收到用户针对目标众包任务输入的该触发操作时,可以在显示界面展示针对目标众包任务的校验页面,该校验页面包括目标众包任务对应的测试图片和识别测试图片内容所得到的识别信息。客户端102可以接收用户校验测试图片和识别信息后针对目标众包任务所输入的答案,并记录用户输入该答案所对应的操作行为的行为信息,生成该用户针对目标众包任务进行校验得到的包括上述答案和上述行为信息的校验信息,并将该校验信息发送至服务器101。当服务器101接收到N个用户针对目标众包任务进行校验得到的N个校验信息后,可以根据每个用户输入答案所对应的操作行为的行为信息,确定出N个用户针对目标众包任务进行校验所得到的N个答案中每个答案的种类,并确定出每种种类的答案的数量。进一步地,服务器101可以获取为每种种类的答案预先配置的可信度加权系数,并根据每种种类的答案对应的可信度加权系数和每种种类的答案的数量分别确定出每种种类的答案所对应的校验分值,并从每种种类的答案对应的校验分值中确定出最大校验分值,并将最大校验分值与预设校验阈值比较,若比较得到最大校验分值大于预设校验阈值,则检测最大校验分值的数量是否为一个,若检测得到该最大校验分值的数量为一个,则将该最大校验分值对应的答案确定为上述目标众包任务的任务结果。采用本申请,可以结合用户的行为信息,确定目标众包任务的任务结果,有利于提高任务结果的准确性。
参见图2,图2是本申请实施例提供的一种基于众包任务的结果确定方法的流程示意图,该方法可以由服务器执行,如图所示,该基于众包任务的结果确定方法可包括:
201:从客户端获取N个用户中每个用户针对目标众包任务进行校验的校验信息,该校验信息包括每个用户针对目标众包任务输入的答案,以及每个用户输入该答案所对应的操作行为的行为信息。其中,该N为预先配置的大于或者等于1的整数。
其中,上述目标众包任务可以为设计图形任务、征集营销方案任务、图像标记任务以及数据采集任务等,本发明对此不作具体限定。针对不同的目标众包任务,上述输入答案所对应的操作行为也不同。例如,若目标众包任务为答题类型的任务,那么该输入答案所对应的操作行为则可以为用户的答题行为;若目标众包任务为图像设计的任务,那么该输入答案所对应的操作行为则可以为用户图像设计时的相关操作。
与之相似的,本申请所描述的答案不仅可以指文字,还可以指图像、数据信息等。例如,若目标众包任务为图像设计的任务,那么每个用户针对该目标众包任务输入的答案则可以为用户设计的图像;又例如,若目标众包任务为测试题目,那么每个用户针对该目标众包任务输入的答案则可以为用户针对该测试题目所提交的内容。
在一个实施例中,服务器执行步骤201之前,可以向客户端发送将目标众包任务分配给N个用户进行校验的指示信息,该指示信息用于指示客户端将目标众包任务分配给N个用户进行校验信息的采集。进一步地,客户端接收到服务器发送的将目标众包任务分配给N个用户进行校验的指示信息后,可以从所客户端对应的所有用户中获取N个用户的用户信息,并基于N个用户的用户信息将目标众包任务分配至所述N个用户,并采集N个用户中每个用户针对目标众包任务进行校验的校验信息,进而将校验信息发送至服务器。
具体实现中,服务器可以通过客户端向N个用户分配该目标众包任务,当该N个用户中的每个用户想要执行目标众包任务时,可以针对目标众包任务输入触发校验的触发操作。进一步地,客户端接收到该触发操作时,可以在显示界面展示针对目标众包任务的校验页面,该校验页面包括目标众包任务对应的测试图片和识别该测试图片内容所得到的识别信息。进一步地,客户端可以接收用户校验该测试图片和识别信息后针对目标众包任务所输入的答案,并记录用户输入该答案所对应操作行为的行为信息,并生成该用户针对目标众包任务进行校验得到的包括该答案和该行为信息的校验信息,并将校验信息发送至服务器。进一步地,服务器可以获取上述N个用户中每个用户通过上述方式发送的上述校验信息。
其中,该触发校验的校验操作的输入方式例如可以为点击操作、滑动操作、按压操作、语音操作等等。
202:根据每个用户输入答案所对应的操作行为的上述行为信息,确定出N个用户针对目标众包任务进行校验所得到的N个答案中每个答案的种类,并确定出每种种类的答案的数量。
在一个实施例中,针对目标众包任务可以预先设置用户输入答案时所对应的多种操作行为的行为信息,每一个行为信息指示了用户输入答案时所对应的一种操作行为。进一步地,可以预先建立用户输入针对目标众包任务答案时的操作行为与答案种类的对应关系,例如,答案种类A1对应操作行为R1,答案种类对应操作行为R2。
示例性地,若目标众包任务为答题类型的任务,该目标众包任务包括多个子任务,每个子任务对应一张测试图片,以及自动识别该测试图片得到的识别信息。当用户查看任一子任务时,客户端可以向用户展示该子任务对应的校验页面,该校验页面中包括该任一子任务对应的测试图片、显示有上述识别信息的答案输入框、用于打开下一测试图片的“下一张”功能按钮、提交答案的功能按钮、以及各种答案选项按钮(如:“图片异常”选项、“图片模糊”选项)、“信息不全”选项、“题型错误”选项等)。这种情况,该用户输入针对目标众包任务答案时的操作行为与答案种类的对应关系,可以如表1-1所示。
表1-1
203:获取为每种种类的答案预先配置的可信度加权系数,并根据该可信度加权系数和每种种类的答案的数量分别确定出每种种类的答案所对应的校验分值。其中,该可信度加权系数可以为每种种类答案对应的可信度加权系数,每种种类答案对应的可信度加权系数可以不同也可以相同。
在一个实施例中,开发人员可以根据每种种类的答案预先配置可信度加权系数。当服务器执行步骤202后可以将每种答案的可信度加权系数和每种答案的数量相乘计算,进而得到每种答案的校验分值。
示例性地,针对目标众包任务所输入的答案的种类包括A1、A2、A3、A4和A5,每种种类的答案分别对应的可信度加权系数为P1、P2、P3、P4和P5,确定出每种种类的答案的数量分别为:a个A1,b个A2,c个A3,d个A4及e个A5,其中a+b+c+d+e=N。此时,可以得到每种种类的答案的校验分值,如表1-3所示。
表1-3
在一个实施例中,开发人员在配置每种种类的答案的可信度加权系数时,可以根据每种答案对应的上述行为信息所指示的用户操作行为进行设置。示例性地,如表1-2所示,针对目标众包任务的答案种类包括:A1、A2、A3、A4和A5,每种种类的答案分别对应的可信度加权系数为P1、P2、P3、P4和P5。
表1-2
其中,在序号1的情况下,可以认为用户可能存在刷题行为,即在未进行认真校验的情况下直接点击“下一张”进行提交,可信度最低。在序号2的情况下,用户主动修改答案的行为较不可能是刷题行为,可信度最高。在序号3、4、5情况下,在用户选择图片异常时,提交的“图片模糊”、“信息不全”及“题型错误”选项均不计分,故此三种情况下用户刷题概率较低。其中“图片模糊”适用性最为广泛,判断标准也因人而异,可能会影响答案的准确性,可信度是三者中最低;而“题型错误”判断标准明确,与3、4类答案相比,用户判断错误的可能性较低,故可信度三者中最高。
综上,开发人员在配置每种种类答案对应的可信度加权系数时,可设置P1<P3<P4<P5<P2。可以理解的是,上述P1、P2、P3、P4、P5可信度加权系数的排序,可以针对不同场景进行调整,此处仅是举例,并不作具体限制。
204:从每种种类的答案对应的校验分值中确定出最大校验分值,并将最大校验分值与预设校验阈值比较。其中,该预设校验阈值可以根据校验准确性要求进行设定。若对校验准确性要求比较高(即对目标众包任务的任务结果的准确性要求比较高),则该预设校验阈值则较大;若对校验准确性要求比较低,则该预设校验阈值则较小。
205:若比较得到该最大校验分值大于预设校验阈值,则检测最大校验分值的数量是否为一个。
206:若检测得到最大校验分值的数量为一个,则将最大校验分值对应的答案确定为目标众包任务的任务结果。
示例性地,每种种类的答案的校验分值如表1-3所示,通过比较各校验分值的大小,确定出最大校验分值为a*P1,且该最大校验分值为唯一的。这种情况下,则可以将最大校验分值a*P1对应的答案确定为目标众包任务的任务结果。
在一个实施例中,若检测得到上述最大校验分值的数量为多个,则可以确定多个最大校验分值中每个最大校验分值各自所对应答案的数量,并比较每个最大校验分值各自所对应答案的数量,进而将多个最大校验分值对应答案中数量最多的答案确定为目标众包任务的任务结果。
示例性地,所有最大校验分值存在多个,分别为M1、M2和M3,该M1、M2和M3三者之间数值相同,其中,M1对应的答案种类为A3,M2对应的答案种类为A5;M3对应答案种类为A2,步骤203中确定出答案种类A3的答案数量c为200,答案种类A5的答案数量e为50,答案种类A2的答案数量b为10。这种情况下,通过比较c、e、b的数量,确定出答案种类A3的答案数量c最大,则可以将答案种类A3的答案确定为目标众包任务的任务结果。
在一个实施例中,将最大校验分值对应的答案确定为目标众包任务的任务结果之后,服务器还可以将最大校验分值对应的答案确定为目标答案,并将目标答案对应用户的信用分值增加预设奖励阈值,当检测到该用户的信用分值大于或者等于预设信用阈值时,将该用户确定为可信用户,对可信用户的用户信息添加可信标签,并将添加可信标签的用户信息发送至客户端,以便于客户端根据可信标签将目标众包任务分配给可信用户进行校验。
本申请实施例中,服务器可以从客户端获取N个用户中每个用户针对目标众包任务进行校验的校验信息,该校验信息包括每个用户针对目标众包任务输入的答案,以及每个用户输入答案所对应的操作行为的行为信息。进一步地,服务器可以根据每个用户输入答案所对应的操作行为的行为信息,确定出N个用户针对目标众包任务进行校验所得到的N答案中每个答案的种类,并确定出每种种类的答案的数量。进一步地,服务器可以获取为每种种类的答案预先配置的可信度加权系数,并根据可信度加权系数和每种种类的答案的数量分别确定出每种种类的答案所对应的校验分值,并从每种种类的答案对应的校验分值中确定出最大校验分值,并将最大校验分值与预设校验阈值比较,若比较得到最大校验分值大于预设校验阈值,则检测最大校验分值的数量是否为一个,若检测得到最大校验分值的数量为一个,则将大校验分值对应的答案确定为目标众包任务的任务结果。采用本申请,有利于提高任务结果的准确性。
参见图3,图3是本申请实施例提供的另一种基于众包任务的结果确定方法的流程示意图,该方法由客户端执行,如图所示,该基于众包任务的结果确定方法可包括:
301、当接收到用户针对目标众包任务输入触发校验的触发操作时,在显示界面展示针对目标众包任务的校验页面,该校验页面包括目标众包任务对应的测试图片和识别测试图片内容所得到的识别信息。
302、接收用户校验测试图片和上述识别信息后针对目标众包任务所输入的答案,并记录用户输入该答案所对应的操作行为的行为信息。
在一个实施例中,客户端可以接收服务器发送的将目标众包任务分配给N个用户进行校验的指示信息,该指示信息用于指示将目标众包任务分配给N个用户进行校验信息的采集,该N为大于或者等于1的整数。进一步地,客户端可以根据该指示信息,从客户端对应的所有用户中获取N个用户的用户信息,并基于N个用户的用户信息将目标众包任务分配至N个用户,以便于N个用户接收到所述目标众包任务后,针对目标众包任务输入触发校验的触发操作。其中,该触发校验的校验操作的输入方式例如可以为点击操作、滑动操作、按压操作、语音操作等等。其中,上述用户信息可以为用户账号信息,或者用户身份信息、或者用户的通讯信息(如电话号码、邮箱地址等。)
在一个实施例中,客户端可以接收服务器发送的添加可信标签的用户信息,并将该添加可信标签的用户信息(以下简称可信用户的用户信息)存储至存储装置中。当客户端接收到服务器发送的将目标众包任务分配给N个用户进行校验的指示信息时,可以从客户端对应的所有用户中获取N个可信用户的用户信息,进而根据N个可信用户的用户信息,将目标众包任务分配至N个可信用户。
其中,该客户端可以是众包平台对应的应用,可以提供众包任务的相关服务,如众包任务的发布。在一个实例中,该用户信息包括用户账号,客户端接收到用于指示将目标众包任务分配给N个用户进行校验信息的采集的指示信息后,可以在预先存储的所有用户的用户账号中,选取出N个用户的N个用户账号,其中,一个用户对应一个账号。进一步地,客户端可以基于获取到的N个用户账号将目标众包任务分配给该N个用户账号对应的N个用户(以下简称分配用户),当N个分配用户基于自身的用户账号登录客户端时,则可以查看到该目标众包任务,并在分配用户想要执行该目标众包任务时,则可以针对目标众包任务输入触发校验的触发操作。
在另一个实施例中,该用户信息包括用户的通讯信息。客户端中预先存储有用户的通讯信息(如邮箱地址、终端号码)。这种情况下,客户端可以从预先存储的所有用户的通讯信息中,选取出N个用户的N个通讯信息,其中,一个用户可以对应一种通讯信息。进一步地,服务器可以基于N个用户中每个用户的通讯信息将目标众包任务发送至该N个用户。进一步地,N个用户查看该目标众包任务后,则可以针对目标众包任务输入触发校验的触发操作。
303、生成该用户针对目标众包任务进行校验得到的包括该答案和该行为信息的校验信息,并将该校验信息发送至服务器,以便于服务器获取到校验信息后,根据校验信息确定针对目标众包任务的任务结果。
在一个实施例中,目标众包任务可以包括多个子任务,每个子任务对应一个测试图片和识别该测试图片内容所得到的识别信息。当用户想要执行目标众包任务时,可以针对目标众包任务输入触发校验的触发操作。进一步地,当客户端接收到用户针对目标众包任务输入触发校验的触发操作时,可以在当前显示界面中展示针对目标众包任务的校验页面,该校验页面包括任一子任务对应的测试图片和自动识别该测试图片内容所得到的识别信息。进一步地,用户查看该校验页面后,可以对比测试图片和自动识别该测试图片内容所得到的识别信息,确定该识别信息与测试图片对应的内容是否相同。若相同,用户则可以不对该识别信息进行修改,直接提交针对该任一子任务的答案;若不相同,用户则可以修改该识别信息后再提交针对该子任务的答案。在此期间(客户端展示校验页面至客户端接收到该任一子任务的答案期间),客户端可以记录用户输入该答案所对应的操作行为的行为信息。采用相似的方式,用户可以获取到用户针对目标众包任务中所有子任务输入的答案,以及输入各答案多对应的操作行为的行为信息。也即,得到针对目标众包任务所输入的答案,以及用户输入答案所对应的操作行为的行为信息。进一步地,客户端可以生成该用户针对目标众包任务进行校验得到的包括上述答案和上述行为信息的校验信息,并将该校验信息发送至服务器,以便于服务器获取到校验信息后,根据该校验信息确定针对目标众包任务的任务结果。
在一个实施例中,上述校验页面还包括图片异常选项,该用户输入答案所对应的操作行为可以包括以下至少一种:针对识别信息输入修改操作、未修改识别信息的情况下输入答案提交操作和针对图片异常选项输入触控操作。其中,在一个实施例中,该图片异常选项还可以包括“图片模糊”的子选项)、“信息不全”的子选项、“题型错误”的子选项。
示例性地,该目标众包任务包括多个子任务,每个子任务对应一张测试图片,以及自动识别该测试图片得到的识别信息。当用户查看任一子任务时,客户端可以向用户展示该子任务对应的校验页面,该校验页面中包括该任一子任务对应的测试图片、显示有上述识别信息的答案输入框、用于打开下一测试图片的“下一张”功能按钮、提交答案的功能按钮、以及各种答案选项按钮(如:“图片异常”选项、“图片模糊”选项)、“信息不全”选项、“题型错误”选项等)。这种情况,该用户输入针对目标众包任务答案时的操作行为可以包括:用户未修改输入框中的内容,直接点击“下一张”提交答案;用户修改过输入框中的内容后提交答案;用户选择“图片异常”中的“图片模糊”选项;用户选择“图片异常”中的“信息不全”选项;用户选择“图片异常”中的“题型错误”选项。
在本申请实施例中,当客户端接收到用户针对目标众包任务输入触发校验的触发操作时,在显示界面展示针对目标众包任务的校验页面,该校验页面包括目标众包任务对应的测试图片和识别测试图片内容所得到的识别信息。进一步地,客户端可以接收用户校验测试图片和上述识别信息后针对目标众包任务所输入的答案,并记录用户输入该答案所对应的操作行为的行为信息,并生成该用户针对目标众包任务进行校验得到的包括该答案和该行为信息的校验信息,进而将该校验信息发送至服务器,以便于服务器获取到校验信息后,根据校验信息确定针对目标众包任务的任务结果。采用本申请可以记录用户输入答案的行为信息,有利于提高众包任务的任务结果的准确性。
参见图4,图4是本申请实施例提供的另一种基于众包任务的结果确定方法的交互示意图,该方法由客户端和服务器执行,如图所示,该基于众包任务的结果确定方法可包括:
401、服务器向客户端发送将目标众包任务分配给N个用户进行校验的指示信息,该指示信息用于指示客户端将目标众包任务分配给N个用户进行校验信息的采集。其中,步骤401的具体实现方式,可以参见上述实施例中步骤201的相关描述,此处不再赘述。
402、客户端根据该指示信息,从客户端对应的所有用户中获取N个用户的用户信息,并基于N个用户的用户信息将目标众包任务分配至N个用户,以便于N个用户接收到该目标众包任务后,针对目标众包任务输入触发校验的触发操作。其中,步骤402的具体实现方式,可以参见上述实施例中步骤301的相关描述,此处不再赘述。在一个实施例中,客户端接收该服务器发送的将目标众包任务分配给N个用户进行校验的上述指示信息后,执行步骤402。
在一个实施例中,服务器在数据库中预先存储有所有用户的信用分值,具体地,每个用户的信用分值可以与该用户的用户信息关联存储。在一个实施例中,服务器执行步骤402之前,可以获取所有用户中各个用户的信用分值,并根据所有用户中每个用户的信用分值的大小对每个用户进行信用排序,以得到每个用户的信用排序结果,并将每个用户的信用排序结果添加至上述指示信息中,也即,指示信息还包括所有用户中各个用户的信用排序结果。其中,服务器根据所有用户中每个用户的信用分值的大小对每个用户进行信用排序时,可以依据用户的信用分值越大,该用户的信用排序就越靠前的排序原则进行信用排序。
进一步地,作为一种可行的实施方式,指示信息还包括上述所有用户中各个用户的信用排序结果。这种情况下,当客户端接收到将目标众包任务分配给N个用户进行校验信息采集的指示信息时,可以根据该指示信息中包括的所有用户中每个用户的信用排序结果,将目标众包任务分配给所有用户中信用排序前N的N个用户。或者,作为另一种可行的实施方式,当客户端接收到将目标众包任务分配给N个用户进行校验信息采集的指示信息时,可以检测当前的在线用户的数量是否大于或者等于N,若在线用户的数量大于或者等于N,则可以指示信息中包括的每个用户的信用排序结果,将目标众包任务分配给在线用户中上述信用排序前N的N个在线用户。
403、客户端当接收到用户针对目标众包任务输入触发校验的触发操作时,在显示界面展示针对该目标众包任务的校验页面,校验页面包括目标众包任务对应的测试图片和识别测试图片内容所得到的识别信息。
404、客户端接收用户校验测试图片和识别信息后针对目标众包任务所输入的答案,并记录用户输入答案所对应的操作行为的行为信息。
405、客户端生成用户针对目标众包任务进行校验得到的包括上述答案和所述行为信息的校验信息。
406、客户端将该校验信息发送至服务器。
其中,步骤403~步骤406的具体实现方式可以参见上述实施例中,步骤301~步骤303的相关描述,此处不再赘述。
407、服务器获取N个用户中每个用户针对目标众包任务进行校验的上述校验信息,并根据每个用户输入答案所对应的操作行为的上述行为信息,确定出N个用户针对目标众包任务进行校验所得到的N个答案中每个答案的种类,并确定出每种种类的答案的数量。
408、服务器获取为每种种类的答案预先配置的可信度加权系数,并根据该可信度加权系数和每种种类的答案的数量分别确定出每种种类的答案所对应的校验分值。
409、服务器从每种种类的答案对应的校验分值中确定出最大校验分值,并将最大校验分值与预设校验阈值比较,若比较得到该最大校验分值大于预设校验阈值,则检测最大校验分值的数量是否为一个。
410、服务器若检测得到最大校验分值的数量为一个,则将最大校验分值对应的答案确定为目标众包任务的任务结果。其中,步骤407~步骤410的具体实现方式可以参见上述实施例中,步骤201~步骤206的相关描述,此处不再赘述。
在一个实施例中,服务器将最大校验分值对应的答案确定为目标众包任务的任务结果之后,可以将最大校验分值对应的答案确定为目标答案,并将提交该目标答案的用户确定为目标用户,并向目标用户发送提示信息。该提示信息用于提示目标用户已成功完成目标众包任务。该提示信息还可以包括该目标众包任务的任务标识(如任务编号),以便于用户查看该提示信息时,可以根据该任务标识明确自己成功完成的是某一目标众包任务。
其中,向目标用户发送提示信息的方式可以包括:a.基于目标用户的用户账号向该目标用户发送提示信息。例如,服务器为众包平台对应的服务器,服务器则可以通过目标用户在众包平台的用户账号向目标用户发送提示信息,当目标用户基于自身的用户账号登录该众包平台时,则可以查看该提示信息;b.通过目标用户预先存储的通信标识(如终端号码、邮箱地址等)向该目标用户发送提示信息。本发明对此不做具体限定。
在一个实施例中,服务器中预先存储有各个用户的信用分值。这种情况下,服务器将最大校验分值对应的答案确定为目标答案,并将提交该目标答案的用户确定为目标用户之后,可以将目标用户的信用分值增加预设奖励阈值,并根据增加预设奖励阈值的信用分值更新该数据库中预先存储的该目标用户对应的信用分值。进一步地,当服务器检测到目标用户的信用分值大于或者等于预设信用阈值时,可以将目标用户确定为可信用户,并对可信用户的用户信息添加可信标签,并将添加该可信标签的用户信息存储至数据库中。或者,将添加可信标签的用户信息发送至客户端,以便于客户端根据可信标签将目标众包任务分配给可信用户进行校验。在一个实施例中,当服务器将将添加可信标签的用户信息发送至客户端后,客户端将该添加可信标签的用户信息(以下简称可信用户的用户信息)存储至存储装置中。当客户端接收到服务器发送的将目标众包任务分配给N个用户进行校验的指示信息时,可以从客户端对应的所有用户中获取N个可信用户的用户信息,进而根据N个可信用户的用户信息,将目标众包任务分配至N个可信用户。
示例性地,数据库中预先存储的目标用户对应的信用分值为40分,预设奖励阈值为1分。这种情况下,服务器将最大校验分值对应的答案确定为目标答案,并将提交该目标答案的用户确定为目标用户之后,可以将目标用户当前的信用分值增加至41分,并使用调整后的信用分值41分更新该数据库中预先存储的该目标用户对应的信用分值40分,实现目标用户的信用分值的更新。
在一个实例中,该服务器与其他设备(如客户端或者其他服务器)之间可以进行数据交互。其他设备获取到可信用户的用户信息时,可以根据该用户信息中的可信标签,确定该用户为可信用户,进而执行相应操作。该相应操作例如可以为,优先分配众包任务给添加该可信标签的用户,或者提高添加该可信标签用户的用户等级等等。本发明对此不作具体限定。
在一个实施例中,服务器对可信用户的用户信息添加可信标签,并将添加可信标签的用户信息存储至数据库中之后,还可以按照预设周期检测目标用户的信用分值是否小于预设信用阈值,若检测到该目标用户的信用分值小于预设信用阈值,则从该数据库中删除上述可信标签。其中,该预设周期可以是开发人员根据实际业务需求设定的,如5天、10天等等。
本申请实施例还提供了一种基于众包任务的结果确定装置,该装置配置于服务器。该装置包括用于执行前述图2或者图4所述的方法的单元。具体地,参见图5,是本申请实施例提供的基于众包任务的结果确定装置的示意框图。本实施例的基于众包任务的结果确定装置包括:
获取单元50,用于从客户端获取N个用户中每个用户针对目标众包任务进行校验的校验信息,所述校验信息包括每个用户针对所述目标众包任务输入的答案,以及每个用户输入所述答案所对应的操作行为的行为信息,所述N为预先配置的大于或者等于1的整数;
处理单元51,用于根据每个用户输入所述答案所对应的操作行为的所述行为信息,确定出所述N个用户针对所述目标众包任务进行校验所得到的N个所述答案中每个所述答案的种类,并确定出每种种类的所述答案的数量;
所述处理单元51,还用于获取为每种种类的所述答案预先配置的可信度加权系数,并根据所述可信度加权系数和所述每种种类的所述答案的数量确定出每种种类的所述答案所对应的校验分值;
所述处理单元51,还用于从所述每种种类的所述答案对应的所述校验分值中确定出最大校验分值,并将所述最大校验分值与预设校验阈值比较;
所述处理单元51,还用于若比较得到所述最大校验分值大于所述预设校验阈值,则检测所述最大校验分值的数量是否为一个;
所述处理单元51,还用于若检测得到所述最大校验分值的数量为一个,则将所述最大校验分值对应的答案确定为所述目标众包任务的任务结果。
在一个实施例中,所述处理单元51,还用于若检测得到所述最大校验分值的数量为多个,则确定所述多个最大校验分值中每个最大校验分值各自所对应答案的数量;比较所述每个最大校验分值各自所对应答案的数量,将多个最大校验分值对应答案中数量最多的答案确定为所述目标众包任务的任务结果。
在一个实施例中,所述装置还包括发送单元52,其中,所述发送单元52用于向客户端发送将目标众包任务分配给所述N个用户进行校验的指示信息,所述指示信息用于指示所述客户端将所述目标众包任务分配给所述N个用户进行所述校验信息的采集。
在一个实施例中,所述处理单元51,还用于将所述最大校验分值对应的答案确定为目标答案,并将所述目标答案对应用户的信用分值增加预设奖励阈值;当检测到所述用户的信用分值大于或者等于预设信用阈值时,将所述用户确定为可信用户;对所述可信用户的用户信息添加可信标签,并通过发送单元52将添加所述可信标签的用户信息发送至所述客户端,以便于所述客户端根据所述可信标签将所述目标众包任务分配给所述可信用户进行校验。
需要说明的是,本申请实施例所描述的基于众包任务的结果确定装置的各功能单元的功能可根据图2或者图4所述的方法实施例中的方法具体实现,其具体实现过程可以参照图2或者图4的方法实施例的相关描述,此处不再赘述。
请参见图6,图6是本申请实施例提供的一种服务器的示意性框图,如图6所示,该服务器包括,处理器601、存储器602和网络接口603。上述处理器601、存储器602和网络接口603可通过总线或其他方式连接,在本申请实施例所示图6中以通过总线连接为例。其中,网络接口603受所述处理器的控制用于收发消息,存储器602用于存储计算机程序,所述计算机程序包括程序指令,处理器601用于执行存储器602存储的程序指令。其中,处理器601被配置用于调用所述程序指令执行:通过网络接口603从客户端获取N个用户中每个用户针对目标众包任务进行校验的校验信息,所述校验信息包括所述每个用户针对所述目标众包任务输入的答案,以及所述每个用户输入所述答案所对应的操作行为的行为信息,所述N为预先配置的大于或者等于1的整数;根据每个用户输入所述答案所对应的操作行为的所述行为信息,确定出所述N个用户针对所述目标众包任务进行校验所得到的N个所述答案中每个所述答案的种类,并确定出每种种类的答案的数量;获取为每种种类的答案预先配置的可信度加权系数,并根据所述可信度加权系数和每种种类的答案的数量分别确定出每种种类的答案所对应的校验分值;从所述每种种类的答案对应的所述校验分值中确定出最大校验分值,并将所述最大校验分值与预设校验阈值比较;若比较得到所述最大校验分值大于所述预设校验阈值,则检测所述最大校验分值的数量是否为一个;若检测得到所述最大校验分值的数量为一个,则将所述最大校验分值对应的答案确定为所述目标众包任务的任务结果。
应当理解,在本申请实施例中,所称处理器601可以是中央处理单元(CentralProcessing Unit,CPU),该处理器601还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器602可以包括只读存储器和随机存取存储器,并向处理器601提供指令和数据。存储器602的一部分还可以包括非易失性随机存取存储器。例如,存储器602还可以存储设备类型的信息。
具体实现中,本申请实施例中所描述的处理器601、存储器602和网络接口603可执行本申请实施例提供的图2、图4或者图5所述的方法实施例所描述的实现方式,也可执行本申请实施例所描述的基于众包任务的结果确定装置的实现方式,在此不再赘述。
本申请实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,可执行上述如图2或者图4所述方法实施例中服务器所执行的步骤。
本申请实施例还提供了另一种基于众包任务的结果确定装置,该装置配置于客户端。该装置包括用于执行前述图3或者图4所述的方法的单元。具体地,参见图7,是本申请实施例提供的基于众包任务的结果确定装置的示意框图。本实施例的基于众包任务的结果确定装置包括:
接收单元70,用于接收用户针对目标众包任务输入触发校验的触发操作;
输出单元71,用于当接收单元接收到用户针对目标众包任务输入触发校验的触发操作时,在显示界面展示针对所述目标众包任务的校验页面,所述校验页面包括所述目标众包任务对应的测试图片和识别所述测试图片内容所得到的识别信息;
所述接收单元70,还用于接收用户校验所述测试图片和所述识别信息后针对所述目标众包任务所输入的答案;
处理单元72,用于记录所述用户输入所述答案所对应的操作行为的行为信息;
所述处理单元72,还用于生成包括所述答案和所述行为信息的所述用户针对所述目标众包任务进行校验的校验信息,并通过所述输出单元将所述校验信息发送至服务器,以便于所述服务器获取到所述校验信息后,根据所述校验信息确定针对所述目标众包任务的任务结果。
在一个实施例中,所述接收单元70,还用于接收所述服务器发送的将目标众包任务分配给N个用户进行校验的指示信息,所述指示信息用于指示将所述目标众包任务分配给N个用户进行所述校验信息的采集,所述N为大于或者等于1的整数;所述处理单元72,还用于根据所述指示信息,从所述客户端对应的所有用户中获取N个用户的用户信息,并基于所述N个用户的用户信息将所述目标众包任务分配至所述N个用户,以便于所述N个用户接收到所述目标众包任务后,针对所述目标众包任务输入触发校验的所述触发操作。
需要说明的是,本申请实施例所描述的基于众包任务的结果确定装置的各功能单元的功能可根据图3或者图4所述的方法实施例中的方法具体实现,其具体实现过程可以参照图3或者图4的方法实施例的相关描述,此处不再赘述。
请参见图8,图8是本申请实施例提供的一种客户端的示意性框图,如图8所示,该客户端包括处理器801、存储器802、输出设备803和输入设备804,上述处理器801、存储器802、输出设备803和输入设备804可通过总线或其他方式连接,在本申请实施例所示图8中以通过总线连接为例。其中,存储器802用于存储计算机程序,所述计算机程序包括程序指令,处理器801用于执行存储器802存储的程序指令。其中,处理器801被配置用于调用所述程序指令执行:当通过输入设备804接收到用户针对目标众包任务输入触发校验的触发操作时,通过输出设备803在显示界面展示针对所述目标众包任务的校验页面,所述校验页面包括所述目标众包任务对应的测试图片和识别所述测试图片内容所得到的识别信息;通过输出设备803接收用户校验所述测试图片和所述识别信息后针对所述目标众包任务所输入的答案,并记录所述用户输入所述答案所对应的操作行为的行为信息;生成所述用户针对所述目标众包任务进行校验得到的包括所述答案和所述行为信息的校验信息,并通过输出设备803将所述校验信息发送至服务器,以便于所述服务器获取到所述校验信息后,根据所述校验信息确定针对所述目标众包任务的任务结果。
应当理解,在本申请实施例中,所称处理器801可以是中央处理单元(CentralProcessing Unit,CPU),该处理器801还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器802可以包括只读存储器和随机存取存储器,并向处理器801提供指令和数据。存储器802的一部分还可以包括非易失性随机存取存储器。例如,存储器802还可以存储设备类型的信息。
输入设备804可以包括触控板、压力传感器、麦克风等,输出设备803可以包括显示器(LCD等)、扬声器、闪光灯、振动电机、投影设备等。
具体实现中,本申请实施例中所描述的处理器801、存储器802、输出设备803和输入设备804可执行本申请实施例提供的图3或者图4所述的方法实施例所描述的实现方式,也可执行本申请实施例图7所描述的基于众包任务的结果确定的实现方式,在此不再赘述。
本申请实施例中还提供另一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,可执行上述如图3或者图4所述方法实施例中客户端所执行的步骤。
所述计算机可读存储介质可以是前述任一实施例所述的服务器或者客户端的内部存储单元,例如服务器或者客户端的硬盘或内存。所述计算机可读存储介质也可以是所述服务器或者客户端的外部存储设备,例如所述服务器或者客户端上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。进一步地,所述计算机可读存储介质还可以既包括所述服务器或者客户端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述服务器或者客户端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (10)

1.一种基于众包任务的结果确定方法,所述方法应用于服务器,其特征在于,所述方法包括:
从客户端获取N个用户中每个用户针对目标众包任务进行校验的校验信息,所述校验信息包括所述每个用户针对所述目标众包任务输入的答案,以及所述每个用户输入所述答案所对应的操作行为的行为信息,所述N为预先配置的大于或者等于1的整数;
根据每个用户输入所述答案所对应的操作行为的所述行为信息,确定出所述N个用户针对所述目标众包任务进行校验所得到的N个所述答案中每个所述答案的种类,并确定出每种种类的答案的数量;
获取为每种种类的答案预先配置的可信度加权系数,并根据所述可信度加权系数和每种种类的答案的数量分别确定出每种种类的答案所对应的校验分值;
从所述每种种类的答案对应的所述校验分值中确定出最大校验分值,并将所述最大校验分值与预设校验阈值比较;
若比较得到所述最大校验分值大于所述预设校验阈值,则检测所述最大校验分值的数量是否为一个;
若检测得到所述最大校验分值的数量为一个,则将所述最大校验分值对应的答案确定为所述目标众包任务的任务结果。
2.根据权利要求1所述的方法,其特征在于,所述检测所述最大校验分值的数量是否为一个之后,所述方法还包括:
若检测得到所述最大校验分值的数量为多个,则确定所述多个最大校验分值中每个最大校验分值各自所对应答案的数量;
比较所述每个最大校验分值各自所对应答案的数量,将多个最大校验分值对应答案中数量最多的答案确定为所述目标众包任务的任务结果。
3.根据权利要求1或2所述的方法,所述从客户端获取N个用户中每个用户针对目标众包任务进行校验的校验信息之前,所述方法还包括:
向客户端发送将目标众包任务分配给所述N个用户进行校验的指示信息,所述指示信息用于指示所述客户端将所述目标众包任务分配给所述N个用户进行所述校验信息的采集。
4.根据权利要求3所述的方法,所述将所述最大校验分值对应的答案确定为所述目标众包任务的任务结果之后,所述方法还包括:
将所述最大校验分值对应的答案确定为目标答案,并将所述目标答案对应用户的信用分值增加预设奖励阈值;
当检测到所述用户的信用分值大于或者等于预设信用阈值时,将所述用户确定为可信用户;
对所述可信用户的用户信息添加可信标签,并将添加所述可信标签的用户信息发送至所述客户端,以便于所述客户端根据所述可信标签将所述目标众包任务分配给所述可信用户进行校验。
5.一种基于众包任务的结果确定方法,所述方法应用于客户端,其特征在于,所述方法包括:
当接收到用户针对目标众包任务输入触发校验的触发操作时,在显示界面展示针对所述目标众包任务的校验页面,所述校验页面包括所述目标众包任务对应的测试图片和识别所述测试图片内容所得到的识别信息;
接收用户校验所述测试图片和所述识别信息后针对所述目标众包任务所输入的答案,并记录所述用户输入所述答案所对应的操作行为的行为信息;
生成所述用户针对所述目标众包任务进行校验得到的包括所述答案和所述行为信息的校验信息,并将所述校验信息发送至服务器,以便于所述服务器获取到所述校验信息后,根据所述校验信息确定针对所述目标众包任务的任务结果。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
接收所述服务器发送的将目标众包任务分配给N个用户进行校验的指示信息,所述指示信息用于指示将所述目标众包任务分配给N个用户进行所述校验信息的采集,所述N为大于或者等于1的整数;
根据所述指示信息,从所述客户端对应的所有用户中获取N个用户的用户信息,并基于所述N个用户的用户信息将所述目标众包任务分配至所述N个用户,以便于所述N个用户接收到所述目标众包任务后,针对所述目标众包任务输入触发校验的所述触发操作。
7.一种基于众包任务的结果确定装置,所述装置配置于服务器,其特征在于,所述装置包括:
获取单元,用于从客户端获取N个用户中每个用户针对目标众包任务进行校验的校验信息,所述校验信息包括每个用户针对所述目标众包任务输入的答案,以及每个用户输入所述答案所对应的操作行为的行为信息,所述N为预先配置的大于或者等于1的整数;
处理单元,用于根据每个用户输入所述答案所对应的操作行为的所述行为信息,确定出所述N个用户针对所述目标众包任务进行校验所得到的N个所述答案中每个所述答案的种类,并确定出每种种类的所述答案的数量;
所述处理单元,还用于获取为每种种类的所述答案预先配置的可信度加权系数,并根据所述可信度加权系数和所述每种种类的所述答案的数量确定出每种种类的所述答案所对应的校验分值;
所述处理单元,还用于从所述每种种类的所述答案对应的所述校验分值中确定出最大校验分值,并将所述最大校验分值与预设校验阈值比较;
所述处理单元,还用于若比较得到所述最大校验分值大于所述预设校验阈值,则检测所述最大校验分值的数量是否为一个;
所述处理单元,还用于若检测得到所述最大校验分值的数量为一个,则将所述最大校验分值对应的答案确定为所述目标众包任务的任务结果。
8.一种基于众包任务的结果确定装置,所述装置配置于客户端,其特征在于,所述装置包括:
接收单元,用于接收用户针对目标众包任务输入触发校验的触发操作;
输出单元,用于当接收单元接收到用户针对目标众包任务输入触发校验的触发操作时,在显示界面展示针对所述目标众包任务的校验页面,所述校验页面包括所述目标众包任务对应的测试图片和识别所述测试图片内容所得到的识别信息;
所述接收单元,还用于接收用户校验所述测试图片和所述识别信息后针对所述目标众包任务所输入的答案;
处理单元,用于记录所述用户输入所述答案所对应的操作行为的行为信息;
所述处理单元,还用于生成包括所述答案和所述行为信息的所述用户针对所述目标众包任务进行校验的校验信息,并通过所述输出单元将所述校验信息发送至服务器,以便于所述服务器获取到所述校验信息后,根据所述校验信息确定针对所述目标众包任务的任务结果。
9.一种服务器,其特征在于,包括处理器和存储器,所述处理器和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-4任一项所述的方法。
10.一种客户端,其特征在于,包括处理器和存储器,所述处理器和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求5-6任一项所述的方法。
CN201811464838.0A 2018-11-30 2018-11-30 一种基于众包任务的结果确定方法及相关设备 Active CN109582581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811464838.0A CN109582581B (zh) 2018-11-30 2018-11-30 一种基于众包任务的结果确定方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811464838.0A CN109582581B (zh) 2018-11-30 2018-11-30 一种基于众包任务的结果确定方法及相关设备

Publications (2)

Publication Number Publication Date
CN109582581A true CN109582581A (zh) 2019-04-05
CN109582581B CN109582581B (zh) 2023-08-25

Family

ID=65926874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811464838.0A Active CN109582581B (zh) 2018-11-30 2018-11-30 一种基于众包任务的结果确定方法及相关设备

Country Status (1)

Country Link
CN (1) CN109582581B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310028A (zh) * 2019-06-25 2019-10-08 阿里巴巴集团控股有限公司 用于众包的方法和装置
CN112422312A (zh) * 2020-09-29 2021-02-26 四川九门科技股份有限公司 一种基于众包的工业互联网系统日志处理方法
WO2021174814A1 (zh) * 2020-03-02 2021-09-10 平安科技(深圳)有限公司 众包任务的答案验证方法、装置、计算机设备及存储介质
CN113743694A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 一种获取众包人品质的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232474A1 (en) * 2015-02-05 2016-08-11 Xerox Corporation Methods and systems for recommending crowdsourcing tasks
CN108197202A (zh) * 2017-12-28 2018-06-22 百度在线网络技术(北京)有限公司 众包任务的数据校验方法、装置、服务器及存储介质
CN108596501A (zh) * 2018-04-28 2018-09-28 华东师范大学 基于技能图的任务分配方法、装置、介质、设备及系统
CN108629560A (zh) * 2018-04-18 2018-10-09 平安科技(深圳)有限公司 任务派发方法、电子设备及存储介质
CN108734196A (zh) * 2018-04-17 2018-11-02 平安科技(深圳)有限公司 众包平台的作业方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232474A1 (en) * 2015-02-05 2016-08-11 Xerox Corporation Methods and systems for recommending crowdsourcing tasks
CN108197202A (zh) * 2017-12-28 2018-06-22 百度在线网络技术(北京)有限公司 众包任务的数据校验方法、装置、服务器及存储介质
CN108734196A (zh) * 2018-04-17 2018-11-02 平安科技(深圳)有限公司 众包平台的作业方法、装置、计算机设备和存储介质
CN108629560A (zh) * 2018-04-18 2018-10-09 平安科技(深圳)有限公司 任务派发方法、电子设备及存储介质
CN108596501A (zh) * 2018-04-28 2018-09-28 华东师范大学 基于技能图的任务分配方法、装置、介质、设备及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘秀秀;李劲华;: "基于信誉度的众包任务分配方法的研究", 青岛大学学报(自然科学版), no. 04 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310028A (zh) * 2019-06-25 2019-10-08 阿里巴巴集团控股有限公司 用于众包的方法和装置
CN110310028B (zh) * 2019-06-25 2023-08-29 创新先进技术有限公司 用于众包的方法和装置
WO2021174814A1 (zh) * 2020-03-02 2021-09-10 平安科技(深圳)有限公司 众包任务的答案验证方法、装置、计算机设备及存储介质
CN113743694A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 一种获取众包人品质的方法及装置
CN112422312A (zh) * 2020-09-29 2021-02-26 四川九门科技股份有限公司 一种基于众包的工业互联网系统日志处理方法

Also Published As

Publication number Publication date
CN109582581B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN109582581A (zh) 一种基于众包任务的结果确定方法及相关设备
Josang et al. Dirichlet reputation systems
CN107730196A (zh) 项目进度管理方法及终端设备
CN108230010A (zh) 一种预估广告转化率的方法及服务器
US10178194B2 (en) Intelligent notifications to devices with multiple applications
CA2483341A1 (en) Method and apparatus for creating and conducting on-line charitable fund raising activities
CN106648688B (zh) 一种信息展示方法和装置
CN108268575A (zh) 标注信息的处理方法、装置和系统
CN110097170A (zh) 信息推送对象预测模型获取方法、终端及存储介质
US11216531B2 (en) Enterprise software adoption platform systems and methods
CN107172501A (zh) 一种直播房间推荐展示方法及系统
CN111177499A (zh) 一种标签的添加方法、装置及计算机可读存储介质
CN105975844A (zh) 一种登录方法和装置
CN109948882A (zh) 基于区块数据结构的任务处理方法及相关设备
CN107426626A (zh) 一种共享礼物方法及装置
US8484748B2 (en) Method and device for classifying and processing data in instant messaging system
CN106844609A (zh) 一种搜索方法及装置
CN109740041A (zh) 网页爬取方法、装置、存储介质和计算机设备
CN109670963A (zh) 资产信息筛选方法、装置、设备及存储介质
CN108665318B (zh) 有效用户标签筛选方法、装置、存储介质和计算机设备
CN109672694A (zh) 一种信息采集的方法、装置及相关组件
CN113010255A (zh) 基于捆绑会话组的交互方法、装置和计算机设备
CN109636566A (zh) 数据展示方法、装置、设备及计算机可读存储介质
CN105610698B (zh) 事件结果的处理方法和装置
CN111988642B (zh) 推荐视频的方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant