CN110310028A - 用于众包的方法和装置 - Google Patents

Abstract

本文公开了用于众包的方法和装置。在一个实施例中，可以由众包平台发布众包任务并确定众包任务被用户领取。随后用户可以执行该众包任务，并且使用客户端设备来收集与执行众包任务相关的行为信息以及执行众包任务的任务结果。众包平台可从客户端设备获取与执行众包任务相关的行为信息以及执行众包任务的任务结果，并基于该行为信息来对任务结果进行评级，以确定任务结果是否可信。本文还公开了相应的众包平台和计算机可读介质。

Description

用于众包的方法和装置

技术领域

本公开涉及计算机领域，尤其涉及用于众包的方法和装置。

背景技术

众包是指任务发布者通过众包平台来公开发布任务，该众包平台的用户可以领取并完成任务的一种解决方案。用户完成众包任务后可获得奖励。众包任务可以是线上任务，例如对数据进行人工标注、答题等。众包任务也可以是线下任务，这需要用户实地活动，例如跑腿、推广任务等。众包解决方案具有灵活、廉价、快速、规模不受限制等优点，因此在远程工作、软件测试、人工智能的内容筛选及机器学习的训练数据标记等领域具有日益广泛的应用。

然而，众包任务被发布之后可能由不确定的用户执行，由于用户的态度、能力、对任务的理解等问题而可能导致任务的执行结果不尽如人意。例如，在对数据进行人工标注时，有的用户比较认真负责，有的用户则敷衍了事，导致一些数据标注错误但无法筛选出可能标注错误的数据，使得人工数据标注的可信度不高，进而严重影响这些数据的有效性。

一种提高众包任务结果准确率的方案是交叉验证，即对同一个事项发布两个或更多个众包任务，如果这两个或多个众包任务的结果相同，才作为有效的任务结果。然而，如果对每件事项发布两个或更多个众包任务，则任务量和成本将显著增加。此外，多个不同的任务结果被直接摒弃，这使得其中所包含的大量有效信息被浪费。

因此，本领域需要高效的用于众包的方法和装置。

发明内容

本文公开了用于众包的方法和装置。例如，可以由众包平台发布众包任务并确定众包任务被用户领取。随后用户可以执行该众包任务，并且使用客户端设备来收集与执行众包任务相关的行为信息以及执行众包任务的任务结果。众包平台可从客户端设备获取与执行众包任务相关的行为信息以及执行众包任务的任务结果，并基于该行为信息来对任务结果进行评级，以确定任务结果是否可信。

在一个实施例中，提供了一种用于众包的方法，其包括：由众包平台发布众包任务；确定所述众包任务被用户领取；从客户端设备获取与执行所述众包任务相关的行为信息以及执行所述众包任务的任务结果；以及基于所述行为信息来对所述任务结果进行评级，以确定所述任务结果是否可信。

在一方面，该方法还包括：基于所述行为信息与所述众包任务的匹配度、所述任务结果的质量和/或所述用户的信用值来确定所述任务结果的可信度，并基于所述可信度来对所述任务结果进行评级。

在一方面，所述任务结果的可信度包括所述行为信息与所述众包任务的匹配度、所述任务结果的质量和所述用户的信用值的加权值。

在一方面，该方法还包括：如果所述任务结果的可信度高于第一阈值，则确定所述任务结果可信；以及如果所述任务结果的可信度低于所述第一阈值，则确定所述任务结果不可信。

在一方面，该方法还包括：如果所述任务结果的可信度高于第一阈值，则确定所述任务结果可信；如果所述任务结果的可信度低于第二阈值，则确定所述任务结果不可信；以及如果所述任务结果的可信度在第一阈值与第二阈值之间，则确定所述任务结果是存疑的，其中所述第一阈值高于所述第二阈值。

在一方面，该方法还包括：如果所述任务结果可信，则确定所述众包任务完成并将所述任务结果作为所述众包任务的结果；或者如果所述任务结果不可信，则重新发布所述众包任务以获得新的任务结果。

在一方面，该方法还包括：如果所述任务结果是存疑的，则确定先前是否针对该众包任务曾获得存疑结果；如果针对该众包任务存在先前的存疑结果，则确定所述任务结果与先前的存疑结果是否相一致；如果所述任务结果与先前的存疑结果相一致，则确定所述众包任务完成并将所述任务结果或所述先前的存疑结果作为所述众包任务的结果；以及如果针对该众包任务不存在先前的存疑结果，或者如果所述任务结果与所述先前的存疑结果不一致，则重新发布所述众包任务以获得新的任务结果。

在一方面，所述众包任务包括线上任务或线下任务。

在一方面，所述行为信息包括以下至少一者：执行所述众包任务的时间信息、执行所述众包任务时的客户端设备位置信息、执行所述众包任务所使用的客户端设备信息、执行所述众包任务时在所述客户端设备上进行的操作。

在一方面，所述任务结果的质量包括以下至少一者：所述任务结果的清晰性；所述任务结果与所述众包任务的相关性；或者所述任务结果的完整性、逻辑性和/或情绪信息。

在一方面，所述用户的信用值基于以下至少一者：用户的基本属性、用户执行的历史任务情况、用户的资产情况、用户的征信情况。

在另一个实施例中，提供了一种众包平台，其包括：任务发布模块，其发布众包任务并确定所述众包任务被用户领取；信息收集模块，其从客户端设备获取与执行所述众包任务相关的行为信息以及执行所述众包任务的任务结果；以及结果评级模块，其基于所述行为信息来对所述任务结果进行评级，以确定所述任务结果是否可信。

在一方面，该众包平台还包括：行为分析模块，其确定所述行为信息与所述众包任务的匹配度；结果分析模块，其确定所述任务结果的质量；以及用户信用值评估模块，其确定所述用户的信用值，其中所述结果评级模块基于所述行为信息与所述众包任务的匹配度、所述任务结果的质量和/或所述用户的信用值来确定所述任务结果的可信度，并基于所述可信度来对所述任务结果进行评级。

在一方面，所述任务结果的可信度包括所述行为信息与所述众包任务的匹配度、所述任务结果的质量和所述用户的信用值的加权值。

在一方面，如果所述任务结果的可信度高于第一阈值，则所述任务结果可信；以及如果所述任务结果的可信度低于所述第一阈值，则所述任务结果不可信。

在一方面，如果所述任务结果的可信度高于第一阈值，则所述任务结果可信；如果所述任务结果的可信度低于第二阈值，则所述任务结果不可信；以及如果所述任务结果的可信度在第一阈值与第二阈值之间，则所述任务结果是存疑的，其中所述第一阈值高于所述第二阈值。

在一方面，如果所述任务结果可信，则所述结果评级模块确定所述众包任务完成并将所述任务结果作为所述众包任务的结果；或者如果所述任务结果不可信，则所述任务发布模块重新发布所述众包任务以获得新的任务结果。

在一方面，如果所述任务结果是存疑的，则所述结果评级模块确定先前是否针对该众包任务曾获得存疑结果；如果针对该众包任务存在先前的存疑结果，则确定所述任务结果与先前的存疑结果是否相一致；如果所述任务结果与先前的存疑结果相一致，则所述结果评级模块确定所述众包任务完成并将所述任务结果或所述先前的存疑结果作为所述众包任务的结果；以及如果针对该众包任务不存在先前的存疑结果，或者如果所述任务结果与所述先前的存疑结果不一致，则所述任务发布模块重新发布所述众包任务以获得新的任务结果。

在一方面，所述众包任务包括线上任务或线下任务。

在一方面，所述行为信息包括以下至少一者：执行所述众包任务的时间信息、执行所述众包任务时的客户端设备位置信息、执行所述众包任务所使用的客户端设备信息、执行所述众包任务时在所述客户端设备上进行的操作。

在一方面，所述任务结果的质量包括以下至少一者：所述任务结果的清晰性；所述任务结果与所述众包任务的相关性；或者所述任务结果的完整性、逻辑性和/或情绪信息。

在一方面，所述用户的信用值基于以下至少一者：用户的基本属性、用户执行的历史任务情况、用户的资产情况、用户的征信情况。

在另一个实施例中，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序在由处理器执行时实现以下操作：由众包平台发布众包任务；确定所述众包任务被用户领取；从客户端设备获取与执行所述众包任务相关的行为信息以及执行所述众包任务的任务结果；以及基于所述行为信息来对所述任务结果进行评级，以确定所述任务结果是否可信。

本公开所描述的技术通过基于由客户端设备收集的与执行众包任务相关的行为信息、任务结果的质量和/或用户的信用值来确定对任务结果进行评级，并对不同评级的任务结果进行不同的后续处理，既节约了成本，又提高了准确率。

附图说明

图1是根据本公开的一个实施例的众包应用场景示意图。

图2是根据本公开的一个实施例的众包流程示意图。

图3是根据本公开的一个实施例的用于众包的方法的流程图。

图4是根据本公开的另一个实施例的用于众包的方法的流程图。

图5是根据本公开的一个实施例的众包平台的结构框图。

图6是根据本公开的一个实施例的用于结果评级的示意图。

具体实施方式

下面结合具体实施例和附图对本发明作进一步说明，但不应以此限制本发明的保护范围。

图1是根据本公开的一个实施例的众包应用场景示意图。众包平台110可以用于发布众包任务，接收众包结果，以及处理众包结果等。众包平台110可以包括服务器112以执行众包平台110的各种功能。任务发布方120可以请求众包平台110发布众包任务。众包任务可以是线上任务，例如对数据进行人工标注、答题等。众包任务也可以是线下任务，这需要用户实地活动，例如跑腿、推广任务等。该众包平台110的用户能够使用客户端设备142、客户端设备144、客户端设备146等通过因特网130访问众包平台110，从众包平台110领取任务并且执行任务。众包平台110可以从客户端设备142、客户端设备144、客户端设备146等收集用户执行任务的结果，并且可以对任务结果进行分析。众包平台110可以筛选出可信的任务结果，并且将任务结果反馈给任务发布方120。众包平台110还可以将相应的奖励发放给执行众包任务的用户。

众包服务可以节省人力、物力和时间。例如，对于线上任务，如人工打标、答题、图片识别等，无需企业雇佣专门的工作人员并配备相应的设施来完成这些任务，而是可以由可能分布在世界各地的向众包平台110注册的用户在线执行这些任务。对于线下任务，例如跑腿、现场勘测、推广任务等，不再需要企业委派工作人员到现场，而是可以将这些任务分派给相应地区的众包用户，从而极大地提升效率和降低成本。

图2是根据本公开的一个实施例的众包流程示意图。图2示出了任务发布方202、众包平台204、客户端设备206之间的流程。

在步骤212，任务发布方202可以请求众包平台204发布众包任务。任务发布方202可以是向众包平台204注册的个人、企业、组织等，并且可以通过任务发布方的通信设备(例如，移动设备、计算机等)与众包平台204通信。任务请求可包括任务描述信息，其可以介绍任务内容、任务要求、注意事项、任务奖励等信息。任务请求除了提供任务描述信息以外，还可以设置任务分类，以便用户可以按照任务分类进行任务获取。任务请求还可以指定接受任务的用户应当满足的要求，例如用户的经验值、专业技能、历史任务情况等。

作为示例而非限定，众包平台204可以审核任务发布方202所请求的众包任务是否合法或合规。如果众包任务不合法或不合规，则众包平台204可以拒绝发布该众包任务。如果众包任务通过审核，则该流程前进至步骤214。

在步骤214，众包平台204可以发布众包任务，由此该众包任务对众包平台204的用户是可见的。作为示例而非限定，所发布的任务也可以仅对符合要求的用户可见。众包平台204还可以向所选择的用户推送众包任务。

在步骤216，众包平台204的用户可以通过客户端设备206来领取众包任务。在一个实施例中，所发布的众包任务对众包平台204的所有用户是可见的，并且任何用户都可以领取众包任务。在另一个实施例中，所发布的众包任务对众包平台204的所有用户是可见的，但只有满足要求的用户才能够领取该众包任务。例如，拍摄某风景区高清图片的任务要求用户拥有专业摄影装备，由此仅满足该条件的用户才能够领取该众包任务。在又一个实施例中，所发布的众包任务仅对部分用户是可见的，并且只有这些用户能够领取众包任务。例如，任务发布方202可以要求其众包任务由经验丰富的用户执行，由此所发布的众包任务仅对经验值高于阈值的部分用户是可见。在实践中，本领域技术人员可疑按需要来设置或限制领取众包任务的用户。

在领取众包任务之后，用户可以执行所领取的众包任务。用户在执行众包任务的过程中会产生相应的行为，例如用户在什么时间执行众包任务、客户端设备上的操作、用户的位置移动等。在步骤218，客户端设备206可以收集与用户执行众包任务相关的行为信息以及执行众包任务的任务结果。对于线上任务，如人工打标、答题、图片识别等，用户可以通过客户端206来执行众包任务，并且客户端206可以收集与任务执行相关的行为信息和任务结果。对于线下任务，例如跑腿、现场勘测、推广任务等，用户可以在携带客户端设备206的情况下在现场执行众包任务，客户端206可以收集与任务执行相关的行为信息，并且用户还可以使用客户端206来记录任务结果，例如签收、拍照等。无论是线上任务还是线下任务，与执行众包任务相关的行为信息可包括执行任务的时间(例如，开始时间、结束时间、持续时间)、执行任务时的客户端设备位置信息、执行任务所使用的客户端设备信息、用户在客户端设备上进行的操作等。

在步骤220，客户端设备206可以将任务结果以及与任务执行相关的行为信息提供给众包平台204。作为示例而非限定，针对同一个众包任务，可以使用一个或多个客户端设备来收集行为信息和/或任务结果，并且这些行为信息和/或任务结果可以分别被各个客户端设备提供给众包平台204，或者也可以在汇总后通过一个客户端设备206提供给众包平台204。

在步骤222，众包平台204可以对任务结果进行评级，以确定所述任务结果是否可信。在一个实施例中，众包平台204可以基于所接收的行为信息来对任务结果进行评级。例如，众包平台204可以确定所收集的行为信息与任务的匹配度(例如，时间匹配度、位置匹配度、操作匹配度)，并基于该匹配度来对任务结果进行评级。在进一步的实施例中，众包平台204在对任务结果进行评级时还可以考虑任务结果的质量、和/或执行该任务的用户的信用值。例如，众包平台204可以基于行为信息与众包任务的匹配度、任务结果的质量和/或用户的信用值(例如，通过加权总和)来确定任务结果的可信度，并基于该可信度来对任务结果进行评级。对任务结果进行评级可以剔除掉不可信的任务结果，并且保留可信的任务结果。如果众包任务的结果被评价为不可信，则众包平台204可以针对该任务重新发布众包任务，如在步骤214所示的。

在步骤224，众包平台204可以将可信的任务结果反馈给任务发布方202。

在可选步骤226，众包平台204可以将相应的奖励发放给用户。在一种实现中，众包平台204可以向提供任务结果的所有用户发放奖励。在另一种实现中，众包平台204可以向提供可信任务结果的用户发放奖励，或者可以根据任务结果的评级向用户发放不同的奖励。

图3是根据本公开的一个实施例的用于众包的方法300的流程图。方法300可由众包平台(例如，众包服务器或其他合适的计算机设备)执行。

在步骤302，众包平台可以接收发布众包任务的请求。例如，众包平台可以提供接口，以供任务发布方请求发布众包任务。任务请求可包括任务描述信息、任务分类、对执行任务的用户的要求等。作为示例而非限定，众包平台可以审核任务发布方所请求的众包任务是否合法或合规。如果众包任务不合法或不合规，则众包平台可以拒绝发布该众包任务。如果众包任务通过审核，则该流程前进至步骤304。

在步骤304，众包平台可以发布众包任务，由此该众包任务对众包平台的用户是可见的。作为示例而非限定，所发布的任务也可以仅对符合要求的用户可见。众包平台还可以向所选择的用户推送众包任务。由此，该众包平台的用户可以领取该众包任务

在步骤306，众包平台可以确定众包任务被领取。例如，如果有用户领取了众包任务，则众包平台可以确定该众包任务被领取，并且可以将该众包任务设置为已被领取状态或者不再对用户可见，从而不会重复地被用户领取。在领取众包任务之后，用户可以执行所领取的众包任务并生成任务结果。用户所使用的客户端设备可以收集与用户执行众包任务相关的行为信息以及执行众包任务的任务结果。

在步骤308，众包平台可以从客户端设备获取与执行众包任务相关的行为信息以及执行众包任务的任务结果。例如，对于线上任务，如人工打标、答题、图片识别等，用户可以通过客户端来执行众包任务，并且客户端可以收集与任务执行相关的行为信息和任务结果以反馈给众包平台。对于线下任务，例如跑腿、现场勘测、推广任务等，用户可以在携带客户端的情况下在现场执行众包任务，客户端可以在用户执行任务期间收集与任务执行相关的行为信息，并且用户还可以使用客户端来记录任务结果，例如签收、拍照等。无论是线上任务还是线下任务，与执行众包任务相关的行为信息可包括执行任务的时间(例如，开始时间、结束时间、持续时间)、执行任务时的客户端设备位置信息、执行任务所使用的客户端设备信息、用户在客户端设备上进行的操作等。

例如，如果一项众包任务是拍摄某风景区高清图片，则领取该任务的用户可以携带客户端到达该风景区以拍摄照片。客户端设备所收集的与任务执行相关的行为信息可包括执行任务的时间信息和位置信息、客户端设备上进行的操作等。如果使用该客户端或其他专业摄影器材来拍摄照片，与任务执行相关的行为信息还可以包括相机参数。随后，用户可以将客户端设备连接至众包平台，从而众包平台可以从客户端设备获取与任务执行相关的行为信息、以及任务结果(即，所拍摄的照片)。

如以上所述的，可以使用一个或多个客户端设备来收集行为信息和/或任务结果。在一个实施例中，用户可以使用单个客户端设备(例如，手机)来拍摄风景区照片，并且该客户端设备可以收集与任务执行相关的行为信息、以及任务结果，并将行为信息和任务结果(例如，照片)传送给众包平台。在另一个实施例中，用户可以使用第一客户端设备(例如，手机)来收集与任务执行相关的一些行为信息(例如，时间信息、位置信息)，并且使用第二客户端设备(例如，专业摄影器材)来拍摄照片。第二客户端设备(例如，专业摄影器材)也可以收集与任务执行相关的一些行为信息(例如，时间信息、位置信息、相机参数、相机操作)。在这种情况下，第一客户端设备和第二客户端设备各自所收集的行为信息、以及第二客户端设备收集的任务结果都可以被提供给众包平台204。

在步骤310，众包平台可以基于与任务执行相关的行为信息来对任务结果进行评级，以确定任务结果是否可信。例如，众包平台可以确定行为信息与众包任务的匹配度。行为信息与众包任务的匹配度高，则任务结果的可信度高。例如，对于线上任务，众包平台可以确定用户执行该任务时所花费的时间是否合理。如果用户执行该任务时所花费的时间明显不足以完成该任务(即，耗时与任务不匹配)，则可以确定任务结果是不可信的。对于线下任务，众包平台可以确定用户执行该任务时所花费的时间是否合理，并且还可以确定用户执行该任务时是否的确位于目标位置附近。参照拍摄某风景区高清图片的示例，众包平台可以确定用户在所记录的执行任务的时间段期间是否位于该风景区。如果用户在所记录的执行任务的时间段期间不位于该风景区，则可以确定任务结果是不可信的。如果用户在该风景区的停留时间太短，例如用户以50km/h的速度穿过风景区，也可以认为任务结果是不可信的。另外，如果由不同客户端设备收集的行为信息彼此不一致或相互冲突，也可以降低任务结果的可信度。

在进一步的实施例中，众包平台还可以基于任务结果的质量来对任务结果进行评级。任务结果的质量高，则任务结果的可信度高。例如，如果用户返回的任务结果(例如，答案、文本、签收、拍照等)不清楚，则可以认为任务结果是不可信的。

在进一步的实施例中，众包平台还可以基于执行该任务的用户的信用值来对任务结果进行评级。例如，如果用户信用值较高，则该用户的任务结果的可信度更高。相反，如果用户信用值较低，则该用户的任务结果的可信度可能降低。

作为示例而非限定，众包平台可以基于行为信息与任务的匹配度、任务结果的质量、用户信用值中的一者或多者来确定任务结果的可信度，并基于该可信度来对任务结果进行评级。例如，任务结果的可信度可包括行为信息与众包任务的匹配度、任务结果的质量和用户信用值的加权值。如果任务结果的可信度高于阈值，则可以确定任务结果可信。相反，如果任务结果的可信度低于阈值，则可以确定任务结果不可信。阈值可以根据需要来设置，或者通过实验或训练来确定。

如果任务结果是可信的，在步骤312，众包平台可以确定该任务已完成。在可选步骤312，众包平台可以将任务结果反馈给任务发布方。

如果任务结果不是可信的，则众包平台可以返回步骤304，针对该任务重新发布众包任务。该过程可以继续进行，直至在步骤310获得可信结果，或者达到预定的任务重发次数。此外，为了提高可信度，众包平台在步骤304重新发布众包任务时可以要求先前曾领取该众包任务的用户不能再次领取相同的该众包任务。

虽然未示出，在步骤312确定任务完成之后，众包平台可以将相应的奖励发放给用户，如上文所述的。

图4是根据本公开的一个实施例的用于众包的方法400的流程图。方法400可由众包平台(例如，众包服务器或其他合适的计算机设备)执行。步骤402-408与图3中描述的步骤302-308相似，因此不再赘述。

在步骤410，众包平台可以基于与任务执行相关的行为信息来对任务结果进行评级，以确定任务结果是否可信。例如，众包平台可以确定行为信息与众包任务的匹配度。行为信息与众包任务的匹配度高，则任务结果的可信度高。在进一步的实施例中，众包平台还可以基于任务结果的质量来对任务结果进行评级。任务结果的质量高，则任务结果的可信度高。在进一步的实施例中，众包平台还可以基于执行该任务的用户的信用值来对任务结果进行评级。例如，如果用户信用值较高，则该用户的任务结果的可信度更高。

作为示例而非限定，众包平台可以基于行为信息与任务的匹配度、任务结果的质量、用户信用值中的一者或多者来确定任务结果的可信度，并基于该可信度来对任务结果进行评级。例如，任务结果的可信度可包括行为信息与众包任务的匹配度、任务结果的质量和用户信用值的加权值。如果任务结果的可信度高于第一阈值，则确定任务结果可信。如果任务结果的可信度低于第二阈值，则确定任务结果不可信。如果任务结果的可信度在第一阈值与第二阈值之间，则确定任务结果是存疑的。第一阈值和第二阈值可以根据需要来设置，或者通过实验或训练来确定，其中第一阈值高于第二阈值。

如果任务结果是可信的，在步骤416，众包平台可以确定该任务已完成。在可选步骤418，众包平台可以将任务结果反馈给任务发布方。

如果任务结果是不可信的，则众包平台可以丢弃该任务结果，并且可以返回步骤404，针对该任务重新发布众包任务。

如果任务结果是存疑的，在步骤412，众包平台可以确定先前是否针对该任务曾获得存疑结果。如果针对该任务不存在先前的存疑结果(例如，当前任务结果是该任务首次发布后获得的任务结果，或者该任务先前获得的结果不可信从而被丢弃)，则众包平台可以返回步骤404，针对该任务重新发布众包任务。如果针对该任务存在先前的存疑结果，则在步骤414，可以确定针对该任务的当前存疑结果与先前存疑结果是否相一致。如果相一致，则众包平台可以在步骤416确定该任务已完成，并将这两个相一致的存疑结果作为该任务的可信任务结果。在可选步骤418，众包平台可以将任务结果反馈给任务发布方。

如果针对该任务的当前存疑结果与先前存疑结果不同，则众包平台可以返回步骤404，针对该任务重新发布众包任务以获取新的任务结果。该过程可以重复进行，直至在步骤410获得可信结果、或者在步骤414获得相一致的两个存疑结果、或者达到预定的任务重发次数。此外，为了提高可信度，众包平台在步骤404重新发布众包任务时可以要求先前曾领取该众包任务的用户不能再次领取相同的该众包任务。

举例而言，如果在步骤404首次发布一个众包任务后获得了存疑的第一结果，则在步骤412将确定该众包任务不存在先前的存疑结果。随后在404再次发布该众包任务以获得第二结果，并且在步骤410对第二结果进行评级。如果第二结果可信，则前进至步骤416确定该任务已完成，并将第二结果作为该任务的可信任务结果。

如果第二结果不可信，则众包平台可以丢弃第二结果，并且可以返回步骤404，针对该任务再次发布众包任务以获得第三结果。

如果第二结果是存疑的，则在步骤412将确定该众包任务存在先前的存疑结果(即，第一结果)。在步骤414，可以确定第二结果与第一结果是否相一致。如果第二结果与第一结果相一致，则众包平台可以在步骤416确定该任务已完成，并将这两个相一致的存疑结果作为该任务的可信任务结果。如果第二结果与第一结果不一致，则众包平台可以返回步骤404，针对该任务再次发布众包任务以获得第三结果。

随后可以在步骤410按照与第二结果相似的方式来评估第三结果。例如，如果第三结果可信，则前进至步骤416确定该任务已完成，并将第三结果作为该任务的可信任务结果。如果第三结果不可信，则众包平台可以丢弃第三结果，并且可以返回步骤404，针对该任务再次发布众包任务以获得第四结果。如果第三结果是存疑的，则在步骤412将确定该众包任务存在先前的存疑结果(即，第一结果和/或第二结果)。在步骤414，可以确定第三结果是否与第一结果或第二结果相一致。如果第三结果与第一结果或第二结果相一致，则众包平台可以在步骤416确定该任务已完成，并将两个相一致的存疑结果作为该任务的可信任务结果。如果第二结果与第一结果和第二结果皆不同，则众包平台可以返回步骤404，针对该任务再次发布众包任务以获得第四结果。该过程可以重复进行，直至在步骤410获得可信结果、或者在步骤414获得相一致的两个存疑结果、或者达到预定的任务重发次数。

如上所述，根据任务结果的不同评级来进行不同的后续处理，可以提高众包结果筛选的准确度和效率，节省众包服务的人力、物力以及时间。

图5是根据本公开的一个实施例的众包平台500的结构框图。众包平台500可以是服务器或其他计算机设备。众包平台500可包括任务发布模块502、信息收集模块504、行为分析模块506、结果分析模块508、用户信用值评估模块510、以及结果评级模块512。众包平台500所包括的各个模块可通过总线系统520彼此通信。

任务发布模块502可以从任务发布方接收发布众包任务的请求。众包任务可包括线上任务或线下任务。如果众包任务请求符合要求，任务发布模块502可以发布众包任务。任务发布模块502还可以确定众包任务被用户领取。在领取众包任务之后，用户可以执行所领取的众包任务并生成任务结果。用户所使用的客户端设备可以安装与众包平台500相对应的客户端应用，并收集与用户执行众包任务相关的行为信息以及执行众包任务的任务结果。

信息收集模块504可从客户端设备获取与执行众包任务相关的行为信息以及执行众包任务的任务结果。与执行众包任务相关的行为信息可包括执行任务的时间(例如，开始时间、结束时间、持续时间)、执行任务时的客户端设备位置信息、执行任务所使用的客户端设备信息、用户在客户端设备上进行的操作等。任务结果可以是数据标注、问题答案、图片识别结果、签收、拍照等。

结果评级模块512可基于行为信息来对任务结果进行评级，以确定任务结果是否可信。行为分析模块505可确定行为信息与众包任务的匹配度。行为信息与众包任务的匹配度高，则任务结果的可信度高。

结果分析模块508可确定任务结果的质量。任务结果的质量高，则任务结果的可信度高。任务结果的质量可包括以下至少一者：任务结果的清晰性；任务结果与众包任务的相关性；或者任务结果的完整性、逻辑性和/或情绪信息。

用户信用值评估模块510可确定执行任务的用户的信用值。如果用户信用值较高，则该用户的任务结果的可信度更高。用户的信用值可基于以下至少一者：用户的基本属性、用户执行的历史任务情况、用户的资产情况、用户的征信情况。

结果评级模块512可基于行为信息与众包任务的匹配度、任务结果的质量和/或用户的信用值来确定任务结果的可信度，并基于可信度来对任务结果进行评级。作为示例而非限定，任务结果的可信度包括行为信息与众包任务的匹配度、任务结果的质量和用户的信用值的加权值。

在一个实施例中，如果任务结果的可信度高于第一阈值，则任务结果可信；以及如果任务结果的可信度低于第一阈值，则任务结果不可信。

在另一个实施例中，如果任务结果的可信度高于第一阈值，则任务结果可信；如果任务结果的可信度低于第二阈值，则任务结果不可信；以及如果任务结果的可信度在第一阈值与第二阈值之间，则任务结果是存疑的，其中第一阈值高于第二阈值。

根据一个方面，如果任务结果可信，则结果评级模块512可确定众包任务完成并将该任务结果作为众包任务的结果；或者如果任务结果不可信，则任务发布模块502可以重新发布该众包任务以获得新的任务结果。

根据另一个方面，如果任务结果是存疑的，则结果评级模块512可确定先前是否针对该众包任务曾获得存疑结果；如果针对该众包任务存在先前的存疑结果，则确定当前任务结果与先前的存疑结果是否相一致；如果当前任务结果与先前的存疑结果相一致，则结果评级模块512可确定众包任务完成并将当前任务结果或先前的存疑结果作为众包任务的结果；以及如果针对该众包任务不存在先前的存疑结果，或者如果当前任务结果与先前的存疑结果不一致，则任务发布模块502可重新发布该众包任务以获得新的任务结果。

虽然图5中示出了不同的模块以执行相应的功能，但是本领域技术人员应理解，各个不同的模块可以合并在一起或者拆分成其他不同的模块，并且各种功能/模块可以由相应的处理器来实现。

图6是根据本公开的一个实施例的用于结果评级的示意图。如上所述，众包平台可以基于行为信息与任务的匹配度602、任务结果的质量604、用户信用值606中的一者或多者来确定任务结果的可信度，从而对任务结果进行评级。例如，任务结果的可信度包括行为信息与任务的匹配度602、任务结果的质量604和用户的信用值606的加权值。

行为信息与任务的匹配度602可以基于与任务执行相关的行为信息，例如用户执行任务的时间信息、位置信息、设备信息、客户端设备上的操作等。例如，参照图5描述的行为分析模块506可以基于与任务执行相关的行为信息来确定行为信息与任务的匹配度602。如果用户执行该任务时所花费的时间与该任务所需的时间相一致，则行为信息与任务的匹配度较高。如果用户执行该任务时所花费的时间明显不足以完成该任务，则行为信息与任务的匹配度较低。对于线下任务，用户执行任务时的位置信息与目标位置相一致则可确定行为信息与任务的匹配度较高，否则可导致行为信息与任务的匹配度较低。对于线上任务，位置信息可以不影响行为信息与任务的匹配度。对于要求使用特定设备来执行的任务，设备信息与所要求的设备相一致可确定行为信息与任务的匹配度较高，否则可导致行为信息与任务的匹配度较低。此外，设备信息也可以指示用于执行任务的设备是否为可信设备。如果是可信设备，则行为信息与任务的匹配度较高。行为分析模块506还可以确定用户在执行任务时在客户端设备上执行的操作是否为该任务所需的操作，例如是否有异常操作，比如是否点击了可疑链接、在不同位置异常登录帐号等。存在异常操作可导致行为信息与任务的匹配度较低。

虽然图6示出了如时间信息、位置信息、设备信息、操作信息等与任务执行相关的行为信息，但在具体实现中可以存在其他与任务执行相关的行为信息，并且可以根据实际情况选择合适的行为信息及其权重以确定行为信息与任务的匹配度602。

任务结果的质量604可以基于用户所返回的任务结果。参照图5描述的结果分析模块508可以分析用户所返回的任务结果以确定任务结果的质量604。例如，如果用户返回的任务结果(例如，答案、文本、签收、拍照等)清晰并且与任务高度相关，则任务结果的质量较高。相反，如果用户返回的任务结果不清楚、自相矛盾、或者与任务不相关，则任务结果的质量较低。此外，任务结果的完整性、逻辑性和/或情绪信息也可以影响任务结果的质量。例如，如果任务结果包含用户提供的文本内容，则可以使用机器模型对用户返回的任务结果进行文本分析，以确定文本内容的完整性、逻辑性和/或情绪信息。如果任务结果包含的文本内容完整并且逻辑清楚，则与任务结果的质量呈正相关；反之，如果文本内容不完整或者逻辑不清楚，则与任务结果的质量呈负相关。如果任务结果中的文字呈正面情绪，则与任务结果的质量呈正相关；反之，如果是负面情绪，则与任务结果的质量呈负相关。

用户信用值606可以基于与执行任务的用户有关的信息，例如，用户的基本属性、用户执行的历史任务情况、用户的资产情况、用户的征信情况等。参照图5描述的用户信用值评估模块508可以基于与用户有关的信息来确定用户信用值606。用户信用值606可随着时间、信息变化、接单历史等不断更新。用户的基本属性可包括年龄、是否为学生、学历等。用户执行的历史任务情况可包括历史接单次数、历史有效返回结果次数、历史任务准确率、任务发布方针对该用户的历史任务结果的反馈信息等。用户的资产情况可包括用户的固定资产、非固定资产、账户余额、资金流水等。用户的征信情况可包括银行信用、第三方平台信用、是否有违法犯罪记录等。用户信用值评估模块508可以根据实际情况基于与执行任务的用户有关的各种信息按照不同的算法、权重等来确定用户信用值606。

结果评级608可以基于行为信息与任务的匹配度602、任务结果的质量604、用户信用值606中的一者或多者。例如，众包平台可以基于行为信息与任务的匹配度602、任务结果的质量604、用户信用值606中的一者或多者(例如，根据加权总和)来确定任务结果的可信度，从而对任务结果进行评级。对于不同的任务，行为信息与任务的匹配度602、任务结果的质量604、用户信用值606各自的权重可以是不同的。例如，对于线上数据打标任务，其任务结果可以为“是”或“否”，由此每个用户返回的任务结果的质量604相差不明显，因此任务结果的质量604在结果评级608中可以具有较低权重或者甚至不被考虑。作为另一示例，对于提供广告创意的任务，任务结果的质量604可以在结果评级608中具有较高权重。

在一个实施例中，结果评级608可以为可信或不可信。如果基于行为与任务的匹配度602、任务结果的质量604、和/或用户信用值606所确定的任务结果的可信度高于指定阈值，则可以确定任务结果是可信的。相反，如果任务结果的可信度低于指定阈值，则可以确定任务结果不是可信的，如参照图3所描述的。

在另一个实施例中，结果评级608可以为可信、存疑或不可信。如果基于行为与任务的匹配度602、任务结果的质量604、和/或用户信用值606所确定的任务结果的可信度高于第一阈值，则可以确定该任务结果是可信的。如果任务结果的可信度低于第二阈值，则可以确定该任务结果不是可信的。如果任务结果的可信度在第一阈值与第二阈值之间，则认为该任务结果是存疑的，如参照图4所描述的。在结果评级608中使用的阈值可以根据需要或经验来设置，或者通过实验或训练来确定。

如上所述，本公开所描述的技术基于由客户端设备收集的与执行众包任务相关的行为信息、任务结果的质量和/或用户的信用值来对任务结果进行评级，并对不同评级的任务结果进行不同的后续处理，提高了众包结果筛选的准确度和效率，大幅节省了众包服务的人力、物力以及时间，增大了众包的适应范围，促进了众包技术在更多领域的应用和发展。本公开所描述的技术可以通过方法、设备、装置、处理器、计算机程序、计算机可读介质等来实现而不限制其范围。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。

Claims (23)

1.一种用于众包的方法，其特征在于，包括：

由众包平台发布众包任务；

确定所述众包任务被用户领取；

从客户端设备获取与执行所述众包任务相关的行为信息以及执行所述众包任务的任务结果；以及

基于所述行为信息来对所述任务结果进行评级，以确定所述任务结果是否可信。

2.如权利要求1所述的用于众包的方法，其特征在于，还包括：

基于所述行为信息与所述众包任务的匹配度、所述任务结果的质量和/或所述用户的信用值来确定所述任务结果的可信度，并基于所述可信度来对所述任务结果进行评级。

3.如权利要求2所述的用于众包的方法，其特征在于：

所述任务结果的可信度包括所述行为信息与所述众包任务的匹配度、所述任务结果的质量和所述用户的信用值的加权值。

4.如权利要求2所述的用于众包的方法，其特征在于，还包括：

如果所述任务结果的可信度高于第一阈值，则确定所述任务结果可信；以及

如果所述任务结果的可信度低于所述第一阈值，则确定所述任务结果不可信。

5.如权利要求2所述的用于众包的方法，其特征在于，还包括：

如果所述任务结果的可信度高于第一阈值，则确定所述任务结果可信；

如果所述任务结果的可信度低于第二阈值，则确定所述任务结果不可信；以及

如果所述任务结果的可信度在第一阈值与第二阈值之间，则确定所述任务结果是存疑的，其中所述第一阈值高于所述第二阈值。

6.如权利要求4或5所述的用于众包的方法，其特征在于，还包括：

如果所述任务结果可信，则确定所述众包任务完成并将所述任务结果作为所述众包任务的结果；或者

如果所述任务结果不可信，则重新发布所述众包任务以获得新的任务结果。

7.如权利要求5所述的用于众包的方法，其特征在于，还包括：

如果所述任务结果是存疑的，则确定先前是否针对该众包任务曾获得存疑结果；

如果针对该众包任务存在先前的存疑结果，则确定所述任务结果与先前的存疑结果是否相一致；

如果所述任务结果与先前的存疑结果相一致，则确定所述众包任务完成并将所述任务结果或所述先前的存疑结果作为所述众包任务的结果；以及

如果针对该众包任务不存在先前的存疑结果，或者如果所述任务结果与所述先前的存疑结果不一致，则重新发布所述众包任务以获得新的任务结果。

8.如权利要求1所述的用于众包的方法，其特征在于，所述众包任务包括线上任务或线下任务。

9.如权利要求1所述的用于众包的方法，其特征在于，所述行为信息包括以下至少一者：执行所述众包任务的时间信息、执行所述众包任务时的客户端设备位置信息、执行所述众包任务所使用的客户端设备信息、执行所述众包任务时在所述客户端设备上进行的操作。

10.如权利要求2所述的用于众包的方法，其特征在于，所述任务结果的质量包括以下至少一者：

所述任务结果的清晰性；

所述任务结果与所述众包任务的相关性；或者

所述任务结果的完整性、逻辑性和/或情绪信息。

11.如权利要求2所述的用于众包的方法，其特征在于，所述用户的信用值基于以下至少一者：用户的基本属性、用户执行的历史任务情况、用户的资产情况、用户的征信情况。

12.一种众包平台，其特征在于，包括：

任务发布模块，其发布众包任务并确定所述众包任务被用户领取；

信息收集模块，其从客户端设备获取与执行所述众包任务相关的行为信息以及执行所述众包任务的任务结果；以及

结果评级模块，其基于所述行为信息来对所述任务结果进行评级，以确定所述任务结果是否可信。

13.如权利要求12所述的众包平台，其特征在于，还包括：

行为分析模块，其确定所述行为信息与所述众包任务的匹配度；

结果分析模块，其确定所述任务结果的质量；以及

用户信用值评估模块，其确定所述用户的信用值，

其中所述结果评级模块基于所述行为信息与所述众包任务的匹配度、所述任务结果的质量和/或所述用户的信用值来确定所述任务结果的可信度，并基于所述可信度来对所述任务结果进行评级。

14.如权利要求13所述的众包平台，其特征在于：

所述任务结果的可信度包括所述行为信息与所述众包任务的匹配度、所述任务结果的质量和所述用户的信用值的加权值。

15.如权利要求13所述的众包平台，其特征在于：

如果所述任务结果的可信度高于第一阈值，则所述任务结果可信；以及

如果所述任务结果的可信度低于所述第一阈值，则所述任务结果不可信。

16.如权利要求13所述的众包平台，其特征在于：

如果所述任务结果的可信度高于第一阈值，则所述任务结果可信；

如果所述任务结果的可信度低于第二阈值，则所述任务结果不可信；以及

如果所述任务结果的可信度在第一阈值与第二阈值之间，则所述任务结果是存疑的，其中所述第一阈值高于所述第二阈值。

17.如权利要求15或16所述的众包平台，其特征在于：

如果所述任务结果可信，则所述结果评级模块确定所述众包任务完成并将所述任务结果作为所述众包任务的结果；或者

如果所述任务结果不可信，则所述任务发布模块重新发布所述众包任务以获得新的任务结果。

18.如权利要求16所述的众包平台，其特征在于：

如果所述任务结果是存疑的，则所述结果评级模块确定先前是否针对该众包任务曾获得存疑结果；

如果针对该众包任务存在先前的存疑结果，则确定所述任务结果与先前的存疑结果是否相一致；

如果所述任务结果与先前的存疑结果相一致，则所述结果评级模块确定所述众包任务完成并将所述任务结果或所述先前的存疑结果作为所述众包任务的结果；以及

如果针对该众包任务不存在先前的存疑结果，或者如果所述任务结果与所述先前的存疑结果不一致，则所述任务发布模块重新发布所述众包任务以获得新的任务结果。

19.如权利要求12所述的众包平台，其特征在于，所述众包任务包括线上任务或线下任务。

20.如权利要求12所述的众包平台，其特征在于，所述行为信息包括以下至少一者：执行所述众包任务的时间信息、执行所述众包任务时的客户端设备位置信息、执行所述众包任务所使用的客户端设备信息、执行所述众包任务时在所述客户端设备上进行的操作。

21.如权利要求13所述的众包平台，其特征在于，所述任务结果的质量包括以下至少一者：

所述任务结果的清晰性；

所述任务结果与所述众包任务的相关性；或者

所述任务结果的完整性、逻辑性和/或情绪信息。

22.如权利要求13所述的众包平台，其特征在于，所述用户的信用值基于以下至少一者：用户的基本属性、用户执行的历史任务情况、用户的资产情况、用户的征信情况。

23.一种计算机可读介质，其上存储有计算机程序，所述计算机程序在由处理器执行时实现以下操作：

由众包平台发布众包任务；

确定所述众包任务被用户领取；

从客户端设备获取与执行所述众包任务相关的行为信息以及执行所述众包任务的任务结果；以及

基于所述行为信息来对所述任务结果进行评级，以确定所述任务结果是否可信。