CN109272193B - 一种基于众智任务的用户置信度分析方法及系统 - Google Patents

Abstract

本发明属于教育技术领域，公开了一种基于众智任务的用户置信度分析方法及系统，分析方法包括：用户选择任务领域，对用户在该领域的置信度初始化；置信度已知的用户与置信度未知的用户共同完成系统发布的任务；根据用户完成任务情况对用户置信度进行更新。本发明在完成众智任务的过程中，通过模型完成每位用户在对应领域的置信度评估更新；对于能力未知的用户，完成一定数量的任务后，该用户的置信度能准确反映其在该领域的能力；对于能力已知的用户，进一步更新在该领域的置信度，能够更精准地测评出用户当前的能力水平。

Description

一种基于众智任务的用户置信度分析方法及系统

技术领域

本发明属于教育技术领域，尤其涉及一种基于众智任务的用户置信度分析方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

在信息化时代，众智任务充分发挥了交互创造的集体智慧，利用群体智慧，实现了信共创、共建、共享，取得了显著成效。维基百科、google翻译等应用均融入众智任务机制，集大众的力量完成海量词条的标注、翻译等工作，众智任务模式将成为信息时代的主流趋势。

不同用户的能力水平具有差异性，而同一用户在不同领域的能力也有所不同，因此在众智任务平台中，对用户能力的评估是十分必要的。对新注册用户或某领域能力未知的用户，若设立独立的模拟测评环节，用户易产生轻视或排斥等心理，对测评结果产生影响，导致测评结果无法真实反映用户在该领域的能力。

对于在某领域内能力已知的用户，通过自学等方式可能导致其在该领域的能力得到提高，或因长时间未接触产生遗忘现象等因素导致其在该领域的能力减弱。若缺失对已知用户能力的测评更新机制，易导致已知的用户能力与用户真实能力不匹配，从而降低了任务结果的可靠性。

综上所述，现有技术存在的问题是：

(1)单独设立评估用户能力的环节，用户易产生排斥或者轻视的心理；

(2)对于能力未知的用户，完成一定数量、不同领域的任务后，所计算出的该用户置信度不能准确反映其在某方面的领域能力；

(3)对于能力已知的用户，若不进一步更新在该领域的置信度，则不能精准地测评出用户当前的能力水平。

解决上述技术问题的难度和意义：

其意义在于(1)评估用户在某领域的能力是十分有必要和有价值的，用户在某领域的能力值可为用户推荐与之能力相匹配的资源进行学习、推荐该领域内与之能力相匹配的任务让其完成，并让他获得成就感。(2)对任务进行领域的划分是有必要的，这样评估出的用户在某领域内的置信度便具有较高的可靠性。同时根据用户在该领域内的置信度进行任务分配、标注时，其任务结果的可靠性也将大大提高。(3)该模型提出的用户置信度更新机制无论用户置信度是否收敛，均会进行计算更新，这样能保证在用户置信度已能反映用户能力后，随着时间推移进一步跟踪用户能力变化，确保最近更新的用户置信度反映的是当下用户的能力水平。

其难度在于领域划分边界的粒度，确保领域在同一级粒度下是比较困难的，同时对于任务分析其内容，可划分到不同领域下，在此情况下仍需考虑任务如何分配等问题

发明内容

针对现有技术存在的问题，本发明提供了一种基于众智任务的用户置信度分析方法及系统，

本发明是这样实现的，一种基于众智任务的用户置信度分析方法，包括：

用户选择任务领域，对用户在该领域的置信度初始化；

置信度已知的用户与置信度未知的用户共同完成系统发布的任务；

根据用户完成任务情况对用户置信度进行更新。

进一步，所述的用户选择任务领域，对用户在该领域的置信度初始化具体包括：

(1)设置可选的任务领域信息，主要包括任务所属学科、涉及年级、所对应的难度系数等，供用户选择；

(2)对用户所选某领域的置信度初始化。

进一步，对用户所选某领域的置信度初始化，具体包括：

用户选择任务领域，用于用户选择多领域任务；对于在某领域能力已知的用户，用于备注其他领域信息；在新领域内，用户的能力视为未知；

对于某领域能力未知的用户，在所述某领域内设置初始化置信度值；若用户在所述某领域内已有完成任务记录，则调取所述用户在所述某领域内的当前置信度。

进一步，所述的置信度已知的用户与置信度未知的用户共同完成系统发布的任务具体包括：

1)在某领域内，将任务分别发布给系统已知置信度的用户和系统暂未知置信度的用户，任务按照置信度一般可按未知用户数量:置信度已知用户数量＝1:4的比例进行分发；待用户完成提交后，系统记录每位用户的提交结果；

2)对众智任务结果进行整合，并计算整合结果的置信度；结合用户在所处领域下的置信度信息，若用户在所处领域下置信度已知，则系统按已知的置信度值进行计算，否则系统按照初始化值进行计算，结果的置信度模型公式如下：

其中C为整合结果的置信度，N为参与本次任务的用户总数，u_i为用户i在该领域下的置信度；

3)如果整合结果的置信度超过设定的任务置信度阈值，则判定所述任务此次标注有效，并将整合结果作为任务的最终结果；否则判定所述任务此次标注无效，需将整合结果重新列入任务队列，并为用户重新分配任务，重复整合结果判定结果步骤。

其中，任务置信度阈值是用来评估用户标注结果有效性的值，一般可设置为70％左右。若设置过低，会存在多个标注结果置信度超过其阈值；若设置过高，无标注结果超过阈值，这两种情况均会判定此次标注结果无效。

进一步，所述根据用户完成任务情况对用户置信度进行更新包括：

获取用户在所处领域的置信度、所处领域已完成的任务的完成情况以及本次任务的完成的情况，更新用户置信度；用户置信度更新模型如下:

UserCredit＝α*previousCredit+β*updatedCredit

其中previousCredit为用户在完成本次任务前的置信度，updatedCredit为用户在本次任务中的任务完成情况；α和β为用户置信度更新步长，α和β根据用户已完成的任务详情进行动态变化；

统计置信度未知的用户完成某领域内的任务数量，当所述某领域任务数量达到一定值时，该值一般设定为30-40左右，说明该用户已完成一定数量规格的该领域任务，可进一步计算当前更新的置信度结果与上一次计算的置信度结果的差值，当绝对值小于设定的阈值时，判定用户在所述某领域的置信度已知。其中，对比设定的阈值与用户置信度更新差量，可评判出此次更新的用户置信度是否收敛，若用户置信度值在0-1之间，其设定阈值一般为0.1。

本发明的另一目的在于提供一种实现所述基于众智任务的用户置信度分析方法的计算机程序。

本发明的另一目的在于提供一种实现所述基于众智任务的用户置信度分析方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于众智任务的用户置信度分析方法。

本发明的另一目的在于提供一种基于众智任务的用户置信度分析系统，包括：

置信度初始化单元，用于用户选择任务领域，对用户在该领域的置信度初始化；

发布任务单元，用于置信度已知的用户与置信度未知的用户共同完成系统发布的任务；

置信度更新模块，用于根据用户完成任务情况对用户置信度进行更新。

本发明的另一目的在于提供一种搭载所述基于众智任务的用户置信度分析系统的用于教育领域的基于众智任务的用户置信度分析设备。

综上所述，本发明的优点及积极效果为：

本发明提供的基于众智任务的用户置信度分析方法，具有在完成众智任务的过程中，通过模型完成每位用户在对应领域的置信度评估更新；对于能力未知的用户，完成一定数量的任务后，该用户的置信度能准确反映其在该领域的能力；对于能力已知的用户，进一步更新在该领域的置信度，能够更精准地测评出用户当前的能力水平效果。

本发明评估出每位用户在特定领域的真实能力。在某任务领域内，一定数量的用户在完成任务后，对全部参与用户的结果进行整合，并根据模型评价整合结果的置信度，若结果置信度达到要求，则利用算法模型更新用户置信度。用户在完成一定数量的任务后，置信度逐渐趋于稳定，即获得用户在该领域内的真实能力评估。

对每位用户在特定领域的能力评估能保证任务完成的高效性和可靠性，并在大众参与任务的形式下，实现资源的共创、共建、共享。

附图说明

图1是本发明实施例提供的基于众智任务的用户置信度分析方法流程图。

图2是本发明实施例提供的单个已知用户置信度的更新流程图。

图3是本发明实施例提供的单个未知用户置信度的更新流程图。

图4是本发明实施例提供的基于众智任务的用户置信度分析系统示意图。

图中：1、置信度初始化单元；2、发布任务单元；3、置信度更新模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明将一定量置信度已知的用户搭配一定量置信度暂未知的用户，使其同时完成该领域一定数量的任务，进而评估出置信度暂未知的用户能力，将置信度未知的用户变为置信度已知的用户，同时更新置信度已知的用户置信度，让置信度更为可信。

下面结合附图对本发明的应用原理做详细描述。

如图1所示，本发明提供的一种基于众智任务的用户置信度分析方法包括：

S101：用户选择任务领域，对用户在该领域的置信度初始化；

S102：置信度已知的用户与置信度未知的用户共同完成系统发布的任务；

S103：根据用户完成任务情况对用户置信度进行更新。

在S101中，本发明提供的用户选择任务领域，对用户在该领域的置信度初始化具体包括：

(1)设置可选的任务领域信息，供用户选择；

(2)对用户所选某领域的置信度初始化；

在S102中，本发明提供的置信度已知的用户与置信度未知的用户共同完成系统发布的任务具体包括：

a)在某领域内，将任务分别发布给置信度已知和置信度未知的用户，待用户完成后，回收全部任务结果；

b)对众智任务结果进行整合，并计算整合结果的置信度；

c)如果整合结果的置信度达到要求，则判定该任务通过，将整合结果作为任务的最终结果；否则判定任务完成失败，将其重新列入任务队列，并为用户重新分配任务；

在S103中，如图2所示，单个已知用户置信度的更新流程图。

如图3所示，单个未知用户置信度的更新流程图。

本发明提供的根据用户完成任务情况对用户置信度进行更新具体包括：

①获取用户在该领域的置信度、该领域已完成的任务数量以及本次任务的完成的情况，更新用户置信度；

②当未知该领域置信度的用户完成一定数量的任务后，对比更新置信度更新前后的差值，当绝对值小于设定的阈值时，即可判定用户在该领域的置信度已知。

下面结合实施例度基本发明的应用作进一步描述。

本发明实施例提供的一种基于众智任务的用户置信度分析方法包括：

S101，用户选择任务领域，对用户在该领域的置信度初始化。

(1)，设置可选的任务领域信息，主要包括任务所属学科、涉及年级、所对应的难度系数等，供用户选择。用户选择的精度越细化，推送到任务定位也越准确，计算出的用户在该领域下的置信度越可靠。如某用户可选择理工类任务，若进一步可选择理工类的数学，还可再细化至理工类的某年级某学期的数学。

(2)，对用户所选某领域的置信度初始化。

a，用户选择任务领域，允许用户选择多领域任务，即对于在某领域能力已知的用户，仍可以备注其他领域信息，在新领域内，该用户的能力将视为未知。

b，对于某领域能力未知的用户，在该领域内设置初始化置信度值，如某人在六年级下学期数学的置信度为0.2；若用户在该领域内已有完成任务记录，则调取该用户在该领域内的当前置信度。

S102，置信度已知的用户与置信度未知的用户共同完成系统发布的任务。

A，在某领域内，将任务分别发布给系统已知置信度的用户和系统暂未知置信度的用户，任务按照一定比例进行分发，一般可按置信度未知的用户数量:置信度已知的用户数量＝1:4的比例进行分发。待用户完成提交后，系统记录每位用户的提交结果。

B，对众智任务结果进行整合，并计算整合结果的置信度。结合用户在该领域下的置信度信息，若用户在该领域下置信度已知，则系统按已知的置信度值进行计算，否则系统按照初始化值进行计算，结果的置信度模型公式如下：

其中C为整合结果的置信度，N为参与本次任务的用户总数，u_i为用户i在该领域下的置信度。

C，如果整合结果的置信度超过设定的任务置信度阈值，则判定所述任务此次标注有效，并将整合结果作为任务的最终结果；否则判定所述任务此次标注无效，需将整合结果重新列入任务队列，并为用户重新分配任务，重复整合结果判定结果步骤。其中，任务置信度阈值是用来评估用户标注结果有效性的值，一般可设置为70％左右。若设置过低，会存在多个标注结果置信度超过其阈值；若设置过高，无标注结果超过阈值，这两种情况均会判定此次标注结果无效。

S103，根据用户完成任务情况对用户置信度进行更新。

①，获取用户在该领域的置信度、该领域已完成的任务的完成情况以及本次任务的完成的情况，更新用户置信度。用户置信度更新模型如下:

UserCredit＝α*previousCredit+β*updatedCredit

其中previousCredit为用户在完成本次任务前的置信度，updatedCredit为用户在本次任务中的任务完成情况。α和β为用户置信度更新步长，α和β根据用户已完成的任务详情进行动态变化，如某置信度未知的用户在刚开始答题时，α占比小，β占比大，该任务对该用户置信度更新影响大；置信度已知的用户在完成该任务时，α占比大，β占比小，该任务对此用户置信度更新影响小。

②，统计置信度未知的用户完成某领域内的任务数量，当所述某领域任务数量达到一定值时，该值一般设定为30-40左右，说明该用户已完成一定数量规格的该领域任务，可进一步计算当前更新的置信度结果与上一次计算的置信度结果的差值，当绝对值小于设定的阈值时，判定用户在所述某领域的置信度已知。其中，对比设定的阈值与用户置信度更新差量，可评判出此次更新的用户置信度是否收敛，若用户置信度值在0-1之间，其设定阈值一般为0.1。

如图4所示，本发明实施例提供的基于众智任务的用户置信度分析系统，包括：

置信度初始化单元1，用于用户选择任务领域，对用户在该领域的置信度初始化；

发布任务单元2，用于置信度已知的用户与置信度未知的用户共同完成系统发布的任务；

置信度更新模块3，用于根据用户完成任务情况对用户置信度进行更新。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于众智任务的用户置信度分析方法，其特征在于，所述的基于众智任务的用户置信度分析方法包括：

用户选择任务领域，对用户在该领域的置信度初始化；

置信度已知的用户与置信度未知的用户共同完成系统发布的任务；具体包括：

1)在某领域内，将任务分别发布给系统已知置信度的用户和系统暂未知置信度的用户，任务分配按照置信度未知用户数量:置信度已知用户数量＝1:4的比例进行分发；待用户完成提交后，系统记录每位用户的提交结果；

2)对众智任务结果进行整合，并计算整合结果的置信度；结合用户在所处领域下的置信度信息，若用户在所处领域下置信度已知，则系统按已知的置信度值进行计算，否则系统按照初始化值进行计算，结果的置信度模型公式如下：

其中C为用户标注结果的置信度，N为参与本次任务的用户总数，u_i为用户i在该领域下的置信度；

3)如果各标注结果的置信度超过设定的任务置信度阈值，则判定所述任务此次标注有效，并将整合结果作为任务的最终结果；否则判定所述任务此次标注无效，需将此次标注任务重新列入任务队列，并为用户重新分配任务，重复标注结果判定步骤；

其中，任务置信度阈值用来评估用户标注结果有效性的值，为70％；若设置过低，存在多个标注结果置信度超过其阈值，判定此次标注结果无效；若设置过高，无标注结果超过阈值，判定此次标注结果无效；

根据用户完成任务情况对用户置信度进行更新，包括：

获取用户在所处领域的置信度、所处领域已完成的任务的完成情况以及本次任务的完成的情况，更新用户置信度；用户置信度更新模型如下:

UserCredit＝α*previousCredit+β*updatedCredit；

其中previousCredit为用户在完成本次任务前的置信度，updatedCredit为用户在本次任务中的任务完成情况；α和β为用户置信度更新步长，α和β根据用户已完成的任务详情进行动态变化；

统计置信度未知的用户完成某领域内的任务数量，当所述某领域任务数量达到30-40时，所述用户已完成一定数量规格的所述领域任务，进一步计算当前更新的置信度结果与上一次计算的置信度结果的差值，当绝对值小于设定的阈值时，判定用户在所述某领域的置信度；

评判出此次更新的用户置信度是否收敛，若用户置信度值在0-1之间，设定阈值为0.1。

2.如权利要求1所述的基于众智任务的用户置信度分析方法，其特征在于，所述的用户选择任务领域，对用户在该领域的置信度初始化具体包括：

(1)设置可选的任务领域信息，包括任务所属学科、涉及年级、所对应的难度系数，供用户选择；

(2)对用户所选某领域的置信度初始化。

3.如权利要求2所述的基于众智任务的用户置信度分析方法，其特征在于，

对用户所选某领域的置信度初始化，具体包括：

用户选择任务领域，用于用户选择多领域任务；对于在某领域能力已知的用户，用于备注其他领域信息；在新领域内，用户的能力视为未知；

对于某领域能力未知的用户，在所述某领域内设置初始化置信度值；若用户在所述某领域内已有完成任务记录，则调取所述用户在所述某领域内的当前置信度。

4.一种实现权利要求1～3任意一项所述基于众智任务的用户置信度分析方法的信息数据处理终端。

5.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-3任意一项所述的基于众智任务的用户置信度分析方法。

Images