CN109711720B - 一种应用于群智感知的数据质量评估方法 - Google Patents

Abstract

本发明公开了一种应用于群智感知的数据质量评估方法，任务发布节点通过服务器发布任务，服务器根据可信度对完成任务的工作者进行选择并推送任务信息，工作者根据自身情况选择接受任务；将感知数据提交至服务器，服务器根据综合感知数据与各提交感知数据的工作者的可信度确定数据支持度，对各感知数据进行质量评级；服务器进行任务难度、历史服务衰减因子、风险因子计算，对完成该任务的工作者的可信度进行更新；最后服务器将结果数据提交给任务发布者，并根据各工作者提交的感知数据的质量等级进行报酬的分配。本发明评估方法综合分析后得到的结果数据降低了低质量数据对最终结果的影响，提高了任务发布者最终获得的任务结果的质量。

Description

一种应用于群智感知的数据质量评估方法

技术领域

本发明属于物联网技术领域，具体涉及一种应用于群智感知的数据质量评估方法。

背景技术

随着移动终端的大范围普及，其上嵌入的各种传感器为群智感知的发展提供了良好的硬件基础。相较于传统的固定传感器网络，群智感知有着低成本、大范围、及时便利等的优势。然而，由于携带终端的人群的复杂性，群智感知所得到的数据的质量往往是不可控的。一般而言，导致感知数据质量低下的原因大致可分为以下两方面：首先，由于不同移动终端上传感器良莠不齐，可能导致获得的感知数据不能满足任务的要求；其次，为了以最小代价获取报酬，存在少数恶意的工作者提交虚假数据的现象，这些数据也会影响到最终任务发布者获得的最终的结果数据的质量。为了解决群智感知中的数据质量问题，需要设计合适的数据质量评估方法，使得服务器可以根据工作者提交的感知数据的质量情况对发布者提供的报酬进行合理的分配，在提高工作者的积极性的同时提高数据质量，使投机取巧者无利可图。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种应用于群智感知的数据质量评估方法，提高了工作者的积极性，避免投机取巧的现象出现，并可以在下一次的任务中以可信度为参考对工作者进行选择。

本发明采用以下技术方案：

一种应用于群智感知的数据质量评估方法，任务发布节点通过服务器发布任务，服务器根据可信度对完成任务的工作者进行选择并推送任务信息，工作者根据自身情况选择接受任务；在工作者节点接受并完成任务后，工作者将感知数据提交至服务器，服务器接收数据；然后根据综合感知数据与各提交感知数据的工作者的可信度，确定各感知数据的数据支持度，计算结果数据并对各感知数据进行质量评级；服务器通过所取的数据，进行任务难度、历史服务衰减因子、风险因子计算，综合该任务的各数据的支持度对完成该任务的工作者的可信度进行更新；最后服务器将结果数据提交给任务发布者，并根据各工作者提交的感知数据的质量等级进行报酬的分配。

具体的，包括以下步骤：

S1、服务器根据任务类型为k的任务t中提交感知数据d的工作者节点w对类型任务k的可信度R_w,k进行计算并进行归一化处理，得到相应任务的感知数据d的数据支持度C_t,d；

S2、根据计算获得的数据支持度C_t,d计算任务t的结果数据RD_t；

S3、使用节点提交的感知数据与真值RD_t之间的偏差值，对感知数据的质量进行分级，得出各工作者对任务t完成情况的质量等级L_w,t；

S4、使用Dist_t表示任务t中感知数据的分布情况，确定任务的难易程度Diff_t，Dist_t越大，获得的感知数据的分布越分散，获取任务结果数据的难度越大；

S5、计算历史服务记录的时间衰减因子ρ_t；

S6、根据工作者节点的任务花费确定工作者节点的风险因子Ω_t；

S7、综合步骤S1～S6计算出的数据支持度C_t,d、任务难度Diff_t、历史服务记录衰减因子ρ_t和风险因子Ω_t对工作者节点完成该任务类型的可信度R_w,k进行计算，服务器根据感知数据的质量等级进行报酬分配并将结果数据提交给任务发布者；在下一次的任务中，服务器根据节点对各类型任务的可信度完成相应类型任务中的工作者节点的选择。

进一步的，步骤S1中，相应任务的感知数据d的数据支持度C_t,d计算如下：

其中，C_t'_,d为进行归一化运算前计算出的感知数据的支持度，D_t为任务t中获得的感知数据的集合；。

更进一步的，进行归一化运算前计算出的感知数据的支持度C_t'_,d计算如下：

其中，R_w,k为工作者w对任务类型k的任务的可信度；W_t,d为任务t中提供感知数据d的工作者集合；

为任务t中没有提供感知数据d的集合；N_t,d为任务t中提供感知数据d的工作者个数；N_t为任务t中提供感知数据的工作者个数。

进一步的，步骤S2中，任务t的结果数据RD_t计算如下：

其中，W_t,d为任务t中提供感知数据d的工作者集合；D_t为任务t中获得的感知数据的集合。

进一步的，步骤S3中，工作者对任务t完成情况的质量等级L_w,t计算如下：

其中，Devi_t,d为任务t中感知数据d与结果数据的偏离程度；UB_t为任务t中感知数据的可能的存在范围的上界；LB_t为任务t中感知数据的可能的存在范围的下界；L_w,t为工作者w在任务t中的任务完成情况的质量等级；α为确定各质量等级的范围大小的参数。

进一步的，步骤S4中，任务t的难易程度Diff_t计算如下：

其中，N_t,d为任务t中提供感知数据d的工作者个数；N_t为任务t中提供感知数据的工作者个数；D_t为任务t中感知数据的集合；W_t为任务t中提供感知数据的工作者集合；Cost_w为任务t中工作者w完成任务的花费。

进一步的，步骤S5中，根据当前时间戳H和工作者节点提供该任务感知数据时的时间戳h_t进行计算，得到任务t的时间衰减因子ρ_t如下：

其中，h_t为任务t的完成时刻所属的时间片；H为当前时刻所属的时间片。

进一步的，步骤S6中，工作者节点的风险因子Ω_t计算如下：

其中，W_t为任务t的工作者集合；Cost_w为工作者w的任务花费；Cost_t,max为任务t的最大花费；Cost_t,min为任务t的最小花费；N_t为任务t中提供感知数据的工作者个数。

进一步的，步骤S7中，工作者节点的可信度R_w,k计算如下：

其中，t_i为工作者w完成的离当前时刻最近的第i个k类型的任务；d_w,t为任务t中工作者w提交的感知数据；n为计算工作者节点可信度时使用的任务个数。

与现有技术相比，本发明至少具有以下有益效果：

本发明提出了一种应用于群智感知的数据质量评估的选择方法，可以综合工作者和感知数据情况得出任务的结果数据提交给任务发布者，大大提高了感知任务获得的结果数据的正确程度，避免了任务发布者面对大量质量参差的感知数据时无从选择和处理的情况；同时能够更好地评估工作者提交的各感知数据的质量、得出质量等级以便服务器根据贡献进行报酬分配，有效地提高了工作者的积极性，使恶意作假者无利可图；发明中对工作者和任务的各项因素进行了综合分析以更新工作者的可信度，有利于下一次任务中对工作者进行合理的选择。

进一步的，步骤S1通过对提交同一感知数据的各工作者的可信度的分析处理，得出该感知数据的的支持度，以此来科学地衡量各感知数据正确的可能性。

进一步的，步骤S2使用各感知数据进行加权求和计算出结果数据，将衡量感知数据正确的可能性的支持度作为其加权求和中的权值，使提交给任务发布者的结果数据的值能够更加接近实际的正确值。

进一步的，步骤S3根据各感知数据与结果数据的偏离值对感知数据的质量进行分级，便于服务器根据分级结果按贡献进行报酬的分配，提高工作者认真参与完成任务的积极性。

进一步的，步骤S4根据任务中感知数据的分布情况进行任务难度的计算，工作者提交的感知数据越分散、任务的成本越高，任务的难度越大；在工作者的可信度更新时将任务难度纳入考量，使最终得到的可信度更加合理，有利于在选择工作者时做出更好的决策。

进一步的，考虑到任务历史记录对工作者的现状的反映是随着时间衰减的，步骤S5计算了历史服务记录的时间衰减因子，在之后对工作者的可信度进行更新时使用，使计算出的可信度更加符合实际规律。

进一步的，步骤S6中计算了任务的风险因子，各工作者完成任务的成本越分散，工作者获得与其成本相匹配的报酬的风险就越大；在计算工作者的可信度时将完成任务的风险因子纳入考量，使工作者的可信度可以更加全面地反映工作者历史完成任务的情况。

进一步的，步骤S7综合前几个步骤中得出的任务难度、时间衰减因子和风险因子及工作者提交的感知数据的支持度，通过对工作者完成任务的历史情况的综合考量分析，进行工作者的可信度的计算，对工作者的任务态度和工作水平有了一个直观的数字上的衡量，便于服务器在选择工作者时进行合理的决定。

综上所述，本发明评估方法综合分析后得到的结果数据降低了低质量数据对最终结果的影响，提高了任务发布者最终获得的任务结果的质量。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明应用于群智感知的数据质量评估方法的框架图；

图2为平均运行时间；

图3为结果数据较真实值的偏移程度，其中，(a)为无恶意节点，(b)为存在恶意节点。

具体实施方式

本发明提供了一种应用于群智感知的数据质量评估方法，首先，任务发布节点通过服务器发布任务，服务器根据可信度对完成任务的工作者进行选择并推送任务信息，工作者根据自身情况选择接受任务；在工作者节点接受并完成任务后，工作者将感知数据提交至服务器，服务器接收数据；然后，服务器将综合感知数据与各提交感知数据的工作者的可信度，确定各感知数据的数据支持度，计算结果数据并对各感知数据进行质量评级；随后，服务器通过所取的数据，进行任务难度、历史服务衰减因子、风险因子的计算，最后综合该任务的各数据的支持度对完成该任务的工作者的可信度进行更新；最后，服务器将结果数据提交给任务发布者，并根据各工作者提交的感知数据的质量等级进行报酬的分配。

请参阅图1，本发明一种应用于群智感知的数据质量评估方法，包括任务发布者、服务器、携带移动终端设备的工作者，评估方法的核心由服务器完成，主要包括对数据质量的评估和可信度的更新，使得服务器可以按贡献对工作者进行报酬分配，在提高工作者积极性的同时得到高质量的结果数据，具体步骤如下：

S1、服务器根据任务类型为k的任务t中提交感知数据d的工作者节点w对类型任务k的可信度R_w,k进行计算并进行归一化处理，得到相应任务的感知数据d的数据支持度C_t,d；

进行归一化运算前计算出的感知数据的支持度C_t'_,d计算如下：

其中，提交感知数据d的工作者数量越多，该感知数据的数据支持度就越高；R_w,k为工作者w对任务类型k的任务的可信度；W_t,d为任务t中提供感知数据d的工作者集合；

为任务t中没有提供感知数据d的集合；N_t,d为任务t中提供感知数据d的工作者个数；N_t为任务t中提供感知数据的工作者个数；D_t为任务t中获得的感知数据的集合；C_t,d为进行归一化操作后任务t中数据d的支持度，即数据d在任务t中正确的可能性；

S2、根据计算获得的数据支持度C_t,d计算任务t的结果数据RD_t；

其中，W_t,d为任务t中提供感知数据d的工作者集合；D_t为任务t中获得的感知数据的集合；

S3、使用节点提交的感知数据与真值RD_t之间的偏差值，对感知数据的质量进行分级，得出各工作者对任务t完成情况的质量等级L_w,t；

其中，Devi_t,d为任务t中感知数据d与结果数据的偏离程度；UB_t为任务t中感知数据的可能的存在范围的上界；LB_t为任务t中感知数据的可能的存在范围的下界；L_w,t为工作者w在任务t中的任务完成情况的质量等级；α为确定各质量等级的范围大小的参数；

任务t中感知数据的可能的存在范围的上界UB_t由任务发布者提供或由工作者提交的感知数据的最大值决定；任务t中感知数据的可能的存在范围的下界LB_t由任务发布者提供或由工作者提交的感知数据的最小值决定；质量等级L_w,t等于0表示最优，等级数字越大质量越低，等于-1时意味着工作者提交了错误的数据。

S4、使用Dist_t来表示任务t中感知数据的分布情况，Dist_t越大，获得的感知数据的分布越分散，获取任务结果数据的难度越大，以此来确定任务的难易程度Diff_t；

任务t的难易程度Diff_t计算如下：

其中，N_t,d为任务t中提供感知数据d的工作者个数；N_t为任务t中提供感知数据的工作者个数；D_t为任务t中感知数据的集合；W_t为任务t中提供感知数据的工作者集合；Cost_w为任务t中工作者w完成任务的花费；

S5、计算历史服务记录的时间衰减因子ρ_t；

根据当前时间戳H和工作者节点提供该任务感知数据时的时间戳h_t进行计算，得到任务t的时间衰减因子ρ_t如下：

其中，h_t为任务t的完成时刻所属的时间片；H为当前时刻所属的时间片。

在计算时间衰减因子时，使用时间片的概念，将现实时刻划分为等段划分为时间片，而后再进行时间衰减因子的计算；

S6、根据工作者节点的任务花费确定工作者节点的风险因子Ω_t；

其中，W_t为任务t的工作者集合；Cost_w为工作者w的任务花费；Cost_t,max为任务t的最大花费；Cost_t,min为任务t的最小花费；N_t为任务t中提供感知数据的工作者个数；

任务t中工作者完成任务并获得报酬的风险因子Ω_t，各工作者完成任务的成本越分散代表着工作者完成任务后获得的足以匹配成本的报酬的风险越大。

S7、重新计算工作者节点的可信度R_w,k，综合前几步计算出的数据支持度C_t,d、任务难度Diff_t、历史服务记录衰减因子ρ_t和风险因子Ω_t对工作者节点完成该任务类型的可信度R_w,k进行计算

其中，t_i为工作者w完成的离当前时刻最近的第i个k类型的任务；d_w,t为任务t中工作者w提交的感知数据；n为计算工作者节点可信度时使用的任务个数。

服务器根据感知数据的质量等级进行报酬的分配并将结果数据提交给任务发布者；在下一次的任务中，服务器根据节点对各类型任务的可信度完成相应类型任务中的工作者节点的选择。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

使用UCI数据集进行仿真实验，对发明的可行性和效果进行评估如下：

在实验中，将工作者节点到任务地点的距离视为节点完成任务的成本。实验随机生成1600个不同的工作者节点，并在不同时间段发布了5种类型各100次任务；其中，各类型中，需要工作者数量为10的任务次数为20，需要工作者数量为30的任务次数为30，需要工作者数量为50的任务次数为30，需要工作者数量为100的任务次数为20。

实验结果表明：

(1)将本发明应用与群智感知系统中，其整体的运行时间(不考虑工作者完成任务所耗费的时间)如图2所示。可以看出，本发明方法的时间开销与参与任务的工作者数量存在正比关系，工作者数量越多，时间开销越大，但整体都保持在毫秒等级，符合实际感知任务中对时间开销的要求；

(2)如图3a所示，将本发明方法与简单均值处理、多数投票两种方法进行对比，通过三种方法得到的结果数据与数据集中正确数据的偏移程度(|结果数据-真实值|/真实值)来衡量各方法得到的结果数据质量情况。从图中可以看出，本发明方法得出的结果数据的偏移程度较小，有更高的质量，且其质量随着工作者数量的增多而提高。可见本方法有效地提高了结果数据的正确度，可以帮助任务发布者得到更高质量的数据；

(3)考虑到存在恶意者提交虚假数据获取报酬的情况，在实验中加入部分恶意节点，衡量三种方法所得到的结果数据的质量情况，实验结果如图3b所示。可以看出，本发明方法得出的结果数据的偏移程度虽然较加入恶意节点之前稍大，但与其他两种方法相比结果依然有更高的质量，可见本方法在恶意节点存在的情况下仍能有效地提高结果数据的正确度，帮助任务发布者得到更高质量的数据。

综上所述，本发明在时间开销、对数据质量的提高和对工作者积极性的提升等方面都有着很好的表现。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (4)

1.一种应用于群智感知的数据质量评估方法，其特征在于，任务发布节点通过服务器发布任务，服务器根据可信度对完成任务的工作者进行选择并推送任务信息，工作者根据自身情况选择接受任务；在工作者节点接受并完成任务后，工作者将感知数据提交至服务器，服务器接收数据；然后根据综合感知数据与各提交感知数据的工作者的可信度，确定各感知数据的数据支持度，计算结果数据并对各感知数据进行质量评级；服务器通过所取的数据，进行任务难度、历史服务衰减因子、风险因子计算，综合该任务的各数据的支持度对完成该任务的工作者的可信度进行更新；最后服务器将结果数据提交给任务发布者，并根据各工作者提交的感知数据的质量等级进行报酬的分配，包括以下步骤：

S1、服务器根据任务类型为k的任务t中提交感知数据d的工作者节点w对类型任务k的可信度R_w,k进行计算并进行归一化处理，得到相应任务的感知数据d的数据支持度C_t,d，相应任务的感知数据d的数据支持度C_t,d计算如下：

其中，C′_t,d为进行归一化运算前计算出的感知数据的支持度，D_t为任务t中获得的感知数据的集合；

进行归一化运算前计算出的感知数据的支持度C′_t,d计算如下：

其中，R_w,k为工作者w对任务类型k的任务的可信度；W_t,d为任务t中提供感知数据d的工作者集合；

为任务t中没有提供感知数据d的集合；N_t,d为任务t中提供感知数据d的工作者个数；N_t为任务t中提供感知数据的工作者个数；

S2、根据计算获得的数据支持度C_t,d计算任务t的结果数据RD_t；

S3、使用节点提交的感知数据与真值RD_t之间的偏差值，对感知数据的质量进行分级，得出各工作者对任务t完成情况的质量等级L_w,t；

S4、使用Dist_t表示任务t中感知数据的分布情况，确定任务的难易程度Diff_t，Dist_t越大，获得的感知数据的分布越分散，获取任务结果数据的难度越大；

S5、计算历史服务记录的时间衰减因子ρ_t，根据当前时间戳H和工作者节点提供该任务感知数据时的时间戳h_t进行计算，得到任务t的时间衰减因子ρ_t如下：

其中，h_t为任务t的完成时刻所属的时间片；H为当前时刻所属的时间片；

S6、根据工作者节点的任务花费确定工作者节点的风险因子Ω_t，工作者节点的风险因子Ω_t计算如下：

其中，W_t为任务t的工作者集合；Cost_w为工作者w的任务花费；Cost_t,max为任务t的最大花费；Cost_t,min为任务t的最小花费；N_t为任务t中提供感知数据的工作者个数；

S7、综合步骤S1～S6计算出的数据支持度C_t,d、任务难度Diff_t、历史服务记录的时间衰减因子ρ_t和风险因子Ω_t对工作者节点完成该任务类型的可信度R_w,k进行计算，服务器根据感知数据的质量等级进行报酬分配并将结果数据提交给任务发布者；在下一次的任务中，服务器根据节点对各类型任务的可信度完成相应类型任务中的工作者节点的选择，工作者节点的可信度R_w,k计算如下：

其中，t_i为工作者w完成的离当前时刻最近的第i个k类型的任务；d_w,t为任务t中工作者w提交的感知数据；n为计算工作者节点可信度时使用的任务个数。

2.根据权利要求1所述的应用于群智感知的数据质量评估方法，其特征在于，步骤S2中，任务t的结果数据RD_t计算如下：

其中，W_t,d为任务t中提供感知数据d的工作者集合；D_t为任务t中获得的感知数据的集合。

3.根据权利要求1所述的应用于群智感知的数据质量评估方法，其特征在于，步骤S3中，工作者对任务t完成情况的质量等级L_w,t计算如下：

其中，Devi_t,d为任务t中感知数据d与结果数据的偏离程度；UB_t为任务t中感知数据的可能的存在范围的上界；LB_t为任务t中感知数据的可能的存在范围的下界；L_w,t为工作者w在任务t中的任务完成情况的质量等级；α为确定各质量等级的范围大小的参数。

4.根据权利要求1所述的应用于群智感知的数据质量评估方法，其特征在于，步骤S4中，任务t的难易程度Diff_t计算如下：

其中，N_t,d为任务t中提供感知数据d的工作者个数；N_t为任务t中提供感知数据的工作者个数；D_t为任务t中感知数据的集合；W_t为任务t中提供感知数据的工作者集合；Cost_w为任务t中工作者w完成任务的花费。

Images