CN112990268A - 面向机器学习的视觉群智感知数据贡献度评价方法及系统 - Google Patents

Abstract

本发明公开面向机器学习的视觉群智感知数据贡献度评价方法，包括如下步骤：获取视觉群智感知任务，并根据视觉群智感知任务建立任务模型；获取图像数据，并根据图像数据建立图像模型；基于任务模型和图像模型对输入的待检测图像集进行图像分类与识别；基于分类与识别的结果对待检测图像集进行评估，计算数据集质量总评分；根据数据集质量总评分进行数据贡献度评价，获得待检测图像集的贡献度评分。本发明能够合理的对感知数据的视觉质量以及用户贡献度进行评价，并且能够在保障数据质量的基础上激励用户贡献更多的图片，以满足机器学习场景对图片的质量与数量要求。

Description

面向机器学习的视觉群智感知数据贡献度评价方法及系统

技术领域

本发明涉及机器学习技术领域，尤其涉及面向机器学习的视觉群智感知数据贡献度评价方法及系统。

背景技术

随着无线通信和传感器技术以及无线移动终端设备的爆炸式普及，市场上的手机和平板电脑等移动设备集成了越来越多的传感器，拥有越来越强大的计算和感知能力，群智感知作为一种新型的感知方式越来越广泛应用。大量的智能手机用户通过移动设备的传感器获取本地化的信息(如位置、上下文、噪声、交通等)，这些信息能够在云端进行聚合，以提供大规模的感知与社会智能挖掘。

移动设备内置摄像头、声音、陀螺仪、加速度等传感器，能够完成数值、音频、图像、视频等不同类型的感知任务，在这些感知方式中，使用移动设备内置的摄像头进行感知的方式近年来越来越受到学术界与工业界的重视。郭斌教授于2017年提出了视觉群智感知的概念，视觉群智感知是移动群智感知的一种特殊形式，要求用户以图像或视频的方式获取现实世界中感兴趣目标的细节信息，由于图像与视频能够提供较为丰富的信息，因而受到了广泛关注，在城市感知、场景识别、救灾、环境检测等方面广泛应用。近年来，机器学习应用于各个领域的数据分析，也成为推动移动群智感知应用的一个主要动力，视觉群智感知成为构建图像数据集的一种重要的数据获取方式。

目前，视觉群智感知已成为机器学习场景中构建图像数据集的一种重要方式，然而，用户提交的数据会存在图像语义不匹配、图像模糊、复制图像等数据质量问题，在机器学习场景中也需要激励用户贡献更多的多样型图像数据，以解决数据集图像数量不足的问题。

发明内容

针对以上问题，本发明设计了一种面向机器学习应用场景的视觉群智感知数据贡献度评价方法及系统，提出了同时考虑了数据质量及数量两个因素的贡献度评价方法，设计了一种融合多标签图像语义相似度、图像清晰度与重复度的视觉群智感知数据质量系数算法，在此基础上，提出综合考虑图像质量与数量的数据贡献度计算方法。实验结果表明，该方法能够合理的对感知数据的视觉质量以及用户贡献度进行评价，并且能够在保障数据质量的基础上激励用户贡献更多的图片，以满足机器学习场景对图片的质量与数量要求。

为了达到上述目的，本发明的技术方案如下：

面向机器学习的视觉群智感知数据贡献度评价方法，包括如下步骤：

发布视觉群智感知任务，并根据视觉群智感知任务建立任务模型；

任务参与者提交图像数据，并根据图像数据建立图像模型；

基于任务模型和图像模型将任务参与者提交的图像集数据通过图像分类模型自动识别图像特征，所述图像特征至少包括图像语义相似度、清晰度、重复度；

基于图像分类模型识别的图像特征，对图像集数据进行评估，计算图像数据集质量总评分；

根据图像集质量总评分进行数据贡献度评价，获得待检测图像集的贡献度评分。

优选地，所述根据视觉群智感知任务建立任务模型，具体是通过一个七元组定义任务模型，所述七元组为：

task＝<tid,time,site_set,desc,cost,pic_num,vc_constrain_set>其中，tid为任务标识符，time为任务的执行时间限制，site_set为执行任务的地点约束条件集合，desc为任务的说明信息，cost为任务发布方为该任务提供的最大奖励预算，pic_num为需要采集的图片或视频最小数量，vc_constrain_set是群智感知任务在视觉方面的约束属性，其中vc_semantic为图像内容语义约束，为用于定义图像内容的一组标签及权值集合。

优选地，所述图像内容语义约束可定义为：

vc_semantic＝{s₁,s₂,…,s_m}

其中，m为图像中要求的语义标签数量，s_m采用一个二元组来定义任务的语义标签及其权重，s_m＝<Γ_m,w_m>，Γ_m为第m个语义标签的标签序列，

R为标签数量，一组标签序列中的标签之间为或关系，w_m为第m个标签序列的权重。

优选地，根据图像数据建立图像模型，具体是通过十元组定义图片模型，所述十元组为：pic＝<pid,tid,wid,img,ts,loc,dir,light,lables,qlty>其中，pid为图像标识符；tid为任务标识符；wid为参与人标识符；img为图像内容；ts为图像的时间戳；loc为图片的位置信息，为移动设备的GPS信息，包含经度及纬度；dir为图片拍摄时的方向信息，包含了移动设备的加速度传感器及陀螺仪传感器感知的数据；light为移动设备的光线传感器感知的数据；lables为图片内容的语义标签，反映了图片内容目标，基于深度学习分类器自动识别图像后生成；qlty用于描述图像的视觉质量。

基于任务模型和图像模型对输入的待检测图像通过图像分类器自动识别图像特征，具体包括以下步骤：

采用卷积神经网络分别构建图像语义识别器、图像清晰度分类器和重复图像检测器；

通过图像语义识别器对待检测图像进行多标签语义特征识别；

通过图像清晰度分类器对待检测图像进行清晰度特征识别；

通过重复图像检测器对待检测图像的重复性特征进行自动检测，对原图复制、旋转、裁剪操作生成相似度较高的图像特征进行识别。

优选地，所述重复图像检测器对待检测图像的重复性特征进行自动检测中采用ORB算法提取低阶特征，同时采用卷积神经网络提取高阶特征，低阶特征及高阶特征进行融合后计算出两个图像重复度。

优选地，所述基于图像分类模型识别的图像特征，对图像集数据进行评估，计算图像数据集质量总评分，具体包括如下步骤：

a、计算待检测图像集中第i个图像的语义相似度S(I_i)：

取出图像语义识别器的多标签语义分类结果，计算任务语义约束

vc_semantic的m个标签序列与图像的n个分类标签之间的语义距离，结果为一个m*n的二维向量，从每个标签序列中取出其中的最大值*权重作为该标签的语义相似度，计算公式如下所示：

where r＝1，2，...R

式中，

为标签

与u_j的语义距离计算函数，w_i为任务语义约束中定义的语义标签权重，c_j为通过图像分类器自动分类出标签u_j的置信度系数，c_j计算公式如公式(3)所示：

式中，q_j为经过图像语义识别器自动分类出标签u_j的置信度，θ为语义距离阈值；

b、计算待检测图像集中第i个图像清晰度得分B(I_i)：

图像I_i经图像清晰度分类器自动识别后，输出结果为图像I_i的清晰度类别L_j及其置信度ε_j，按照公式(4)计算清晰度分类L_j的分值，公式如下所示：

式中，H、M、L为图像清晰度分类器将图像清晰度分为高、中、低三种类别；

然后，采用公式(5)计算图像清晰度分数，公式如下所示：

式中，g(L_j)为分类标签对应的分值，ε_j为分类器输出清晰度分类L_j的置信度；

c、计算待检测图像集中第i张图像重复度得分D(I_i)：

计算待检测图像集I中第i张图像的重复度得分，计算公式如下所示：

式中，N为图像集I的图像数量，Dup(i，j)为两个图像重复度分值，计算公式如下所示：

式中，sim(I_i，I_j)为采用重复图像检测器输出的最佳特征点比例，其值越大则两图像间越相似，相应的重复度分值越低，E为图像相似度阈值，当sim(I_i，I_j)小于E时则认为两为I_i与I_j不存在重复关系，重复度分值则为1；

d、计算待检测图像集的质量总评分Q(k)，公式如下所示：

式中，ε,δ,φ分别为语义相似度、清晰度、重复度的权重，且ε+δ+φ＝1，0≦Q(k)≦N。

优选地，所述待检测图像集的贡献度评分的计算公式如下所示：

式中，g为增益参数，Z为任务要求的图片数量最小值约束。

面向机器学习的视觉群智感知数据贡献度评价系统，包括任务模型、图像模型、图像分类器和数据评估器，其中，

所述任务模型，用于定义视觉群智感知任务中的任务基本信息以及任务约束条件；

所述图像模型，用于定义用户提交的图像数据，所述图像数据包括图像文件、图像基本信息，以及图像的光照照、位置上下文信息；

所述图像分类器，用于对图像相关特征进行自动分类与识别的基于机器学习的分类器；

所述数据评估器，用于对用户提交的图像数据集进行数据质量及贡献度评价，根据任务请求者要求的视觉约束，结合图像分类器对图像相关特征的分类结果，通过图像语义相似度、图像清晰度、图像重复度三个维度计算图像质量评分，并在此基础上使用质量与数量融合的贡献度算法计算最终的数据贡献度得分。

优选地，所述图像分类器包括图像语义识别器、图像清晰度分类器和重复图像检测器，其中，

所述图像语义识别器，用于识别出图片中的场景及物体的语义，输出语义标签及其置信度；

所述图像清晰度分类器，用于将图片自动分类为高、中、低三种类型；

所述重复图像检测器，用于提取图像近重复性特征，采用卷积神经网络提取图像的全局高阶特征，并与使用ORB算法提取的低阶特征进行融合，对原图复制、旋转、裁剪操作生成相似度较高的图像特征进行识别。

基于上述技术方案，本发明的有益效果是：本发明主要解决的是视觉群智感知在深度学习场景中对用户提交的图像数据进行评价的问题，现有技术主要以激励用户提交高质量的照片为目标，主要对图像的视觉质量、图像相似度等方面进行评价。然而在深度学习场景中，由于深度学习图像数据集要求具有足够数量的数据，并要求图像具有多样性，既要求用户贡献高质量的图像，也允许用户贡献大量低质量的图片，因此，现有的以数据质量为评价目标的方法并不适用于构建深度学习数据集的应用场景。与现有的群智感知技术采用数据质量为评价指标不同，本发明采用了用户贡献度作为评价指标，融合多标签图像语义相似度、图像清晰度与重复度三个维度计算视觉群智感知数据质量，在此基础上提出同时考虑图像质量与数量的数据贡献度计算方法，对于质量不高的图像，可通过数量来提高贡献度分值。实验结果表明，该方法能够合理的对感知数据的视觉质量以及用户贡献度进行评价，并且能够在保障数据质量的基础上激励用户贡献更多的图片，以满足机器学习场景对图片的质量与数量要求。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1：本发明面向机器学习的视觉群智感知数据贡献度评价方法流程图；

图2：本发明面向机器学习的视觉群智感知数据贡献度评价方法中不同类别清晰度的图像示例；

图3：本发明面向机器学习的视觉群智感知数据贡献度评价方法中，增益参数g＝6时，任务要求的图片数量最小值约束值N分别为10和6时，数据贡献度评分λ_k的函数曲线图；

图4：本发明面向机器学习的视觉群智感知数据贡献度评价方法中图像语义相似度计算结果；

图5：皮尔逊相关系数对比结果；

图6：数据质量评价系数对比结果，其中，a是User1的数据质量评价系数对比结果，b是User2的数据质量评价系数对比结果，c是User3的数据质量评价系数对比结果，d是User4的数据质量评价系数对比结果；

图7：本发明面向机器学习的视觉群智感知数据贡献度评价系统的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一

如图1至6所示，本发明面向机器学习的视觉群智感知数据贡献度评价方法，是一种包括图像语义、清晰度、重复度三个因素的视觉群智感知数据质量评价方法，与其他的图像质量评价方法不同的是，除了考虑图片的视觉质量外还加上了图像语义相似度的评价，结果表明该方法能够对内容不相关、图片复制、模糊图像等情况正确评价。针对机器学习应用场景下的视觉群智感知的特点，设计了基于用户贡献度的数据质量评价算法，同时考虑了图片数据质量及数量两个因素，该方法包括如下步骤：获取视觉群智感知任务，并根据视觉群智感知任务建立任务模型；获取图像数据，并根据图像数据建立图像模型；基于任务模型和图像模型对输入的待检测图像集进行图像分类与识别；基于分类与识别的结果对待检测图像集进行评估，计算数据集质量总评分；根据数据集质量总评分进行数据贡献度评价，获得待检测图像集的贡献度评分。本发明将图像语义相似度、图像清晰度、图像重复度三个维度作为数据质量的主要评价指标计算每张图片的质量得分，现对图像语义相似度、图像清晰度、图像重复度具体说明如下，

a、多标签图像语义相似度

当任务请求方发布视觉群智感知任务时，除了采集图片的时间、地点等常规要求外，通常还会对图片内容或拍摄目标提出要求，然而，用户为了完成任务，有可能会提交与任务要求不相关的图片。为解决此问题，任务请求方可以发布任务时可以设置图像内容的语义标签作为约束条件，当用户提交图片时，服务器端采用基于卷积神经网络的分类器识别出图像内容语义，并计算任务要求的图像语义与用户提交的图片语义之间的相似度。

对于一个群智感知任务，任务发布方要求的图片语义约束参数可定义为：

vc_semantic＝{s₁,s₂,…,s_m}

式中，m为图像中要求的语义标签数量，s_m采用一个二元组来定义任务的语义标签及其权重，s_m＝<Γ_m,w_m>，Γ_m为第m个语义标签的标签名称序列，

R为标签序列数量，

之间为或关系，w_m为第m个语义标签的权重。例如，生态环境视觉群智感知任务，vc_semantic＝{<{河流,湖泊,溪流,水体瀑布},0.6>，{<草地,草原,山峦,峡谷},0.4>}。用户提交图片后采用物体识别或场景识别分类器进行多标签分类，分类出topN的标签，用户提交的第k张图像标签为wp_k＝{μ₁,μ₂,…,μ_n}，μ_n为分类器输出分类结果，为二元组μ_n＝<lable,score>，lable为图像语义标签,score为标签对应的置信度值，例如wp_k＝{<树,0.8>，<峡谷,0.7>，<江河,0.4>，<风景,0.2>，<天空,0.6>}。

取出图像语义识别器的多标签语义分类结果，计算任务语义约束

vc_semantic的m个标签序列与图像的n个分类标签之间的语义距离，结果为一个m*n的二维向量，从每个标签序列中取出其中的最大值*权重作为该标签的语义相似度，计算公式如下所示：

wherer＝1，2，...R

式中，

为标签

与u_j的语义距离计算函数，W_i为任务语义约束中定义的语义标签权重，c_j为通过图像分类器自动分类出标签u_j的置信度系数，c_j计算公式如公式(3)所示：

式中，q_j为经过图像语义识别器自动分类出标签u_j的置信度，θ为语义距离阈值。

采用公式(2)及公式(3)计算第k张图片的语义相似度如算法1所示。

b、图像清晰度

图像的清晰度是衡量图像质量优劣的重要指标，它能够较好的与人的主观感受相对应，图像的清晰度不高表现出图像的模糊,从而影响到群智感知的数据质量，因此，本发明将图像清晰度作为评价数据质量的重要指标之一。卷积神经网络(CNN)在图像分类及图像特征提出方面具有较强优势，本发明采用CNN来构建图像清晰度分类器，使用清晰度较高的公开图像数据集作为原始图像，经过高斯模糊处理后作为深度学习的数据集训练模型，高斯模糊的计算如公式(12)所示:

其中σ为模糊半径，该参数决定了图像的模糊程度，σ越大图像越模糊。为了能够较好的区分图像的模糊程序，以便提高分类的精确度，本发明将M(中)类别的图像σ设置为2，L(低)类别的图像σ设置为5，H(高)、M(中)、L(低)三种类别的示例如图2所示。

通过分类标签为H(高)、M(中)、L(低),对应的分值如公式4所示：

第k张图片I_k经清晰度分类器(Shapness Classfier)分类后的标签集L_k＝{L_k1,L_j2,...,L_kn}，基中n为标签数量，L_kn∈{H,M,L}，则计算图像清晰度分数如公式5所示：

其中g(L_j)为分类标签对应的分值，如公式(4)所示，ε_j为分类器输出清晰度分类L_j的置信度。在构建训练集时分别将σ设置为2、5、7来构建模糊程度H(高)、M(中)、L(低)三种类别的数据集，然而由于用户上传图片的模糊程度具多样性，很难精确分为这三种类别，为了得到图片清晰度的合理分值，本发明采用分类器输出的置信度ε_j作为模糊度系数。

c、图像重复度

图像重复度主要用于检测用户通过对原图复制、旋转、裁剪等操作生成相似度较高的图片。采用卷积神经网络(CNN)提取图像的全局高阶特征，并与使用ORB提取的低阶特征进行融合，使用欧式距离完成相似度计算。两个图像重复度分值如公式(7)所示：

其中I_i,I_j∈I，为用户User_K上传的图像集I中的两副图像，sim(I_i,I_j)为图像I_i与I_j采用CNN+ORB提取的最佳特征点比例，其值越大则两图像间越相似，相应的重复度分值越低，E为图像相似度阈值，当sim(I_i,I_j)小于h时则认为两为I_i与I_j不存在重复关系，重复度分值则为1。计算用户User_K提交的图片集I的图像重复度如公式(6)所示：

d、数据贡献度评价

在图像质量评价基础上，针对机器学习图像数据集对图片数量及多样性的要求，设计了一种同时考虑图片质量与数量的贡献度评价方法。

对用户User_K上传的图片集I＝{I₁,I₂,...,I_N}中的每张图片采用图像语义相似度、清晰度、重复度三个指标进行评分，取加权平均值作为第i张图片的数据质量评分，图片集I_k的总评分Q(k)如公式(1)所示。

其中，ε,δ,φ为权重，且ε+δ+φ＝1，0≦Q(k)≦N。

用户的贡献度除了与数据质量有关外，还与数据数量相关，特别是对于机器学习场景下的视觉群智感知，感知任务要求用户能够提交大量的图片。为了同时考虑数据质量与数量对用户贡献度的影响，在得到用户UserK上传的图片集质量总评分Q(k)基础上，使用sigmoid函数对图像质量得分进行归一化处理，通过sigmoid函数使每个用户的得分都分布在[0,1]之间，当x小于阈值时y为凹函数，y值增加速率较高，这样就使得在数据质量较低时，能够随着图片数量及质量的提高快速提高质量评分，当x大于阈值时y为凸函数，y值增加速率减慢，这样就使得在数据质量已经较高的情况下，用户若要再提高质量评分更加困难，需付出更大的努力增加图片数量及质量。在机器学习的应用场景中，对质量的要求是高质量占大多数，但也需要有不同质量的图片，深度学习的数据集需要大量的图片，因此在代价最小化的前提下还要实现图片数量的最大化，sigmoid函数能够较好的符合机器学习要求的图片数据特征，经过对sigmoid函数的修改，采用公式(9)计算同时考虑数量与质量的数据贡献度评分λ_k。

其中，g为增益参数，Z为任务要求的图片数量最小值约束，Q(k)为用户UserK的数据质量总分，为采用图像语义相关度(S)、图像清晰度(B)、图像重复度(D)三个维度计算用户上传的图像集总评分，计算公式如公式(1)。设g＝6，则用户上传高质量的N张图片后λ_k＝0.9975，即可获得满分，上传高质量的N/2张图片后λ_k＝0.5，即可获得满分的一半，上传0张图则λ_k＝0.002，约等于0分，N的值分别10及6时λ_k的函数曲线如图3所示，Q(k)值与图片数量成正比关系，但由于最终的质量评分使用了sigmoid函数，Q(k)值较大时质量评分增长缓慢，并且不会超过1，用户提交高质量的N张图片即可接近满分，但还可以通过增加图片数量继续提高评分，从而激励用户提交更多的图片。

实验结果及分析

1.1、感知任务

设计一个生态环境视觉群智感知任务，任务为采集湖泊、江河等水质观测数据，包括各观测点GPS以及水质观测照片，根据照片包含水环境(溪流、江河、湖泊等)以及植物等与生态环境相关的要素，任务请求方要求的图像语义约束如下：

vc_semantic＝[{'labels':['河流','湖泊','溪流','水','瀑布','池塘',”],'weight':0.8},{'labels':['山','草地','树','植物','峡'],'weight':0.2}]

1.2、评价指标

为了正确评价本发明的语义相似度算法，采用本发明算法以及如下两种方法进行对比分析：

直接使用OpenHowNet的词语语义相似度计算API(算法2)，对于用户上传图片经分类器识别出的Top5每个标签与任务要求的图像标签，基于HowNet中定义好的概念知识库直接使用OpenHowNet计算两个词语的最大相似度。

不考虑图像语义相关性指标(算法3),也就是相似度分值接近1，为了进行皮尔森(Pearson)相关系数计算，取为0.9～1之间的随机数。

采用皮尔森(Pearson)相关系数作为评价相关性计算算法好坏的评价标准，由5名志愿者对5位用户上传的图片根据任务要求进行相关度评分，评分值为1～5分，5分为最好，4分为较好，3分为好，2分为一般，1分为差，评分经过归一化处理后换算为0～1之间的值，分别对采用三种方法计算的相似度分值与人工评分值计算皮尔森(Pearson)相关系数，值越大则相关性越好。皮尔森(Pearson)相关系数计算如公式(10)：

其中x为三种方法计算的相似度分向量，y为相似度的人工评分。

1.3、实验结果与分析

由5个用户各上传10张照片，计算每张照片的语义相似度分值以及用户上传的图片集的平均分值，计算结果如表1所示。图4为User1上传的图片及其相关度计算分值，S为采用本发明算法计算的相似度分值，M为人工评价分值，User1上传的10张图片中,仅最后2张与感知任务的图像要求相关度较低，其余8张图均较好的符合要求，采用本发明算法计算的相似度与人工评分基本相符。

表1图像语义相似度分值

各算法的皮尔逊(Pearson)相关系数值如表2所示。通过图5可以看出，在三种算法中本发明算相关度计算准确最高，对比算法2，加入权重及图像分类置信度计算后准确度有明显提升，算法3相关度准确性最差，表明如果对用户上传的图像不进行相关性计算，将会大大降低对群智感知数据质量的判定准确性，对用户的奖励计算准确性也会带来较大影响。

表2图像语义相似度与人工评分间的皮尔逊相关系数

2、图像清晰度

从NUS-wide-128数据集中选取了3750张图片，经过公式4的高斯模糊方法进行处理，每个分类为1250张图片，使用EasyDL的图像分类预训练模型进行迁移学习，训练出的图像清晰度分类模型准确率及召回率分别达到了99.7％及99.6％。

3、图像重复度

从NUS-wide-128数据集中选取五组图片模拟5个用户上传的图像集，每个用户10张图片，并对其中的图片作旋转、裁剪、调色，以模拟图片的复制性操作，数据及复制性分值计算如表所示，Normal为正常图片数量，AbNormal存在旋转、裁剪等复制性操作的异常图片，GT为正常图片记1分、异常图片记0分后的人工打分分值，D为本发明算法的图像重度度评分，ACC为准确率，通过表3可见，本发明算法能够正确识别具有复制关系的图像，能够获得较为准确的评分。

表3图像重复度评分性能对比

4、数据贡献度评分

4.1、实验设置

为了对公式(10)基于的数据贡献度评价方法进行性能评估，从NUS-wide-128数据集中随机选取4组图片，对图片进行模糊、复制、裁剪、拉伸等操作，模拟4个用户提交的图片集，采用公式(10)计算每张图片的数据质量评价系数，构建的测试数据集图片数量如表4所示。

表4数据质量评价测试数据集

为了对本发明提出的基于贡献度的数据质量评价系数(本发明算法Contribution方法)进行性能评估，设计一个如公式(11)所示的基于平均值的数据质量评价系数(Mean算法)进行对比分析。

其中，Z为任务要求的最小图片数量约束，m为用户提交的图片数量，Q(k)为用户userk按公式(1)计算的数据质量总评分。

4.2、实验结果

对5.4.1中设置的4个图片集采用两种方法分别计算数据质量评价系数，任务要求的最小图片数量约束N＝10，Contribution方法的斜率参数g＝6，计算结果如图6所示。User1共提交了25张图片，但图片质量都不高，通过图6a可以看出，采用Mean方法时，当图片数量达到10以后，由于提交了质量不高的图片，整个图片集的数据质量评价系数将受到平均值的影响而降低，将会影响用户提交更多图片的积极性；采用Contribution方法时，虽然用户提交10张图片的评价系数还不高，但可以通过提交更多的图片提高评价系数，当用户提交25张图片时评价系统接近1.0，从而激励用户提交更多的图片；通过图6b图可以看出，user2的评价系数在0.2至0.8之间时Contribution方法能够通过增加质量较高的图片数量能够快速提升评价系数，提升速率比Mean方法要快得；图6c显示出user3提交的前10张图片质量均非常高，第11、12张质量略有下降，如果使用Mean方法会造成评价系数降低，将迫使用户删除第11、12张图片，但Contribution方法却使评价系数缓慢提升，用户将会提交第11、12张；图6d显示出user4提交10张图片质量均较低，Contribution方法的评价系数要低于Mean方法，从而在未达到最低图片数量要求前，对低质量的图片起到更好的限制作用。

通过上述4个图片集实验结果的对比分析可以看出，本发明采用的基于贡献度的评价方法同时关注了图片的质量与数量，用户可以通过高质量的图片获得较高评分，也可以通过提交较多的、不同质量的图片来提高评分。

如图7所示，面向机器学习的视觉群智感知数据贡献度评价系统，包括任务模块、图像模型、图像分类器和数据评估器四部分组成，视觉群智感知任务虽然是以图像数据感知为主，但是感知任务同样具有多样性，为了可以定义具有不同类型需求和约束的任务，需要建立灵活的多任务模型。本发明的视觉群智感知系统模型由任务模型和图像模型组成，具体说明如下：

1、任务模型

为了收集高度相关的数据，任务发布者需要为图片的采集与质量评价定义多维度的约束，任务的定义要使用可量化的参数来指导图片采集。因此，视觉群智感知任务的定义由时间、地点、图片数量等多个元素组成，一个任务可以表述为一个七元组：

tsk＝<tid,time,site_set,desc,cost,pic_num,vc_constrain_set>

其中，tid为任务标识符，time为任务的执行时间限制，包括任务开始时间及结束时间。site_set为执行任务的地点约束条件集合，一个任务可以有多个地点，每个地点定义为一个三个元组<loingitude,latitude,radius>，分别表示中心点经纬度及半径。desc为任务的说明信息，cost为任务发布方为该任务提供的最大奖励预算，pic_num为需要采集的图片或视频最小数量。在这里并没有定义任务参与者的人数，参与者人数是服务器端系统在招募参与者时，根据cost、pic_num这两个参数，以及参与者声誉值、报价等信息，以效用最大化为目标而确定人数。

以上这些参数为移动群智感知任务的通用参数，在本发明重点讨论的视觉群智感知中，vc_constrain_set是一个对数据质量起到关键作用的参数，他表示感知任务在视觉方面的约束集合。为适应机器学习场景中图像多样性的要求，可以对任务的视觉约束进行灵活定义。这里列举几个经常使用的约束参数，vc_g是地理距离的阈值，感知数据在vc_g范围之内将视为是冗余的；vc_a为对同一目标的多视角拍摄角度约束；vc_light为获图片的环境光线强度约束；vc_sim为图像相似度阈值，相似度超过该值的将被删除，以减小数据冗余；vc_blur为图像清晰度参数，用于约束图像的清晰度；vc_s为图像内容语义参数，为用于定义图像内容的一组标签及权值集合。vc_sim、vc_blur及vc_semantic这三个参数对于机器学习场景的数据质量控制尤其重要。

2、图像模型

在视觉群智感知任务中感知的数据主要是图片或视频，当参与者拍摄照片时，移动设备会同时记录下除了图像之外的上下文信息。为了表达图像及其上下文信息，本发明通过一个十元组定义图片模型：

pic＝<pid,tid,wid,img,ts,loc,dir,light,lables,qlty>

其中，pid为图片标识符，tid为任务标识符，wid为参与人标识符，img为图像内容，ts为图片的时间戳，这些元素描述图片的基本信息。loc、dir、light描述的是图片的上下文信息，loc为图片的位置信息，为移动设备的GPS信息，包含经度及纬度；dir为图片拍摄时的方向信息，包含了移动设备的加速度传感器及陀螺仪传感器感知的数据，可以计算出图片拍摄方向；light为移动设备的光线传感器感知的数据，反映了图片的环境光线强度。lables为图片内容的语义标签，反映了图片内容目标，是本发明针对机器学习场景下的视觉群智感知而设置的特殊元素，基于深度学习分类器自动识别图像后生成，是本发明中进行图像语义匹配度计算的关键参数。qlty用于描述图片的视觉质量，在本发明中也是通过深度学习分类器对图像质量自动识别后生成。

3、图像分类器

图像分类器为用于对图像相关特征进行自动分类与识别的各种基于机器学习的分类器，其中，图像语义识别器用于识别出图片中的场景及物体的语义，输出语义标签及其置信度，图像清晰度分类器用于将图片自动分类为高、中、低三种类型，复度检测器用于提取图像近重复性特征。

4、数据评估器

数据评估器用于对用户提交的图像数据集进行数据质量及贡献度评价，根据任务请求者要求的视觉约束，结合图像分类器对图像相关特征的分类结果，通过图像语义相似度、图像清晰度、图像重复度三个维度计算图像质量评分，并在此基础上使用质量与数量融合的贡献度算法计算最终的数据贡献度得分。

以上所述仅为本发明所公开的面向机器学习的视觉群智感知数据贡献度评价方法及系统的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书实施例中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.面向机器学习的视觉群智感知数据贡献度评价方法，其特征在于，包括如下步骤：

发布视觉群智感知任务，并根据视觉群智感知任务建立任务模型；

任务参与者提交图像数据，并根据图像数据建立图像模型；

基于任务模型和图像模型将任务参与者提交的图像集数据通过图像分类模型自动识别图像特征，所述图像特征至少包括图像语义相似度、清晰度、重复度；

基于图像分类模型识别的图像特征，对图像集数据进行评估，计算图像数据集质量总评分；

根据图像集质量总评分进行数据贡献度评价，获得待检测图像集的贡献度评分。

2.根据权利要求1所述的面向机器学习的视觉群智感知数据贡献度评价方法，其特征在于，所述根据视觉群智感知任务建立任务模型，具体是通过一个七元组定义任务模型，所述七元组为：

task＝<tid,time,site_set,desc,cost,pic_num,vc_constrain_set>

其中，tid为任务标识符，time为任务的执行时间限制，site_set为执行任务的地点约束条件集合，desc为任务的说明信息，cost为任务发布方为该任务提供的最大奖励预算，pic_num为需要采集的图片或视频最小数量，vc_constrain_set是群智感知任务在视觉方面的约束属性，其中

vc_semantic为图像内容语义约束，为用于定义图像内容的一组标签及权值集合。

3.根据权利要求2所述的面向机器学习的视觉群智感知数据贡献度评价方法，其特征在于，所述图像内容语义约束可定义为：

vc_semantic＝{s₁,s₂,…,s_m}

其中，m为图像中要求的语义标签数量，s_m采用一个二元组来定义任务的语义标签及其权重，s_m＝<Γ_m,w_m>，Γ_m为第m个语义标签的标签序列，

R为标签数量，一组标签序列中的标签之间为或关系，w_m为第m个标签序列的权重。

4.根据权利要求1所述的面向机器学习的视觉群智感知数据贡献度评价方法，其特征在于，根据图像数据建立图像模型，具体是通过十元组定义图片模型，所述十元组为：

pic＝<pid,tid,wid,img,ts,loc,dir,light,lables,qlty>

其中，pid为图像标识符；tid为任务标识符；wid为参与人标识符；img为图像内容；ts为图像的时间戳；loc为图片的位置信息，为移动设备的GPS信息，包含经度及纬度；dir为图片拍摄时的方向信息，包含了移动设备的加速度传感器及陀螺仪传感器感知的数据；light为移动设备的光线传感器感知的数据；lables为图片内容的语义标签，反映了图片内容目标，基于深度学习分类器自动识别图像后生成；qlty用于描述图像的视觉质量。

5.根据权利要求1所述的面向机器学习的视觉群智感知数据贡献度评价方法，其特征在于，基于任务模型和图像模型对输入的待检测图像通过图像分类器自动识别图像特征，具体包括以下步骤：

采用卷积神经网络分别构建图像语义识别器、图像清晰度分类器和重复图像检测器；

通过图像语义识别器对待检测图像进行多标签语义特征识别；

通过图像清晰度分类器对待检测图像进行清晰度特征识别；

通过重复图像检测器对待检测图像的重复性特征进行自动检测，对原图复制、旋转、裁剪操作生成相似度较高的图像特征进行识别。

6.根据权利要求5所述的面向机器学习的视觉群智感知数据贡献度评价方法，其特征在于，所述重复图像检测器对待检测图像的重复性特征进行自动检测中采用ORB算法提取低阶特征，同时采用卷积神经网络提取高阶特征，低阶特征及高阶特征进行融合后计算出两个图像重复度。

7.根据权利要求1所述的面向机器学习的视觉群智感知数据贡献度评价方法，其特征在于，所述基于图像分类模型识别的图像特征，对图像集数据进行评估，计算图像数据集质量总评分，具体包括如下步骤：

a、计算待检测图像集中第i个图像的语义相似度S(I_i)：

取出图像语义识别器的多标签语义分类结果，计算任务语义约束

vc_semantic的m个标签序列与图像的n个分类标签之间的语义距离，结果为一个m*n的二维向量，从每个标签序列中取出其中的最大值*权重作为该标签的语义相似度，计算公式如下所示：

where r＝1，2，...R

式中，

为标签

与u_j的语义距离计算函数，w_i为任务语义约束中定义的语义标签权重，c_j为通过图像分类器自动分类出标签u_j的置信度系数，c_j计算公式如公式(3)所示：

式中，q_j为经过图像语义识别器自动分类出标签u_j的置信度，θ为语义距离阈值；

b、计算待检测图像集中第i个图像清晰度得分B(I_i)：

图像I_i经图像清晰度分类器自动识别后，输出结果为图像I_i的清晰度类别L_j及其置信度ε_j，按照公式(4)计算清晰度分类L_j的分值，公式如下所示：

式中，H、M、L为图像清晰度分类器将图像清晰度分为高、中、低三种类别；

然后，采用公式(5)计算图像清晰度分数，公式如下所示：

式中，g(L_j)为分类标签对应的分值，ε_j为分类器输出清晰度分类L_j的置信度；

c、计算待检测图像集中第i张图像重复度得分D(I_i)：

计算待检测图像集I中第i张图像的重复度得分，计算公式如下所示：

式中，N为图像集I的图像数量，Dup(i，j)为两个图像重复度分值，计算公式如下所示：

式中，sim(I_i，I_j)为采用重复图像检测器输出的最佳特征点比例，其值越大则两图像间越相似，相应的重复度分值越低，E为图像相似度阈值，当sim(I_i，I_j)小于E时则认为两为I_i与I_j不存在重复关系，重复度分值则为1；

d、计算待检测图像集的质量总评分Q(k)，公式如下所示：

式中，ε,δ,φ分别为语义相似度、清晰度、重复度的权重，且ε+δ+φ＝1，0≦Q(k)≦N。

8.根据权利要求1所述的面向机器学习的视觉群智感知数据贡献度评价方法，其特征在于，所述待检测图像集的贡献度评分的计算公式如下所示：

式中，g为增益参数，Z为任务要求的图片数量最小值约束。

9.面向机器学习的视觉群智感知数据贡献度评价系统，其特征在于，包括任务模型、图像模型、图像分类器和数据评估器，其中，

所述任务模型，用于定义视觉群智感知任务中的任务基本信息以及任务约束条件；

所述图像模型，用于定义用户提交的图像数据，所述图像数据包括图像文件、图像基本信息，以及图像的光照照、位置上下文信息；

所述图像分类器，用于对图像相关特征进行自动分类与识别的基于机器学习的分类器；

所述数据评估器，用于对用户提交的图像数据集进行数据质量及贡献度评价，根据任务请求者要求的视觉约束，结合图像分类器对图像相关特征的分类结果，通过图像语义相似度、图像清晰度、图像重复度三个维度计算图像质量评分，并在此基础上使用质量与数量融合的贡献度算法计算最终的数据贡献度得分。

10.根据权利要求9所述的面向机器学习的视觉群智感知数据贡献度评价系统，其特征在于，所述图像分类器包括图像语义识别器、图像清晰度分类器和重复图像检测器，其中，

所述图像语义识别器，用于识别出图片中的场景及物体的语义，输出语义标签及其置信度；

所述图像清晰度分类器，用于将图片自动分类为高、中、低三种类型；

所述重复图像检测器，用于提取图像近重复性特征，采用卷积神经网络提取图像的全局高阶特征，并与使用ORB算法提取的低阶特征进行融合，对原图复制、旋转、裁剪操作生成相似度较高的图像特征进行识别。

Images