CN109919176A - 一种基于esp游戏的图片自动标注信息处理方法及装置 - Google Patents

Abstract

本发明涉及一种基于ESP游戏的图片自动标注信息处理方法及装置，其中方法包括步骤S1：接收出题方选择的图片以及对图片的标注信息；步骤S2：接收答题方对于各图片的标注信息；步骤S3：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度，以及得到每张图片的标注。与现有技术相比，本发明基于ESP游戏，可以借助出题人和答题人对库中的图片进行快速标注，只需要提供带宽和计算机就可以实现自动标注，以及基于默契度的比对方式，可以提高标注的准确性。

Description

一种基于ESP游戏的图片自动标注信息处理方法及装置

技术领域

本发明涉及机器学习领域，尤其是涉及一种基于ESP游戏的图片自动标注信息处理方法及装置。

背景技术

随着互联网的全面覆盖以及数码相机、智能手机等成像设备的普及，使得人们通过QQ、微信等社交软件进行图片分享成为这个时代的潮流。这也使得每天有海量的图片在社交网络上传播，如何有效的收集和利用这些图片将意义重大。另一方面，近些年，随着深度神经网络在图像识别领域取得了突破性的进展，使得其在图像处理领域的的应用迅速普及。大量基于图像的分析和学习工作，比如人脸识别、图像场景分类、图像质量评价、图像检索等。在这些现有的工作中，都涉及正确的标记数据(ground truth)。在人脸识别过程中，首先需要进行人脸检测，检测的准确率需要已标记的数据来进行判断；在图像场景(食物，风景，夜间等)分类任务中，需要不同场景的标记数据进行分类器的训练；图像质量评价方法一种是采用人工判断，另外一种是基于已有的标记数据来进行判断；在以上这些应用场景中，精确标注的图片训练集是成功训练深度学习模型的关键所在。同时，图片标注工作不仅有助于学习模型的构建，还将有助于完善现有的图片搜索系统。

然而，通过传统的人工进行图像标注不仅价格昂贵、效率低，更由于这些标注往往由多人分工完成，通常每张图片由独立的个人来完成，使得图片的标注带有一定的个人主观性，更可能会因为个人认知的不足造成错误标注。这些错误标注会成为噪声标注将直接影响深度神经网络的训练效果。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于ESP游戏的图片自动标注信息处理方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种基于ESP游戏的图片自动标注信息处理方法，包括：

步骤S1：接收出题方选择的图片以及对图片的标注信息；

步骤S2：接收答题方对于各图片的标注信息；

步骤S3：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度，以及得到每张图片的标注。

所述步骤S1具体包括：

步骤S11：向出题方展示图片库中的图片；

步骤S12：接收出题方选择的图片以及对图片的标注信息，并判断是否含有出题人导入的图片，若为是，则执行步骤S13，反之，则执行步骤S14；

步骤S13：将出题方导入的图片存入图片库中，并为每张图片的生成编码；

步骤S14：根据出题方选择的图片以及对图片的标注信息生成内容消息以及该内容消息的url链接，并由出题方对外发送。

所述步骤S2具体包括：

步骤S21：接收到答题方通过所述url链接的访问请求后，向答题方发送含有出题方选择的图片的内容消息；

步骤S22：接收答题方对于各图片的标注信息。

所述步骤S3具体包括：

步骤S31：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度：

Matching(Q，A_i)＝1/T∑S_T(P，G)

其中：Q为出题方，A_i为第i个答题方，Matching(Q，A_i)为出题方和第i个答题方的默契度，T为出题方选择的图片数目，S_T(P，G)为第T道题的出题方和答题方的标注相似度；

步骤S32：将各答题方与出题方的默契度进行排序并发送给出题方。

步骤S33：对于各图片，将次数最多的标注作为该图片的最终标注。

所述步骤S32具体包括：

步骤S321：对于各图片，获取其次数最多的标注；

步骤S322：判断该图片的次数最多的标注的数目是否大于阈值，若为是，则加工该次数最多的标注作为该图片的最终标注。

一种基于ESP游戏的图片自动标注信息处理装置，包括存储器、处理器，以及存储于存储器中并由所述处理器执行的程序，所述处理器执行所述程序时实现以下步骤：

步骤S1：接收出题方选择的图片以及对图片的标注信息；

步骤S2：接收答题方对于各图片的标注信息；

步骤S3：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度，以及得到每张图片的标注。

所述步骤S1具体包括：

步骤S11：向出题方展示图片库中的图片；

步骤S12：接收出题方选择的图片以及对图片的标注信息，并判断是否含有出题人导入的图片，若为是，则执行步骤S13，反之，则执行步骤S14；

步骤S13：将出题方导入的图片存入图片库中，并为每张图片的生成编码；

步骤S14：根据出题方选择的图片以及对图片的标注信息生成内容消息以及该内容消息的url链接，并由出题方对外发送。

所述步骤S2具体包括：

步骤S21：接收到答题方通过所述url链接的访问请求后，向答题方发送含有出题方选择的图片的内容消息；

步骤S22：接收答题方对于各图片的标注信息。

所述步骤S3具体包括：

步骤S31：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度：

Matching(Q，A_i)＝1/T∑S_T(P，G)

其中：Q为出题方，A_i为第i个答题方，Matching(Q，A_i)为出题方和第i个答题方的默契度，T为出题方选择的图片数目，S_T(P，G)为第T道题的出题方和答题方的标注相似度；

步骤S32：将各答题方与出题方的默契度进行排序并发送给出题方。

步骤S33：对于各图片，将次数最多的标注作为该图片的最终标注。

所述步骤S32具体包括：

步骤S321：对于各图片，获取其次数最多的标注；

步骤S322：判断该图片的次数最多的标注的数目是否大于阈值，若为是，则加工该次数最多的标注作为该图片的最终标注。

与现有技术相比，本发明具有以下有益效果：

1)基于ESP游戏，可以借助出题人和答题人对库中的图片进行快速标注，只需要提供带宽和计算机就可以实现自动标注，以及基于默契度的比对方式，可以提高标注的准确性。

2)参与者在享受游戏趣味性的同时顺带对图片进行收集和标注。

3)将次数最多的标注作为最终的标注，并对标注次数设计了阈值，大大提高了标注的准确性。

附图说明

图1为本发明方法的主要步骤流程示意图；

图2为游戏中出题方的流程图；

图3为游戏中答题方的流程图；

图4为游戏的系统流程；

图5为本申请标注结果的应用示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

为了解决图片的收集和标注问题，我们设计了一个基于ESP游戏模式的自动标注系统，参与者在享受游戏趣味性的同时顺带对图片进行收集和标注。由于我们是通过游戏收集标注，使得我们获得标注信息几乎是完全免费的。另外，同一张图片往往被多人进行标注，这将使得获得的标注信息更加客观和准确。基于上述特征，我们的游戏属于典型的GWAPGames with a purpose)。

GWAP的概念最早由Luis von Ahn提出，这种游戏让玩家自愿的参加进来，并使其在玩游戏的同时产生一些有用的元数据。经过多年的发展，大量的GWAP系统被设计出来以完成不同的目标任务。ESP游戏是最早实现的GWAP系统，其由Luis von Ahn等人最早设计并开发，其成功应用于图片标签收集任务中。具体来说，这是一种基于互联网的双人游戏，其通过玩家交互式猜词的形式来收集图片标签。此外M.Hadi Kiapour等人以ESP游戏的方式收集到了大量的不同着装风格的图片，收集到的图片被其用来进行分类器模型的训练，最终实现了预期的效果。Ruoran Liu等人设计了一个叫Peekaboom的游戏，其能够帮助计算机在图片中定位对象。Sshar Kazemzadeh等人对更加复杂的实景图片进行标注，同样是双人游戏，参与一方对系统圈出的物体进行语言描述让另一方竞猜，利用这种方法可以标注更加复杂多样的对象。其模型优越之处在于其不仅能收集目标物的种类和属性特征还可以收集其在图片中的方位信息。这种标注方式具有更好的适用性，适合复杂图片的标注工作。此外还有一些研究人员通过游戏来为音乐片段进行标注。Shaili Jain和David C.Parkes提出了一个游戏理论模型用来对合作各方进行平衡分析。AnHai Doan等人从众包的角度分析了ESP游戏。

从大的角度来讲，ESP游戏是一种隐式众包模式。接下来将具体来分析ESP游戏的众包特性：1.协作的性质(显性或是隐性)：ESP游戏模式的众包是典型的隐式协作；2.目标问题的类型：在ESP游戏中，目标问题由系统拥有者定义，本发明的目标问题是图片标注；3.如何雇佣参与者：通常来说的雇佣方式有两种，分别是线下的雇佣和基于互联网的线上雇佣方式，显然ESP游戏是基于互联网的雇佣方式；4.维持贡献者：为了维持贡献者，多数众包模型都会支付一定的奖励，这些奖励可以是金钱或者使用权等，而ESP游戏是通过娱乐的方式维持贡献者，在参与者享受娱乐的同时完成游戏所有者既定的目标；5.怎样汇总贡献：贡献的汇总方式比较多样，可以是直接累加，也可能要根据既定目标的特点对个体贡献进行取舍和融合；6.怎么评价贡献和贡献者：对贡献和贡献者的评价可以有效控制贡献的质量，这在显式众包中较为重要，在ESP游戏中，甄别作弊行为是主要控制贡献质量的途径；7.人工工作的程度：手动工作的程度分为参与者工作程度和所有者工作程度，在ESP游戏中，参与者工作一般较为简单，以选择和评述最为常见，而所有者工作主要是游戏的设计、开发、运营维护和对贡献数据的处理工作；8.人类用户的角色：显然在游戏中人类用户是作为参与者或者说是被服务方的角色；9.系统架构的独立性：ESP游戏有独立开发运行的也有搭载其他平台上运行，本发明将开发的游戏搭载在微信程序中。

本文介绍了一种基于ESP游戏模式的图片自动标注系统。通过ESP游戏收集的图片标注数据可以作为模型的训练数据，以此来训练一个可靠的模型。该模型则可以用于对标注数据的准确性进行验证，也可以用于自动生成标注数据。

一种基于ESP游戏的图片自动标注信息处理方法，首先要收集图片，原始图片数据有两个来源，一部分图片是事先从互联网上抓取的种子图片数据库，用于游戏启动使用，其规模比较小。另一部分通过参与游戏的玩家上传获得。然后要对图片进行预处理：由于图片数据来源不同，所以预处理工作也不尽相同，事先准备的种子图片数据的处理工作相对比较细致，主要由人工手动完成图片的挑选过滤工作，如去除非目标图片，调整图片规格，过滤掉模糊图片及一些不适合区分的图片。

如图1所示，包括：

步骤S1：接收出题方选择的图片以及对图片的标注信息，具体包括：

步骤S11：向出题方展示图片库中的图片；

步骤S12：接收出题方选择的图片以及对图片的标注信息，并判断是否含有出题人导入的图片，若为是，则执行步骤S13，反之，则执行步骤S14；

步骤S13：将出题方导入的图片存入图片库中，并为每张图片的生成编码；

步骤S14：根据出题方选择的图片以及对图片的标注信息生成内容消息以及该内容消息的url链接，并由出题方对外发送。

步骤S2：接收答题方对于各图片的标注信息，具体包括：

步骤S21：接收到答题方通过url链接的访问请求后，向答题方发送含有出题方选择的图片的内容消息；

步骤S22：接收答题方对于各图片的标注信息。

步骤S3：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度，以及得到每张图片的标注，具体包括：

步骤S31：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度：

Matching(Q，A_i)＝1/T∑S_T(P，G)

其中：Q为出题方，A_i为第i个答题方，Matching(Q，A_i)为出题方和第i个答题方的默契度，T为出题方选择的图片数目，S_T(P，G)为第T道题的出题方和答题方的标注相似度；

步骤S32：将各答题方与出题方的默契度进行排序并发送给出题方，具体包括：

步骤S321：对于各图片，获取其次数最多的标注；

步骤S322：判断该图片的次数最多的标注的数目是否大于阈值，若为是，则加工该次数最多的标注作为该图片的最终标注。

步骤S33：对于各图片，将次数最多的标注作为该图片的最终标注。

具体的，首先此游戏是一个多玩家的交互式游戏，玩家在进行游戏的过程中可以扮演两种角色即出题方和答题方。

游戏开始首先由出题者(图2)进行出题，出题者有两种选择图片输入的方式，分别是游戏图库(数据库)输入和本地输入。图库输入相对简单，即按照系统设定的选择规则，选择规定数量的图片进行载入供玩家进行下一步操作。而如果玩家(出题方)选择通过本地输入，则系统进入手机或电脑相册进行图片选择，选择图片并提交后，将被系统存入游戏图库。无论是图库载入还是本地输入，只是获取图片资源的途径。在获得图片之后，系统将提示玩家(出题方)根据事先预定规则(标注目的)来选择图片，选择结果提交系统。提交系统后玩家(出题方)可以将系统生成的分享方式(链接，二维码等)转发给多个好友进行答题。在出题的过程中玩家可以通过点击返回键重新载入或上传图片。同一个出题者可以多次出题，答题者对同一个题只能回答一次。

好友接受答题邀请后即变为答题方(图3)，答题方可以根据系统提示(比如出题方选择图片的数量，规则)来选择相应图片。

选择结束后提交系统(图4)，系统将根据出题方和答题方的图片选择情况进行好友默契度计算。并实时地对所有参加过答题的好友进行好友默契度排名。给定出题方为Q，出题方可以进行多次出题，即Q＝{Q₁,Q₂,…,Q_T}，每次出题的图片为P＝{P₁,P₂,…,P_M}，答题方为A＝{A₁,…,A_N}，对每道题，答题方的标注为G＝{G₁,…,G_M}，出题方和每个答题方Ai的默契度为Matching(Q，A_i)＝1/T∑S_T(P，G)。此处S_T(P，G)为第T道题的出题方和答题方的标注相似度，其计算可以用外部有效性指数来计算两个标注的相似度。

与此同时，系统将利用游戏过程中的标注来对游戏图库中的图片进行更新，参与游戏的图片，其标注可以采用大多数人的标注作为其最后的标注。游戏图库中的图片，被选次数越多其标注越准确。

之后如图5所示，还可以包括步骤S4：借助标注结果进行模型训练。

在机器学习领域，需要正确的标注数据来进行模型的学习。学习的模型则可以用以自动生成标注数据。通过该ESP游戏获得的标注图片，作为训练数据来进行模型的训练。模型可以包括传统的分类器(比如，SVM，随机森林，贝叶斯分类器等)以及神经网络(CNN)。训练数据的准确性影响模型的建立，因此，可以通过模型的准确性测试来验证此游戏产生的图片标签是否可靠。

当一个可靠的模型建立之后，则可以利用模型来对新的图片进行自动标注。由此，形成完整的图片自动标注系统(图5)。

Claims (10)

1.一种基于ESP游戏的图片自动标注信息处理方法，其特征在于，包括：

步骤S1：接收出题方选择的图片以及对图片的标注信息；

步骤S2：接收答题方对于各图片的标注信息；

步骤S3：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度，以及得到每张图片的标注。

2.根据权利要求1所述的一种基于ESP游戏的图片自动标注信息处理方法，其特征在于，所述步骤S1具体包括：

步骤S11：向出题方展示图片库中的图片；

步骤S12：接收出题方选择的图片以及对图片的标注信息，并判断是否含有出题人导入的图片，若为是，则执行步骤S13，反之，则执行步骤S14；

步骤S13：将出题方导入的图片存入图片库中，并为每张图片的生成编码；

步骤S14：根据出题方选择的图片以及对图片的标注信息生成内容消息以及该内容消息的url链接，并由出题方对外发送。

3.根据权利要求2所述的一种基于ESP游戏的图片自动标注信息处理方法，其特征在于，所述步骤S2具体包括：

步骤S21：接收到答题方通过所述url链接的访问请求后，向答题方发送含有出题方选择的图片的内容消息；

步骤S22：接收答题方对于各图片的标注信息。

4.根据权利要求2所述的一种基于ESP游戏的图片自动标注信息处理方法，其特征在于，所述步骤S3具体包括：

步骤S31：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度：

Matching(Q，A_i)＝1/T∑S_T(P，G)

其中：Q为出题方，A_i为第i个答题方，Matching(Q，A_i)为出题方和第i个答题方的默契度，T为出题方选择的图片数目，S_T(P，G)为第T道题的出题方和答题方的标注相似度；

步骤S32：将各答题方与出题方的默契度进行排序并发送给出题方。

步骤S33：对于各图片，将次数最多的标注作为该图片的最终标注。

5.根据权利要求4所述的一种基于ESP游戏的图片自动标注信息处理方法，其特征在于，所述步骤S32具体包括：

步骤S321：对于各图片，获取其次数最多的标注；

步骤S322：判断该图片的次数最多的标注的数目是否大于阈值，若为是，则加工该次数最多的标注作为该图片的最终标注。

6.一种基于ESP游戏的图片自动标注信息处理装置，其特征在于，包括存储器、处理器，以及存储于存储器中并由所述处理器执行的程序，所述处理器执行所述程序时实现以下步骤：

步骤S1：接收出题方选择的图片以及对图片的标注信息；

步骤S2：接收答题方对于各图片的标注信息；

步骤S3：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度，以及得到每张图片的标注。

7.根据权利要求6所述的一种基于ESP游戏的图片自动标注信息处理装置，其特征在于，所述步骤S1具体包括：

步骤S11：向出题方展示图片库中的图片；

步骤S12：接收出题方选择的图片以及对图片的标注信息，并判断是否含有出题人导入的图片，若为是，则执行步骤S13，反之，则执行步骤S14；

步骤S13：将出题方导入的图片存入图片库中，并为每张图片的生成编码；

步骤S14：根据出题方选择的图片以及对图片的标注信息生成内容消息以及该内容消息的url链接，并由出题方对外发送。

8.根据权利要求7所述的一种基于ESP游戏的图片自动标注信息处理装置，其特征在于，所述步骤S2具体包括：

步骤S21：接收到答题方通过所述url链接的访问请求后，向答题方发送含有出题方选择的图片的内容消息；

步骤S22：接收答题方对于各图片的标注信息。

9.根据权利要求7所述的一种基于ESP游戏的图片自动标注信息处理装置，其特征在于，所述步骤S3具体包括：

步骤S31：比对出题方和各答题方对于图片的标注信息，计算出题方和各答题方的默契度：

Matching(Q，A_i)＝1/T∑S_T(P，G)

其中：Q为出题方，A_i为第i个答题方，Matching(Q，A_i)为出题方和第i个答题方的默契度，T为出题方选择的图片数目，S_T(P，G)为第T道题的出题方和答题方的标注相似度；

步骤S32：将各答题方与出题方的默契度进行排序并发送给出题方。

步骤S33：对于各图片，将次数最多的标注作为该图片的最终标注。

10.根据权利要求9所述的一种基于ESP游戏的图片自动标注信息处理装置，其特征在于，所述步骤S32具体包括：

步骤S321：对于各图片，获取其次数最多的标注；

步骤S322：判断该图片的次数最多的标注的数目是否大于阈值，若为是，则加工该次数最多的标注作为该图片的最终标注。