CN109918525A - 基于微信小程序的食物图片美学分析标签数据收集系统 - Google Patents

Abstract

本发明公开了一种基于微信小程序的食物图片美学分析标签数据收集系统，该发明首先实现了与微信小程序进行数据交互的问题模块、答题模块，通过该模块自动采集系统相关的所有问答数据和用户资料信息；对于采集到的图片数据及相关的问答数据，进行后台分析处理，转换为各图片的标签数据。应用本发明的方法，具有可以通过微信小程序在朋友圈传播的特点，实现食物图片美学分析标签数据的自动收集。

Description

基于微信小程序的食物图片美学分析标签数据收集系统

技术领域

本发明涉及互联网应用中的数据收集及处理技术，社交网络中的用户信息提取技术，特别涉及一种基于微信小程序平台传播，并通过游戏方式对食物图片进行美学分析标签采集的方法。

背景技术

随着数字媒体的广泛应用，基于机器视觉的图像识别技术蓬勃发展，是影响力最大且最吸引人的技术之一。目前有大量基于图像的分析和学习工作[1]，比如人脸识别[2]、图像场景分类[3]、图像质量评价、图像检索等。这些现有的图像处理工作无一不涉及到标签图像数据(ground truth)[4]。如图像场景(食物、风景等)分类，需要大量不同场景的标记数据进行分类器训练；图像质量评价方法也依赖于已有的标签图像数据，此外也可基于人工判断的标签数据。无论如何，标签图像数据对于图像识别技术有着极大的作用，获取标签图像数据也成为一个重点。标签数据的来源基本有两个方向，一是人工进行数据标注，这种人工标注会带入一定的个人主观性，且可能会因为个人认知的不足造成标注错误，造成噪音；另一种就是利用现有的开源图像数据库，如ImageNet、PASCALVOC数据集、CIFAR等数据集提供的标签数据带来了极大的便利，但其主要作用是指示图片中包含的对象，对于人本身的主观感受的评判，例如在人对于图片的审美等特殊场景下，这些数据集的标注起到的作用并不大。因此对于这种特定场景下的需求，人工标注图片仍然是最主要的手段。

图像的美学评价目前有较多研究，可以分为五种类型。(1)美感分类，即给定一幅图像，输出“好”和“不好”的类别信息；(2)美感评分，是指给出图像的美学质量评分，表现为一些数值；(3)美感分布，指给出图像的美学质量分数分布直方图；(4)美学因素，指给出图像的光影、配色、构图等多个方面的评价；(5)美学描述，是指给出图像美学方面的语言评价。常用的图像美感评估方法主要有两种，一是根据图像特点，美学理论等设计图像特征提取的算法，针对性地手工设计并提取图像特征并利用机器学习方法对图像美感进行分类或者给出图像美感分数值。二是2014年起，开始出现利用深度学习方法进行图像美感评估的研究[5]。这种方法无需额外提取图像特征，将图像直接输入到网络中，让网络学习图像的美感，从而利用这些特征，评估图像美感。前者方法中传统的手工设计提取方法存在难以全面而准确地描述图像美学特征的问题，在美学特征提取思路上没有本质性的突破。第二种近年来兴起的深度学习的方法可以替代手工特征提取的步骤，通过网络自动学习图像的美学特征，从已有的成果可以看出。深度学习方法的性能大大超越了之前的手工设计美学特征，但标签数据的获取难度较大。目前基于图片美感分析的公开数据集有Photo.Net，DPChallenge。这两个数据集可以被认为是最早尝试构建用于图像美学评估的大规模图像数据库。

发明内容

本发明以食物图片审美分类(即食物图片的美感是否符合个人审美，好看或不好看)作为图片标注的要求，此特殊场景对于人的主观性的要求较高。以大众审美为标准，单个人的标注即个人审美不具有客观性，因此一张食物图片需要经过多人标注，并统计多数人对于这张图片的标注倾向，才能获得相对客观的标注信息。为此我们设计了一个基于游戏模式的食物美学分析标签数据收集方法，该游戏是一种典型的GWAP(Games with apurpose)众包游戏，即让玩家自动地参与游戏，并使其在玩游戏的过程中产生一些有用的元数据(此处为图片的标签)[6]。本发明介绍的游戏是一种隐性众包的模式；目标问题由系统拥有者定义(此处定义为食物图片的审美标注，好看或不好看)；参与者雇佣方式是基于互联网的线上雇佣方式；参与者获取其与好友的默契度数值作为奖励，其在享受娱乐的同时会完成游戏所有者既定的目标[7]。

将上述的众包游戏模式移植于微信小程序平台，通过该平台使游戏在好友间传播[8]，参与者通过游戏贡献食物图片并对其进行审美标注，同时获得其与多个好友对相同食物图片审美的默契度数值作为奖励；系统拥有者通过统计相应食物图片上的审美标注获得该食物图片审美的客观标签，完成人工标注的过程。

本发明的内容在于针对现有技术的不足，提出一种基于微信小程序的食物图片美学分析标签数据的收集系统。

整个系统包括三个模块：出题模块，答题模块，数据收集模块；

参与者在微信平台上通过问题模块提出问题；

数据收集模块通过问题模块收集食物图片、标注数据及问题数据；

答题者通过答题模块回答问题，获取与参与者的默契度数值，数据收集模块通过答题模块收集图片标注数据及答案数据。

所述出题模块，算法为：

1.1.根据游戏题意，用户可从游戏内置的图片库或是自己的相册库中选择图片，两种选择方式可共存，但数量限制在至少两张图片，至多九张图片范围内；

1.1.1游戏内置图片库的食物图片数据来源于google、yelp、百度及bing，并已经过人工确认属于食物图片；

1.1.1.1若用户选择从图片库中选择数据，则用户在弹出框内选择从图片库中选择数据，跳至数据库图片选择界面；该界面随机从图片数据库中选择九张图片进行展示；

1.1.1.2界面下方置刷新按钮，若用户对当前页面内的图片不满意，则可点击刷新按钮，程序将重新从图片库中获取九张随机图片供选择；

1.1.1.3用户在该页面至少选择一张图片，至多九张图片；若未选择图片，返回；

1.1.2若用户从自己的相册库中选择图片，用户可选择拍照，或从用户相册中选择图片，同样通过该方式一次选择的图片不少于一张但不超过九张；

1.1.2.1用户选择拍摄图片后，将调用用户手机摄像头，用户拍摄食物图片获得一张照片，并直接返回；

1.1.2.2若用户选择从相册中选择图片，将跳至用户相册内容，用户从自己的相册中依照题意选择照片，选择完成后点击完成按钮，程序将获取压缩过后的用户相册图片；

1.2、当用户选择图片的操作完毕后，点击完成按钮，将进行如下一系列操作：

1.2.1将用户选择图片分类为图片库图片与用户相册图片；

1.2.1.1若为图片库图片，则不操作；

1.2.1.2若为用户相册图片，则调用第三方库，将所有用户相册图片数据压缩，进行食物图片类别的检测；若检测结果非食物图片，则弹框提示用户删除图片，过滤该图片；若检测结果通过，则将上传用户相册图片至图片数据库中，对图片数据库进行更新，为该图片编码，并增加对应图片记录。

1.2.2图片上传完成后，在问题数据库表中增加对应的问题记录。

1.2.3问题记录添加完成，跳转至二维码展示页面，在该页面，程序将生成小程序二维码，用户可保存图片并转发好友，好友扫码答题；或是直接点击下方的转发好友按钮将小程序转发给好友。

1.3、转发完成后即进入答题模块。

所述答题模块，算法为:

2.1好友接受答题后即变为答题方，答题方从出题方的转发链接进入小程序页面，答题页面有且仅有该入口可供进入；

2.2答题方根据题意答题，即选择图片；

2.3选择完成后点击完成，程序将记录用户的答题数据，即其对于图片的标注，答案数据库表中将添加相应的记录。

2.4同时将计算出该次答题出题方与答题方的默契度和答题方的正确回答个数，并展示出题方该次出题中，默契度最高的前五位好友的昵称及默契度，该次答题的默契度计算方式如下：

A.该次出题记为q；

B.该次出题的图片为：

P＝{P₁,P₂,…,P_T}

C.答题方为答案记为

A＝{A₁,A₂,…,A_N}

D.对每道题，答题方的标注为

G＝{G₁,G₂,…,G_M}

E.出题方和每个答题方的默契度为

此处S(P，G)的计算可以用外部有效性指数来计算两个标注的相似度；T表示图片数量。

所述数据处理模块：

3.1.处理出题模块数据：若出题方从图片库中选取图片并作出标记，则更新图片数据库中相应标记数据；若出题方上传图片并做出标记，则在图片库中新增一条记录，增加相应的标记数据；

3.2.处理答题模块数据：答题方的作答即视为对图片的标注，根据其对所有图片的标注情况，对图片数据库中每条对应的图片数据进行更新操作；

3.3.对于每张图片，其都有相应的审美标注计数，即多人对这张图片美感的标注记录，此处我们记录如下三种审美标记：好看/不好看/不知道；最终数据处理方综合对每张图片的计数进行处理，处理方式如下：

1)若好看计数大于不好看计数，这图片美感标注为即为：好看；同理对图片库中所有图片进行相应处理，即可获取所有图片的美感标签；

2)可根据资料对图片美感进行审美计数分数划分，如：若好看计数落于[50,60]区间内，则图片的美感分数为5；

3)处理方式同2)，但以不好看计数为标准，即不好看计数落于[50,60]区间内，则图片的美感分数为5；

3.4.将答题方的的答案与出题方的答案进行对比，计算两者之间的综合默契度并展示在前端的答题记录中，计算方式如下：

A.每次出题记为:Q＝{Q₁,Q₂,…,Q_T}

该次出题的图片为：

P＝{P₁,P₂,…,P_M}

B.答题方为答案记为

A＝{A₁,A₂,…,A_N}

C.对每道题，答题方的标注为

G＝{G₁,G₂,…,G_M}

D.出题方和每个答题方的默契度为

此处S(P，G)的计算可以用外部有效性指数来计算两个标注的相似度；M表示图片数量即P下标，N表示答案数量即A下标，T表示题目数量即G下标。

本发明系统工作过程：

1.在微信公众平台上注册小程序账号，填入微信小程序相关信息，获取开发网站的AppID(小程序ID)与App Secret(小程序密钥)，申请成为小程序开发者；

2.通过微信小程序提供的接口，开发问题模块、答题模块，收集包括图片、图片标注数据及用户资料信息；

3.用户一旦选择出题即成为出题方，其在出题操作步骤中上传的图片、图片标注及对应的用户资料将被出题模块收集；

4.对采集到的用户图片进行类别检验，该步骤将检验用户选择的图片主题、记录用户资料及图片信息；若通过检验，则上传用户提供的图片并更新现有的图片库，同时在问题数据库中生成一条问题记录；

5.根据步骤4获取到的信息生成小程序二维码并进行展示，用户进行转发操作；

6.被转发用户一旦选择开始答题，即成为答题方；

7.其在答题模块中进行的操作信息将被答题模块记录为图片标注，同时小程序提取并计算用户的答案信息，进行默契度计算，在答案数据库中生成一条答案记录，并进行展示；

8.利用上述步骤采集到的不同用户对相同食物图片审美判别的信息，系统累积统计图片库中每张图片的标注；同时每个用户将得到自己与好友在食物图片审美上的默契度。

附图说明

图1是本发明出题方出题模块工作流程图；

图2是本发明答题方答题模块工作流程图；

图3是本发明系统原理框图；

图3-1首界面；

图3-2玩法介绍；

图3-3出题步骤—选择图片；

图3-4出题步骤-从图片库选图片；

图3-5分享题目界面；

图3-6出题记录界面；

图3-7答题界面；

图3-8答题分数界面；

图3-9答题首页；

图3-10答题记录界面。

具体实施方式

现结合具体实施和示例对本发明的技术方案作进一步说明。

在微信公众平台上注册小程序账号，填入微信小程序相关信息，获取开发网站的App ID(小程序ID)与App Secret(小程序密钥)，申请成为小程序开发者。

通过微信小程序提供的接口，开发问题模块、答题模块，参与者在微信平台上通过问题模块提出问题，开发者通过问题模块收集食物图片、标注数据及问题数据；答题者通过答题模块回答问题，获取与参与者的默契度数值，开发者通过答题模块收集图片标注数据及答案数据。整个方法可以分为三个模块：出题方，答题方，数据收集模块我们分别就三个模块进行详细介绍。

首先是出题方，流程图见图1.

1.出题方进入微信小程序首页，小程序调用微信提供的授权接口，用户进行授权操作，授权小程序获取用户的头像、昵称等可对外公开信息

2.点击开始出题，进入出题页面(如图3-1)；根据游戏题意，用户可从游戏内置的图片库或是自己的相册库中选择图片，两种选择方式可共存，但数量限制在至少两张图片，至多九张图片范围内；(如图3-2)

2.1.游戏内置图片库的食物图片数据来源于google、yelp、百度及bing，并已经过人工确认属于食物图片(如图3-3)；

2.1.1.若用户选择从图片库中选择数据，则用户在弹出框内选择从图片库中选择数据，程序跳至数据库图片选择界面。该界面随机从图片数据库中选择九张图片进行展示；

2.1.2.界面下方置刷新按钮，若用户对当前页面内的图片不满意，则可点击刷新按钮，程序将重新从图片库中获取九张随机图片供选择；

2.1.3.用户在该页面至少选择一张图片，至多九张图片，点击完成返回出题界面；若未选择图片，点击左上角返回图标返回出题界面；

2.2.若用户从自己的相册库中选择图片，程序将调用微信提供的wx.chooseImage接口，用户可选择拍照，或从用户相册中选择图片，同样通过该方式一次选择的图片不少于一张但不超过九张；

2.2.1.用户选择拍摄图片后，将调用用户手机摄像头，用户拍摄食物图片获得一张照片，并直接返回出题界面；

2.2.2.若用户选择从相册中选择图片，将跳至用户相册内容，用户从自己的相册中依照题意选择照片，选择完成后点击完成按钮，程序将获取压缩过后的用户相册图片；

3.当用户选择图片的操作完毕后，点击完成按钮，将进行如下一系列操作：

3.1.将用户选择图片分类为图片库图片与用户相册图片；

3.1.1.若为图片库图片，则不操作；

3.1.2.若为用户相册图片，则调用第三方库Clarifai的接口，将所有用户相册图片数据压缩并转成base64编码，进行食物图片类别的检测；若检测结果非食物图片，则弹框提示用户删除图片，过滤该图片；若检测结果通过，则将上传用户相册图片至图片数据库中，对图片数据库进行更新，为该图片编码，并增加对应图片记录。

3.2.图片上传完成后，在问题数据库表中增加对应的问题记录。

3.3.问题记录添加完成，跳转至二维码展示页面(如图3-5)，在该页面，程序将生成小程序二维码，用户可保存图片并转发好友，好友扫码答题；或是直接点击下方的转发好友按钮将小程序转发给好友。

4.转发完成后即进入答题模块。

答题方的流程图见图2:

1.好友接受答题后即变为答题方，答题方从出题方的转发链接进入小程序页面，答题页面有且仅有该入口可供进入(如图3-9)；

2.答题方根据题意答题，即选择图片(如图3-7)；

3.选择完成后点击完成，程序将记录用户的答题数据，即其对于图片的标注，答案数据库表中将添加相应的记录。

4.程序同时将计算出该次答题出题方与答题方的默契度和答题方的正确回答个数，并展示出题方该次出题中，默契度最高的前五位好友的昵称及默契度(如图3-8)，该次答题的默契度计算方式如下：

F.该次出题记为q；

G.该次出题的图片为：

P＝{P₁,P₂,…,P_T}

H.答题方为答案记为

A＝{A₁,A₂,…,A_N}

I.对每道题，答题方的标注为

G＝{G₁,G₂,…,G_M}

J.出题方和每个答题方的默契度为

此处S(P，G)的计算可以用外部有效性指数来计算两个标注的相似度；T表示图片数量。

数据处理方处理流程步骤如下：

1.处理出题方数据：若出题方从图片库中选取图片并作出标记，则更新图片数据库中相应标记数据；若出题方上传图片并做出标记，则在图片库中新增一条记录，增加相应的标记数据；

2.处理答题方数据：答题方的作答即视为对图片的标注，根据其对所有图片的标注情况，对图片数据库中每条对应的图片数据进行更新操作；

3.对于每张图片，其都有相应的审美标注计数，即多人对这张图片美感的标注记录，此处我们记录如下三种审美标记：好看/不好看/不知道；最终数据处理方综合对每张图片的计数进行处理，处理方式如下：

4)若好看计数大于不好看计数，这图片美感标注为即为：好看；同理对图片库中所有图片进行相应处理，即可获取所有图片的美感标签；

5)可根据资料对图片美感进行审美计数分数划分，如：若好看计数落于[50,60]区间内，则图片的美感分数为5；

6)处理方式同2)，但以不好看计数为标准，即不好看计数落于[50,60]区间内，则图片的美感分数为5；

4.将答题方的的答案与出题方的答案进行对比，计算两者之间的综合默契度并展示在前端的答题记录中，计算方式如下：

E.每次出题记为:Q＝{Q₁,Q₂,…,Q_T}

该次出题的图片为：

P＝{P₁,P₂,…,P_M}

F.答题方为答案记为

A＝{A₁,A₂,…,A_N}

G.对每道题，答题方的标注为

G＝{G₁,G₂,…,G_M}

H.出题方和每个答题方的默契度为

此处S(P，G)的计算可以用外部有效性指数来计算两个标注的相似度；M表示图片数量即P下标，N表示答案数量即A下标，T表示题目数量即G下标。

参考文献

[1]Gewali U B,Monteiro S T,Saber E.Machine learning basedhyperspectral image analysis:Asurvey[J].2018.

[2]Marc Davis,Michael Smith,John Canny,Nathan Good,Simon King,andRajkumar Janakiraman.2005.Towards context-aware face recognition.InProceedings of the 13th annual ACM international conference on Multimedia(MULTIMEDIA'05).ACM,New York,NY,USA,483-486.

[3]Weining Wang,Mingquan Zhao,Li Wang,Jiexiong Huang,Chengjia Cai,Xiangmin Xu,A multi-scene deep learning model for image aesthetic evaluation,Signal Processing:Image Communication,Vol.47,2016,511-518.

[4]Cheng Q,Zhang Q,Fu P,et al.A Survey and Analysis on AutomaticImage Annotation[J].Pattern Recognition,2018:S0031320318300670.

[5]胡天磊,伍赛,陈刚,周显锞,张冰冰,陈珂.基于微博的众包问答系统信息采集方法[p].中国专利:103106267,2013-05-15.

[6]Ling-Jyh Cheng,Bo-Chun Wang and Wen-Yuan Zhu.The Design of PuzzleSelection Strategies for ESP-Like GWAP System[J].IEEE Transactions oncomputation and AI in games,vol.2,no.2,120-130,2010.

[7]AnHai Doan，Raghu Ramakrishnan，Alon Y.Halevy.Crowdsourcing Systemson the World-Wide Web[J].Commun.ACM,54(4):86-96,2011.

[8]Xiaohui Shen,Zhe Lin,Shu Kong,Radomir Mech.Utilizing Deep Learningfor Rating Aesthetics of Digital Images:U.S.Patent 2017/0294010[P].2017-10-12.

Claims (1)

1.一种基于微信小程序的食物图片美学分析标签数据收集系统，其特征在于，整个系统包括三个模块：出题模块，答题模块，数据收集模块；

参与者在微信平台上通过问题模块提出问题；

数据收集模块通过问题模块收集食物图片、标注数据及问题数据；

答题者通过答题模块回答问题，获取与参与者的默契度数值，数据收集模块通过答题模块收集图片标注数据及答案数据。

所述出题模块，算法为：

1.1.根据游戏题意，用户可从游戏内置的图片库或是自己的相册库中选择图片，两种选择方式可共存，但数量限制在至少两张图片，至多九张图片范围内；

1.1.1游戏内置图片库的食物图片数据来源于google、yelp、百度及bing，并已经过人工确认属于食物图片；

1.1.1.1若用户选择从图片库中选择数据，则用户在弹出框内选择从图片库中选择数据，跳至数据库图片选择界面；该界面随机从图片数据库中选择九张图片进行展示；

1.1.1.2界面下方置刷新按钮，若用户对当前页面内的图片不满意，则可点击刷新按钮，程序将重新从图片库中获取九张随机图片供选择；

1.1.1.3用户在该页面至少选择一张图片，至多九张图片；若未选择图片，返回；

1.1.2若用户从自己的相册库中选择图片，用户可选择拍照，或从用户相册中选择图片，同样通过该方式一次选择的图片不少于一张但不超过九张；

1.1.2.1用户选择拍摄图片后，将调用用户手机摄像头，用户拍摄食物图片获得一张照片，并直接返回；

1.1.2.2若用户选择从相册中选择图片，将跳至用户相册内容，用户从自己的相册中依照题意选择照片，选择完成后点击完成按钮，程序将获取压缩过后的用户相册图片；

1.2、当用户选择图片的操作完毕后，点击完成按钮，将进行如下一系列操作：

1.2.1将用户选择图片分类为图片库图片与用户相册图片；

1.2.1.1若为图片库图片，则不操作；

1.2.1.2若为用户相册图片，则调用第三方库，将所有用户相册图片数据压缩，进行食物图片类别的检测；若检测结果非食物图片，则弹框提示用户删除图片，过滤该图片；若检测结果通过，则将上传用户相册图片至图片数据库中，对图片数据库进行更新，为该图片编码，并增加对应图片记录。

1.2.2图片上传完成后，在问题数据库表中增加对应的问题记录。

1.2.3问题记录添加完成，跳转至二维码展示页面，在该页面，程序将生成小程序二维码，用户可保存图片并转发好友，好友扫码答题；或是直接点击下方的转发好友按钮将小程序转发给好友。

1.3、转发完成后即进入答题模块。

所述答题模块，算法为:

2.1好友接受答题后即变为答题方，答题方从出题方的转发链接进入小程序页面，答题页面有且仅有该入口可供进入；

2.2答题方根据题意答题，即选择图片；

2.3选择完成后点击完成，程序将记录用户的答题数据，即其对于图片的标注，答案数据库表中将添加相应的记录。

2.4同时将计算出该次答题出题方与答题方的默契度和答题方的正确回答个数，并展示出题方该次出题中，默契度最高的前五位好友的昵称及默契度，该次答题的默契度计算方式如下：

A.该次出题记为q；

B.该次出题的图片为：

P＝{P₁,P₂,…,P_T}

C.答题方为答案记为

A＝{A₁,A₂,…,A_N}

D.对每道题，答题方的标注为

G＝{G₁,G₂,…,G_M}

E.出题方和每个答题方的默契度为

此处S(P，G)的计算可以用外部有效性指数来计算两个标注的相似度；T表示图片数量。

所述数据处理模块：

3.1.处理出题模块数据：若出题方从图片库中选取图片并作出标记，则更新图片数据库中相应标记数据；若出题方上传图片并做出标记，则在图片库中新增一条记录，增加相应的标记数据；

3.2.处理答题模块数据：答题方的作答即视为对图片的标注，根据其对所有图片的标注情况，对图片数据库中每条对应的图片数据进行更新操作；

3.3.对于每张图片，其都有相应的审美标注计数，即多人对这张图片美感的标注记录，此处我们记录如下三种审美标记：好看/不好看/不知道；最终数据处理方综合对每张图片的计数进行处理，处理方式如下：

1)若好看计数大于不好看计数，这图片美感标注为即为：好看；同理对图片库中所有图片进行相应处理，即可获取所有图片的美感标签；

2)可根据资料对图片美感进行审美计数分数划分，如：若好看计数落于[50,60]区间内，则图片的美感分数为5；

3)处理方式同2)，但以不好看计数为标准，即不好看计数落于[50,60]区间内，则图片的美感分数为5；

3.4.将答题方的的答案与出题方的答案进行对比，计算两者之间的综合默契度并展示在前端的答题记录中，计算方式如下：

A.每次出题记为:Q＝{Q₁,Q₂,…,Q_T}

该次出题的图片为：

P＝{P₁,P₂,…,P_M}

B.答题方为答案记为

A＝{A₁,A₂,…,A_N}

C.对每道题，答题方的标注为

G＝{G₁,G₂,…,G_M}

D.出题方和每个答题方的默契度为

此处S(P，G)的计算可以用外部有效性指数来计算两个标注的相似度；M表示图片数量即P下标，N表示答案数量即A下标，T表示题目数量即G下标。