CN112508131B - 一种基于芯片和深度学习的半自动菜品样本采集方法 - Google Patents

一种基于芯片和深度学习的半自动菜品样本采集方法 Download PDF

Info

Publication number
CN112508131B
CN112508131B CN202011575627.1A CN202011575627A CN112508131B CN 112508131 B CN112508131 B CN 112508131B CN 202011575627 A CN202011575627 A CN 202011575627A CN 112508131 B CN112508131 B CN 112508131B
Authority
CN
China
Prior art keywords
dish
pictures
sample
name
chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011575627.1A
Other languages
English (en)
Other versions
CN112508131A (zh
Inventor
王阔阔
许野平
瞿晨非
井焜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN202011575627.1A priority Critical patent/CN112508131B/zh
Publication of CN112508131A publication Critical patent/CN112508131A/zh
Application granted granted Critical
Publication of CN112508131B publication Critical patent/CN112508131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于芯片读取和深度学习的半自动菜品样本采集方法，本方法使用芯片读取的方法来确定菜品的名称，同时使用深度学习的网络来判定此菜品在摄像头下的位置区域，两者相结合的办法来采集更多的样本。在不影响自助用餐的情况下，增加了样本的收集范围和样本采集的数量。将多分类问题化简为二分类问题，不需要预训练模型，由于菜品表面特征同时不属于敏感信息，又以牺牲部分准确率作为代价换取采集样本速度的大幅度提升，对后续的菜品识别网络的训练迭代升级提供了更坚实的保障。

Description

一种基于芯片和深度学习的半自动菜品样本采集方法
技术领域
本发明涉及一种菜品样本半自动采集的方法，具体是一种基于芯片和深度学习的半自动样本采集方法。
背景技术
菜品识别是基于菜品的表面的特征信息进行标名识别的一种物品识别技术，在菜品结算的环节中能有效减少人力成本，在后续的营养分析中也能发挥其重要作用。但在良好的效果背后，是需要菜品样本的大量提供来保证学习的准确度，样本的优劣直接决定了学习后的网络能否有更好的识别率。原有的菜品样本的采集主要是来自于视频，或者网络上寻找的图片。采集视频需要人工采集，而且对于商业环境来讲，其工作区一般对外不开放，采集比较困难。网络上的资源过于杂乱，图片要不然经过美化，脱离了原本的特征，要不然就是质量参差不齐，下载以后还需要人工再次筛选，采集效果不尽如人意。然而对于实际使用情况来讲，菜品识别和其他物品识别又有很大的区别，比如人脸识别，人脸在很长的一段时间内是不会有太大的变化，而菜每个人都不能保证今天做的和昨天一样，总会有些差异，所以，菜品识别网络则需要更多的现场样本来进行相关的训练。
识别网络的训练归结于样本提供的多少，样本足够多的情况下，其网络结构更深，提取到的特征也越多，可是当前环境下能直接使用的样本基本没有，都需要人工处理才能提供；所以训练能区分10类和能区分100类的网络其需要的样本不可同日而语；
一个能识别更多菜品的菜品识别网络则需要更多样本量的支持，而如何在现有已经训练的菜品识别网络帮助下获取更多的样本进而减少人工标记的人力成本也已提上了日程。
发明内容
本发明要解决的技术问题是提供一种基于芯片和深度学习的半自动菜品样本采集方法，解决了菜品识别网络为了识别更多的菜品需要更多样本而造成样本采集工作量大的问题。
为了解决所述技术问题，本发明采用的技术方案是：一种基于芯片和深度学习的半自动菜品样本采集方法，包括以下步骤：
S01）、采用带芯片的餐具，芯片内写有包括菜品种类在内的菜品信息，将菜品种类对应的菜品盛入餐具中；
S02）、将盛有菜品的餐具放置在芯片读取处读取菜品名称，同时摄像头拍摄盛有菜品的餐具图片，摄像头拍摄的图片连同读取的菜品名称一起发送至深度学习网络，深度学习网络定位菜品位置、裁剪图片并识别菜品，结合芯片读取的菜品名称，创建菜品库并保存摄像头拍摄的图片，本步骤中，摄像头拍摄并保存的图片称为样本图片；
S03）、重复步骤S01）、S02），将餐厅今日所有菜品依次创建菜品库；
S04）、顾客用餐期间，其所取的菜品也在芯片读取处读取菜品名称并由摄像头拍摄图片，读取菜品名称和摄像头拍摄图片一起上传至深度学习网络，深度学习网络首先对菜品位置做定位，获取到菜品位置信息，然后将其裁剪为若干个小图片，将裁剪得到的小图片与创建菜品库中的样本图片逐个比对，若裁剪小图片与菜品库中的某一类样本图片属于同一类别，则将裁剪得到的小图片加入该菜品库中，若小图片与所有的菜品库样本图片比对完，仍未有属于同一类别的样本图片，则将该小图片加入到最后一个菜品库中。
进一步的，将裁剪得到的小图片与创建菜品库中的样本图片逐个比对的过程为：
S41）、选取第i个裁剪小图片，并判断i是否大于裁剪小图片的个数，如果是，则结束，如果否，则进行步骤S44）；
S42）、根据读取上传的菜品名称，选取该菜品名称对应的样本图片，根据其在所有菜品库的位置，将其命名为第j个样本图片；
S43）、判断j是否大于样本图片个数，如果是，则将样本图片的菜品名称作为裁剪小图片的名称，加入其所属的菜品库，如果否，则进行步骤S44）；
S44）、将步骤S41）、S42）选取的图片传递至CNN网络，CNN网络判断这两张图片是否是同一类，如果是，则确定裁剪小图片的菜品名称，将其加入该样本图片的菜品库中，并且i加1，重复步骤S41)，如果否，则j加1，重复步骤S43)。
进一步的，步骤S04）之后，将系统分类好的样本进行人工筛选，调整其对应的样本名称。
进一步的，步骤S02）中，深度学习网络识别的菜品名称为初始状态的菜品名称，根据芯片读取的名称对菜品命名规范化，并以规范化后的菜品名称创建菜品库并保存样本图片。
本发明的有益效果：本发明使用芯片读取的方法来确定菜品的名称，同时使用深度学习的网络来判定此菜品在摄像头下的位置区域，两者相结合的办法来采集更多的样本。在不影响自助用餐的情况下，增加了样本的收集范围和样本采集的数量。将多分类问题化简为二分类问题，不需要预训练模型，由于菜品表面特征同时不属于敏感信息，又以牺牲部分准确率作为代价换取采集样本速度的大幅度提升，对后续的菜品识别网络的训练迭代升级提供了更坚实的保障。
附图说明
图1为菜品入库的流程图；
图2为菜品样本采集流程图；
图3为菜品样本识别流程图；
图4为人工检索流程图。
具体实施方式
下面结合附图和具体实施示例对本发明作进一步的说明。
本实例公开一种基于芯片读取和深度学习的半自动菜品样本采集方法，来获取更多的样本。实例中使用的菜品识别网络（即深度学习网络）为小样本下训练的网络，在有限的十几种菜品分类下能做到识别率较高的效果，如果超出限定范围其识别效果可能会出现显著下滑。
具体流程为：
S01）、采用带芯片的餐具，芯片内写有包括菜品种类在内的菜品信息（芯片写入目前是自助餐饮主要实施方式，在此不做过多的赘述），将菜品种类对应的菜品盛入餐具中。
S02）、将盛有菜品的餐具放置在结算台，结算台读取对应芯片信息，然后摄像头拍摄盛有菜品的餐具图片，摄像头拍摄的图片连同读取的菜品名称一起发送至深度学习网络，深度学习网络定位菜品位置、裁剪图片并识别菜品，结合芯片读取的菜品名称，创建菜品库并保存摄像头拍摄的图片，本步骤中，摄像头拍摄并保存的图片称为样本图片。
本步骤中，深度学习网络识别的菜品名称为初始状态的菜品名称，根据训练样本的不同名称不同，根据芯片读取的名称对菜品命名规范化，并以规范化后的菜品名称创建菜品库并保存样本图片。
S03）、重复步骤S01）、S02），将餐厅今日所有菜品依次创建菜品库。
上述3个步骤为菜品入库，流程图如图1所示。菜品入库后，进行菜品样本采集，大致的步骤如图2所示，具体步骤如图3所示，具体为：
S04）、顾客用餐期间，其所取的菜品也在芯片读取处读取菜品名称并由摄像头拍摄图片，读取菜品名称和摄像头拍摄图片一起上传至深度学习网络，深度学习网络首先对菜品位置做定位，获取到菜品位置信息，然后将其裁剪为若干个小图片，将裁剪得到的小图片与创建菜品库中的样本图片逐个比对，若裁剪小图片与菜品库中的某一类样本图片属于同一类别，则将裁剪得到的小图片加入该菜品库中，若小图片与所有的菜品库样本图片比对完，仍未有属于同一类别的样本图片，则将该小图片加入到最后一个菜品库中。
如图3所示，将裁剪得到的小图片与创建菜品库中的样本图片逐个比对的过程为：
S41）、选取第i个裁剪小图片，并判断i是否大于裁剪小图片的个数，如果是，则结束，如果否，则进行步骤S44）；
S42）、根据读取上传的菜品名称，选取该菜品名称对应的样本图片，根据其在所有菜品库的位置，将其命名为第j个样本图片；
S43）、判断j是否大于样本图片个数，如果是，则将样本图片的菜品名称作为裁剪小图片的名称，加入其所属的菜品库，如果否，则进行步骤S44）；
S44）、将步骤S41）、S42）选取的图片传递至CNN网络，CNN网络判断这两张图片是否是同一类，如果是，则确定裁剪小图片的菜品名称，将其加入该样本图片的菜品库中，并且i加1，重复步骤S41)，如果否，则j加1，重复步骤S43)。
本实施例中，步骤S04）之后，将系统分类好的样本进行人工筛选，调整其对应的样本名称。如图4所示，饭点过后，人工检索菜品识别服务所分类情况，遇到识别错误的样本进行人工修改，然后即可将采集的样本提供训练；
以上所揭露仅为本发明的一个典型的具体实施案例，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所做的等同变化仍视为本发明所涵盖的范围。

Claims (3)

1.一种基于芯片和深度学习的半自动菜品样本采集方法，其特征在于：包括以下步骤：
S01）、采用带芯片的餐具，芯片内写有包括菜品种类在内的菜品信息，将菜品种类对应的菜品盛入餐具中；
S02）、将盛有菜品的餐具放置在芯片读取处读取菜品名称，同时摄像头拍摄盛有菜品的餐具图片，摄像头拍摄的图片连同读取的菜品名称一起发送至深度学习网络，深度学习网络定位菜品位置、裁剪图片并识别菜品，结合芯片读取的菜品名称，创建菜品库并保存摄像头拍摄的图片，本步骤中，摄像头拍摄并保存的图片称为样本图片；
S03）、重复步骤S01）、S02），将餐厅今日所有菜品依次创建菜品库；
S04）、顾客用餐期间，其所取的菜品也在芯片读取处读取菜品名称并由摄像头拍摄图片，读取菜品名称和摄像头拍摄图片一起上传至深度学习网络，深度学习网络首先对菜品位置做定位，获取到菜品位置信息，然后将其裁剪为若干个小图片，将裁剪得到的小图片与创建菜品库中的样本图片逐个比对，若裁剪小图片与菜品库中的某一类样本图片属于同一类别，则将裁剪得到的小图片加入该菜品库中，若小图片与所有的菜品库样本图片比对完，仍未有属于同一类别的样本图片，则将该小图片加入到最后一个菜品库中；
将裁剪得到的小图片与创建菜品库中的样本图片逐个比对的过程为：
S41）、选取第i个裁剪小图片，并判断i是否大于裁剪小图片的个数，如果是，则结束，如果否，则进行步骤S44）；
S42）、根据读取上传的菜品名称，选取该菜品名称对应的样本图片，根据其在所有菜品库的位置，将其命名为第j个样本图片；
S43）、判断j是否大于样本图片个数，如果是，则将样本图片的菜品名称作为裁剪小图片的名称，加入其所属的菜品库，如果否，则进行步骤S44）；
S44）、将步骤S41）、S42）选取的图片传递至CNN网络，CNN网络判断这两张图片是否是同一类，如果是，则确定裁剪小图片的菜品名称，将其加入该样本图片的菜品库中，并且i加1，重复步骤S41），如果否，则j加1，重复步骤S43）。
2.根据权利要求1所述的基于芯片和深度学习的半自动菜品样本采集方法，其特征在于：步骤S04）之后，将系统分类好的样本进行人工筛选，调整其对应的样本名称。
3.根据权利要求1所述的基于芯片和深度学习的半自动菜品样本采集方法，其特征在于：步骤S02）中，深度学习网络识别的菜品名称为初始状态的菜品名称，根据芯片读取的名称对菜品命名规范化，并以规范化后的菜品名称创建菜品库并保存样本图片。
CN202011575627.1A 2020-12-28 2020-12-28 一种基于芯片和深度学习的半自动菜品样本采集方法 Active CN112508131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011575627.1A CN112508131B (zh) 2020-12-28 2020-12-28 一种基于芯片和深度学习的半自动菜品样本采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011575627.1A CN112508131B (zh) 2020-12-28 2020-12-28 一种基于芯片和深度学习的半自动菜品样本采集方法

Publications (2)

Publication Number Publication Date
CN112508131A CN112508131A (zh) 2021-03-16
CN112508131B true CN112508131B (zh) 2023-04-07

Family

ID=74951751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011575627.1A Active CN112508131B (zh) 2020-12-28 2020-12-28 一种基于芯片和深度学习的半自动菜品样本采集方法

Country Status (1)

Country Link
CN (1) CN112508131B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512700A (zh) * 2015-12-01 2016-04-20 杨春光 基于rfid与视频技术的分析方法及其分析系统
CN110852733A (zh) * 2019-10-22 2020-02-28 杭州效准智能科技有限公司 一种基于rfid融合菜品图像匹配识别的智能餐饮结算系统
CN112115906A (zh) * 2020-09-25 2020-12-22 广州市派客朴食信息科技有限责任公司 基于深度学习目标检测和度量学习的开放性菜品识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512700A (zh) * 2015-12-01 2016-04-20 杨春光 基于rfid与视频技术的分析方法及其分析系统
CN110852733A (zh) * 2019-10-22 2020-02-28 杭州效准智能科技有限公司 一种基于rfid融合菜品图像匹配识别的智能餐饮结算系统
CN112115906A (zh) * 2020-09-25 2020-12-22 广州市派客朴食信息科技有限责任公司 基于深度学习目标检测和度量学习的开放性菜品识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络图像识别的智能电子秤系统;洪耀球;《景德镇学院学报》;20200721;第1-4页 *

Also Published As

Publication number Publication date
CN112508131A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN103530652B (zh) 一种基于人脸聚类的视频编目方法、检索方法及其系统
US11748401B2 (en) Generating congruous metadata for multimedia
US8170343B2 (en) Method and system for searching images with figures and recording medium storing metadata of image
CN104133875B (zh) 一种基于人脸的视频标注方法和视频检索方法
CN111680603A (zh) 一种菜品检测和识别方法
CN106055554A (zh) 一种电子相册分类方法、系统及终端
CN111163482B (zh) 数据的处理方法、设备及存储介质
CN106569691A (zh) 移动终端应用图标排列方法和系统
CN106708443A (zh) 数据读写方法及装置
CN110503140A (zh) 基于深度迁移学习与邻域降噪的分类方法
CN115393664A (zh) 一种用于目标检测的主动学习样本挑选方法
CN111652259B (zh) 一种清洗数据的方法及系统
CN112508131B (zh) 一种基于芯片和深度学习的半自动菜品样本采集方法
CN113660687B (zh) 网络差小区处理方法、装置、设备及存储介质
CN111931856A (zh) 视频分类方法和装置、电子设备和存储介质
CN107656760A (zh) 数据处理方法及装置、电子设备
CN114494890B (zh) 一种模型训练方法、商品图像管理方法及装置
CN110309273A (zh) 问答方法和装置
CN111078958B (zh) 一种针对多样化生物数据即时统计与决策系统
CN111160156B (zh) 一种移动物体的识别方法及装置
CN104156423B (zh) 基于整数规划的多尺度视频关键帧提取方法
CN105740889A (zh) 一种图像分类方法、装置及系统
CN110598803A (zh) 一种基于决策树算法的小区感知识别方法及装置
CN111079526A (zh) 一种信鸽亲缘关系分析方法、装置及存储介质
CN113361642B (zh) 一种鲜切花分级方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant