CN111680603A - 一种菜品检测和识别方法 - Google Patents
一种菜品检测和识别方法 Download PDFInfo
- Publication number
- CN111680603A CN111680603A CN202010486862.5A CN202010486862A CN111680603A CN 111680603 A CN111680603 A CN 111680603A CN 202010486862 A CN202010486862 A CN 202010486862A CN 111680603 A CN111680603 A CN 111680603A
- Authority
- CN
- China
- Prior art keywords
- dish
- detected
- dishes
- sample
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 235000003166 Opuntia robusta Nutrition 0.000 claims abstract description 13
- 244000218514 Opuntia robusta Species 0.000 claims abstract description 13
- 235000013311 vegetables Nutrition 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000011897 real-time detection Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种菜品检测和识别方法，将待检测菜品特征与数据库内的菜品特征进行比对，计算其相似度，对菜品进行检测和识别。该方法包括：通过基于目标检测网络的碗碟检测模型定位摄像头拍摄得到的餐盘图片中的菜品位置，利用卷积神经网络提取检测出来的菜品的特征，和预先实际存储的菜品的特征进行比对，计算其相似度，进而判断菜品的分类，实现食堂菜品的计价。本发明通过提取菜品特征对菜品进行检测识别，能够有效减少前期的工作量，提高计算速度，能够实时检测。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种菜品检测和识别方法。
背景技术
目前食堂菜品计费方法包括人工计费和自动计费。人工计费方法存在人工成本高，计费慢，容易错等缺点。自动计费主要分为两大类，第一类是基于RFID标签的感应式计费，第二类是基于计算机视觉的方式。随着深度学习技术的发展，基于深度学习的计算机视觉方式在识别精度和速度上取得了很好的效果，达到实用化水平，已经成为主流的菜品识别方法。
目前基于深度学习的菜品识别方法主要是基于目标检测算法，比如Faster RCNN，YOLO，SSD等流行的算法。这些算法检测和识别精度高，但为了达到实用的精度，每个菜品需要采集成百上千张样本图片进行训练，造成训练成本过高，不利于降低企业成本。此外，此类检测算法不能够实时识别新的菜品，也即如果有新的菜品需要识别，那么需要采集该菜品的样本，然后添加到现有样本库中进行训练。这样导致识别新的菜品需要耗费数天，甚至一周的时间，对于一些菜品更新比较频繁的餐厅来说，是难以接受的。
为了解决以上问题，本发明提出了一种菜品检测和识别方法。该方法提出可以先训练一个通用的碗碟检测模型，这样就可以从摄像头拍摄的餐盘图片中将所有的包含菜品的碗碟检测出来，形成独立的菜品图片。在得到菜品图片后，利用卷积神经网络提取菜品特征，提取出来的菜品特征和预先存储到的各种菜品特征进行相似度比对，相似度最高的那个菜品类别就是提取出来的菜品类别。该方法解决了菜品的实时识别问题，也即对于新的菜品，只需要拍照一次，并将其特征存储到菜品特征库。
本发明提供了一种菜品检测和识别方法，适用于餐厅、食堂、饭馆等人流量多的餐饮场所。通过卷积神经网络训练出碗碟模型，使用该模型对菜品进行定位，提取菜品特征，将该菜品特征与预先存储的样本菜品特征库进行比对，得到与该菜品最相似的样本菜品，导出该样本菜品的菜品信息就可判断菜品种类与价格。该方法只需提取菜品特征，计算待测菜品与样本菜品的相似度，就能对菜品进行判断，减少了前期训练的工作量和检测时间，在同样精度的前提下有更快的速度。
发明内容
本发明提供了一种菜品检测和识别方法，该方法包括：
采集餐盘图片，标注碗碟信息；
使用目标检测算法训练碗碟模型；
采集菜品样本数据；
使用卷积神经网络提取样本菜品特征；
通过摄像头获取待检测的餐盘图像；
通过碗碟模型确定菜品位置并将其提取出来；
使用卷积神经网络提取待检测菜品特征；
将待检测菜品特征与样本菜品特征进行相似度计算，得出最后结果。
其中，根据所述采集菜品样本数据，包括：
在餐厅中拍摄菜品样本图片；
标注各个菜品名称。
其中，根据所述使用卷积神经网络提取样本菜品特征，包括：
利用标注好的菜品数据通过卷积神经网络提取菜品图片特征。
其中，根据所述通过摄像头获取待检测的菜品图像，包括：
使用摄像头拍摄待检测菜品图像。
其中，根据所述使用卷积神经网络提取待检测菜品特征，包括：
摄像头获取的菜品图片输入到卷积神经网络；
利用卷积神经网络提取待检测菜品特征。
其中，根据所述将待检测菜品特征与样本菜品特征进行相似度匹配，包括：
采用欧式距离计算样本菜品与待检测菜品的相似度；
将样本菜品按照与待检测菜品的相似度进行排序；
确定最终的预测结果。
其中，根据所述输出最终结果，包括：
预测得到的结果与标签相关联；
输出最终菜品名称。
基于上述发明方法，与现有方法相比具有突出的区别和贡献在于：
本发明实现了新增菜品的即时识别，具有广阔的应用前景。
附图说明：
以下结合附图对本发明的技术方案作进一步说明，但不构成对本发明技术方案的限制。
图1为本申请实施例的一种菜品检测和识别方法的流程图。
图2为本申请实施例的一种菜品检测和识别方法的训练，检测，判断各模块的流程图。
图3为本申请实施例的一种菜品检测和识别方法的碗碟定位方法流程图。
具体实施方式：
以下将通过具体的实施例及附图来详细介绍本发明的目的、技术方案和优点。
图1所示为本申请实施例的一种菜品检测和识别方法的整个流程示意图，具体实施如下：
步骤S110，采集碗碟信息；
步骤S120，使用目标检测训练碗碟模型；
步骤S130，采集菜品样本图片；
步骤S140，使用卷积神经网络提取样本菜品的特征；
步骤S150，通过摄像头获取待检测的菜品图像；
步骤S160，使用卷积神经网络提取待检测菜品的特征；
步骤S170，计算相似度，得到最终结果。
以下对本申请实施例的若干关键步骤作详细介绍。
图2所示为本申请实施例的一种菜品检测和识别方法的训练，检测，判断各模块流程图，其中：
根据所述，训练模块，包括：
采集餐盘图片；
标记餐盘中的碗碟；
使用目标检测网络训练碗碟模型；
根据所述，检测模块，包括：
现场通过摄像头采集菜品样本数据，对样本数据进行预处理，包括菜品定位、标记菜品数据，并且一张图片只有一个菜品，同种类菜品样本放入少张；
将处理后的菜品样本图片送入卷积神经网络提取特征信息，得到每个菜品样本的特征信息；
使用摄像头拍摄待检测菜品图像；
利用碗碟模型定位菜品位置，并将其提取出来；
将获取到的菜品图像同时输入卷积神经网络提取特征信息；
根据所述，判断模块，包括：
计算特征库数据与待检测菜品特征的相似度。
将样本菜品按相似度大小顺序排序；
读取相似度最大的前几个样本菜品，判断其菜品种类；
从前几个标记中找到出现次数最多的样本菜品，这个菜品的种类就是待检测的菜品种类；
若识别错误，则更新数据库；
得到最终结果。
图3为本申请实施例的一种菜品检测和识别方法的碗碟定位方法流程示意图，其中：
在训练阶段，采集餐盘图片，标记出碗碟，送入卷积神经网络进行训练，得到碗碟模型。
在判断阶段，通过碗碟模型在餐盘中定位出菜品位置，将菜品图像提取出来。
Claims (6)
1.一种菜品检测和识别方法，其特征在于，所述方法包括以下步骤：
采集餐盘图片，标注碗碟信息；
使用目标检测算法训练碗碟模型；
采集菜品样本数据；
使用卷积神经网络提取每个菜品样本的特征，建立特征库；
通过摄像头获取待检测的餐盘图像；
通过碗碟模型确定菜品位置并将其提取出来；
通过卷积神经网络提取该菜品特征；
计算特征库数据与待检测菜品特征数据的相似度，得到最终结果；
若识别错误，则更新数据库；
若有新菜品，则增加菜品数据库。
2.根据权利要求1所述的一种菜品检测和识别方法，其特征在于，使用卷积神经网络训练碗碟模型，包括：
采集餐盘数据进行标记，标注碗碟；
将标记好碗碟的餐盘图片输入目标检测网络进行训练，得到碗碟模型。
3.根据权利要求1所述的一种菜品检测和识别方法，其特征在于，通过摄像头获取待检测的菜品图像，并输入到卷积神经网络中进行检测，包括：
通过摄像头获取待检测菜品图像；
利用碗碟模型定位菜品位置；
将菜品图像提取出来，并输入到同样的卷积神经网络中；
通过卷积神经网络提取待检测菜品图像的特征。
4.根据权利要求1所述的一种菜品检测和识别方法，其特征在于，将样本特征数据与待检测菜品特征数据进行比对，得到最终结果，包括：
计算待检测菜品与各个样本菜品的相似度；
按照相似度大小对样本菜品进行排序；
输出与待检测菜品相似度最高的前几个样本菜品；
统计前几个样本菜品中同种类的个数；
确定最终的检测结果。
5.根据权利要求1所述的一种菜品检测和识别方法，其特征在于，若识别错误，则更新数据库，包括：
更新该菜品的特征数据放入特征库中；
记录该菜品的种类名称，使其与特征数据相对应。
6.根据权利要求1所述的一种菜品检测和识别方法，其特征在于，若有新菜品，则增加菜品数据库，包括：
使用手机小程序拍摄菜品图片，记录新菜品信息，包括名称与价格；
小程序将新菜品图片传到云端进行特征提取，并将该特征录入菜品特征库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010486862.5A CN111680603A (zh) | 2020-05-28 | 2020-05-28 | 一种菜品检测和识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010486862.5A CN111680603A (zh) | 2020-05-28 | 2020-05-28 | 一种菜品检测和识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111680603A true CN111680603A (zh) | 2020-09-18 |
Family
ID=72453137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010486862.5A Pending CN111680603A (zh) | 2020-05-28 | 2020-05-28 | 一种菜品检测和识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111680603A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112115902A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 一种基于单阶段目标检测算法的菜品识别方法 |
| CN112115901A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 一种高准确度的食物识别方法 |
| CN112115906A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 基于深度学习目标检测和度量学习的开放性菜品识别方法 |
| CN112115903A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 提升基于深度学习的菜品识别系统识别精度的方法 |
| CN112507942A (zh) * | 2020-12-17 | 2021-03-16 | 神思电子技术股份有限公司 | 一种多尺度融合的菜品识别方法 |
| CN112668529A (zh) * | 2020-12-31 | 2021-04-16 | 神思电子技术股份有限公司 | 一种菜品样本图像增强识别方法 |
| CN113269250A (zh) * | 2021-05-25 | 2021-08-17 | 国网浙江省电力有限公司综合服务分公司 | 一种餐盘光盘情况评测方法 |
| JP7227423B1 (ja) | 2022-06-10 | 2023-02-21 | セーフィー株式会社 | 情報処理システム、情報処理方法及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060110029A1 (en) * | 2004-11-22 | 2006-05-25 | Masato Kazui | Pattern recognizing method and apparatus |
| CN107122730A (zh) * | 2017-04-24 | 2017-09-01 | 乐金伟 | 自选餐厅自动计价方法 |
| CN108537177A (zh) * | 2018-04-12 | 2018-09-14 | 徐州乐健天合健康科技有限公司 | 一种基于深度卷积神经网络的菜谱识别方法 |
| CN110084642A (zh) * | 2019-04-19 | 2019-08-02 | 哈尔滨新中新电子股份有限公司 | 基于目标检测和图像检索的菜品识别方法 |
| CN111080494A (zh) * | 2019-12-12 | 2020-04-28 | 常州金葵智能技术有限公司 | 一种运用智能托盘实现无人结算的餐厅系统及其结算方法 |
-
2020
- 2020-05-28 CN CN202010486862.5A patent/CN111680603A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060110029A1 (en) * | 2004-11-22 | 2006-05-25 | Masato Kazui | Pattern recognizing method and apparatus |
| CN107122730A (zh) * | 2017-04-24 | 2017-09-01 | 乐金伟 | 自选餐厅自动计价方法 |
| CN108537177A (zh) * | 2018-04-12 | 2018-09-14 | 徐州乐健天合健康科技有限公司 | 一种基于深度卷积神经网络的菜谱识别方法 |
| CN110084642A (zh) * | 2019-04-19 | 2019-08-02 | 哈尔滨新中新电子股份有限公司 | 基于目标检测和图像检索的菜品识别方法 |
| CN111080494A (zh) * | 2019-12-12 | 2020-04-28 | 常州金葵智能技术有限公司 | 一种运用智能托盘实现无人结算的餐厅系统及其结算方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112115902A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 一种基于单阶段目标检测算法的菜品识别方法 |
| CN112115901A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 一种高准确度的食物识别方法 |
| CN112115906A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 基于深度学习目标检测和度量学习的开放性菜品识别方法 |
| CN112115903A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 提升基于深度学习的菜品识别系统识别精度的方法 |
| CN112115901B (zh) * | 2020-09-25 | 2024-08-02 | 广州市派客朴食信息科技有限责任公司 | 一种高准确度的食物识别方法 |
| CN112507942A (zh) * | 2020-12-17 | 2021-03-16 | 神思电子技术股份有限公司 | 一种多尺度融合的菜品识别方法 |
| CN112668529A (zh) * | 2020-12-31 | 2021-04-16 | 神思电子技术股份有限公司 | 一种菜品样本图像增强识别方法 |
| CN113269250A (zh) * | 2021-05-25 | 2021-08-17 | 国网浙江省电力有限公司综合服务分公司 | 一种餐盘光盘情况评测方法 |
| JP7227423B1 (ja) | 2022-06-10 | 2023-02-21 | セーフィー株式会社 | 情報処理システム、情報処理方法及びプログラム |
| JP2023181050A (ja) * | 2022-06-10 | 2023-12-21 | セーフィー株式会社 | 情報処理システム、情報処理方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111680603A (zh) | 一种菜品检测和识别方法 | |
| CN109508664B (zh) | 一种基于深度学习的菜品识别计价方法 | |
| CN109829467A (zh) | 图像标注方法、电子装置及非暂态电脑可读取储存媒体 | |
| CN112115906A (zh) | 基于深度学习目标检测和度量学习的开放性菜品识别方法 | |
| CN108596038B (zh) | 一种结合形态学分割和神经网络的粪便中红细胞识别方法 | |
| CN108830332A (zh) | 一种视觉车辆检测方法及系统 | |
| CN106203490A (zh) | 一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法 | |
| CN112766218B (zh) | 基于非对称联合教学网络的跨域行人重识别方法和装置 | |
| CN109410238A (zh) | 一种基于PointNet++网络的枸杞识别计数方法 | |
| US11335089B2 (en) | Food detection and identification method based on deep learning | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| CN113269903A (zh) | 人脸识别课堂考勤系统 | |
| CN114494103A (zh) | 缺陷检测方法及检测装置 | |
| CN114529751B (zh) | 一种电力场景智能识别样本数据的自动筛选方法 | |
| CN110097603B (zh) | 一种时尚图像主色调解析方法 | |
| CN109614512B (zh) | 一种基于深度学习的电力设备检索方法 | |
| CN110766026A (zh) | 一种快速识别卡号的方法及装置、模型训练方法及装置 | |
| CN110580505A (zh) | 一种基于餐盘识别的智慧收银方法 | |
| CN105404682A (zh) | 一种基于数字图像内容的图书检索方法 | |
| CN110689028A (zh) | 现场图测评方法、现场勘查记录测评方法及其装置 | |
| CN115346110A (zh) | 餐盘识别方法、系统、电子设备和存储介质 | |
| CN114373144B (zh) | 一种用于高速视频中圆形标识点的自动识别方法 | |
| CN115187972A (zh) | 基于特征对比的菜品识别方法 | |
| CN112560969B (zh) | 用于人体重识别的图像处理方法、模型训练方法及装置 | |
| CN115457384A (zh) | 空心村庄中建筑的识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200918 |