CN112115903A - 提升基于深度学习的菜品识别系统识别精度的方法 - Google Patents

提升基于深度学习的菜品识别系统识别精度的方法 Download PDF

Info

Publication number
CN112115903A
CN112115903A CN202011023188.3A CN202011023188A CN112115903A CN 112115903 A CN112115903 A CN 112115903A CN 202011023188 A CN202011023188 A CN 202011023188A CN 112115903 A CN112115903 A CN 112115903A
Authority
CN
China
Prior art keywords
dish
dishes
picture
identification
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011023188.3A
Other languages
English (en)
Inventor
陈晓鹏
梁永坚
赵晓红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Paike Pushi Information Technology Co ltd
Original Assignee
Guangzhou Paike Pushi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Paike Pushi Information Technology Co ltd filed Critical Guangzhou Paike Pushi Information Technology Co ltd
Priority to CN202011023188.3A priority Critical patent/CN112115903A/zh
Publication of CN112115903A publication Critical patent/CN112115903A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种提升基于深度学习的菜品识别系统精度的方法，对菜品采集连续的多帧图片，求取每一帧图片中各个菜品的中心坐标，利用曼哈顿距离公式计算连续的前后两帧图片中同一个菜品对应的中心坐标差值，直到该中心坐标差值小于设定阈值，取最后一帧图片进行菜品识别；裁剪得到包含菜品的图片进行固定角度范围内的随机旋转和翻转，结合亮度和对比度随机调整得到多张增强图片；提取每张增强图片的菜品信息特征，计算出菜品信息特征均值；菜品信息特征均值与数据库里储存的菜品信息特征进行特征对比判断，输出菜品的识别结果。本发明提供的菜品识别方法可获取稳定图像帧，提高菜品识别精度，增强菜品的预测得分，提高了菜品识别结果的置信度。

Description

提升基于深度学习的菜品识别系统识别精度的方法
技术领域
本发明涉及图像识别技术领域，具体是一种提升基于深度学习的菜品识别系统识别精度的方法。
背景技术
随着社会的快速发展，为了体现方便快捷，现阶段大部分的餐厅都采用了自主挑选菜品，排队进行结账。由于结账分为人工计价和自动计价，随着食客人数的增多，人工计价效率低，正确率无法得到保障等缺点就会显露出来。随着人工智能以及移动端互联网的规模急速增长，人们对于“智能化”的需求越来越大，因此近年来出现了一些自动计价方法。在餐饮行业方面，当前越来越多许高校以及大型企业的食堂，引入菜品智能识别与结算设备。
现有的技术有单独使用深度学习目标检测或语义分割的菜品识别方法在智能结算过程中，智能结算台通过摄像头获取结算时的菜品图片，即可端到端直接获取到每个菜品的具体位置和所属类别，智能结算系统根据每个菜品的检测结果进行快速关联，计算出当前订单的结算总金额。但是，该种方式使用端到端的检测模式对标签数据需求量大，需要更高的人力成本；只适用于固定类别的菜品识别，不能识别新增的菜品，灵活性低；端到端模式的泛化能力差，菜品识别精度低。
还有利用结合深度学习目标检测和图像分类的菜品识别方法，该种方法通过分阶段形式，实现菜品识别。第一阶段，对采集的菜品图片进行目标检测，定位出当前图片中的所有菜品具体位置；第二阶段，根据目标检测定位的每个菜品位置信息，单独扣取每一个菜品作为一个子图，然后将每个菜品子图送进图像分类网络，识别各个菜品子图的菜品类别。最后，智能结算系统根据每个菜品的检测结果进行快速关联，计算出当前订单的结算总金额。融合深度学习目标检测与图像分类方法，虽然速度没有端到端的模式快，但是识别精度比端到端模式高。目标检测只负责菜品检出，能够增强检测模型的泛化能力，使得检出率高。但是，图像分类网络只适合识别固定类别的菜品，同样无法识别新增菜品。而且，即使是只识别固定类别的菜品，也需要引入一些辅助方法，才能达到一个较好的识别精度。
发明内容
本发明提供一种显著提高基于深度学习的菜品识别系统识别精度，菜品识别率高的方法。
本发明所述的提升基于深度学习的菜品识别系统识别精度的方法,包括以下步骤：
S1,对菜品采集连续的多帧图片，求取每一帧图片中各个菜品的中心坐标，利用曼哈顿距离公式计算连续的前后两帧图片中同一个菜品对应的中心坐标差值，直到该中心坐标差值小于设定阈值，取最后一帧图片进行菜品识别；
S2,对图片进行裁剪，得到包含菜品的图片；
S3,对裁剪的图片进行固定角度范围内的随机旋转和翻转，结合亮度和对比度随机调整得到多张增强图片；
S4,提取每张增强图片的菜品信息特征，得到多个不同的菜品信息特征，计算出菜品信息特征均值；
S5，通过菜品信息特征均值与数据库里储存的菜品信息特征进行特征对比判断，最后输出菜品的识别结果。
所述的提升基于深度学习的菜品识别系统识别精度的方法,在采集菜品图片的过程中，通过采集对每一帧图片求取图片中各个菜品的中心坐标，利用曼哈顿距离公式计算连续的前后两帧图片中同一个菜品对应的中心坐标差值，直到该中心坐标差值小于设定阈值，取最后一帧图片进行菜品识别，保证了识别的图片均处于稳定状态，可获取稳定图像帧，降低识别过程中外物干扰的风险，有利于提高菜品识别精度，然后通过对裁剪的图片进行随机旋转变换得到多个特征，计算出该多个特征的特征均值，通过经过数据增强预处理的特征均值与数据库的特征进行比对，有利于增强菜品的预测得分，极大的提高了菜品识别结果的置信度。
附图说明
图1为提升基于深度学习的菜品识别系统识别精度的方法步骤框图。
图2为提升基于深度学习的菜品识别系统识别精度的方法的流程图。
图3为图2中的数据增强预处理流程图。
图4为图2中的菜品纠错流程图。
具体实施方式
如图1-4所示，一种提升基于深度学习的菜品识别系统识别精度的方法,包括以下步骤：
S1,对菜品采集连续的多帧图片，求取每一帧图片中各个菜品的中心坐标，利用曼哈顿距离公式计算连续的前后两帧图片中同一个菜品对应的中心坐标差值，直到该中心坐标差值小于设定阈值，取最后一帧图片进行菜品识别；
S2,对图片进行裁剪，得到包含菜品的图片；
S3,对裁剪的图片进行固定角度范围内的随机旋转和翻转，结合亮度和对比度随机调整得到多张增强图片；
S4,提取每张增强图片的菜品信息特征，得到多个不同的菜品信息特征，计算出菜品信息特征均值；
S5，通过菜品信息特征均值与数据库里储存的菜品信息特征进行特征对比判断，最后输出菜品的识别结果。
在采集菜品图片的过程中，一般采用实时采集图像的方式，该种方式容易把手、手机等于菜品无关的干扰物拍进来，会增加模型识别的难度。另外，实时采集会导致同一笔订单中，随着菜品的移动或晃动，该订单的价格单的价格发生连续跳变，大大增加订单少算或多算的风险。对次，通过动静检测方法采集菜品图片，即当菜品被置于识别区域时，设备会对其连续采集N帧图片，对每一帧图片求取各个菜品的中心坐标(x1,y1)，(x2,y2)，... (xn,yn)，然后使用公式
Figure 787502DEST_PATH_IMAGE001
，即曼哈顿距离公式（城市街区距离），计算前后两帧图片同一个菜品对应的中心坐标差值是否均小于设定阈值，若是，说明当前菜品处于稳定待识别状态，取第N帧图片进行菜品识别，获取识别结果；反之，如果前后两帧图片同一个菜品对应的中心坐标差值出现有大于设定阈值的，说明当前菜品未进入稳定待识别状态，需要从第N帧起重新对当前菜品采集图像。动静检测方法，保证了识别的图片均处于稳定状态，可获取稳定图像帧，有效解决价格跳变导致订单少算或多算问题，降低识别过程中外物干扰的风险，有利于提高菜品识别精度，然后通过对裁剪的图片进行随机旋转变换得到多个特征，计算出该多个特征的特征均值，通过经过数据增强预处理的特征均值与数据库的特征进行比对，有利于增强菜品的预测得分，极大的提高了菜品识别结果的置信度。
所述的提升基于深度学习的菜品识别系统识别精度的方法，在对菜品进行采集之前，还包括以下步骤：在后台数据库中选择当餐所涉及的菜单进行筛选排单，减少从数据库中需要提取比对的菜品信息特征。菜品排单可按天选择，以一天为单位，直接选择当天涉及的所有菜单；也可分餐选择，以单餐为单位，选择当餐所涉及的菜单。可使寻找特征对比的模型从原来的几百种类别中搜索变为从几十种类别中搜索，极大地降低了模型的搜索空间，降低相似菜品影响的风险，提高菜品识别精度。
所述的提升基于深度学习的菜品识别系统识别精度的方法，还包括以下步骤：在菜品识别时，当有识别到有新品增加、置信度识别得分相近和置信度识别得分过低时，及时在菜品识别界面报警提醒，转由人工进行干预纠正识别。客户端通过轮询机制，监控后台是否有新菜增加，一旦发现后台添加新菜，及时在菜品识别界面弹出提醒消息，可及时更新数据库里的特征，保证菜品的识别率。菜品在制作出品时，受各种客观因素，如：菜品表面光反射、菜品包裹保鲜膜、酱料和配料等影响，经常会出现一些表面特征很相似，很容易引起识别混淆的相似菜品。为了有效降低这类相似菜品引起的误识别，可提供top5的五个的识别结果，在识别时判断top1和top2两个识别结果的得分差值是否小于设定的阈值，若是，则用显眼的颜色将该菜品的识别框与其他识别正常的菜品的识别框区分开，用以提醒工作人员注意该情况下的识别结果不一定可信，需要进行人工校验，进而降低相似类别菜品带来的误识别风险。菜品在识别过程中受外界因素，如：手/手机遮挡、走影、重叠或外界强光干扰等影响，会降低菜品识别效果。因此，对于识别结果的置信度得分低于设定阈值的结果，同样会用不同颜色的识别框来区别于正常识别框，以提醒当前菜品的识别结果需要进行人工校验，降低误识别风险。
所述的提升基于深度学习的菜品识别系统识别精度的方法，还包括以下步骤：判别当前采集的菜品类别是否在数据库中存在，不存在则进行新增菜品，存在则进行菜品纠错修正类别，纠正完正确的菜品类别后，对该菜品图片进行数据增强并提取特征，与数据库里对应的正确类别的菜品信息特征，进行加权平均，然后再把加权平均的特征更新原数据库中的菜品信息特征，能有效提升下一次同类别菜品的识别效果，进一步提升菜品的识别精度。

Claims (4)

1.一种提升基于深度学习的菜品识别系统精度的方法，其特征在于，包括以下步骤：
S1,对菜品采集连续的多帧图片，求取每一帧图片中各个菜品的中心坐标，利用曼哈顿距离公式计算连续的前后两帧图片中同一个菜品对应的中心坐标差值，直到该中心坐标差值小于设定阈值，取最后一帧图片进行菜品识别；
S2,对图片进行裁剪，得到包含菜品的图片；
S3,对裁剪的图片进行固定角度范围内的随机旋转和翻转，结合亮度和对比度随机调整得到多张增强图片；
S4,提取每张增强图片的菜品信息特征，得到多个不同的菜品信息特征，计算出菜品信息特征均值；
S5，通过菜品信息特征均值与数据库里储存的菜品信息特征进行特征对比判断，最后输出菜品的识别结果。
2.根据权利要求1所述的提升基于深度学习的菜品识别系统精度的方法，其特征在于，在对菜品进行采集之前，还包括以下步骤：在后台数据库中选择当餐所涉及的菜单进行筛选排单，减少从数据库中需要提取比对的菜品信息特征。
3.根据权利要求1所述的提升基于深度学习的菜品识别系统精度的方法，其特征在于，还包括以下步骤：在菜品识别时，当有识别到有新品增加、置信度识别得分相近和置信度识别得分过低时，及时在菜品识别界面报警提醒，转由人工进行干预纠正识别。
4.根据权利要求3所述的提升基于深度学习的菜品识别系统精度的方法，其特征在于，还包括以下步骤：判别当前采集的菜品类别是否在数据库中存在，不存在则进行新增菜品，存在则进行菜品纠错修正类别，纠正完正确的菜品类别后，对该菜品图片进行数据增强并提取特征，与数据库里对应的正确类别的菜品信息特征，进行加权平均，然后再把加权平均的特征更新原数据库中的菜品信息特征。
CN202011023188.3A 2020-09-25 2020-09-25 提升基于深度学习的菜品识别系统识别精度的方法 Pending CN112115903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011023188.3A CN112115903A (zh) 2020-09-25 2020-09-25 提升基于深度学习的菜品识别系统识别精度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011023188.3A CN112115903A (zh) 2020-09-25 2020-09-25 提升基于深度学习的菜品识别系统识别精度的方法

Publications (1)

Publication Number Publication Date
CN112115903A true CN112115903A (zh) 2020-12-22

Family

ID=73797342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011023188.3A Pending CN112115903A (zh) 2020-09-25 2020-09-25 提升基于深度学习的菜品识别系统识别精度的方法

Country Status (1)

Country Link
CN (1) CN112115903A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343198A (zh) * 2023-04-18 2023-06-27 北京荣智震宇科技有限公司 一种基于多模型的菜品识别方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104269003A (zh) * 2014-09-12 2015-01-07 李龙龙 一种食物识别方法、装置及系统
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN109523428A (zh) * 2018-09-13 2019-03-26 上海交通大学 基于图像识别技术的智能餐饮结算方法、系统、装置及介质
CN110111034A (zh) * 2018-02-01 2019-08-09 重庆好德译信息技术有限公司 一种厨房库存管理系统和方法
CN111523483A (zh) * 2020-04-24 2020-08-11 北京邮电大学 中餐菜品图像识别方法及装置
CN111626170A (zh) * 2020-05-20 2020-09-04 中铁二院工程集团有限责任公司 一种铁路边坡落石侵限检测的图像识别方法
CN111680603A (zh) * 2020-05-28 2020-09-18 浙江师范大学 一种菜品检测和识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104269003A (zh) * 2014-09-12 2015-01-07 李龙龙 一种食物识别方法、装置及系统
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN110111034A (zh) * 2018-02-01 2019-08-09 重庆好德译信息技术有限公司 一种厨房库存管理系统和方法
CN109523428A (zh) * 2018-09-13 2019-03-26 上海交通大学 基于图像识别技术的智能餐饮结算方法、系统、装置及介质
CN111523483A (zh) * 2020-04-24 2020-08-11 北京邮电大学 中餐菜品图像识别方法及装置
CN111626170A (zh) * 2020-05-20 2020-09-04 中铁二院工程集团有限责任公司 一种铁路边坡落石侵限检测的图像识别方法
CN111680603A (zh) * 2020-05-28 2020-09-18 浙江师范大学 一种菜品检测和识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343198A (zh) * 2023-04-18 2023-06-27 北京荣智震宇科技有限公司 一种基于多模型的菜品识别方法及设备
CN116343198B (zh) * 2023-04-18 2024-01-16 北京荣智震宇科技有限公司 一种基于多模型的菜品识别方法及设备

Similar Documents

Publication Publication Date Title
CN111414887B (zh) 基于yolov3算法的二次检测口罩人脸识别方法
CN110414559B (zh) 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
CN111340126B (zh) 物品识别方法、装置、计算机设备和存储介质
CN112115906A (zh) 基于深度学习目标检测和度量学习的开放性菜品识别方法
CN109800698A (zh) 基于深度网络的图标检测方法
CN109615358B (zh) 一种基于深度学习图像识别的餐厅自动结算方法及系统
CN111666824B (zh) 移动机器人的基于颜色属性和机器学习的指示灯识别方法
CN111414807B (zh) 一种基于yolo技术的潮水识别与危机预警方法
CN109214280A (zh) 基于街景的店铺识别方法、装置、电子设备及存储介质
CN114387520A (zh) 一种用于机器人采摘的密集李子精准检测方法及其系统
CN109711399A (zh) 基于图像的店铺识别方法、装置，电子设备
CN108932512A (zh) 一种冰箱食材录入方法
CN114155610B (zh) 基于上半身姿态估计的面板装配关键动作识别方法
CN115049598A (zh) 门店货架上摆放试用装产品规范检测方法、系统及设备
CN112153373A (zh) 明厨亮灶设备的故障识别方法、装置及存储介质
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统
CN105005982A (zh) 包括对象选择的图像处理
US11748787B2 (en) Analysis method and system for the item on the supermarket shelf
CN113784171A (zh) 视频数据处理方法、装置、计算机系统及可读存储介质
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
CN116343228A (zh) 一种水表智能读数方法及系统
CN112115903A (zh) 提升基于深度学习的菜品识别系统识别精度的方法
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN115187879A (zh) 一种基于YOLOv5的楼栋检测与楼层定位方法及装置
CN115063084A (zh) 一种卷烟零售商户库存盘点方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination