CN111753690A - 一种菜品托盘识别方法及基于该方法的菜品识别方法 - Google Patents

一种菜品托盘识别方法及基于该方法的菜品识别方法 Download PDF

Info

Publication number
CN111753690A
CN111753690A CN202010540966.XA CN202010540966A CN111753690A CN 111753690 A CN111753690 A CN 111753690A CN 202010540966 A CN202010540966 A CN 202010540966A CN 111753690 A CN111753690 A CN 111753690A
Authority
CN
China
Prior art keywords
tray
dish
similarity
detection
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010540966.XA
Other languages
English (en)
Other versions
CN111753690B (zh
Inventor
井焜
瞿晨非
王阔阔
方亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN202010540966.XA priority Critical patent/CN111753690B/zh
Publication of CN111753690A publication Critical patent/CN111753690A/zh
Application granted granted Critical
Publication of CN111753690B publication Critical patent/CN111753690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种菜品托盘识别方法及基于该方法的菜品识别方法,本方法通过深度学习实现托盘检测定位、托盘特征值提取、托盘相似度计算,通过托盘检测定位可以实现菜品进入检测,输出菜品进入信号,进而激活后续菜品识别动作;通过托盘特征提取、托盘相似度计算可以实现当前托盘与已入库的托盘模板进行匹配,进而提取当前托盘的入库模板照,通过入库模板照进行背景建模,可以去除托盘对菜品区域定位的干扰,可以提高菜品识别的准确率;同时通过左右2个耳部区域检测,可以判断当前托盘的进入角度,进而可以对图像进行旋转矫正。所述菜品识别方法可以可以去除托盘对菜品区域定位的干扰,可以提高菜品识别的准确率。

Description

一种菜品托盘识别方法及基于该方法的菜品识别方法
技术领域
本发明涉及一种菜品托盘识别方法及基于该方法的菜品识别方法,属于人工智能及机器视觉技术领域。
背景技术
现有智慧餐饮系统多采用的是芯片识别技术,该技术存在几点不足:1、需要餐盘嵌入芯片,增加购料成本;2、在餐盘高温消毒环节会导致芯片损耗,增加维护成本;3、读写芯片信息需要安装读卡设备,需要对餐厅进行改造,增加改造成本,同时在一些无法改造的餐厅场景下无法适用。
基于图像的菜品识别方法可以很好的解决以上问题,目前此类方法主要流程有菜品进入检测、菜品图像采集、菜品定位、菜品识别等环节;
其中在菜品进入检测环节目前的主要方法有:红外距离感应、背景图案检测等,这些方法需要提供辅助硬件或在设备上印刷图案等,需要付出额外的代价;
菜品受厨师烹饪手法、食材、地域等众多因素影响,外观形态也存在多种变化,同样一个名字的菜品外观看起来确可能存在较大差异,这种变化导致样本种类增加,识别困难增强;目前在菜品定位环节主要方法是基于整幅图像标记菜品容器外截矩形,这其中也包含了托盘的图像,这些非识别因素的会增加重识别算法的难度。
发明内容
本发明要解决的技术问题是提供一种菜品托盘识别方法及基于该方法的菜品识别方法,所述菜品托盘识别方法有助于菜品识别算法性能提升以及加速应用落地,尤其在菜品进入检测和菜品托盘背景减除环节起到关键作用。
为了解决所述技术问题,本发明采用的技术方案是:一种菜品托盘识别方法,包括以下步骤:
S01)、特征标记,选择托盘某一部位作为标记特征进行标记;
S02)、托盘检测定位,对输入的整幅图像做目标检测,所述目标检测是指对步骤S01中的标记区域进行检测,从而判断该幅图像中是否有托盘,有托盘则给出托盘的标记特征区域;
S03)、特征提取,对步骤S02中定位的托盘标记特征区域进行特征提取并合并;
S04)、注册入库,采集场景中不同种类托盘图像,通过训练过的神经网络实现托盘特征标记区域定位,并提取特征值,将图片图像与特征值注册入库;
S05)、托盘识别,对输入的待识别图像执行步骤S02、步骤S03,实现托盘的定位和特征值提取;
S06)、相似度计算,给定两个特征值,采用相似度计算方法计算相似分值;
S07)、首位命中,将步骤S05中提取的特征值与S04中入库特征值逐一进行相似度计算获得相似分值,根据分值进行排序,排列结果中在第1位的称为首位命中,其对应的分值称为首位相似度分值;
S08)、阈值筛选,结合预设阈值和首位相似度分值实现待识别托盘与入库托盘匹配;
S09)、重复步骤S05-S08,实现托盘识别。
进一步的,步骤S01中,选择托盘两侧耳部区域作为标记特征进行标记。
进一步的,步骤S05中,采用欧几里得距离或者余弦相似度计算相似分值。
进一步的,若采用欧几里得距离计算相似度,则按照从小到大的方式进行相似分值排序;若采用余弦相似度计算相似度,则按照从大到小的方式进行相似分值排序。
进一步的,步骤S08中,取首位相似度分值与预设阈值进行比较,若相似度分值小于或者等于预设阈值,则判断命中,并给出命中种类;若相似度分值小于预设阈值,则判断未命中。
进一步的,采用YoloV3深度学习框架进行托盘定位,将原YoloV3最后一层进行修改,输出类别修改为2种托盘耳部类别输出,即检测结果包括图片耳部位置和耳部类型,耳部类型包括左、右两种,定位环节需要同时检测到左右两个耳部区域才能给出托盘检测成功结论。
进一步的,采用ResNet深度学习框架进行托盘特征提取提取,将ResNet的输出层、与输出层相连的倒数第二个层删除,在原来倒数第二个层的位置增加一个全连接层,该层包含256个节点,该层数据即为提取的特征值。
进一步的,所述预设阈值为0.6。
本发明又公开了一种菜品识别方法,本方法基于上述菜品托盘识别方法,包括以下步骤:S11)、通过托盘检测定位实现菜品进入检测,输出菜品进入信号,进而激活后续菜品识别动作;S12)、通过托盘特征提取、托盘相似度计算实现当前托盘与已入库的托盘模板进行匹配,进而提取当前托盘的入库模板照,通过入库模板照进行背景建模;S13)、基于步骤S12的背景建模进行菜品识别。
本发明的有益效果:本发明所述菜品托盘识别方法通过深度学习实现托盘检测定位、托盘特征值提取、托盘相似度计算,通过托盘检测定位可以实现菜品进入检测,输出菜品进入信号,进而激活后续菜品识别动作;通过托盘特征提取、托盘相似度计算可以实现当前托盘与已入库的托盘模板进行匹配,进而提取当前托盘的入库模板照,通过入库模板照进行背景建模,可以去除托盘对菜品区域定位的干扰,可以提高菜品识别的准确率;同时通过左右2个耳部区域检测,可以判断当前托盘的进入角度,进而可以对图像进行旋转矫正。所述菜品识别方法可以可以去除托盘对菜品区域定位的干扰,可以提高菜品识别的准确率。
附图说明
图1为托盘特征标记示意图;
图2为托盘注册入库流程图;
图3为托盘识别流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明和限定。
实施例1
本实施例公开一种菜品托盘识别方法,本方法有助于菜品识别算法性能提升以及加速应用落地,尤其在菜品进入检测和菜品托盘背景减除环节起到关键作用。本方法包括托盘注册入库和托盘识别两部分,如图2所示,托盘注册注入的具体流程为:
S01)、输入采集托盘图像,选择长耳托盘作为菜品盛放托盘,该图片需要在盛放菜品后托盘耳部不会被所盛菜品以及菜品容器完全覆盖;如图1所示,选择托盘两侧耳部区域进行标记,标记出左耳和右耳,已训练完成的模型都是基于此标记特征进行的;
S02)、托盘检测定位,对输入的整幅图像做目标检测,这里的目标检测为S01中标记区域检测,进而判断该幅图像中是否有托盘,有托盘给出两侧托盘耳部区域;
S03)、特征提取,对S02中定位的托盘两侧耳部区域进行特征提取并合并;
S04)、注册入库,采集场景中不同种类托盘图像,通过训练过的神经网络实现托盘耳部区域定位,并提取特征值;将托盘图像与特征值注册入库。
如图3所示,托盘识别的具体流程为;
S05)、采集待识别托盘图像,通过预先训练模型实现托盘检测、特征提取;将待识别托盘特征与托盘库中托盘特征逐一进行相似度计算,得出相似度分值;
S06)、首位命中,将步骤S05中提取的特征值与S04中入库特征值逐一进行相似度计算获得相似分值,根据分值进行排序,排列结果中在第1位的称为首位命中,其对应的相似度分值称为首位相似度分值;
可以采用欧几里得距离或者余弦相似度计算相似分值,若采用欧几里得距离计算相似度,则按照从小到大的方式进行相似分值排序;若采用余弦相似度计算相似度,则按照从大到小的方式进行相似分值排序。
本实施例中,采用余弦相似度方法计算特征相似度,具体的公式为:
Figure DEST_PATH_IMAGE001
,其中x、y为待计算相似度的2个特征值;
S07)、阈值筛选,结合预设阈值和首位相似度分值实现待识别托盘与入库托盘匹配,将S05中计算的相似度分值进行逆排序,取首位相似度分值与预设阈值进行比较,若相似度分值小于或者等于预设阈值,则判断命中,并给出命中种类;若若相似度分值小于预设阈值,则判断未命中。
S08)、重复步骤S05-S07,实现托盘识别。
本实施例中,图像采集的尺寸为水平1920个像素,竖直1080个像素;采用了图像感兴趣区域设置,在当前摄像头焦距情况下,该区域可以覆盖所有托盘,同时确保托盘面积占整个区域的比例不小于0.8。
在托盘检测定位环节,采用的深度学习框架是YoloV3,将原YoloV3最后一层进行修改,输出类别修改为2种托盘耳部类别输出,即检测结果包括托盘耳部位置+耳部类型,耳部类型主要分为左、右两种;检测环节需要同时检测到左右两个耳部区域才能给出托盘检测成功结论。
托盘特征提取环节,采用的深度学习框架是ResNet,将ResNet的输出层、与输出层相连的倒数第二个层删除,在原来倒数第二个层的位置增加一个全连接层,该层包含256个节点,该层数据即为提取的特征值。
本实施例中,阈值是统计了多次测试结果后而确定,这里的阈值选为0.6;通过该阈值设置还可以对非托盘情况进行过滤排除。
本实施例所述方法通过深度学习实现托盘检测定位、托盘特征值提取、托盘相似度计算等功能;通过托盘检测定位可以实现菜品进入检测,输出菜品进入信号,进而激活后续菜品识别动作;通过托盘特征提取+托盘相似度计算可以实现当前托盘与已入库的托盘模板进行匹配,进而提取当前托盘的入库模板照,通过入库模板照进行背景建模,可以去除托盘对菜品区域区域定位的干扰,可以提高菜品识别的准确率;同时通过左右2个耳部区域检测,可以判断当前托盘的进入角度,进而可以对图像进行旋转矫正。
实施例2
本实施例公开一种菜品识别方法,本方法基于权利要求1所述菜品托盘识别方法,包括以下步骤:S11)、通过托盘检测定位实现菜品进入检测,输出菜品进入信号,进而激活后续菜品识别动作;S12)、通过托盘特征提取、托盘相似度计算实现当前托盘与已入库的托盘模板进行匹配,进而提取当前托盘的入库模板照,通过入库模板照进行背景建模;S13)、基于步骤S12的背景建模进行菜品识别。
本方法通过菜品托盘识别提取当前托盘的入库模板照,通过入库模板照进行背景建模,可以去除托盘对菜品区域定位的干扰,可以提高菜品识别的准确率。
以上描述的仅是本发明的基本原理和优选实施例,本领域技术人员根据本发明做出的改进和替换,属于本发明的保护范围。

Claims (9)

1.一种菜品托盘识别方法,其特征在于:包括以下步骤:
S01)、特征标记,选择托盘某一部位作为标记特征进行标记;
S02)、托盘检测定位,对输入的整幅图像做目标检测,所述目标检测是指对步骤S01中的标记区域进行检测,从而判断该幅图像中是否有托盘,有托盘则给出托盘的标记特征区域;
S03)、特征提取,对步骤S02中定位的托盘标记特征区域进行特征提取并合并;
S04)、注册入库,采集场景中不同种类托盘图像,通过训练过的神经网络实现托盘特征标记区域检测定位,并提取特征值,将图片图像与特征值注册入库;
S05)、托盘识别,对输入的待识别图像执行步骤S02、步骤S03,实现托盘的定位和特征值提取;
S06)、相似度计算,给定两个特征值,采用相似度计算方法计算相似分值;
S07)、首位命中,将步骤S05中提取的特征值与S04中入库特征值逐一进行相似度计算获得相似分值,根据分值进行排序,排列结果中在第1位的称为首位命中,其对应的分值称为首位相似度分值;
S08)、阈值筛选,结合预设阈值和首位相似度分值实现待识别托盘与入库托盘匹配;
S09)、重复步骤S05-S08,实现托盘识别。
2.根据权利要求1所述的菜品托盘识别方法,其特征在于:步骤S01中,选择托盘两侧耳部区域作为标记特征进行标记。
3.根据权利要求1所述的菜品托盘识别方法,其特征在于:步骤S05中,采用欧几里得距离或者余弦相似度计算相似分值。
4.根据权利要求3所述的菜品托盘识别方法,其特征在于:若采用欧几里得距离计算相似度,则按照从小到大的方式进行相似分值排序;若采用余弦相似度计算相似度,则按照从大到小的方式进行相似分值排序。
5.根据权利要求1所述的菜品托盘识别方法,其特征在于:步骤S08中,取首位相似度分值与预设阈值进行比较,若相似度分值小于或者等于预设阈值,则判断命中,并给出命中种类;若相似度分值小于预设阈值,则判断未命中。
6.根据权利要求2所述的菜品托盘识别方法,其特征在于:采用YoloV3深度学习框架进行托盘检测定位,将原YoloV3最后一层进行修改,输出类别修改为2种托盘耳部类别输出,即检测结果包括图片耳部位置和耳部类型,耳部类型包括左、右两种,定位环节需要同时检测到左右两个耳部区域才能给出托盘检测成功结论。
7.根据权利要求1所述的菜品托盘识别方法,其特征在于:采用ResNet深度学习框架进行托盘特征提取提取,将ResNet的输出层、与输出层相连的倒数第二个层删除,在原来倒数第二个层的位置增加一个全连接层,该层包含256个节点,该层数据即为提取的特征值。
8.根据权利要求1所述的菜品托盘识别方法,其特征在于:所述预设阈值为0.6。
9.一种菜品识别方法,其特征在于:本方法基于权利要求1所述菜品托盘识别方法,包括以下步骤:S11)、通过托盘检测定位实现菜品进入检测,输出菜品进入信号,进而激活后续菜品识别动作;S12)、通过托盘特征提取、托盘相似度计算实现当前托盘与已入库的托盘模板进行匹配,进而提取当前托盘的入库模板照,通过入库模板照进行背景建模;S13)、基于步骤S12的背景建模进行菜品识别。
CN202010540966.XA 2020-06-15 2020-06-15 一种菜品托盘识别方法及基于该方法的菜品识别方法 Active CN111753690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540966.XA CN111753690B (zh) 2020-06-15 2020-06-15 一种菜品托盘识别方法及基于该方法的菜品识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540966.XA CN111753690B (zh) 2020-06-15 2020-06-15 一种菜品托盘识别方法及基于该方法的菜品识别方法

Publications (2)

Publication Number Publication Date
CN111753690A true CN111753690A (zh) 2020-10-09
CN111753690B CN111753690B (zh) 2023-11-07

Family

ID=72676127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540966.XA Active CN111753690B (zh) 2020-06-15 2020-06-15 一种菜品托盘识别方法及基于该方法的菜品识别方法

Country Status (1)

Country Link
CN (1) CN111753690B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507942A (zh) * 2020-12-17 2021-03-16 神思电子技术股份有限公司 一种多尺度融合的菜品识别方法
CN116343198A (zh) * 2023-04-18 2023-06-27 北京荣智震宇科技有限公司 一种基于多模型的菜品识别方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218732A (ja) * 2013-07-04 2013-10-24 Toshiba Tec Corp 物品認識装置、物品認識プログラムおよび物品認識システム
WO2017020741A1 (zh) * 2015-08-06 2017-02-09 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
CN110084642A (zh) * 2019-04-19 2019-08-02 哈尔滨新中新电子股份有限公司 基于目标检测和图像检索的菜品识别方法
CN110599257A (zh) * 2019-09-19 2019-12-20 福建工程学院 一种基于图像识别技术的计算菜品总金额的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218732A (ja) * 2013-07-04 2013-10-24 Toshiba Tec Corp 物品認識装置、物品認識プログラムおよび物品認識システム
WO2017020741A1 (zh) * 2015-08-06 2017-02-09 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
CN110084642A (zh) * 2019-04-19 2019-08-02 哈尔滨新中新电子股份有限公司 基于目标检测和图像检索的菜品识别方法
CN110599257A (zh) * 2019-09-19 2019-12-20 福建工程学院 一种基于图像识别技术的计算菜品总金额的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊昌镇;单艳梅;郭芬红;: "结合主体检测的图像检索方法", 光学精密工程, no. 03 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507942A (zh) * 2020-12-17 2021-03-16 神思电子技术股份有限公司 一种多尺度融合的菜品识别方法
CN116343198A (zh) * 2023-04-18 2023-06-27 北京荣智震宇科技有限公司 一种基于多模型的菜品识别方法及设备
CN116343198B (zh) * 2023-04-18 2024-01-16 北京荣智震宇科技有限公司 一种基于多模型的菜品识别方法及设备

Also Published As

Publication number Publication date
CN111753690B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
Duan et al. Corner proposal network for anchor-free, two-stage object detection
Neumann et al. Efficient scene text localization and recognition with local character refinement
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
Lucas et al. ICDAR 2003 robust reading competitions: entries, results, and future directions
US20230206720A1 (en) System for counting quantity of game tokens
Gou et al. Vehicle license plate recognition based on extremal regions and restricted Boltzmann machines
CN107808120B (zh) 眼镜定位方法、装置及存储介质
KR20180022677A (ko) 지문기반 인증을 위한 장치 및 컴퓨터 구현방법
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
Sung et al. Scene text detection with robust character candidate extraction method
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
Delakis et al. Text detection with convolutional neural networks
CN109508664A (zh) 一种基于深度学习的菜品识别计价方法
CN111753690A (zh) 一种菜品托盘识别方法及基于该方法的菜品识别方法
CN111061898A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110533654A (zh) 零部件的异常检测方法及装置
Kadish et al. Improving object detection in art images using only style transfer
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
Czyzewski et al. Chessboard and chess piece recognition with the support of neural networks
CN113435355A (zh) 多目标奶牛身份识别方法及系统
CN111161295A (zh) 一种菜品图像背景剥离方法
Rebelo et al. Staff line detection and removal in the grayscale domain
CN108073940A (zh) 一种非结构化环境中的3d目标实例物体检测的方法
Kunishige et al. Scenery character detection with environmental context
Owamoyo et al. Number plate recognition for Nigerian vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant