CN106056802A - 基于餐具颜色的菜品自动识别系统的计价方法 - Google Patents

基于餐具颜色的菜品自动识别系统的计价方法 Download PDF

Info

Publication number
CN106056802A
CN106056802A CN201610391791.4A CN201610391791A CN106056802A CN 106056802 A CN106056802 A CN 106056802A CN 201610391791 A CN201610391791 A CN 201610391791A CN 106056802 A CN106056802 A CN 106056802A
Authority
CN
China
Prior art keywords
tableware
color
region
vegetable
pricing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610391791.4A
Other languages
English (en)
Inventor
周柔刚
周才健
许允迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Collection Intelligence Science And Technology Ltd
Original Assignee
Hangzhou Collection Intelligence Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Collection Intelligence Science And Technology Ltd filed Critical Hangzhou Collection Intelligence Science And Technology Ltd
Priority to CN201610391791.4A priority Critical patent/CN106056802A/zh
Publication of CN106056802A publication Critical patent/CN106056802A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明基于餐具颜色的菜品自动识别系统的计价方法，本发明提供的方法是通过拍摄餐盘图像，预先训练的分类器检测出不同颜色餐具的位置、数量和色彩信息，其中不同的色彩对应不同的价格，从而得到餐盘中各菜品的价格和总价，达到自动分类计价的目的。本发明鲁棒性好，适用于任意形状和材料的餐盘。这种方法有效地降低了材料成本，提高了自助选餐、结算的效率。

Description

基于餐具颜色的菜品自动识别系统的计价方法
技术领域
本发明涉及机器视觉与机器学习领域，更具体地说是涉及一种基于餐具颜色的菜品自动识别系统的计价方法，本发明可以广泛应用于食堂、快餐店等提供自助选餐、结算服务的场所。
背景技术
随着城市生活节奏的不断加快，人们越来越多地通过各类快餐来解决“食”这个问题，例如在高校、机关单位、园区食堂或者快餐连锁店，越来越多采用自主挑选菜式，再通过排队刷卡或现金结算的方式进行选择和结算。而如何对挑选的菜式进行计价，现有的技术中通常采用的方式有人工计价和自动计价两种。由于就餐人员的增多，人工给餐、计价效率低，在消费高峰期经常因为结算速度慢而导致排队现象，价格计算的准确性也难以得到保证。随着现代人们对就餐效率的要求越来越高，自助选餐、结算的需求越来越大。传统的餐盘计价方式已不能满足人们的需求。
近年出现的一些餐盘自动计价方式，规避了人工给参计价效率低、准确性难以保证等一系列问题。现有菜品自动识别计价系统多为基于餐具中内置芯片的方法，其实现步骤为：
A’. 不同餐具中内置存储不同菜品信息的芯片；
B’. 人工将菜品盛装到对应的餐具中；
C’. 芯片扫描装置扫描餐具，读取芯片中的菜品信息；
D’. 输出菜品信息，如名称、价格等。
这种方案技术较成熟，但由于采用了步骤A，需要内置芯片的特殊餐具，成本较高。
其中，根据餐盘颜色计价的方案，因其无需使用安装芯片的特殊餐盘，成本较为低廉，成为了一种新的研究趋势。然而，在根据餐盘颜色计价的不同方法中，仍存在着差异和缺陷。
例如，申请日为2014月05月08日，公告号为CN 103971471 A的中国发明专利申请公开了一种《基于颜色识别的餐盘自动计价方法及其系统》，“颜色传感器采集餐盘底面的颜色后，将颜色信号发送至单片机；接着，单片机通过计算颜色信号后计算出不同餐盘所对应的价格，并将价格信号发送至显示屏；然后，显示屏根据收到的价格信号显示相应的收费价格。” 该方案采用颜色传感器采集单个餐具底面颜色，通过R、G、B三分量的电流信号强弱来识别该餐具颜色。其缺点是，一是单纯基于图像颜色信息，易受光照等因素的影响；二是需将餐具底部无阻隔地置于相对固定的位置内使颜色传感器可进行采集，对餐盘的摆放方式有特别要求和限制；另外，需每个餐盘逐一识别逐一计价，不能同时识别多个餐盘，应用时非常不方便。
上述现有的基于图像识别的结算方法，易受光照环境因素的影响，对餐盘的摆放方式有特别限制，需每个餐盘逐一识别逐一计价，或者，只能针对餐盘而不能同时提取菜品信息，目前，仍然没有一种能够解决上述问题的方案。
发明内容
本发明所要解决的技术问题是针对现有技术中存在的上述问题，提供了一种不易受到光照条件影响和摆放位置的束缚，可同时现多个菜品统一计价,高效快捷的基于餐具颜色的菜品自动识别系统的计价方法。
本发明公开的一种基于餐具颜色的菜品自动识别系统的计价方法，
A. 将不同价格的菜品分装在不同颜色的餐具中，使餐具的颜色组合与菜品价格进行关联；
B. 将待计价的菜品置于检测区，触发信号触发相机拍摄餐盘图像，提取整体图像；
C. 通过训练得到分类器，利用所述的分类器处理图像，检测图像中各目标颜色的兴趣区域，并进行分割；
D. 遍历各兴趣区域，根据餐具的形状及大小特征筛选兴趣区域，框定餐具区域；
E. 输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
作为优选，所述的步骤D中，具体步骤包括：
D01.将可能在特定半径圆内的边缘融合；
D02.通过兴趣区域合并连接相邻兴趣区域；
D03.通过限定兴趣区域面积范围排除菜品颜色干扰，筛选出餐具区域；
D04.通过形状转换将餐具区域框定。
作为优选，所述的分类器采用GMM的方法训练得到,包括如下步骤：
C01. 读取训练图片；
C02. 框选出需要检测的K个彩色餐具并标记其颜色；
C03. 将K个彩色区域加入到GMM模型，并进行训练；
C04. 基于训练好的GMM模型建立显示查找表分类器。
作为优选，所述的触发信号为为压力感应信号。
为解决上述问题，本发明的一种技术方案是：
基于餐具颜色的菜品自动识别系统的计价方法，本发明提供的方法是通过拍摄餐盘图像，预先训练的分类器检测出不同颜色餐具的位置、数量和色彩信息，其中不同的色彩对应不同的价格，从而得到餐盘中各菜品的价格和总价，达到自动分类计价的目的。本发明鲁棒性好，适用于任意形状和材料的餐盘。这种方法有效地降低了材料成本，提高了自助选餐、结算的效率。
附图说明
图1是本发明基于餐具颜色的菜品自动识别系统的计价方法的流程框图。
具体实施方式
下面结合附图和实施例进一步详细说明本发明，但本发明的保护范围并不限 于此。
参照图1，本发明公开的一种基于餐具颜色的菜品自动识别系统的计价方法，包括如下步骤：
A. 将不同价格的菜品分装在不同颜色的餐具中，使餐具的颜色组合与菜品价格进行关联；
B. 将待计价的菜品置于检测区，触发信号触发相机拍摄餐盘图像，提取整体图像；
C. 通过训练得到分类器，利用所述的分类器处理图像，检测图像中各目标颜色的兴趣区域，并进行分割；
D. 遍历各兴趣区域，根据餐具的形状及大小特征筛选兴趣区域，框定餐具区域；
E. 输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
所述的步骤D中，具体步骤包括：
D01.将可能在特定半径圆内的边缘融合；
D02.通过兴趣区域合并连接相邻兴趣区域；
D03.通过限定兴趣区域面积范围排除菜品颜色干扰，筛选出餐具区域；
D04.通过形状转换将餐具区域框定。
所述的分类器采用GMM的方法训练得到,包括如下步骤：
C01. 读取训练图片；
C02. 框选出需要检测的K个彩色餐具并标记其颜色；
C03. 将K个彩色区域加入到GMM模型，并进行训练；
C04. 基于训练好的GMM模型建立显示查找表分类器。
所述的触发信号为为压力感应信号。
GMM模型，即高斯混合模型，具有鲁棒性好，参数少且易于调整，概率统计分布描述能力强等优点。
对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以认为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相比比较大，且背景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度。对于复杂的图像，一般是多峰的。通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题。
混合高斯模型使用K个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型, 用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。 通观整个高斯模型，主要是有方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性 。由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力,改进方法对均值和方差的更新采用不同的学习率;为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。
根据图1所示流程图，本发明的一个具体实施案例如下：
1）读取餐盘图像。
2）GMM分类器分割各颜色的区域作为兴趣区域。
3）遍历各颜色，对相应兴趣区域做以下所述4）-7）步骤的处理。
4）检索可能在半径为5的圆形元素上的区域，闭合成圆。
5）区域合并操作将相邻接的区域融合为一个整体区域。
6）设定筛选面积范围为2500-99999，剔除菜品图像带来的颜色干扰。
7）用凸多边形框框定筛选得到的特定颜色的餐具，并标记。
8）各颜色遍历完成，输出餐盘上餐具的数量及价格（颜色）信息，并计算总价输出。
本发明的一个训练分类器的具体实施案例如下：
1)载入训练用图片，图片最好包含所有颜色的餐具。
2）在各个餐具位置框选出需要检测的K个颜色区域，并标记其颜色分别保存这些区域。
3）将K个颜色区域打包加入GMM模型，调整模型参数（图像通道数、类别数、随机种子等），调整训练参数（学习率、迭代次数等），进行模型训练。
4）将训练好的GMM模型转换为LUT显示查找表，以便于分类分割兴趣区域。
5）输出基于GMM的显示查找表分类器，用于菜品分类计价系统。
需要注意，以上列举的实例仅为本发明的具体实施例子，本发明包含但不限于以上实例，参数设置可以有许多变化，这些参数设置变化同样应属于本发明的保护范围。

Claims (4)

1.一种基于餐具颜色的菜品自动识别系统的计价方法，其特征在于，包括如下步骤：
A. 将不同价格的菜品分装在不同颜色的餐具中，使餐具的颜色组合与菜品价格进行关联；
B. 将待计价的菜品置于检测区，触发信号触发相机拍摄餐盘图像，提取整体图像；
C. 通过训练得到分类器，利用所述的分类器处理图像，检测图像中各目标颜色的兴趣区域，并进行分割；
D. 遍历各兴趣区域，根据餐具的形状及大小特征筛选兴趣区域，框定餐具区域；
E. 输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
2.根据权利要求1所述的一种基于餐具颜色的菜品自动识别系统的计价方法，其特征在于，所述的步骤D中，具体步骤包括：
D01.将可能在特定半径圆内的边缘融合；
D02.通过兴趣区域合并连接相邻兴趣区域；
D03.通过限定兴趣区域面积范围排除菜品颜色干扰，筛选出餐具区域；
D04.通过形状转换将餐具区域框定。
3.根据权利要求1所述的一种基于餐具颜色的菜品自动识别系统的计价方法，其特征在于，所述的分类器采用GMM的方法训练得到,包括如下步骤：
C01. 读取训练图片；
C02. 框选出需要检测的K个彩色餐具并标记其颜色；
C03. 将K个彩色区域加入到GMM模型，并进行训练；
C04. 基于训练好的GMM模型建立显示查找表分类器。
4.根据权利要求1所述的一种基于餐具颜色的菜品自动识别系统的计价方法，其特征在于，所述的触发信号为为压力感应信号。
CN201610391791.4A 2016-06-06 2016-06-06 基于餐具颜色的菜品自动识别系统的计价方法 Pending CN106056802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610391791.4A CN106056802A (zh) 2016-06-06 2016-06-06 基于餐具颜色的菜品自动识别系统的计价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610391791.4A CN106056802A (zh) 2016-06-06 2016-06-06 基于餐具颜色的菜品自动识别系统的计价方法

Publications (1)

Publication Number Publication Date
CN106056802A true CN106056802A (zh) 2016-10-26

Family

ID=57170290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610391791.4A Pending CN106056802A (zh) 2016-06-06 2016-06-06 基于餐具颜色的菜品自动识别系统的计价方法

Country Status (1)

Country Link
CN (1) CN106056802A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107853965A (zh) * 2017-11-13 2018-03-30 上海电机学院 一种自动结算餐盘
CN108345113A (zh) * 2018-03-01 2018-07-31 苏州迅优检测技术有限公司 一种智能眼镜
CN111292155A (zh) * 2018-12-10 2020-06-16 阿里巴巴集团控股有限公司 具有颜色编码信息的载体、商品识别方法和结算方法
CN111724548A (zh) * 2020-04-21 2020-09-29 广东绿膳餐饮服务有限公司 一种用于餐饮领域的智能结算系统与结算方法
CN113033706A (zh) * 2021-04-23 2021-06-25 广西师范大学 基于视觉目标检测和重识别的多源两阶段菜品识别方法
CN113536014A (zh) * 2021-06-30 2021-10-22 杭州电子科技大学 一种融合容器信息的菜品信息检索方法
CN114627279A (zh) * 2022-05-17 2022-06-14 山东微亮联动网络科技有限公司 一种快餐菜品定位方法
US11425184B2 (en) 2020-04-21 2022-08-23 Google Llc Initial bitrate for real time communication

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
CN101334835A (zh) * 2008-07-28 2008-12-31 上海高德威智能交通系统有限公司 颜色识别方法
CN102110225A (zh) * 2009-12-28 2011-06-29 比亚迪股份有限公司 户外人脸识别方法及系统
CN102136077A (zh) * 2011-03-29 2011-07-27 上海大学 基于支持向量机的口唇颜色自动识别的方法
CN102542253A (zh) * 2011-11-23 2012-07-04 上海大学 基于支持向量机的人脸两颧颜色分类的方法
CN102637298A (zh) * 2011-12-31 2012-08-15 辽宁师范大学 基于高斯混合模型与支持向量机的彩色图像分割方法
CN103034839A (zh) * 2012-12-04 2013-04-10 南京航空航天大学 基于图像识别技术的食堂支付系统及方法
CN103942569A (zh) * 2014-04-16 2014-07-23 中国计量学院 基于计算机视觉的中式菜肴识别装置
CN104463167A (zh) * 2014-11-20 2015-03-25 中国科学院上海微系统与信息技术研究所 一种餐厅自动结算方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
CN101334835A (zh) * 2008-07-28 2008-12-31 上海高德威智能交通系统有限公司 颜色识别方法
CN102110225A (zh) * 2009-12-28 2011-06-29 比亚迪股份有限公司 户外人脸识别方法及系统
CN102136077A (zh) * 2011-03-29 2011-07-27 上海大学 基于支持向量机的口唇颜色自动识别的方法
CN102542253A (zh) * 2011-11-23 2012-07-04 上海大学 基于支持向量机的人脸两颧颜色分类的方法
CN102637298A (zh) * 2011-12-31 2012-08-15 辽宁师范大学 基于高斯混合模型与支持向量机的彩色图像分割方法
CN103034839A (zh) * 2012-12-04 2013-04-10 南京航空航天大学 基于图像识别技术的食堂支付系统及方法
CN103942569A (zh) * 2014-04-16 2014-07-23 中国计量学院 基于计算机视觉的中式菜肴识别装置
CN104463167A (zh) * 2014-11-20 2015-03-25 中国科学院上海微系统与信息技术研究所 一种餐厅自动结算方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107853965A (zh) * 2017-11-13 2018-03-30 上海电机学院 一种自动结算餐盘
CN108345113A (zh) * 2018-03-01 2018-07-31 苏州迅优检测技术有限公司 一种智能眼镜
CN111292155A (zh) * 2018-12-10 2020-06-16 阿里巴巴集团控股有限公司 具有颜色编码信息的载体、商品识别方法和结算方法
CN111724548A (zh) * 2020-04-21 2020-09-29 广东绿膳餐饮服务有限公司 一种用于餐饮领域的智能结算系统与结算方法
US11425184B2 (en) 2020-04-21 2022-08-23 Google Llc Initial bitrate for real time communication
CN111724548B (zh) * 2020-04-21 2023-11-14 广东绿膳餐饮服务有限公司 一种用于餐饮领域的智能结算系统与结算方法
CN113033706A (zh) * 2021-04-23 2021-06-25 广西师范大学 基于视觉目标检测和重识别的多源两阶段菜品识别方法
CN113536014A (zh) * 2021-06-30 2021-10-22 杭州电子科技大学 一种融合容器信息的菜品信息检索方法
CN113536014B (zh) * 2021-06-30 2023-09-01 青岛中科英泰商用系统股份有限公司 一种融合容器信息的菜品信息检索方法
CN114627279A (zh) * 2022-05-17 2022-06-14 山东微亮联动网络科技有限公司 一种快餐菜品定位方法
CN114627279B (zh) * 2022-05-17 2022-10-04 山东微亮联动网络科技有限公司 一种快餐菜品定位方法

Similar Documents

Publication Publication Date Title
CN106056802A (zh) 基于餐具颜色的菜品自动识别系统的计价方法
CN106056487A (zh) 基于餐具图案的菜品自动识别系统的计价方法
CN106096932A (zh) 基于餐具形状的菜品自动识别系统的计价方法
CN107122730A (zh) 自选餐厅自动计价方法
CN103208156B (zh) 一种餐饮自动结算系统和方法
CN110059654A (zh) 一种基于细粒度识别的菜品自动结算及饮食健康管理方法
CN101477729A (zh) 自助售饭系统以及该系统的信息处理方法
CN109269951A (zh) 基于图像的浮选尾煤灰分、浓度、粗颗粒含量检测方法
CN103745234B (zh) 一种带钢表面缺陷的特征提取与分类方法
CN105913040B (zh) 暗视觉条件下的双摄像头实时行人检测系统
CN109001212A (zh) 一种基于机器视觉的不锈钢汤勺缺陷检测方法
CN101153851B (zh) 一种基于机器视觉的苹果检测分级方法
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN108765402A (zh) 无纺布缺陷检测与分类方法
CN102663357A (zh) 基于颜色特征的停车场车位检测算法
CN108596187A (zh) 商品纯净度检测方法及展示柜
CN103020639A (zh) 一种白细胞自动识别计数方法
Abbas et al. Automated sorting and grading of agricultural products based on image processing
CN102930287A (zh) 一种针对俯视行人的检测计数系统及方法
CN105976407B (zh) 一种适用于遮挡条件下的餐盘形状识别方法
CN105404869A (zh) 一种基于计算机视觉的水果外形分级方法
CN102601063B (zh) 一种竹片自动识别分级方法
CN102156129A (zh) 一种基于机器视觉的牛肉品质智能分级系统及其方法
CN105303363B (zh) 一种数据处理方法及数据处理系统
CN102637262B (zh) 一种自适应细菌计数方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161026