CN106056487A - 基于餐具图案的菜品自动识别系统的计价方法 - Google Patents

基于餐具图案的菜品自动识别系统的计价方法 Download PDF

Info

Publication number
CN106056487A
CN106056487A CN201610391788.2A CN201610391788A CN106056487A CN 106056487 A CN106056487 A CN 106056487A CN 201610391788 A CN201610391788 A CN 201610391788A CN 106056487 A CN106056487 A CN 106056487A
Authority
CN
China
Prior art keywords
tableware
pattern
vegetable
pricing method
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610391788.2A
Other languages
English (en)
Inventor
周柔刚
周才健
许允迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Collection Intelligence Science And Technology Ltd
Original Assignee
Hangzhou Collection Intelligence Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Collection Intelligence Science And Technology Ltd filed Critical Hangzhou Collection Intelligence Science And Technology Ltd
Priority to CN201610391788.2A priority Critical patent/CN106056487A/zh
Publication of CN106056487A publication Critical patent/CN106056487A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device

Abstract

本发明基于餐具图案的菜品自动识别系统的计价方法，通过餐盘上的图案作为识别对象，通过在餐具边缘印制特定花纹或标识，每个特定花纹或标识代表一种菜的类型或价格，机器视觉系统可通过读取餐具边缘印制的花纹或标识来识别餐具中的菜种类或价格，从而进行自动化计价，可大幅提升餐厅自动化效率。相比于现有的识别容器的方式，本发明不易受到容器的局限性，不需要使用特殊餐具作为容器，而只需要采用不同花纹图案的餐具即可，成本较低。本发明可遍历多个区域，在一次拍摄后同时识别多个餐盘，无需进行一一扫码。本发明高效快捷地通过机器视觉识别餐盘，识别的形式不受餐具组合的限制，更加智能化。

Description

基于餐具图案的菜品自动识别系统的计价方法
技术领域
本发明涉及机器视觉与机器学习领域，更具体地说是涉及一种基于餐具图案的菜品自动识别系统的计价方法，本发明可以广泛应用于食堂、快餐店等提供自助选餐、结算服务的场所。
背景技术
随着城市生活节奏的不断加快，人们越来越多地通过各类快餐来解决“食”这个问题，例如在高校、机关单位、园区食堂或者快餐连锁店，越来越多采用自主挑选菜式，再通过排队刷卡或现金结算的方式进行选择和结算。而如何对挑选的菜式进行计价，现有的技术中通常采用的方式有人工计价和自动计价两种。由于就餐人员的增多，人工给餐、计价效率低，在消费高峰期经常因为结算速度慢而导致排队现象，价格计算的准确性也难以得到保证。随着现代人们对就餐效率的要求越来越高，自助选餐、结算的需求越来越大。传统的餐盘计价方式已不能满足人们的需求。
近年出现的一些餐盘自动计价方式，规避了人工给参计价效率低、准确性难以保证等一系列问题。现有菜品自动识别计价系统多为基于餐具中内置芯片的方法，其实现步骤为：
A’.不同餐具中内置存储不同菜品信息的芯片；
B’.人工将菜品盛装到对应的餐具中；
C’.芯片扫描装置扫描餐具，读取芯片中的菜品信息；
D’.输出菜品信息，如名称、价格等。
这种方案技术较成熟，但由于采用了步骤A’，需要内置芯片的特殊餐具，成本较高；需要特殊餐具，无法应用于外带服务；对人工盛装的准确度要求高，有菜品盛放错餐具的风险。
其中，根据餐盘颜色，或形状计价的方案，因其无需使用安装芯片的特殊餐盘，成本较为低廉，成为了一种新的研究趋势。然而，在根据餐盘图案信息计价的不同方法中，仍存在着差异和缺陷。
公告号为CN 103632463 A的中国发明专利申请公开了《一种基于图像识别技术的结算方法》，“输入表示餐盘信息的码和其对应的单价信息码，生成价格矩阵；通过手持智能终端对客人消费的餐盘进行拍照，获取餐盘图像信息；对步骤2 获取的餐盘图像信息进行预处理；对经过预处理的餐盘图像信息进行图像识别，生成消费矩阵；将价格矩阵和消费矩阵进行矩阵运算，得出消费总额矩阵；通过对消费总额矩阵求和，得出消费总额。本发明。不需要增加对餐盘做任何改进，而且不需要一一的对每个餐盘进行信息读取，从而缩短结算周期；利用矩阵运算，具有很强的灵活性和统一性。”其所述的图像信息包括餐盘的大小、形状和颜色，经图像识别技术对获取的餐盘图像信息进行识别，然而识别餐盘本体的颜色和形状，需要对餐具的颜色形状作出限制，并且组合形式有限。另一方面，该方案通过手持设备对餐盘进行逐一扫码，只能人工对餐具进行依次识别，降低了整个流程的效率。
上述现有的基于图像识别的结算方法，仍然没有一种能够解决上述问题的方案。
发明内容
本发明所要解决的技术问题是针对现有技术中存在的上述问题，提供一种成本较为低廉，高效快捷地通过机器视觉识别餐盘，识别的形式不受餐具组合的限制，可同时现多个菜品统一计价,更加智能化的基于餐具图案的菜品自动识别系统的计价方法。
本发明一种基于餐具图案的菜品自动识别系统的计价方法，包括如下步骤：
A. 将不同价格的菜品分装在打印不同模式图案的餐具中，使餐具的模式图案组合与菜品价格进行关联；
B. 将待计价的菜品置于检测区，触发信号触发相机拍摄餐盘图像，提取整体图像；
C. 系统检测图像中餐具边缘区域，遍历识别餐具边缘的模式图案，得到对应菜品的信息；
D. 输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
所述的步骤C中，所述识别餐具边缘图案的方法为：
C01. 检测图像中对应为餐盘边缘的环形区域，其中包含模式图案区域；
C02. 获取各环形区域的位置、形状大小参数；
C03. 根据步骤C02获取的参数分割各餐盘图像；
C04. 通过模式识别器识别各分割区域中的模式图案。
作为优选，所述的模式识别器，是一个多层神经网络分类器，包括输入层、隐藏层、输出层。
作为优选，所述的步骤C04中，所述的模式识别器先提取分割后的各餐盘图像，并提取单菜品图案，再将所述的单菜品图片归一化为统一尺寸进行预处理转换，再对所述的模式图案进行识别。
作为优选，所述的输出层所使用的分类方法为softmax。该方法广泛应用于多分类问题，是逻辑回归的扩展形式，能够输出对象特征所属的可能性最大的类别。所述的多层神经网络的训练设定合适的迭代次数及容差，采用反向传播方法。
作为优选，所述模式图案为简单几何图案的任意一种或组合。如：正圆、正方形、三角形、正六边形等等。
作为优选，所述步骤B中的触发信号为压力感应信号。
为解决上述问题，本发明的一种技术方案是：
本发明基于餐具图案的菜品自动识别系统的计价方法，通过餐盘上的图案作为识别对象，通过在餐具边缘印制特定花纹或标识，每个特定花纹或标识代表一种菜的类型或价格，机器视觉系统可通过读取餐具边缘印制的花纹或标识来识别餐具中的菜种类或价格，从而进行自动化计价，可大幅提升餐厅自动化效率。相比于现有的识别容器的方式，本发明不易受到容器的局限性，不需要使用特殊餐具作为容器，而只需要采用不同花纹图案的餐具即可，成本较低。本发明可遍历多个区域，在一次拍摄后同时识别多个餐盘，无需进行一一扫码。本发明高效快捷地通过机器视觉识别餐盘，识别的形式不受餐具组合的限制，更加智能化。
附图说明
图1是本发明基于餐具图案的菜品自动识别系统的计价方法的流程框图。
具体实施方式
下面结合附图和实施例进一步详细说明本发明，但本发明的保护范围并不限于此。
参照图1-2，本发明一种基于餐具图案的菜品自动识别系统的计价方法，包括如下步骤：
A. 将不同价格的菜品分装在打印不同模式图案的餐具中，使餐具的模式图案组合与菜品价格进行关联；
B. 将待计价的菜品置于检测区，触发信号触发相机拍摄餐盘图像，提取整体图像；
C. 系统检测图像中餐具边缘区域，遍历识别餐具边缘的模式图案，得到对应菜品的信息；
D. 输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
所述的步骤C中，所述识别餐具边缘图案的方法为：
C01. 检测图像中对应为餐盘边缘的环形区域，其中包含模式图案区域；
C02. 获取各环形区域的位置、形状大小参数；
C03. 根据步骤C02获取的参数分割各餐盘图像；
C04. 通过模式识别器识别各分割区域中的模式图案。
所述的模式识别器，是一个多层神经网络分类器，包括输入层、隐藏层、输出层。
所述的步骤C04中，所述的模式识别器先提取分割后的各餐盘图像，并提取单菜品图案，再将所述的单菜品图片归一化为统一尺寸进行预处理转换，再对所述的模式图案进行识别。
所述的输出层所使用的分类方法为softmax。该方法广泛应用于多分类问题，是逻辑回归的扩展形式，能够输出对象特征所属的可能性最大的类别。
所述的多层神经网络的训练设定合适的迭代次数及容差，采用反向传播方法。特征向量需经归一化预处理转换。
所述模式图案为简单几何图案的任意一种或组合。如若干数量的圆形或多边形的任意组合。
所述步骤B中的触发信号为压力感应信号。
以下通过实施例对本发明的技术手段加以说明，用以帮助对于本发明技术方案的理解，但不仅限于以下形式。参照图1，本发明公开的一种基于餐盘图案的菜品自动识别计价的方法，包括如下步骤：
A. 读取餐盘图像。
B. 自动检测阈值，分隔不同灰度区域。
C. 选择半径范围在550-750的环形区域作为兴趣区域，即包含模式图案的餐盘边缘的区域。
D. 记录各环形兴趣区域的中心点坐标，外圈和内圈的半径大小等信息。
E. 遍历各环形兴趣区域，对遍历到的区域做F-H步骤处理：
F. 切割各环形区域，保存为单餐盘图像。
G. 将含有模式图案的单个餐盘图像，通过预先训练好模式的多层神经网络分类器，识别图案类别。
H. 记录识别模式图案所对应的菜品信息。
I. 兴趣区域遍历完成，用存储的价格及数量信息计算总价，并显示。
该具体实施方案中，所述的多层神经网络分类器的一种具体参数为：输入层数目=6，隐藏层数目=20，输出层数目=5。训练参数为：迭代1000次，错误容差=0.01。
上述说明中，凡未加特别说明的，均采用现有技术中的技术手段。

Claims (7)

1.一种基于餐具图案的菜品自动识别系统的计价方法，其特征在于，包括如下步骤，
A. 将不同价格的菜品分装在打印不同模式图案的餐具中，使餐具的模式图案组合与菜品价格进行关联；
B. 将待计价的菜品置于检测区，触发信号触发相机拍摄餐盘图像，提取整体图像；
C. 系统检测图像中餐具边缘区域，遍历识别餐具边缘的模式图案，得到对应菜品的信息；
D. 输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
2.根据权利要求1所述的基于餐具图案的菜品自动识别系统的计价方法，其特征在于，所述的步骤C中，所述识别餐具边缘图案的方法为：
C01. 检测图像中对应为餐盘边缘的环形区域，其中包含模式图案区域；
C02. 获取各环形区域的位置、形状大小参数；
C03. 根据步骤C02获取的参数分割各餐盘图像；
C04. 通过模式识别器识别各分割区域中的模式图案。
3.根据权利要求2中所述的基于餐具图案的菜品自动识别系统的计价方法，其特征在于，所述的模式识别器，是一个多层神经网络分类器，包括输入层、隐藏层、输出层。
4.根据权利要求2或3中所述的基于餐具图案的菜品自动识别系统的计价方法，其特征在于，所述的步骤C04中，所述的模式识别器先提取分割后的各餐盘图像，并提取单菜品图案，再将所述的单菜品图片归一化为统一尺寸进行预处理转换，再对所述的模式图案进行识别。
5.根据权利要求4中所述的基于餐具图案的菜品自动识别系统的计价方法，其特征在于，所述的输出层所使用的分类方法为softmax。
6.根据权利要求1所述的基于餐具图案的菜品自动识别系统的计价方法，其特征在于，所述模式图案为简单几何图案的任意一种或组合。
7.根据权利要求1所述的基于餐具图案的菜品自动识别系统的计价方法，其特征在于，所述步骤B中的触发信号为压力感应信号。
CN201610391788.2A 2016-06-06 2016-06-06 基于餐具图案的菜品自动识别系统的计价方法 Pending CN106056487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610391788.2A CN106056487A (zh) 2016-06-06 2016-06-06 基于餐具图案的菜品自动识别系统的计价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610391788.2A CN106056487A (zh) 2016-06-06 2016-06-06 基于餐具图案的菜品自动识别系统的计价方法

Publications (1)

Publication Number Publication Date
CN106056487A true CN106056487A (zh) 2016-10-26

Family

ID=57170179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610391788.2A Pending CN106056487A (zh) 2016-06-06 2016-06-06 基于餐具图案的菜品自动识别系统的计价方法

Country Status (1)

Country Link
CN (1) CN106056487A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074173A (zh) * 2018-01-19 2018-05-25 口碑(上海)信息技术有限公司 智能餐桌系统、菜品多媒体信息的展示方法
CN108319996A (zh) * 2018-01-19 2018-07-24 口碑(上海)信息技术有限公司 菜品识别处理系统及方法、智能餐桌系统
CN108664651A (zh) * 2018-05-17 2018-10-16 腾讯科技（深圳）有限公司 一种图案推荐方法、装置及存储介质
CN109389753A (zh) * 2017-08-08 2019-02-26 刘凑华 散装商品自助销售系统
CN110232358A (zh) * 2019-06-17 2019-09-13 重庆大学 一种基于图像数字识别的菜品识别方法
CN111292155A (zh) * 2018-12-10 2020-06-16 阿里巴巴集团控股有限公司 具有颜色编码信息的载体、商品识别方法和结算方法
CN111860211A (zh) * 2020-06-29 2020-10-30 李利明 餐具和参照物识别方法、装置及存储介质
CN112750052A (zh) * 2019-10-30 2021-05-04 深圳云天励飞技术有限公司 一种食堂场景内的追踪结算方法及系统、相关设备
CN113536014A (zh) * 2021-06-30 2021-10-22 杭州电子科技大学 一种融合容器信息的菜品信息检索方法
CN116189358A (zh) * 2023-02-24 2023-05-30 南京市商朝时代电子有限公司 一种具有菜品视觉识别功能的智能收款机系统及收款机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000225049A (ja) * 1999-02-05 2000-08-15 Denso Corp 食品管理システム
CN104077842A (zh) * 2014-07-02 2014-10-01 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000225049A (ja) * 1999-02-05 2000-08-15 Denso Corp 食品管理システム
CN104077842A (zh) * 2014-07-02 2014-10-01 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389753A (zh) * 2017-08-08 2019-02-26 刘凑华 散装商品自助销售系统
CN108319996A (zh) * 2018-01-19 2018-07-24 口碑(上海)信息技术有限公司 菜品识别处理系统及方法、智能餐桌系统
CN108074173A (zh) * 2018-01-19 2018-05-25 口碑(上海)信息技术有限公司 智能餐桌系统、菜品多媒体信息的展示方法
CN108664651B (zh) * 2018-05-17 2020-08-04 腾讯科技（深圳）有限公司 一种图案推荐方法、装置及存储介质
CN108664651A (zh) * 2018-05-17 2018-10-16 腾讯科技（深圳）有限公司 一种图案推荐方法、装置及存储介质
CN111292155A (zh) * 2018-12-10 2020-06-16 阿里巴巴集团控股有限公司 具有颜色编码信息的载体、商品识别方法和结算方法
CN110232358A (zh) * 2019-06-17 2019-09-13 重庆大学 一种基于图像数字识别的菜品识别方法
CN110232358B (zh) * 2019-06-17 2023-02-10 重庆大学 一种基于图像数字识别的菜品识别方法
CN112750052A (zh) * 2019-10-30 2021-05-04 深圳云天励飞技术有限公司 一种食堂场景内的追踪结算方法及系统、相关设备
CN111860211A (zh) * 2020-06-29 2020-10-30 李利明 餐具和参照物识别方法、装置及存储介质
CN111860211B (zh) * 2020-06-29 2024-04-12 李利明 餐具和参照物识别方法、装置及存储介质
CN113536014A (zh) * 2021-06-30 2021-10-22 杭州电子科技大学 一种融合容器信息的菜品信息检索方法
CN113536014B (zh) * 2021-06-30 2023-09-01 青岛中科英泰商用系统股份有限公司 一种融合容器信息的菜品信息检索方法
CN116189358A (zh) * 2023-02-24 2023-05-30 南京市商朝时代电子有限公司 一种具有菜品视觉识别功能的智能收款机系统及收款机
CN116189358B (zh) * 2023-02-24 2023-12-12 南京市商朝时代电子有限公司 一种具有菜品视觉识别功能的智能收款机系统及收款机

Similar Documents

Publication Publication Date Title
CN106056487A (zh) 基于餐具图案的菜品自动识别系统的计价方法
CN106096932A (zh) 基于餐具形状的菜品自动识别系统的计价方法
CN103034839B (zh) 基于图像识别技术的食堂支付系统及方法
CN107122730A (zh) 自选餐厅自动计价方法
Aguilar et al. Grab, pay, and eat: Semantic food detection for smart restaurants
CN103208156B (zh) 一种餐饮自动结算系统和方法
CN110059654A (zh) 一种基于细粒度识别的菜品自动结算及饮食健康管理方法
CN103745234B (zh) 一种带钢表面缺陷的特征提取与分类方法
CN104077842B (zh) 基于图像识别的自选餐厅自助付费装置及其使用方法
CN106056802A (zh) 基于餐具颜色的菜品自动识别系统的计价方法
US20080270324A1 (en) System and method for identification and tracking of food items
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
CN109508664B (zh) 一种基于深度学习的菜品识别计价方法
CN107767590A (zh) 物品自动识别商用条码电子秤及物品自动识别方法
CN110705424B (zh) 一种商品陈列位置的定位方法、装置及存储介质
CN101477729A (zh) 自助售饭系统以及该系统的信息处理方法
CN104871198A (zh) 商品信息处理装置、其数据处理方法和程序
CN109523428A (zh) 基于图像识别技术的智能餐饮结算方法、系统、装置及介质
US20220036042A1 (en) Information acquisition system, control apparatus, information acquisition method, and storage medium
CN108596187A (zh) 商品纯净度检测方法及展示柜
CN105741139A (zh) 自选餐厅自动计费方法及其实施装置
CN106022405A (zh) 一种基于形状的餐盘自动计价系统
CN103714498A (zh) 一种基于图像识别技术的快速付费系统及其方法
RU2724797C1 (ru) Кассовая система и способ для идентификации блюд на подносе
CN102982403A (zh) 基于rfid的果品光谱测试信息管理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161026