CN107730321A - 一种基于餐食图像特征的识别计价系统 - Google Patents

一种基于餐食图像特征的识别计价系统 Download PDF

Info

Publication number
CN107730321A
CN107730321A CN201711061192.7A CN201711061192A CN107730321A CN 107730321 A CN107730321 A CN 107730321A CN 201711061192 A CN201711061192 A CN 201711061192A CN 107730321 A CN107730321 A CN 107730321A
Authority
CN
China
Prior art keywords
canteen
identification
clearing
image
system based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711061192.7A
Other languages
English (en)
Inventor
杨冠群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711061192.7A priority Critical patent/CN107730321A/zh
Publication of CN107730321A publication Critical patent/CN107730321A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3274—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being displayed on the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

一种基于餐食图像特征的识别计价系统，能根据摄像头现场抓拍的在售餐食图像的色彩和形状特征与库存样本的比对实现在线识别，结合后台给出的计价依据和可能需要的餐食重量得出应付金额，就可由顾客运用通行的电子支付手段完成结算。由此实现了售卖餐食与盛放器皿无关的自动识别与计价结算，从而大幅提高了这类自助餐厅结算模式的便利性和性价比。

Description

一种基于餐食图像特征的识别计价系统
技术领域
本发明涉及一种基于餐食图像特征的识别计价系统，用作自助餐厅结算时无需依赖碗碟特征信息的餐食识别计价，能大幅提高这类结算模式的便利性和性价比。
背景技术
近年来，自助餐厅以其卫生便捷的优势迅速成为大量上班族就餐的首选，尤其是结算环节允许顾客用手机自助扫码后的便利更是获得了人们的广泛赞誉。但这类顾客的自助结算模式中，有的餐厅在餐食识别计价环节还要靠服务员承担，由服务员目视识别心算汇总后告诉顾客总价再由顾客扫码支付，因而还存在着卫生和效率的不尽如人意；另一类餐厅则能在结算时由机器依据各餐食的碗碟特征自动识别顾客所选餐食，因而克服了前一种由服务员人工识别存在的弊端，但也带来了其碗碟必须是专用的致使餐厅改造和运营成本上升的不足，因而使得很多餐厅对此望而却步未能跟进采纳。
毋庸置疑，无需服务员介入的餐食自动识别计价是实现顾客自助结算的关键所在，但这最好不要以专用碗碟作为前提。一则这些专用碗碟无论是底部嵌有RFID芯片还是外形特殊或图案特殊均将导致其成本高于常规，二则很多餐厅已开始盛行把顾客选取的多个不同餐食依次直接舀入同一个大盘中因而省去了多餐食各占碗碟的繁琐。由此可见，要实现业界普遍欢迎的餐食自动识别计价必须做到与盛放的碗碟无关，这才是最优的解决之道。
发明内容
为了给自助餐厅实现不依赖碗碟特征的餐食识别，本发明提供了一种解决方案，既能在多个餐食均盛放在各自碗碟的情况下识别出它们各自的品种，又能在多个餐食均不用各自碗碟而共享一个大盘时识别出它们的各自品种。
本发明所采用的技术方案是：运用一个带摄像头的图像采集识别模块，使之能将采集到的餐食图像中的色彩和形状特征提取出来，并依此特征进行准确分类进而建立餐食特征库，然后在结算时再根据当时采集的已选餐食图像特征和库中元素的比对确定该餐食的品种，于是就能解决后续一系列的计价、汇总、支付等结算操作。
具体说来，实现时在餐食结算处配备一个图像采集识别模块和一个可能需要的结算信息显示屏，餐食自选处配备可能需要的称重模块，再将它们以有线或无线通信方式与后台定价结算模块相连接。
餐厅开始营业前，首先必须在餐食自选处使用一台图像采集识别模块去采集本机库中没有的新增餐食图像，再提取出该图像中的色彩和形状特征并存入本机库中，然后将这些新增信息拷入后台定价结算模块中的后备库中。
餐厅开始营业后，在结算处使用一台图像采集识别模块去采集正待结算的餐食图像和顾客手机上的支付码，提取出该餐食图像的色彩和形状特征并与本机库中样本比对，进而识别出该待结算的餐食品种，再结合其计价信息和可能需要的重量信息给出售价，最后用提取到的顾客手机支付码在后台定价结算模块的配合下完成结算支付，并把结算明细送至现场可能配置的结算信息显示屏和对应顾客的手机上。
需要说明的是，餐厅所用图像采集识别模块的台数由餐厅规模确定。当餐食品种较少且营业中不会新增品种时，可以只在每个结算处配置一台图像采集识别模块，由其兼作营业前对自选处的所有待售餐食的采样储入；开始营业后，再用其在结算处对正售餐食进行在线识别和扫码支付，以及随后的显示屏和手机端的结算明细送显。反之，当餐食品种较多且营业中可能新增品种时，在自选处和结算处应当分别配置各自的图像采集识别模块，且当自选处一旦采集到新增品种时立即将其特征信息提取并传送给结算处的同类设备以及后台库中。
此外还需注意的是，为了提高结算速度，还得将位于结算处的图像采集识别模块按照使用要求妥善固定在结算台的上方，并提供符合要求的照明条件，以便快速准确地采集待识别的餐食图像和手机支付码。
本发明的突出优点和积极效果是：由于餐食的识别是基于图像特征而不是盛放器皿，因此既能适应多品种共餐盘的无单独碗碟营运模式，又能在多品种各有碗碟场合比现有的依赖碗碟芯片或碗碟色彩形状特征的模式具有餐厅改造便利和运营成本低廉的优势。此外，还具有能适应不同规模的大小餐厅、对餐食形状没有要求和限制、新增餐食品种时无需考虑盛放碗碟的限制、能适用于各类果品饮料等多方面的优点。
附图说明
图1是本发明一种基于餐食图像特征的识别计价系统的示意图。
1．图像采集识别模块、2．结算信息显示屏、3．后台定价结算模块、4．称重模块。
具体实施方式
以下结合附图和实施例对本发明作进一步详细说明，但本实施例并不用于限制本发明，凡是采用本发明的相似方法及其相似变化，均应列入本发明的保护范围。
本实施样例的设计分为硬件和软件两部分。由于系统涉及的手机支付技术已十分成熟，所以此处着重阐述其中关键的餐食识别机制和实际效果。
在用作识别的硬件结构上，图像采集识别模块、结算信息显示屏和后台定价结算模块采用市售OPPOR7手机和联想Z40-70笔记本电脑组合而成。OPPOR7手机的操作系统为Color OS 2.1、CPU为联发科MT6752、CPU频率为1.7GHz、处理器位数为64位、RAM容量为3GB、ROM容量为16GB、后置摄像头像素为1300万、主光圈为f/2.2、焦距为8cm。联想Z40-70笔记本电脑的操作系统为Windows 10、处理器为Intel Core i7-4510U、处理器频率为2.0GHz、内存容量为12GB。
在用作识别的软件设计上，基于Microsoft Visual Basic 6.0开发了多个模块，其中与识别有关的六个模块分别是图像采集、对象分割、特征提取、分类建库、类别匹配、支付结算等。
系统运行时，先将8种餐食的照片存入联想Z40-70笔记本电脑中，启动软件对其进行分类建库。然后再将盛放有多个餐食的托盘放置到指定的识别区，以OPPOR7手机对其拍照，再将手机拍得的照片经QQ传送给联想Z40-70笔记本电脑，然后启动软件进行识别，约经2秒即获得了识别结果。
实施样例的运行效果如下：
实例1，深红色塑料托盘中放置3只白色盘子和1只灰色小碗，其中分别盛放“鱼香肉丝、红烧狮子头、青椒炒鸡蛋、白米饭”。启动识别后系统输出的测试参数为：
序号：1、名称:鱼香肉丝、同类相似度:91.65%、它类邻近相似度:86.9%；
序号：2、名称:红烧狮子头、同类相似度:79%、它类邻近相似度:53.2%；
序号：3、名称:青椒炒鸡蛋、同类相似度:90.4%、它类邻近相似度:72.1%；
序号：4、名称:白米饭、同类相似度:98.95%、它类邻近相似度:65.55%；
识别耗时：1859ms。
实例1的识别结果表明，虽然被识别餐食的特征与库中同类样本存在一定的类内差异，但只要该类内差异仍小于库中最小类间差异的一定额度就能实现准确识别。此外，建库所用样本数量与类内差异成反比且随样本数量上升而逐渐趋于稳定的规律也将有助于识别的准确和稳定。
实例2，深红色塑料托盘中放置4个白色盘子，各盘中分别盛放1份取自同一菜品不同区域的餐食“青菜肉丸子”。启动识别后系统输出的测试参数为：
序号：1、名称:青菜肉丸子、同类相似度:92.15%、它类邻近相似度:74.95%；
序号：2、名称:青菜肉丸子、同类相似度:89.9%、它类邻近相似度:64.6%；
序号：3、名称:青菜肉丸子、同类相似度:90.4%、它类邻近相似度:71.7%；
序号：4、名称:青菜肉丸子、同类相似度:90.7%、它类邻近相似度:71.5%；
识别耗时：1906ms。
实例2的识别结果表明，4份取自同一品种不同区域的餐食与库中同一样品匹配后的4个同类相似度之间尽管存在着最大为2.25%的差异，但与最接近的它类邻近相似度差异却分别达17.2%、25.3%、18.7%、19.2%，即匹配所得的类内差异比类间差异小7.64～11.24倍，这足以说明本发明的识别匹配算法很好地达到了实际应用所要求的有效性和可靠性。
实例3，深红色塑料托盘中放置1个直径为25cm的白色盘子，盘中依次不重叠地盛放4种无碗碟餐食“青菜肉丸、鱼香肉丝、青椒肉丝、米饭”。启动识别后系统输出的测试参数为：
序号：1、名称:青菜肉丸、同类相似度: 87.35%、它类邻近相似度:83.65%；
序号：2、名称:鱼香肉丝、同类相似度: 78.15%、它类邻近相似度: 70.6%；
序号：3、名称:青椒肉丝、同类相似度:90.2%、它类邻近相似度:86.3%；
序号：4、名称:白米饭、同类相似度:90.7%、它类邻近相似度: 83.05%；
识别耗时：1906ms。
实例3的识别结果表明，系统对4份无碗碟的共盘餐食所做的识别完全达到了与4份有碗碟的同类餐食相同的识别效果。
至于3个实例所用的识别时间均接近2秒，这在实际应用中也是快于人工识别的，完全能满足现场使用的需要。

Claims (6)

1.一种基于餐食图像特征的识别计价系统，其特征在于：图像采集识别模块位于结算处的餐食上方，经有线或无线通信方式与自选处可能配置的称重模块、结算处可能配置的结算信息显示屏、后台定价结算模块相连接。
2.根据权利要求1所述的一种基于餐食图像特征的识别计价系统，其特征在于：摆放在待售自选处的餐食事先已由图像采集识别模块获取其图像的色彩和形状特征，并将该特征备份到后台定价结算模块中。
3.根据权利要求1所述的一种基于餐食图像特征的识别计价系统，其特征在于：图像采集识别模块既能识别托盘中每个品种各有碗碟的多个餐食，也能识别托盘中各品种均无碗碟地依次盛放在一个大盘里的多个餐食。
4.根据权利要求1所述的一种基于餐食图像特征的识别计价系统，其特征在于：图像采集识别模块在结算处识别餐食时，能同时识别摆放在餐食托盘旁的顾客手机上的支付码，并将两个识别结果一并送交后台定价结算模块完成结算。
5.根据权利要求1所述的一种基于餐食图像特征的识别计价系统，其特征在于：当餐食计价与其重量有关时，图像采集识别模块能在识别餐食和支付码的同时接收称重模块给出的餐食重量信息，并在后台定价结算模块的支持下完成结算。
6.根据权利要求1所述的一种基于餐食图像特征的识别计价系统，其特征在于：顾客利用手机上的支付码完成结算后，系统会将结算明细同时送至现场可能配置的结算信息显示屏和对应顾客的手机端。
CN201711061192.7A 2017-11-02 2017-11-02 一种基于餐食图像特征的识别计价系统 Withdrawn CN107730321A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711061192.7A CN107730321A (zh) 2017-11-02 2017-11-02 一种基于餐食图像特征的识别计价系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711061192.7A CN107730321A (zh) 2017-11-02 2017-11-02 一种基于餐食图像特征的识别计价系统

Publications (1)

Publication Number Publication Date
CN107730321A true CN107730321A (zh) 2018-02-23

Family

ID=61221209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711061192.7A Withdrawn CN107730321A (zh) 2017-11-02 2017-11-02 一种基于餐食图像特征的识别计价系统

Country Status (1)

Country Link
CN (1) CN107730321A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986356A (zh) * 2018-07-27 2018-12-11 安徽豆智智能装备制造有限公司 一种基于二维码识别的自助点餐结算系统的点餐方法
CN109035071A (zh) * 2018-08-09 2018-12-18 明超 半自助餐厅自动扣费方法
CN109805714A (zh) * 2019-02-26 2019-05-28 浙江云澎科技有限公司 智能识别结算机上的称重餐盘及其使用方法
CN110310211A (zh) * 2019-06-17 2019-10-08 赫文波 大数据匹配度分析机构
WO2020233585A1 (zh) * 2019-05-21 2020-11-26 深圳市恒天伟焱科技有限公司 食物的结算方法、装置和计算机可读存储介质
WO2020233582A1 (zh) * 2019-05-21 2020-11-26 深圳市恒天伟焱科技有限公司 食物的结算方法、装置和计算机可读存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986356A (zh) * 2018-07-27 2018-12-11 安徽豆智智能装备制造有限公司 一种基于二维码识别的自助点餐结算系统的点餐方法
CN109035071A (zh) * 2018-08-09 2018-12-18 明超 半自助餐厅自动扣费方法
CN109805714A (zh) * 2019-02-26 2019-05-28 浙江云澎科技有限公司 智能识别结算机上的称重餐盘及其使用方法
CN109805714B (zh) * 2019-02-26 2023-10-27 浙江云澎科技有限公司 智能识别结算机上的称重餐盘
WO2020233585A1 (zh) * 2019-05-21 2020-11-26 深圳市恒天伟焱科技有限公司 食物的结算方法、装置和计算机可读存储介质
WO2020233582A1 (zh) * 2019-05-21 2020-11-26 深圳市恒天伟焱科技有限公司 食物的结算方法、装置和计算机可读存储介质
CN110310211A (zh) * 2019-06-17 2019-10-08 赫文波 大数据匹配度分析机构

Similar Documents

Publication Publication Date Title
CN107730321A (zh) 一种基于餐食图像特征的识别计价系统
US10943311B1 (en) Order fulfillment and tracking systems and methods
CN107122730A (zh) 自选餐厅自动计价方法
CN108171879B (zh) 一种自动售货结算的方法、装置及无人售货柜
CN109214806A (zh) 自助结算方法、装置以及存储介质
CN201570092U (zh) 一种餐饮结算系统
CN101477729A (zh) 自助售饭系统以及该系统的信息处理方法
CN103034839A (zh) 基于图像识别技术的食堂支付系统及方法
CN104269003A (zh) 一种食物识别方法、装置及系统
CN109064630A (zh) 无人自动称重计价货柜系统
CN104408615A (zh) 一种指纹识别的pos交易方法及系统
CN108229946A (zh) 一种无人销售结算系统及系统识别商品的方法
CN106056487A (zh) 基于餐具图案的菜品自动识别系统的计价方法
CN109118681B (zh) 食堂餐盘菜品划价机构
CN109597909A (zh) 一种智能点餐系统及其点餐方法
CN208240148U (zh) 一种餐厅自助结算系统
CN108806133A (zh) 自助收银方法及系统
RU2724797C1 (ru) Кассовая система и способ для идентификации блюд на подносе
US11562338B2 (en) Automated point of sale systems and methods
CN105809587A (zh) 智能收银方法及其系统
WO2020233582A1 (zh) 食物的结算方法、装置和计算机可读存储介质
CN107944852A (zh) 一种餐厅自动点菜系统
KR20110122006A (ko) 식당 정산 시스템
CN103116952A (zh) 一种基于物联网技术应用的智能餐饮结算系统
CN208172854U (zh) 一种智能餐盘结算系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180223