CN103208156B - 一种餐饮自动结算系统和方法 - Google Patents
一种餐饮自动结算系统和方法 Download PDFInfo
- Publication number
- CN103208156B CN103208156B CN201310048008.0A CN201310048008A CN103208156B CN 103208156 B CN103208156 B CN 103208156B CN 201310048008 A CN201310048008 A CN 201310048008A CN 103208156 B CN103208156 B CN 103208156B
- Authority
- CN
- China
- Prior art keywords
- service plate
- profile
- card
- computing machine
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 235000013305 food Nutrition 0.000 title claims abstract description 18
- 230000008569 process Effects 0.000 claims description 26
- 238000013475 authorization Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 7
- 239000003086 colorant Substances 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 13
- 235000013311 vegetables Nutrition 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004659 sterilization and disinfection Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001954 sterilising effect Effects 0.000 description 2
- 238000010009 beating Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Cash Registers Or Receiving Machines (AREA)
Abstract
本发明公开了一种餐饮自动结算系统和方法。该系统包括托盘检测装置、人机对话装置、摄像头和计算机，人机对话装置包括单片机、显示器和语音输出电路，单片机分别与托盘检测装置、显示器、语音输出电路和计算机相连，计算机还与摄像头相连。该方法通过图像处理与识别技术区分出不同颜色、不同形状的餐盘，从而得出每种餐盘对应的菜价，并自动计算出总金额。本发明无需对传统餐盘进行任何定制或改造，成本较低，借助于图像处理与识别技术识别餐盘，以完全自动化的方式计算出总金额，结算方式更为精确、可靠，且效率较高。
Description
技术领域
本发明涉及餐饮结算技术领域，尤其涉及一种餐饮自动结算系统和方法。
背景技术
近年来社会上出现了大量的自助式餐厅，特别是在学校、医院等就餐人数较多的单位，自助式取餐受到了越来越多的欢迎。自助式餐厅的结算系统至关重要，其性能、效率等将直接影响顾客的满意度，进而影响到餐厅的客流量。总体上来看，现有的自助式餐厅结算系统主要有以下几种：
（1）传统的人工结算方式
自助式餐厅一般采用不同颜色、不同形状的餐盘来表示不同的菜价，例如，红色、圆形的餐盘代表2元，绿色、方形的餐盘则代表3元，等等。这样做不仅是为了便于顾客区分菜品，同时也是为了便于结算人员进行快速结算，并减少出错几率。但在就餐高峰期时，实际情况却不容乐观。一方面，结算处往往排起长队，顾客要等上很长一段时间才能轮到；另一方面，结算人员手忙脚乱，经常导致结算错误。这种结算方式，不仅使顾客满意度降低，也不符合当前社会技术发展的潮流。
（2）基于条码识别的结算方法
事先将每个餐盘都贴上1个条码标签，使每个菜品的价格与相应的条码相关联。实际使用时，借助于红外或激光条码扫描枪对餐盘的条码进行非接触式读取，得出每个菜品的价格，以人工或自动化的方式计算出总金额，实现结算。这种方法额外增加的成本很低，相较于人工方式，结算更为精准、可靠，但其缺点是结算时的效率偏低（需对餐盘逐个扫描识别）。另外，纸质条码标签易损坏，给实际推广使用带来不便。
（3）基于RFID识别的结算方法
事先在每个餐盘内部放置1个无源RFID标签，并利用无源RFID读写器将每个菜品对应的价格信息写入标签，使每个菜品的价格与相应的RFID标签相关联。实际使用时，借助于无源RFID读写器对餐盘的RFID标签进行非接触式读取，得出每个菜品的价格，以人工或自动化的方式计算出总金额，实现结算。
中国专利公开号CN201741211，公开日2011年2月9日，实用新型的名称为一种餐饮结算系统，该申请案公开了一种餐饮结算系统，它包括餐盘、打价器、结算器、结算服务计算机以及消毒确认器，所述的餐盘包括盘体以及设在盘体中的RFID 电子标签，所述的打价器与一管理服务器相连，所述的结算器与结算服务计算机相连，消毒确认器设在消毒柜中。其不足之处是，该结算系统采用RFID电子标签识别的方法实现完全自动化的结算，但其所用的餐盘必须定制，成本较高。
发明内容
本发明的目的是克服现有餐饮自动结算系统采用RFID电子标签识别的方法实现完全自动化的结算，餐盘必须定制，成本较高的技术问题，提供了一种餐饮自动结算系统和方法，其无需对传统餐盘进行任何定制或改造，成本较低，借助于图像处理与识别技术，能够区分出不同颜色、不同形状的餐盘，从而得出每种餐盘对应的菜价，结合相应的计算机软件，以完全自动化的方式计算出总金额。
为了解决上述问题，本发明采用以下技术方案予以实现：
本发明的一种餐饮自动结算系统，包括托盘检测装置、人机对话装置、摄像头和计算机，所述人机对话装置包括单片机、显示器和语音输出电路，所述单片机分别与托盘检测装置、显示器、语音输出电路和计算机相连，所述计算机还与摄像头相连，所述托盘检测装置设置在结算台的托盘检测区域，所述摄像头设置在托盘检测区域的上方。
在本技术方案中，当托盘放到结算台的托盘检测区域时，托盘检测装置检测到托盘并发出信号给单片机，单片机将托盘到位信息发送给计算机。计算机命令摄像头采集托盘上的餐盘图像，计算机对所获得的餐盘图像按特定的算法进行处理和识别，得出每个餐盘对应的菜价，计算出托盘上所有餐盘对应菜价的总和（即本次消费金额），并将相关数据信息以一定的数据格式发送给单片机。单片机控制显示器显示本次消费金额，控制语音输出电路以语音方式提示本次消费金额，让顾客明白自己的消费情况。
作为优选，所述一种餐饮自动结算系统还包括IC卡读写器，所述IC卡读写器与计算机相连。IC卡读写器的作用是读取顾客的IC卡号，并根据顾客的消费金额以一定的数据格式写入IC卡的相应扇区数据块。
作为优选，所述一种餐饮自动结算系统还包括热敏打印机，所述热敏打印机与计算机相连。热敏打印机用于打印消费小票，以满足某些顾客之需。
作为优选，所述托盘检测装置包括4个轻触开关，所述轻触开关与单片机相连。当托盘未摆放到托盘检测区域时，4个轻触开关都输出高电平；当托盘摆放到托盘检测区域时，4个轻触开关被压下，都输出低电平。
本发明的一种餐饮自动结算方法，包括以下步骤：
步骤S1：系统初始化；
步骤S2：单片机读取托盘检测装置发送的信号判断托盘是否放置到结算台的托盘检测区域，如果是则执行步骤S3，否则重新执行步骤S2；
步骤S3：单片机发送触发信号到计算机，计算机控制摄像头采集托盘上的餐盘图像；
步骤S4：计算机对采集到的餐盘图像进行处理和识别；
步骤S5：计算机确定每个餐盘对应的菜价，并计算出托盘上所有餐盘对应菜价的总和（即本次消费金额）；
步骤S6：计算机控制人机对话装置给出本次消费金额的视频显示和语音提示。
系统预先设定每种餐盘的形状、颜色和菜价，并录入到网络数据库中以备调用。当托盘放置到托盘检测区域时，系统对餐盘进行图像处理获得餐盘的形状和颜色，从而确定餐盘的类型，并计算出托盘上所有餐盘对应菜价的总和。
作为优选，所述步骤S6执行之后还执行以下步骤：
步骤S7：计算机根据IC卡读写器发送的数据判断顾客是否已经刷卡，如果是则执行步骤S8，否则重新执行步骤S7；
步骤S8：计算机将IC卡读写器发送的IC卡信息与网络数据库中存储的授权卡信息进行比对，判断顾客刷的IC卡是否为授权卡，如果是则执行步骤S9，否则执行步骤S12；
步骤S9：计算机将IC卡内余额和本次消费金额进行比较，判断IC卡内余额是否小于本次消费金额，如果是则执行步骤S10，否则执行步骤S11；
步骤S10：计算机控制人机对话装置提示余额不足，本次结算处理结束；
步骤S11：计算机控制IC卡读写器将本次消费金额写入IC卡的相应扇区数据块，以扣除本次消费金额，同时计算机将此信息写入网络数据库，人机对话装置提示消费情况，热敏打印机打印出顾客本次消费的小票，本次结算处理结束；
步骤S12：计算机控制人机对话装置提示顾客刷的IC卡为非授权卡，本次结算处理结束。
通过IC卡自动进行消费结算，相较于人工结算方式更为精确、可靠，且效率较高。
作为优选，所述步骤S1包括以下步骤：设定每种餐盘的形状和颜色，将每种餐盘与菜价相关联，录入到网络数据库中以备调用。
作为优选，所述步骤S4包括以下步骤：
步骤N1：采用中值滤波器对餐盘图像进行平滑处理，平滑处理后餐盘图像的众多细节信息被过滤，仅剩下主体轮廓图像；
步骤N2：对主体轮廓图像进行灰度处理，将RGB转换为GRAY灰度图像，并完成红、绿、蓝三个通道灰度值的分离；
步骤N3：采用定阈值式二值阈值化法对灰度图像进行阈值操作得到二值图像；
步骤N4：对主体轮廓的二值图像分别作轮廓、边缘信息提取操作，获得更清晰的轮廓图像；
步骤N5：对轮廓图像进行噪声过滤，采用面积过滤方法，快速去除图像中面积不符合要求的干扰轮廓；
步骤N6：获取轮廓图像的最小外接圆和最小外接矩形，将轮廓图像RGB模型转换成HSV模型，获取HSV模型中的参数H（即色调）；
步骤N7：根据餐盘轮廓图像的最小外接圆和最小外接矩形识别出餐盘的形状，根据餐盘轮廓图像的色调识别出餐盘的颜色，从而确定餐盘的种类。
作为优选，所述步骤N7包括以下步骤：
步骤N701：对餐盘轮廓图像进行最小外接圆和最小外接矩形操作，计算出最小外接圆与餐盘轮廓的面积比值，最小外接矩形与餐盘轮廓的面积比值；
步骤N702：判断最小外接圆与餐盘轮廓的面积比值是否大于设定值M1，如果是则执行步骤N706，否则执行步骤N703；
步骤N703：判断最小外接矩形与轮廓的面积比值是否大于设定值M2，如果是则执行步骤N704，否则执行步骤N705；
步骤N704：计算与餐盘轮廓面积相同的标准正方形外轮廓的周长，判断餐盘轮廓的周长是否大于标准正方形外轮廓的周长，如果是则判断餐盘轮廓为长方形，否则判断餐盘轮廓为正方形，之后执行步骤N710；
步骤N705：采用BP神经网络识别算法识别餐盘种类；
步骤N706：判断外接矩形与轮廓的面积比值是否大于设定值M2，如果是则执行步骤N708，否则执行步骤N707；
步骤N707；计算与餐盘轮廓面积相同的标准圆形外轮廓的周长，判断餐盘轮廓的周长是否大于标准圆形外轮廓的周长，如果是则判断餐盘轮廓为椭圆形，否则判断餐盘轮廓为圆形，之后执行步骤N710；
步骤N708：将最小外接圆与餐盘轮廓的面积比值除以设定值M1得到数值K1，将最小外接矩形与餐盘轮廓的面积比值除以设定值M2得到数值K2；
步骤N709：判断数值K1是否大于数值K2，如果是则跳转至步骤N707，否则跳转至步骤N704；
步骤N710：根据餐盘轮廓图像的色调识别出餐盘颜色，结合餐盘轮廓的形状确定餐盘的种类。
作为优选，所述步骤N705包括以下步骤：获取餐盘轮廓图像的周长、面积、外接圆面积、外接矩形面积和色调，将餐盘轮廓的这些数据与每种餐盘的周长阈值、面积阈值、外接圆面积阈值、外接矩形面积阈值以及色调阈值比较，从而确定与此轮廓相对应的餐盘的种类。
采用最经典的三层BP神经网络。隐含层为10个神经元；输入层为5个神经元，分别是轮廓周长、轮廓面积、轮廓外接圆面积、轮廓外接矩形面积以及轮廓上平均色调；输出层为单个神经元，输出1个整型值表示餐盘类型。通过监督学习方法，收集上百幅同一类型餐盘的图像，进行不断学习，直到输出结果收敛于期望的餐盘类型值为止。
本发明的实质性效果是：无需对传统餐盘进行任何定制或改造，成本较低，借助于图像处理与识别技术，能够区分出不同颜色、不同形状的餐盘，从而得出每种餐盘对应的菜价，结合相应的计算机软件，以完全自动化的方式计算出总金额，结算方式更为精确、可靠，且效率较高。
附图说明
图1是本发明的一种结构示意图；
图2是本发明的一种电路原理连接框图；
图3是本发明的一种结算处理流程图；
图4是本发明的一种图像处理流程图；
图5是本发明的一种餐盘识别流程图；
图6是摄像头采集的图像进行二值阈值化处理后的图像；
图7是图6进行轮廓提取后的图像；
图8是图7进行噪声过滤后的图像；
图9是本发明的BP神经网络实施结构图。
图中：1、结算台，2、托盘检测装置，3、人机对话装置，4、摄像头，5、IC卡读写器，6、热敏打印机，7、计算机，8、单片机，9、显示器，10、语音输出电路。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：本发明的一种餐饮自动结算系统，如图1、图2所示，包括托盘检测装置2、人机对话装置3、摄像头4、IC卡读写器5、热敏打印机6和计算机7，人机对话装置3包括壳体以及安装在壳体上的单片机8、显示器9和语音输出电路10，IC卡读写器5和热敏打印机6安装在人机对话装置3的壳体上，托盘检测装置2安装在结算台1的托盘检测区域，摄像头4安装在托盘检测区域的正上方，单片机8分别与托盘检测装置2、显示器9、语音输出电路10和计算机7相连，计算机7还与摄像头4、IC卡读写器5和热敏打印机6相连。
托盘检测装置2包括4个轻触开关，4个轻触开关都与单片机8相连，4个轻触开关安装在托盘检测区域的边缘处。当托盘摆放到托盘检测区域时，4个轻触开关被压下闭合，都输出低电平，单片机8读取到4个低电平信号判断托盘摆放到位，发送触发信号给计算机7；当托盘未摆放到托盘检测区域时，4个轻触开关都弹起断开，输出高电平，单片机8读取到4个高电平信号判断托盘未摆放到位，发送触发信号给计算机7。
摄像头4为200万像素CMOS传感器工业摄像头，摄像头4安装在托盘检测区域的正上方，使其能很好地俯视托盘全景，以便完整地采集到餐盘的图像信息。显示器9为240128点阵式液晶显示模块。热敏打印机6为RD-W32型微型热敏打印机。
当托盘放到结算台1的托盘检测区域时，托盘检测装置2检测到托盘并发出信号给单片机8，单片机8将托盘到位信息发送给计算机7。计算机7命令摄像头4采集托盘上的餐盘图像，计算机7对所获得的餐盘图像按特定的算法进行处理，提取餐盘图像的形状和颜色，从而识别出餐盘的类型，得出每个餐盘对应的菜价，计算出托盘上所有餐盘对应菜价的总和（即本次消费金额），并将相关数据信息以一定的数据格式发送给单片机8。单片机8控制显示器9显示顾客本次消费菜品的单价以及相应的总价，并以大字体显示“请刷卡”，同时语音输出电路10输出语音提示：“您本次消费总价为X元，请刷卡”，然后系统等待顾客刷卡。
顾客刷卡时，计算机7通过IC卡读写器5读取IC卡号，将此卡号和网络数据库中事先储存的授权卡信息进行比对，以判断是否为授权卡。若不是授权卡，则显示和语音提示“非授权卡”。若是授权卡，则计算机7先将卡内余额和本次消费金额进行比较，若发现卡内余额小于本次消费金额，则显示和语音提示“余额不足，请充值”，若卡内余额足够，则通过IC卡读写器5将本次消费金额按特定算法写入IC卡的相应扇区数据块，以扣除本次消费金额。同时，计算机7将此信息写入网络数据库，显示器9显示：“刷卡成功，卡内余额为X元”，语音输出电路10输出语音提示“刷卡成功，谢谢”。计算机7还命令热敏打印机6打印出顾客本次消费的小票，打印内容包括刷卡时间、顾客证件号、姓名、本次消费金额以及卡内余额等详细信息，以供用户留存参考。
本自动结算系统无需对传统餐盘进行任何定制或改造，成本较低，借助于图像处理与识别技术，能够区分出不同颜色、不同形状的餐盘，从而得出每种餐盘对应的菜价，结合相应的计算机软件，以完全自动化的方式计算出总金额，结算方式更为精确、可靠，且效率较高；具有集成了显示和语音功能的人机对话装置3，可在整个结算过程中和顾客进行交互，结算完毕后用户刷卡付款即可；设计有SQL网络数据库，能将顾客相关信息进行集中记录和管理，并具有查询、核对等功能；能实现自助式餐厅完全无人化结算，也能使顾客明明白白消费，获得良好的用户体验；由于无需对传统餐盘进行任何定制或改造，因此尤其适合于一些希望采用传统餐盘实现自动化结算的自助式餐厅，技术升级方便、快捷。
本发明的一种餐饮自动结算方法，适用于上述一种餐饮自动结算系统，如图3所示，包括以下步骤：
步骤S1：系统初始化；
步骤S2：单片机8读取托盘检测装置2发送的信号判断托盘是否放置到结算台1的托盘检测区域，如果是则执行步骤S3，否则重新执行步骤S2；
步骤S3：单片机8发送触发信号到计算机7，计算机7控制摄像头4采集托盘上的餐盘图像；
步骤S4：计算机7对采集到的餐盘图像进行处理和识别；
步骤S5：计算机7确定每个餐盘对应的菜价，并计算出托盘上所有餐盘对应菜价的总和（即本次消费金额）；
步骤S6：计算机7控制显示器9显示顾客本次消费菜品的单价以及相应的总价，并以大字体显示“请刷卡”，同时控制语音输出电路10输出语音提示：“您本次消费总价为X元，请刷卡”；
步骤S7：计算机7根据IC卡读写器发送的数据判断顾客是否已经刷卡，如果是则执行步骤S8，否则重新执行步骤S7；
步骤S8：计算机7将IC卡读写器5发送的IC卡信息与网络数据库中存储的授权卡信息进行比对，判断顾客刷的IC卡是否为授权卡，如果是则执行步骤S9，否则执行步骤S12；
步骤S9：计算机7将IC卡内余额和本次消费金额进行比较，判断IC卡内余额是否小于本次消费金额，如果是则执行步骤S10，否则执行步骤S11；
步骤S10：计算机7控制人机对话装置3显示和语音提示“余额不足，请充值”，本次结算处理结束；
步骤S11：计算机7控制IC卡读写器5将本次消费金额写入IC卡的相应扇区数据块，以扣除本次消费金额，同时显示器9显示：“刷卡成功，卡内余额为X元”，语音输出电路10输出语音提示“刷卡成功，谢谢”。计算机7还命令热敏打印机6打印出顾客本次消费的小票，本次结算处理结束；
步骤S12：计算机7控制人机对话装置3显示和语音提示“非授权卡”，本次结算处理结束。
系统初始化包括以下内容：（1）餐盘信息初始化：系统操作人员通过计算机管理软件，将每种餐盘的形状、颜色和菜价录入到网络数据库中以备调用。（2）IC卡信息初始化：利用计算机管理软件，借助于IC卡读写器5，对所有待发行的IC卡进行写密码操作，将1个6字节密码写入IC卡的相应扇区数据块，并将所有加密过的IC卡号写入网络数据库授权卡类别中，使其和顾客证件号、姓名等个人身份信息相关联。
计算机软件按功能可分为2部分，分别是图像处理软件和结算管理软件，其中图像处理软件以OpenCV工具库为基础，采用VC.NET语言设计，将图像处理软件编译成一个DLL动态链接库，供结算管理软件调用，提高了系统整体执行效率。结算管理软件采用VB语言设计，支持访问网络数据库。
本系统在实际使用过程中，需经常进行必要的维护工作。（1）新增或更改餐盘初始化信息：系统操作人员可根据实际需要，借助于计算机软件，将餐盘与形状、颜色和菜价的关联信息进行新增、更改等操作，录入到网络数据库以备调用。（2）IC卡充值：顾客对其持有的IC卡充值时，系统将首先验证其卡号和密码，判断出是否为授权卡，若是，则将充值金额按特定数据格式写入IC卡的相应扇区数据块，同时写入网络数据库。（3）IC卡注销：若顾客需注销其持有的IC卡，则系统首先将该卡余额和顾客清算完毕，然后将该卡密码清除，使其恢复至出厂状态并回收，同时将该卡所涉及信息从网络数据库授权卡类别中删除。（4）IC卡挂失：若顾客需挂失其持有的IC卡，则系统首先将该卡所涉及信息从网络数据库中的授权卡类别移至挂失卡类别，一旦挂失解除，则将该卡所涉及信息重新恢复至授权卡类别中。
如图4所示，上述步骤S4包括以下步骤：
步骤N1：采用中值滤波器对餐盘图像进行平滑处理，通过调用OpenCV库函数cvSmooth（img，in，img_out，CV_MEDIAN）进行处理，平滑处理后餐盘图像的众多细节信息被过滤，仅剩下主体轮廓图像；
步骤N2：对主体轮廓图像进行灰度处理，通过调用OpenCV库函数cvCvtColor（color_img，bin_img，CV_BGR2GRAY），将RGB转换为GRAY灰度图像，再通过调用函数cvSetImageCOI（color_img，num）来设置3个感兴趣通道（COI，Channel of Interest），并完成各个通道灰度值的分离，结合红、绿、蓝通道的灰度信息分别进行处理；
步骤N3：采用定阈值式二值阈值化法，通过调用OpenCV库函数cvThreshold（），令Threshold值为30，将灰度图像转换为二值图像，二值图像的图像效果如图6所示；
步骤N4：对主体轮廓的二值图像分别作轮廓、边缘信息提取操作，采用CV_RETR_LIST检索模式和CV_CHAIN_APPROX_NONE边缘近似方法来提取边缘信息，然后通过调用函数cvStartReadSeq读取轮廓信息，调用函数CV_READ_SEQ_ELEM读取轮廓中点信息，最后通过调用函数cvCircle （pContourImg，pt1，1，color[0]）画出所提取的轮廓，处理后效果如图7所示；
步骤N5：对轮廓图像进行噪声过滤，采用面积过滤方法，快速去除图像中面积不符合的干扰部分。调用OpenCV中的轮廓面积函数cvContourArea（contour，CV_WHOLE_SEQ）来获取指定轮廓的面积，若所获的轮廓面积小于所设的最小值或大于所设的最大值，则直接剔除，处理后的轮廓图像如图8所示；
步骤N6：采用函数cvMinEnclosingCircle（contour，¢er，&radius）获取轮廓的最小外接圆，采用函数cvMinAreaRect2（contour）获取轮廓的最小外接矩形，将轮廓图像RGB模型转换成HSV模型，获取HSV模型中的参数H（即色调）；
步骤N7：根据餐盘轮廓图像的最小外接圆和最小外接矩形识别出餐盘的形状，根据餐盘轮廓图像的色调识别出餐盘的颜色，从而确定餐盘的种类。
如图5所示，上述步骤N7包括以下步骤：
步骤N701：对餐盘轮廓图像进行最小外接圆和最小外接矩形操作，计算出最小外接圆与餐盘轮廓的面积比值，最小外接矩形与餐盘轮廓的面积比值；
步骤N702：判断最小外接圆与餐盘轮廓的面积比值是否大于0.7，如果是则执行步骤N706，否则执行步骤N703；
步骤N703：判断最小外接矩形与轮廓的面积比值是否大于0.85，如果是则执行步骤N704，否则执行步骤N705；
步骤N704：计算与餐盘轮廓面积相同的标准正方形外轮廓的周长，判断餐盘轮廓的周长是否大于标准正方形外轮廓的周长，如果是则判断餐盘轮廓为长方形，否则判断餐盘轮廓为正方形，之后执行步骤N710；
步骤N705：采用BP神经网络识别算法识别餐盘种类。获取餐盘轮廓图像的周长、面积、外接圆面积、外接矩形面积和色调，将餐盘轮廓的这些数据与每种餐盘的周长阈值、面积阈值、外接圆面积阈值、外接矩形面积阈值以及色调阈值比较，从而确定与此轮廓相对应的餐盘的种类；
步骤N706：判断外接矩形与轮廓的面积比值是否大于0.85，如果是则执行步骤N708，否则执行步骤N707；
步骤N707；计算与餐盘轮廓面积相同的标准圆形外轮廓的周长，判断餐盘轮廓的周长是否大于标准圆形外轮廓的周长，如果是则判断餐盘轮廓为椭圆形，否则判断餐盘轮廓为圆形，之后执行步骤N710；
步骤N708：将最小外接圆与餐盘轮廓的面积比值除以0.7得到数值K1，将最小外接矩形与餐盘轮廓的面积比值除以0.85得到数值K2；
步骤N709：判断数值K1是否大于数值K2，如果是则跳转至步骤N707，否则跳转至步骤N704；
步骤N710：根据餐盘轮廓图像的色调识别出餐盘颜色，结合餐盘轮廓的形状确定餐盘的种类。色调与颜色的关系如表一所示，
| 色调下限 | 色调上限 | 识别颜色 |
| 230 | 256 | 红色 |
| 90 | 160 | 绿色 |
| 350 | 380 | 蓝色 |
| 190 | 210 | 黄色 |
| 260 | 350 | 粉红色 |
| - | - | 白色 |
表一
有时，仅能识别出圆形、椭圆形、正方形和长方形等外部特性简单且种类已知的餐盘，是远远不够的。当餐盘的轮廓图形面积与其最小外接圆面积的比值小于0.7且与其最小外接矩形面积的比值小于0.85时，需采用步骤N705中的BP神经网络识别算法进行识别。采用最经典的三层BP神经网络，如图9所示。隐含层为10个神经元；输入层为5个神经元，分别是轮廓周长、轮廓面积、轮廓外接圆面积、轮廓外接矩形面积以及轮廓色调；输出层为单个神经元，输出1个整型值表示餐盘类型。通过监督学习方法，收集上百幅同一类型餐盘的图像，进行不断学习，直到输出结果收敛于期望的餐盘类型值为止。
Claims (4)
1.一种餐饮自动结算方法，其特征在于，包括以下步骤：
步骤S1：系统初始化；
步骤S2：单片机（8）读取托盘检测装置（2）发送的信号判断托盘是否放置到结算台（1）的托盘检测区域，如果是则执行步骤S3，否则重新执行步骤S2；
步骤S3：单片机（8）发送触发信号到计算机（7），计算机（7）控制摄像头（4）采集托盘上的餐盘图像；
步骤S4：计算机（7）对采集到的餐盘图像进行处理和识别；
步骤S5：计算机（7）确定每个餐盘对应的菜价，并计算出托盘上所有餐盘对应菜价的总和，即本次消费金额；
步骤S6：计算机（7）控制人机对话装置（3）给出本次消费金额的视频显示和语音提示；
所述步骤S1包括以下步骤：设定每种餐盘的形状和颜色，将每种餐盘与菜价相关联，录入到网络数据库中以备调用；
所述步骤S4包括以下步骤：
步骤N1：采用中值滤波器对餐盘图像进行平滑处理，平滑处理后餐盘图像的众多细节信息被过滤，仅剩下主体轮廓图像；
步骤N2：对主体轮廓图像进行灰度处理，将RGB转换为GRAY灰度图像，并完成红、绿、蓝三个通道灰度值的分离；
步骤N3：采用定阈值式二值阈值化法对灰度图像进行阈值操作得到二值图像；
步骤N4：对主体轮廓的二值图像分别作轮廓、边缘信息提取操作，获得更清晰的轮廓图像；
步骤N5：对轮廓图像进行噪声过滤，采用面积过滤方法，快速去除图像中面积不符合要求的干扰轮廓；
步骤N6：获取轮廓图像的最小外接圆和最小外接矩形，将轮廓图像RGB模型转换成HSV模型，获取HSV模型中的参数H，即色调；
步骤N7：根据餐盘轮廓图像的最小外接圆和最小外接矩形识别出餐盘的形状，根据餐盘轮廓图像的色调识别出餐盘的颜色，从而确定餐盘的种类。
2.根据权利要求1所述的一种餐饮自动结算方法，其特征在于，所述步骤S6执行之后还执行以下步骤：
步骤S7：计算机（7）根据IC卡读写器（5）发送的数据判断顾客是否已经刷卡，如果是则执行步骤S8，否则重新执行步骤S7；
步骤S8：计算机（7）将IC卡读写器（5）发送的IC卡信息与网络数据库中存储的授权卡信息进行比对，判断顾客刷的IC卡是否为授权卡，如果是则执行步骤S9，否则执行步骤S12；
步骤S9：计算机（7）将IC卡内余额和本次消费金额进行比较，判断IC卡内余额是否小于本次消费金额，如果是则执行步骤S10，否则执行步骤S11；
步骤S10：计算机（7）控制人机对话装置（3）提示余额不足，本次结算处理结束；
步骤S11：计算机（7）控制IC卡读写器（5）将本次消费金额写入IC卡的相应扇区数据块，以扣除本次消费金额，同时计算机（7）将此信息写入网络数据库，人机对话装置（3）提示消费情况，热敏打印机（6）打印出顾客本次消费的小票，本次结算处理结束；
步骤S12：计算机（7）控制人机对话装置（3）提示顾客刷的IC卡为非授权卡，本次结算处理结束。
3.根据权利要求1所述的一种餐饮自动结算方法，其特征在于，所述步骤N7包括以下步骤：
步骤N701：对餐盘轮廓图像进行最小外接圆和最小外接矩形操作，计算出最小外接圆与餐盘轮廓的面积比值，最小外接矩形与餐盘轮廓的面积比值；
步骤N702：判断最小外接圆与餐盘轮廓的面积比值是否大于设定值M1，如果是则执行步骤N706，否则执行步骤N703；
步骤N703：判断最小外接矩形与轮廓的面积比值是否大于设定值M2，如果是则执行步骤N704，否则执行步骤N705；
步骤N704：计算与餐盘轮廓面积相同的标准正方形外轮廓的周长，判断餐盘轮廓的周长是否大于标准正方形外轮廓的周长，如果是则判断餐盘轮廓为长方形，否则判断餐盘轮廓为正方形，之后执行步骤N710；
步骤N705：采用BP神经网络识别算法识别餐盘种类；
步骤N706：判断外接矩形与轮廓的面积比值是否大于设定值M2，如果是则执行步骤N708，否则执行步骤N707；
步骤N707；计算与餐盘轮廓面积相同的标准圆形外轮廓的周长，判断餐盘轮廓的周长是否大于标准圆形外轮廓的周长，如果是则判断餐盘轮廓为椭圆形，否则判断餐盘轮廓为圆形，之后执行步骤N710；
步骤N708：将最小外接圆与餐盘轮廓的面积比值除以设定值M1得到数值K1，将最小外接矩形与餐盘轮廓的面积比值除以设定值M2得到数值K2；
步骤N709：判断数值K1是否大于数值K2，如果是则跳转至步骤N707，否则跳转至步骤N704；
步骤N710：根据餐盘轮廓图像的色调识别出餐盘颜色，结合餐盘轮廓的形状确定餐盘的种类。
4.根据权利要求3所述的一种餐饮自动结算方法，其特征在于，所述步骤N705包括以下步骤：获取餐盘轮廓图像的周长、面积、外接圆面积、外接矩形面积和色调，将餐盘轮廓的这些数据与每种餐盘的周长阈值、面积阈值、外接圆面积阈值、外接矩形面积阈值以及色调阈值比较，从而确定与此轮廓相对应的餐盘的种类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310048008.0A CN103208156B (zh) | 2013-02-06 | 2013-02-06 | 一种餐饮自动结算系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310048008.0A CN103208156B (zh) | 2013-02-06 | 2013-02-06 | 一种餐饮自动结算系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103208156A CN103208156A (zh) | 2013-07-17 |
| CN103208156B true CN103208156B (zh) | 2015-09-09 |
Family
ID=48755370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310048008.0A Expired - Fee Related CN103208156B (zh) | 2013-02-06 | 2013-02-06 | 一种餐饮自动结算系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103208156B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103426241A (zh) * | 2013-08-01 | 2013-12-04 | 浙江大学 | 自助付费系统及其使用方法 |
| CN103426240A (zh) * | 2013-08-01 | 2013-12-04 | 浙江大学 | 自选餐厅自助付费装置及其使用方法 |
| CN103632465B (zh) * | 2013-11-04 | 2016-01-20 | 广东汇卡商务服务有限公司 | 一种pos机自动同步收银系统 |
| CN103646475B (zh) * | 2013-11-14 | 2016-04-20 | 成都博约创信科技有限责任公司 | 集图像识别与标签识别于一体的收银系统 |
| CN103646477B (zh) * | 2013-11-14 | 2016-08-17 | 成都博约创信科技有限责任公司 | 一种基于云平台的微结算系统及方法 |
| CN103632464A (zh) * | 2013-11-14 | 2014-03-12 | 成都博约创信科技有限责任公司 | 集图像识别与标签识别于一体的收银方法 |
| CN103646478A (zh) * | 2013-11-14 | 2014-03-19 | 成都博约创信科技有限责任公司 | 一种基于云平台的微结算系统 |
| CN103646360A (zh) * | 2013-11-14 | 2014-03-19 | 成都博约创信科技有限责任公司 | 一种基于图像识别技术的点餐方法 |
| CN103632463A (zh) * | 2013-11-14 | 2014-03-12 | 成都博约创信科技有限责任公司 | 一种基于图像识别技术的结算方法 |
| CN104077842B (zh) * | 2014-07-02 | 2017-02-15 | 浙江大学 | 基于图像识别的自选餐厅自助付费装置及其使用方法 |
| CN104200584A (zh) * | 2014-07-31 | 2014-12-10 | 北京邮电大学 | 一种快速结算方法和装置 |
| CN104269003A (zh) * | 2014-09-12 | 2015-01-07 | 李龙龙 | 一种食物识别方法、装置及系统 |
| CN104463167B (zh) * | 2014-11-20 | 2017-08-25 | 中国科学院上海微系统与信息技术研究所 | 一种餐厅自动结算方法及系统 |
| CN104978585A (zh) * | 2015-06-11 | 2015-10-14 | 陈建波 | 一种自动计价方法 |
| WO2017120725A1 (zh) * | 2016-01-11 | 2017-07-20 | 程强 | 餐饮财务管理方法及系统 |
| CN106022405A (zh) * | 2016-05-17 | 2016-10-12 | 上海交通大学 | 一种基于形状的餐盘自动计价系统 |
| CN106846677A (zh) * | 2017-01-11 | 2017-06-13 | 北京鼎合思锐软件技术有限公司 | 一种基于视觉识别技术的多媒体结算台 |
| CN106887094A (zh) * | 2017-03-27 | 2017-06-23 | 南京小牛智能科技有限公司 | 一种基于人脸识别的餐饮结算装置及方法 |
| CN107038425A (zh) * | 2017-04-25 | 2017-08-11 | 上海理工大学 | 基于机器视觉的智能餐厅的结算系统 |
| CN109413369A (zh) * | 2017-08-17 | 2019-03-01 | 孟思宏 | 一种监控视频智能分析预警平台 |
| CN107563461A (zh) * | 2017-08-25 | 2018-01-09 | 北京中骏博研科技有限公司 | 基于图像识别的餐饮行业的自动收费方法及系统 |
| CN109214802A (zh) * | 2018-07-26 | 2019-01-15 | 杭州懒陈鑫网络科技有限公司 | 一种餐厅自动计费方法和系统 |
| CN109215260A (zh) * | 2018-08-21 | 2019-01-15 | 金华市缤果科技有限公司 | 一种自助餐厅人工智能结算系统 |
| CN109118681B (zh) * | 2018-08-22 | 2020-12-01 | 安徽省华腾农业科技有限公司经开区分公司 | 食堂餐盘菜品划价机构 |
| CN109145839A (zh) * | 2018-08-29 | 2019-01-04 | 福建超汇信息技术有限公司 | 基于机器视觉识别的计价方法及计算机可读存储介质 |
| CN109271814A (zh) * | 2018-10-09 | 2019-01-25 | 裕利年电子南通有限公司 | 基于计算机视觉的防拍照显示系统及防拍照方法 |
| CN111080493B (zh) * | 2018-10-18 | 2023-09-05 | 杭州海康威视数字技术股份有限公司 | 一种菜品信息识别方法、装置及菜品自助结算系统 |
| CN111310520B (zh) * | 2018-12-11 | 2023-11-21 | 阿里巴巴集团控股有限公司 | 菜品识别方法、收银方法、菜品催单方法及相关装置 |
| CN110415463A (zh) * | 2019-07-25 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 一种支付方法及终端 |
| CN110580505A (zh) * | 2019-08-29 | 2019-12-17 | 杭州火小二科技有限公司 | 一种基于餐盘识别的智慧收银方法 |
| CN111640268A (zh) * | 2020-04-22 | 2020-09-08 | 深圳拓邦股份有限公司 | 一种基于餐盘形状和颜色的智能结算方法和系统 |
| TWI841320B (zh) * | 2023-03-24 | 2024-05-01 | 富甲酷客股份有限公司 | 自動計價與餐具回收系統 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101127141A (zh) * | 2007-09-30 | 2008-02-20 | 西安朔方信息技术有限公司 | 超市自助结算购物系统及其方法 |
| CN101477729A (zh) * | 2008-12-30 | 2009-07-08 | 于忠清 | 自助售饭系统以及该系统的信息处理方法 |
| CN102842190A (zh) * | 2011-06-22 | 2012-12-26 | 东芝泰格有限公司 | 结账装置及商品销售数据处理方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08335236A (ja) * | 1995-06-07 | 1996-12-17 | Sanyo Electric Co Ltd | 食堂料金精算システム |
| JP2001216571A (ja) * | 2000-02-03 | 2001-08-10 | Glory Ltd | 料金精算方法および装置 |
| US8571298B2 (en) * | 2008-12-23 | 2013-10-29 | Datalogic ADC, Inc. | Method and apparatus for identifying and tallying objects |
-
2013
- 2013-02-06 CN CN201310048008.0A patent/CN103208156B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101127141A (zh) * | 2007-09-30 | 2008-02-20 | 西安朔方信息技术有限公司 | 超市自助结算购物系统及其方法 |
| CN101477729A (zh) * | 2008-12-30 | 2009-07-08 | 于忠清 | 自助售饭系统以及该系统的信息处理方法 |
| CN102842190A (zh) * | 2011-06-22 | 2012-12-26 | 东芝泰格有限公司 | 结账装置及商品销售数据处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103208156A (zh) | 2013-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103208156B (zh) | 一种餐饮自动结算系统和方法 | |
| CN104077842B (zh) | 基于图像识别的自选餐厅自助付费装置及其使用方法 | |
| CN206893000U (zh) | 多功能自动售货系统 | |
| CN106845890B (zh) | 一种基于视频监控的仓储监控方法及装置 | |
| WO2019237729A1 (zh) | 一种购物结算方法、装置和用户终端 | |
| CN107122730A (zh) | 自选餐厅自动计价方法 | |
| CN104732601B (zh) | 一种基于人脸识别技术的高识别率自动考勤装置及方法 | |
| CN107767590A (zh) | 物品自动识别商用条码电子秤及物品自动识别方法 | |
| CN103034839B (zh) | 基于图像识别技术的食堂支付系统及方法 | |
| CN105046280A (zh) | 一种衣柜智能管理装置及方法 | |
| CN110059654A (zh) | 一种基于细粒度识别的菜品自动结算及饮食健康管理方法 | |
| CN104463167A (zh) | 一种餐厅自动结算方法及系统 | |
| CN101477729A (zh) | 自助售饭系统以及该系统的信息处理方法 | |
| CN109523428A (zh) | 基于图像识别技术的智能餐饮结算方法、系统、装置及介质 | |
| CN107578582A (zh) | 一种批量商品计费系统及计费方法 | |
| CN109145839A (zh) | 基于机器视觉识别的计价方法及计算机可读存储介质 | |
| CN104700510A (zh) | 一种智能快递箱系统和寄件方法 | |
| CN106056487A (zh) | 基于餐具图案的菜品自动识别系统的计价方法 | |
| CN103136859A (zh) | 一种基于图像识别的餐厅无线刷卡系统 | |
| CN109740579A (zh) | 一种基于碗盘智能识别的快餐收银系统 | |
| CN106530528A (zh) | 收银票据信息识别方法及装置 | |
| CN105976407A (zh) | 一种适用于遮挡条件下的餐盘形状识别方法 | |
| CN102298134A (zh) | 撤回电能表批量检测方法与装置 | |
| CN109800747A (zh) | 医疗发票识别方法、用户设备、存储介质及装置 | |
| CN202472765U (zh) | 一种智能考勤系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20171023 Address after: 510380, No. 2, building 2101, No. 48, Longxi East Road, Guangzhou, Guangdong, Liwan District, No. 0254 Patentee after: Lizhi (Guangzhou) Intellectual Property Service Co.,Ltd. Address before: 310023, Zhejiang University of Science and Technology, Xihu District, Zhejiang province 318 Hangzhou Road Patentee before: Zhejiang University of Science and Technology Effective date of registration: 20171023 Address after: 401147 Chongqing city Yubei District Longxi street new irrigation Road No. 18 building 11 24-11 City Ambassador Patentee after: Chongqing view Intellectual Property Service Co.,Ltd. Address before: 510380, No. 2, building 2101, No. 48, Longxi East Road, Guangzhou, Guangdong, Liwan District, No. 0254 Patentee before: Lizhi (Guangzhou) Intellectual Property Service Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190221 Address after: 401120 Chongqing Yubei District Longxi Street Jinlong Road 259 Finance and Information City International 4 1-6 Patentee after: Chongqing Haoting Zhongtuo Environmental Technology Co.,Ltd. Address before: 401147 Guobin City, No. 18 Xinji Avenue, Longxi Street, Yubei District, Chongqing City, 11 blocks, 24-11 Patentee before: Chongqing view Intellectual Property Service Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201010 Address after: Unit 26-13, unit 2, No. 19, Daping Main Street, Yuzhong District, Chongqing Patentee after: Chongqing huifuyi Technology Co.,Ltd. Address before: 401120 Chongqing Yubei District Longxi Street Jinlong Road 259 Finance and Information City International 4 1-6 Patentee before: Chongqing Haoting Zhongtuo Environmental Technology Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150909 Termination date: 20220206 |