CN104463167B - 一种餐厅自动结算方法及系统 - Google Patents
一种餐厅自动结算方法及系统 Download PDFInfo
- Publication number
- CN104463167B CN104463167B CN201410668443.8A CN201410668443A CN104463167B CN 104463167 B CN104463167 B CN 104463167B CN 201410668443 A CN201410668443 A CN 201410668443A CN 104463167 B CN104463167 B CN 104463167B
- Authority
- CN
- China
- Prior art keywords
- profile
- service plate
- image
- pallet
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004040 coloring Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 235000012054 meals Nutrition 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 abstract description 4
- 238000003672 processing method Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 10
- 230000001131 transforming effect Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种餐厅自动结算方法及系统，方法包括：拍摄检测区域中整体图像，并通过图像处理方法提取整体图像轮廓；利用轮廓信息，通过图像识别技术判断检测区域中是否有托盘及餐盘图像，将其整体图像及轮廓信息进行存储；然后利用图形学和图像处理方法提取餐盘的轮廓及色调信息；将餐盘轮廓和色调信息与数据库中的模板信息进行匹配，得到餐盘轮廓的形状及颜色；通过餐盘的形状、颜色和菜肴价格的关联，得出菜肴总金额；系统包括：摄像头、计算机、刷卡机和显示器。本发明无需对餐盘进行定制或改造，适用于任意形状和材料的餐盘，成本较低，高效快速，对餐盘之间的重叠、遮挡有一定的鲁棒性，无需对就餐人员摆放餐盘的方式有特别要求。
Description
技术领域
本发明涉及餐饮领域中的自动结算技术，特别是涉及一种餐厅自动结算方法及系统。
背景技术
近年来众多机关单位和高校等机构通过自办餐厅来解决员工或学生的就餐问题，目前主流的做法是自主选择，刷卡结算。但是由于就餐人员的增多，这给计费终端带来很大压力，一方面，在消费高峰期经常因为结算速度慢而导致排队现象；另一方面，价格计算的准确性也难以得到保证。
针对传统人工结算方法出现的问题，已有一些自动结算系统被提出，主要有以下几种：
(1)基于条码识别的结算方法
每个餐盘都贴有1个条码标签，将条码与相应的菜价进行关联，在计费终端利用红外或激光条码扫描枪进行读取，得到相应菜肴价格。但此方法的缺点是在结算时效率较低且条码标签易损坏。
(2)基于RFID识别的结算方法
在餐盘制作时，提前在餐盘内部放置RFID标签，将RFID标签与菜价进行关联，在计费终端利用RFID读写器对餐盘RFID标签进行读取，得到相应菜肴价格。但此方法的缺点是餐盘需特殊定制，成本较高。
(3)基于图像识别的结算方法
现有的基于图像识别的结算方法，将菜肴像素特征或餐盘形状与菜价进行关联，在计费终端通过图像识别方法，得到相应菜肴价格。但此方法目前有的单纯基于图像颜色信息，易受光照等因素的影响；有的基于餐盘轮廓面积、周长进行形状识别，对餐盘形状提出了限制；同时上述方法只适用于餐盘之间无遮挡的情况，对餐盘之间重叠及遮挡情况的鲁棒性很差，而且上述方法对餐盘及托盘图像采集时借助于托盘检测装置或压力传感器等硬件设备，成本较高、系统较复杂。
发明内容
本发明所要解决的技术问题是提供一种餐厅自动结算方法及系统，以完全自动化的方式实现餐费结算，无需对餐盘进行定制或改造，适用于任意形状和材料的餐盘，成本较低；对餐盘之间的重叠、遮挡有一定的鲁棒性，无需对就餐人员摆放餐盘的方式有特别要求，方便就餐人员，无需借助除摄像头和计算机外其他硬件设备，高效快速、成本较低。
本发明解决其技术问题所采用的技术方案是：提供一种餐厅自动结算方法，包括以下步骤：
(1)将托盘和餐盘的轮廓及颜色信息存入数据库，建立模板数据库；
(2)将餐盘的形状和颜色组合与菜肴价格进行关联；
(3)获取在检测区域中整体图像，并提取整体图像轮廓；
(4)利用整体图像轮廓信息，通过图像识别技术判断检测区域中是否有托盘及餐盘图像，并在检测区域中有托盘及餐盘图像时将其整体图像及轮廓信息进行存储；
(5)利用模板数据库中模板托盘轮廓信息，通过矩阵与操作去除整体图像轮廓中托盘轮廓及托盘轮廓外围的干扰轮廓，只保留托盘内的轮廓数据；提取完整的餐盘轮廓；对提取的各个餐盘轮廓进行方向矫正；
(6)在整体图像H通道中提取餐盘轮廓的色调信息；
(7)将模板数据库中的餐盘模板轮廓与检测得到的轮廓依次进行匹配，得到最匹配的轮廓形状；根据餐盘轮廓图像的色调信息识别出餐盘的颜色；将检测到的各餐盘形状和颜色对应的菜肴价格输出。
所述步骤(1)具体包括：将餐盘及托盘放置于检测区域中，摄像头进行拍摄得到图像，对图像进行颜色空间的转换，将RGB图像转换成HSV图像，并完成H、S、V三通道的分离；采用定阈值式二值化法对S通道图像进行阈值操作得到二值图像；对二值图像进行轮廓提取，得到餐盘和托盘的轮廓；对提取的各个轮廓进行方向矫正；提取各餐盘和托盘轮廓图像的色调通道像素信息，并将托盘和餐盘的轮廓及颜色信息存入数据库建立模板数据库。
所述步骤(3)包括对获取的整体图像数据进行颜色空间的转换，将RGB图像转换成HSV图像，并完成H、S、V三通道的分离；采用定阈值式二值化法对S通道图像进行阈值操作得到二值图像；对二值图像进行轮廓提取，得到整体图像轮廓。
所述步骤(4)中在整体图像轮廓中找面积最大的轮廓，对其做最小外接矩形；判断最小外接矩形的长、宽是否在阈值范围内；若在阈值范围内将整体图像信息及整体轮廓信息进行存储。
所述步骤(5)具体包括以下子步骤：
(51)将加粗后的模板托盘轮廓和填充后的模板托盘轮廓与整体图像轮廓进行矩阵与操作，将整体图像轮廓中的托盘轮廓和托盘外围的干扰轮廓去除；
(52)餐盘之间在遮挡和重叠的情况下，提取的轮廓是多个餐盘轮廓连接在一起形成的大轮廓，通过判断轮廓是否平滑，区分所得轮廓是否为单独完整餐盘轮廓或大轮廓；
(53)当所得轮廓为单独完整轮廓时，判断完整餐盘轮廓的面积及长短轴，去除菜肴干扰轮廓，执行步骤(55)；
(54)当所得轮廓为大轮廓时，找到大轮廓中轮廓拐点，利用拐点将轮廓截断成若干小轮廓；通过图形学原理判断，将属于同一餐盘的小轮廓组合连接在一起；判断组合后的轮廓面积及长短轴，排除不合理组合轮廓和菜肴轮廓的干扰，形成较完整的餐盘轮廓，执行步骤(55)；
(55)对得到的完整餐盘轮廓利用最小外接矩形进行方向矫正。
所述步骤(51)包括以下子步骤：绘制图像整体轮廓；利用最小外接矩形，定位整体轮廓中的托盘轮廓，将模板托盘轮廓进行旋转与平移，使模板托盘轮廓和被定位的托盘轮廓对齐；绘制对齐后的模板托盘轮廓的图像，并进行加粗；将整体轮廓图像与模板托盘轮廓图像进行矩阵与操作，得到整体轮廓图像中的托盘轮廓，将其在整体轮廓中去除；绘制填充后的模板托盘轮廓图像，将轮廓内部填充；将整体轮廓图像与模板托盘轮廓填充图像进行矩阵与操作，得到整体轮廓图像中托盘外围的干扰图像，然后将其在整体轮廓中去除。
所述步骤(52)包括以下子步骤：对轮廓进行多边形近似，得到一系列的近似多边形的点；历遍多边形上所有点，求每一点与其相邻前后两点所形成线段的夹角，若夹角小于设定的阈值，则认定此点为轮廓的拐点，若轮廓中无拐点，则判断此轮廓平滑，为完整的一个餐盘轮廓，否则，判断此轮廓不平滑，是多个餐盘轮廓形成的大轮廓。
所述步骤(54)中将属于同一餐盘的小轮廓组合连接在一起时采用的组合策略为以长度最长的小轮廓为基准，依次判断其他小轮廓是否与该小轮廓同属于一个餐盘轮廓，将同属于一个餐盘轮廓的小轮廓进行连接组成较完整的餐盘轮廓；判断形成的完整的餐盘轮廓的面积及长短轴是否在阈值范围内，若在范围内则认为是合理组合轮廓；将合理组合轮廓进行存储并将其在小轮廓集合中删除；然后在剩下的小轮廓集合中，重复上述步骤，直到所有小轮廓组合完毕。
判断两个小轮廓是否属于一个餐盘轮廓的方法为：
(a)通过距离计算，找出两个距离最近的轮廓端点，两个轮廓端点分别属于两个不同的轮廓；
(b)对两个端点分别作过端点的轮廓切线，得到两条直线；
(c)当两条直线相交时，计算两条直线的交点，每个端点与交点确定一条射线，射线的起点为交点，经过端点，判断两个轮廓的质心是否在两条射线之间，若两个轮廓的质心都在两条射线之间，则判断两个轮廓同属于一个餐盘轮廓，否则，判断不属于一个轮廓；
(d)当两条直线平行时，两个距离最近的轮廓端点确定一条直线，判断另外的两个轮廓端点是否在直线异侧，若在异侧，则判断两个轮廓不属于同一餐盘轮廓，否则，将两个轮廓的四个端点依次连接成四边形，判断两个轮廓的质心是否都在四边形之外，若两个轮廓的质心都在四边形之外，则属于一个餐盘轮廓，否则，不属于同一个餐盘轮廓。
所述步骤(7)包括以下子步骤：
(71)将餐盘轮廓与模板轮廓进行对齐，计算餐盘轮廓中的各点到模板轮廓的最近距离；将各点得到的距离进行求和并除以餐盘轮廓点数，得到归一化后的距离和；
(72)比较餐盘轮廓与不同模板计算得到的距离和，得出最小距离和对应的餐盘形状；
(73)将最小距离和与阈值进行比较，若最小距离和大于阈值，则判定为干扰轮廓与模板的匹配结果，否则则判定为匹配；
(74)对所有餐盘轮廓进行匹配，直到所有餐盘轮廓都与各模板轮廓匹配完毕；
(75)根据餐盘轮廓图像的色调信息识别出餐盘的颜色；
(76)将各检测到的餐盘形状、颜色对应的菜肴价格输出。
本发明解决其技术问题所采用的技术方案是：还提供一种餐厅自动结算系统，包括摄像头、计算机、刷卡机和显示器，所述摄像头、刷卡机、显示器均与计算机相连；所述摄像头设置在托盘检测区域的上方，将获取的在检测区域中的整体图像传输给计算机；计算机对所获得的整体图像按上述餐厅自动结算方法进行处理，并将结果输出至所述刷卡器和显示器。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明以完全自动化的方式实现餐费结算，无需对餐盘进行定制或改造，适用于任意形状和材料的餐盘，成本较低；对餐盘之间的重叠、遮挡有一定的鲁棒性，无需对就餐人员摆放餐盘的方式有特别要求，方便就餐人员；利用图像识别技术自动识别托盘及餐盘图像进行拍摄处理，无需借助除摄像头和计算机外的其他硬件设备，高效快速、成本较低。
附图说明
图1是本发明的系统结构示意图；
图2是本发明的流程图；
图3是HSV格式的整体图像中S通道图像；
图4是S通道图像进行二值化处理后的图像；
图5是对整体图像进行轮廓提取后的图像；
图6是轮廓拐点示意图；
图7是轮廓最小外接矩形示意图；
图8-11是小轮廓组合示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明提供了一种基于图像处理及识别技术的餐厅自动结算系统，如图1所示，系统包括摄像头、计算机、刷卡机、显示器，摄像头、刷卡机、显示器匀与计算机相连。摄像头设置在检测区域的上方，将拍摄图像传输给计算机进行处理，当就餐人员持拖盘走到检测区域时，利用图像识别技术自动识别并存储托盘及餐盘整体图像及轮廓信息。计算机对所获得的整体图像及轮廓信息按特定的算法进行处理和识别，区分不同形状和颜色的餐盘，得出每个餐盘对应的菜价，计算出托盘上所有餐盘对应菜价的总和，将其传输给刷卡器，同时在显示器上显示相应菜价，提醒就餐人员刷卡。当就餐人员刷卡后，刷卡机将信息反馈给计算机，计算机记录消费情况。
本发明的一种餐厅自动结算方法，流程图如图2所示，具体实施包括以下内容：
步骤1，建立模板数据库
(1)通过摄像头获取托盘及餐盘的模板图像数据。
(2)对图像进行颜色空间的转换，将RGB图像转换成HSV图像。
(3)提取HSV图像中的S通道图像数据。
(4)采用定阈值式二值化法对S通道图像进行阈值操作得到二值图像。
(5)对二值图像进行轮廓提取，将各餐盘和托盘的轮廓分别进行标示存储。
(6)对存储的各模板轮廓进行方向矫正。优选地，利用轮廓的最小外接矩形对提取的各个轮廓进行方向矫正：得到轮廓的最小外接矩形，以矩形中心为旋转中心，以矩形长轴与水平方向的夹角为旋转角，对提取的轮廓图像进行旋转，得到矫正后的模板轮廓。
(7)提取各餐盘和托盘轮廓图像的H(色调)通道像素信息；
(8)将托盘和各餐盘的轮廓及色调信息存入数据库建立模板数据库。
步骤2，关联模板数据与菜肴价格
将每个餐盘样本与当日预售菜肴价格进行对应，即餐盘的形状和颜色与菜肴价格进行关联。
步骤3，摄像头拍摄检测区域整体图像，传输给计算机，通过一系列处理提取整体图像轮廓。
(1)摄像头将拍摄的每帧图像传输给计算机进行处理。
(2)对图像进行颜色空间的转换，将RGB图像转换成HSV图像。
(3)提取HSV图像中的S通道图像数据。如图3所示。
(4)采用定阈值式二值化法对S通道图像进行阈值操作得到二值图像。如图4所示。
(5)对二值图像进行轮廓提取。如图5所示。
步骤4，利用轮廓信息，通过图像识别技术判断检测区域中是否有托盘及餐盘图像，将整体图像及轮廓信息进行存储。
(1)在整体轮廓中找面积最大的轮廓。
(2)对面积最大轮廓做最小外接矩形。
(3)判断最小外接矩形的长、宽是否在阈值范围内。若在范围内则判断检测区域中已放置托盘及餐盘，将整体图像及整体轮廓进行存储，方便进行后续处理。
步骤5，对整体图像轮廓进行处理，提取餐盘轮廓
(1)利用模板数据库中托盘模板轮廓，通过矩阵与操作去除整体图像轮廓中托盘轮廓及托盘轮廓外围的干扰轮廓。只保留餐盘轮廓数据。优选地，具体方法包括以下内容：
(a)绘制图像整体轮廓，轮廓线宽度为1，图像背景像素灰度值设为0，轮廓像素灰度值为255。
(b)利用最小外接矩形，定位整体轮廓中的托盘轮廓，将模板托盘轮廓进行旋转与平移，使模板托盘轮廓与托盘轮廓对齐。
(c)绘制对齐后的模板托盘轮廓的图像，轮廓线的绘制宽度为15，图像背景像素灰度值为0，轮廓像素灰度为255。
(d)将整体轮廓图像与模板托盘轮廓图像进行矩阵与操作，得到整体轮廓图像中的托盘轮廓，将其在整体轮廓中去除。
(e)绘制填充后的模板托盘轮廓图像，将轮廓内部填充，图像背景像素灰度值为255，轮廓及内部像素灰度为0。
(f)将整体轮廓图像与模板托盘轮廓填充图像进行矩阵与操作，得到整体轮廓图像中托盘外围的干扰图像，然后将其在整体轮廓中去除。
(2)餐盘之间在遮挡和重叠的情况下，提取的轮廓会连接在一起形成一个大轮廓。通过判断轮廓是否平滑，区分所得轮廓是否为单独完整餐盘轮廓或大轮廓。若为单独完整轮廓执行步骤(3)，若为大轮廓执行步骤(4)。
优选地，具体判断方法包括以下内容：
(a)对轮廓进行多边形近似，得到一系列的近似多边形的点；
(b)历遍多边形上所有点，求每一点与其相邻前后两点所形成线段的夹角，提前给定一个角度阈值，若夹角小于阈值则认定此点为轮廓的拐点。图6中黑色的点为通过上述方法得到的拐点。
(c)若轮廓中无拐点，则判断此轮廓平滑，为完整的一个餐盘轮廓。否则，判断此轮廓不平滑，是多个餐盘轮廓形成的大轮廓。
(3)判断完整餐盘轮廓的面积及长短轴，去除菜肴干扰轮廓
(4)对餐盘之间遮挡和重叠情况下得到的大轮廓进行处理：找到大轮廓中轮廓拐点，将轮廓截断成若干小轮廓；通过图形学原理判断，将属于同一餐盘的小轮廓组合连接在一起；判断组合后的轮廓面积及长短轴，进一步排除不合理组合轮廓及菜肴轮廓干扰；形成较完整的餐盘轮廓。其中，不合理组合轮廓即是组合错误的轮廓。优选地，具体方法包括以下内容：
(a)利用得到的各个拐点，将大轮廓截断成若干小轮廓。
(b)判断这些小轮廓是否属于同一餐盘轮廓,对小轮廓进行组合,形成完整餐盘轮廓。
优选地，采取的组合策略是以长度最长的小轮廓为基准，依次判断其他小轮廓是否与其同属于一个餐盘轮廓，将同属于一个餐盘轮廓的小轮廓进行连接组成较完整的餐盘轮廓；判断形成的轮廓面积及长短轴是否在阈值范围内，进一步排除不合理组合轮廓及菜肴轮廓干扰，若在范围内则认为是合理组合轮廓；将合理组合轮廓进行存储并将其在小轮廓集合中删除；然后在剩下的小轮廓集合中，重复上述步骤，直到所有小轮廓都组合完毕。
优选地，判断两个小轮廓之间是否属于同一个餐盘轮廓的具体方法包括以下步骤：
①通过距离计算，找出两个距离最近的轮廓端点，两个轮廓端点分别属于两个不同的小轮廓。
②对两个端点分别作过端点的轮廓切线，得到两条直线。若两条直线相交，计算两条直线的交点，然后执行步骤③；若两条直线平行执行步骤④。
优选地，可利用对小轮廓进行多边形近似，得到多边形上的点，由端点和其相邻的多边形点近似确定曲线切线。如图8所示，轮廓上的黑点为近似多边形上的点，图中的直线为近似曲线切线。
③每个端点与交点确定一条射线，射线的起点为交点，经过端点。判断两个轮廓的质心是否在两条射线之间，若都在范围内，则判断两个轮廓同属于一个餐盘轮廓，否则，判断不属于一个轮廓。判断结束。示意图如图8所示，图中最粗的两个点为轮廓质心。
④两个距离最近的轮廓端点确定一条直线，判断另外的两个轮廓端点是否在直线异侧，若在异侧，则判断两个轮廓不属于同一餐盘轮廓，判断结束。示意图如图9所示。否则，执行步骤⑤。
⑤将两个轮廓的四个端点依次连接成四边形，判断两个轮廓的质心是否都在四边形之外，若满足，则判断同属于一个餐盘轮廓，否则，判断不属于同一个餐盘轮廓。判断结束。示意图如图10和图11所示，其中，图10为轮廓组合成立的示意图；图11为轮廓组合不成立的示意图。
(5)利用最小外接矩形对提取的各个餐盘轮廓进行方向矫正：得到轮廓的最小外接矩形，以矩形中心为旋转中心，以矩形长轴与水平方向的角度为旋转角，对提取的轮廓图像进行旋转，得到矫正后的模板轮廓。轮廓的最小外接矩形如图7所示。
步骤6，提取餐盘轮廓图像的色调信息
利用上步提取的餐盘轮廓，在整体图像H通道中提取餐盘轮廓的色调信息。
步骤7，匹配餐盘，输出支付价格
(1)将餐盘轮廓与模板餐盘轮廓进行对齐。
(2)计算餐盘轮廓中的各点到模板轮廓的最近距离；将各点得到的最近距离进行求和并除以轮廓点数，得到归一化后的距离和。
(3)比较餐盘轮廓与不同模板计算得到的距离和，得出最小距离和对应的餐盘形状。
(4)将最小距离和与阈值进行比较，若大于阈值，则判定为干扰轮廓与模板的匹配结果，忽略此轮廓。返回上一步对下一轮廓进行匹配，直到所有轮廓都与各模板轮廓匹配完毕。
(5)根据餐盘轮廓图像的色调识别出餐盘的颜色。
(6)将各检测到的餐盘形状、颜色对应的菜价输出到显示器中，将菜价总和传给刷卡器。
综上所述，本发明提供的一种餐厅自动结算系统与方法，其以完全自动化的方式实现餐费结算，无需对餐盘进行定制或改造，适用于任意形状和材料的餐盘，成本较低；对餐盘之间的重叠、遮挡有一定的鲁棒性，无需对就餐人员摆放餐盘的方式有特别要求，方便就餐人员；利用图像识别技术自动识别托盘及餐盘图像进行拍摄处理，无需借助其他硬件设备，高效快速、成本较低。
Claims (9)
1.一种餐厅自动结算方法，其特征在于，包括以下步骤：
(1)将托盘和餐盘的轮廓及颜色信息存入数据库，建立模板数据库；
(2)将餐盘的形状和颜色组合与菜肴价格进行关联；
(3)获取在检测区域中整体图像，并提取整体图像轮廓；
(4)利用整体图像轮廓信息，通过图像识别技术判断检测区域中是否有托盘及餐盘图像，并在检测区域中有托盘及餐盘图像时将其整体图像及轮廓信息进行存储；
(5)利用模板数据库中模板托盘轮廓信息，通过矩阵与操作去除整体图像轮廓中托盘轮廓及托盘轮廓外围的干扰轮廓，只保留托盘内的轮廓数据；提取完整的餐盘轮廓；对提取的各个餐盘轮廓进行方向矫正；具体包括以下子步骤：
(51)将加粗后的模板托盘轮廓和填充后的模板托盘轮廓与整体图像轮廓进行矩阵与操作，将整体图像轮廓中的托盘轮廓和托盘外围的干扰轮廓去除；
(52)餐盘之间在遮挡和重叠的情况下，提取的轮廓是多个餐盘轮廓连接在一起形成的大轮廓，通过判断轮廓是否平滑，区分所得轮廓是否为单独完整餐盘轮廓或大轮廓；
(53)当所得轮廓为单独完整轮廓时，判断完整餐盘轮廓的面积及长短轴，去除菜肴干扰轮廓，执行步骤(55)；
(54)当所得轮廓为大轮廓时，找到大轮廓中轮廓拐点，利用拐点将轮廓截断成若干小轮廓；通过图形学原理判断，将属于同一餐盘的小轮廓组合连接在一起；判断组合后的轮廓面积及长短轴，排除不合理组合轮廓和菜肴轮廓的干扰，形成较完整的餐盘轮廓，执行步骤(55)；
(55)对得到的完整餐盘轮廓利用最小外接矩形进行方向矫正；
其中，所述步骤(54)中将属于同一餐盘的小轮廓组合连接在一起时采用的组合策略为以长度最长的小轮廓为基准，依次判断其他小轮廓是否与该小轮廓同属于一个餐盘轮廓，将同属于一个餐盘轮廓的小轮廓进行连接组成较完整的餐盘轮廓；判断形成的完整的餐盘轮廓的面积及长短轴是否在阈值范围内，若在范围内则认为是合理组合轮廓；将合理组合轮廓进行存储并将其在小轮廓集合中删除；然后在剩下的小轮廓集合中，重复上述步骤，直到所有小轮廓组合完毕；
判断两个小轮廓是否属于一个餐盘轮廓的方法为：
(a)通过距离计算，找出两个距离最近的轮廓端点，两个轮廓端点分别属于两个不同的轮廓；
(b)对两个端点分别作过端点的轮廓切线，得到两条直线；
(c)当两条直线相交时，计算两条直线的交点，每个端点与交点确定一条射线，射线的起点为交点，经过端点，判断两个轮廓的质心是否在两条射线之间，若两个轮廓的质心都在两条射线之间，则判断两个轮廓同属于一个餐盘轮廓，否则，判断不属于一个轮廓；
(d)当两条直线平行时，两个距离最近的轮廓端点确定一条直线，判断另外的两个轮廓端点是否在直线异侧，若在异侧，则判断两个轮廓不属于同一餐盘轮廓，否则，将两个轮廓的四个端点依次连接成四边形，判断两个轮廓的质心是否都在四边形之外，若两个轮廓的质心都在四边形之外，则属于一个餐盘轮廓，否则，不属于同一个餐盘轮廓；
(6)在整体图像H通道中提取餐盘轮廓的色调信息；
(7)将模板数据库中的餐盘模板轮廓与检测得到的轮廓依次进行匹配，得到最匹配的轮廓形状；根据餐盘轮廓图像的色调信息识别出餐盘的颜色；将检测到的各餐盘形状和颜色对应的菜肴价格输出。
2.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(1)具体包括：将餐盘及托盘放置于检测区域中，摄像头进行拍摄得到图像，对图像进行颜色空间的转换，将RGB图像转换成HSV图像，并完成H、S、V三通道的分离；采用定阈值式二值化法对S通道图像进行阈值操作得到二值图像；对二值图像进行轮廓提取，得到餐盘和托盘的轮廓；对提取的各个轮廓进行方向矫正；提取各餐盘和托盘轮廓图像的色调通道像素信息，并将托盘和餐盘的轮廓及颜色信息存入数据库建立模板数据库。
3.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(3)包括对获取的整体图像数据进行颜色空间的转换，将RGB图像转换成HSV图像，并完成H、S、V三通道的分离；采用定阈值式二值化法对S通道图像进行阈值操作得到二值图像；对二值图像进行轮廓提取，得到整体图像轮廓。
4.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(4)中在整体图像轮廓中找面积最大的轮廓，对其做最小外接矩形；判断最小外接矩形的长、宽是否在阈值范围内；若在阈值范围内将整体图像信息及整体轮廓信息进行存储。
5.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(51)包括以下子步骤：绘制图像整体轮廓；利用最小外接矩形，定位整体轮廓中的托盘轮廓，将模板托盘轮廓进行旋转与平移，使模板托盘轮廓和被定位的托盘轮廓对齐；绘制对齐后的模板托盘轮廓的图像，并进行加粗；将整体轮廓图像与模板托盘轮廓图像进行矩阵与操作，得到整体轮廓图像中的托盘轮廓，将其在整体轮廓中去除；绘制填充后的模板托盘轮廓图像，将轮廓内部填充；将整体轮廓图像与模板托盘轮廓填充图像进行矩阵与操作，得到整体轮廓图像中托盘外围的干扰图像，然后将其在整体轮廓中去除。
6.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(52)包括以下子步骤：对轮廓进行多边形近似，得到一系列的近似多边形的点；历遍多边形上所有点，求每一点与其相邻前后两点所形成线段的夹角，若夹角小于设定的阈值，则认定此点为轮廓的拐点，若轮廓中无拐点，则判断此轮廓平滑，为完整的一个餐盘轮廓，否则，判断此轮廓不平滑，是多个餐盘轮廓形成的大轮廓。
7.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(b)具体为：利用对小轮廓进行多边形近似，得到多边形上的点，由端点和其相邻的多边形点近似确定曲线切线。
8.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(7)包括以下子步骤：
(71)将餐盘轮廓与模板轮廓进行对齐，计算餐盘轮廓中的各点到模板轮廓的最近距离；将各点得到的距离进行求和并除以餐盘轮廓点数，得到归一化后的距离和；
(72)比较餐盘轮廓与不同模板计算得到的距离和，得出最小距离和对应的餐盘形状；
(73)将最小距离和与阈值进行比较，若最小距离和大于阈值，则判定为干扰轮廓与模板的匹配结果，否则则判定为匹配；
(74)对所有餐盘轮廓进行匹配，直到所有餐盘轮廓都与各模板轮廓匹配完毕；
(75)根据餐盘轮廓图像的色调信息识别出餐盘的颜色；
(76)将各检测到的餐盘形状、颜色对应的菜肴价格输出。
9.一种餐厅自动结算系统，包括摄像头、计算机、刷卡机和显示器，其特征在于，所述摄像头、刷卡机、显示器均与计算机相连；所述摄像头设置在托盘检测区域的上方，将获取的在检测区域中的整体图像传输给计算机；计算机对所获得的整体图像按权利要求1-8中任一权利要求所述的餐厅自动结算方法进行处理，并将结果输出至所述刷卡器和显示器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410668443.8A CN104463167B (zh) | 2014-11-20 | 2014-11-20 | 一种餐厅自动结算方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410668443.8A CN104463167B (zh) | 2014-11-20 | 2014-11-20 | 一种餐厅自动结算方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104463167A CN104463167A (zh) | 2015-03-25 |
| CN104463167B true CN104463167B (zh) | 2017-08-25 |
Family
ID=52909181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410668443.8A Expired - Fee Related CN104463167B (zh) | 2014-11-20 | 2014-11-20 | 一种餐厅自动结算方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104463167B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT520332A4 (de) * | 2017-09-14 | 2019-03-15 | The Moonvision Gmbh | Vorrichtung und Verfahren zum Abrechnen ausgebrachter Speisen |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI576781B (zh) * | 2015-04-08 | 2017-04-01 | 神雲科技股份有限公司 | 銷售點裝置及銷售點系統 |
| CN105938553B (zh) * | 2016-04-14 | 2019-02-22 | 厦门理工学院 | 一种食堂餐盘自动计费方法及系统 |
| CN106022405A (zh) * | 2016-05-17 | 2016-10-12 | 上海交通大学 | 一种基于形状的餐盘自动计价系统 |
| CN106056802A (zh) * | 2016-06-06 | 2016-10-26 | 杭州汇萃智能科技有限公司 | 基于餐具颜色的菜品自动识别系统的计价方法 |
| CN107122730A (zh) * | 2017-04-24 | 2017-09-01 | 乐金伟 | 自选餐厅自动计价方法 |
| CN107038425A (zh) * | 2017-04-25 | 2017-08-11 | 上海理工大学 | 基于机器视觉的智能餐厅的结算系统 |
| CN107301634A (zh) * | 2017-06-28 | 2017-10-27 | 湖南瑞森可机器人科技有限公司 | 一种机器人自动分拣方法及系统 |
| CN109389753A (zh) * | 2017-08-08 | 2019-02-26 | 刘凑华 | 散装商品自助销售系统 |
| CN107563461A (zh) * | 2017-08-25 | 2018-01-09 | 北京中骏博研科技有限公司 | 基于图像识别的餐饮行业的自动收费方法及系统 |
| CN107742383B (zh) * | 2017-11-30 | 2020-10-23 | 苏州优函信息科技有限公司 | 基于光面成像的自动结算系统及结算方法 |
| CN108346161B (zh) * | 2017-12-18 | 2020-07-21 | 上海咔咻智能科技有限公司 | 基于图像的飞织鞋面匹配定位方法及其系统和存储介质 |
| CN107992871B (zh) * | 2017-12-21 | 2020-06-02 | 陕西伟景机器人科技有限公司 | 基于图像识别的餐厅自动结账方法 |
| CN108319996A (zh) * | 2018-01-19 | 2018-07-24 | 口碑(上海)信息技术有限公司 | 菜品识别处理系统及方法、智能餐桌系统 |
| CN108364239A (zh) * | 2018-01-29 | 2018-08-03 | 上海市金山区青少年活动中心 | 基于人脸识别及图像识别计价付费方法、装置及存储介质 |
| CN109299721A (zh) * | 2018-07-24 | 2019-02-01 | 上海常仁信息科技有限公司 | 一种基于图像识别技术的菜品识别系统和方法 |
| CN109035071A (zh) * | 2018-08-09 | 2018-12-18 | 明超 | 半自助餐厅自动扣费方法 |
| CN109118681B (zh) * | 2018-08-22 | 2020-12-01 | 安徽省华腾农业科技有限公司经开区分公司 | 食堂餐盘菜品划价机构 |
| CN109145839A (zh) * | 2018-08-29 | 2019-01-04 | 福建超汇信息技术有限公司 | 基于机器视觉识别的计价方法及计算机可读存储介质 |
| CN109447083A (zh) * | 2018-08-31 | 2019-03-08 | 广州市派客朴食信息科技有限责任公司 | 一种基于图像边缘特征的餐具识别方法 |
| CN109325497A (zh) * | 2018-09-20 | 2019-02-12 | 珠海市君天电子科技有限公司 | 一种图像二值化方法、装置、电子设备及存储介质 |
| CN109741394B (zh) * | 2018-12-10 | 2021-02-26 | 北京拓尔思信息技术股份有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN111292155A (zh) * | 2018-12-10 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 具有颜色编码信息的载体、商品识别方法和结算方法 |
| CN111420301A (zh) * | 2019-01-10 | 2020-07-17 | 中国科学院沈阳自动化研究所 | 机器人化体表病灶区域定位跟踪系统 |
| CN109740579A (zh) * | 2019-03-01 | 2019-05-10 | 上海柏珍信息科技有限公司 | 一种基于碗盘智能识别的快餐收银系统 |
| CN110008968B (zh) * | 2019-04-09 | 2023-08-08 | 哈尔滨新中新电子股份有限公司 | 一种基于图像视觉的机器人结算自动触发方法 |
| CN111047799A (zh) * | 2019-11-29 | 2020-04-21 | 北京三快在线科技有限公司 | 收银设备、物品识别方法及存储介质 |
| CN111383138B (zh) * | 2020-03-06 | 2023-06-02 | 腾讯科技（深圳）有限公司 | 餐饮数据处理方法、装置、计算机设备和存储介质 |
| CN112101928A (zh) * | 2020-08-31 | 2020-12-18 | 佛山科学技术学院 | 一种自助餐厅的自动结算方法及系统 |
| CN115601735B (zh) * | 2021-07-07 | 2024-02-02 | 同方威视技术股份有限公司 | 空盘识别装置和方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08335236A (ja) * | 1995-06-07 | 1996-12-17 | Sanyo Electric Co Ltd | 食堂料金精算システム |
| CN101477729A (zh) * | 2008-12-30 | 2009-07-08 | 于忠清 | 自助售饭系统以及该系统的信息处理方法 |
| CN103208156A (zh) * | 2013-02-06 | 2013-07-17 | 浙江科技学院 | 一种餐饮自动结算系统和方法 |
| CN103268615A (zh) * | 2013-06-05 | 2013-08-28 | 东北林业大学 | 基于目标提取与改进形态学算子的木粉边缘检测算法 |
-
2014
- 2014-11-20 CN CN201410668443.8A patent/CN104463167B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08335236A (ja) * | 1995-06-07 | 1996-12-17 | Sanyo Electric Co Ltd | 食堂料金精算システム |
| CN101477729A (zh) * | 2008-12-30 | 2009-07-08 | 于忠清 | 自助售饭系统以及该系统的信息处理方法 |
| CN103208156A (zh) * | 2013-02-06 | 2013-07-17 | 浙江科技学院 | 一种餐饮自动结算系统和方法 |
| CN103268615A (zh) * | 2013-06-05 | 2013-08-28 | 东北林业大学 | 基于目标提取与改进形态学算子的木粉边缘检测算法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT520332A4 (de) * | 2017-09-14 | 2019-03-15 | The Moonvision Gmbh | Vorrichtung und Verfahren zum Abrechnen ausgebrachter Speisen |
| AT520332B1 (de) * | 2017-09-14 | 2019-03-15 | The Moonvision Gmbh | Vorrichtung und Verfahren zum Abrechnen ausgebrachter Speisen |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104463167A (zh) | 2015-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104463167B (zh) | 一种餐厅自动结算方法及系统 | |
| CN109559457B (zh) | 基于神经网络识别商品的收银方法以及自助收银台 | |
| US11501523B2 (en) | Goods sensing system and method for goods sensing based on image monitoring | |
| CN103208156B (zh) | 一种餐饮自动结算系统和方法 | |
| CN104732601B (zh) | 一种基于人脸识别技术的高识别率自动考勤装置及方法 | |
| CN105518709B (zh) | 用于识别人脸的方法、系统和计算机程序产品 | |
| CN108345912A (zh) | 一种基于rgbd信息与深度学习的商品快速结算系统 | |
| CN102222384B (zh) | 纸币多光谱图像分析方法 | |
| CN104021207A (zh) | 一种基于图像的食物信息提供方法 | |
| CN101477729A (zh) | 自助售饭系统以及该系统的信息处理方法 | |
| CN103902985B (zh) | 一种基于roi的强鲁棒性实时车道侦测算法 | |
| CN102982332A (zh) | 基于云处理方式的零售终端货架影像智能分析系统 | |
| CN109145839A (zh) | 基于机器视觉识别的计价方法及计算机可读存储介质 | |
| CN108960382A (zh) | 一种彩色条码及其颜色校准方法 | |
| CN105389581B (zh) | 一种胚芽米胚芽完整度智能识别系统及其识别方法 | |
| CN103714498A (zh) | 一种基于图像识别技术的快速付费系统及其方法 | |
| CN105046808A (zh) | 一种纸币多光谱高分辨率图像采集系统及采集方法 | |
| CN109345735A (zh) | 一种无人售货机商品识别方法及系统 | |
| CN104978585A (zh) | 一种自动计价方法 | |
| CN106779043B (zh) | 一种基于人头检测的计数方法 | |
| CN104376427A (zh) | 一种城市超市信息发布方法 | |
| US11562338B2 (en) | Automated point of sale systems and methods | |
| US11335089B2 (en) | Food detection and identification method based on deep learning | |
| CN109165611A (zh) | 一种基于机器视觉和神经网络的碗碟识别智能结算方法 | |
| CN117315863A (zh) | 一种基于ai智能识别的物品结算收银系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Kangru Inventor after: Gu Yuzhang Inventor after: Qiu Yunzhou Inventor after: Wei Zhi Inventor after: Qu Lei Inventor after: Zhang Li Inventor after: Wang Yingguan Inventor before: Wang Kangru Inventor before: Gu Yuzhang Inventor before: Qiu Yunzhou Inventor before: Wei Zhi Inventor before: Qu Lei Inventor before: Zhang Li Inventor before: Wang Guanying |
|
| CB03 | Change of inventor or designer information | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180226 Address after: 200050 Shanghai Road, Changning, building 505, room 5, building 865, room Co-patentee after: University OF CHINESE ACADEMY OF SCIENCES Patentee after: SHANGHAI INSTITUTE OF MICROSYSTEM AND INFORMATION TECHNOLOGY, CHINESE ACADEMY OF SCIENCES Address before: 200050 Shanghai Road, Changning, building 505, room 5, building 865, room Patentee before: Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170825 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |