CN107563461A - 基于图像识别的餐饮行业的自动收费方法及系统 - Google Patents
基于图像识别的餐饮行业的自动收费方法及系统 Download PDFInfo
- Publication number
- CN107563461A CN107563461A CN201710740118.1A CN201710740118A CN107563461A CN 107563461 A CN107563461 A CN 107563461A CN 201710740118 A CN201710740118 A CN 201710740118A CN 107563461 A CN107563461 A CN 107563461A
- Authority
- CN
- China
- Prior art keywords
- food
- image
- tableware
- identification
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 235000013305 food Nutrition 0.000 claims abstract description 275
- 238000007600 charging Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 28
- 238000012856 packing Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 238000004080 punching Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 235000012054 meals Nutrition 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 235000015219 food category Nutrition 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Cash Registers Or Receiving Machines (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于图像识别的餐饮行业的自动收费方法及系统，本发明通过一台计算机加一个摄像头，将摄像头固定在某个位置拍着收银台，顾客将选好食物的餐盘放在该摄像头下指定的范围内，计算机识别图像中的物品，完成计费，并在电脑的显示屏上显示餐盘内的食物品种名称以及付费总额，顾客使用微信/支付宝等无现金方式扫码支付。
Description
技术领域
本发明涉及一种基于图像识别的餐饮行业的自动收费方法及系统。
背景技术
目前餐饮计费有3种方式：
1、完全人工计费
2、预储值卡计费(即入餐时先办一张预储值的卡，消费完后，退卡结费)
3、RFID芯片识别(RFID是一种可射频识别的芯片，在每个碗的碗底贴一张RFID芯片，用碗的颜色或大小来区分价格，在食物装盘时就需要事先按照碗的大小和颜色——即事先标价来装盛食物)。这是目前唯一可以实现无人计费收费的方案。这种方案的缺点是成本高，每一个碗底都需要贴RFID芯片一块，但 RFID只能针对碗进行标价，而不能让识别器认出这是什么菜然后针对菜品计费。并且不是所有的食物都可以贴上RFID芯片，比如一次性纸杯配装的饮料或者一些零散的食物，因为RFID芯片的成本较高，若不回收，就会造成巨大的浪费。所以现有技术的缺点很明显，总结起来就是：使用成本高、灵活性极差、维护麻烦、管理成本高、适用范围非常窄。尤其是第3种作为目前可行的无人收费方案，根本不能完好的解决计费问题，因此适用范围非常的窄，也很少能看到有餐厅使用。
有鉴于上述的缺陷，本设计人积极加以研究创新，以期创设一种基于图像识别的餐饮行业的自动收费方法及系统，使其更具有产业上的利用价值。
发明内容
为解决上述技术问题，本发明的目的是解决目前快餐行业计费和收费时必须依赖人工的问题，即解决提供了一种全自动无人计费收费的基于图像识别的餐饮行业的自动收费方法及系统。
本发明基于图像识别的餐饮行业的自动收费方法，包括：
将待付款食物置于预先设定的图像采集区，通过具有深度探测功能的摄像头获取食物图像；
对所述食物图像进行分析，将包含食物价格的识别图像分离出来；
对所述识别图像进行图像增强，将所述识别图像进行分类，采用相应类型的识别图像识别方法对所述识别图像进行识别，确定相应的食物价格，其中，所述识别图像的类型包括：食物外包装上的二维码或条形码，容置食物的餐具的形状、色彩图像以及食物本身的图像；
消费者采用微信、支付宝或其他自助付款方式进行支付。
进一步地，对所述识别图像进行识别的方法包括：
若所述识别图像为二位码或条形码，则通过可以识别条形码或二维码的开源软件库获取待付款食物的价格信息；
若所述识别图像为容置食物的餐具的形状、色彩图像或食物本身的图像，则将所述的识别图像与图像-价格对应数据库中的预存储的模板图像进行匹配，若找到匹配图像，则获取该匹配图形对应的价格信息输出；若没有找到匹配图像，则发出报警信息，将该识别图像以及该识别图像对应的价格信息更新至图像-价格对应数据库。
进一步地，还包括采用Google的TensorFlow开源软件库来对容置食物的餐具的形状、色彩图像或食物本身的图像进行数据训练具体的训练步骤包括：
将食物或装有食物的餐具放在摄像头下，摄像头以至少两个不同的角度获取食物或装有食物的餐具的图像，获取食物在餐具中至少两个不同放置方式的图像，对同一食物或同一装有食物的餐具拍摄5～8张不同的图像；
对每一张图像分别使用LBP、Gabor、CEDD、LCC特征采集算法采集特征数据；
对得到的识别图像以及特征数据设置相应的标签，输出给TensorFlow软件，TensorFlow软件用于自动完成无监督的训练和建模；其中，训练过程中如果出现冲突，即两种食物无法分辨率出来，则按照TensorFloww的冲突解决规则重新拍照重新训练或增加更多维度更多类型的特征数据。
进一步地，采用“霍夫圆寻找算法”，找出所有圆形口的餐具，采用“霍夫线条寻找算法”，对找出来的线条进行封闭，对封闭后的图形寻找所有的矩形轮廓，即可确认方形口的餐具，餐具确认之后，使用相同的坐标从彩色图像上将餐具内的彩色图像提取出来，将识别图像加上提取的特征数据，交给TensorFlow 进行识别，确定待付款食物的价格信息。
进一步地，还包括防作弊处理，所述防作弊处理包括：判断待付款食物是否完整的放置在预先设定的图像采集区，其中通过计算食物边缘或用于容置食物的餐具边缘的完整程度判断待付款食物是否放置在预先设定的图像采集区，以及通过计算食物离摄像头的距离，判断待付款食物是否放置在预先设定的图像采集区；
若待付款食物在预先设定的图像采集区，则获取所述待付款食物的食物图像，判断获取的食物图像中是否有食物之外的异物图像，若有，则发出报警信息，若没有，则存储该待付款食物的食物图像；
若待付款食物不在预先设定的图像采集区，则发出声、光报警信息。
进一步地，还包括防盗处理，所述防盗处理具体包括：在拿取餐盘的地方放置一个单向入口闸机，在出口处放置一个单向出口闸机，出口闸机连接收银的计算机，每一次付款成功一次，闸机可以放一个人过去，强行冲闯只能导致闸机报警；
在食物外包装上或容置食物的餐具上贴有RFID芯片，所有计费过的食物RFID将有记录，未记费的如果要通过闸机口，报警器就会响。
本发明基于图像识别的餐饮行业的自动收费系统，包括：
具有深度探测功能的摄像头，将待付款食物置于预先设定的图像采集区，通过具有深度探测功能的摄像头获取食物图像；
用于获取待收费食物的食物图像，对所述食物图像进行分析，将包含食物价格的识别图像分离出来；
图像预处理单元，用于对所述食物图像进行分析，将包含食物价格的识别图像分离出来；
食物价格确定单元，用于对所述识别图像进行图像增强，将所述识别图像进行分类，采用相应类型的识别图像识别方法对所述识别图像进行识别，确定相应的食物价格，其中，所述识别图像的类型包括：食物外包装上的二维码或条形码，容置食物的餐具的形状、色彩图像以及食物本身的图像；
支付单元，用于消费者采用微信、支付宝或其他自助付款方式进行支付。
进一步地，还包括特征数据训练单元，用于采用Google的TensorFlow开源软件库来对容置食物的餐具的形状、色彩图像或食物本身的图像进行数据训练具体的训练步骤包括：
将食物或装有食物的餐具放在摄像头下，摄像头以至少两个不同的角度获取食物或装有食物的餐具的图像，获取食物在餐具中至少两个不同放置方式的图像，对同一食物或同一装有食物的餐具拍摄5～8张不同的图像；
对每一张图像分别使用LBP、Gabor、CEDD、LCC特征采集算法采集特征数据；
对得到的识别图像以及特征数据设置相应的标签，输出给TensorFlow软件，TensorFlow软件用于自动完成无监督的训练和建模；其中，训练过程中如果出现冲突，即两种食物无法分辨率出来，则按照TensorFloww的冲突解决规则重新拍照重新训练或增加更多维度更多类型的特征数据。
进一步地，还包括防作弊单元，用于判断待付款食物是否完整的放置在预先设定的图像采集区，其中通过计算食物边缘或用于容置食物的餐具边缘的完整程度判断待付款食物是否放置在预先设定的图像采集区，以及通过计算食物离摄像头的距离，判断待付款食物是否放置在预先设定的图像采集区；
若待付款食物在预先设定的图像采集区，则获取所述待付款食物的食物图像，判断获取的食物图像中是否有食物之外的异物图像，若有，则发出报警信息，若没有，则存储该待付款食物的食物图像；
若待付款食物不在预先设定的图像采集区，则发出声、光报警信息。
进一步地，还包括防盗单元，所述防盗单元包括：在拿取餐盘的地方设置的一个单向入口闸机，在出口处设置的一个单向出口闸机，出口闸机连接收银的计算机，每一次付款成功一次，闸机可以放一个人过去，强行冲闯只能导致闸机报警；其中，在食物外包装上或容置食物的餐具上贴有RFID芯片，所有计费过的食物RFID将有记录，未记费的如果要通过闸机口，报警器就会响。
借由上述方案，本发明至少具有以下优点：
1、本发明成本非常低，远低于RFID。现如今餐厅一般都会配备有至少一台家用级的电脑，本技术只需要再增加一个摄像头即可，再无其它成本。
2、本发明灵活性强，商家只需要在后台系统上进行操作，就可以自己定义菜品，占地面积小，仅为电脑主机+显示器+摄像头的占地面积。
3、本发明维护成本非常低。只需要维护电脑主机和摄像头不出问题，本系统本身并无需要维护的地方
4、本发明综合系统成本低。无需再购买一套收银软件，本系统会自带有收银和计帐以及财务管理功能。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合详细说明如后。
具体实施方式
下面结合实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
本实施例基于图像识别的餐饮行业的自动收费方法，包括：
将待付款食物置于预先设定的图像采集区，通过具有深度探测功能的摄像头获取食物图像；
对所述食物图像进行分析，将包含食物价格的识别图像分离出来；
对所述识别图像进行图像增强，将所述识别图像进行分类，采用相应类型的识别图像识别方法对所述识别图像进行识别，确定相应的食物价格，其中，所述识别图像的类型包括：食物外包装上的二维码或条形码，容置食物的餐具的形状、色彩图像以及食物本身的图像；
消费者采用微信、支付宝或其他自助付款方式进行支付。
本实施例中，对所述识别图像进行识别的方法包括：
若所述识别图像为二位码或条形码，则通过可以识别条形码或二维码的开源软件库获取待付款食物的价格信息；
若所述识别图像为容置食物的餐具的形状、色彩图像或食物本身的图像，则将所述的识别图像与图像-价格对应数据库中的预存储的模板图像进行匹配，若找到匹配图像，则获取该匹配图形对应的价格信息输出；若没有找到匹配图像，则发出报警信息，将该识别图像以及该识别图像对应的价格信息更新至图像-价格对应数据库。
实施例2
本实施例基于图像识别的餐饮行业的自动收费方法，在实施例1的基础上，还包括采用Google的TensorFlow开源软件库来对容置食物的餐具的形状、色彩图像或食物本身的图像进行数据训练具体的训练步骤包括：
将食物或装有食物的餐具放在摄像头下，摄像头以至少两个不同的角度获取食物或装有食物的餐具的图像，获取食物在餐具中至少两个不同放置方式的图像，对同一食物或同一装有食物的餐具拍摄5～8张不同的图像；
对每一张图像分别使用LBP、Gabor、CEDD、LCC特征采集算法采集特征数据；
对得到的识别图像以及特征数据设置相应的标签，输出给TensorFlow软件，TensorFlow软件用于自动完成无监督的训练和建模；其中，训练过程中如果出现冲突，即两种食物无法分辨率出来，则按照TensorFloww的冲突解决规则重新拍照重新训练或增加更多维度更多类型的特征数据。
采用“霍夫圆寻找算法”，找出所有圆形口的餐具，采用“霍夫线条寻找算法”，对找出来的线条进行封闭，对封闭后的图形寻找所有的矩形轮廓，即可确认方形口的餐具，餐具确认之后，使用相同的坐标从彩色图像上将餐具内的彩色图像提取出来，将识别图像加上提取的特征数据，交给TensorFlow进行识别，确定待付款食物的价格信息。
实施例3
本实施例基于图像识别的餐饮行业的自动收费方法，在实施例1的基础上，还包括防作弊处理，所述防作弊处理包括：判断待付款食物是否完整的放置在预先设定的图像采集区，其中通过计算食物边缘或用于容置食物的餐具边缘的完整程度判断待付款食物是否放置在预先设定的图像采集区，以及通过计算食物离摄像头的距离，判断待付款食物是否放置在预先设定的图像采集区；
若待付款食物在预先设定的图像采集区，则获取所述待付款食物的食物图像，判断获取的食物图像中是否有食物之外的异物图像，若有，则发出报警信息，若没有，则存储该待付款食物的食物图像；
若待付款食物不在预先设定的图像采集区，则发出声、光报警信息。
本实施例还包括防盗处理，所述防盗处理具体包括：在拿取餐盘的地方放置一个单向入口闸机，在出口处放置一个单向出口闸机，出口闸机连接收银的计算机，每一次付款成功一次，闸机可以放一个人过去，强行冲闯只能导致闸机报警；
在食物外包装上或容置食物的餐具上贴有RFID芯片，所有计费过的食物 RFID将有记录，未记费的如果要通过闸机口，报警器就会响。
为了防止消费者逃避餐费，还包括防作弊处理，包括：计算食物离摄像头的距离而推测该食物的放置位置是否准确；或者通过计算食物边缘的完整程度以及识别非预置食物之外异物来进行报警。
同时，还包括：在拿取餐盘的地方放置一个单向入口闸机，在出口处放置一个单向出口闸机，出口闸机连接收银的计算机，每一次付款成功一次，闸机可以放一个人过去，强行冲闯只能导致闸机报警；
在食物外包装上或容置食物的餐具上贴有RFID芯片，所有计费过的食物 RFID将有记录，未记费的如果要通过闸机口，报警器就会响。
本实施例包括了图像分析、特征识别、图像分类、计费、收费一共5步，即5个技术方案。除此之外还有防作弊方案。
图像分析：分析是否有需要被收费的食物完整的进入了摄像头下方。此分析过程主要通过形状识别(圆形、椭圆形、方形等的碗和盘)、色彩分离(碗盘与食物分离)来实现
特征识别：特征识别过程中将识别上一步分离图像的特征，寻找其中的明显特征信息，如贴有二维码或条形码的食物、事先定义好的价格的碗形(如红色的小碗每碗5元，红色的大碗每碗8元，绿色的碗每碗10元，和碗中所盛内容无关)、以及其它不符合上述两种特征的食物图像
图像分类：将特征识别过程中找出来的识别图像增强，将与识别图像无关的内容全部抹除，然后采用深度学习技术对识别图像进行分类，以确定每一组特征对应的食物种类
计费：按照图像分类器分类的结果，如果是二维码或条形码，则进行条码的计费，如果是预置碗形，则按碗形计费，剩下的全部都将按照图像分类器所输出的分类进行计费。
防作弊方案：
1)、算法部分。比如顾客将两件食物叠放，上一件完全盖住下一件，算法可以通过双目摄像头计算食物离摄像头的距离而推测该食物的放置位置是否准确(该计算的基础是餐盘放置位置和摄像头之间的相对高度是固定的)。或者顾客用一张纸遮住食物，算法可以通过计算盘中食物边缘的完整程度以及识别非预置食物之外异物来进行报警。
2)、不按流程计费部分。只需要在拿取餐盘的地方放置一个入口闸机，该闸机只能进不能出。并在出口处放置一个出口闸机，只能出不能进。并且出口闸机连接收银的计算机，每一次付款成功一次，闸机可以放一个人过去。强行冲闯只能导致闸机报警。
3)、防止恶意躲避计费部分。本防止方案为采用RFID辅助，在餐盘和碗底贴上RFID芯片，所有计费过的食物RFID将有记录，未记费的如果要通过闸机口，报警器就会响。本方案在销售时为辅助可选方案，并非强制必须。
实施例4
本实施例基于图像识别的餐饮行业的自动收费系统，包括：
具有深度探测功能的摄像头，将待付款食物置于预先设定的图像采集区，通过具有深度探测功能的摄像头获取食物图像；
用于获取待收费食物的食物图像，对所述食物图像进行分析，将包含食物价格的识别图像分离出来；
图像预处理单元，用于对所述食物图像进行分析，将包含食物价格的识别图像分离出来；
食物价格确定单元，用于对所述识别图像进行图像增强，将所述识别图像进行分类，采用相应类型的识别图像识别方法对所述识别图像进行识别，确定相应的食物价格，其中，所述识别图像的类型包括：食物外包装上的二维码或条形码，容置食物的餐具的形状、色彩图像以及食物本身的图像；
支付单元，用于消费者采用微信、支付宝或其他自助付款方式进行支付。
本实施例中，购买一台普通的中档(或以上)配置级别的家用电脑，并配置一个双目(且支持深度探测)的摄像头。
准备一个比摄像头的最大可视面积更大一些的桌面，摄像头可以从天花板上吊装，也可以使用悬臂或支架安装。一般固定在离桌面35～60厘米的高度上 (具体高度因摄像头的可视角度和餐厅所购餐盘的大小而定)，用于放置被识别餐盘的桌子的桌面颜色，必须与餐盘有着明显的反差。如餐盘是深色的，那么桌面必须是白色的，如餐盘是白色的，则桌面必须是深色的。
电脑的放置位置随意，只要电脑的显示器和摄像头可以正常连接至电脑即可。闸机的选购由餐厅自己选择，如果餐厅相信顾客比较自觉，则无所谓采购闸机，反之则需要购买闸机。
本发明通过一台计算机加一个摄像头，将摄像头固定在某个位置拍着收银台，顾客将选好食物的餐盘放在该摄像头下指定的范围内，计算机识别图像中的物品，完成计费，并在电脑的显示屏上显示餐盘内的食物品种名称以及付费总额，顾客使用微信/支付宝等无现金方式扫码支付。
实施例4
本实施例基于图像识别的餐饮行业的自动收费系统，在实施例1的基础上，还包括特征数据训练单元，用于采用Google的TensorFlow开源软件库来对容置食物的餐具的形状、色彩图像或食物本身的图像进行数据训练具体的训练步骤包括：
将食物或装有食物的餐具放在摄像头下，摄像头以至少两个不同的角度获取食物或装有食物的餐具的图像，获取食物在餐具中至少两个不同放置方式的图像，对同一食物或同一装有食物的餐具拍摄5～8张不同的图像；
对每一张图像分别使用LBP、Gabor、CEDD、LCC特征采集算法采集特征数据；
对得到的识别图像以及特征数据设置相应的标签，输出给TensorFlow软件，TensorFlow软件用于自动完成无监督的训练和建模；其中，训练过程中如果出现冲突，即两种食物无法分辨率出来，则按照TensorFloww的冲突解决规则重新拍照重新训练或增加更多维度更多类型的特征数据。
实施例5
本实施例基于图像识别的餐饮行业的自动收费系统，在实施例1的基础上，
还包括防作弊单元，用于判断待付款食物是否完整的放置在预先设定的图像采集区，其中通过计算食物边缘或用于容置食物的餐具边缘的完整程度判断待付款食物是否放置在预先设定的图像采集区，以及通过计算食物离摄像头的距离，判断待付款食物是否放置在预先设定的图像采集区；
若待付款食物在预先设定的图像采集区，则获取所述待付款食物的食物图像，判断获取的食物图像中是否有食物之外的异物图像，若有，则发出报警信息，若没有，则存储该待付款食物的食物图像；
若待付款食物不在预先设定的图像采集区，则发出声、光报警信息。
本实施例，还包括防盗单元，所述防盗单元包括：在拿取餐盘的地方设置的一个单向入口闸机，在出口处设置的一个单向出口闸机，出口闸机连接收银的计算机，每一次付款成功一次，闸机可以放一个人过去，强行冲闯只能导致闸机报警；其中，在食物外包装上或容置食物的餐具上贴有RFID芯片，所有计费过的食物RFID将有记录，未记费的如果要通过闸机口，报警器就会响。
本发明通过一台计算机加一个摄像头，将摄像头固定在某个位置拍着收银台，顾客将选好食物的餐盘放在该摄像头下指定的范围内，计算机识别图像中的物品，完成计费，并在电脑的显示屏上显示餐盘内的食物品种名称以及付费总额，顾客使用微信/支付宝等无现金方式扫码支付。
本发明防作弊技术由三个部分组成：
1)、算法部分。比如顾客将两件食物叠放，上一件完全盖住下一件，算法可以通过计算食物离摄像头的距离而推测该食物的放置位置是否准确(该计算的基础是餐盘放置位置和摄像头之间的相对高度是固定的)。或者顾客用一张纸遮住食物，算法可以通过计算盘中食物边缘的完整程度以及识别非预置食物之外异物来进行报警。
2)、不按流程计费部分。只需要在拿取餐盘的地方放置一个入口闸机，该闸机只能进不能出。并在出口处放置一个出口闸机，只能出不能进。并且出口闸机连接收银的计算机，每一次付款成功一次，闸机可以放一个人过去。强行冲闯只能导致闸机报警。
3)、防止恶意躲避计费部分。本防止方案为采用RFID辅助，在餐盘和碗底贴上RFID芯片，所有计费过的食物RFID将有记录，未记费的如果要通过闸机口，报警器就会响。本方案在销售时为辅助可选方案，并非强制必须。
本发明三种识别食物品类的方式，即：碗识别、预置包装上的条形码/二维码识别、图像直接食物识别。
上述方法可以利用系统的实施例实现，系统也可应用与方法的实施例中。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (10)
1.一种基于图像识别的餐饮行业的自动收费方法，其特征在于，包括：
将待付款食物置于预先设定的图像采集区，通过具有深度探测功能的摄像头获取食物图像；
对所述食物图像进行分析，将包含食物价格的识别图像分离出来；
对所述识别图像进行图像增强，将所述识别图像进行分类，采用相应类型的识别图像识别方法对所述识别图像进行识别，确定相应的食物价格，其中，所述识别图像的类型包括：食物外包装上的二维码或条形码，容置食物的餐具的形状、色彩图像以及食物本身的图像；
消费者采用微信、支付宝或其他自助付款方式进行支付。
2.根据权利要求1所述的基于图像识别的餐饮行业的自动收费方法，其特征在于，对所述识别图像进行识别的方法包括：
若所述识别图像为二位码或条形码，则通过可以识别条形码或二维码的开源软件库获取待付款食物的价格信息；
若所述识别图像为容置食物的餐具的形状、色彩图像或食物本身的图像，则将所述的识别图像与图像-价格对应数据库中的预存储的模板图像进行匹配，若找到匹配图像，则获取该匹配图形对应的价格信息输出；若没有找到匹配图像，则发出报警信息，将该识别图像以及该识别图像对应的价格信息更新至图像-价格对应数据库。
3.根据权利要求2所述的基于图像识别的餐饮行业的自动收费方法，其特征在于，还包括采用Google的TensorFlow开源软件库来对容置食物的餐具的形状、色彩图像或食物本身的图像进行数据训练具体的训练步骤包括：
将食物或装有食物的餐具放在摄像头下，摄像头以至少两个不同的角度获取食物或装有食物的餐具的图像，获取食物在餐具中至少两个不同放置方式的图像，对同一食物或同一装有食物的餐具拍摄5～8张不同的图像；
对每一张图像分别使用LBP、Gabor、CEDD、LCC特征采集算法采集特征数据；
对得到的识别图像以及特征数据设置相应的标签，输出给TensorFlow软件，TensorFlow软件用于自动完成无监督的训练和建模；其中，训练过程中如果出现冲突，即两种食物无法分辨率出来，则按照TensorFloww的冲突解决规则重新拍照重新训练或增加更多维度更多类型的特征数据。
4.根据权利要求3所述的基于图像识别的餐饮行业的自动收费方法，其特征在于，采用“霍夫圆寻找算法”，找出所有圆形口的餐具，采用“霍夫线条寻找算法”，对找出来的线条进行封闭，对封闭后的图形寻找所有的矩形轮廓，即可确认方形口的餐具，餐具确认之后，使用相同的坐标从彩色图像上将餐具内的彩色图像提取出来，将识别图像加上提取的特征数据，交给TensorFlow进行识别，确定待付款食物的价格信息。
5.根据权利要求1所述的基于图像识别的餐饮行业的自动收费方法，其特征在于，还包括防作弊处理，所述防作弊处理包括：判断待付款食物是否完整的放置在预先设定的图像采集区，其中通过计算食物边缘或用于容置食物的餐具边缘的完整程度判断待付款食物是否放置在预先设定的图像采集区，以及通过计算食物离摄像头的距离，判断待付款食物是否放置在预先设定的图像采集区；
若待付款食物在预先设定的图像采集区，则获取所述待付款食物的食物图像，判断获取的食物图像中是否有食物之外的异物图像，若有，则发出报警信息，若没有，则存储该待付款食物的食物图像；
若待付款食物不在预先设定的图像采集区，则发出声、光报警信息。
6.根据权利要求1所述的基于图像识别的餐饮行业的自动收费方法，其特征在于，还包括防盗处理，所述防盗处理具体包括：在拿取餐盘的地方放置一个单向入口闸机，在出口处放置一个单向出口闸机，出口闸机连接收银的计算机，每一次付款成功一次，闸机可以放一个人过去，强行冲闯只能导致闸机报警；
在食物外包装上或容置食物的餐具上贴有RFID芯片，所有计费过的食物RFID将有记录，未记费的如果要通过闸机口，报警器就会响。
7.一种基于图像识别的餐饮行业的自动收费系统，其特征在于，包括：
具有深度探测功能的摄像头，将待付款食物置于预先设定的图像采集区，通过具有深度探测功能的摄像头获取食物图像；
用于获取待收费食物的食物图像，对所述食物图像进行分析，将包含食物价格的识别图像分离出来；
图像预处理单元，用于对所述食物图像进行分析，将包含食物价格的识别图像分离出来；
食物价格确定单元，用于对所述识别图像进行图像增强，将所述识别图像进行分类，采用相应类型的识别图像识别方法对所述识别图像进行识别，确定相应的食物价格，其中，所述识别图像的类型包括：食物外包装上的二维码或条形码，容置食物的餐具的形状、色彩图像以及食物本身的图像；
支付单元，用于消费者采用微信、支付宝或其他自助付款方式进行支付。
8.根据权利要求7所述的基于图像识别的餐饮行业的自动收费系统，其特征在于，还包括特征数据训练单元，用于采用Google的TensorFlow开源软件库来对容置食物的餐具的形状、色彩图像或食物本身的图像进行数据训练具体的训练步骤包括：
将食物或装有食物的餐具放在摄像头下，摄像头以至少两个不同的角度获取食物或装有食物的餐具的图像，获取食物在餐具中至少两个不同放置方式的图像，对同一食物或同一装有食物的餐具拍摄5～8张不同的图像；
对每一张图像分别使用LBP、Gabor、CEDD、LCC特征采集算法采集特征数据；
对得到的识别图像以及特征数据设置相应的标签，输出给TensorFlow软件，TensorFlow软件用于自动完成无监督的训练和建模；其中，训练过程中如果出现冲突，即两种食物无法分辨率出来，则按照TensorFloww的冲突解决规则重新拍照重新训练或增加更多维度更多类型的特征数据。
9.根据权利要求7所述的基于图像识别的餐饮行业的自动收费系统，其特征在于，还包括防作弊单元，用于判断待付款食物是否完整的放置在预先设定的图像采集区，其中通过计算食物边缘或用于容置食物的餐具边缘的完整程度判断待付款食物是否放置在预先设定的图像采集区，以及通过计算食物离摄像头的距离，判断待付款食物是否放置在预先设定的图像采集区；
若待付款食物在预先设定的图像采集区，则获取所述待付款食物的食物图像，判断获取的食物图像中是否有食物之外的异物图像，若有，则发出报警信息，若没有，则存储该待付款食物的食物图像；
若待付款食物不在预先设定的图像采集区，则发出声、光报警信息。
10.根据权利要求7所述的基于图像识别的餐饮行业的自动收费系统，其特征在于，还包括防盗单元，所述防盗单元包括：在拿取餐盘的地方设置的一个单向入口闸机，在出口处设置的一个单向出口闸机，出口闸机连接收银的计算机，每一次付款成功一次，闸机可以放一个人过去，强行冲闯只能导致闸机报警；其中，在食物外包装上或容置食物的餐具上贴有RFID芯片，所有计费过的食物RFID将有记录，未记费的如果要通过闸机口，报警器就会响。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710740118.1A CN107563461A (zh) | 2017-08-25 | 2017-08-25 | 基于图像识别的餐饮行业的自动收费方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710740118.1A CN107563461A (zh) | 2017-08-25 | 2017-08-25 | 基于图像识别的餐饮行业的自动收费方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107563461A true CN107563461A (zh) | 2018-01-09 |
Family
ID=60976876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710740118.1A Pending CN107563461A (zh) | 2017-08-25 | 2017-08-25 | 基于图像识别的餐饮行业的自动收费方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107563461A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263648A (zh) * | 2019-05-21 | 2019-09-20 | 深圳市梵高控股有限公司 | 食物的结算方法、装置和计算机可读存储介质 |
| CN110796804A (zh) * | 2018-08-03 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 数据对象信息处理方法、装置及系统 |
| CN111753496A (zh) * | 2020-06-22 | 2020-10-09 | 平安付科技服务有限公司 | 行业类别识别方法、装置、计算机设备及可读存储介质 |
| CN114445614A (zh) * | 2020-10-16 | 2022-05-06 | 技嘉科技股份有限公司 | 餐饮内容识别方法以及餐饮内容识别系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05266358A (ja) * | 1992-03-17 | 1993-10-15 | Matsushita Electric Ind Co Ltd | 食堂向けｐｏｓシステム |
| JPH06176268A (ja) * | 1992-02-21 | 1994-06-24 | Plant Chain:Kk | 飲食店等に於ける飲食物の支払金自動集計装置 |
| JPH08335236A (ja) * | 1995-06-07 | 1996-12-17 | Sanyo Electric Co Ltd | 食堂料金精算システム |
| WO2011136405A1 (ko) * | 2010-04-28 | 2011-11-03 | (주)아이티엑스시큐리티 | 3ｄ 카메라를 이용한 영상인식장치 및 방법 |
| CN103208156A (zh) * | 2013-02-06 | 2013-07-17 | 浙江科技学院 | 一种餐饮自动结算系统和方法 |
| CN103426240A (zh) * | 2013-08-01 | 2013-12-04 | 浙江大学 | 自选餐厅自助付费装置及其使用方法 |
| CN103426241A (zh) * | 2013-08-01 | 2013-12-04 | 浙江大学 | 自助付费系统及其使用方法 |
| CN103632464A (zh) * | 2013-11-14 | 2014-03-12 | 成都博约创信科技有限责任公司 | 集图像识别与标签识别于一体的收银方法 |
| CN104077842A (zh) * | 2014-07-02 | 2014-10-01 | 浙江大学 | 基于图像识别的自选餐厅自助付费装置及其使用方法 |
| CN104463167A (zh) * | 2014-11-20 | 2015-03-25 | 中国科学院上海微系统与信息技术研究所 | 一种餐厅自动结算方法及系统 |
| US20150248765A1 (en) * | 2014-02-28 | 2015-09-03 | Microsoft Corporation | Depth sensing using an rgb camera |
| CN105550519A (zh) * | 2015-12-16 | 2016-05-04 | 杭州市第一人民医院 | 基于移动机器人的手术室医用耗材配送系统及配送方法 |
| CN106730683A (zh) * | 2016-12-30 | 2017-05-31 | 浙江大学 | 基于TensorFlow的自动捡乒乓球机器人 |
-
2017
- 2017-08-25 CN CN201710740118.1A patent/CN107563461A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06176268A (ja) * | 1992-02-21 | 1994-06-24 | Plant Chain:Kk | 飲食店等に於ける飲食物の支払金自動集計装置 |
| JPH05266358A (ja) * | 1992-03-17 | 1993-10-15 | Matsushita Electric Ind Co Ltd | 食堂向けｐｏｓシステム |
| JPH08335236A (ja) * | 1995-06-07 | 1996-12-17 | Sanyo Electric Co Ltd | 食堂料金精算システム |
| WO2011136405A1 (ko) * | 2010-04-28 | 2011-11-03 | (주)아이티엑스시큐리티 | 3ｄ 카메라를 이용한 영상인식장치 및 방법 |
| CN103208156A (zh) * | 2013-02-06 | 2013-07-17 | 浙江科技学院 | 一种餐饮自动结算系统和方法 |
| CN103426241A (zh) * | 2013-08-01 | 2013-12-04 | 浙江大学 | 自助付费系统及其使用方法 |
| CN103426240A (zh) * | 2013-08-01 | 2013-12-04 | 浙江大学 | 自选餐厅自助付费装置及其使用方法 |
| CN103632464A (zh) * | 2013-11-14 | 2014-03-12 | 成都博约创信科技有限责任公司 | 集图像识别与标签识别于一体的收银方法 |
| US20150248765A1 (en) * | 2014-02-28 | 2015-09-03 | Microsoft Corporation | Depth sensing using an rgb camera |
| CN104077842A (zh) * | 2014-07-02 | 2014-10-01 | 浙江大学 | 基于图像识别的自选餐厅自助付费装置及其使用方法 |
| CN104463167A (zh) * | 2014-11-20 | 2015-03-25 | 中国科学院上海微系统与信息技术研究所 | 一种餐厅自动结算方法及系统 |
| CN105550519A (zh) * | 2015-12-16 | 2016-05-04 | 杭州市第一人民医院 | 基于移动机器人的手术室医用耗材配送系统及配送方法 |
| CN106730683A (zh) * | 2016-12-30 | 2017-05-31 | 浙江大学 | 基于TensorFlow的自动捡乒乓球机器人 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796804A (zh) * | 2018-08-03 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 数据对象信息处理方法、装置及系统 |
| CN110263648A (zh) * | 2019-05-21 | 2019-09-20 | 深圳市梵高控股有限公司 | 食物的结算方法、装置和计算机可读存储介质 |
| CN111753496A (zh) * | 2020-06-22 | 2020-10-09 | 平安付科技服务有限公司 | 行业类别识别方法、装置、计算机设备及可读存储介质 |
| CN111753496B (zh) * | 2020-06-22 | 2023-06-23 | 平安付科技服务有限公司 | 行业类别识别方法、装置、计算机设备及可读存储介质 |
| CN114445614A (zh) * | 2020-10-16 | 2022-05-06 | 技嘉科技股份有限公司 | 餐饮内容识别方法以及餐饮内容识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146380B (zh) | 一种基于相对位置的库存分析系统 | |
| CN107563461A (zh) | 基于图像识别的餐饮行业的自动收费方法及系统 | |
| CN212229682U (zh) | 基于购买者位置定位的开放式自助销售系统 | |
| CN107123006A (zh) | 一种智能购物系统 | |
| CN109190705A (zh) | 无人售货方法、装置及系统 | |
| CN108460933B (zh) | 一种基于图像处理的管理系统及方法 | |
| CN108230559A (zh) | 一种自动售货装置及其运行方法及自动售货系统 | |
| CN103208156A (zh) | 一种餐饮自动结算系统和方法 | |
| CN101809601A (zh) | 基于图像处理的货架图提取 | |
| CN108235771A (zh) | 基于云端的自助购物方法和系统、电子设备、程序产品 | |
| CN109559453A (zh) | 用于自动结算的人机交互装置及其应用 | |
| CN109920178B (zh) | 一种无人超市系统 | |
| CN106875592A (zh) | 一种智能商店模式与智能商店 | |
| CN107437177A (zh) | 一种自助交易方法及系统 | |
| CN109064630A (zh) | 无人自动称重计价货柜系统 | |
| WO2018137136A1 (zh) | 自动售货机及其运行方法 | |
| CN108877109A (zh) | 一种超市商场防盗自动识别称重结算方法及系统 | |
| CN107730321A (zh) | 一种基于餐食图像特征的识别计价系统 | |
| CN104978585A (zh) | 一种自动计价方法 | |
| CN108846971A (zh) | 一种散装物品自动识别称重结算方法 | |
| CN108198038A (zh) | 智能货架系统及基于其的自助收银超市 | |
| CN108734458A (zh) | 一种超市商场节能防盗自动识别称重结算方法及系统 | |
| CN110473337A (zh) | 一种基于图像采集装置的自动售货机 | |
| CN108765797A (zh) | 一种超市商场自动识别称重结算方法及系统 | |
| CN207993131U (zh) | 一种盲销的福袋机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |
|
| RJ01 | Rejection of invention patent application after publication |