CN105741139A - 自选餐厅自动计费方法及其实施装置 - Google Patents

Abstract

一种属于智能化技术领域的自选餐厅自动计费方法及其实施装置，包括选菜区模块、数据服务模块、结算区模块、RGB?D传感器和控制电脑，可以利用RGB?D传感器的丰富数据信息，以及在线学习及识别的系统构架，来保证计费系统的稳定性和鲁棒性。本发明直接对菜品特征进行识别，对餐盘无特殊要求，因此在部署系统时，对餐厅的改动需求小，成本低。本发明利用数据服务器采集了菜品的销售数据信息等，可以为餐厅提供大数据依据，是智慧餐厅的重要一个环节。本发明设计合理，结构简单，适用于智慧餐厅的优化设计。

Description

自选餐厅自动计费方法及其实施装置

技术领域

本发明涉及自选餐厅自动计费系统，尤其是一种基于RGB-D传感器且具有在线学习及识别功能自动计费系统，属于智慧餐厅技术领域。

背景技术

民以食为天，尤其在中国这样的人口大国，餐饮行业非常繁盛。但是随着社会人口结构的变化，人口红利期的消失，导致人力成本的不断攀升，对餐饮行业也造成了很大的影响。餐饮业也走到一个充满挑战的境地。目前，在传统工业大力推行机器人换人，工业4.0变革的同时，自动化智能技术，机器人技术等的应用研究等也在餐饮行业中悄然推进，即所谓的智慧餐厅技术。

自动计费系统是智慧餐厅的重要一个环节，主要通过使用传感技术，机器视觉，人工智能等技术，实现无人自动餐费结算，让人们从高强度的餐费计算中解放出来，同时可以提高效率，减少排队时间，降低人力成本，并能够保证较高的准确度。目前，市面上已经有自动计费系统开始在一些学校食堂等自选式餐厅运行，但是都存在一些问题，实际使用效果并不太理想，还有进一步的改进的空间。

经过对现有的自动计费系统的文献检索发现，根据使用的识别特征可以将目前的系统分为以下两类：

第一类，以碗碟作为特征：

主要利用碗碟本身的特征如形状和颜色或者特定的人工标记如在碗碟上贴的条形码，植入的电子标签等。碗碟的这些特征与菜价一一对应，在计费时可以通过识别区分这些特征来进行价格的计算。

中国专利公开号CN103971471，公开日2014年08月06日，专利名称：基于颜色识别的餐盘自动计价方法及其系统，该方法利用颜色传感器通过对餐盘底部的颜色的识别来区分价格。中国专利公开号CN104463167，公开日2015年3月25日，专利名称：一种餐厅自动结算方法及系统，通过将碗碟的形状和色调与菜价进行结合，利用图像信息进行识别。中国专利授权号CN 201227092Y，公开日2009年4月29日，专利名称：带电子标签的餐具及与其配用的自动结算系统，通过定制嵌入电子标签的餐具来区分菜价，通过配套的标签读取设备来获得相应菜价。

这类方法优点是技术相对成熟和稳定，缺点是需要碗碟有区别性，这样一方面餐厅需要更换碗碟，特别是目前主流的用电子标签的做法，碗碟均需要定制，成本较高。另一方面，在后续碗碟清洗，及上菜时均需要对碗碟进行区分，会增加员工工作量。

第二类，以饭菜作为特征：

主要利用饭菜本身的特征如形状和颜色来进行菜品的识别进而计费。中国专利公开号CN104077842，公开日2014年10月1日，专利名称：基于图像识别的自选餐厅自助付费装置及其使用方法，利用机器学习的方法，对菜品图像进行离线学习，然后在结算时对菜品进行识别获得相应菜价。

这类方法优点是系统智能程度高，可以不用更换碗碟，降低系统成本。但是缺点是，算法开发难度高，稳定性鲁棒性不易提高。

总之，相比之下，以饭菜本身特征的第二类方法具有更好的发展空间，如果在稳定度、准确度达到或接近第一类方法的话，第二类方法应该是更优秀的。

发明内容

本发明的目的在于提出一种新的属于上述第二类方法的系统，通过使用RGB-D传感器提供的颜色和深度信息，以及在线学习识别的方法，提高第二类方法的识别率及鲁棒性，进而提高其实用性。

本发明主要考虑的是目前的上述第二类方法的系统，均通过离线学习来为菜品的进行训练，而实际上同一道菜，也可能由于不同的厨师或者不同盛菜的工作人员，而导致最终的菜肴在装盘后的形状颜色有差异，从而影响识别的鲁棒性，另外，如果出现新的菜式还需要重新训练学习，这给餐厅方面在使用系统造成麻烦。因此，本发明添加在线学习的功能，通过利用结算前一定时间内学习到的菜品特征来进行菜品的识别，这样可以大大提高算法鲁棒性，同时出现新菜式也完全自动适应。另外，传统方法均采用基于图像的方法，而图像的方法受到环境干扰比较明显，所以，本发明使用RGB-D(颜色深度)传感器来进行菜品的识别。

本发明包括一种自选餐厅自动计费方法，其包括以下步骤：第一，在餐厅内分别布置选菜区模块、数据服务模块、结算区模块，选菜区模块由若干个RGB-D传感器和控制电脑组成，结算区模块由一个RGB-D传感器和控制电脑组成；第二，选菜区模块对选菜区的菜品进行实时的数据采集，并剔除干扰信息后上传至数据服务器；第三，数据服务模块对菜品相关数据信息进行存取；第四，结算区模块对对餐费进行结算。

在本发明中，选菜区模块由若干个RGB-D传感器及相应控制电脑组成。该模块搭设在餐厅的自选区菜品上方，其中RGB-D模块负责对放置于不同价格区域的饭菜进行数据采集，相应的控制电脑负责将原始数据进行处理分析，剔除一些干扰因素，如人手等，并将处理后的数据上传到数据服务模块进行，完成实时数据的存储。该模块按照一定的频率进行数据的采集处理和上传。

在本发明中，选菜区模块在硬件搭建时要求视野能够覆盖选菜区的范围，因此传感器的个数需要根据实际情况即选菜区的大小来确定。单个传感器的安装高度，需要依据选菜区实际的可安装高度，以及采集的图像中的菜品是否清晰为参考来确定。安装完成后需进行传感器标定，计算出传感器相对于选菜区平面的相对位置，手动在传感器数据中根据实际情况标记出菜价区域，标定结果录入到服务器中。

在本发明中，选菜区模块其软件的运行按以下步骤进行：

第一，开机初始化。初始化时需要测试与数据库的连接情况，并从数据库中获得在上述硬件部署阶段标定的参数；

第二，数据采集。主要是通过传感器驱动程序从传感器中获得颜色和深度信息；

第三，人手等干扰检测。因为在实际使用的时候，可能会采集到有人手的情况，所以原始的传感器数据需要进行检查这些干扰是否严重，如果严重则返回第2步，否则继续执行；

第四，非菜品区域删除与上传数据库。为了进一步减少后续识别时候的干扰信息，利用标定信息，将一些非菜品的信息删除掉，然后上传数据库；

第五，延时。主要是用于控制处理周期。

在本发明中，数据服务模块主要由一台服务器电脑以及一些数据库相关软件代码组成。该模块主要用于提供数据存取服务。该模块通过数据库系统来保存选菜区模块发送过来的实时选菜区数据，以及选菜区标定数据，同时结算区模块的菜品数据以及识别结果也进行保存。

在本发明中，结算区模块主要由RGB-D传感器和控制电脑组成。该模块架设在结算区，主要负责对餐费的结算。

在本发明中，结算模块在硬件搭建时的要求类似于选菜区模块，其软件按以下步骤运行：

第一，开机初始化。初始化时需要测试与数据库的连接情况。

第二，托盘检测。主要通过深度信息，背景差算法来确定客户是否将托盘放置在检测区域。

第三，主要是在传感器数据中将托盘上的菜品或米饭独立的分割出来，便于进行菜品的识别和计费。

第四，菜品的识别与计费，主要是将分割出来的菜品数据和从数据库中取出的前几分钟内自选区所有的菜品的数据进行匹配，找到该菜品所属的价格区域，从而可到该菜品的价格。特别的，对于像米饭这类，价格和份量有关系的饭菜，可以通过深度信息检测饭菜的量来进一步确定价格。所有菜品价格总和即为该客户的收费总额。识别后的数据以及计算价格等信息均上传至服务器。

与现有技术相比，本发明的有益效果是：第一，本发明可以直接对菜品特征进行识别，对餐盘无特殊要求，因此在部署系统时，对餐厅的改动需求小，成本低；第二，本发明利用数据服务器采集了菜品的销售数据信息等，可以为餐厅提供大数据依据，是智慧餐厅的重要一个环节。

附图说明

图1为本发明具体实施例的结构示意图

图2为本发明选菜区模块软件流程图；

图3为本发明结算区模块软件流程图；

附图中的标号分别为：1、选菜区，2、价格标识，3、托盘，4、服务器电脑，5、结算区，6、RGB-D传感器，7、控制电脑，8、网络线。

具体实施方式

下面结合附图对本发明的实施例作详细说明，本实施例以本发明技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本发明的实施例如图1至图3所示，本发明包括选菜区1、价格标识2、托盘3、服务器电脑4、结算区5、RGB-D传感器6、控制电脑7、网络线8，价格标识2布置在选菜区的前端，托盘3根据菜品价格分别放置在选菜区1，若干个RGB-D传感器6和若干个控制电脑7分别布置在不同价格的菜品上方，一个RGB-D传感器6和一个控制电脑7布置在结算区5的上方，服务器电脑4、RGB-D传感器6、控制电脑7之间通过网络线8相连接；安装在结算区5的上方RGB-D传感器6和控制电脑7，可以通过颜色深度信息将托盘3中的所有菜品进行分割识别，并把待识别菜品的数据与服务器电脑4数据库中最近一段时间内的选菜区数据进行匹配，得到该菜品对应的价格；安装在结算区5的上方RGB-D传感器6和控制电脑7，还具有对饭菜的份量进行检测的功能，可以根据不同的份量计算不同的价格。

本发明的实施包括硬件系统的搭建和软件系统的搭建两个部分。

本实施例中硬件系统的安装，要求在对环境尽量做少的改动量的情况下，需要满足以下的要求。

第一，传感器安装与表标定：

选菜区模块的RGB-D传感器6安装在选菜区1上方，视野能够覆盖选菜区1的范围，因此传感器的个数需要根据实际情况即选菜区的大小来确定。单个传感器的安装高度，需要依据选菜区实际的可安装高度，以及采集的图像中的菜品是否清晰为参考值来确定。安装完成后进行传感器标定，计算出传感器相对于选菜区平面的相对位置，手动在传感器数据中根据实际情况标记出菜价区域，标定结果录入到服务器中。

第二，控制器电脑的安装：

选菜区模块和结算模块的控制器电脑7，可以根据实际情况就近安装于传感器附近，需要注意离传感器间的最大距离不能超过数据线的最大传输距离。服务器电脑4以可以根据实际情况安置。

第三，网络连接

模块间均采用网络连接，根据实际情况可以选择有线网络或者无线网络进行局域网连接。特殊的，如果结算区模块还和其它的收费系统连接的，需按照收费系统的要求进行连接。

本实施例中软件系统的搭建与运行步骤如下,如图2和图3所示。

选菜区软件，主要具有数据采集，处理和祥数据库存储功能，如图2所示，按以下步骤执行；

第一，开机初始化。初始化时需要测试与数据库的连接情况，并从数据库中获得在上述硬件部署阶段标定的参数；

第二，数据采集。主要是通过传感器驱动程序从传感器中获得颜色和深度信息；

第三，人手等干扰检测。因为在实际使用的时候，可能会采集到有人手的情况，所以原始的传感器数据需要进行检查这些干扰是否严重，如果严重则返回第2步，否则继续执行；

第四，非菜品区域删除与上传数据库。为了进一步减少后续识别时候的干扰信息，利用标定信息，将一些非菜品的信息删除掉，然后上传数据库；

第五，延时。主要是用于控制处理周期。

数据服务器软件主要运行数据库服务，负责传感器数据的以及标定数据，菜品数据等的存储和读取。

结算区模块的软件，如图3所示，按以下步骤执行：

第一，开机初始化。初始化时需要测试与数据库的连接情况。

第二，托盘检测。主要通过深度信息，背景差算法来确定客户是否将托盘放置在检测区域。

第三，菜品分割。主要是在传感器数据中将托盘上的菜品或米饭独立的分割出来，便于进行菜品的识别和计费。

第四，菜品的识别与计费，主要是将分割出来的菜品数据和从数据库中取出的前几分钟内自选区所有的菜品的数据进行匹配，找到该菜品所属的价格区域，从而可到该菜品的价格。特别的，对于像米饭这类，价格和份量有关系的饭菜，可以通过深度信息检测饭菜的量来进一步确定价格。所有菜品价格总和即为该客户的收费总额。识别后的数据以及计算价格等信息均上传至服务器。

Claims (6)

1.一种自选餐厅自动计费方法，其特征在于包括以下步骤：第一，在餐厅内分别布置选菜区模块、数据服务模块、结算区模块，选菜区模块由若干个RGB-D传感器和若干个控制电脑组成，结算区模块由一个RGB-D传感器和控制电脑组成；第二，选菜区模块对选菜区的菜品进行实时的数据采集，并剔除干扰信息后上传至数据服务器；第三，数据服务模块对菜品相关数据信息进行存取；第四，结算区模块对对餐费进行结算。

2.根据权利要求1所述的自选餐厅自动计费方法，其特征在于所述选菜区模块其软件按以下步骤运行：第一，开机初始化；第二，数据采集；第三，人手干扰检测；第四，非菜品区域删除与上传数据库；第五，延时。

3.根据权利要求1所述的自选餐厅自动计费方法，其特征在于所述结算模块其软件按以下步骤运行：第一，开机初始化；第二，托盘检测；第三，菜品分割；第四，菜品的识别与计费。

4.一种实施权利要求1所述自选餐厅自动计费方法装置，包括选菜区(1)、价格标识(2)、托盘(3)，价格标识(2)布置在选菜区的前端，托盘(3)根据菜品价格分别放置在选菜区(1)，其特征在于，还包括服务器电脑(4)、结算区(5)、RGB-D传感器(6)、控制电脑(7)、网络线(8)，若干个RGB-D传感器(6)和若干个控制电脑(7)分别布置在不同价格的菜品上方，一个RGB-D传感器(6)和一个控制电脑(7)布置在结算区(5)的上方，服务器电脑(4)、RGB-D传感器(6)、控制电脑(7)之间通过网络线(8)相连接。

5.根据权利要求5所述的实施装置，其特征在于通过安装在结算区(5)的上方RGB-D传感器(6)和控制电脑(7)，可以通过颜色深度信息将托盘(3)中的所有菜品进行分割识别，并把待识别菜品的数据与服务器电脑(4)数据库中最近一段时间内的选菜区数据进行匹配，得到该菜品对应的价格。

6.根据权利要求5所述的实施装置，其特征在于通过安装在结算区(5)的上方RGB-D传感器(6)和控制电脑(7)，还具有对饭菜的份量进行检测的功能，可以根据不同的份量计算不同的价格。