CN112700352A - 一种智慧餐厅的自助管理系统及方法 - Google Patents

Abstract

本发明属于餐厅自助管理技术领域，公开了一种智慧餐厅的自助管理系统及方法，所述自助管理系统包括：用于采集餐盘图像及餐余图像的摄像装置；用于采集餐余总重量的称重装置；用于餐前结账识别计算及餐后餐余识别计算的自助结算装置；所述自助结算装置根据餐盘图像识别菜品的实际数量和种类，并自助计算获得结账金额；还根据餐余图像及餐余总重量识别菜品的实际数量、种类、并估算每类菜品的餐余重量，以及根据餐余重量自助计算每类菜品的光盘指数；综上，本系统及方法既包括餐前菜品结账管理、又包括餐后餐余识别及考核管理，由此还能有效实现餐后浪费现象的自助管控，从而达到减少排队结算时间以及减少粮食浪费的效果。

Description

一种智慧餐厅的自助管理系统及方法

技术领域

本发明属于餐厅自助管理技术领域，具体涉及一种智慧餐厅的自助管理系统及方法。

背景技术

在目前的企业或事业单位职员、学生食堂内，以及以盈利为目的的餐厅中，自选、套餐、窗口是较为常见的三种传统点餐模式。其中

自选模式：服务员按份打菜并放在窗口，顾客根据自己的喜好按份拿菜，并盛放在托盘上选好菜后，集中在收银台由收银员人工核算整单总价；

套餐模式：在规定的套餐中选择菜品，并由服务员打菜备餐，由收银员按不同套餐价格结算；

窗口模式：就餐者在多个窗口排队选菜，并由服务员打菜，选完菜后由服务员计算总额，提醒就餐者结算。

上述三种点餐模式下，大多采用人工结算，由此存在就餐结算排队时间长的问题。针对该问题，市场上出现有基于RFID射频技术开发的自助结算系统，但是该系统在实际应用时，需要将餐厅中的传统碗碟更换为具有RFID射频的碗碟，因此在现有餐厅中存在应用成本高的问题。另外，上述现有的自助结算系统仅能实现餐前结算，而缺乏餐后餐余的回收分析，因此在餐厅管理中难以实现粮食浪费的有效管控。

发明内容

鉴于此，为解决上述背景技术中所提出的问题，本发明的目的在于提供一种智慧餐厅的自助管理系统及方法，以达到在餐前能快速自助结算、在餐后能有效进行餐余回收考核的效果。

为实现上述目的，本发明提供如下技术方案：

一种智慧餐厅的自助管理系统，包括：

用于采集餐盘图像及餐余图像的摄像装置；

用于采集餐余总重量的称重装置；

用于餐前结账识别计算及餐后餐余识别计算的自助结算装置，所述自助结算装置基于目标神经网络构成，且目标神经网络为一个经训练的卷积神经网络；所述自助结算装置

根据餐盘图像识别菜品的实际数量和种类，并自助计算获得结账金额；

还根据所述餐余图像及餐余总重量识别菜品的实际数量、种类、并估算每类菜品的餐余重量，以及根据所述餐余重量自助计算每类菜品的光盘指数；

用于显示结账金额及光盘指数的显示装置；

用于根据结账金额自动结账的自动结账装置，所述自动结账装置基于人脸识别获取目标付款账户，并根据结账金额从所述目标付款账户中自动扣款，完成结账；

用于根据光盘指数自动考核的自动考核装置，所述自动考核装置基于人脸识别获取目标考核账户，并根据光盘指数对所述目标考核账户自动执行相应考核，且所述相应考核包括奖励、惩罚和保持。

优选的，所述目标神经网络为结构中添加有边缘先验注意力模块的多通道神经网络，且所述边缘先验注意力模块为可训练的边缘检测器，并通过注意力机制更改所述目标神经网络结构上层通道的权重。

优选的，所述边缘检测器由三个卷积模块组成，且每个卷积模块中均包括两个residual模块和一个se先验模块。

优选的，所述se先验模块由若干先验的边缘检测滤波器赋予权重，并在训练中更新该权重；且所述先验的边缘检测滤波器为高斯混合滤波器。

优选的，所述目标神经网络的位置回归模块入口处设有一个重量回归模块，且所述重量回归模块用于估算每类菜品的餐余重量。

为实现上述目的，本发明还提供如下技术方案：

一种智慧餐厅的自助管理方法，包括如下步骤：

S1.基于所述目标神经网络构建上述公开的自助管理系统；

S2.通过所述自助管理系统执行餐前结账和餐后考核中的至少一种；

S2a.所述餐前结账包括：

采集餐盘图像，所述自助管理系统根据餐盘图像识别菜品的实际数量和种类，并自助计算获得结账金额；

显示所述结账金额，并基于人脸识别从目标付款账户中自动扣除所述结账金额；

S2b.所述餐后考核包括：

采集餐余图像及餐余总重量，所述自助管理系统根据餐余图像及餐余总重量识别菜品的实际数量、种类、并估算每类菜品的餐余重量，还根据所述餐余重量自助计算每类菜品的光盘指数；

显示所述光盘指数，并基于人脸识别对目标考核账户执行相应考核，且所述相应考核包括奖励、惩罚和保持。

优选的，基于所述目标神经网络构建自助管理系统包括餐前菜品识别计算训练：

在餐盘中装入菜品，并拍摄餐盘图像；

提取餐盘图像信息，并进行菜品类别标记；

构建菜品数据库；

根据所述菜品数据库，引入卷积神经网络并对其进行训练，使所述卷积神经网络的卷积核获得适用于菜品检测的权重值，并将经训练后的所述卷积神经网络记为目标神经网络；

基于所述目标神经网络构建一可进行餐前菜品识别计算的自助管理系统。

优选的，提取餐盘图像信息时，至少提取所述餐盘图像的餐盘边缘花纹、颜色和形状。

优选的，基于所述目标神经网络构建自助管理系统还包括餐后餐余识别计算训练：

在餐盘中装入剩菜，并拍摄餐余图像；

对剩菜称重，并根据称重标记对应餐余图像；

构建餐余数据库；

根据所述餐余数据库，引入卷积神经网络并对其进行训练，使所述卷积神经网络的卷积核获得适用于餐余检测的权重值，并将经训练后的所述卷积神经网络记为目标神经网络；

基于所述目标神经网络构建一可进行餐后餐余识别计算的自助管理系统。

优选的，基于人脸识别对目标考核账户执行相应考核包括：

一个考核周期内，在所述目标考核账户中设置基础积分；

估算所述餐余重量小于第一阈值时，计算所述光盘指数为优，执行所述相应考核为奖励，且所述奖励表示为在所述目标考核账户中增加一个单位积分；

估算所述餐余重量在第一阈值与第二阈值之间时，计算所述光盘指数为合格，执行所述相应考核为保持，且所述保持表示为在所述目标考核账户中维持当前积分不变；

估算所述餐余重量超过第二阈值时，计算所述光盘指数为差，执行所述相应考核为惩罚，且所述惩罚表示为在所述目标考核账户中扣除一个单位积分。

本发明与现有技术相比，具有以下有益效果：

在本发明所提供的一种智慧餐厅的自助管理系统及方法中，基于卷积神经网络算法的视觉识别技术代替RFID射频技术，利用人工智能，深度学习餐盘图像及餐余图像，并通过摄像装置快速识别菜品及估算餐余重量，由此避免了在改造现有餐厅时存在需要更换餐盘、碗碟的问题，从而能有效降低整体系统的应用成本；并且，整体系统还存在结算效率高、错误小的优点。

另外，本系统及方法既包括餐前菜品结账管理、又包括餐后餐余识别及考核管理，由此还能有效实现餐后浪费现象的自助管控，从而达到减少排队结算时间以及减少粮食浪费的效果。

附图说明

图1为本发明所提供的智慧餐厅的自助管理方法流程图；

图2为本发明所提供的智慧餐厅的自助管理方法中基于目标神经网络构建自助管理系统的流程图；

图3为所提供的智慧餐厅的自助管理系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

在本发明实施例中提供了一种智慧餐厅的自助管理方法，具体结合图1-图2可知，所述的自助管理方法包括如下步骤：

S1.基于目标神经网络构建自助管理系统；

具体，在本步骤中包括餐前菜品识别计算训练及餐后餐余识别计算训练；

S1a.餐前菜品识别计算训练：

在餐盘中装入菜品，并拍摄餐盘图像；

提取餐盘图像信息(此时至少提取餐盘图像的餐盘边缘花纹、颜色和形状)，并进行菜品类别标记；

构建菜品数据库；

根据菜品数据库，引入卷积神经网络并对其进行训练，使卷积神经网络的卷积核获得适用于菜品检测的权重值，并将经训练后的卷积神经网络记为目标神经网络；

基于目标神经网络构建一可进行餐前菜品识别计算的自助管理系统。

S1b.餐后餐余识别计算训练：

在餐盘中装入剩菜，并拍摄餐余图像；

对剩菜称重，并根据称重标记对应餐余图像；

构建餐余数据库；

根据餐余数据库，引入卷积神经网络并对其进行训练，使卷积神经网络的卷积核获得适用于餐余检测的权重值，并将经训练后的卷积神经网络记为目标神经网络；

基于目标神经网络构建一可进行餐后餐余识别计算的自助管理系统。

更具体的，关于对剩菜称重，应首先称重餐盘净重，然后称重餐盘与剩菜的总重，由此通过总重减去餐盘净重即可获得剩菜净重。

S2.通过自助管理系统执行餐前结账和餐后考核中的至少一种；

具体，在本步骤中

S2a.餐前结账包括：

采集餐盘图像，自助管理系统根据餐盘图像识别菜品的实际数量和种类，并自助计算获得结账金额；

显示结账金额，并基于人脸识别从目标付款账户中自动扣除结账金额；

S2b.餐后考核包括：

采集餐余图像及餐余总重量，自助管理系统根据餐余图像及餐余总重量识别菜品的实际数量、种类、并估算每类菜品的餐余重量，还根据餐余重量自助计算每类菜品的光盘指数；

显示光盘指数，并基于人脸识别对目标考核账户执行相应考核，且相应考核包括奖励、惩罚和保持。

更具体的，在估算每类菜品的餐余重量时包括：

在识别菜品的实际数量及种类后对应获取每类菜品的餐盘净重；

将餐余总重量减去餐盘净重，得到剩菜净重；

在剩菜净重的限定下，通过目标神经网络对每类菜品的餐余重量进行估算，且估算后多类菜品的餐余重量之和不超过剩菜净重。

更具体的，基于人脸识别对目标考核账户执行相应考核时包括：

一个考核周期内，在目标考核账户中设置基础积分；

估算餐余重量小于第一阈值时，计算光盘指数为优，执行相应考核为奖励，且奖励表示为在目标考核账户中增加一个单位积分；

估算餐余重量在第一阈值与第二阈值之间时(第二阈值＞第一阈值)，计算光盘指数为合格，执行相应考核为保持，且保持表示为在目标考核账户中维持当前积分不变；

估算餐余重量超过第二阈值时，计算光盘指数为差，执行相应考核为惩罚，且惩罚表示为在目标考核账户中扣除一个单位积分。

综上，假设：采集餐余总重量为400g，其中包含一份米饭、一份汤、两份素菜、一份半荤菜；扣除四类菜品所对应的餐盘净重后得到剩菜净重为200g；对于所得的200g剩菜，基于目标神经网络进行每类菜品剩菜的识别估算，如识别估算后，得到米饭餐余重量为30g，汤餐余重量为0g，素菜餐余重量为110g，半荤菜餐余重量为60g。

假设第一阈值为50g，第二阈值为100g，由此可知：米饭和汤的光盘指数为优，均执行奖励，则在对应的目标考核账户中增加两个单位积分；半荤菜的光盘指数为合格，执行保持，则保持对应的目标考核账户中当前积分不变；素菜的光盘指数为差，执行惩罚，则在对应的目标考核账户中扣除一个单位积分。综合上述的每类菜品考核，其最终的总考核为：在对应的目标考核账户中增加一个单位积分。

上述作为一可实施示例，而在实际实施中，还可以多类菜品餐余重量之和作为进一步的考核标准，例如：当多类菜品餐余重量之和低于300g时，按照上述示例进行考核；当多类菜品餐余重量之和超过300g时，则对目标考核账户执行惩罚考核，此时不考虑上述示例中每类菜品的单独考核。

另外，基于上述对每类菜品的单独考核，还可形成对每个用户的用餐偏好记录，在此基础上可配合人脸识别对每个用餐用户进行菜品推荐。

在另外，在采用上述积分奖惩的考核方式下，可将考核积分与其他考核形式相结合；例如在公司餐厅中，可将该餐后的积分考核与员工的绩效考核相结合；在学校餐厅中，可将该餐后的积分考核与学生的学分考核相结合；在其他自助餐厅中，可将该餐后的积分考核与用户的消费相结合(如达到一定量积分可免费兑换相应金额的菜品)。

实施例二

在本发明实施例中提供了一种智慧餐厅的自助管理系统，所述的自助管理系统依照上述实施例一中所公开的自助管理方法进行餐厅管理；具体结合图3可知，所述的自助管理系统包括如下结构：

用于采集餐盘图像及餐余图像的摄像装置10；

用于采集餐余总重量的称重装置20；

用于餐前结账识别计算及餐后餐余识别计算的自助结算装置30，自助结算装置30基于目标神经网络构成，且目标神经网络为一个经训练的卷积神经网络；自助结算装置30

根据餐盘图像识别菜品的实际数量和种类，并自助计算获得结账金额；

还根据餐余图像及餐余总重量识别菜品的实际数量、种类、并估算每类菜品的餐余重量，以及根据餐余重量自助计算每类菜品的光盘指数；

用于显示结账金额及光盘指数的显示装置40；

用于根据结账金额自动结账的自动结账装置50，自动结账装置50基于人脸识别获取目标付款账户，并根据结账金额从目标付款账户中自动扣款，完成结账；

用于根据光盘指数自动考核的自动考核装置60，自动考核装置60基于人脸识别获取目标考核账户，并根据光盘指数对目标考核账户自动执行相应考核，且相应考核包括奖励、惩罚和保持。

具体的，上述目标神经网络为结构中添加有边缘先验注意力模块的多通道神经网络，且边缘先验注意力模块为可训练的边缘检测器，并通过注意力机制更改目标神经网络结构上层通道的权重。另外，在目标神经网络的位置回归模块入口处设有一个重量回归模块，且重量回归模块用于估算每类菜品的餐余重量。

更具体的，上述边缘检测器由三个卷积模块组成，且每个卷积模块中均包括两个residual模块和一个se先验模块。

优选的，上述se先验模块由若干先验的边缘检测滤波器赋予权重，并在训练中更新该权重；且先验的边缘检测滤波器为一系列的高斯混合滤波器。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种智慧餐厅的自助管理系统，其特征在于，包括：

用于采集餐盘图像及餐余图像的摄像装置；

用于采集餐余总重量的称重装置；

用于餐前结账识别计算及餐后餐余识别计算的自助结算装置，所述自助结算装置基于目标神经网络构成，且目标神经网络为一个经训练的卷积神经网络；所述自助结算装置

根据餐盘图像识别菜品的实际数量和种类，并自助计算获得结账金额；

还根据所述餐余图像及餐余总重量识别菜品的实际数量、种类、并估算每类菜品的餐余重量，以及根据所述餐余重量自助计算每类菜品的光盘指数；

用于显示结账金额及光盘指数的显示装置；

用于根据结账金额自动结账的自动结账装置，所述自动结账装置基于人脸识别获取目标付款账户，并根据结账金额从所述目标付款账户中自动扣款，完成结账；

用于根据光盘指数自动考核的自动考核装置，所述自动考核装置基于人脸识别获取目标考核账户，并根据光盘指数对所述目标考核账户自动执行相应考核，且所述相应考核包括奖励、惩罚和保持。

2.根据权利要求1所述的一种智慧餐厅的自助管理系统，其特征在于：所述目标神经网络为结构中添加有边缘先验注意力模块的多通道神经网络，且所述边缘先验注意力模块为可训练的边缘检测器，并通过注意力机制更改所述目标神经网络结构上层通道的权重。

3.根据权利要求2所述的一种智慧餐厅的自助管理系统，其特征在于：所述边缘检测器由三个卷积模块组成，且每个所述卷积模块中均包括两个residual模块和一个se先验模块。

4.根据权利要求3所述的一种智慧餐厅的自助管理系统，其特征在于：所述se先验模块由若干先验的边缘检测滤波器赋予权重，并在训练中更新该权重；且所述先验的边缘检测滤波器为高斯混合滤波器。

5.根据权利要求1所述的一种智慧餐厅的自助管理系统，其特征在于：所述目标神经网络的位置回归模块入口处设有一个重量回归模块，且所述重量回归模块用于估算每类菜品的餐余重量。

6.一种智慧餐厅的自助管理方法，其特征在于，包括如下步骤：

S1.基于所述目标神经网络构建如权利要求1-6中任意一项所述的自助管理系统；

S2.通过所述自助管理系统执行餐前结账和餐后考核中的至少一种；

S2a.所述餐前结账包括：

采集餐盘图像，所述自助管理系统根据餐盘图像识别菜品的实际数量和种类，并自助计算获得结账金额；

显示所述结账金额，并基于人脸识别从目标付款账户中自动扣除所述结账金额；

S2b.所述餐后考核包括：

采集餐余图像及餐余总重量，所述自助管理系统根据餐余图像及餐余总重量识别菜品的实际数量、种类、并估算每类菜品的餐余重量，还根据所述餐余重量自助计算每类菜品的光盘指数；

显示所述光盘指数，并基于人脸识别对目标考核账户执行相应考核，且所述相应考核包括奖励、惩罚和保持。

7.根据权利要求6所述的一种智慧餐厅的自助管理方法，其特征在于，基于所述目标神经网络构建自助管理系统包括餐前菜品识别计算训练：

在餐盘中装入菜品，并拍摄餐盘图像；

提取餐盘图像信息，并进行菜品类别标记；

构建菜品数据库；

根据所述菜品数据库，引入卷积神经网络并对其进行训练，使所述卷积神经网络的卷积核获得适用于菜品检测的权重值，并将经训练后的所述卷积神经网络记为目标神经网络；

基于所述目标神经网络构建一可进行餐前菜品识别计算的自助管理系统。

8.根据权利要求7所述的一种智慧餐厅的自助管理方法，其特征在于，提取餐盘图像信息时，至少提取所述餐盘图像的餐盘边缘花纹、颜色和形状。

9.根据权利要求7所述的一种智慧餐厅的自助管理方法，其特征在于，基于所述目标神经网络构建自助管理系统还包括餐后餐余识别计算训练：

在餐盘中装入剩菜，并拍摄餐余图像；

对剩菜称重，并根据称重标记对应餐余图像；

构建餐余数据库；

根据所述餐余数据库，引入卷积神经网络并对其进行训练，使所述卷积神经网络的卷积核获得适用于餐余检测的权重值，并将经训练后的所述卷积神经网络记为目标神经网络；

基于所述目标神经网络构建一可进行餐后餐余识别计算的自助管理系统。

10.根据权利要求6所述的一种智慧餐厅的自助管理方法，其特征在于，基于人脸识别对目标考核账户执行相应考核包括：

一个考核周期内，在所述目标考核账户中设置基础积分；

估算所述餐余重量小于第一阈值时，计算所述光盘指数为优，执行所述相应考核为奖励，且所述奖励表示为在所述目标考核账户中增加一个单位积分；

估算所述餐余重量在第一阈值与第二阈值之间时，计算所述光盘指数为合格，执行所述相应考核为保持，且所述保持表示为在所述目标考核账户中维持当前积分不变；

估算所述餐余重量超过第二阈值时，计算所述光盘指数为差，执行所述相应考核为惩罚，且所述惩罚表示为在所述目标考核账户中扣除一个单位积分。

Images