CN115691010A - 基于菜品识别的自动结账方法、系统、设备及存储介质 - Google Patents

Abstract

本申请涉及一种基于菜品识别的自动结账方法、系统、设备及存储介质，其中方法包括：识别菜品位于餐盘内的整体图片中所有菜品的实际菜品种类特征，并截取整体图片中与实际菜品种类特征对应的菜品图片；将菜品图片与预设的标准图片进行相似度比对；若比对得出的实际相似度位于预设的相似度标准范围内，则在预设的菜品名称数据库中调取与标准图片对应的实际菜品名称和实际消费金额；生成与整体图片中所有的实际菜品名称和实际消费金额对应的菜品账单页面；将菜品账单页面显示在自助结账操作终端。本申请具有的技术效果是：自动识别并结算餐盘内的菜品的消费金额，有助于避免因菜品打乱而影响计算出餐盘内菜品消费金额的精确性。

Description

基于菜品识别的自动结账方法、系统、设备及存储介质

技术领域

本发明涉及自选餐厅菜品收银的技术领域，尤其是涉及一种基于菜品识别的自动结账方法、系统、设备及存储介质。

背景技术

在餐饮行业，为了提高工作效率和顾客体验，智能收银系统越来越多的被应用于餐厅，利用智能收银系统便于顾客进行自助收银，减少了顾客排队时间，减轻了人力劳动成本，有助于提升餐饮业的营利水平。

相关技术中的智能收银系统，采用对菜品直接称重的计算方式，针对需要单个菜品单价的，需要将菜品放置在对应的价格区域内，才能够知道菜品价格是多少，由于智能收银系统有一定的自助性，若顾客在打菜时出现菜品打乱的情况，容易导致智能收银系统无法计算出准确的消费额度，影响了账单结算的精确性。

发明内容

为了改善菜品被打乱而影响账单结算精准性的问题，本申请提供一种基于菜品识别的自动结账方法、系统、设备及存储介质。

第一方面，本申请提供一种基于菜品识别的自动结账方法，采用如下的技术方案：

获取整体图像采集设备实时发送的餐盘整体图像信息，所述餐盘整体图像信息包括所有菜品位于餐盘内的整体图片；

识别所述整体图片中所有菜品的实际菜品种类特征，所述实际菜品种类特征包括餐盘内对应每个菜品的颜色、表面纹理以及轮廓的几何结构；

在预设的菜品名称数据库中调取与所述实际菜品种类特征对应的标准图片；

截取所述整体图片中与实际菜品种类特征对应的菜品图片；

将所述菜品图片与标准图片进行相似度比对，并得到实际相似度；

若所述实际相似度位于预设的相似度标准范围内，则在预设的菜品名称数据库中调取与所述标准图片对应的实际菜品名称和实际消费金额；

生成与所述整体图片中所有的实际菜品名称对应的菜品账单页面，并将与所述实际菜品名称对应的实际消费金额添加至菜品账单页面；

将所述菜品账单页面显示在自助结账操作终端。

通过采用上述技术方案，顾客选好菜品并将餐盘放置在指定的自助结账台上后，后台管理系统控制整体图像采集设备拍摄出菜品位于餐盘内的整体图片后，自动识别整体图片中所有菜品的实际菜品种类特征，并在预设的菜品名称数据库中调取与实际菜品种类特征对应的标准图片；

再获取整体图片中与实际菜品种类特征对应的菜品图片，若标准图片与菜品图片之间比对得到的实际相似度位于预设的相似度标准范围内，则说明标准图片与菜品图片为相近图片，此时在预设的菜品名称数据库中调取与标准图片对应的实际菜品名称和实际消费金额，并生成与整体图片中所有的实际菜品名称对应的菜品账单页面，并将与实际菜品名称对应的实际消费金额添加至菜品账单页面；

最后将菜品账单页面显示在自助结账操作终端，以便于顾客获知所选的菜品总金额进行自助结账；采用上述图像采集的方式，代替原有的直接对菜品称重的计算方式，通过识别餐盘内的菜品名称并自动结算餐盘内菜品的总金额，有助于避免因菜品打乱而影响计算出准确的消费额度，提高了账单结算的精准性。

可选的，在将所述菜品账单页面显示在自助结账操作终端之前，还包括：

在预设的时间段内，控制旋转设备驱动餐盘旋转，并间隔多次获取局部图像采集设备发送的餐盘局部图像信息，所述餐盘局部图像信息包括菜品位于餐盘内的局部侧视图片；

识别所述局部侧视图片中所有菜品的局部菜品种类特征；

若所述整体图片中不存在与局部菜品种类特征相同的实际菜品种类特征，则在预设的菜品名称数据库中调取与所述局部菜品种类特征对应的菜品图片；

将所述菜品图片与所述局部侧视图片进行相似度比对，并得到复核相似度；

若所述复核相似度位于预设的相似度标准范围内，则将所述局部菜品种类特征标记为区别菜品种类特征；

在预设的菜品名称数据库中调取与所述区别菜品种类特征对应的区别菜品名称和区别消费金额，并将所述区别菜品名称和区别消费金额添加至菜品账单页面。

通过采用上述技术方案，后台管理系统通过控制局部图像采集设备拍摄菜品位于餐盘内的局部侧视图片，并自动识别局部侧视图片中所有菜品的局部菜品种类特征，若整体图片中存在与局部菜品种类特征相同的实际菜品种类特征，则说明局部侧视图片中存在上下重叠的两种不同种类的菜品；

为了提高计算菜品消费额度的准确性，后台管理系统在预设的菜品名称数据库中调取与局部菜品种类特征对应的菜品图片，若菜品图片与局部侧视图片之间相似度比对得到的复核相似度位于预设的相似度标准范围内，则将局部菜品种类特征标记为区别菜品种类特征，此时在预设的菜品名称数据库中调取与区别菜品种类特征对应的区别菜品名称和区别消费金额，并将区别菜品名称和对应的区别消费金额添加至菜品账单页面，降低了出现菜品消费金额漏算的情况；通过拍摄餐盘侧视方向的图片，来判断餐盘内的菜品是否存在不同菜品上下重叠的情况，进而有助于降低餐盘内位于下方的菜品没有结算的可能性，尽量避免后台管理系统出现误判的情况，进而提高了账单结算的精准性。

可选的，在所述将所述区别菜品名称和区别消费金额添加至菜品账单页面之后，还包括：

获取所述局部侧视图片中的菜品相对于餐盘的实际高度；

若所述实际高度位于预设的标准高度范围内，则提取所述局部侧视图片中与区别菜品种类特征对应的区别菜品区域；

计算所述区别菜品区域与所述局部侧视图片之间的区别菜品占比；

若所述区别菜品占比小于预设的标准占比，则将所述菜品账单页面中与区别菜品名称对应的区别消费金额修改为零。

通过采用上述技术方案，当检测出餐盘内存在上下重叠的两种不同的菜品时，首先获取局部侧视图片中的所有菜品相对于餐盘的实际高度，若实际高度位于预设的标准高度范围内，则说明餐盘内菜量为正常菜量；然后提取区别菜品种类特征位于局部侧视图片中的区别菜品区域，并计算区别菜品区域与局部侧视图片之间的区别菜品占比，若区别菜品占比小于预设的标准占比，则说明局部侧视图片中，区别菜品种类特征的数量较少，可能存在实际菜品中误混入少量的区别菜品，此时将区别菜品名称对应的区别消费金额修改为零，进而无需顾客支付少量区别菜品的金额，有助于避免出现消费金额不合理的情况，进而提高了顾客的消费体验感。

可选的，在所述将所述菜品账单页面中与区别菜品名称对应的区别消费金额修改为零之后，还包括：

生成与所述区别菜品名称对应的不计价相关的提醒信息；

将所述提醒信息显示在自助结账操作终端，并将所述提醒信息记录在预设的菜品不计价数据库中。

通过采用上述技术方案，通过生成与区别菜品名称对应的不计价相关的提醒信息，并将该提醒信息显示在自助结账操作终端，有助于提醒顾客该区别菜品名称对应的消费金额为零；同时将该提醒信息记录在预设的菜品不计价数据库中，便于后续后台管理人员查询该提醒信息，以提醒后续工作人员在配菜时不同的菜品混合上，有助于避免影响账单结算的精确性。

可选的，在所述识别所述局部侧视图片中所有菜品的局部菜品种类特征之前，还包括：

检测并获取所述局部侧视图片的实际清晰度；

若所述实际清晰度位于预设的标准清晰度范围之外，则判定所述局部图像采集设备存在损坏的情况，发送与所述局部图像采集设备损坏相关的预警信息至后台管理平台。

通过采用上述技术方案，当后台管理系统获取到局部侧视图片后，通过检测局部侧视图片的实际清晰度，若实际清晰度位于预设的标准清晰度范围之外，则说明局部图像采集设备存在损坏的情况，此时发送与局部图像采集设备损坏相关的预警信息至后台管理平台，以便后台管理人员获知局部图像采集设备存在损坏的情况，并及时做出相应的措施，有助于避免影响对菜品特征识别的精准性。

可选的，所述判定所述局部图像采集设备存在损坏的情况，包括：

向所述局部图像采集设备的摄像头补充风源；

在经过预设的第一时间段之后，向所述局部图像采集设备发送对餐盘侧视方向拍摄的指令；

获取所述局部图像采集设备发送的餐盘局部复核图像信息，所述餐盘局部复核图像信息包括菜品位于餐盘内的复核图片；

检测并获取所述复核图片的复核清晰度；

若所述复核清晰度位于预设的标准清晰度范围之外，则判定所述局部图像采集设备存在损坏的情况。

通过采用上述技术方案，由于局部图像采集设备用于拍摄餐盘侧视方向的图像，因此局部图像采集设备与餐盘的距离较近，若菜品的温度过高，菜品上的热气容易造成局部图像采集设备的摄像镜片雾化模糊，进而影响对局部侧视图片中局部菜品种类特征识别的精准性，因此当检测到的实际清晰度位于预设的标准清晰度范围之外，则向局部图像采集设备的摄像头补充风源，并在预设的第一时间段之后，局部图像采集设备再次获取菜品位于餐盘内的复核图片，继而后台管理系统获取复核图片的复核清晰度，若复核清晰度位于预设的标准清晰度范围之内，则说明局部图像采集设备的摄像头因雾化模糊而导致获取到的局部侧视图片出现不清晰的现象；若若复核清晰度位于预设的标准清晰度范围之外，则说明局部图像采集设备存在损坏的情况。

可选的，在所述将所述菜品账单页面显示在自助结账操作终端之后，还包括：

生成菜品确认页面并显示在所述自助结账操作终端上；

若在预设的第二时间段内接收到自助结账操作终端发送的菜品确认信息，则统计所述菜品账单页面中所有实际菜品名称和区别菜品名称的消费总金额；

生成与所述消费总金额对应的支付码，并将所述支付码显示在自助结账操作终端上。

通过采用上述技术方案，通过生成菜品确认页面并显示在自助结账操作终端上，以便于顾客核对餐盘内所需的菜品与菜品确认页面上显示的菜品是否一致，若在预设的第二时间段内接收到自助结账操作终端发送的菜品确认请求，则说明顾客对菜品确认页面上显示的菜品核对无误，此时即可统计菜品账单页面中所有实际菜品名称和区别菜品名称的消费总金额，并生成与消费总金额对应的支付码并显示在自助结账操作终端上，以便顾客使用移动终端扫描支付码支付账单，最终实现了对菜品的自助结账，结账效率高。

第二方面，本申请提供一种基于菜品识别的自动结账系统，采用如下的技术方案：所述系统包括：

菜品图像采集模块，用于获取整体图像采集设备实时发送的餐盘整体图像信息，所述餐盘整体图像信息包括所有菜品位于餐盘内的整体图片；

菜品特征识别模块，用于识别所述整体图片中所有菜品的实际菜品种类特征，所述实际菜品种类特征包括餐盘内对应每个菜品的颜色、表面纹理以及轮廓的几何结构；

标准图片调取模块，用于在预设的菜品名称数据库中调取与所述实际菜品种类特征对应的标准图片；

菜品图片截取模块，用于截取所述整体图片中与实际菜品种类特征对应的菜品图片；

菜品图片比对模块；用于将所述菜品图片与标准图片进行相似度比对，并得到实际相似度；

菜品名称确定模块，若所述实际相似度位于预设的相似度标准范围内，则用于在预设的菜品名称数据库中调取与所述标准图片对应的实际菜品名称和实际消费金额；

菜品账单生成模块，用于生成与所述整体图片中所有的实际菜品名称对应的菜品账单页面，并将与所述实际菜品名称对应的实际消费金额添加至菜品账单页面；

菜品账单显示模块，用于将所述菜品账单页面显示在自助结账操作终端。

通过采用上述技术方案，采用图像采集的方式来识别餐盘内的菜品名称并自动结算餐盘内菜品的总金额，有助于避免因菜品打乱而影响计算出准确的消费额度，提高了账单结算的精准性。

第三方面，本申请提供一种计算机设备，采用如下的技术方案：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上所述任一种基于菜品识别的自动结账方法的计算机程序。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：存储有能够被处理器加载并执行上述任一种基于菜品识别的自动结账方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

1.通过识别餐盘内的菜品名称并自动结算餐盘内菜品的总金额，代替原有的直接对菜品称重的计算方式，有助于避免因菜品打乱而影响计算出准确的消费额度，提高了账单结算的精准性；

2.通过拍摄餐盘侧视方向的图片，来判断餐盘内的菜品是否存在不同菜品上下重叠的情况，进而有助于降低餐盘内位于下方的菜品没有结算的可能性，尽量避免后台管理系统出现误判的情况，进而提高了账单结算的精准性；

3.在局部侧视图片中，若检测出的区别菜品种类特征的数量较少，则说明可能存在实际菜品中误混入少量的区别菜品的情况，此时将区别菜品名称对应的区别消费金额修改为零，进而无需顾客支付少量区别菜品的金额，有助于避免出现消费金额不合理的情况，进而提高了顾客的消费体验感。

附图说明

图1是本申请实施例中基于菜品识别的自动结账方法的流程图。

图2是本申请实施例中自助结账操作终端的具体结构示意图。

图3是本申请实施例中基于菜品识别的自动结账系统的结构框图。

附图标记说明：201、菜品图像采集模块；202、菜品特征识别模块；203、标准图片调取模块；204、菜品图片截取模块；205、菜品图片比对模块；206、菜品名称确定模块；207、菜品账单生成模块；208、菜品账单显示模块。

具体实施方式

以下结合附图1-3对本申请作进一步详细说明。

本申请实施例公开一种基于菜品识别的自动结账方法，如图1和图2所示，该方法应用于餐厅自助结账后台管理系统，餐厅内设置有若干自助结账台，自助结账台上设置有自助结账操作终端，自助结账操作终端可以为电容触摸显示屏，后台管理系统用于控制自助结账操作终端配合实现对菜品的自助结账，便于人机交互来实现菜品识别的自助结账；同时餐厅自助结账后台管理系统还设置有后台管理平台，后台管理平台便于餐厅后台管理人员上传更新每日菜品的图片、监控餐厅的每日收益以及账单支付情况等。

基于菜品识别的自动结账方法包括以下步骤：

S101，获取整体图像采集设备实时发送的餐盘整体图像信息。

具体来说，整体图像采集设备可以为摄像机，摄像机固定安装在自助结账操作终端的顶部，摄像机的摄像头的拍摄方向正对自助结账台的顶面。顾客选好菜品后，将餐盘放置在自助结账台上，然后后台管理系统控制整体图像采集设备拍摄餐盘整体图像信息，餐厅整体图像信息具体为所有菜品位于餐盘内的整体图片，然后整体图像采集设备将餐盘整体图像信息回传至后台管理系统。

S102，识别整体图片中所有菜品的实际菜品种类特征。

具体来说，后台管理系统对整体图片进行图像特征识别处理后，得到整体图片中的所有菜品的实际菜品种类特征，实际菜品种类特征包括餐盘内对应每个菜品的颜色、表面纹理以及轮廓的几何结构。后台管理系统内预先设置有菜品名称数据库，菜品名称数据库中预先设置有菜品种类和与菜品种类对应的颜色、表面纹理以及轮廓的几何结构。当后台管理系统识别到对应菜品的实际菜品种类特征后，能够在预设的菜品名称数据库中查询到与对应菜品的菜品种类。举例来说，预设的菜品名称数据库中的其中一个菜品名称为鹌鹑蛋，因此鹌鹑蛋对应的颜色为白色，表面纹理为光滑面，轮廓为椭圆形。

S103，在预设的菜品名称数据库中调取与实际菜品种类特征对应的标准图片。

具体来说，菜品名称数据库中还预先设置有与实际菜品种类特征对应的标准图片。需要说明的是，在正常情况下，餐厅每天更新菜品后，后台管理人员需通过后台管理平台将对应更新菜品的图片、与该图片对应的菜品名称、菜品种类特征上传至后台管理系统，并将该图片设置为标准图片，以实现菜品名称数据库中菜品的更新。进而当后台管理系统接收到整体图像采集设备发送的整体图片之后，能够在预设的菜品名称数据库中调取与实际菜品种类特征对应的标准图片。

S104，截取整体图片中与实际菜品种类特征对应的菜品图片。

具体来说，后台管理系统在识别出整体图片中所有实际菜品种类特征之后，截取整体图片中与实际菜品种类特征对应区域的菜品图片。

S105，将菜品图片与标准图片进行相似度比对，并得到实际相似度。

具体来说，为了验证菜品名称数据库中与实际菜品种类特征对应的标准图片与菜品图片中的菜品是否一致，后台管理系统对菜品图片和标准图片进行相似度比对，以得到实际相似度。

S106，若实际相似度位于预设的相似度标准范围内，则在预设的菜品名称数据库中调取与标准图片对应的标准菜品名称，并将标准菜品名称设置为与菜品图片对应的实际菜品名称。

具体来说，本实施例中，菜品名称数据库中还预先存储有与标准图片对应的实际菜品名称和实际消费金额。若检测到的实际相似度位于预设的相似度标准范围内，则说明截取到的菜品图片中的菜品与标准图片中的菜品属于相同的菜品，进而后台管理系统在预设的菜品名称数据库中调取与标准图片对应的实际菜品名称和实际消费金额。

S107，生成与整体图片中所有的实际菜品名称对应的菜品账单页面，并将与实际菜品名称对应的实际消费金额添加至菜品账单页面。

具体来说，后台管理系统识别到整体图片中的所有菜品对应的实际菜品名称之后，生成与所有实际菜品名称对应的菜品账单页面，并将与实际菜品名称对应的实际消费金额添加至菜品账单页面，菜品账单页面包括所有菜品的实际菜品名称、与实际菜品名称对应的实际消费金额以及所有菜品的消费总金额。

S108，将菜品账单页面显示在自助结账操作终端。

具体来说，通过将生成的菜品账单页面显示在自助结账操作终端，以便于顾客获知并支付消费总金额。

采用上述步骤，通过自动识别餐盘内的菜品名称并自动结算餐盘内菜品的总金额，代替原有的直接对菜品称重的计算方式，有助于避免因菜品打乱而影响计算出准确的消费额度，提高了账单结算的精准性。

在一个实施例中，考虑到餐盘内上下重叠有两种不同的菜品时，若位于上方的菜品完全覆盖至下方的菜品，进而整体图像采集设备拍摄出的整体图片中只存在位于上方的一种菜品，容易导致最终结算的菜品消费总金额与实际的菜品消费总金额不一致的情况。

如图2所示，为了提高菜品消费总金额的精确性，在自助结账操作终端且靠近自助结账台的顶面设置有局部图像采集设备，局部图像采集设备也可以为摄像机，局部图像采集设备位于餐盘的一侧，局部图像采集设备用于拍摄餐盘侧视方向的图片。本实施例中，局部图像采集设备以一个为例，自助结账台的顶面可以设置有用于装载餐盘的托盘，自助结账台的内部设置有用于驱动托盘旋转的旋转设备，旋转设备可以为旋转电机；旋转电机驱动托盘旋转，进而带动餐盘旋转，以便该局部图像采集设备沿餐盘的周向对餐盘的侧视方向进行图像拍摄。

在将菜品账单页面显示在自助结账操作终端之前，还可以存在如下步骤：

对整体图片中所有菜品的实际菜品名称识别完成后，后台管理系统在预设的时间段内，预设的时间段以5秒钟为例，在预设的5秒钟内，后台管理系统向旋转电机发送启动命令，进而旋转电机驱动托盘保持低速旋转，通过控制托盘低速旋转，有助于避免转速过快而导致餐盘从托盘上飞出。

后台管理系统向旋转电机发送指令的同时，后台管理系统向局部图像采集设备发送对餐盘侧视方向间隔多次拍摄图像的指令，举例来说，在预设的5秒钟内，后台管理系统控制局部图像采集设备按照1秒钟/次的频率对餐盘侧视方式进行拍摄图像，且局部图像采集设备将拍摄到的餐盘局部图像信息回传至后台管理系统。需要注意的是，此处理步骤，伺服电机需保持不间断工作，使得餐盘持续低速旋转，但是局部图像采集设备为间断式工作（即按照1秒钟/次的频率工作）；具体的，餐盘局部图像信息包括菜品位于餐盘内的局部侧视图片。为了使得局部图像采集设备拍摄到的局部侧视图片为有效图片，本实施例中，应该控制旋转电机保持低速且匀速的旋转。

后台管理系统在获取到局部侧视图片后，自动识别局部侧视图片中所有菜品的局部菜品种类特征；并判断整体图片中是否存在与局部菜品种类特征相同的实际菜品种类特征；若存在，则说明餐盘内不存在上下重叠的两种不同种类的菜品；若不存在，则说明餐盘内存在上下重叠的两种不同种类的菜品的情况。本实施例中，菜品名称数据库中还预先存储有与菜品种类特征对应的菜品图片，进而后台管理系统在预设的菜品名称数据库中调取与局部菜品种类特征对应的菜品图片，并将菜品图片与局部侧视图片进行相似度比对，得到复核相似度，若复核相似度位于预设的相似度范围标准内，则说明与局部菜品种类对应的菜品图片与局部侧视图片为相似图片，进而将局部菜品种类特征标记为区别菜品种类特征。

然后在预设的菜品名称数据库中调取与区别菜品种类特征对应的区别菜品名称和区别消费金额，并将区别菜品名称和区别消费金额添加至菜品账单页面，有助于提高菜品账单结算的精确性。

总结而言，通过检测餐盘内是否存在上下重叠的不同种类菜品，有助于避免后台管理系统出现误判的现象，进而导致餐盘内的菜品未结算的情况，采用上述步骤，提高了菜品账单结算的精确性。

在一个实施例中，考虑到餐盘内存在上下重叠的两种不同的菜品种类时，若位于下方的菜品种类的数量较少并结算了对应的消费金额时，容易影响顾客的消费体验感，在将区别菜品名称和区别消费金额添加至菜品账单页面之后，还可以存在如下处理：

后台管理系统获取局部侧视图片中的菜品相对于餐盘的实际高度，并判断实际高度是否位于预设的标准高度范围内；本实施例中，标准高度范围对应为餐盘内的一份菜品对应的正常高度范围；若实际高度位于预设的标准高度范围内，则提取局部侧视图片中与区别菜品种类特征对应的区别菜品区域，并计算区别菜品区域与局部侧视图片之间的区别菜品占比。

然后后台管理系统对区别菜品占比与预设的标准占比的大小进行比较，本实施例中，预设的标准占比对应为餐盘内重叠有两种不同的菜品种类时，区别菜品区域与局部侧视图片之间占比，即为标准占比。若区别菜品占比小于预设的标准占比，则说明局部侧视图片中的区别菜品的数量较少，进而判定区别菜品为误混入餐盘内，将菜品账单页面中与区别菜品名称对应的区别消费金额修改为零，有助于防止出现误判而导致将区别菜品名称对应的区别消费金额计入消费总金额内，有助于避免影响顾客的消费体验感。

在一个实施例中，考虑到在局部侧视图片中的区别菜品的数量较少的情况下，顾客和后台管理人员难以知道区别菜品对应的区别消费金额没有计入消费总金额内的原因，在将菜品账单页面中与区别菜品名称对应的区别消费金额修改为零之后，还可以执行如下流程：

首先生成与区别菜品名称对应的不计价相关的提醒信息，并将该提醒信息显示在自助结账操作终端，以便于顾客获知不计价的原因；然后将该提醒信息显示在自助结账操作终端并记录在预设的菜品不计价数据库中。本实施例中，后台管理系统内预先设置有菜品不计价数据库，菜品不计价数据库中用于存储对应菜品不计价的原因，以便后台管理人员定期查看菜品不计价的原因，以便提醒后厨工作人员在打菜时不要将不同的菜品混合，进而有助于降低后台管理系统出现误判的现象，以提高账单结算的精确性。举例来说，提醒信息具体可以为“XX菜品因菜量较少而不计入本次消费金额内。”

在一个实施例中，考虑到局部图像采集设备的摄像头发生损坏而导致拍摄出来的局部侧视图片模糊不清，容易影响后台管理系统对局部侧视图片中的局部菜品种类特征识别的精准性。在识别局部侧视图片中所有菜品的局部菜品种类特征之前，还可以执行如下步骤：

后台管理系统对局部侧视图片进行图像处理，先检测并获取局部侧视图片的实际清晰度，然后后台管理系统判断实际清晰度是否位于预设的标准清晰度范围之内；若否，则说明局部图像采集设备存在损坏的情况，此时发送与局部图像采集设备损坏相关的预警信息至后台管理系统，以提醒后台管理人员获知局部图像采集设备发生损坏，应需立即对局部图像采集设备进行维修工作。

在一个实施例中，考虑到局部图像采集设备设置在自助结账操作终端且靠近餐盘的一侧，若餐盘内的食物因温度较高而产生较多的热气，容易造成局部图像采集设备的镜片发生模糊现象。本实施例中，自助结账操作终端且位于局部图像采集设备的上方设有风机，风机的出风口可以设置朝向局部图像采集设备的摄像头镜片。判定局部图像采集设备存在损坏的情况的处理可以如下：

若检测到的局部侧视图片的实际清晰度位于预设的标准清晰度范围之外后，后台管理系统向风机发送启动的指令，进而风机接收到指令并向局部图像采集设备的摄像头镜片吹风，进而摄像头镜片上的雾气被吹干。

当风机在接收到后台管理系统发送的启动指令时，在经过预设的第一时间段之后，假设经过2s后，后台管理系统向局部图像采集设备发送对餐盘的侧视方向拍摄的指令，进而局部图像采集设备接收到指令后对餐盘的侧视方向进行拍摄，得到餐盘局部复核图像信息，餐盘局部复核图像信息包括菜品位于餐盘内的复核图片；然后后台管理系统检测复核图片的清晰度，得到复核清晰度；继而判断复核清晰度是否位于预设的标准清晰度范围之外；若是，则判定局部图像采集设备存在损坏的情况；若否，则判定局部图像采集设备未发生损坏。

总结而言，当检测到的局部侧视图片的实际清晰度位于预设的标准清晰度范围之外后，通过对局部图像采集设备的摄像头吹风，使得摄像头镜片上的雾气被吹干，然后通过控制局部图像采集设备再次拍摄餐盘侧视方向的复核图片，并检测复核图片的清晰度，以此来验证局部图像采集设备是否发生损坏的情况，有助于避免后台管理系统因为局部图像采集设备的摄像头镜片因雾化而向后台管理平台发送预警信息，降低了后台管理系统误报的概率。

在一个实施例中，考虑到方便顾客快速支付菜品账单的消费总金额，在将菜品账单页面显示在自助结账操作终端之后，还可以执行如下步骤：

生成菜品确认页面并显示在自助结账操作终端上，以便于顾客核对菜品确认页面上的菜品与实际所选菜品是否一致，菜品确认页面具体为顾客所选的所有实际菜品名称，菜品确认页面上设置有“确认菜品区域”；若在预设的第二时间段内，预设的第二时间段以3s为例，若在3s内后台管理系统接收到顾客通过自助结账操作终端发送的菜品确认信息，则统计菜品账单页面中所有实际菜品名称和区别菜品名称的消费总金额，继而生产与消费总金额对应的支付码，并将支付码显示在自助结账操作终端上，以便顾客利用手机或其他移动终端扫描支付码来支付菜品的消费总金额，最终实现了菜品的自助结账，结账效率高。

本申请实施例的实施原理为：当需要对餐盘内的菜品结算金额时，后台管理系统先控制整体图像采集设备拍摄出菜品位于餐盘内的整体图片后，自动识别整体图片中所有菜品的实际菜品种类特征，并在预设的菜品名称数据库中调取与实际菜品种类特征对应的标准图片。

其次获取整体图片中与实际菜品种类特征对应的菜品图片，若标准图片与菜品图片之间比对得到的实际相似度位于预设的相似度标准范围内，则说明标准图片与菜品图片中的菜品种类特征相同。

然后在预设的菜品名称数据库中调取与标准图片对应的实际菜品名称和实际消费金额，并生成与整体图片中所有的实际菜品名称对应的菜品账单页面，并将与实际菜品名称对应的实际消费金额添加至菜品账单页面。

最后将菜品账单页面显示在自助结账操作终端，以便于顾客获知所选的菜品总金额进行自助结账；该自动结账方法通过自动识别餐盘内的菜品名称并自动结算餐盘内菜品的总金额，代替了原有的直接对菜品称重的计算方式，有助于避免因菜品打乱而影响计算出准确的消费额度，提高了账单结算的精准性。

基于上述方法，本申请实施例还公开一种基于菜品识别的自动结账系统。

一种基于菜品识别的自动结账系统，如图3所示，自动结账系统包括：

菜品图像采集模块201，用于获取整体图像采集设备实时发送的餐盘整体图像信息，餐盘整体图像信息包括所有菜品位于餐盘内的整体图片；

菜品特征识别模块202，用于识别整体图片中所有菜品的实际菜品种类特征，实际菜品种类特征包括餐盘内对应每个菜品的颜色、表面纹理以及轮廓的几何结构；

标准图片调取模块203，用于在预设的菜品名称数据库中调取与实际菜品种类特征对应的标准图片；

菜品图片截取模块204，用于截取整体图片中与实际菜品种类特征对应的菜品图片；

菜品图片比对模块205；用于将菜品图片与标准图片进行相似度比对，并得到实际相似度；

菜品名称确定模块206，若实际相似度位于预设的相似度标准范围内，则用于在预设的菜品名称数据库中调取与标准图片对应的实际菜品名称和实际消费金额；

菜品账单生成模块207，用于生成与整体图片中所有的实际菜品名称对应的菜品账单页面，并将与实际菜品名称对应的实际消费金额添加至菜品账单页面；

菜品账单显示模块208，用于将菜品账单页面显示在自助结账操作终端。

在一个实施例中，菜品账单显示模块208还用于：

在预设的时间段内，控制旋转设备驱动餐盘旋转，并间隔多次获取局部图像采集设备发送的餐盘局部图像信息，餐盘局部图像信息包括菜品位于餐盘内的局部侧视图片；识别局部侧视图片中所有菜品的局部菜品种类特征；若整体图片中不存在与局部菜品种类特征相同的实际菜品种类特征，则在预设的菜品名称数据库中调取与局部菜品种类特征对应的菜品图片；将菜品图片与局部侧视图片进行相似度比对，并得到复核相似度；若复核相似度位于预设的相似度标准范围内，则将局部菜品种类特征标记为区别菜品种类特征；在预设的菜品名称数据库中调取与区别菜品种类特征对应的区别菜品名称和区别消费金额，并将区别菜品名称和区别消费金额添加至菜品账单页面。

在一个实施例中，菜品账单显示模块208还用于：

获取局部侧视图片中的菜品相对于餐盘的实际高度；若实际高度位于预设的标准高度范围内，则提取局部侧视图片中与区别菜品种类特征对应的区别菜品区域；计算区别菜品区域与局部侧视图片之间的区别菜品占比；若区别菜品占比小于预设的标准占比，则将菜品账单页面中与区别菜品名称对应的区别消费金额修改为零。

在一个实施例中，菜品账单显示模块208还用于：

生成与区别菜品名称对应的不计价相关的提醒信息；将提醒信息显示在自助结账操作终端，并将提醒信息记录在预设的菜品不计价数据库中。

在一个实施例中，菜品账单显示模块208还用于：

检测并获取局部侧视图片的实际清晰度；若实际清晰度位于预设的标准清晰度范围之外，则判定局部图像采集设备存在损坏的情况，发送与局部图像采集设备损坏相关的预警信息至后台管理平台。

在一个实施例中，菜品账单显示模块208还用于：

向局部图像采集设备的摄像头补充风源；在经过预设的第一时间段之后，向局部图像采集设备发送对餐盘侧视方向拍摄的指令；获取局部图像采集设备发送的餐盘局部复核图像信息，餐盘局部复核图像信息包括菜品位于餐盘内的复核图片；检测并获取复核图片的复核清晰度；若复核清晰度位于预设的标准清晰度范围之外，则判定局部图像采集设备存在损坏的情况。

在一个实施例中，菜品账单显示模块208还用于：

生成菜品确认页面并显示在自助结账操作终端上；若在预设的第二时间段内接收到自助结账操作终端发送的菜品确认信息，则统计菜品账单页面中所有实际菜品名称和区别菜品名称的消费总金额；生成与消费总金额对应的支付码，并将支付码显示在自助结账操作终端上。

本申请实施例还公开一种计算机设备。

具体来说，该设备包括存储器和处理器，存储器上存储有能够被处理器加载并执行上述一种基于菜品识别的自动结账方法的计算机程序。

本申请实施例还公开一种计算机可读存储介质。

具体来说，该计算机可读存储介质，其存储有能够被处理器加载并执行如上一种基于菜品识别的自动结账方法的计算机程序，该计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（RandomAccessMemory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种基于菜品识别的自动结账方法，其特征在于，所述方法包括：

获取整体图像采集设备实时发送的餐盘整体图像信息，所述餐盘整体图像信息包括所有菜品位于餐盘内的整体图片；

识别所述整体图片中所有菜品的实际菜品种类特征，所述实际菜品种类特征包括餐盘内对应每个菜品的颜色、表面纹理以及轮廓的几何结构；

在预设的菜品名称数据库中调取与所述实际菜品种类特征对应的标准图片；

截取所述整体图片中与实际菜品种类特征对应的菜品图片；

将所述菜品图片与标准图片进行相似度比对，并得到实际相似度；

若所述实际相似度位于预设的相似度标准范围内，则在预设的菜品名称数据库中调取与所述标准图片对应的实际菜品名称和实际消费金额；

生成与所述整体图片中所有的实际菜品名称对应的菜品账单页面，并将与所述实际菜品名称对应的实际消费金额添加至菜品账单页面；

将所述菜品账单页面显示在自助结账操作终端。

2.根据权利要求1所述的一种基于菜品识别的自动结账方法，其特征在于，在将所述菜品账单页面显示在自助结账操作终端之前，还包括：

在预设的时间段内，控制旋转设备驱动餐盘旋转，并间隔多次获取局部图像采集设备发送的餐盘局部图像信息，所述餐盘局部图像信息包括菜品位于餐盘内的局部侧视图片；

识别所述局部侧视图片中所有菜品的局部菜品种类特征；

若所述整体图片中不存在与局部菜品种类特征相同的实际菜品种类特征，则在预设的菜品名称数据库中调取与所述局部菜品种类特征对应的菜品图片；

将所述菜品图片与所述局部侧视图片进行相似度比对，并得到复核相似度；

若所述复核相似度位于预设的相似度标准范围内，则将所述局部菜品种类特征标记为区别菜品种类特征；

在预设的菜品名称数据库中调取与所述区别菜品种类特征对应的区别菜品名称和区别消费金额，并将所述区别菜品名称和区别消费金额添加至菜品账单页面。

3.根据权利要求2所述的一种基于菜品识别的自动结账方法，其特征在于，在所述将所述区别菜品名称和区别消费金额添加至菜品账单页面之后，还包括：

获取所述局部侧视图片中的菜品相对于餐盘的实际高度；

若所述实际高度位于预设的标准高度范围内，则提取所述局部侧视图片中与区别菜品种类特征对应的区别菜品区域；

计算所述区别菜品区域与所述局部侧视图片之间的区别菜品占比；

若所述区别菜品占比小于预设的标准占比，则将所述菜品账单页面中与区别菜品名称对应的区别消费金额修改为零。

4.根据权利要求3所述的一种基于菜品识别的自动结账方法，其特征在于，在所述将所述菜品账单页面中与区别菜品名称对应的区别消费金额修改为零之后，还包括：

生成与所述区别菜品名称对应的不计价相关的提醒信息；

将所述提醒信息显示在自助结账操作终端，并将所述提醒信息记录在预设的菜品不计价数据库中。

5.根据权利要求2所述的一种基于菜品识别的自动结账方法，其特征在于，在所述识别所述局部侧视图片中所有菜品的局部菜品种类特征之前，还包括：

检测并获取所述局部侧视图片的实际清晰度；

若所述实际清晰度位于预设的标准清晰度范围之外，则判定所述局部图像采集设备存在损坏的情况，发送与所述局部图像采集设备损坏相关的预警信息至后台管理平台。

6.根据权利要求5所述的一种基于菜品识别的自动结账方法，其特征在于，所述判定所述局部图像采集设备存在损坏的情况，包括：

向所述局部图像采集设备的摄像头补充风源；

在经过预设的第一时间段之后，向所述局部图像采集设备发送对餐盘侧视方向拍摄的指令；

获取所述局部图像采集设备发送的餐盘局部复核图像信息，所述餐盘局部复核图像信息包括菜品位于餐盘内的复核图片；

检测并获取所述复核图片的复核清晰度；

若所述复核清晰度位于预设的标准清晰度范围之外，则判定所述局部图像采集设备存在损坏的情况。

7.根据权利要求1所述的一种基于菜品识别的自动结账方法，其特征在于，在所述将所述菜品账单页面显示在自助结账操作终端之后，还包括：

生成菜品确认页面并显示在所述自助结账操作终端上；

若在预设的第二时间段内接收到自助结账操作终端发送的菜品确认信息，则统计所述菜品账单页面中所有实际菜品名称和区别菜品名称的消费总金额；

生成与所述消费总金额对应的支付码，并将所述支付码显示在自助结账操作终端上。

8.一种基于菜品识别的自动结账系统，其特征在于，所述系统包括：

菜品图像采集模块（201），用于获取整体图像采集设备实时发送的餐盘整体图像信息，所述餐盘整体图像信息包括所有菜品位于餐盘内的整体图片；

菜品特征识别模块（202），用于识别所述整体图片中所有菜品的实际菜品种类特征，所述实际菜品种类特征包括餐盘内对应每个菜品的颜色、表面纹理以及轮廓的几何结构；

标准图片调取模块（203），用于在预设的菜品名称数据库中调取与所述实际菜品种类特征对应的标准图片；

菜品图片截取模块（204），用于截取所述整体图片中与实际菜品种类特征对应的菜品图片；

菜品图片比对模块（205）；用于将所述菜品图片与标准图片进行相似度比对，并得到实际相似度；

菜品名称确定模块（206），若所述实际相似度位于预设的相似度标准范围内，则用于在预设的菜品名称数据库中调取与所述标准图片对应的实际菜品名称和实际消费金额；

菜品账单生成模块（207），用于生成与所述整体图片中所有的实际菜品名称对应的菜品账单页面，并将与所述实际菜品名称对应的实际消费金额添加至菜品账单页面；

菜品账单显示模块（208），用于将所述菜品账单页面显示在自助结账操作终端。

9.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种基于菜品识别的自动结账方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种基于菜品识别的自动结账方法的计算机程序。

Images