CN115331217B - 一种餐食结算方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种餐食结算方法、装置、设备及介质。该方法包括：若检测到餐食结算事件，则获取目标区域的餐食图像；根据所述餐食图像，确定至少一组候选识别结果；响应于客户端的识别结果确定操作，在至少一组候选识别结果中确定目标识别结果；根据所述目标识别结果，确定餐食结算金额。本技术方案解决了解决餐食结算效率低的问题，可以在提高餐食结算效率的同时，有效降低用餐场所人工成本，避免收益损失。

Description

一种餐食结算方法、装置、设备及介质

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种餐食结算方法、装置、设备及介质。

背景技术

目前，企业、工厂以及学校等单位的用餐场所，餐食结算主要依靠餐食结算与人工核验相结合的方式，由于菜品种类繁多，餐食结算精度无法保证，存在一定的错误率。用餐场所通常配备作业人员对餐食结算结果进行核验，在餐食结算错误时进行金额修改。

但是，在餐食结算错误的场景下，需要人工进行金额修改，大大影响了结算效率，尤其是在就餐高峰，作业人员容易出现漏检、误检等情况，进而造成单位的经济损失。

发明内容

本发明提供了一种餐食结算方法、装置、设备及介质，以解决餐食结算效率低的问题，可以在提高餐食结算效率的同时，有效降低用餐场所人工成本，避免收益损失。

根据本发明的一方面，提供了一种餐食结算方法，所述方法包括：

若检测到餐食结算事件，则获取目标区域的餐食图像；

根据所述餐食图像，确定至少一组候选识别结果；

响应于客户端的识别结果确定操作，在至少一组候选识别结果中确定目标识别结果；

根据所述目标识别结果，确定餐食结算金额。

根据本发明的另一方面，提供了一种餐食结算装置，该装置包括：

餐食图像获取模块，用于若检测到餐食结算事件，则获取目标区域的餐食图像；

候选识别结果确定模块，用于根据所述餐食图像，确定至少一组候选识别结果；

目标识别结果确定模块，用于响应于客户端的识别结果确定操作，在至少一组候选识别结果中确定目标识别结果；

餐食结算金额确定模块，用于根据所述目标识别结果，确定餐食结算金额。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的餐食结算方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的餐食结算方法。

本发明实施例的技术方案，通过在检测到餐食结算事件时，获取目标区域的餐食图像；然后根据餐食图像，确定至少一组候选识别结果；再由客户端进行识别结果确定操作，在至少一组候选识别结果中确定目标识别结果，最后根据目标识别结果，确定餐食结算金额。该方案中用餐人员可以自行进行餐食结算，无需配备结算人员，解决餐食结算效率低的问题，可以在提高餐食结算效率的同时，有效降低用餐场所人工成本，避免收益损失。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种餐食结算方法的流程图；

图2是根据本发明实施例二提供的一种餐食结算方法的流程图；

图3是根据本发明实施例三提供的一种餐食结算装置的结构示意图；

图4是实现本发明实施例的餐食结算方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、设备、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

实施例一

图1为本发明实施例一提供了一种餐食结算方法的流程图，本实施例可适用于用餐场所就餐高峰时段的餐食结算场景，该方法可以由餐食结算装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于电子设备中。如图1所示，该方法包括：

S110、若检测到餐食结算事件，则获取目标区域的餐食图像。

本方案可以由餐食结算系统执行，餐食结算系统可以包括餐食检测设备，例如重力传感器、视觉传感器等。用户可以在选餐结束之后，将餐食放置于餐食放置区域内，餐食结算系统可以通过餐食检测设备检测餐食放置区域内是否放置了餐食。餐食结算系统还可以为客户端配置开始识别按钮，用户可以通过按下开始识别按钮触发餐食结算。

其中，所述餐食结算事件可以是餐食检测设备检测到餐食放置区域内放置了餐食，也可以是检测到开始识别按钮按下，还可以是在检测到餐食放置区域存在餐食的同时，检测到开始识别按钮按下。如果检测到餐食结算事件，餐食结算系统可以通过视觉传感器获取目标区域的餐食图像。其中，所述目标区域可以是餐食放置区域。

S120、根据所述餐食图像，确定至少一组候选识别结果。

容易理解的，所述餐食图像可以包括一个或多个菜品。餐食结算系统可以基于菜品检测模型对餐食图像进行菜品检测，得到各菜品的识别结果。菜品检测模型可以是基于公开的菜品数据集进行训练得到的，也可以是基于自建菜品数据集训练得到的。菜品检测模型可以是基于YOLO、SSD等一阶段目标检测算法构建的模型，也可以是基于Faster R-CNN等两阶段目标检测算法构建的模型。

其中，每个菜品的识别结果可以是一个也可以包括多个。根据各菜品的识别结果，餐食结算系统可以生成一组或多组餐食的候选识别结果。餐食结算系统可以将候选识别结果显示在客户端，以便用户进行选择和确定。所述候选识别结果可以包括菜品名称、菜品编号、菜品的至少一个识别结果以及菜品各识别结果的置信度等信息。

S130、响应于客户端的识别结果确定操作，在至少一组候选识别结果中确定目标识别结果。

用户可以通过客户端的交互设备在各菜品的识别结果中选择一个目标菜品识别结果。相应的，餐食结算系统可以响应客户端的识别结果确定操作，在候选识别结果中确定目标识别结果。

用户根据餐食结算系统提供的候选识别结果，确定目标识别结果，可以大大降低了错误结算的概率，无需结算人员对用户的餐食识别结果进行核实，进而有效节约结算时间，实现快速结算，有利于缓解就餐高峰的结算压力。

S140、根据所述目标识别结果，确定餐食结算金额。

餐食结算系统可以预先存储有各菜品的单价，目标识别结果包括至少一个菜品目标识别结果。根据各菜品目标识别结果和各菜品单价，餐食结算系统可以计算得到餐食总价，即餐食需要结算的金额。

在本方案中，可选的，所述识别结果包括至少一个菜品识别结果；

所述根据所述餐食图像，确定至少一组候选识别结果，包括：

基于菜品检测模型，对所述餐食图像进行菜品检测，得到至少一个菜品图像；

基于菜品识别模型，对各菜品图像进行菜品识别，分别得到各菜品图像的至少一个候选菜品识别结果；

根据各菜品图像的至少一个候选菜品识别结果，确定至少一组候选识别结果。

可以理解的，餐食结算系统可以先基于菜品检测模型对餐食图像进行菜品检测，得到各菜品在餐食图像中的分布。根据菜品检测结果，例如菜品检测框，餐食结算系统可以在餐食图像中获取菜品图像。

在得到菜品图像之后，餐食结算系统可以基于菜品识别模型，对各菜品图像进行菜品识别，得到各菜品的一个或多个候选菜品识别结果。在一个可行的方案中，所述菜品识别模型可以是菜品分类模型，所述候选菜品识别结果可以是菜品分类结果。餐食结算系统可以将各菜品图像依次输入预先训练的菜品分类模型中，输出各菜品图像的分类结果。餐食结算系统可以根据分类结果，按照分类概率的排列顺序，确定一个或多个候选菜品识别结果。具体的，餐食结算系统可以选取分类概率大于预设概率阈值的类别作为候选菜品识别结果，将各候选菜品识别结果按照分类概率从大到小的顺序进行排列。其中，所述菜品分类模型可以是基于深度学习算法构建的分类模型，例如基于卷积神经网络的分类模型。需要说明的是，菜品图像可以是大小不一，形状各异的，因此分类模型在输入菜品图像时可以读取图像格式，根据图像大小、形状等属性，进行自适应的特征提取和分类识别。

在另一个可行的方案中，所述菜品识别模型可以是菜品特征对比模型，所述候选菜品识别结果可以是基于菜品特征与预先构建的菜品特征集合中各特征的相似度确定的。餐食结算系统可以利用特征提取模型对菜品图像进行特征提取，得到菜品特征。基于预先构建的菜品特征集合，餐食结算系统可以计算菜品特征与菜品特征集合中各特征的余弦距离，将各余弦距离作为菜品特征与各特征的相似度。餐食结算系统可以选取相似度大于预设相似度阈值的特征对应的菜品类别作为候选菜品识别结果，将各候选菜品识别结果按照相似度从大到小的顺序进行排列。

根据各菜品图像的至少一个候选菜品识别结果，餐食结算系统可以生成餐食图像的至少一组候选识别结果。

本方案通过菜品检测模型和菜品识别模型，可以有效提高菜品图像的识别准确率。

在本方案中，在确定餐食结算金额之后，所述方法还包括：

根据餐食图像、至少一组候选识别结果、目标识别结果以及餐食结算金额，生成结算日志，发送至管理端；

响应于管理端的异常结算确定操作，确定异常结算信息，并将所述异常结算信息发送至预先获取的目标地址。

在得到餐食结算金额之后，餐食结算系统可以基于餐食图像、至少一组候选识别结果、目标识别结果以及餐食结算金额，生成结算日志，并将结算日志发送至管理端，以便管理人员对结算记录进行核实检查。餐食结算系统可以根据历史结算日志的统计数据，将识别精度差的菜品类别的关联结算日志发送至管理端，以进行针对性核查。

管理人员可以通过管理端对结算日志进行核查，如果发现结算日志中存在识别错误、单价错误等问题，可以将该结算日志标记为异常，并生成异常结算信息。其中，所述异常结算信息可以包括结算账户、结算时间、异常类型以及损失金额等信息。餐食结算系统可以根据结算账户确定目标地址。其中，所述目标地址可以是与结算账户绑定的用户联系地址，例如邮箱地址、联系电话等。餐食结算系统可以将异常结算信息发送至目标地址以通知用户进行补充结算。

本方案在用户进行结算之后，对结算日志进行异常审核，可以弥补餐食自动化结算的不足，有效避免用户和餐食提供单位的经济损失。

本技术方案通过在检测到餐食结算事件时，获取目标区域的餐食图像；然后根据餐食图像，确定至少一组候选识别结果；再由客户端进行识别结果确定操作，在至少一组候选识别结果中确定目标识别结果，最后根据目标识别结果，确定餐食结算金额。该方案中用餐人员可以自行进行餐食结算，无需配备结算人员，解决餐食结算效率低的问题，可以在提高餐食结算效率的同时，有效降低用餐场所人工成本，避免收益损失。

实施例二

图2为本发明实施例二提供了一种餐食结算方法的流程图，本实施例以上述实施例为基础进行细化。如图2所示，该方法包括：

S210、若检测到餐食结算事件，则获取目标区域的餐食图像。

S220、基于菜品检测模型，对所述餐食图像进行菜品检测，得到至少一个菜品图像。

S230、基于菜品识别模型，对各菜品图像进行菜品识别，分别得到各菜品图像的至少一个候选菜品识别结果。

具体的，所述基于菜品识别模型，对各菜品图像进行菜品识别，分别得到各菜品图像的至少一个候选菜品识别结果，包括：

基于菜品整体识别模型，对菜品图像进行菜品整体识别，得到所述菜品图像的至少一个第一候选菜品识别结果；

若第一候选菜品识别结果的数量大于预设反馈结果数量阈值，则基于菜品细节识别模型，对所述菜品图像进行菜品细节识别，得到所述菜品图像的至少一个第二候选菜品识别结果；

根据第一候选菜品识别结果和第二候选菜品识别结果，确定所述菜品图像的至少一个候选菜品识别结果；其中，候选菜品识别结果的数量小于或等于预设反馈结果数量阈值。

餐食结算系统可以集合菜品图像的多方面特征，确定菜品图像的候选菜品识别结果。可以理解的，所述菜品整体识别模型可以是对菜品图像进行菜品类型识别的分类模型。餐食结算系统可以将菜品图像输入预先训练的菜品整体识别模型中，输出菜品图像的分类结果。餐食结算系统可以根据分类结果，按照分类概率的排列顺序，确定至少一个第一候选菜品识别结果。具体的，餐食结算系统可以选取分类概率大于预设概率阈值的类别作为第一候选菜品识别结果，将各第一候选菜品识别结果按照分类概率从大到小的顺序进行排列。

如果第一候选菜品识别结果的数量小于或等于预设反馈结果数量阈值，例如第一候选菜品识别结果的数量为3个，预设反馈结果数量阈值为5个，说明菜品整体识别模型对于菜品图像的识别已经限定到一个合理的结果范围，无需再进行菜品细节识别。

如果第一候选菜品识别结果的数量大于预设反馈结果数量阈值，例如第一候选菜品识别结果的数量为10个，预设反馈结果数量阈值为5个，说明菜品整体识别模型对于菜品图像的识别得到的结果范围过大，识别精度不能满足需求，需要进行菜品细节识别以剔除错误识别结果，缩小识别结果范围。

餐食结算系统可以基于菜品细节识别模型，确定菜品图像的细节特征，并根据细节特征，得到菜品图像的至少一个第二候选菜品识别结果。餐食结算系统可以取第一候选菜品识别结果和第二候选菜品识别结果的交集，如果交集中识别结果元素数量小于或等于预设反馈结果数量阈值，则直接将交集中各识别结果元素作为菜品图像的候选菜品识别结果。如果交集中识别结果元素数量大于预设反馈结果数量阈值，则可以根据第一候选菜品识别结果和/或第二候选菜品识别结果匹配的置信度，确定满足预设反馈结果数量阈值的候选菜品识别结果。

该方案可以在菜品图像整体识别结果不满足精度需求时，对菜品图像进行细节识别，有利于根据细节特征筛选第一候选菜品识别结果，提高菜品图像的识别准确率。

在一个可行的方案中，所述基于菜品整体识别模型，对菜品图像进行菜品整体识别，得到所述菜品图像的至少一个第一候选菜品识别结果，包括：

基于菜品整体识别模型，对菜品图像进行菜品整体特征提取，得到菜品整体特征；

计算所述菜品整体特征与菜品整体特征集合中各特征的相似度；

根据各特征对应的相似度和各特征关联的菜品类别，确定所述菜品图像的至少一个第一候选菜品识别结果。

在本方案中，所述菜品整体识别模型可以是整体特征提取模型，其中，所述整体特征提取模型可以是基于深度学习算法构建的，例如卷积神经网络，也可以是基于传统图形学算法构建的，例如尺度不变特征变换。

餐食结算系统可以利用整体特征提取模型对菜品图像进行整体特征提取，得到菜品整体特征。基于预先构建的菜品整体特征集合，餐食结算系统可以计算菜品整体特征与菜品整体特征集合中各特征的相似度。餐食结算系统可以选取相似度大于预设相似度阈值的特征对应的菜品类别作为第一候选菜品识别结果，将各第一候选菜品识别结果按照相似度从大到小的顺序进行排列。

本方案得到至少一个第一候选菜品识别结果，可以提供多个可能的菜品识别结果，有效避免的单一菜品识别结果造成的餐食计算错误。

在一个优选的方案中，所述菜品细节识别模型包括至少一个识别分支；

所述基于菜品细节识别模型，对所述菜品图像进行菜品细节识别，得到所述菜品图像的至少一个第二候选菜品识别结果，包括：

基于菜品细节识别模型的各识别分支，确定所述菜品图像的至少一类菜品细节特征；

根据至少一类菜品细节特征，确定所述菜品图像的至少一个第二候选菜品识别结果。

根据第一候选菜品识别结果的数量，菜品细节识别模型可以包括一个或多个识别分支，每个识别分支可以用于提取菜品图像的一类菜品细节特征。可选的，所述菜品细节特征可以包括颜色特征、形状特征以及辅料特征等。所述颜色特征可以包括菜品图像存在的颜色种类和数量，例如菜品图像存在橙色和绿色两种颜色。所述形状特征可以包括菜品图像中菜品的形状，例如片状、条状等。所述辅料特征可以是菜品图像中存在的辅料类型，例如胡萝卜、青椒等。

餐食结算系统针对各菜品细节特征可以得到第二候选菜品识别结果。具体的，如果菜品细节识别模型包括一个识别分支，餐食结算系统可以得到一类菜品细节特征，例如颜色特征。与菜品整体识别类似的，基于菜品颜色特征，餐食结算系统可以在菜品颜色特征集合中，确定一个针对菜品颜色特征的候选菜品识别结果集合。所述候选菜品识别结果集合中的各候选菜品识别结果可以作为第二候选菜品识别结果。

如果菜品细节识别模型包括多个识别分支，例如两个识别分支。餐食结算系统可以得到多类菜品细节特征，例如颜色特征和形状特征。基于上述两类菜品细节特征，餐食结算系统可以在菜品颜色特征集合和菜品形状特征集合中，分别确定针对菜品颜色特征的候选菜品识别结果集合以及针对菜品形状特征的候选菜品识别结果集合。餐食结算系统可以取上述两个候选菜品识别结果集合的交集中的候选菜品识别结果可以作为第二候选菜品识别结果。

上述方案基于菜品细节特征可以为菜品图像确定一个合理的识别结果范围，有利于提高餐食的识别精度，进而实现准确的餐食结算。

S240、根据各菜品图像的至少一个候选菜品识别结果，确定至少一组候选识别结果。

S250、响应于客户端的识别结果确定操作，在至少一组候选识别结果中确定目标识别结果。

S260、根据所述目标识别结果，确定餐食结算金额。

S270、根据餐食图像、至少一组候选识别结果、目标识别结果以及餐食结算金额，生成结算日志，发送至管理端。

S280、响应于管理端的异常结算确定操作，确定异常结算信息，并将所述异常结算信息发送至预先获取的目标地址。

需要说明的是，餐食结算系统还可以将餐食图像、至少一组候选识别结果以及用户确定的目标识别结果作为学习样本，对菜品识别、菜品检测等模型进行周期性学习，以不断提升模型的鲁棒性和输出结果的准确性。

本技术方案通过在检测到餐食结算事件时，获取目标区域的餐食图像；然后根据餐食图像，确定至少一组候选识别结果；再由客户端进行识别结果确定操作，在至少一组候选识别结果中确定目标识别结果，最后根据目标识别结果，确定餐食结算金额。该方案中用餐人员可以自行进行餐食结算，无需配备结算人员，解决餐食结算效率低的问题，可以在提高餐食结算效率的同时，有效降低用餐场所人工成本，避免收益损失。

实施例三

图3为本发明实施例三提供的一种餐食结算装置的结构示意图。如图3所示，该装置包括：

餐食图像获取模块310，用于若检测到餐食结算事件，则获取目标区域的餐食图像；

候选识别结果确定模块320，用于根据所述餐食图像，确定至少一组候选识别结果；

目标识别结果确定模块330，用于响应于客户端的识别结果确定操作，在至少一组候选识别结果中确定目标识别结果；

餐食结算金额确定模块340，用于根据所述目标识别结果，确定餐食结算金额。

在本方案中，可选的，所述识别结果包括至少一个菜品识别结果；

所述候选识别结果确定模块320，包括：

菜品图像生成单元，用于基于菜品检测模型，对所述餐食图像进行菜品检测，得到至少一个菜品图像；

候选菜品识别结果确定单元，用于基于菜品识别模型，对各菜品图像进行菜品识别，分别得到各菜品图像的至少一个候选菜品识别结果；

候选识别结果确定单元，用于根据各菜品图像的至少一个候选菜品识别结果，确定至少一组候选识别结果。

在上述方案的基础上，可选的，所述候选菜品识别结果确定单元，包括：

第一候选菜品识别结果确定子单元，用于基于菜品整体识别模型，对菜品图像进行菜品整体识别，得到所述菜品图像的至少一个第一候选菜品识别结果；

第二候选菜品识别结果确定子单元，用于若第一候选菜品识别结果的数量大于预设反馈结果数量阈值，则基于菜品细节识别模型，对所述菜品图像进行菜品细节识别，得到所述菜品图像的至少一个第二候选菜品识别结果；

候选菜品识别结果确定子单元，用于根据第一候选菜品识别结果和第二候选菜品识别结果，确定所述菜品图像的至少一个候选菜品识别结果；其中，候选菜品识别结果的数量小于或等于预设反馈结果数量阈值。

在一个可行的方案中，所述菜品细节识别模型包括至少一个识别分支；

所述基第二候选菜品识别结果确定子单元，具体用于：

基于菜品细节识别模型的各识别分支，确定所述菜品图像的至少一类菜品细节特征；

根据至少一类菜品细节特征，确定所述菜品图像的至少一个第二候选菜品识别结果。

在上述方案的基础上，可选的，所述菜品细节特征包括颜色特征、形状特征以及辅料特征中的至少一类。

在本方案中，可选的，所述第一候选菜品识别结果确定子单元，具体用于：

基于菜品整体识别模型，对菜品图像进行菜品整体特征提取，得到菜品整体特征；

计算所述菜品整体特征与菜品整体特征集合中各特征的相似度；

根据各特征对应的相似度和各特征关联的菜品类别，确定所述菜品图像的至少一个第一候选菜品识别结果。

在一个优选的方案中，所述装置还包括：

结算日志生成模块，用于根据餐食图像、至少一组候选识别结果、目标识别结果以及餐食结算金额，生成结算日志，发送至管理端；

异常结算信息发送模块，用于响应于管理端的异常结算确定操作，确定异常结算信息，并将所述异常结算信息发送至预先获取的目标地址。

本发明实施例所提供的餐食结算装置可执行本发明任意实施例所提供的餐食结算方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4示出了可以用来实施本发明的实施例的电子设备410的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备410包括至少一个处理器411，以及与至少一个处理器411通信连接的存储器，如只读存储器(ROM)412、随机访问存储器(RAM)413等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器411可以根据存储在只读存储器(ROM)412中的计算机程序或者从存储单元418加载到随机访问存储器(RAM)413中的计算机程序，来执行各种适当的动作和处理。在RAM 413中，还可存储电子设备410操作所需的各种程序和数据。处理器411、ROM 412以及RAM 413通过总线414彼此相连。输入/输出(I/O)接口415也连接至总线414。

电子设备410中的多个部件连接至I/O接口415，包括：输入单元416，例如键盘、鼠标等；输出单元417，例如各种类型的显示器、扬声器等；存储单元418，例如磁盘、光盘等；以及通信单元419，例如网卡、调制解调器、无线通信收发机等。通信单元419允许电子设备410通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器411可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器411的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器411执行上文所描述的各个方法和处理，例如餐食结算方法。

在一些实施例中，餐食结算方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元418。在一些实施例中，计算机程序的部分或者全部可以经由ROM 412和/或通信单元419而被载入和/或安装到电子设备410上。当计算机程序加载到RAM 413并由处理器411执行时，可以执行上文描述的餐食结算方法的一个或多个步骤。备选地，在其他实施例中，处理器411可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行餐食结算方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (6)

1.一种餐食结算方法，其特征在于，所述方法包括：

若检测到餐食结算事件，则获取目标区域的餐食图像；

根据所述餐食图像，确定至少一组候选识别结果；

其中，所述识别结果包括至少一个菜品识别结果； 所述根据所述餐食图像，确定至少一组候选识别结果，包括：

基于菜品检测模型，对所述餐食图像进行菜品检测，得到至少一个菜品图像；

基于菜品识别模型，对各菜品图像进行菜品识别，分别得到各菜品图像的至少一个候选菜品识别结果；

根据各菜品图像的至少一个候选菜品识别结果，确定至少一组候选识别结果；

其中，所述基于菜品识别模型，对各菜品图像进行菜品识别，分别得到各菜品图像的至少一个候选菜品识别结果，包括：

基于菜品整体识别模型，对菜品图像进行菜品整体识别，得到所述菜品图像的至少一个第一候选菜品识别结果；

若第一候选菜品识别结果的数量大于预设反馈结果数量阈值，则基于菜品细节识别模型，对所述菜品图像进行菜品细节识别，得到所述菜品图像的至少一个第二候选菜品识别结果；

根据第一候选菜品识别结果和第二候选菜品识别结果，确定所述菜品图像的至少一个候选菜品识别结果；其中，候选菜品识别结果的数量小于或等于预设反馈结果数量阈值；

其中，所述菜品细节识别模型包括至少一个识别分支；

所述基于菜品细节识别模型，对所述菜品图像进行菜品细节识别，得到所述菜品图像的至少一个第二候选菜品识别结果，包括：

基于菜品细节识别模型的各识别分支，确定所述菜品图像的至少一类菜品细节特征；

根据至少一类菜品细节特征，确定所述菜品图像的至少一个第二候选菜品识别结果；

响应于客户端的识别结果确定操作，在至少一组候选识别结果中确定目标识别结果；

根据所述目标识别结果，确定餐食结算金额；

其中，所述菜品细节特征包括颜色特征、形状特征以及辅料特征中的至少一类。

2.根据权利要求1所述的方法，其特征在于，所述基于菜品整体识别模型，对菜品图像进行菜品整体识别，得到所述菜品图像的至少一个第一候选菜品识别结果，包括：

基于菜品整体识别模型，对菜品图像进行菜品整体特征提取，得到菜品整体特征；

计算所述菜品整体特征与菜品整体特征集合中各特征的相似度；

根据各特征对应的相似度和各特征关联的菜品类别，确定所述菜品图像的至少一个第一候选菜品识别结果。

3.根据权利要求1所述的方法，其特征在于，在确定餐食结算金额之后，所述方法还包括：

根据餐食图像、至少一组候选识别结果、目标识别结果以及餐食结算金额，生成结算日志，发送至管理端；

响应于管理端的异常结算确定操作，确定异常结算信息，并将所述异常结算信息发送至预先获取的目标地址。

4.一种餐食结算装置，其特征在于，所述装置包括：

餐食图像获取模块，用于若检测到餐食结算事件，则获取目标区域的餐食图像；

候选识别结果确定模块，用于根据所述餐食图像，确定至少一组候选识别结果；

其中，所述识别结果包括至少一个菜品识别结果；所述候选识别结果确定模块，包括：

菜品图像生成单元，用于基于菜品检测模型，对所述餐食图像进行菜品检测，得到至少一个菜品图像；

候选菜品识别结果确定单元，用于基于菜品识别模型，对各菜品图像进行菜品识别，分别得到各菜品图像的至少一个候选菜品识别结果；

候选识别结果确定单元，用于根据各菜品图像的至少一个候选菜品识别结果，确定至少一组候选识别结果；

其中，所述候选菜品识别结果确定单元，包括：

第一候选菜品识别结果确定子单元，用于基于菜品整体识别模型，对菜品图像进行菜品整体识别，得到所述菜品图像的至少一个第一候选菜品识别结果；

第二候选菜品识别结果确定子单元，用于若第一候选菜品识别结果的数量大于预设反馈结果数量阈值，则基于菜品细节识别模型，对所述菜品图像进行菜品细节识别，得到所述菜品图像的至少一个第二候选菜品识别结果；

候选菜品识别结果确定子单元，用于根据第一候选菜品识别结果和第二候选菜品识别结果，确定所述菜品图像的至少一个候选菜品识别结果；其中，候选菜品识别结果的数量小于或等于预设反馈结果数量阈值；

其中，所述菜品细节识别模型包括至少一个识别分支；所述第二候选菜品识别结果确定子单元，具体用于：

基于菜品细节识别模型的各识别分支，确定所述菜品图像的至少一类菜品细节特征；

根据至少一类菜品细节特征，确定所述菜品图像的至少一个第二候选菜品识别结果；

目标识别结果确定模块，用于响应于客户端的识别结果确定操作，在至少一组候选识别结果中确定目标识别结果；

餐食结算金额确定模块，用于根据所述目标识别结果，确定餐食结算金额；

其中，所述菜品细节特征包括颜色特征、形状特征以及辅料特征中的至少一类。

5.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的餐食结算方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-3中任一项所述的餐食结算方法。

Images