CN111080493A - 一种菜品信息识别方法、装置及菜品自助结算系统 - Google Patents

一种菜品信息识别方法、装置及菜品自助结算系统 Download PDF

Info

Publication number
CN111080493A
CN111080493A CN201811213299.3A CN201811213299A CN111080493A CN 111080493 A CN111080493 A CN 111080493A CN 201811213299 A CN201811213299 A CN 201811213299A CN 111080493 A CN111080493 A CN 111080493A
Authority
CN
China
Prior art keywords
dishes
image
target
dish
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811213299.3A
Other languages
English (en)
Other versions
CN111080493B (zh
Inventor
龚晖
童俊艳
任烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811213299.3A priority Critical patent/CN111080493B/zh
Publication of CN111080493A publication Critical patent/CN111080493A/zh
Application granted granted Critical
Publication of CN111080493B publication Critical patent/CN111080493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种菜品信息识别方法、装置及菜品自助结算系统。所述方法应用于图像采集设备，所述图像采集设备的采集区域包括用于放置待结算菜品的识别区域，所述方法包括：检测所述图像采集设备采集的实时画面是否满足预设条件；其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件；当满足所述预设条件时，拍摄关于所述识别区域的目标图像；识别所述目标图像中所包含的菜品的菜品信息。应用本发明实施例能够实现提高菜品信息的识别准确性的目的。

Description

一种菜品信息识别方法、装置及菜品自助结算系统
技术领域
本发明涉及计算机视觉领域，特别是涉及一种菜品信息识别方法、装置及菜品自助结算系统。
背景技术
面对现代化的生活节奏，为了满足人们高效率的就餐需求，自选餐厅成为一种较为重要的餐饮模式。自选餐厅将制作好的菜品盛装于各个餐盘内，再整齐罗列于选区内，顾客只需拿着托盘按照喜好挑选多个盛装有菜品的餐盘，进行结算后即可享用。由于这种模式方便快捷且自由度高，应用范围几乎涵盖产业园区、企业工厂、国家机关、学校、医院及军队等各种组织单位，市场规模也在不断扩大。
为了提高自选餐厅的结算效率并节约人工成本，越来越多的自选餐厅使用菜品自助结算系统来实现结算。具体的，菜品自助结算系统涉及菜品识别和菜品结算两大数据处理部分，其中，所谓的菜品识别为：识别待结算的各个菜品的菜品信息，而所谓的菜品结算为：根据识别到的菜品信息计算结算金额，进而，对所计算的结算金额进行结算。
其中，采用图像分析技术来进行菜品识别，是一种常见的菜品识别方式。现有技术中，基于图像分析技术的菜品识别方法包括：首先，当盛装有菜品的餐盘被放置于识别区域时，设置于识别区域上的压力传感器感应到餐盘的重力，触发图像采集设备拍摄含有多个餐盘的图像；其次，图像采集设备识别图像中所包含的菜品的菜品信息，该菜品信息包括菜品的类别和每一类别的菜品的数量。
可见，在上述识别过程中，图像采集设备在接收到压力传感器的触发信号时执行拍摄图像的操作，所拍摄的图像的质量无法得到有效控制，比如，可能拍摄到菜品被遮挡的图像、餐盘运动的模糊图像或光照变化导致的清晰度差的图像等。将这些图像用于后续菜品信息识别，会降低菜品信息识别的准确性，继而导致结算的准确性差。
发明内容
本发明实施例的目的在于提供一种菜品信息识别方法、装置及菜品自助结算系统，以实现提高菜品信息的识别准确性的目的。具体技术方案如下：
第一方面，本发明实施例提供了一种菜品信息识别方法，所述方法应用于图像采集设备，所述图像采集设备的采集区域包括用于放置待结算菜品的识别区域，所述方法包括：
检测所述图像采集设备采集的实时画面是否满足预设条件；其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件；
当满足所述预设条件时，拍摄关于所述识别区域的目标图像；
识别所述目标图像中所包含的菜品的菜品信息。
可选的，所述预设条件还包括：菜品数量和菜品位置均稳定。
可选的，检测所述图像采集设备采集的实时画面是否满足：存在菜品，包括：
基于预设的餐盘特征，检测所述图像采集设备采集的实时画面中，是否存在餐盘，如果检测结果为是，检测到所述图像采集设备采集的实时画面满足：存在菜品。
可选的，所述画面质量符合预定质量条件包括：
画面的清晰度高于预定阈值，并且画面中的菜品均未遮挡。
可选的，检测所述图像采集设备采集的实时画面是否满足：画面的清晰度高于预定阈值，包括：
针对所述图像采集设备采集的实时画面，提取目标类型的图像特征，得到表征图像清晰度的数值；其中，所述目标类型的图像特征为表征图像清晰度的图像特征；
当所述数值高于预定阈值时，检测到所述图像采集设备采集的实时画面满足：画面的清晰度高于预定阈值；
或者，
将所述图像采集设备采集的实时画面输入至预先训练的第一神经网络模型，得到输出结果；
当所述输出结果表明清晰度高于预定阈值时，检测到所述图像采集设备采集的实时画面满足：画面的清晰度高于预定阈值；
其中，所述第一神经网络模型用于识别画面的清晰度是否高于预定阈值。
可选的，检测所述图像采集设备采集的实时画面是否满足：画面中的菜品均未遮挡，包括：
识别所述图像采集设备采集的实时画面中的各个餐盘，得到各个餐盘的位置信息；
根据每个餐盘的位置信息，确定该餐盘对应的餐盘图像；
针对每一餐盘图像，将该餐盘图像输入至预先训练的第二神经网络模型，得到该餐盘图像对应的遮挡结果；其中，所述第二神经网络模型用于判断餐盘图像对应的餐盘是否被遮挡；
当各个餐盘图像对应的遮挡结果均为未遮挡时，检测到所述图像采集设备采集的实时画面满足：画面中的菜品均未遮挡。
可选的，检测所述图像采集设备采集的实时画面是否满足：菜品数量和菜品位置均稳定，包括：
确定所述图像采集设备采集的实时画面中餐盘的数量和各个餐盘的位置信息；
基于所确定的餐盘的数量和各个餐盘的位置信息，判断当前帧实时画面与前N帧连续实时画面是否满足：餐盘数量相同且各个餐盘的位置相同；所述前N帧连续实时画面包括当前帧实时画面的前一帧实时画面；
如果是，检测到所述图像采集设备采集的实时画面满足：菜品数量和菜品位置均稳定。
可选的，所述识别所述目标图像中所包含的菜品的菜品信息，包括：
确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量；或者，
确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，以及确定每一目标类别的菜品所对应的成分和卡路里值。
可选的，所述确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，包括：
将所述目标图像输入至预先训练的第三神经网络模型，得到所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量；
其中，所述第三神经网络模型用于识别图像中菜品的类别和每一类别的菜品的数量。
可选的，所述确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，包括：
将所述目标图像输入至预先训练的第四神经网络模型，得到多个目标特征向量；其中，每一目标特征向量对应于所述目标图像中的一个菜品，所述目标特征向量用于表征所述目标图像中菜品的图像特征，所述第四神经网络模型用于识别图像中菜品的图像特征；
基于所述多个目标特征向量和预先建立的特征向量对应关系，确定每一目标特征向量对应的目标类别；其中，所述特征向量对应关系为：特征向量与菜品的类别的对应关系；
针对每一目标类别，确定对应于该目标类别的目标特征向量的总数量，并将所述总数量作为该目标类别的菜品的目标数量。
可选的，当出现新菜品时，所述特征向量对应关系的更新过程包括：
获得包含该新菜品的样本图像；
将所述样本图像输入至所述第四神经网络模型，得到所述第四神经网络模型输出的样本特征向量；
确定该新菜品的样本类别，并将所述样本特征向量和所述样本类别对应保存至所述特征向量对应关系中，得到更新后的特征向量对应关系。
可选的，所述确定每一目标类别的菜品所对应的成分和卡路里值，包括：
针对每一目标类别的菜品，利用预设的成分对应关系，确定该目标类别的菜品对应的成分；其中，所述预设的成分对应关系为：菜品的类别与菜品的成分的对应关系；
针对每一目标类别的菜品，利用预设的热量对应关系，确定该目标类别的菜品的卡路里值；其中，所述预设的热量对应关系为：菜品的类别与菜品的卡路里值的对应关系。
第二方面，本发明实施例提供了一种菜品信息识别装置，所述装置应用于图像采集设备，所述图像采集设备的采集区域包括用于放置待结算菜品的识别区域，所述装置包括：
检测模块，用于检测所述图像采集设备采集的实时画面是否满足预设条件；其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件；
拍摄模块，用于当满足所述预设条件时，拍摄关于所述识别区域的目标图像；
识别模块，用于识别所述目标图像中所包含的菜品的菜品信息。
第三方面，本发明实施例提供了一种菜品自助结算系统，所述系统包括：图像采集设备和菜品结算子系统，所述图像采集设备的采集区域包括用于放置待结算菜品的识别区域；其中，
所述图像采集设备，用于检测所述图像采集设备采集的实时画面是否满足预设条件；其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件；当满足所述预设条件时，拍摄关于所述识别区域的目标图像；识别所述目标图像中所包含的菜品的菜品信息；
所述菜品结算子系统，用于基于所述图像采集设备所识别到的菜品信息进行菜品结算。
本发明实施例所提供的方案中，首先，图像采集设备检测所述图像采集设备采集的实时画面是否满足预设条件；然后，当满足所述预设条件时，拍摄关于所述识别区域的目标图像；最后，识别所述目标图像中所包含的菜品的菜品信息。本发明实施例所提供的方案，在实时画面满足存在菜品且画面质量符合预定质量条件时，触发拍摄关于所述识别区域的目标图像，用于菜品信息的识别。因此，相比于现有技术，本发明实施例可以有效控制所拍摄的图像的质量，从而实现提高菜品信息的识别准确性的目的。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种菜品信息识别方法的一种流程示意图；
图2为本发明实施例所提供的一种菜品信息识别装置的结构示意图；
图3为本发明实施例所提供的一种图像采集设备的结构示意图；
图4为本发明实施例所提供的一种菜品自助结算系统的结构示意图；
图5为本发明实施例所提供的一种菜品自助结算系统的实体设备示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了实现提高菜品信息的识别准确性的目的，本发明实施例提供了一种菜品信息识别方法、装置、图像采集设备、存储介质及菜品自助结算系统。
需要说明的是，本发明实施例所提供的一种菜品信息识别方法的执行主体可以为一种菜品信息识别装置，所述装置可以运行于图像采集设备中，所述图像采集设备可以包括照相机及摄像机等。
下面，首先对本发明实施例所提供的一种菜品信息识别方法进行介绍。
本发明实施例所提供的一种菜品信息识别方法，应用于图像采集设备，所述图像采集设备的采集区域包括用于放置待结算菜品的识别区域。如图1所示，所述方法可以包括如下步骤：
S101，检测所述图像采集设备采集的实时画面是否满足预设条件；
其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件。
在菜品识别过程中，图像采集设备启动后，可以采集实时画面，该实时画面的画面内容包括用于放置待结算菜品的识别区域。为了解决现有技术问题，本实施例中，图像采集设备可以检测所述图像采集设备采集的实时画面是否满足预设条件，进而在满足预设条件时，执行图像拍摄动作。针对上述预设条件，可以理解的是，实时画面存在菜品才能够识别菜品信息；并且针对现有技术中，可能拍摄到菜品被遮挡的图像、餐盘运动的模糊图像或光照变化导致的清晰度差的图像，本发明实施例提出画面质量符合预定质量条件，是为了对画面质量进行有效控制，从而实现提高菜品信息的识别准确性的目的。
可选的，所述画面质量符合预定质量条件可以包括：画面的清晰度高于预定阈值，并且画面中的菜品均未遮挡，当然并不局限于此。
可选的，为了进一步保证识别的有效性，所述预设条件还包括：菜品数量和菜品位置均稳定。
可以理解的是，在用户将多个待结算的菜品放置于识别区域之后，有可能用户还会变动菜品的数量，如增加菜品、减少菜品，或者变动菜品的位置，那么，变动之前采集的实时画面可能是满足存在菜品且画面质量符合预定质量条件的，但显然该画面对应的并不是待结算的最终状态，使用该画面进行菜品信息识别可能会出现错误。因此，需要检测实时画面是否满足：菜品数量和菜品位置均稳定。菜品数量和菜品位置均稳定可以理解为：在一段时间内，菜品数量和菜品位置没有发生变化。
为了布局清晰以及方案清楚，后续具体说明检测所述图像采集设备采集的实时画面是否满足预设条件的实施步骤。
S102，当满足所述预设条件时，拍摄关于所述识别区域的目标图像；
当满足所述预设条件时，触发所述图像采集设备拍摄关于所述识别区域的目标图像。由于所拍摄的目标图像满足所述预设条件，因此，相比于现有技术来说，本发明实施例的所述目标图像的图像质量较高。
S103，识别所述目标图像中所包含的菜品的菜品信息。
其中，该图像采集设备可以利用预定的识别方式，来识别所述目标图像中所包含的菜品的菜品信息。任何一种能够识别所述目标图像中所包含的菜品的菜品信息实现方式，均可以作为该预定的识别方式。
可选地，在一种实现方式中，所述识别所述目标图像中所包含的菜品的菜品信息，可以包括：
确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量；
在本发明实施例中，菜品的目标类别为菜品的名称，比如一目标类别为西红柿炒鸡蛋；菜品的目标数量为菜品的盘数。
或者，可选地，在另一种实现方式中，所述识别所述目标图像中所包含的菜品的菜品信息，可以包括：
确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，以及确定每一目标类别的菜品所对应的成分和卡路里值。
在本发明实施例中，每一目标类别的菜品所对应的成分为：该目标类别的菜品含有的配料，比如目标类别为西红柿炒鸡蛋的菜品，成分为西红柿和鸡蛋。
每一目标类别的菜品所对应的卡路里值为：一盘该目标类别的菜品所对应的热量值。比如，目标类别为西红柿炒鸡蛋的菜品，所对应的卡路里值为a大卡等。
在本发明实施例中，卡路里值的单位可以为焦耳，也可以为通常所说的大卡，以大写字母C表示。1大卡相当于将1克水在1大气压下由摄氏14.5度提升到15.5度所需的热量，约等于4.1855焦耳，1000卡路里＝4186焦耳的内能。
为了布局清楚和便于方案理解，关于识别所述目标图像中所包含的菜品的菜品信息的具体步骤，在后文中详细说明。
本发明实施例所提供的方案中，首先，图像采集设备检测所述图像采集设备采集的实时画面是否满足预设条件；然后，当满足所述预设条件时，拍摄关于所述识别区域的目标图像；最后，识别所述目标图像中所包含的菜品的菜品信息。本发明实施例所提供的方案，在实时画面满足存在菜品且画面质量符合预定质量条件时，触发拍摄关于所述识别区域的目标图像，用于菜品信息的识别。因此，相比于现有技术，本发明实施例可以有效控制所拍摄的图像的质量，从而实现提高菜品信息的识别准确性的目的。相比于现有技术采用压力传感器触发菜品信息识别，本发明实施例基于对所述图像采集设备采集的实时画面进行分析，触发菜品信息识别，不依赖外界硬件信号的输入，对识别时机的判断更准确，更直观。
以下从四个方面，举例说明检测所述图像采集设备采集的实时画面是否满足预设条件的实施步骤。
1)检测所述图像采集设备采集的实时画面是否满足：存在菜品，包括：
基于预设的餐盘特征，检测所述图像采集设备采集的实时画面中，是否存在餐盘，如果检测结果为是，检测到所述图像采集设备采集的实时画面满足：存在菜品。
由于在本发明实施例中，出现于识别区域的餐盘是待结算的餐盘，而待结算的餐盘中是含有菜品的。因此，如果实时画面中存在餐盘，可以视为存在菜品。对于检测实时画面是否存在餐盘，可以利用预设的餐盘特征，比如关于餐盘形状、颜色及纹理等方面的特征，利用任一种图像特征识别方法，检测所述图像采集设备采集的实时画面中是否存在预设的餐盘特征，如果是，则确定实时画面中存在餐盘，继而确定实时画面中存在菜品。
2)检测所述图像采集设备采集的实时画面是否满足：画面的清晰度高于预定阈值，可以采用以下两种实现方式中的任一种实现方式。当然，该检测过程的实现方式不限于以下所述的两种。
其中，第一种实现方式可以包括步骤a1和步骤a2：
步骤a1，针对所述图像采集设备采集的实时画面，提取目标类型的图像特征，得到表征图像清晰度的数值；
其中，所述目标类型的图像特征为表征图像清晰度的图像特征，所述目标类型的图像特征包括纹理特征和/或梯度特征。
提取所述图像采集设备采集的实时画面的目标类型的图像特征的实现方式存在多种，任何一种能够提取实时画面的目标类型的图像特征的实现方式均可以应用于本发明。比如，可以利用图像特征提取器或者神经网络模型的方式，等等。
步骤a2，当所述数值高于预定阈值时，检测到所述图像采集设备采集的实时画面满足：画面的清晰度高于预定阈值。
其中，第二种实现方式可以包括步骤a3和步骤a4：
步骤a3，将所述图像采集设备采集的实时画面输入至预先训练的第一神经网络模型，得到输出结果；
步骤a4，当所述输出结果表明清晰度高于预定阈值时，检测到所述图像采集设备采集的实时画面满足：画面的清晰度高于预定阈值。
其中，所述第一神经网络模型用于识别画面的清晰度是否高于预定阈值。
所述第一神经网络模型是根据样本图像，以及样本图像对应的画面的清晰度是否高于预定阈值的结果，训练得到的。关于第一神经网络的训练过程，可以在后文中结合其他神经网络模型的训练过程予以理解，在此不再详细说明。
3)检测所述图像采集设备采集的实时画面是否满足：画面中的菜品均未遮挡，可以包括步骤b1-步骤b4：
步骤b1，识别所述图像采集设备采集的实时画面中的各个餐盘，得到各个餐盘的位置信息；
其中，图像采集设备识别所述图像采集设备采集的实时画面中的各个餐盘，得到各个餐盘的位置信息的实现方式存在多种，任何一种能够识别实时画面中的各个餐盘，得到各个餐盘的位置信息的实现方式均可以应用于本发明。
比如，其中一种实现方式可以为：图像采集设备基于预设的餐盘特征，识别实时画面中是否存在餐盘；利用包含餐盘的检测框，在实时画面中对识别出的每个餐盘进行标识；然后，将每个餐盘的检测框边线上的像素点的坐标，作为该餐盘的位置信息。
步骤b2，根据每个餐盘的位置信息，确定该餐盘对应的餐盘图像；
具体的，在上述实现方式中，针对每个餐盘，可以利用该餐盘的检测框边线上的像素点的坐标，截取该餐盘的检测框对应的区域内的图像，获得该餐盘对应的餐盘图像。
步骤b3，针对每一餐盘图像，将该餐盘图像输入至预先训练的第二神经网络模型，得到该餐盘图像对应的遮挡结果；
其中，所述第二神经网络模型用于判断餐盘图像对应的餐盘是否被遮挡。
所述第二神经网络是根据样本餐盘图像及样本餐盘图像是否被遮挡的结果训练得到的。关于第二神经网络的训练过程，可以在后文中结合其他神经网络模型的训练过程予以理解，在此不再详细说明。
步骤b4，当各个餐盘图像对应的遮挡结果均为未遮挡时，检测到所述图像采集设备采集的实时画面满足：画面中的菜品均未遮挡。
4)检测所述图像采集设备采集的实时画面是否满足：菜品数量和菜品位置均稳定，可以包括步骤c1-步骤c2：
步骤c1，确定所述图像采集设备采集的实时画面中餐盘的数量和各个餐盘的位置信息；
在本发明实施例中，所述图像采集设备针对每一帧实时画面，确定该帧实时画面中餐盘的数量和各个餐盘的位置信息。
其中，确定所述图像采集设备采集的实时画面中餐盘的数量和各个餐盘的位置信息的实现方式存在多种，任何一种能够识别出实时画面中餐盘的数量和各个餐盘的位置信息的实现方式均可以应用于本发明。
结合上文步骤b1所述的实现方式，餐盘的位置信息可以是该餐盘的检测框内的一个预定位置，比如检测框中心像素点的坐标等。
步骤c2，基于所确定的餐盘的数量和各个餐盘的位置信息，判断当前帧实时画面与前N帧连续实时画面是否满足：餐盘数量相同且各个餐盘的位置相同；所述前N帧连续实时画面包括当前帧实时画面的前一帧实时画面；其中，N为大于0的自然数。
步骤c3，如果是，检测到所述图像采集设备采集的实时画面满足：菜品数量和菜品位置均稳定。
可以理解的是，当前帧实时画面与前N帧连续实时画面满足：餐盘数量相同且各个餐盘的位置相同时，可以确定在一段时间内，餐盘数量和餐盘位置没有发生变化，也就是菜品数量和菜品位置没有发生变化。那么，可以检测到所述图像采集设备采集的实时画面满足：菜品数量和菜品位置均稳定。
需要强调的是，上述所给出的所述检测所述图像采集设备采集的实时画面是否满足预设条件的实施步骤仅仅作为实例，并不应该构成对本申请实施例的限定。
另外，在本发明实施例中，可以采用不同的方式，确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，以下以两个具体实施方式分别介绍该步骤的实施过程：
实施方式一，可以包括步骤A1和步骤A2：
步骤A1，将所述目标图像输入至预先训练的第三神经网络模型；
步骤A2，得到所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量；
其中，所述第三神经网络模型用于识别图像中菜品的类别和每一类别的菜品的数量。可以理解的是，所述第一神经网络模型是一个分类神经网络模型，所述第一神经网络模型是根据样本图像、样本图像对应的菜品的样本类别及每一样本类别的样本数量训练得到的。
举例说明，针对一目标图像，通过所述第三神经网络模型，可以得到所述目标图像中菜品的类别包括：青菜和西红柿炒鸡蛋，每一类别的菜品的数量为：青菜的数量为一盘，以及西红柿炒鸡蛋的数量为一盘。
以下补充说明所述第三神经网络模型的训练过程，本申请中的其他神经网络模型的训练过程与所述第三神经网络模型的训练过程是相似的，可以参见所述第三神经网络模型的训练过程进行理解。所述第三神经网络模型的训练过程可以包括以下步骤：
第一步，获取包含菜品的样本图像、样本图像对应的菜品的样本类别及每一样本类别的菜品的样本数量；
在该步骤中，可以获取多组训练集，任一组训练集包括一样本图像、一样本图像对应的样本类别及每个样本类别对应的样本数量。
其中，确定样本类别和每个样本类别对应的样本数量可以由人工完成，当然，也可以利用其他工具自动完成。
第二步，利用所述样本图像、所述样本图像对应的菜品的样本类别及每一样本类别的菜品的样本数量，训练预先构建的初始第三神经网络模型，得到所述第三神经网络模型。
其中，所述初始第三神经网络模型可以为现有的一种神经网络模型。
关于该步骤的第三神经网络模型的训练过程具体可以为：
1)将多组训练集输入所述初始第三神经网络模型，并将一组训练集中样本图像对应的样本类别及每个样本类别对应的样本数量，作为该组训练集对应的所述初始第三神经网络模型的真值。
2)在(0,1)范围内随机初始化初始第三神经网络模型中的参数，所述参数包括神经元的连接权重等。
3)将各个训练集通过所述初始第三神经网络模型的训练，获得对应的训练结果。
4)将训练结果和对应的真值进行比较，得到输出结果；
5)根据输出结果，计算所述初始第三神经网络模型的损失函数Loss的值；
6)根据所述Loss的值，调整初始第三神经网络模型的参数，并重新进行3)-6)步骤，直至所述Loss的值达到了一定的收敛条件，也就是所述Loss的值达到最小，这时，确定初始第三神经网络模型的参数，完成初始第三神经网络模型的训练，获得训练完成的第三神经网络模型。
实施方式二，可以包括步骤B1至步骤B3：
步骤B1，将所述目标图像输入至预先训练的第四神经网络模型，得到多个目标特征向量；
其中，每一目标特征向量对应于所述目标图像中的一个菜品，所述目标特征向量用于表征所述目标图像中菜品的图像特征，所述第四神经网络模型用于识别图像中菜品的图像特征；
步骤B2，基于所述多个目标特征向量和预先建立的特征向量对应关系，确定每一目标特征向量对应的目标类别；
其中，所述特征向量对应关系为：特征向量与菜品的类别的对应关系；所述特征向量对应关系是根据大量的、所述目标图像中菜品的特征向量和对应的菜品的类别预先建立的。所述特征向量对应关系可以是一个表格等。
步骤B3，针对每一目标类别，确定对应于该目标类别的目标特征向量的总数量，并将所述总数量作为该目标类别的菜品的目标数量。
对上述三个步骤进行举例说明：针对一目标图像，通过所述第四神经网络模型，得到三个目标特征向量，分别是aaa、bbb和aaa。基于所述特征向量对应关系，可以确定目标特征向量aaa对应的菜品的类别是西红柿炒鸡蛋，目标特征向量bbb对应的菜品的类别是青菜。那么，可以确定所述目标图像中菜品的类别包括：青菜和西红柿炒鸡蛋，每一类别的菜品的数量为：青菜的数量为一盘，以及西红柿炒鸡蛋的数量为两盘。
在本发明实施例中，所述菜品信息识别方法可以用于餐厅，尤其是连锁餐厅，对已有菜品的菜品信息进行识别。为了适应餐厅不断增加的新菜品，对新菜品实现菜品信息识别。在餐厅推出新的菜品，用于顾客消费之前，需要对所述菜品信息识别方法中相应的部分进行调整，从而在顾客进行结算时，实现对新菜品的菜品信息进行识别的目的。
具体的，针对上述实施方式一，当出现新菜品时，可以重新训练所述第三神经网络，该过程可以包括以下步骤C1-步骤C3：
步骤C1，采集关于新菜品的样本图像；
为了达到较好的训练效果，可以拍摄多张包含新菜品的样本图像。
步骤C2，确定样本图像对应的新菜品的样本类别和样本数量；
可以利用人工方式，确定每个样本图像对应的新菜品的样本类别和样本数量。
步骤C3，利用样本图像、各个样本图像对应的样本类别及样本数量，重新训练第三神经网络模型，得到训练完成的第三神经网络模型。
关于所述第三神经网络模型的训练过程在此不再赘述。可以理解的是，训练完成的第三神经网络模型，可以对包含新菜品的目标图像进行菜品信息识别。
具体的，针对上述实施方式二，当出现新菜品时，可以对所述特征向量对应关系进行更新，该过程可以包括以下步骤D1至步骤D3：
步骤D1，获得包含该新菜品的样本图像；
在本实施方式中，可以拍摄多张包含该新菜品的样本图像。而为了简化操作，也可以拍摄一张包含该新菜品的样本图像，这都是合理的。
步骤D2，将所述样本图像输入至所述第四神经网络模型，得到所述第四神经网络模型输出的样本特征向量；
鉴于所述第四神经网络模型的作用，可以得到该新菜品的样本图像对应的样本特征向量。
步骤D3，确定该新菜品的样本类别，并将所述样本特征向量和所述样本类别对应保存至所述特征向量对应关系中，得到更新后的特征向量对应关系。
可以由人工确定该新菜品的样本类别，并将所述样本特征向量和所述样本类别对应保存至所述特征向量对应关系中，得到更新后的特征向量对应关系。
针对实施方式二，当出现新菜品时，不需要重新训练第四神经网络，只需要利用所述第四神经网络获得新菜品的特征向量，利用得到的特征向量，将特征向量对应关系进行更新即可。因此，可以省略神经网络模型的训练过程，简化工作量并节省工作时间。
在本发明实施例中，确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量之后，还可以根据目标类别和每一目标类别的菜品的目标数量，确定每一目标类别的菜品所对应的成分和卡路里值。
具体的，所述确定每一目标类别的菜品所对应的成分和卡路里值，包括以下步骤E1和步骤E2：
步骤E1，针对每一目标类别的菜品，利用预设的成分对应关系，确定该目标类别的菜品对应的成分；
其中，所述预设的成分对应关系为：菜品的类别与菜品的成分的对应关系；比如，菜品的类别为香菇青菜，所对应的菜品的成分包括香菇和青菜。
步骤E2，针对每一目标类别的菜品，利用预设的热量对应关系，确定该目标类别的菜品的卡路里值；
其中，所述预设的热量对应关系为：菜品的类别与菜品的卡路里值的对应关系。
比如，菜品的类别为香菇青菜，所对应的菜品的卡路里值为X大卡。
需要说明的是，在本发明实施例中，所述预设的热量对应关系中的卡路里值，是一盘菜品的卡路里值。
通过上述步骤E1和步骤E2，可以针对待结算的多个菜品，确定每个菜品的成分和卡路里值。也可以利用菜品的数量，计算出待结算的多个菜品的卡路里总值。在后续可以将待结算的菜品的成分和卡路里值等提供给用户，使得用户可以进一步了解自己选择的菜品，有利于用户的健康饮食等。
可选的，在本发明实施例中，识别所述目标图像中所包含的菜品的菜品信息之后，还可以输出菜品信息和图像状态信息。
其中，所述菜品信息可以包括：菜品的类别、每一类别的菜品的数量、每一类别的菜品所对应的成分、每一类别的菜品所对应的卡路里值及待结算的多个菜品的卡路里总值等等。
所述图像状态信息可以为一个标识信息，所述标识信息用于表征所述目标图像满足预设条件。
可以理解的是，当用户等获取到所述菜品信息和所述图像状态信息时，可以根据所述标识信息获知该菜品信息是有效的。
输出菜品信息和图像状态信息的方式可以包括多种，比如以文字显示在显示屏等显示装置上，或者将菜品信息和图像状态信息打印在纸张上，或者以语音形式进行输出等等。在此，并不对本发明实施例中，输出菜品信息和图像状态信息的方式进行限定。
相应于上述方法实施例，本发明实施例还提供了一种菜品信息识别装置，应用于图像采集设备，所述图像采集设备的采集区域包括用于放置待结算菜品的识别区域。参见图2，所述装置包括：
检测模块201，用于检测所述图像采集设备采集的实时画面是否满足预设条件；其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件；
拍摄模块202，用于当满足所述预设条件时，拍摄关于所述识别区域的目标图像；
识别模块203，用于识别所述目标图像中所包含的菜品的菜品信息。
可选的，在本发明实施例中，所述预设条件还包括：菜品数量和菜品位置均稳定。
可选的，在本发明实施例中，所述检测模块201检测所述图像采集设备采集的实时画面是否满足：存在菜品，具体用于：
基于预设的餐盘特征，检测所述图像采集设备采集的实时画面中，是否存在餐盘，如果检测结果为是，检测到所述图像采集设备采集的实时画面满足：存在菜品。
可选的，在本发明实施例中，所述画面质量符合预定质量条件包括：
画面的清晰度高于预定阈值，并且画面中的菜品均未遮挡。
可选的，在本发明实施例中，所述检测模块201检测所述图像采集设备采集的实时画面是否满足：画面的清晰度高于预定阈值，具体用于：
针对所述图像采集设备采集的实时画面，提取目标类型的图像特征，得到表征图像清晰度的数值；其中，所述目标类型的图像特征为表征图像清晰度的图像特征；
当所述数值高于预定阈值时，检测到所述图像采集设备采集的实时画面满足：画面的清晰度高于预定阈值；
或者，
将所述图像采集设备采集的实时画面输入至预先训练的第一神经网络模型，得到输出结果；
当所述输出结果表明清晰度高于预定阈值时，检测到所述图像采集设备采集的实时画面满足：画面的清晰度高于预定阈值；
其中，所述第一神经网络模型用于识别画面的清晰度是否高于预定阈值。
可选的，在本发明实施例中，所述检测模块201检测所述图像采集设备采集的实时画面是否满足：画面中的菜品均未遮挡，具体用于：
识别所述图像采集设备采集的实时画面中的各个餐盘，得到各个餐盘的位置信息；
根据每个餐盘的位置信息，确定该餐盘对应的餐盘图像；
针对每一餐盘图像，将该餐盘图像输入至预先训练的第二神经网络模型，得到该餐盘图像对应的遮挡结果；其中，所述第二神经网络模型用于判断餐盘图像对应的餐盘是否被遮挡；
当各个餐盘图像对应的遮挡结果均为未遮挡时，检测到所述图像采集设备采集的实时画面满足：画面中的菜品均未遮挡。
可选的，在本发明实施例中，所述检测模块201检测所述图像采集设备采集的实时画面是否满足：菜品数量和菜品位置均稳定，具体用于：
确定所述图像采集设备采集的实时画面中餐盘的数量和各个餐盘的位置信息；
基于所确定的餐盘的数量和各个餐盘的位置信息，判断当前帧实时画面与前N帧连续实时画面是否满足：餐盘数量相同且各个餐盘的位置相同；所述前N帧连续实时画面包括当前帧实时画面的前一帧实时画面；
如果是，检测到所述图像采集设备采集的实时画面满足：菜品数量和菜品位置均稳定。
可选的，在本发明实施例中，所述识别模块203识别所述目标图像中所包含的菜品的菜品信息，包括：
第一确定子模块，用于确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量；
或者，
第二确定子模块，用于确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，以及确定每一目标类别的菜品所对应的成分和卡路里值。
可选的，在本发明实施例中，所述第一确定子模块或所述第二确定子模块确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，具体用于：
将所述目标图像输入至预先训练的第三神经网络模型，得到所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量；
其中，所述第三神经网络模型用于识别图像中菜品的类别和每一类别的菜品的数量。
可选的，在本发明实施例中，所述第一确定子模块或所述第二确定子模块确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，具体用于：
将所述目标图像输入至预先训练的第四神经网络模型，得到多个目标特征向量；其中，每一目标特征向量对应于所述目标图像中的一个菜品，所述目标特征向量用于表征所述目标图像中菜品的图像特征，所述第四神经网络模型用于识别图像中菜品的图像特征；
基于所述多个目标特征向量和预先建立的特征向量对应关系，确定每一目标特征向量对应的目标类别；其中，所述特征向量对应关系为：特征向量与菜品的类别的对应关系；
针对每一目标类别，确定对应于该目标类别的目标特征向量的总数量，并将所述总数量作为该目标类别的菜品的目标数量。
可选的，在本发明实施例中，当出现新菜品时，所述特征向量对应关系的更新过程包括：
获得包含该新菜品的样本图像；
将所述样本图像输入至所述第四神经网络模型，得到所述第四神经网络模型输出的样本特征向量；
确定该新菜品的样本类别，并将所述样本特征向量和所述样本类别对应保存至所述特征向量对应关系中，得到更新后的特征向量对应关系。
可选的，在本发明实施例中，所述第二确定子模块确定每一目标类别的菜品所对应的成分和卡路里值，具体用于：
针对每一目标类别的菜品，利用预设的成分对应关系，确定该目标类别的菜品对应的成分；其中，所述预设的成分对应关系为：菜品的类别与菜品的成分的对应关系；
针对每一目标类别的菜品，利用预设的热量对应关系，确定该目标类别的菜品的卡路里值；其中，所述预设的热量对应关系为：菜品的类别与菜品的卡路里值的对应关系。
本发明实施例所提供的方案中，首先，图像采集设备检测所述图像采集设备采集的实时画面是否满足预设条件；然后，当满足所述预设条件时，拍摄关于所述识别区域的目标图像；最后，识别所述目标图像中所包含的菜品的菜品信息。本发明实施例所提供的方案，在实时画面满足存在菜品且画面质量符合预定质量条件时，触发拍摄关于所述识别区域的目标图像，用于菜品信息的识别。因此，相比于现有技术，本发明实施例可以有效控制所拍摄的图像的质量，从而实现提高菜品信息的识别准确性的目的。
相应于上述方法实施例，本发明实施例还提供了一种图像采集设备，如图3所示，可以包括处理器301和存储器302，其中，
所述存储器302，用于存放计算机程序；
所述处理器301，用于执行所述存储器302上所存放的程序时，实现本发明实施例所提供的菜品信息识别方法的步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述设备，能够实现：首先，图像采集设备检测所述图像采集设备采集的实时画面是否满足预设条件；然后，当满足所述预设条件时，拍摄关于所述识别区域的目标图像；最后，识别所述目标图像中所包含的菜品的菜品信息。本发明实施例所提供的方案，在实时画面满足存在菜品且画面质量符合预定质量条件时，触发拍摄关于所述识别区域的目标图像，用于菜品信息的识别。因此，相比于现有技术，本发明实施例可以有效控制所拍摄的图像的质量，从而实现提高菜品信息的识别准确性的目的。
另外，相应于上述实施例所提供的菜品信息识别方法，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本发明实施例所提供的菜品信息识别方法的步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的菜品信息识别方法的应用程序，因此能够实现：首先，图像采集设备检测所述图像采集设备采集的实时画面是否满足预设条件；然后，当满足所述预设条件时，拍摄关于所述识别区域的目标图像；最后，识别所述目标图像中所包含的菜品的菜品信息。本发明实施例所提供的方案，在实时画面满足存在菜品且画面质量符合预定质量条件时，触发拍摄关于所述识别区域的目标图像，用于菜品信息的识别。因此，相比于现有技术，本发明实施例可以有效控制所拍摄的图像的质量，从而实现提高菜品信息的识别准确性的目的。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
另外，相应于上述实施例所提供的菜品信息识别方法，本发明实施例还提供了一种菜品自助结算系统，该菜品自助结算系统包括图像采集设备和菜品结算子系统，所述图像采集设备的采集区域包括用于放置待结算菜品的识别区域。
所述图像采集设备，用于检测所述图像采集设备采集的实时画面是否满足预设条件；其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件；当满足所述预设条件时，拍摄关于所述识别区域的目标图像；识别所述目标图像中所包含的菜品的菜品信息；
所述菜品结算子系统，用于基于所述图像采集设备所识别到的菜品信息进行菜品结算。
作为该菜品自助结算系统的示例性的结构图，可以参见图4所示的菜品自助结算系统的结构示意图及图5所示的菜品自助结算系统的实体设备示意图，对该菜品自助结算系统进行理解。
如图4所示，该菜品自助结算系统400可以包括：菜品识别装置401、后台应用装置402、结算装置403，显示装置404，数据存储装置405。各装置之间可以通过有线或无线网络实现通信。其中，菜品识别装置401对应于所述图像采集设备，而后台应用装置402、结算装置403，显示装置404，数据存储装置405对应于菜品结算子系统。
如图5所示，所述菜品自助结算系统可以为一个带有底座的支架设备，该设备可以被放置于餐厅的自助结算区域。为了简化描述，图5中仅列出了菜品识别装置401和显示装置404。图5中的菜品识别装置401具体可以为一个摄像头，显示装置404具体可以为一个显示面板。所述摄像头下方的区域为放置待结算菜品的识别区域。
以下结合图4，分别介绍所述系统中各个装置的作用。
(一)关于菜品识别装置401的介绍内容如下：
菜品识别装置401，用于检测所述图像采集设备采集的实时画面是否满足预设条件；其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件；当满足所述预设条件时，拍摄关于所述识别区域的目标图像；识别所述目标图像中所包含的菜品的菜品信息。并且将识别出的菜品信息发送给后台应用装置402；菜品识别装置401还可以将识别出的菜品信息发送给显示装置404以及数据存储装置405。
关于所述菜品识别装置401识别菜品信息的具体内容，可以参见前文图1所示实施例的内容，在此不再赘述。
(二)关于后台应用装置402的介绍内容如下：
后台应用装置402用于接收菜品识别装置401发送的菜品信息，并根据菜品信息和预设的菜品价格，生成结算订单。
在后台应用装置402的数据库中，预存有各个类别的菜品的单价，比如一盘西红柿炒鸡蛋的单价为10元、一盘青菜的单价为8元等。后台应用装置402可以根据菜品信息中的菜品的类别和数量，计算出待结算菜品的总价，基于所述总价生成结算订单。比如所述结算订单可以为：
西红柿炒鸡蛋 10×1(盘)＝10元；
青菜 8×1(盘)＝8元；
总价：18元。
然后，所述后台应用装置402可以将结算订单发送给结算装置403、显示装置404及数据存储装置405等。
(三)关于结算装置403的介绍内容如下：
结算装置403，用于根据后台应用装置402发送的结算订单中的总价，与顾客进行结算。
其中，结算方式可以包括但不限于：刷卡支付、扫码支付、刷脸支付及现金支付等。
其中，刷卡支付中的卡的类型包括但不限于餐厅的储值卡、银行储蓄卡及银行信用卡等；扫码支付可以包括微信二维码扫码支付及支付宝二维码扫码支付等；刷脸支付可以为：餐厅的储值会员通过刷取面部特征，自动从储值金额中消费的一种支付方式。
然后，结算装置403可以将结算状态信息发送给显示装置404进行显示。其中，所述结算状态信息可以包括餐厅名称、消费时间、结算订单、支付金额及支付方式等等。
(四)关于显示装置404的介绍内容如下：
显示装置404，用于显示菜品信息、结算订单及结算状态信息等。
(五)关于数据存储装置405的介绍内容如下：
数据存储装置405，用于储存每个订单的信息，包括但不限于菜品信息、结算订单、结算状态信息及顾客信息等。
所述存储装置405，可以存储每个订单的信息，基于存储的相关信息，餐厅可以进行数据统计，得出热销菜品；通过对不同消费群体的订单的信息的分析，可以统计各个消费群体热衷的菜品，以实现较好的顾客定位和菜品推荐等；针对每个注册会员，通过保存该会员历次的订单的信息，可以分析该会员的饮食习惯，为该会员提供良好的营养建议等。
需要补充说明的是，现有技术中，除了背景技术中提到的使用压力传感器触发菜品信息识别的菜品自助结算系统。还有一种常用的菜品自助结算系统是基于RFID(RadioFrequency Identification，射频识别)技术实现的。该系统的实现原理可以是：首先，使用内部植入有RFID芯片的餐盘，基于制作的菜品的价格，通过RFID芯片设定各个餐盘的单价；然后，将制作好的菜品按照其价格采用对应的餐盘进行盛装，由顾客按照喜好进行选择；最后，顾客将选择的多个盛装有菜品的餐盘，依次放置于RFID识别区域，通过RFID读取器读取各个餐盘的价格，计算出总价后由顾客完成结算。由于该系统所使用的餐盘内部植入有RFID芯片，需要进行餐盘定制才能实现，因而导致该系统的成本较高。
那么，相比于现有技术中，使用压力传感器触发菜品信息识别的菜品自助结算系统，本发明实施例所提供的方案中，由于在实时画面满足存在菜品且画面质量符合预定质量条件时，触发拍摄关于所述识别区域的目标图像，用于菜品信息的识别。因此，相比于该现有技术，本发明实施例可以有效控制所拍摄的图像的质量，从而能够提高菜品信息的识别准确性，继而提高菜品结算的准确性。
而相比于现有技术中，基于RFID的菜品自助结算系统，本发明实施例所提供的方案中，可以获知菜品信息；不需要使用定制的餐盘，因而能够降低成本；餐盘可以随意盛装菜品，不必盛装对应价格的菜品；菜品价格调整时，不必调整餐盘价格，因而能够提高餐厅运营的便利性。
并且，相比于上述两种现有技术，本发明实施例所提供的方案中，能够支持新菜品注册，通用性更强，并能够简化餐厅的操作；还可以结合用户饮食习惯进行大数据分析，给出营养建议等，可以为用户提供更有价值、维度更广的信息。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种菜品信息识别方法，其特征在于，应用于图像采集设备，所述图像采集设备的采集区域包括用于放置待结算菜品的识别区域，所述方法包括：
检测所述图像采集设备采集的实时画面是否满足预设条件；其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件；
当满足所述预设条件时，拍摄关于所述识别区域的目标图像；
识别所述目标图像中所包含的菜品的菜品信息。
2.根据权利要求1所述的方法，其特征在于，所述预设条件还包括：菜品数量和菜品位置均稳定。
3.根据权利要求1或2所述的方法，其特征在于，检测所述图像采集设备采集的实时画面是否满足：存在菜品，包括：
基于预设的餐盘特征，检测所述图像采集设备采集的实时画面中，是否存在餐盘，如果检测结果为是，检测到所述图像采集设备采集的实时画面满足：存在菜品。
4.根据权利要求1或2所述的方法，其特征在于，所述画面质量符合预定质量条件包括：
画面的清晰度高于预定阈值，并且画面中的菜品均未遮挡。
5.根据权利要求4所述的方法，其特征在于，检测所述图像采集设备采集的实时画面是否满足：画面的清晰度高于预定阈值，包括：
针对所述图像采集设备采集的实时画面，提取目标类型的图像特征，得到表征图像清晰度的数值；其中，所述目标类型的图像特征为表征图像清晰度的图像特征；
当所述数值高于预定阈值时，检测到所述图像采集设备采集的实时画面满足：画面的清晰度高于预定阈值；
或者，
将所述图像采集设备采集的实时画面输入至预先训练的第一神经网络模型，得到输出结果；
当所述输出结果表明清晰度高于预定阈值时，检测到所述图像采集设备采集的实时画面满足：画面的清晰度高于预定阈值；
其中，所述第一神经网络模型用于识别画面的清晰度是否高于预定阈值。
6.根据权利要求4所述的方法，其特征在于，检测所述图像采集设备采集的实时画面是否满足：画面中的菜品均未遮挡，包括：
识别所述图像采集设备采集的实时画面中的各个餐盘，得到各个餐盘的位置信息；
根据每个餐盘的位置信息，确定该餐盘对应的餐盘图像；
针对每一餐盘图像，将该餐盘图像输入至预先训练的第二神经网络模型，得到该餐盘图像对应的遮挡结果；其中，所述第二神经网络模型用于判断餐盘图像对应的餐盘是否被遮挡；
当各个餐盘图像对应的遮挡结果均为未遮挡时，检测到所述图像采集设备采集的实时画面满足：画面中的菜品均未遮挡。
7.根据权利要求2所述的方法，其特征在于，检测所述图像采集设备采集的实时画面是否满足：菜品数量和菜品位置均稳定，包括：
确定所述图像采集设备采集的实时画面中餐盘的数量和各个餐盘的位置信息；
基于所确定的餐盘的数量和各个餐盘的位置信息，判断当前帧实时画面与前N帧连续实时画面是否满足：餐盘数量相同且各个餐盘的位置相同；所述前N帧连续实时画面包括当前帧实时画面的前一帧实时画面；
如果是，检测到所述图像采集设备采集的实时画面满足：菜品数量和菜品位置均稳定。
8.根据权利要求1所述的方法，其特征在于，所述识别所述目标图像中所包含的菜品的菜品信息，包括：
确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量；或者，
确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，以及确定每一目标类别的菜品所对应的成分和卡路里值。
9.根据权利要求8所述的方法，其特征在于，所述确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，包括：
将所述目标图像输入至预先训练的第三神经网络模型，得到所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量；
其中，所述第三神经网络模型用于识别图像中菜品的类别和每一类别的菜品的数量。
10.根据权利要求8所述的方法，其特征在于，所述确定所述目标图像中所包含的菜品的目标类别和每一目标类别的菜品的目标数量，包括：
将所述目标图像输入至预先训练的第四神经网络模型，得到多个目标特征向量；其中，每一目标特征向量对应于所述目标图像中的一个菜品，所述目标特征向量用于表征所述目标图像中菜品的图像特征，所述第四神经网络模型用于识别图像中菜品的图像特征；
基于所述多个目标特征向量和预先建立的特征向量对应关系，确定每一目标特征向量对应的目标类别；其中，所述特征向量对应关系为：特征向量与菜品的类别的对应关系；
针对每一目标类别，确定对应于该目标类别的目标特征向量的总数量，并将所述总数量作为该目标类别的菜品的目标数量。
11.根据权利要求10所述的方法，其特征在于，当出现新菜品时，所述特征向量对应关系的更新过程包括：
获得包含该新菜品的样本图像；
将所述样本图像输入至所述第四神经网络模型，得到所述第四神经网络模型输出的样本特征向量；
确定该新菜品的样本类别，并将所述样本特征向量和所述样本类别对应保存至所述特征向量对应关系中，得到更新后的特征向量对应关系。
12.根据权利要求8所述的方法，其特征在于，所述确定每一目标类别的菜品所对应的成分和卡路里值，包括：
针对每一目标类别的菜品，利用预设的成分对应关系，确定该目标类别的菜品对应的成分；其中，所述预设的成分对应关系为：菜品的类别与菜品的成分的对应关系；
针对每一目标类别的菜品，利用预设的热量对应关系，确定该目标类别的菜品的卡路里值；其中，所述预设的热量对应关系为：菜品的类别与菜品的卡路里值的对应关系。
13.一种菜品信息识别装置，其特征在于，应用于图像采集设备，所述图像采集设备的采集区域包括用于放置待结算菜品的识别区域，所述装置包括：
检测模块，用于检测所述图像采集设备采集的实时画面是否满足预设条件；其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件；
拍摄模块，用于当满足所述预设条件时，拍摄关于所述识别区域的目标图像；
识别模块，用于识别所述目标图像中所包含的菜品的菜品信息。
14.一种菜品自助结算系统，其特征在于，包括：图像采集设备和菜品结算子系统，所述图像采集设备的采集区域包括用于放置待结算菜品的识别区域；其中，
所述图像采集设备，用于检测所述图像采集设备采集的实时画面是否满足预设条件；其中，所述预设条件包括：存在菜品且画面质量符合预定质量条件；当满足所述预设条件时，拍摄关于所述识别区域的目标图像；识别所述目标图像中所包含的菜品的菜品信息；
所述菜品结算子系统，用于基于所述图像采集设备所识别到的菜品信息进行菜品结算。
CN201811213299.3A 2018-10-18 2018-10-18 一种菜品信息识别方法、装置及菜品自助结算系统 Active CN111080493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811213299.3A CN111080493B (zh) 2018-10-18 2018-10-18 一种菜品信息识别方法、装置及菜品自助结算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811213299.3A CN111080493B (zh) 2018-10-18 2018-10-18 一种菜品信息识别方法、装置及菜品自助结算系统

Publications (2)

Publication Number Publication Date
CN111080493A true CN111080493A (zh) 2020-04-28
CN111080493B CN111080493B (zh) 2023-09-05

Family

ID=70308408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811213299.3A Active CN111080493B (zh) 2018-10-18 2018-10-18 一种菜品信息识别方法、装置及菜品自助结算系统

Country Status (1)

Country Link
CN (1) CN111080493B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115966A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于细粒度识别的菜品及属性信息的识别系统及方法
CN113264399A (zh) * 2021-04-26 2021-08-17 杭州创恒电子技术开发有限公司 一种自动换膜的足迹图像采集设备及足迹图像采集方法
CN113505700A (zh) * 2021-07-12 2021-10-15 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及存储介质
CN114638980A (zh) * 2022-03-04 2022-06-17 支付宝(杭州)信息技术有限公司 菜品种类识别处理方法及装置
CN115691010A (zh) * 2022-10-24 2023-02-03 深圳进化动力数码科技有限公司 基于菜品识别的自动结账方法、系统、设备及存储介质
CN116343198A (zh) * 2023-04-18 2023-06-27 北京荣智震宇科技有限公司 一种基于多模型的菜品识别方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208156A (zh) * 2013-02-06 2013-07-17 浙江科技学院 一种餐饮自动结算系统和方法
WO2015196802A1 (zh) * 2014-06-25 2015-12-30 华为技术有限公司 一种拍照方法、装置及电子设备
CN105741139A (zh) * 2016-01-31 2016-07-06 上海海角网络科技有限公司 自选餐厅自动计费方法及其实施装置
CN106096932A (zh) * 2016-06-06 2016-11-09 杭州汇萃智能科技有限公司 基于餐具形状的菜品自动识别系统的计价方法
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN107992871A (zh) * 2017-12-21 2018-05-04 陕西伟景机器人科技有限公司 基于图像识别的餐厅自动结账方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208156A (zh) * 2013-02-06 2013-07-17 浙江科技学院 一种餐饮自动结算系统和方法
WO2015196802A1 (zh) * 2014-06-25 2015-12-30 华为技术有限公司 一种拍照方法、装置及电子设备
CN105741139A (zh) * 2016-01-31 2016-07-06 上海海角网络科技有限公司 自选餐厅自动计费方法及其实施装置
CN106096932A (zh) * 2016-06-06 2016-11-09 杭州汇萃智能科技有限公司 基于餐具形状的菜品自动识别系统的计价方法
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN107992871A (zh) * 2017-12-21 2018-05-04 陕西伟景机器人科技有限公司 基于图像识别的餐厅自动结账方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115966A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于细粒度识别的菜品及属性信息的识别系统及方法
CN112115966B (zh) * 2020-08-05 2022-04-22 西安交通大学 一种基于细粒度识别的菜品及属性信息的识别系统及方法
CN113264399A (zh) * 2021-04-26 2021-08-17 杭州创恒电子技术开发有限公司 一种自动换膜的足迹图像采集设备及足迹图像采集方法
CN113505700A (zh) * 2021-07-12 2021-10-15 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及存储介质
CN114638980A (zh) * 2022-03-04 2022-06-17 支付宝(杭州)信息技术有限公司 菜品种类识别处理方法及装置
CN115691010A (zh) * 2022-10-24 2023-02-03 深圳进化动力数码科技有限公司 基于菜品识别的自动结账方法、系统、设备及存储介质
CN116343198A (zh) * 2023-04-18 2023-06-27 北京荣智震宇科技有限公司 一种基于多模型的菜品识别方法及设备
CN116343198B (zh) * 2023-04-18 2024-01-16 北京荣智震宇科技有限公司 一种基于多模型的菜品识别方法及设备

Also Published As

Publication number Publication date
CN111080493B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN111080493B (zh) 一种菜品信息识别方法、装置及菜品自助结算系统
CN108922026B (zh) 一种自动售货机的补货管理方法、装置和用户终端
US11151427B2 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
US20210056498A1 (en) Method and device for identifying product purchased by user and intelligent shelf system
CN105518709B (zh) 用于识别人脸的方法、系统和计算机程序产品
CN107798653B (zh) 一种图像处理的方法和一种装置
EP3518149A1 (en) Feedback loop for image-based recognition
CN108416901A (zh) 智能货柜内货品识别方法及装置、智能货柜
CN106096932A (zh) 基于餐具形状的菜品自动识别系统的计价方法
CN108108767A (zh) 一种谷物识别方法、装置和计算机存储介质
CN112200631B (zh) 一种行业分类模型的训练方法及装置
CN108596187A (zh) 商品纯净度检测方法及展示柜
CN102855489A (zh) 信息处理设备、信息处理方法和程序
CN110599257A (zh) 一种基于图像识别技术的计算菜品总金额的方法及系统
CN113888254A (zh) 货架商品管理方法和电子设备
CN110969047A (zh) 识别食材的方法、装置和冰箱
CN114638980A (zh) 菜品种类识别处理方法及装置
CN112784640A (zh) 一种菜谱制作方法、装置及炒菜机
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
RU2724797C1 (ru) Кассовая система и способ для идентификации блюд на подносе
CN111640267B (zh) 一种自助结算方法、装置、存储介质及计算机设备
US20220222844A1 (en) Method, device, and program for measuring food
CN111488831B (zh) 一种食材联想识别方法及冰箱
CN110762943B (zh) 物品的展示方法、装置以及家电设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant