CN114973237B - 基于图象识别的光盘率检测方法 - Google Patents

基于图象识别的光盘率检测方法 Download PDF

Info

Publication number
CN114973237B
CN114973237B CN202210637242.6A CN202210637242A CN114973237B CN 114973237 B CN114973237 B CN 114973237B CN 202210637242 A CN202210637242 A CN 202210637242A CN 114973237 B CN114973237 B CN 114973237B
Authority
CN
China
Prior art keywords
dining table
dinner plate
target
target dining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210637242.6A
Other languages
English (en)
Other versions
CN114973237A (zh
Inventor
余丹
兰雨晴
黄永琢
王丹星
张腾怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Standard Intelligent Security Technology Co Ltd
Original Assignee
China Standard Intelligent Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Standard Intelligent Security Technology Co Ltd filed Critical China Standard Intelligent Security Technology Co Ltd
Priority to CN202210637242.6A priority Critical patent/CN114973237B/zh
Publication of CN114973237A publication Critical patent/CN114973237A/zh
Application granted granted Critical
Publication of CN114973237B publication Critical patent/CN114973237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Table Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例公开基于图象识别的光盘率检测方法，涉及图像识别技术领域，用于解决现有光盘率判断方法，不够智能且判断不准确的问题。所述方法，包括：通过图像识别检测目标餐桌用餐前、后每个餐盘中食物的高度，确定目标餐桌的用餐光盘率。本发明能够通过图像识别技术，智能、自动、准确的计算出目标餐桌的用餐光盘率。

Description

基于图象识别的光盘率检测方法
技术领域
本发明属于图像识别技术领域，尤其涉及基于图象识别的光盘率检测方法。
背景技术
为提升餐厅的服务区质量，引入了光盘率指标，此指标是一种衡量是否浪费，食客用餐体验是否良好的指标，与餐厅的收入息息相关。
目前，主要靠人工肉眼判断餐后饭菜是否光盘，但是每个人的衡量标准因人而异，导致了人工判断的光盘率不准确，无法客观的反映浪费情况和食客用餐体验，这样也就导致了很多自助餐厅都有规定浪费罚款却很难执行的问题，另外餐厅也无法通过光盘率来提升餐厅的服务和菜品质量的水平。
发明内容
有鉴于此，本发明实施例提供基于图象识别的光盘率检测方法，用于解决现有光盘率判断方法，不够智能且判断不准确的问题。本发明能够通过图像识别技术，智能、自动、准确的计算出目标餐桌的用餐光盘率。
本发明实施例提供基于图象识别的光盘率检测方法，包括：
通过图像识别检测目标餐桌用餐前、后每个餐盘中食物的高度，确定目标餐桌的用餐光盘率。
在一可选实施例中，所述通过图像识别检测目标餐桌用餐前、后每个餐盘中食物的高度，确定目标餐桌的用餐光盘率，包括：
通过设置于目标餐桌正上方的红外测距装置测量刚上桌的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离，得到每个餐盘对应的第一高度矩阵；
通过所述红外测距装置测量本次食客用餐结束后目标餐桌上的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离，得到每个餐盘对应的第二高度矩阵；
根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定目标餐桌的用餐光盘率；
其中，所述每个餐盘对应的矩形采集区域为四边均与所述餐盘外边缘相切的矩形区域，所述第一/第二高度矩阵中第i行第j列的元素值为相应矩形采集区域内第i行第j列的位置点与所述红外测距装置的距离。
在一可选实施例中，在通过设置于目标餐桌正上方的红外测距装置测量刚上桌的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离之前，还包括：
根据收到的第一指令，通过设置于目标餐桌正上方的图像采集装置采集当前目标餐桌的第一图像；所述第一指令为上菜人员将菜上桌后触发的；
根据预设的餐盘识别算法从所述第一图像中识别出每个餐盘，并根据识别出的餐盘确定每个餐盘对应的矩形采集区域；
在通过所述红外测距装置测量食客用餐结束后目标餐桌上的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离之前，还包括：
根据收到的第二指令，通过设置于目标餐桌正上方的图像采集装置采集当前目标餐桌的第二图像；所述第二指令为餐桌清理人员清理目标餐桌前触发的；
根据预设的餐盘识别算法从所述第二图像中识别出每个餐盘，并根据识别出的餐盘确定每个餐盘对应的矩形采集区域。
在一可选实施例中，所述根据预设的餐盘识别算法从所述第一/第二图像中识别出每个餐盘，包括：
根据预设的餐盘识别算法从所述第一/第二图像中识别出餐盘形状；
识别所述第一/第二图像中的每个餐盘形状区域内的二维码，得到当前餐盘的标识；
其中，所述得到每个餐盘对应的第一/第二高度矩阵，包括：
得到并记录餐盘的标识及其对应的第一/第二高度矩阵。
在一可选实施例中，所述根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定目标餐桌的用餐光盘率，包括：
根据所述目标餐桌上每个餐盘对应的第二高度矩阵判断目标餐桌上是否存在食物残留；
若目标餐桌上存在食物残留，则根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定本次食客用餐结束后目标餐桌上的每个餐盘的食物残留比；
根据所述目标餐桌上每个餐盘的食物残留比以及预设食物残留阈值，确定目标餐桌的用餐光盘率。
在一可选实施例中，所述根据所述目标餐桌上每个餐盘对应的第二高度矩阵判断目标餐桌上是否存在食物残留，包括：
根据第一公式计算目标餐桌的食物残留判定值；
判断所述目标餐桌的食物残留判定值是否等于0，若是，则确定目标餐桌上不存在食物残留，否则确定目标餐桌上存在食物残留；
其中，所述第一公式为：
Figure BDA0003680909760000031
所述第一公式中，E表示当前目标餐桌的食物残留判定值；h表示预先确定的餐盘平均厚度；H0表示所述红外测距装置距离目标餐桌的桌面的高度；Ha(i，j) 表示食客用餐结束后目标餐桌上的第a个餐盘对应的第二高度矩阵中第i行第j列的元素值；i＝1，2，...，n；n表示所述目标餐桌上的第a个餐盘对应的第二高度矩阵中每一列的元素个数；j＝1，2，...，m；m表示所述目标餐桌上的第a个餐盘对应的第二高度矩阵中每一行的元素个数；R表示预设的光盘高度阈值；F{}表示判断函数，若括号内的不等式成立则函数值为1，若括号内的不等式不成立则函数值为0；a＝1，2，...，K；K表示本次目标餐桌上的盘子总数；
Figure BDA0003680909760000032
表示将i的值从1取值到n，将j的值从1取值到m带入到Ha(i，j)中得到Ha(i，j)的最小值。
在一可选实施例中，所述根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定本次食客用餐结束后目标餐桌上的每个餐盘的食物残留比，包括：
根据第二公式计算本次食客用餐结束后目标餐桌上每个餐盘的食物残留比；
其中，所述第二公式为：
Figure BDA0003680909760000041
所述第二公式中，Pa表示本次食客用餐结束后目标餐桌上第a个餐盘的食物残留比；ha(i，j)表示所述目标餐桌上第a个餐盘对应的第一高度矩阵中第i行第j 列的元素值；
所述根据所述目标餐桌上每个餐盘的食物残留比以及预设食物残留阈值，确定目标餐桌的用餐光盘率，包括：
根据第三公式计算目标餐桌的用餐光盘率；
其中，所述第三公式为：
Figure BDA0003680909760000042
所述第三公式中，G表示本次目标餐桌的用餐光盘率。
在一可选实施例中，在确定目标餐桌的用餐光盘率之后，该方法还包括：
在所述第二图像中标注每个餐盘的食物残留比以及本次目标餐桌的用餐光盘率，得到第三图像；
将目标餐桌标识及其对应的第三图像发送至指定终端。
本发明提供的基于图象识别的光盘率检测方法，首先通过图像识别检测目标餐桌用餐前、后每个餐盘中食物的高度，然后根据这些高度信息确定目标餐桌的用餐光盘率。本发明能够通过图像识别技术，智能、自动、准确的计算出目标餐桌的用餐光盘率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于图象识别的光盘率检测方法的一种实施流程图；
图2为一个餐盘及其对应的矩形采集区域的示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供的基于图象识别的光盘率检测方法，包括：通过图像识别检测目标餐桌用餐前、后每个餐盘中食物的高度，确定目标餐桌的用餐光盘率。
上述技术方案的有益效果为：本发明提供的基于图象识别的光盘率检测方法，首先通过图像识别检测目标餐桌用餐前、后每个餐盘中食物的高度，然后根据这些高度信息确定目标餐桌的用餐光盘率。本发明能够通过图像识别技术，智能、自动、准确的计算出目标餐桌的用餐光盘率，计算出的光盘率对餐厅定价，经营等有较强的指导意义，有利于餐厅提高服务水平；对食客有督促节约的作用，并给具有浪费罚款的餐厅提供了解决思路。
作为一可选实施例，如图1所示，所述基于图象识别的光盘率检测方法，可以包括以下步骤S101-S103：
S101：通过设置于目标餐桌正上方的红外测距装置测量刚上桌的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离，得到每个餐盘对应的第一高度矩阵。
S102：通过所述红外测距装置测量本次食客用餐结束后目标餐桌上的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离，得到每个餐盘对应的第二高度矩阵。
S103：根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定目标餐桌的用餐光盘率；
其中，所述每个餐盘对应的矩形采集区域为四边均与所述餐盘外边缘相切的矩形区域，例如图2中实线所示为一个餐盘1，虚线所示矩形框为餐盘1对应的矩形采集区域2的示意图。所述第一/第二高度矩阵中第i行第j列的元素值为相应矩形采集区域内第i行第j列的位置点与所述红外测距装置的距离。
上述技术方案的有益效果为：通过设置于目标餐桌正上方的红外测距装置测量刚上桌、用餐结束后的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离，并根据前述距离值，确定目标餐桌的用餐光盘率，实现了智能、自动的计算获得了用餐光盘率。
作为一可选实施例，步骤S101之前，还可以包括以下步骤S1011-S1012：
S1011：根据收到的第一指令，通过设置于目标餐桌正上方的图像采集装置采集当前目标餐桌的第一图像；所述第一指令为上菜人员将菜上桌后触发的。
S1012：根据预设的餐盘识别算法从所述第一图像中识别出每个餐盘，并根据识别出的餐盘确定每个餐盘对应的矩形采集区域。
步骤S102之前，还可以包括如下步骤S1021-S1022：
S1021：根据收到的第二指令，通过设置于目标餐桌正上方的图像采集装置采集当前目标餐桌的第二图像；所述第二指令为餐桌清理人员清理目标餐桌前触发的；
S1022根据预设的餐盘识别算法从所述第二图像中识别出每个餐盘，并根据识别出的餐盘确定每个餐盘对应的矩形采集区域。
上述技术方案的有益效果为：上菜或者用餐结束时，餐厅人员可以分别触发图像采集装置采集目标餐桌的第一图像和第二图像，例如在上菜时服务人员可以通过点击目标餐桌边缘预先设置的第一按钮触发第一指令，并在食客用餐结束离座时，服务人员可以在撤掉餐盘前通过点击目标餐桌边缘预先设置的第二按钮触发第二指令。根据餐盘识别算法从所述第一图像/第二图像中识别出每个餐盘，并根据识别出的餐盘确定每个餐盘对应的矩形采集区域，接着触发红外测距装置测量刚上桌、用餐结束后的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离，并根据前述距离值，确定目标餐桌的用餐光盘率，实现了智能、自动的计算获得了用餐光盘率，并且可以充分利用现有餐厅中的既有摄像头，具有实施费用低的优点。
作为一可选实施例，所述根据预设的餐盘识别算法从所述第一/第二图像中识别出每个餐盘，包括：
步骤A11：根据预设的餐盘识别算法从所述第一/第二图像中识别出餐盘形状；
步骤A12：识别所述第一/第二图像中的每个餐盘形状区域内的二维码，得到当前餐盘的标识；
本实施例中，所述得到每个餐盘对应的第一/第二高度矩阵，包括：得到并记录餐盘的标识及其对应的第一/第二高度矩阵。
上述技术方案的有益效果为：二维码(dimensional barcode)，又称二维条码，是在一维条码的基础上扩展出的一种具有可读性的条码。设备扫描二维条码，通过识别条码的长度和宽度中所记载的二进制数据，可获取其中所包含的信息。相比一维条码，二维码记载更复杂的数据，已经广泛应用于各种场景中，如支付、应用下载等，将每个餐盘的标识写入二维码中，便于后续对每个餐盘进行识别和光盘率的计算。
作为一可选实施例，步骤S103，可以包括如下步骤S1031-S1033:
S1031：根据所述目标餐桌上每个餐盘对应的第二高度矩阵判断目标餐桌上是否存在食物残留；是则执行S1032。
S1032：根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定本次食客用餐结束后目标餐桌上的每个餐盘的食物残留比。
S1033：根据所述目标餐桌上每个餐盘的食物残留比以及预设食物残留阈值，确定目标餐桌的用餐光盘率。
上述技术方案的有益效果为：首先根据所述目标餐桌上每个餐盘对应的第二高度矩阵，判断目标餐桌上是否存在食物残留，随后在判断出存在食物残留后，才确定目标餐桌的用餐光盘率，从而有效地提高了系统的执行效率。
作为一可选实施例，步骤S1031，可以包括以下步骤S201-S204：
S201：根据第一公式计算目标餐桌的食物残留判定值。
优选地，所述第一公式为：
Figure BDA0003680909760000081
所述第一公式中，E表示当前目标餐桌的食物残留判定值；h表示预先确定的餐盘平均厚度；H0表示所述红外测距装置距离目标餐桌的桌面的高度；Ha(i，j) 表示食客用餐结束后目标餐桌上的第a个餐盘对应的第二高度矩阵中第i行第j列的元素值；i＝1，2，...，n；n表示所述目标餐桌上的第a个餐盘对应的第二高度矩阵中每一列的元素个数；j＝1，2，...，m；m表示所述目标餐桌上的第a个餐盘对应的第二高度矩阵中每一行的元素个数；R表示预设的光盘高度阈值；F{}表示判断函数，若括号内的不等式成立则函数值为1，若括号内的不等式不成立则函数值为0；a＝1，2，...，K；K表示本次目标餐桌上的盘子总数；
Figure BDA0003680909760000082
表示将i的值从1取值到n，将j的值从1取值到m带入到Ha(i，j)中得到Ha(i，j)的最小值。
S202：判断所述目标餐桌的食物残留判定值是否等于0，是则执行S203，否则执行S204。
S203：确定目标餐桌上不存在食物残留。
S204：确定目标餐桌上存在食物残留。
上述技术方案的有益效果为：根据第一公式计算，若E＝0，表示当前用餐不存在食物残留的问题，即所有餐盘均为光盘；若E≠0，表示当前用餐存在食物残留问题，则需要继续求取本次用餐的光盘率。实现了利用第一公式(1)，根据用餐后的盘子内部食物的高度矩阵判断当前的用餐是否存在食物残留问题，若所有餐盘均为光盘则不需要再浪费时间求取光盘率，节约了系统执行时间，提高了光盘率计算的效率。
作为一可选实施例，步骤S1032，可以包括：根据第二公式计算本次食客用餐结束后目标餐桌上每个餐盘的食物残留比；
其中，所述第二公式为：
Figure BDA0003680909760000091
所述第二公式中，Pa表示本次食客用餐结束后目标餐桌上第a个餐盘的食物残留比；ha(i，j)表示所述目标餐桌上第a个餐盘对应的第一高度矩阵中第i行第j 列的元素值。
步骤S1033，可以包括：根据第三公式计算目标餐桌的用餐光盘率；
其中，所述第三公式为：
Figure BDA0003680909760000092
所述第三公式中，G表示本次目标餐桌的用餐光盘率。
上述技术方案的有益效果为：利用第二公式(2)根据每个盘子对应的用餐前后的盘子内部食物的高度矩阵得到每个盘子的食物残留比，从而知晓每个盘子的食物残留情况，一是便于后续工作人员的指认，二是在食客想继续进行光盘行动时，工作人员可以给出继续进行光盘行动的餐盘食物；随后利用第三公式(3)根据每个盘子的食物残留比以及预设光盘的残留阈值得到用餐结束后的光盘率，从而方便工作人员进行罚款和批评教育。
作为一可选实施例，步骤S1033之后，还包括：
在所述第二图像中标注每个餐盘的食物残留比以及本次目标餐桌的用餐光盘率，得到第三图像；
将目标餐桌标识及其对应的第三图像发送至指定终端。
上述技术方案的有益效果为：在用餐结束后会对目标餐桌进行拍照并根据每个盘子的食物残留比，控制系统将所述每个盘子的食物残留比标注在照片中的每个盘子上，并且可以将所述光盘率以红色大字体标注在图像的最上方，然后将标注后的照片发送至餐厅的前台收银终端或者后厨管理终端，让这些餐厅的工作人员及时的了解目标餐桌的光盘率。另外，也可以记录每个餐盘对应的菜品的光盘率，通过长期的数据积累，可以智能的分析出每个菜品的质量，为餐厅后续开展菜品质量提升的工作提供数据支撑，有助于提高餐厅的菜品和服务质量，从而有效地提高光盘率，达到节约食物的目的。
从上述实施例的内容可知，每一盘菜在端上餐桌后都会通过餐桌上方的图像采集装置识别出所述盘子(每个盘子上均存在一个独立的识别码(如二维码) 可以识别出每个独立的盘子)，并且可以通过图像采集装置上的红外测距模块生成盘子内部食物的第一高度矩阵(所述高度矩阵包括：在获得盘子的外切矩形后，对所述矩形上的每一个像素点利用红外测距模块测量得到距离进而生成相应点位的高度值，进而形成所述盘子内部食物的高度矩阵)，在食客吃完所述食物之后，再次通过图像采集装置识别出每个盘子并生成用餐后的盘子内部食物的第二高度矩阵，最后根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定目标餐桌的用餐光盘率。本发明能够通过图像识别技术，智能、自动、准确的计算出目标餐桌的用餐光盘率，计算出的光盘率对餐厅定价，经营等有较强的指导意义，有利于餐厅提高服务水平；对食客有督促节约的作用，并给具有浪费罚款的餐厅提供了解决思路。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.基于图象识别的光盘率检测方法，其特征在于，包括：
通过图像识别检测目标餐桌用餐前、后每个餐盘中食物的高度，确定目标餐桌的用餐光盘率；
其中，所述通过图像识别检测目标餐桌用餐前、后每个餐盘中食物的高度，确定目标餐桌的用餐光盘率，包括：
通过设置于目标餐桌正上方的红外测距装置测量刚上桌的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离，得到每个餐盘对应的第一高度矩阵；
通过所述红外测距装置测量本次食客用餐结束后目标餐桌上的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离，得到每个餐盘对应的第二高度矩阵；
根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定目标餐桌的用餐光盘率；
其中，所述每个餐盘对应的矩形采集区域为四边均与所述餐盘外边缘相切的矩形区域，所述第一/第二高度矩阵中第i行第j列的元素值为相应矩形采集区域内第i行第j列的位置点与所述红外测距装置的距离；
其中，在通过设置于目标餐桌正上方的红外测距装置测量刚上桌的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离之前，还包括：
根据收到的第一指令，通过设置于目标餐桌正上方的图像采集装置采集当前目标餐桌的第一图像；所述第一指令为上菜人员将菜上桌后触发的；
根据预设的餐盘识别算法从所述第一图像中识别出每个餐盘，并根据识别出的餐盘确定每个餐盘对应的矩形采集区域；
在通过所述红外测距装置测量食客用餐结束后目标餐桌上的每个餐盘对应的矩形采集区域内各位置点与所述红外测距装置的距离之前，还包括：
根据收到的第二指令，通过设置于目标餐桌正上方的图像采集装置采集当前目标餐桌的第二图像；所述第二指令为餐桌清理人员清理目标餐桌前触发的；
根据预设的餐盘识别算法从所述第二图像中识别出每个餐盘，并根据识别出的餐盘确定每个餐盘对应的矩形采集区域；
其中，所述根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定目标餐桌的用餐光盘率，包括：
根据所述目标餐桌上每个餐盘对应的第二高度矩阵判断目标餐桌上是否存在食物残留；
若目标餐桌上存在食物残留，则根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定本次食客用餐结束后目标餐桌上的每个餐盘的食物残留比；
根据所述目标餐桌上每个餐盘的食物残留比以及预设食物残留阈值，确定目标餐桌的用餐光盘率；
其中，所述根据所述目标餐桌上每个餐盘对应的第二高度矩阵判断目标餐桌上是否存在食物残留，包括：
根据第一公式计算目标餐桌的食物残留判定值；
判断所述目标餐桌的食物残留判定值是否等于0，若是，则确定目标餐桌上不存在食物残留，否则确定目标餐桌上存在食物残留；
其中，所述第一公式为：
Figure FDA0003888049350000021
所述第一公式中，E表示当前目标餐桌的食物残留判定值；h表示预先确定的餐盘平均厚度；H0表示所述红外测距装置距离目标餐桌的桌面的高度；Ha(i,j)表示食客用餐结束后目标餐桌上的第a个餐盘对应的第二高度矩阵中第i行第j列的元素值；i＝1,2,…,n；n表示所述目标餐桌上的第a个餐盘对应的第二高度矩阵中每一列的元素个数；j＝1,2,…,m；m表示所述目标餐桌上的第a个餐盘对应的第二高度矩阵中每一行的元素个数；R表示预设的光盘高度阈值；F{}表示判断函数，若括号内的不等式成立则函数值为1，若括号内的不等式不成立则函数值为0；a＝1,2,…,K；K表示本次目标餐桌上的盘子总数；
Figure FDA0003888049350000022
表示将i的值从1取值到n，将j的值从1取值到m带入到Ha(i,j)中得到Ha(i,j)的最小值。
2.如权利要求1所述的基于图象识别的光盘率检测方法，其特征在于，所述根据预设的餐盘识别算法从所述第一/第二图像中识别出每个餐盘，包括：
根据预设的餐盘识别算法从所述第一/第二图像中识别出餐盘形状；
识别所述第一/第二图像中的每个餐盘形状区域内的二维码，得到当前餐盘的标识；
其中，所述得到每个餐盘对应的第一/第二高度矩阵，包括：
得到并记录餐盘的标识及其对应的第一/第二高度矩阵。
3.如权利要求1所述的基于图象识别的光盘率检测方法，其特征在于，所述根据目标餐桌上每个餐盘对应的第一高度矩阵和第二高度矩阵，确定本次食客用餐结束后目标餐桌上的每个餐盘的食物残留比，包括：
根据第二公式计算本次食客用餐结束后目标餐桌上每个餐盘的食物残留比；
其中，所述第二公式为：
Figure FDA0003888049350000031
所述第二公式中，Pa表示本次食客用餐结束后目标餐桌上第a个餐盘的食物残留比；ha(i,j)表示所述目标餐桌上第a个餐盘对应的第一高度矩阵中第i行第j列的元素值；
所述根据所述目标餐桌上每个餐盘的食物残留比以及预设食物残留阈值，确定目标餐桌的用餐光盘率，包括：
根据第三公式计算目标餐桌的用餐光盘率；
其中，所述第三公式为：
Figure FDA0003888049350000032
所述第三公式中，G表示本次目标餐桌的用餐光盘率。
4.如权利要求3所述的基于图象识别的光盘率检测方法，其特征在于，在确定目标餐桌的用餐光盘率之后，该方法还包括：
在所述第二图像中标注每个餐盘的食物残留比以及本次目标餐桌的用餐光盘率，得到第三图像；
将目标餐桌标识及其对应的第三图像发送至指定终端。
CN202210637242.6A 2022-06-07 2022-06-07 基于图象识别的光盘率检测方法 Active CN114973237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210637242.6A CN114973237B (zh) 2022-06-07 2022-06-07 基于图象识别的光盘率检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210637242.6A CN114973237B (zh) 2022-06-07 2022-06-07 基于图象识别的光盘率检测方法

Publications (2)

Publication Number Publication Date
CN114973237A CN114973237A (zh) 2022-08-30
CN114973237B true CN114973237B (zh) 2023-01-10

Family

ID=82959166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210637242.6A Active CN114973237B (zh) 2022-06-07 2022-06-07 基于图象识别的光盘率检测方法

Country Status (1)

Country Link
CN (1) CN114973237B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012146159A (ja) * 2011-01-13 2012-08-02 Fujitsu Ltd 情報処理装置、方法及びプログラム
WO2017018828A1 (ko) * 2015-07-29 2017-02-02 피도연 식품 정보 제공 방법 및 장치
JP2017167929A (ja) * 2016-03-17 2017-09-21 富士通株式会社 提供装置、提供方法及び提供プログラム
CN109846303A (zh) * 2018-11-30 2019-06-07 广州富港万嘉智能科技有限公司 餐盘剩余量自动检测方法、系统、电子设备及存储介质
CN109848982A (zh) * 2018-11-30 2019-06-07 广州富港万嘉智能科技有限公司 一种基于图像识别的自动取菜方法、系统及存储介质
CN110163980A (zh) * 2019-05-27 2019-08-23 北京三快在线科技有限公司 一种基于ar的数据处理方法及装置
CN111539851A (zh) * 2020-04-26 2020-08-14 上海明略人工智能(集团)有限公司 一种翻台监测方法及装置
CN111680625A (zh) * 2020-06-08 2020-09-18 上海明略人工智能(集团)有限公司 回收餐具的方法和装置、存储介质及电子装置
CN112950658A (zh) * 2021-03-31 2021-06-11 中国建设银行股份有限公司 一种光盘评定方法、装置、设备及存储介质
CN112949747A (zh) * 2021-03-24 2021-06-11 深圳市科拜斯物联网科技有限公司 菜品检测方法、相关设备、系统及存储介质
CN112991238A (zh) * 2021-02-22 2021-06-18 上海市第四人民医院 基于纹理色彩混合式的食物图像分割方法、系统、介质及终端
JP2021096766A (ja) * 2019-12-19 2021-06-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、通知方法、およびプログラム
CN113778076A (zh) * 2020-11-30 2021-12-10 北京京东振世信息技术有限公司 一种餐桌定位方法、装置和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015138452A (ja) * 2014-01-23 2015-07-30 東芝テック株式会社 料理残量検出装置及びプログラム
EP3221679A4 (en) * 2014-11-21 2018-11-14 Mutti, Christopher M. Imaging system for object recognition and assessment
US10373522B2 (en) * 2016-01-05 2019-08-06 International Business Machines Corporation Generative group-based meal planning system and method
US20190370916A1 (en) * 2018-06-04 2019-12-05 DietaryDNA, LLC Personalized dining experiences via universal electronic food profiles

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012146159A (ja) * 2011-01-13 2012-08-02 Fujitsu Ltd 情報処理装置、方法及びプログラム
WO2017018828A1 (ko) * 2015-07-29 2017-02-02 피도연 식품 정보 제공 방법 및 장치
JP2017167929A (ja) * 2016-03-17 2017-09-21 富士通株式会社 提供装置、提供方法及び提供プログラム
CN109846303A (zh) * 2018-11-30 2019-06-07 广州富港万嘉智能科技有限公司 餐盘剩余量自动检测方法、系统、电子设备及存储介质
CN109848982A (zh) * 2018-11-30 2019-06-07 广州富港万嘉智能科技有限公司 一种基于图像识别的自动取菜方法、系统及存储介质
CN110163980A (zh) * 2019-05-27 2019-08-23 北京三快在线科技有限公司 一种基于ar的数据处理方法及装置
JP2021096766A (ja) * 2019-12-19 2021-06-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、通知方法、およびプログラム
CN111539851A (zh) * 2020-04-26 2020-08-14 上海明略人工智能(集团)有限公司 一种翻台监测方法及装置
CN111680625A (zh) * 2020-06-08 2020-09-18 上海明略人工智能(集团)有限公司 回收餐具的方法和装置、存储介质及电子装置
CN113778076A (zh) * 2020-11-30 2021-12-10 北京京东振世信息技术有限公司 一种餐桌定位方法、装置和系统
CN112991238A (zh) * 2021-02-22 2021-06-18 上海市第四人民医院 基于纹理色彩混合式的食物图像分割方法、系统、介质及终端
CN112949747A (zh) * 2021-03-24 2021-06-11 深圳市科拜斯物联网科技有限公司 菜品检测方法、相关设备、系统及存储介质
CN112950658A (zh) * 2021-03-31 2021-06-11 中国建设银行股份有限公司 一种光盘评定方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Food recognition using neural network classifier and multiple hypotheses image segmentation;S.JasmineMinija等;《The Imaging Science Journal》;20201231;第68卷(第2期);第1-14页 *
基于卷积神经网络的菜品识别系统研究;朱瑶;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220115(第1期);第I138-2875页 *

Also Published As

Publication number Publication date
CN114973237A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
US20210056498A1 (en) Method and device for identifying product purchased by user and intelligent shelf system
CN110866429B (zh) 漏扫识别方法、装置、自助收银终端及系统
CN111598827A (zh) 外观瑕疵检测方法、电子装置及存储介质
CN106022405A (zh) 一种基于形状的餐盘自动计价系统
CN109522947B (zh) 识别方法和设备
CN111681234A (zh) 门店货架上摆放试用装产品规范检测方法、系统及设备
CN109118681B (zh) 食堂餐盘菜品划价机构
US20190125113A1 (en) A food monitoring system
CN110599257A (zh) 一种基于图像识别技术的计算菜品总金额的方法及系统
CN114973237B (zh) 基于图象识别的光盘率检测方法
CN111831673A (zh) 货品识别系统、货品识别方法及电子设备
RU2724797C1 (ru) Кассовая система и способ для идентификации блюд на подносе
JP2024023957A (ja) 処理装置、処理方法及びプログラム
CN111428944B (zh) 基于大数据的餐饮行业管理系统及方法
CN111339929B (zh) 一种无人超市的零售系统
US11562338B2 (en) Automated point of sale systems and methods
CN111783707A (zh) 称重预处理方法、称重设备和计算机可读存储介质
CN109101900B (zh) 一种对象分布信息的确定方法、装置和电子设备
US20240029017A1 (en) Information processing device, information processing method, and recording medium
CN111199410A (zh) 商品管理方法、装置和智能货架
CN111539346A (zh) 一种食品质量检测方法及装置
CN111797896B (zh) 基于智慧烘焙的商品识别方法及装置
CN112949747A (zh) 菜品检测方法、相关设备、系统及存储介质
CN111415328A (zh) 物品分析数据确定方法、装置、电子设备
CN113191356A (zh) 一种开关柜压板设备的状态识别方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method for detecting the rate of optical discs based on image recognition

Effective date of registration: 20231226

Granted publication date: 20230110

Pledgee: Zhongguancun Branch of Bank of Beijing Co.,Ltd.

Pledgor: Huizhian Information Technology Co.,Ltd.

Registration number: Y2023110000557

PE01 Entry into force of the registration of the contract for pledge of patent right