CN108665134A - 用于监控食品制备的装置和方法 - Google Patents

用于监控食品制备的装置和方法 Download PDF

Info

Publication number
CN108665134A
CN108665134A CN201710596762.6A CN201710596762A CN108665134A CN 108665134 A CN108665134 A CN 108665134A CN 201710596762 A CN201710596762 A CN 201710596762A CN 108665134 A CN108665134 A CN 108665134A
Authority
CN
China
Prior art keywords
food
data
preparation
image
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710596762.6A
Other languages
English (en)
Inventor
伊多·莱瓦诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
De Ragon Tell Systems Ltd
Original Assignee
De Ragon Tell Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by De Ragon Tell Systems Ltd filed Critical De Ragon Tell Systems Ltd
Publication of CN108665134A publication Critical patent/CN108665134A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • A—HUMAN NECESSITIES
    • A21—BAKING; EDIBLE DOUGHS
    • A21D—TREATMENT, e.g. PRESERVATION, OF FLOUR OR DOUGH, e.g. BY ADDITION OF MATERIALS; BAKING; BAKERY PRODUCTS; PRESERVATION THEREOF
    • A21D13/00—Finished or partly finished bakery products
    • A21D13/40—Products characterised by the type, form or use
    • A21D13/41—Pizzas
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K13/00—Thermometers specially adapted for specific purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K13/00—Thermometers specially adapted for specific purposes
    • G01K13/10—Thermometers specially adapted for specific purposes for measuring temperature within piled or stacked materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K2207/00—Application of thermometers in household appliances
    • G01K2207/02—Application of thermometers in household appliances for measuring food temperature
    • G01K2207/06—Application of thermometers in household appliances for measuring food temperature for preparation purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8472—Investigation of composite materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Food Science & Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Tourism & Hospitality (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Medicinal Chemistry (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • General Preparation And Processing Of Foods (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

公开了用于监控食品制备的装置和方法。该装置可包括成像器和控制器。控制器可被配置为执行具有以下步骤的方法：接收订单相关的数据；从成像器接收食品的图像；基于从数据库接收的预储存的数据对所接收的图像进行分析，以便提取制备的产品数据；将所提取的制备的产品数据与订单相关的数据进行比较；以及基于对所提取的制备的产品数据与订单相关的数据的比较来确定食品与所要求的质量水平的符合性。

Description

用于监控食品制备的装置和方法
相关申请的交叉引用
本申请要求于2017年3月29日提交且题为“APPARATUS AND METHOD FOR QUALITYCONTROL OF A PREPARATION OF A FOOD PRODUCT”的美国临时专利申请第62/478,050号的权益，其通过引用以其整体并入本文中。
发明背景
食品的质量控制，即使在大型商用厨房中，如今也是通过专业人员(例如，厨师)的手动检查来完成。然而，人的检查，即使对于最有经验的专业人士来说，也是主观的并且可能是不一致的。此外，当核查供应的食物(例如，比萨饼)包括所有订购的原料时，人眼可能太慢且不准确，并且可能不足以及时并准确地确定订单被正确制备。
此外，对于监控和控制整个食品制备重要的一些方面(诸如例如，温度)无法通过人的检查来实时正确评估。
因此，需要用于监控食品制备的快速且准确的自动化装置和方法。
发明概述
本发明的实施例可涉及用于食品的质量控制和制备监控的装置和方法。例如在餐厅或餐饮连锁机构厨房中制备的食品可被自动检查，以查明食品是否根据由客户给出的订单来制备。装置可包括成像器和控制器。控制器可被配置为执行具有以下步骤的方法：接收订单相关的数据；从成像器接收食品的图像；基于从数据库接收的预储存的数据对所接收到的图像进行分析，以便提取制备的产品数据；将所提取的制备的产品数据与订单相关的数据进行比较；以及基于该比较来确定食品与所要求的质量水平的符合性。
在一些实施例中，预分类的数据可包括从先前检查的食品的图像中提取的制备的产品数据。在一些实施例中，订单相关的数据可包括以下中的至少一种：食品的类型、在食品上可见的一种或更多种原料、以及至少一种原料在食品上的分布。
在一些实施例中，对所接收的图像进行分析可包括在所提取的制备的产品数据中识别以下中至少一个：食品的类型、在食品的表面上可见的一种或更多种原料、以及至少一种原料在食品的表面上的分布。
在一些实施例中，控制器还可被配置为：接收食品的多个图像；从每个图像中提取制备的产品数据；接收关于每个图像的相应的订单相关的数据；接收关于每个图像的质量水平；以及将关于每个图像的所提取的制备的产品数据以及相应的订单相关的数据和质量水平储存在数据库中。
在一些实施例中，确定食品与所要求的质量水平的符合性可包括确定所提取的制备的产品数据是否指示了该产品具有高于预定的质量水平的质量。
在一些实施例中，装置还可包括温度计，并且控制器还可被配置为：接收食品的温度测量结果；以及其中，并且还基于所接收的温度测量结果确定该食品是否具有所要求的质量。
在一些实施例中，装置还可包括光谱仪，并且控制器还可被配置为：从光谱仪接收与食品的光谱有关的数据；以及还基于所接收的与食品的频谱相关的数据，确定该食品是否具有所要求的质量。在一些实施例中，食品的描述还包括熟的程度，并且与食品的光谱相关的数据可指示熟的程度。在一些实施例中，食品的描述还可包括营养价值，与食品的光谱相关的数据可指示食品的营养价值。
附图简述
关于本发明的主题，在说明书的结论部分中被特别指出并被清楚地要求保护。然而，当与附图一起阅读时，通过参考以下详细描述，可最好地关于操作的组织和方法以及其目的、特征和优点来理解本发明，在附图中：
图1A是根据本发明的一些实施例的用于监控食品制备的装置的示意图；
图1B是根据本发明的一些实施例的用于监控食品制备的装置的图示；
图2是根据本发明的一些实施例监控食品制备的方法的流程图；以及
图3是根据本发明的一些实施例的在监控食品制备的方法中用于收集预储存数据的附加步骤的流程图。
应当理解，为了说明的简单和清楚，图中所示的元素不一定按比例绘制。例如，为了清楚起见，一些元素的尺寸可以相对于其他元素被放大。此外，在认为适当的情况下，附图标记可在图中重复以指示对应或类似的元素。
本发明的详细描述
在以下详细描述中，阐述了许多具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践本发明。在其它实例中，没有对众所周知的方法、规程以及组件、模块、单元和/或电路进行详细描述，以便不模糊本发明。根据一个实施例所描述的一些特征或元素可与根据其他实施例所描述的特征或元素结合。为了清楚起见，可能不会重复讨论相同或类似的特征或元素。
虽然本发明的实施例不限于此，但使用诸如例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“建立”、“分析”、“核查”等的术语的讨论可以指计算机的操作和/或过程、计算平台、计算系统或其他电子计算设备，其操纵在计算机的寄存器和/或存储器内表示为物理(例如，电子)量的数据和/或将其变换为在计算机的寄存器和/或存储器或者可储存指令以执行操作和/或过程的其他信息非暂时性储存介质内类似表示为物理量的其他数据。虽然本发明的实施例不限于此，但本文中所使用的术语“多个(plurality)”和“多个(a plurality)”可包括例如“多个(multiple)”或“两个或更多个”。在整个说明书中可使用术语“多个(plurality)”或“多个(a plurality)”来对两个或更多个组件、设备、元件、单元、参数等进行描述。另外，所描述的方法实施例或其元素中的一些可在同一时间点或同时发生或被同时执行。
本发明的实施例可涉及用于监控食品制备的装置和方法。例如在餐厅或食物链厨房中制备的食品可被自动检查，以查明食品是否根据由客户给出的订单来制备。例如，可自动检查从烤箱出来的比萨饼，以查看面团是否被烘烤到正确的程度、奶酪是否均匀且适量地散布、以及配料是否与客户的订单匹配(例如，1/2意大利辣香肠，1/2洋葱)。在又另一示例中，根据本发明的一些实施例的装置可自动检查汉堡包食物，以验证汉堡包大小正确(例如，300克)、达到正确的熟的程度、添加了正确的酱汁、并且与其提供了正确的配菜。
在一些实施例中，食品(例如，比萨饼、汉堡包、寿司等)可被放置在装置中，以便检查食品制备质量。除了术语制备质量的规则意义之外，在本申请范围内，“制备质量”可以指产品的量、产品的新鲜度、产品的放置顺序、产品的颜色、营养价值和温度。该装置可包括成像器，其被配置成拍摄所制备的食品的至少一个图像。在一些实施例中，该装置还可包括诸如温度计、光谱仪和/或刻度表的附加传感器。设备还可包括控制器，其可被配置为从温度计、光谱仪和/或刻度表接收至少一个图像,可选地可接收测量结果，以确定食品的质量。
现在参照图1A，其是根据本发明的一些实施例的用于监控食品制备的装置的示意图。装置100可包括至少一个成像器105、控制器110、数据库120和用户接口130。装置100还可包括通信单元140、温度计107和/或光谱仪109。装置100可经由通信单元140与用户设备10进行通信。在一些实施例中，成像器105可以是用户设备10的成像器。用户设备10可以是智能电话、平板电脑、膝上型电脑等。
在一些实施例中，成像器105可以是集成到装置100的专用成像器。成像器105(被包括在设备10中或装置100中)可以是被配置为捕获图像并将该图像发送到控制器110的任何光学设备、相机等。
温度计107可以是被配置为测量食品的温度的任何温度计，例如，温度计可包括热电偶。温度计107可将食品的温度测量结果发送到控制器110。
光谱仪109可包括可被配置为根据从食品接收的光谱(例如，在IR频谱中)测量食品的属性的任何设备。属性可包括可能会引起对食品的营养价值进行识别的食品的温度和化学组成/结合。光谱仪109可将与光谱测量结果相关的数据(例如，频谱和/或属性)发送到控制器110。
控制器110(例如，服务器)可以是或可包括处理器112，该处理器可以是例如中央处理单元(CPU)、芯片、基于云的计算服务或任何合适的计算设备或计算操作应用设备、操作系统114和存储器116。处理器112可被配置为通过例如执行被储存在诸如存储器116的存储器中的指令来执行根据本发明的实施例的方法。处理器112可被配置为执行根据本发明的一些实施例的监控食品制备的方法。
操作系统114可以是或可包括任何代码段，其被设计和/或配置为执行涉及控制器110的以下任务：协调、调度、仲裁、监督、控制或其他方式的管理操作，例如，程序的调度。操作系统114可以是商业操作系统。存储器116可以是或可包括例如基于云的存储器、随机存取存储器(RAM)、只读存储器(ROM)、动态RAM(DRAM)、同步DRAM(SD-RAM)、双数据速率(DDR)存储器芯片、闪存、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或者其他合适的存储器单元或储存单元。存储器116可以是或可包括多个存储器单元，它们可以是相同或不同的。
存储器116可储存任何可执行代码，例如，应用程序、程序、过程、任务或脚本。可执行代码可包括用于监控食品制备的代码或者用于执行根据本发明的实施例的方法的任何其他代码或指令。可执行代码可由可能受控于操作系统114的处理器112执行。
数据库120可以是或可包括例如硬盘驱动、软盘驱动、光盘(CD)驱动、CD可记录(CD-R)驱动、通用串行总线(USB)设备或其他合适的可移动和/或固定的储存单元。另外或可替代地，数据库120可包括任何基于云的储存服务。内容可被储存在数据库120中，并且可以从数据库120加载到可由处理器112对其进行处理的存储器116中。例如，根据本发明的实施例，数据库120可包括食品的图像、温度测量结果、光谱、以及所提取的制备的产品数据以及相应的订单相关的数据和制备质量水平。
用户接口130可以是或可包括屏幕、触摸屏或掌上电脑、鼠标、键盘等。用户接口130可包括音频设备，诸如一个或更多个扬声器、耳机、打印机和/或任何其它合适的设备。
通信单元140可被配置为在控制器110和装置100的其他组件(例如，成像器105、温度计107、光谱仪109等)之间进行通信，以及与用户设备10进行通信。通信单元140可包括有线或无线的网络接口卡(NIC)、调制解调器等。此外，任何适用的输入/输出(I/O)设备可直接连接到控制器110，或者经由通信单元140或例如经由通用串行总线(USB)设备或外部硬驱动等连接到控制器。
现在参照图1B，其是根据本发明的一些实施例的用于监控食品制备的装置的示例的图示。装置100可包括用于保持装置100的至少一些组件(例如，成像器105、温度计107和/或光谱仪109)的壳体102。壳体102还可被配置为接收用于检查的食品20(例如，比萨饼)，并且可包括用于接收食品20的表面或托盘。在一些实施例中，装置100还可包括用于照明被检查的食品20的光源104。壳体102还可保持光源104，使得来自光源104的光被引导朝向食品20。在一些实施例中，壳体102可保持装置100的附加组件，例如，通信单元140(未图示)。另外，壳体102还可包括用于保持用户设备10的保持器(未图示)。保持器可被设计为保持用户设备10，使得用户设备10的成像器可被引导朝向食品20的表面，从而允许成像器捕获食品20的图像。在一些实施例中，壳体102还可包括一个或更多个光学透镜103，其用于进一步聚焦用户设备10的成像器的视场并将其引导朝向放置在托盘108上的被检查的食品20。
现在参照图2，其是根据本发明的一些实施例的监控食品制备的方法的流程图。图2的方法可由设备100的处理器112或由任何其他处理器自动执行。在操作210中，可例如由处理器112接收订单相关的数据。订单相关的数据可包括制备食品所要求的所有数据，例如，食物的类型(例如，比萨饼、寿司、汉堡包等)、食品上可见的原料(蘑菇、鲑鱼、意大利辣香肠、双份奶酪等)、至少一种原料在食品上的分布、熟的程度(例如，中等、半熟、全熟等)、配菜(例如，炸薯条、米饭等)等。订单相关的数据可从食品供应商(例如，餐馆)的数据库接收，从由供应商的雇员操作的计算机设备实时接收，通过互联网从用户设备接收(例如，当用户使用在线食品订购服务时)等。
在操作220中，食品(例如，食品20)的图像可从成像器(例如，成像器105或用户设备10的成像器)接收。制备的食品10可被放置在壳体102中进行检查，使得至少一个成像器105和/或用户设备10的成像器可拍摄食品20的一个或更多个图像。
在操作230中，可基于从数据库(例如，数据库120)接收的预储存的数据对所接收的图像进行分析，以便提取制备的产品数据。图像可经受本领域中已知的任何图像处理。
例如，(例如，可运行在用户设备10上的)深度卷积神经网络算法可用于识别一个或更多个捕获的图像中的食品20(例如，比萨饼)。在另一示例中，基于对图像的每个像素的分析，全卷积网络算法可应用于识别细节，诸如配料。在又另一示例中，神经型传递算法(neural style transfer algorithm)可应用于增强图像纹理并使产品图像更易于理解。
经处理的图像可与预储存的数据进行比较，该预储存的数据可包括从先前检查的食品的图像中提取的制备的产品数据。比较可产生产品相关的数据的识别。例如，控制器可将通过全卷积网络算法处理的图像与先前储存的经处理图像进行比较，其中先前储存的经处理图像包括使用全卷积网络算法完成的图像中的与产品数据相关联的小细节(诸如，例如，配料)的识别。图3中公开了收集预储存的数据的方法。在一些实施例中，比较可允许在所提取的制备的产品数据中识别以下中的至少一个：食品的类型、在食品的表面上可见的一种或更多种原料、以及至少一种原料在食品的表面上的分布。
在操作240中，所提取的制备的产品数据可与订单相关的数据进行比较，以查看食品是否包括正确食物类型，是否所有订购的原料的量和分布充分。例如，如果订单产品是洋葱意大利辣香肠比萨饼，则比较可验证是否给该洋葱意大利辣香肠比萨饼制备以正确的量和分布的洋葱和意大利辣香肠。在又另一示例中，如果订单包括有西红柿、生菜但不以腌菜和土豆泥为配菜的200克的汉堡包，则比较可验证所有需要的原料是否被包括在产品中，且没有其他原料(例如，腌菜)被错误地添加。
在操作250中，可基于比较来确定食品与所要求的制备质量水平的符合性。本文中所使用的术语“制备质量”可包括应该满足以便用于待提供/输送给客户的食品的一组制备参数。例如，制备参数可包括待提供的产品所处的温度范围、各种原料的颜色/纹理(例如，面团的颜色、蔬菜的新鲜度、奶酪的颜色、炸薯条的颜色等)、各种原料的量和分布等。在一些实施例中，如果所提取的制备的产品数据显示产品没有按照订单来制备，则食品可被标记为“不具有所要求的质量水平”。然而，如果所提取的制备的产品数据显示食品被正确制备，则可使用所提取的制备的产品数据进行附加的监控。
在一些实施例中，预储存的数据可包括经处理的图像(所提取的制备的产品数据)与所要求的制备质量水平之间的关联(例如，一组制备参数)。因此，从所接收的产品图像提取的制备的产品数据可与预储存的提取的制备的产品数据进行比较，以查看该产品是否具有所要求的质量水平。在一些实施例中，可确定两个以上的质量水平(即，比仅仅足够/不足更多的水平)。
在一些实施例中，可确定三个质量水平，不足、足够和几乎足够。例如，如果食品达到不足的质量水平，则可不提供产品，如果食品达到足够的质量水平，则可提供食品，以及如果食品达到“几乎足够”的质量水平，则食品可由可确定食品是否可被提供的人类检查者(例如，厨师)进一步检查。
在一些实施例中，质量水平可包括分配给食品的不同属性的质量水平。例如，比萨饼的质量水平可包括奶酪的覆盖面积、面团的颜色、酱汁的覆盖范围、配菜的量和分布等。在一些实施例中，可给予每个属性以质量水平，并且食品的质量水平可基于每个属性的质量水平来计算。在一些实施例中，可给每个属性分配以不同的权重，并且计算可包括给予每个属性质量水平以分配的权重。例如，可给予奶酪的覆盖范围以比配菜的分布更高的权重。
在一些实施例中，食品的温度测量结果可从温度传感器/温度计(例如，温度计107)接收。在一些实施例中，食品与所要求的质量水平的符合性(在操作250中)还可基于温度测量结果来确定。例如，比萨饼的温度可被测量并与用于提供/输送比萨饼的所需温度进行比较。如果温度太低(例如，比萨饼可能被冷输送)，则可重新加热或丢弃该比萨饼。
在一些实施例中，与食品的频谱相关的数据可从光谱仪109接收。例如，与频谱相关的数据可包括频谱和/或从频谱提取的属性，诸如温度、化学组成、化学结合、营养价值等。在一些实施例中，食品与所要求的质量水平的符合性(在操作250中)还可基于所接收的与频谱相关的数据来确定。所接收的频谱可指示食品内部的温度，因此可例如确定汉堡包或牛排的熟的程度。在一些实施例中，频谱可指示食品的营养价值，诸如蛋白质、脂肪、碳水化合物等。
现在参照图3，其是根据本发明的一些实施例的在监控食品制备的方法中用于收集预储存的数据的附加步骤的流程图。图3的步骤可由处理器102或由任何其他处理器执行。在操作310中，可例如从成像器105或用户设备10的成像器接收食品的多个图像。可在多个食品的制备期间拍摄食品的多个图像。例如，多个图像可包括以下的图像：各种类型比萨饼、各种类型的寿司、各种类型的面食等。
在操作320中，可例如使用以上公开的相同的图像处理方法将制备的产品数据从每个图像中提取出来。
在操作330中，可例如从用户设备或数据库接收关于每个图像的相应的订单相关的数据。
在操作340中，可从用户设备和/或用户接口接收关于每个图像的质量水平。例如，专业人员(例如，厨师)可确定出现在多个图像中的每个食品的质量水平，并可使用用户设备或用户接口将所确定的质量水平上传到控制器110。
在操作350中，可将关于每个图像的所提取的制备的产品数据以及相应的订单相关的数据和质量水平储存在数据库(例如，数据库120)中。数据库120可包括与订单相关的数据相关联的所提取的制备的产品数据和质量水平的查找表。例如，查找表可包括用“比萨饼”+“意大利辣香肠”的订单相关的数据和给定该比萨饼的质量水平(例如，不足)从制备的的比萨饼意大利辣香肠的图像中提取的数据。查找表可包括用“比萨饼”+“意大利辣香肠”的订单相关的数据和给定附加比萨饼的质量水平(例如，足够)从附加制备的比萨饼意大利辣香肠的图像提取的数据。因此，操作230中的从比萨饼意大利辣香肠的图像中提取的数据可与被储存在数据库中的提取的数据进行比较，以查看所制备的意大利辣香肠比萨饼是否具有足够的质量水平。
虽然本文已经图示和描述了本发明的某些特征，但是本领域普通技术人员将想到许多修改、替换、改变和等同物。因此，应当理解，所附权利要求旨在覆盖落入本发明的真实精神内的所有这样的修改和改变。

Claims (19)

1.一种用于监控食品制备的装置，包括：
至少一个成像器；以及
控制器，所述控制器被配置为：
接收订单相关的数据；
从所述至少一个成像器接收所述食品的图像；
基于从数据库接收的预储存的数据对所接收的图像进行分析，以便提取制备的产品数据；
将所提取的制备的产品数据与所述订单相关的数据进行比较；以及
基于对所提取的制备的产品数据与所述订单相关的数据的比较，确定所述食品与所要求的质量水平的符合性。
2.如权利要求1所述的装置，其中，所预分类的数据包括从先前检查的食品的图像中提取的制备的产品数据。
3.如权利要求1所述的装置，其中，所述订单相关的数据包括以下中的至少一个：所述食品的类型、在所述食品上可见的一种或更多种原料以及至少一种原料在所述食品上的分布。
4.如权利要求1所述的装置，其中，对所接收的图像进行分析包括在所提取的制备的产品数据中识别以下中至少一个：所述食品的类型、在所述食品的表面上可见的一种或更多种原料以及至少一种原料在所述食品的表面上的分布。
5.如权利要求1所述的装置，其中，所述控制器还被配置为：
接收食品的多个图像；
从每个图像中提取制备的产品数据；
接收关于每个图像的相应的订单相关的数据；
接收关于每个图像的质量水平；以及
将关于每个图像的所提取的制备的产品数据以及所述相应的订单相关的数据和质量水平储存在所述数据库中。
6.如权利要求1所述的装置，其中，确定所述食品与所要求的质量水平的符合性包括确定所提取的制备的产品数据是否指示所述食品具有高于预定的质量水平的质量。
7.如权利要求1所述的装置，还包括温度传感器，
以及其中，所述控制器还被配置为：
从所述温度传感器接收所述食品的温度测量结果；以及
还基于所接收的温度测量结果，确定所述食品是否具有所要求的质量。
8.如权利要求1所述的装置，还包括光谱仪，
以及其中，所述控制器还被配置为：
从所述光谱仪接收与所述食品的光谱相关的数据；以及
还基于所接收的与所述食品的所述光谱相关的数据，确定所述食品是否具有所要求的质量。
9.如权利要求8所述的装置，其中，所述食品的描述还包括熟的程度，
以及其中，与所述食品的所述光谱相关的所述数据指示所述熟的程度。
10.一种监控食品制备的计算机实施的方法，包括：
接收订单相关的数据；
从成像器接收所述食品的图像；
基于从数据库接收的预储存的数据对所接收的图像进行分析，以便提取制备的产品数据；
将所提取的制备的产品数据与所述订单相关的数据进行比较；以及
基于对所提取的制备的产品数据与所述订单相关的数据的比较，确定所述食品与所要求的质量水平的符合性。
11.如权利要求9所述的计算机实施的方法，其中，所预分类的数据包括从先前检查的食品的图像中提取的制备的产品数据。
12.如权利要求10所述的计算机实施的方法，其中，所述订单相关的数据包括以下中的至少一个：所述食品的类型、在所述食品上可见的一种或更多种原料以及至少一种原料在所述食品上的分布。
13.如权利要求10所述的计算机实施的方法，其中，对所接收的图像进行分析包括在所提取的制备的产品数据中识别以下中至少一个：所述食品的类型、在所述食品的表面上可见的一种或更多种原料以及至少一种原料在所述食品的表面上的分布。
14.如权利要求10所述的计算机实施的方法，还包括：
接收食品的多个图像；
从每个图像中提取制备的产品数据；
接收关于每个图像的相应的订单相关的数据；
接收关于每个图像的质量水平；以及
将关于每个图像的所提取的制备的产品数据以及所述相应的订单相关的数据和质量水平储存在所述数据库中。
15.如权利要求10所述的计算机实施的方法，其中，确定所述食品与所要求的质量水平的符合性包括确定所提取的制备的产品数据是否指示所述食品具有高于预定的质量水平的质量。
16.如权利要求10所述的计算机实施的方法，还包括：
从温度计接收所述食品的温度测量结果；以及其中
还基于所接收的温度测量结果，确定所述食品是否具有所要求的质量。
17.如权利要求10所述的计算机实施的方法，还包括：
从光谱仪接收与所述食品的光谱相关的数据；以及其中
还基于所接收的与所述食品的所述光谱相关的数据，确定所述食品是否具有所要求的质量。
18.如权利要求17所述的计算机实施的方法，其中，所述食品的描述还包括熟的程度，
以及其中，与所述食品的所述光谱相关的所述数据指示所述熟的程度。
19.如权利要求17所述的计算机实施的方法，其中，所述食品的描述还包括营养价值，
以及其中，与所述食品的所述光谱相关的所述数据指示所述食品的营养价值。
CN201710596762.6A 2017-03-29 2017-07-20 用于监控食品制备的装置和方法 Pending CN108665134A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762478050P 2017-03-29 2017-03-29
US62/478,050 2017-03-29
US15/497,289 US10254264B2 (en) 2017-03-29 2017-04-26 Apparatus and method for monitoring preparation of a food product
US15/497,289 2017-04-26

Publications (1)

Publication Number Publication Date
CN108665134A true CN108665134A (zh) 2018-10-16

Family

ID=62200123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710596762.6A Pending CN108665134A (zh) 2017-03-29 2017-07-20 用于监控食品制备的装置和方法

Country Status (5)

Country Link
US (1) US10254264B2 (zh)
CN (1) CN108665134A (zh)
AU (2) AU2017204283A1 (zh)
CA (1) CA2974601A1 (zh)
SG (1) SG10201705823YA (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059603A (zh) * 2019-04-10 2019-07-26 秒针信息技术有限公司 食品成分检测仪、食品成分检测方法、装置及存储介质
CN111126200A (zh) * 2019-12-11 2020-05-08 浙江口碑网络技术有限公司 加工品制作进度的追踪方法及装置
CN113168167A (zh) * 2018-12-11 2021-07-23 西门子股份公司 用于制造产品的方法和装置以及计算机程序产品

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017008061A1 (en) * 2015-07-08 2017-01-12 Intelleflex Corporation Photo analytics calibration
EP3536205B1 (de) * 2018-03-06 2021-06-02 Vorwerk & Co. Interholding GmbH Speisenzubereitungsgerät
WO2020050973A2 (en) * 2018-08-22 2020-03-12 Florent Technologies, Llc Neural network-based systems and computer-implemented methods for identifying and/or evaluating one or more food items present in a visual input
ES2760848A1 (es) * 2018-11-14 2020-05-14 Beabloo S L Sistema y procedimiento de control de calidad de platos preparados
US11455714B2 (en) * 2019-07-25 2022-09-27 Verizon Patent And Licensing Inc. Multi-access edge computing methods and systems for computer-vision-based product compliance verification
CN110796149B (zh) * 2019-10-09 2023-10-27 陈浩能 食品追溯的图像比对方法及相关装置
JP6788091B1 (ja) * 2019-11-13 2020-11-18 マルハニチロ株式会社 検査装置および検査方法
RU2758816C1 (ru) * 2020-06-29 2021-11-02 Георгий Ревазович Хвистани Система и способ фотофиксации заказов предприятия общественного питания
US11544925B1 (en) * 2021-09-01 2023-01-03 GOPIZZA Inc. Kitchen system with food preparation station
JP7227423B1 (ja) 2022-06-10 2023-02-21 セーフィー株式会社 情報処理システム、情報処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130302483A1 (en) * 2012-05-09 2013-11-14 Convotherm Elektrogeraete Gmbh Optical quality control system
US20140104385A1 (en) * 2012-10-16 2014-04-17 Sony Network Entertainment International Llc Method and apparatus for determining information associated with a food product
US20140119614A1 (en) * 2012-10-30 2014-05-01 Sony Corporation Information processing apparatus and information processing method
US20140133704A1 (en) * 2012-11-15 2014-05-15 Toshiba Tec Kabushiki Kaisha Commodity recognition apparatus and commodity recognition method
US20140236359A1 (en) * 2012-04-16 2014-08-21 Eugenio Minvielle Appliances with Weight Sensors for Nutritional Substances

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012252396A (ja) 2011-05-31 2012-12-20 Toshiba Tec Corp 外観検査装置、外観検査プログラムおよび外観検査システム
US9014434B2 (en) 2012-11-26 2015-04-21 Frito-Lay North America, Inc. Method for scoring and controlling quality of food products in a dynamic production line
US9659225B2 (en) 2014-02-12 2017-05-23 Microsoft Technology Licensing, Llc Restaurant-specific food logging from images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140236359A1 (en) * 2012-04-16 2014-08-21 Eugenio Minvielle Appliances with Weight Sensors for Nutritional Substances
US20130302483A1 (en) * 2012-05-09 2013-11-14 Convotherm Elektrogeraete Gmbh Optical quality control system
US20140104385A1 (en) * 2012-10-16 2014-04-17 Sony Network Entertainment International Llc Method and apparatus for determining information associated with a food product
US20140119614A1 (en) * 2012-10-30 2014-05-01 Sony Corporation Information processing apparatus and information processing method
US20140133704A1 (en) * 2012-11-15 2014-05-15 Toshiba Tec Kabushiki Kaisha Commodity recognition apparatus and commodity recognition method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168167A (zh) * 2018-12-11 2021-07-23 西门子股份公司 用于制造产品的方法和装置以及计算机程序产品
US11480951B2 (en) 2018-12-11 2022-10-25 Siemens Aktiengesellschaft Method and device for producing a product and computer program product
CN113168167B (zh) * 2018-12-11 2023-09-26 西门子股份公司 用于制造产品的方法和装置以及计算机可读存储介质
CN110059603A (zh) * 2019-04-10 2019-07-26 秒针信息技术有限公司 食品成分检测仪、食品成分检测方法、装置及存储介质
CN111126200A (zh) * 2019-12-11 2020-05-08 浙江口碑网络技术有限公司 加工品制作进度的追踪方法及装置

Also Published As

Publication number Publication date
US20180284091A1 (en) 2018-10-04
CA2974601A1 (en) 2018-09-29
AU2019201466B2 (en) 2020-12-24
AU2019201466A1 (en) 2019-03-28
NZ733184A (en) 2018-05-25
AU2017204283A1 (en) 2018-10-18
SG10201705823YA (en) 2018-10-30
US10254264B2 (en) 2019-04-09

Similar Documents

Publication Publication Date Title
CN108665134A (zh) 用于监控食品制备的装置和方法
CN113194792B (zh) 训练烹饪器具、定位食物以及确定烹饪进度的系统和方法
CN111684368B (zh) 基于成分识别的食物制备方法和系统
US10408748B2 (en) System and method for evaluating fruits and vegetables
US10209691B2 (en) Instructions for conditioning nutritional substances
KR102236974B1 (ko) 이미지 기반 포장 육류 품질 분류 및 판매 방법, 장치 및 시스템
Sampson et al. A dual-view computer-vision system for volume and image texture analysis in multiple apple slices drying
EP2423675A2 (en) System and method for measuring calorie content of a food sample
WO2015069950A1 (en) Instructions for conditioning nutritional substances
CN109812840A (zh) 烹饪温度检测方法、装置及灶具
US20160353921A1 (en) Machine & System for Obtaining Precise Cooking Times of Irregular Shaped Food Objects
Matiacevich et al. Prediction of mechanical properties of corn and tortilla chips by using computer vision
CN112163006A (zh) 一种信息处理方法、装置、电子设备及存储介质
JP7171970B1 (ja) 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム
KR20190048922A (ko) 스마트 테이블 및 스마트 테이블의 제어방법
CN106442339B (zh) 熟肉冷藏时间可视化检测方法及装置
NZ733184B (en) Apparatus and method for monitoring preparation of a food product
Jain et al. Development of a classification system for quality evaluation of Oryza sativa L.(Rice) using computer vision
CN116452881B (zh) 食品营养价值检测方法、装置、设备及存储介质
Matiacevich et al. Oil content fraction in tortilla chips during frying and their prediction by image analysis using computer vision
WO2024084963A1 (ja) 制御方法、情報提供方法、制御システム、情報提供システム、およびプログラム
KR20220147826A (ko) 전자 장치 및 그 제어 방법
Sinha et al. An artificial neural network model for predicting characteristic input parameters for physics based modelling of drying process
CN114049933A (zh) 生成用餐报告的方法、系统、装置、电子设备及存储介质
Ganchovska Program for automatically division an image into set number of equal rectangular regions of interests.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination