CN113272862A - 估计食品的特性 - Google Patents

估计食品的特性 Download PDF

Info

Publication number
CN113272862A
CN113272862A CN201980085839.0A CN201980085839A CN113272862A CN 113272862 A CN113272862 A CN 113272862A CN 201980085839 A CN201980085839 A CN 201980085839A CN 113272862 A CN113272862 A CN 113272862A
Authority
CN
China
Prior art keywords
cooking
bag
image data
processor
food product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980085839.0A
Other languages
English (en)
Inventor
D·鲍尔温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brawley Usa
Breville USA Inc
Original Assignee
Brawley Usa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brawley Usa filed Critical Brawley Usa
Publication of CN113272862A publication Critical patent/CN113272862A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L3/00—Preservation of foods or foodstuffs, in general, e.g. pasteurising, sterilising, specially adapted for foods or foodstuffs
    • A23L3/003—Control or safety devices for sterilisation or pasteurisation systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L5/00—Preparation or treatment of foods or foodstuffs, in general; Food or foodstuffs obtained thereby; Materials therefor
    • A23L5/10—General methods of cooking foods, e.g. by roasting or frying
    • A23L5/17—General methods of cooking foods, e.g. by roasting or frying in a gaseous atmosphere with forced air or gas circulation, in vacuum or under pressure
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A47J36/321—Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D33/00—Details of, or accessories for, sacks or bags
    • B65D33/004—Information or decoration elements, e.g. level indicators, detachable tabs or coupons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D81/00—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents
    • B65D81/18—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents providing specific environment for contents, e.g. temperature above or below ambient
    • B65D81/20—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents providing specific environment for contents, e.g. temperature above or below ambient under vacuum or superatmospheric pressure, or in a special atmosphere, e.g. of inert gas
    • B65D81/2007—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents providing specific environment for contents, e.g. temperature above or below ambient under vacuum or superatmospheric pressure, or in a special atmosphere, e.g. of inert gas under vacuum
    • B65D81/2023—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents providing specific environment for contents, e.g. temperature above or below ambient under vacuum or superatmospheric pressure, or in a special atmosphere, e.g. of inert gas under vacuum in a flexible container
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00—Cooking-vessels
    • A47J27/10—Cooking-vessels with water-bath arrangements for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D2203/00—Decoration means, markings, information elements, contents indicators
    • B65D2203/12—Audible, olfactory or visual signalling means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Food Science & Technology (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nutrition Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Polymers & Plastics (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • General Preparation And Processing Of Foods (AREA)
  • Electric Ovens (AREA)

Abstract

公开了用于估计食品的一个或多个特性的计算机化设备、烹饪器具、烹饪系统、方法和一种计算机可读介质。在一个方面，烹饪系统包括：计算设备，其被配置为：接收指示食品上或周围的标记的图像数据；处理图像数据以确定标记在三维(3D)空间中的位置或变形；和至少部分地基于标记的位置或变形确定食品的一个或多个特性；以及烹饪器具，其包括：一个或多个烹饪部件；和至少一个处理器，其被配置为：从计算设备接收烹饪程序；以及根据烹饪程序控制一个或多个烹饪部件。

Description

估计食品的特性
相关申请
本申请要求2019年11月16日提交的美国临时申请号62768,776的优先权，其全部内容通过引用合并于此。
背景技术
在传统的烹饪方法中，热从燃烧器流向平底锅，然后进入食品，或烤箱的元件加热食品周围的空气。因为烤箱中的空气和平底锅中的金属要比食物期望的内部温度热得多，所以对食物外部的烹饪更多，因此必须在合适的时间停止加热食物。传统烹饪方法对食物进行适当加热的时间窗口较窄。如果过早或过晚地停止加热食物，则食物要么煮过了头，要么煮得不够味。
烹饪的另一种形式是水浴蒸煮(sous vide)烹饪，其中将食物密封在塑料袋中，然后置于热水浴中，直到食物达到期望的内部温度。热水浴的温度通常远低于用于在烤箱中或炉子上烹饪的温度。尽管水浴蒸煮烹饪的确通常比传统方法要花更长的时间，但其能均匀地烹饪湿润的食物，从而确保适当地烹饪食物内部而不会使食物外部煮过头。当用水烹饪时，可以将水温设定得恰好使食物达到优选温度，而无需正好在合适的时间停止加热食物。因此，食物处于期望温度的时间窗口要宽得多。
在每种烹饪方式中，当应从食品中移除热源时，许多特性会影响时间范围。例如，牛排的厚度会影响烹饪应停止的时间。然而，食品的某些特性可能难以准确地估计，尤其是对于可能具有不规则形状和体积的食品，例如牛排。如果对这些特性中的一个或多个进行了不正确的估计，则煮熟的食物可能变干、煮不均匀和/或煮得过度。
发明内容
本发明的目的是基本上克服或至少改善现有布置的一个或多个缺点。
在第一方面，提供了一种用于估计食品的一个或多个特性的计算设备，该计算设备包括：至少一个处理器；以及至少一个非暂时性处理器可读介质，其存储处理器可执行指令，当所述处理器可执行指令由所述至少一个处理器执行时，所述指令使所述至少一个处理器：接收指示食品上或周围的标记的图像数据；处理所述图像数据以确定标记在三维(3D)空间中的位置或变形；和至少部分地基于标记的所述位置或变形确定食品的一个或多个特性。
在某些实施方案中，至少一个处理器被配置为使用计算机视觉算法处理图像数据。
在某些实施方案中，食品的一个或多个特性包括食品的重量、厚度、体积、形状和表面传热系数中的至少一项。
在某些实施方案中，至少一个处理器被配置为接收食品的一个或多个用户输入特性，其中至少一个处理器被配置为进一步基于所述食品的一个或多个用户输入特性确定食品的一个或多个特性。
在某些实施方案中，至少一个处理器被配置为至少部分地基于食物的一个或多个特性生成烹饪程序，其中所述烹饪程序包括烹饪时间和烹饪温度中的至少一个。
在第二方面，提供了一种烹饪器具，其包括：一个或多个烹饪部件；和根据第一方面配置的计算设备，其中所述至少一个处理器被配置为至少部分地基于食品的一个或多个特性生成烹饪程序，其中所述烹饪程序包括烹饪时间和烹饪温度中的至少一个，其中所述至少一个处理器配置为根据所述烹饪程序控制所述一个或多个烹饪部件。
在某些实施方案中，烹饪器具还包括一个或多个传感器，以在烹饪期间监视食品，其中所述至少一个处理器被配置为：从所述一个或多个传感器接收反馈数据；和至少部分地基于所述反馈数据修改所述烹饪程序；其中所述一个或多个烹饪部件由所述至少一个处理器根据修改的烹饪程序控制。
在某些实施方案中，所述烹饪器具包括：水浴蒸煮设备；热浸式循环器；或烤箱。
在某些实施方案中，烹饪器具包括摄像机以捕获图像数据。
在某些实施方案中，由摄像机捕获的图像数据包括装有食品的水浴蒸煮袋的一个或多个图像，该水浴蒸煮袋带有标记。
在某些实施方案中，计算设备的至少一个处理器被配置为：使用所述图像数据的至少一些或在水浴蒸煮袋上的机器可读代码确定标识水浴蒸煮袋的袋标识符；和使用所述袋标识符和存储在所述计算设备的存储器中的标记数据确定所述标记的平面表示；其中所述计算设备的至少一个处理器被配置为使用所述标记的平面表示处理所述图像数据，以确定所述标记在3D空间中的所述位置或变形。
在某些实施方案中，计算设备的至少一个处理器被配置为：在所述存储器中记录与所述袋相关联并指示所述袋已被使用的状态；接收后续图像数据；基于后续图像数据和所述状态，确定所述水浴蒸煮袋是否以前使用过；和响应于所述袋以前使用过，防止所述一个或多个烹饪部件被控制来烹饪所述水浴蒸煮袋中的食品。
在某些实施方案中，烤箱包括用于将光投射在食品上的投影仪，从而在食品上形成所述标记，其中所述摄像机捕获指示由所述投影仪投射在食品上的所述标记的图像数据。
在第三方面，提供了一种烹饪系统，其包括：根据第一方面配置的计算设备，其中所述至少一个处理器被配置为至少部分地基于所述食品的一个或多个特性生成烹饪程序，其中所述烹饪程序包括烹饪时间和烹饪温度中的至少一个；以及器具，其包括：一个或多个烹饪部件；和至少一个处理器，其被配置为：从所述计算设备接收所述烹饪程序；以及根据所述烹饪程序控制所述一个或多个烹饪部件。
在某些实施方案中，烹饪器具包括一个或多个传感器，以在烹饪期间监视食品，其中所述计算设备的至少一个处理器还被配置为：从所述一个或多个传感器接收反馈数据；至少部分地基于所述反馈数据修改所述烹饪程序；和将指示所修改的烹饪程序的数据传送至所述烹饪器具的所述至少处理器；其中所述一个或多个烹饪部件由所述烹饪器具的所述至少一个处理器根据修改的烹饪程序控制。
在某些实施方案中，所述反馈数据、所述烹饪程序和修改的烹饪程序中的至少一个经由用户设备在所述计算设备和所述烹饪器具之间传送。
在某些实施方案中，所述烹饪器具包括：水浴蒸煮设备、热浸式循环器、或烤箱。
在某些实施方案中，图像数据包括装有食品的水浴蒸煮袋的一个或多个图像，该水浴蒸煮袋带有标记。
在某些实施方案中，烹饪系统包括水浴蒸煮袋。
在某些实施方案中，计算设备的至少一个处理器被配置为：接收识别所述水浴蒸煮袋的袋标识符，所述袋标识符基于所述图像数据的至少一些或在所述水浴蒸煮袋上的机器可读代码确定；和使用所述袋标识符和存储在所述计算设备的存储器中的标记数据确定所述标记的平面表示；其中所述计算设备的至少一个处理器被配置为使用所述标记的平面表示处理所述图像数据，以确定所述标记在3D空间中的所述位置或变形。
在某些实施方案中，计算设备的至少一个处理器被配置为：在所述存储器中记录与所述袋标识符相关联的状态，所述状态指示所述袋已被使用；接收后续图像数据；基于在所述后续图像数据中捕获的所述袋的所述袋标识符和存储器中记录的所述状态，确定所述袋是否以前使用过；和响应于所述袋以前使用过，防止所述一个或多个烹饪部件被控制来烹饪所述水浴蒸煮袋中的食品。
在某些实施方案中，所述烤箱包括用于将光投射在食品上的投影仪，从而在食品上形成所述标记，其中所述图像数据指示由所述投影仪投射在食品上的所述标记。
在某些实施方案中，计算设备是服务器处理系统，其从包括摄像机以捕获所述图像数据的用户设备接收所述图像数据。
在某些实施方案中，计算设备是包括摄像机以捕获图像数据的用户设备。
在第四方面，提供了一种用于估计食品的一个或多个特性的方法，包括：接收指示食品上或周围的标记的图像数据；处理所述图像数据以确定所述标记在三维(3D)空间中的位置或变形；和至少部分地基于所述标记的所述位置或变形确定食品的所述一个或多个特性。
在某些实施方案中，处理图像数据包括使用计算机视觉算法。
在某些实施方案中，食品的一个或多个特性包括食品的重量、厚度、体积、形状和表面传热系数中的至少一项。
在某些实施方案中，该方法包括接收食品的一个或多个用户输入特性，其中确定食品的一个或多个特性还基于食品的所述一个或多个用户输入特性。
在某些实施方案中，该方法还包括至少部分地基于食品的所述一个或多个特性生成烹饪程序，其中所述烹饪程序包括烹饪时间和温度中的至少一个。
在某些实施方案中，该方法还包括根据烹饪程序来控制烹饪器具的一个或多个烹饪部件。
在某些实施方案中，该方法还包括：从烹饪器具的一个或多个传感器接收反馈数据；以及至少部分地基于所述反馈数据修改所述烹饪程序；其中所述一个或多个烹饪部件由至少一个处理器根据修改的烹饪程序控制。
在某些实施方案中，所述烹饪器具包括：水浴蒸煮设备、热浸式循环器、或烤箱。
在某些实施方案中，该方法包括使用所述烹饪器具或用户设备的摄像机捕获所述图像数据。
在某些实施方案中，由摄像机捕获的图像数据包括装有食品的水浴蒸煮袋的一个或多个图像，该水浴蒸煮袋带有标记。
在某些实施方案中，所述方法还包括：使用所述图像数据的至少一些或在水浴蒸煮袋上的机器可读代码确定标识所述水浴蒸煮袋的袋标识符；以及使用所述袋标识符和存储在存储器中的标记数据确定标记的平面表示；其中处理所述图像数据以确定所述标记在三维(3D)空间中的位置或变形包括使用所述标记的平面表示处理所述图像数据，以确定所述标记在3D空间中的所述位置或变形。
在某些实施方案中，该方法还包括：记录与所述袋标识符相关联的状态，所述状态指示所述袋已被使用；接收后续图像数据；基于在所述后续图像数据中捕获的所述袋的袋标识符和所述状态，确定所述水浴蒸煮袋是否以前使用过；和响应于所述袋以前使用过，防止所述一个或多个烹饪部件被控制来烹饪所述水浴蒸煮袋中的食品。
在第五方面，提供了至少一种存储指令的计算机可读介质，所述指令在由至少一个处理器执行时执行根据第四方面的方法。
在整个说明书中将理解其他方面和实施方案。
附图说明
从下面结合附图所述的至少一个优选但非限制性的实施方案的仅作为示例给出的描述，示例实施方案将变得显而易见。附图中的部件不必按比例绘制。相反，重点放在清楚地说明本技术的原理。
图1A是表示根据本技术的实施方案的计算设备的示例的框图。
图1B是表示根据本技术的实施方案的烹饪器具的示例的框图。
图1C是图1B的烹饪器具的示例的透视图。
图1D是图1B的烹饪器具的后视图。
图1E是根据本技术的实施方案的烹饪系统的示例的系统图。
图1F是根据本技术的实施方案的烹饪系统的示例的系统图。
图1G是根据本技术的实施方案的图1F的烹饪系统的更详细的系统图。
图2A是根据本技术的实施方案的水浴蒸煮袋的俯视图。
图2B是图2A所示的水浴蒸煮袋的透视图，其中放置有食品。
图3A是根据本技术的另一实施方案的示例水浴蒸煮袋的俯视图。
图3B是图3A所示的水浴蒸煮袋的透视图，其中放置有食品。
图4A是表示根据本技术的实施方案的由图1B的烹饪器具执行的用于估计食品的特性的过程或方法的示例的流程图。
图4B是表示根据本技术的实施方案的由图1E的烹饪系统执行的用于估计食品的特性的过程或方法的示例的流程图。
图4B是表示根据本技术的实施方案的由图1F和1G的烹饪系统执行的用于估计食品的特性的过程或方法的示例的流程图。
图5是根据本技术的实施方案的示例用户设备的框图，所公开技术的一些实施方式可以在其上操作。
图6是表示根据本技术的实施方案的示例分布式计算环境的框图，其中所公开技术的一些实施方案可以在其中操作。
图7是表示在一些实施方案中可以在采用所公开技术的系统中使用的部件的框图。
图8A是表示图1B的烹饪器具的存储器的示例的框图。
图8B是表示图1F和1G的烹饪系统的服务器处理系统的存储器的示例的框图。
具体实施方式
本公开的各方面一般地涉及用于估计食品的一个或多个特性的系统和方法。接收图像数据，该图像数据指示食品上或周围的标记。图像数据被处理以确定标记在三维(3D)空间中的位置或变形。食品的一个或多个特性至少部分地基于标记的位置或变形确定。
在一些实施方案中，所述系统和方法涉及估计放置在水浴蒸煮袋中的食品的一个或多个特性。在下面描述的几个实施方案中，水浴蒸煮袋可以包括印刷或粘贴在其上的标记，该标记可以由成像设备(例如，智能手机、平板电脑或其他用户设备的摄像机)成像。图像数据可用于估计放置在水浴蒸煮袋中的食品的一个或多个特性。例如，计算设备可以使用一种或多种计算机视觉算法处理图像数据，以估计食品的形状、厚度、体积、重量、类型、数量、表面传热系数和/或其他特性中的一个或多个。可以进一步处理图像数据以估计水浴蒸煮袋中的调味汁的分布、水浴蒸煮袋中的气袋等。可以使用一个或多个确定的特性预测或确定烹饪时间、温度或水浴蒸煮烹饪过程的其他方面，和/或生成提示并将其发送给用户设备以调整水浴蒸煮烹饪过程的某方面。例如，对于水浴蒸煮设备，水可能已经被预热到高温，并且在确定食品是牛排时提示用户降低烹饪温度。
在下面的详细描述中，阐述了具体细节以提供对本技术的理解。然而，可以在没有这些特定细节中的一些细节的情况下实践本技术。在某些情况下，未详细示出公知的结构和技术，以免模糊本技术。尽管以下呈现的描述中使用的术语是结合本公开的某些特定实施方案的详细描述来使用的，但是它旨在以其最广泛的合理方式来解释。例如，虽然本技术的操作的某些方面是在水浴蒸煮烹饪和水浴蒸煮袋的背景下描述的，但是本领域技术人员将理解，本技术可应用于估计除食品之外的物体的物理特性。以下甚至可能会强调某些术语；然而，任何此类旨在以任何限制性方式解释的术语将在本具体实施方式部分中公开且明确地定义。本文中所提供的标题仅仅是为方便起见，并且不一定影响实施方案的范围。
图1A示出了表示用于估计食品的一个或多个特性的计算机化设备101的框图。计算机化设备101包括至少一个处理器102和至少一个非暂时性处理器可读介质103，例如用于存储处理器可执行指令的存储器。当由至少一个处理器102执行处理器可执行指令时，处理器102被配置为接收指示食品上或周围的标记的图像数据104。处理器102还被配置为处理图像数据以确定标记在三维(3D)空间中的位置或变形。处理器102还被配置为至少部分地基于标记的位置或变形来确定食品的一个或多个特性。
图1B示出了表示烹饪器具110a的部件的框图。烹饪器具110a包括根据包括至少一个处理器112和存储器113a的计算机化设备101配置的计算机化设备111。另外，计算机化设备111包括输入/输出(I/O)接口114，该输入/输出(I/O)接口经由总线119a与处理器和存储器耦合。烹饪器具110a还包括摄像机115、一个或多个烹饪部件116、输入设备117、输出设备118以及一个或多个传感器119，它们耦合到i/o接口114。如在某些实施方案中所讨论的，烹饪器具还可以包括耦合到I/O接口114的投影仪99。
参考图1C和1D，烹饪器具110a可以以水浴蒸煮设备的形式提供，该设备包括诸如叶轮和加热元件的烹饪部件116。如图1C和1D所示，以触摸屏界面的形式提供输入设备117和输出设备117。如图1D所示，水浴蒸煮器具110a包括摄像机115以捕获图像数据104。在该实例中，摄像机115被设置在触摸屏界面117、118的后表面上。
在图1B、1C和1D所示的实施方案中，存储在存储器113a中的指令使至少一个处理器112接收指示食品12上或周围的标记的图像数据104，处理图像数据104以确定标记在三维(3D)空间中的位置或变形，并至少部分地基于标记的位置或扭曲确定食品12的一个或多个特性。在该实施方案中，所有处理都在器具110a上本地执行。
参考图1E，示出了烹饪系统100a的第一示例。烹饪系统110a包括烹饪器具110b和以用户设备500a的形式提供的计算设备。用户设备500a将在下文中更深入地讨论。用户设备500a可以包括处理器510。烹饪器具110b与烹饪器具110a相同，不同之处在于，存储在存储器113b中的可执行指令与存储器113a不同，因为图1B、1C和1D中的至少一个处理器102执行的至少一些功能被移至用户设备500a的处理器或至少分布在它们之间的处理器。在适当的情况下，将使用附图标记“113”来共同指代存储器113a和113b。此外，烹饪器具110b与烹饪器具110a相同，除了烹饪器具110b与烹饪器具110a不同，不包括摄像机。在适当的情况下，附图标记“110”将被用于共同指代烹饪器具110a和110b。烹饪器具110b和用户设备500a可以经由相应的通信设备进行无线通信。在一种形式中，蓝牙协议可以用于在烹饪器具110b和用户设备500a之间无线地传输数据。
在一个实例中，可以以诸如智能电话或平板电脑处理系统或计算机的便携式处理系统的形式提供用户设备500a。用户设备500a的处理器510由存储在用户设备500a的存储器中的指令配置，以经由摄像机540接收指示食品12上或周围的标记的图像数据104，处理该图像数据104以确定标记在三维(3D)空间中的位置或变形，并至少部分地基于标记的位置或变形来确定食品12的一个或多个特性。用户设备500a然后生成烹饪程序，该烹饪程序然后被传送到烹饪器具110b以由处理器112执行。
参考图1F，示出了烹饪系统100b的另一示例的示意图。类似于图1E，系统100b包括烹饪器具110b和计算设备，但是以诸如云服务器处理系统之类的服务器处理系统140的形式提供该计算设备。在适当的情况下，附图标记“100”将用于共同指代系统100a和100b。如图1G所示，服务器处理系统140包括经由总线耦合在一起的一个或多个处理器142、一个或多个存储器设备144以及通信接口146。烹饪器具110b和服务器处理系统140通过一个或多个通信信道，例如通信网络30，通信地耦合在一起。
系统100b还可以包括用户设备500b(例如，智能手机、平板电脑等)，其可以经由网络30与服务器处理系统140和烹饪器具110b进行通信以向系统100提供输入。用户设备500b与用户设备500a相同，除了处理和确定功能被分配在它们之间或被重新分配给服务器处理系统140之外。在适当的情况下，参考数字“500”将被用于共同指代用户设备500a和500b。用户设备500b可以充当系统100b的输入设备，并且在某些实施方案中，中继在服务器处理系统140和烹饪器具110b之间的通信。在一个实例中，用户设备500b被用于使用用户设备500b的摄像机540来捕获图像数据104，其中图像数据104可以作为输入被传送到服务器处理系统140以进行处理。在另一个实例中，用户可以经由用户设备500b将所需的食物温度、跨食物的可接受的温度梯度、食物特性(例如，类型、重量、厚度、形状)、容器特性(例如尺寸、形状、容积)等输入系统100b。网络30可以是局域网(LAN)或广域网(WAN)，但是也可以是其他有线或无线网络。网络30可以是因特网或一些其它公共网络或专用网络。用户设备500b可以通过网络接口，例如通过有线通信或无线通信连接到网络112。
在图1F所示的实施方案中，存储在存储器144中的指令使服务器处理系统140的至少一个处理器142接收指示食品12上或周围的标记的图像数据104，处理图像数据104以确定标记在三维(3D)空间中的位置或变形，并至少部分地基于标记的位置或扭曲确定食品12的一个或多个特性。在该实施方案中，所有处理都在远离烹饪器具110b的地方执行。
如图1F所示，烹饪器具110b可包括容器40或与容器一起使用，容器40填充有诸如水的流体10。烹饪器具110b可以以热浸循环器或水浴蒸煮设备的形式提供，其至少部分地浸没在流体10中。烹饪器具110b可替代地以烤箱，高压锅、电或燃气炉顶/炊具顶或其他类型的烹饪设备的形式提供。烹饪器具110b可包括盖50或与盖一起使用，盖50配置来盖住容器40，以帮助控制热量损失和流体10的蒸发。在所示的实施方案中，诸如牛排的食品12被放置在可重新密封的塑料袋或袋30(“袋30”)中，并被放置在流体10中。虽然在图1F中被示为单个物品，但是食品12可包括布置在袋30中的多个单独的食品(例如，两个或更多个牛排)。烹饪器具110b被配置为加热流体10以加热和烹饪食品12。
在一些实施方案中，在没有用户经由输入设备输入的情况下估计一个或多个食物特性。然而，在一些实施方案中，系统100可以接收指示食品12的一个或多个用户输入特性的信息，然后该信息用于估计食品12的一个或多个特性。例如，在食品12是肉的情况下，系统100可以接收与种类、切割、厚度、形状、重量、数量等有关的信息。该信息可以由用户设备500的用户输入。可选地，一些或全部信息可以由用户设备500或烹饪器具110自动捕获。如下面详细描述的，例如，用户设备500或烹饪器具110可以用于捕获袋30和食品12的图像以生成指示食品12的特性的一些或全部信息。烹饪器具110、用户设备500或系统100的服务器处理系统140的处理器可以至少部分地基于所述信息生成用于烹饪食品12的烹饪程序(例如，包括烹饪时间、温度等)。烹饪器具110、用户设备500或服务器处理系统140的处理器可以基于其他信息生成烹饪程序，诸如，例如，有关流体10的特性的信息(例如，流体10的体积、流体10的起始温度等)，关于容器104的尺寸(例如，长度、宽度和/或高度)和/或容器材料(例如，玻璃、金属或绝缘材料)的信息，来自用户设备500的地理位置(例如GPS)信息(例如，以基于地理位置的高度估计大气压)等。在一种形式中，处理器使用计算机视觉算法估计容器的尺寸、容器中包含的水量，其中这些烹饪器具特性可以被烹饪器具110，用户设备500或服务器处理系统140的处理器用来生成烹饪程序。
图2A是根据本技术的实施方案的袋30的俯视图。在所示的实施方案中，袋30包括密封构件232，诸如，例如，单压拉链、多压拉链或本领域已知的其他密封构件。在操作中，用户可以将密封构件232打开以将食品12定位在袋30内，然后在将袋30浸入流体10中之前将密封构件232重新密封以提供不透流体的密封。袋30可以由透明、不透明或非透明的塑料材料(例如，聚合物或层压膜)形成。在所示的实施方案中，袋30具有通常矩形的形状，而在其他实施方式中，袋30可以具有其他形状(例如，圆形、直线形、椭圆形、多边形、三角形等)。袋30可以类似于在2018年9月28日提交的美国临时专利申请号62/738,786和2019年9月27日提交的PCT申请号IB2019/058210中详细描述的任何水浴蒸煮袋，通过引用整体将其内容并入本文。
如图2A进一步所示，袋30带有标记236，该标记印在袋30的第一(例如顶部)表面233上或以其他方式附着在该表面上。在一种可选形式中，袋30还印有或以其他方式在其上附着有机器可读代码234。标识符234和/或标记236可以使用旨在在升高的温度下使用的低迁移性墨水直接印刷在袋30上。标识符234可以是条形码、QR码或可由用户设备500扫描(例如，可通过在移动电话或平板电脑上运行的应用程序读取)以接收关于袋30的信息的其他标识符。例如，标识符234可以链接到关于烹饪程序、烹饪指令、要烹饪的食品12、食谱、制造信息、最佳日期等的信息。标识符234对于袋30可以是唯一的，并且可以包括关于标记236的信息，例如标记236的配置或布置。在一种形式中，标记236可以以可以具有重复设计的图案的形式提供。然而，不要求标记236需要具有重复的设计。
图2B是在将食品12放置在袋30中之后的袋30的透视图。在所示的实施方案中，袋30由透亮或透明材料形成，使得食品12在袋30内可见。替代地，袋30可以由不同的材料形成，使得食品12在袋30内不可见。一起参考图2A和2B，标记236可以包括规则的(例如，重复的平铺图案)，诸如相交的、大致为线性的线或线段237的网格。在所示的实施方案中，标记236位于袋30的第一表面233上，使得其大致覆盖或叠加在食品12上。在其他实施方案中，标记236可以包括另一个规则图案，并且可以在袋30的第一表面233的或多或少上延伸。例如，图案236可以延伸到袋30的侧面，并因此覆盖整个第一表面233。这样，袋30可以由大卷的印刷塑料或其他柔性片/平面材料制成，其中材料的一侧印有标记，并且从中切出各个袋或袋的一部分。
将食品12放置在袋30中导致袋30的第一表面233大体上是非平面的，这使标记236从图2A所示的平面网格变形。可选地，用户可以将袋30放置在真空设备中以从袋30中去除空气，或者可以在密封之前手动地从袋30中去除一些空气。如下面参考图4更详细地描述的，标记236的变形可以提供关于食品12的特性的信息，诸如，例如食品12的厚度、体积、形状或质量。同样，如果袋30是基本上半透明的，除了或替代于标记236的任何变形之外，袋30中食品12的颜色、尺寸、位置、形状等可以提供关于食品12的特性的信息。例如，即使袋30没有在食品12周围被拉紧，食品12相对于标记236的位置也可以提供关于食品12的尺寸(例如，形状、体积、厚度等)或重量的信息。即使当袋30是不透明的并且没有在食品12周围被拉紧时，标记236从食品12的变形也可以提供允许准确估计食品12的厚度和/或形状的信息。
在一些实施方案中，袋30还可在与第一表面233相对的第二表面235(图2B)上包括另外的标记(未示出)。袋子的第一和第二表面233、235上的标记可以具有不同的颜色，使得它们在袋30的拍摄图像中是可区分的。第一表面233上的标记236和/或第二表面235上的标记可以被使用/成像以提供关于食品12的信息。
可替代地，袋30可以包括具有其他形状、布置等的标记。例如根据本技术的另一实施方案，图3A是袋30的俯视图，图3B是在将食品12放置在其中之后袋30的透视图。一起参考图3A和3B，在袋30的第一表面233上印刷或以其他方式附着有标识符334和标记336。在所示的实施方案中，标记336是不规则图案(例如，不能用简单的平铺形成的图案)，其包括位于第一表面233上的形状335、线337和点339的不规则布置。在一些实施方案中，形状335、线337和/或点339中的两个或更多个可以彼此完全或部分重叠。标记336的至少一部分定位在袋30的第一表面233上，使得其覆盖并且因此当食品12定位在袋30中时变形。标记336对于袋30可以是唯一的，并且标识符334可以包括关于特定的唯一标记336的信息。就是说，例如，没有其他的水浴蒸煮袋(或很少数量的水浴蒸煮袋)可以制造成具有相同的标记336。
然而，在一些实施方案中，不规则或不对称的图案可以通过使袋30的方向更容易确定来减轻计算负担。同样，不规则图案可以减少多个算法解决方案之间的“零空间”或模糊度，从而确定标记在3D空间中的位置。
通常，根据本技术的水浴蒸煮袋可以具有形状、线、点等的任何布置、组合、取向等。标记可以是重复的或非重复的。此外，标记可以设置在水浴蒸煮袋的一个或多个表面上，并且每个表面上的标记可以相同或不同。标记可以被印刷或粘贴在水浴蒸煮袋上，或者可以是被投影到袋上并随后被成像的光标记。
本技术使得能够自动估计/确定食品12的一个或多个特性，例如被放置在具有在其上印刷、粘贴或以其他方式设置的标记的水浴蒸煮袋中的食品12。特别地，用户可以捕获袋中食品12的一个或多个图像，并且计算机视觉或其他算法可以用于至少部分地基于对应于袋子上的标记的图像数据104上估计食品12的厚度、重量、形状等。所确定的特性可以用于确定或设置用于烹饪食品12的一个或多个烹饪参数(例如，水浴温度、烹饪时间、开始时间等)，或为用户触发通知或其他提示。
参考图4A，示出了使用关于图1B讨论的烹饪器具110a估计食品12的特性的过程或方法400的流程图。
方法400从方框402开始。例如，方法400可以在用户激活烹饪器具110a的“开”按钮时开始。
在步骤404，方法400可选地包括确定袋30的标识符。如将在后面的实例中描述的，该步骤是可选的，因为在图像数据104中捕获的至少一些标记可以是袋30的标识符，因此省去了这一扫描袋30的机器可读代码234、334的步骤。在一种形式中，烹饪器具110a的摄像机115可以被操作以捕获指示袋标识符的机器可读代码234、334。例如，机器可读代码234、334可以是可扫描的QR代码或条形码。在扫描标识符之后，系统100可以经由烹饪器具110a的输出设备输出烹饪指令、烹饪建议或其他信息。此外，处理器112可以已经在存储器113中存储了可以被检索和使用的多个标识符和相关联的数据。例如，存储在存储器113中的每个标识符可以与袋子上的标记的视觉表示相关联，其中处理器112使用该标识符来确定或识别相关联的特定标记(例如，标记236、标记336或基于所扫描的标识符印在袋30上的不同标记)。即，读取袋30上的标识符可以向处理器112提供关于标记在袋30上的(平面)布置的信息。可替代地，在将任何食物放置在袋中之前，用户可以在袋30平放时对其进行拍照。
在步骤406，方法400包括烹饪器具110a的处理器112接收与食品12有关的图像数据104。处理器112从烹饪器具110a的摄像机115接收图像数据104。可以以视频数据的形式提供图像数据104，该视频数据包括袋30中食品12的多个图像。替代地，图像数据104可以包括一个或多个静止图像。只要可以看见食品12和袋30上的至少一些标记，就可以使用摄像机115在相对于袋30的任何方向和距离处拍摄图像。
烹饪器具110a的处理器112可以另外经由烹饪器具110a的输入设备直接从用户输入接收与食品12有关的数据。例如，用户可以通过烹饪器具110a的输入设备输入要烹饪的食品12的类型(例如，牛排)，或者食品12的任何已知特性(例如，重量、嫩度、大小等等)。烹饪器具110a允许用户输入食品12的容易了解的特性(例如，类型)，同时允许用户使用烹饪器具110a的摄像机115拍摄食品12的图像以自动确定更复杂或难以测量的特性(例如厚度、重量、形状等)。在一些实施方案中，当食品12尚未被放置在袋30中时，烹饪器具110a的处理器112也可以接收食品12和袋30的图像数据104(例如，在同一帧中)。使用平面袋30作为参考，这种图像数据104也可以用于估计食品12的特性。
在步骤408，方法400包括确定食品12的至少一个特性。例如，器具110a的处理器112可以执行存储在存储器113a中的估计模块744(见图8A)，该估计模块采用存储在存储器113a中的一种或多种计算机视觉或增强现实算法来处理图像数据104以确定袋30上标记在三维(3D)空间中的位置/方向。烹饪器具110a的处理器可以采用例如在"ImageRestoration of Arbitrarily Warped Documents,"Brown、Michael S和W.Brent Seales,IEEE Transactions on Pattern Analysis and Machine Intelligence，第26卷第10期，2004年10月，第1295–306页和/或"A New Approach to Image-Based Estimation of FoodVolume,"Hassannejad et.al.,Algorithms，第10卷第2期，2017年6月10日)中描述的算法。也就是说，器具110a的处理器112可以基于袋30上的已知标记的变形来估计/建模袋30的3D形状。例如，用户设备500a的处理器510获取存储在存储器中的已知数据(诸如标记的先前图像或标记的已知几何形状)，并且将其与该标记新接收的图像进行比较，该新接收的图像被位于袋30下方和其内的食品12变形。该已知数据可以本地存储在器具110a的存储器113中。本领域技术人员将理解，可以使用其他计算机视觉算法。在一种形式中，可将用于AndroidTM操作系统(ARCore)和AppleTM iOS(ARKit)的增强现实工具包用于执行计算机视觉算法。深度神经网络也可用于确定食品12的类型(例如，里脊牛排vs排骨)。
然后可以使用与食品12的颜色或纹理有关的标记在3D空间和/或图像数据104中的位置或变形(例如，当袋30是半透明的时)来估计食品12的物理特性，例如厚度、重量和形状。例如，烹饪器具110a的处理器112可以基于所确定的袋30上的标记的3D几何形状来估计食品12的形状和厚度，和/或可以基于其颜色和/或纹理估计食品12的类型。例如，由处理器112执行的计算机视觉算法可以确定可影响烹饪程序的肉类食品12的胖到瘦类别和/或肉类食品12的等级(例如，大理石纹较多的牛肉可能需要比大理石纹较少的牛肉更少的烹饪时间)。类似地，处理器112可以基于关于(例如，经由指示食品12是牛排的用户输入)食品12是什么的先前接收的信息(例如一个或多个用户输入的食物特性)以及对存储在存储器113中的存储的查找表或数据库(其包括食品12类型的平均密度)的参考，进一步估计食品12的重量。在某些实施方案中，烹饪器具110a的处理器112可以处理图像数据104以确定设置在袋30内的食品12的数量(例如，两个牛排并排放置在袋30中)和/或位于袋30内的多个食品12的重叠或相对位置。处理器112可以基于食品12的确定的特性(例如，形状)来识别食品12的类型。
烹饪器具110a的处理器112可以进一步处理图像数据104以(i)在食品12和袋30中的调味汁、流体或其他成分之间进行区分，和/或(ii)确定在袋30中存在一个或多个气泡。例如，处理器112可以在分析标记的3D几何形状(例如，局部最大值)以识别袋30中的气泡的同时，处理图像数据104中的颜色以区分食品12和袋30中的调味汁。基于所确定的调味汁分布和/或气泡的存在，烹饪器具110a的处理器112可以进一步估计食品12的表面传热系数。
在确定食品12的一个或多个特性之后，在步骤410，方法400包括处理器112控制输出设备以向用户提供通知或提示和/或在步骤412确定食品12的烹饪程序。
例如，在步骤410，如果确定袋30中存在过多的气泡，调味汁和/或成分以抑制或减慢食品12的烹饪的方式分配，则处理器112可以控制输出设备以向用户呈现提示以重新放置食品12。更具体地，如果估计的表面传热系数低于阈值，则烹饪器具110a的处理器112可以经由输出设备向用户提供提示。如果处理器确定多个食品12被放置在袋30内并且以抑制或减慢食品12的烹饪的方式重叠，则处理器112可以控制输出设备以提供提示。
在食品12被重新放置在袋30内之后，方法400可以返回到步骤408，其中处理器112接收另外的图像数据104(例如，通过另外的图像捕获)。提示可以是由烹饪器具110a的输出设备输出的任何合适的听觉、触觉、视觉或其他通知。
在步骤412，食品12的确定的特性可以用于确定食品12的烹饪程序。例如，所确定的食品12的厚度、重量和/或形状可以由存储在存储器113a中并且由处理器112执行的烹饪程序确定模块746(参见图8A)用于确定或预测食品12的烹饪时间、流体10的最佳温度和/或水浴蒸煮过程的另一方面。可以将所确定的特性输入到用于预测烹饪的方法中，该方法如2018年8月29日提交的美国专利申请16/116,460中所述，其标题为"PREDICTIVE COOKING,SUCH AS FOR USE WITH SOUS VIDE COOKING SYSTEMS"，通过引用将其整体并入本文。
在步骤414，该方法包括操作烹饪器具110a以开始烹饪食品12。在一些实施方案中，在确定烹饪程序之后，烹饪器具110a可以开始烹饪程序，例如，以开始将流体10加热到确定的设定点温度。
在步骤416，该方法包括处理器112从烹饪器具110a的一个或多个传感器接收反馈数据，并且可选地基于该反馈数据修改烹饪程序。例如，烹饪器具110a可以具有温度计以感测水的温度。在水的温度过高的情况下，由烹饪器具110a的处理器112执行的烹饪程序确定模块可以相应地修改存储器113a中的烹饪程序以调节水的温度。
如果标记对于袋30是唯一的，则烹饪器具110a可以通过在稍后时间再次接收到袋30(及其上的唯一标记)的图像数据104时防止图像数据104的处理或甚至烹饪器具110a的操作来确保袋30不被再次使用。禁止用户重复使用袋子可以提高食品安全性，提供更高质量的烹饪等。特别地，在使用所标识的袋30开始烹饪过程之后，处理器112可以在存储器113中存储与标识符相关联的袋子情形数据748中的状态，其中该状态指示袋子的使用状态。当接收到后续图像数据104时，在存储器113中检查与袋标识符相关联的状态。如果袋子情形数据的状态指示袋子先前已经被使用过，则处理器112被配置为通过防止烹饪器具110a的烹饪部件的操作在重复使用袋子中禁止或阻止图像处理确定食品12的特性和/或食品12的烹饪。
参考图4B，示出了使用关于图1E所讨论的烹饪系统100a来估计食品12的特性的过程或方法430的流程图。
方法430从方框432开始。例如，方法400可以在用户激活用户设备500a上的应用时开始。
在步骤434，方法430可选地包括确定袋30的标识符。与方法400相似，该步骤是可选的，因为在图像数据104中捕获的至少一些标记可以是袋30的标识符，因此省去了这一扫描袋30的机器可读代码234、334的步骤。在一种形式中，用户设备500a的摄像机540可以被操作以捕获指示袋标识符的机器可读代码234、334。例如，机器可读代码234、334可以是可扫描的QR代码或条形码。在扫描标识符之后，用户设备500a可以经由用户设备500a的输出设备输出烹饪指令、烹饪建议或其他信息。此外，用户设备500a可以已经在存储器中存储了可以被检索和使用的多个标识符和相关联的数据。例如，存储在存储器113中的每个标识符可以与袋子上的标记的视觉表示相关联，其中用户设备500a的处理器510使用该标识符来确定或识别相关联的特定标记(例如，标记236、标记336或基于所扫描的标识符印在袋30上的不同标记)。即，读取袋30上的标识符可以向用户设备500a的处理器510提供关于标记在袋30上的(平面)布置的信息。可替代地，在将任何食物放置在袋子内之前，用户可以使用用户设备500a的摄像机540在其平放时拍摄袋30的图像。
在步骤436，方法430包括用户设备500a的处理器510接收与食品12有关的图像数据104。用户设备500a的处理器510从烹饪器具110b的摄像机540接收图像数据104。可以以视频数据的形式提供图像数据104，该视频数据包括袋30中食品12的多个图像。替代地，图像数据104可以包括一个或多个静止图像。只要可以看见食品12和袋30上的至少一些标记，就可以使用摄像机115在相对于袋30的任何方向和距离处拍摄图像。
用户设备500a的处理器510可以另外经由用户设备500a的输入设备从用户输入直接接收与食品12有关的数据。例如，用户可以通过用户设备500a的输入设备输入要烹饪的食品12的类型(例如，牛排)，或者食品12的任何已知特性(例如，重量、嫩度、大小等等)。用户设备500a允许用户输入食品12的容易了解的特性(例如，类型)，同时允许用户使用用户设备500a的摄像机540拍摄食品12的图像以自动确定更复杂或难以测量的特性(例如厚度、重量、形状等)。在一些实施方案中，当食品12尚未被放置在袋30中时，用户设备500a的处理器510也可以接收食品12和袋30的图像数据104(例如，在同一帧中)。使用平面袋30作为参考，这种图像数据104也可以用于估计食品12的特性。
在步骤438，方法430包括确定食品12的至少一个特性。例如，用户设备500a的处理器510可以执行存储在程序存储器560中的估计模块744(参见图5)，其采用存储在用户设备500a的存储器550中的一种或多种计算机视觉或增强现实算法来处理图像数据104以确定在三维(3D)空间中袋30上的标记的位置/方向。用户设备500a的处理器510可以采用如先前实例中所描述的算法。即，用户设备500a的处理器510可以基于袋30上的已知标记的变形来估计/建模袋30的3D形状。例如，用户设备500a的处理器510获取已知数据(诸如标记的先前图像或标记的已知几何形状)，并且将其与该标记新接收的图像进行比较，该新接收的图像被位于袋30下方和其内的食品12变形。该已知数据可以本地存储在用户设备500a的存储器113中，其可以从诸如服务器处理系统140之类的远程服务器下载。
然后可以使用与食品12的颜色或纹理有关的标记在3D空间和/或图像数据104中的位置或变形(例如，当袋30是半透明的时)来估计食品12的物理特性，例如厚度、重量和形状。例如，用户设备500a的处理器510可以基于所确定的袋30上的标记的3D几何形状来估计食品12的形状和厚度，和/或可以基于其颜色和/或纹理估计食品12的类型。例如，由处理器112执行的计算机视觉算法可以确定可影响烹饪程序的肉类食品12的胖到瘦类别和/或肉类食品12的等级(例如，大理石纹较多的牛肉可能需要比大理石纹较少的牛肉更少的烹饪时间)。类似地，用户设备500a的处理器510可以基于关于(例如，经由指示食品12是牛排的用户输入)食品是什么的先前接收的信息(例如一个或多个用户输入的食物特性)以及对存储在用户设备500a的存储器中的存储的查找表或数据库(其包括食品12类型的平均密度)的参考，进一步估计食品12的重量。在某些实施方案中，用户设备500a的处理器510可以处理图像数据104以确定设置在袋30内的食品12的数量(例如，两个牛排并排放置在袋30中)和/或位于袋30内的多个食品12的重叠或相对位置。用户设备500a的处理器510可以基于食品12的确定的特性(例如，形状)来识别食品12的类型。
用户设备500a的处理器510可以进一步处理图像数据104以(i)在食品12和袋30中的调味汁、流体或其他成分之间进行区分，和/或(ii)确定在袋30中存在一个或多个气泡。例如，用户设备500a的处理器510可以在分析标记的3D几何形状(例如，局部最大值)以识别袋30中的气泡的同时，处理图像数据104中的颜色以区分食品12和袋30中的调味汁。基于所确定的调味汁/成分分布和/或气泡的存在，用户设备500a的处理器112可以进一步估计食品12的表面传热系数。
在确定食品12的一个或多个特性之后，在步骤440，方法430包括用户设备500a的处理器510控制输出设备以向用户提供通知或提示和/或在步骤442确定食品12的烹饪程序。
例如，在步骤440，如果确定袋30中存在过多的气泡，和/或如果调味汁/成分以抑制或减慢食品12的烹饪的方式分配，则用户设备500a的处理器510可以控制输出设备以向用户呈现提示以重新放置食品12。更具体地，如果估计的表面传热系数低于阈值，则用户设备500a的处理器510可以经由输出设备向用户提供提示。如果处理器确定多个食品12被放置在袋30内并且以抑制或减慢食品12的烹饪的方式重叠，则用户设备500a的处理器510可以控制输出设备以提供提示。
方法400可以返回到步骤436，其中在食品12被重新放置在袋30内之后，用户设备500a的处理器510接收另外的图像数据104(例如，通过另外的图像捕获)。提示可以是由烹饪器具110b的输出设备输出的任何合适的听觉、触觉、视觉或其他通知。
在步骤442，用户设备500a的处理器510可以使用所确定的食品12的特性来通过执行存储在程序存储器560中的烹饪程序确定模块746(见图5)确定用于食品12的烹饪程序。例如，食品12的确定的厚度、重量和/或形状可以用于确定或预测食品12的烹饪时间、流体10的最佳温度和/或水浴蒸煮过程的另一方面。可以将所确定的特性输入到用于预测烹饪的方法中，该方法如2018年8月29日提交的美国专利申请16/116,460中所述，其标题为"PREDICTIVE COOKING,SUCH AS FOR USE WITH SOUS VIDE COOKING SYSTEMS"，通过引用将其整体并入本文。
在步骤444，该方法包括用户设备500a促进烹饪器具110b开始烹饪。在一些实施方案中，在确定烹饪程序之后，用户设备500a可以将指令发送到烹饪器具110b以开始烹饪程序，例如，以开始将流体10加热到确定的设定点温度。
在步骤446，方法400包括用户设备500a的处理器510从烹饪器具110b的一个或多个传感器接收反馈数据，并且可选地基于该反馈数据修改烹饪程序。例如，烹饪器具110b可具有温度计以感测水的温度。在水的温度过高的情况下，用户设备500a的处理器510可以相应地修改存储器中的烹饪程序以调节水的温度。
如在先前实例中所讨论的，如果标记对于袋30是唯一的，则用户设备500a或烹饪器具110b可以通过在稍后时间再次接收到袋30(及其上的唯一标记)的图像数据104时防止图像数据104的处理或甚至烹饪器具110b的操作来确保袋30不被再次使用。禁止用户重复使用袋子可以提高食品安全性，提供更高质量的烹饪等。特别地，在使用所标识的袋30开始烹饪过程之后，用户设备500a的处理器510或烹饪器具110b的处理器112可以在存储器中存储与标识符相关联并且指示袋子的使用状态的袋子情形数据748中的状态。当接收到后续图像数据104时，在用户设备500a或烹饪器具110b的存储器中检查与袋标识符相关联的状态。如果状态指示袋子先前已经被使用过，则用户设备500a的处理器510被配置为通过防止烹饪器具110b的烹饪部件的操作在重复使用袋子中禁止或阻止图像处理确定食品12的特性和/或指示烹饪器具110b阻止或禁止食品12的烹饪。
参考图4C，示出了根据本技术的实施方案的由图1F和1G的烹饪系统100b执行的用于自动确定食品12的一个或多个特性的过程或方法460的流程图。
方法460从方框462开始。例如，方法460可以在用户激活用户设备500b上的特定应用时开始。
在步骤464，方法460可选地包括读取与袋30相关联的标识符(例如，标识符234或334)。例如，标识符可以是可扫描的QR码或条形码。在扫描标识符之后，用户设备500b可以经由输出设备烹饪指令提供烹饪建议或其他信息，并且用户设备500b或服务器处理系统140可以确定或识别特定标记(例如，标记236、336或不同的标记)，然后根据扫描的标识符将其打印在袋30上。即，读取袋30上的标识符可以向用户设备500b或服务器处理系统140提供与用户正在使用的特定袋30上的标记的(平面)布置有关的信息。例如，信息可以从在用户设备500b上运行的应用获得，或者可以从服务器处理系统140下载。可替代地，在将任何食物放置在袋中之前，用户可以在袋30平放时对其进行拍照。
在步骤466，方法460包括服务器处理系统140从用户设备500b或烹饪器具110b接收与食品12有关的图像数据104。例如，用户设备500b或烹饪器具110a的摄像机可以捕获图像数据104，该图像数据指示袋30中食品12的一个或多个图像和/或视频(即一系列图像)。只要可以看见食品12和袋30上的至少部分标记，就可以在相对于袋30的任何方向和距离处拍摄图像。在一些实施方案中，在读取袋30上的标识符之后，服务器处理系统140可以向用户设备500b提供指令以捕获食品12的图像。这样的指令可以包括可以经由用户设备500b的一个或多个输出设备呈现给用户的音频、视觉、触觉和/或其他提示，以指导用户捕获合适的图像数据104(例如，以将摄像机相对于袋30和食品12定位在特定位置和/或方向)。
服务器处理系统140可以另外经由经由用户设备500b或烹饪器具110b从用户输入直接接收与食品12有关的数据。例如，用户可以通过输入要烹饪的食品12的类型(例如，牛排)，或者食品12的任何已知特性(例如，重量、嫩度、大小等等)。系统100b允许用户通过用户设备500b的输入设备输入食品12的容易了解的特性(例如，类型)，同时允许用户拍摄食品12的图像以自动确定更复杂或难以测量的特性(例如厚度、重量、形状等)。在一些实施方案中，当食品12尚未被放置在袋30中时，系统100也可以接收食品12和袋30的图像数据104(例如，在同一帧中)。使用平面袋30作为参考，这种图像数据104也可以用于估计食品12的特性。
在步骤468，方法460包括服务器处理系统140确定食品12的至少一个特性。例如，服务器处理系统140的处理器142可以执行存储在存储器144中的估计模块744(参见图8B)，其采用一种或多种计算机视觉或增强现实算法来处理从用户设备500b接收的图像数据104，以确定在三维(3D)空间中袋30上的标记的位置/方向。服务器处理系统140可将算法存储在存储器144中，并如先前实例中所述的应用该算法。即，服务器处理系统140的处理器142可以基于袋30上的已知标记的变形来估计/建模袋30的3D形状。例如，系统100获取存储在存储器144中的已知数据(诸如标记的先前图像或标记的已知几何形状)，并且将其与该标记新接收的图像进行比较，该新接收的图像被位于袋30下方和其内的食品12变形。可以将已知数据本地存储在服务器处理系统140的存储器144中和/或从在袋30上标记的拍摄的以及从用户设备500b接收的较早图像中本地获取该已知数据。
然后服务器处理系统140的处理器142可以使用与食品12的颜色或纹理有关的标记在3D空间和/或图像数据104中的位置或变形(例如，当袋30是半透明的时)来估计食品12的物理特性，例如厚度、重量和形状。例如，服务器处理系统140的处理器142可以基于所确定的袋30上的标记的3D几何形状来估计食品12的形状和厚度，和/或可以基于其颜色和/或纹理估计食品12的类型。例如，由处理器112执行的计算机视觉算法可以确定可影响烹饪程序的肉类食品12的胖到瘦类别和/或肉类食品12的等级(例如，大理石纹较多的牛肉可能需要比大理石纹较少的牛肉更少的烹饪时间)。类似地，服务器处理系统140的处理器142可以基于关于(例如，经由指示食品12是牛排的用户输入)食品12是什么的先前接收的信息(例如一个或多个用户输入的食物特性)以及对存储在存储器144中的存储的查找表或数据库(其包括食品12类型的平均密度)的参考，进一步估计食品12的重量。在某些实施方案中，服务器处理系统140的处理器142可以处理图像数据104以确定设置在袋30内的食品12的数量(例如，两个牛排并排放置在袋30中)和/或位于袋30内的多个食品12的重叠或相对位置。服务器处理系统140的处理器142可以基于食品12的确定的特性(例如，形状)来识别食品12的类型。
服务器处理系统140的处理器142可以进一步处理图像数据104以(i)在食品12和袋30中的调味汁、流体或其他成分之间进行区分，和/或(ii)确定在袋30中存在一个或多个气泡。例如，系统100可以在分析标记的3D几何形状(例如，局部最大值)以识别袋30中的气泡的同时，处理图像数据104中的颜色以区分食品12和袋30中的调味汁。基于所确定的调味汁和/或成分分布和/或气泡的存在，服务器处理系统140的处理器142可以进一步估计食品12的表面传热系数。
如果标记对于袋30是唯一的，则服务器处理系统140可以通过在稍后时间再次接收到袋30(及其上的唯一标记)的图像数据104时防止图像数据104的处理或甚至烹饪器具110b的操作来确保袋30不被再次使用。禁止用户重复使用袋子可以提高食品安全性，提供更高质量的烹饪等。特别地，在使用所标识的袋30开始烹饪过程之后，服务器处理系统140可以在存储器144中存储与标识符相关联的并且指示袋30的使用状态的袋子情形数据748中的状态。当接收到后续图像数据104时，在服务器处理系统140的存储器144中检查与袋标识符相关联的状态。如果状态指示袋子先前已经被使用过，则服务器处理系统140的处理器142被配置为通过防止烹饪器具110b的烹饪部件的操作在重复使用袋30中禁止或阻止图像处理确定食品12的特性和/或指示烹饪器具110b阻止或禁止食品12的烹饪。
在确定食品12的一个或多个特性之后，在步骤470，服务器处理系统140的处理器142可以向用户设备500b发送通知或提示和/或在步骤472确定食品12的烹饪程序。
例如，在步骤470，如果确定袋30中存在过多的气泡和/或调味汁和/或调味汁和/或成分以抑制或减慢食品12的烹饪的方式分配，则服务器处理系统140可以向用户设备500b发送提示以重新放置食品12。更具体地，如果估计的表面传热系数低于阈值，则服务器处理系统140可以向用户设备500b发送提示。如果确定多个食品12被放置在袋30内并且以抑制或减慢食品12的烹饪的方式重叠，则服务器处理系统140可以发送提示。在将食品12重新放置在袋30内之后，方法460可以返回到框466并接收另外的图像数据104(例如，经由另外的图像捕获)。提示可以是用户设备500b输出的任何合适的听觉、触觉、视觉或其他通知。
在框472处，可以由服务器处理系统140的处理器142使用确定的食品12的特性，执行烹饪程序确定模块746(参见图8B)以确定食品12的烹饪程序。例如，处理器142可以使用食品12的确定的厚度、重量和/或形状确定或预测食品12的烹饪时间、流体10的最佳温度和/或水浴蒸煮过程的另一方面。可以将所确定的特性输入到用于预测烹饪的方法中，该方法如2018年8月29日提交的美国专利申请16/116,460中所述，其标题为"PREDICTIVECOOKING,SUCH AS FOR USE WITH SOUS VIDE COOKING SYSTEMS"，通过引用将其整体并入本文。
在步骤474，该方法包括服务器处理系统140促进烹饪器具110b开始烹饪过程。在一些实施方案中，在确定烹饪程序之后，服务器处理系统140可以将指令发送到烹饪器具110b以开始烹饪程序，例如，以开始将流体10加热到确定的设定点温度。这些指令可以经由用户设备500b发送。
在步骤476，方法460包括服务器处理系统140从烹饪器具110b的一个或多个传感器接收反馈数据，并且可选地基于反馈数据修改烹饪程序。例如，烹饪器具110b可具有温度计以感测水的温度。如果水的温度与烹饪程序的期望设定温度相比过高，则服务器处理系统140的处理器142可以修改烹饪程序，并且将指示调整的烹饪程序的数据传输至烹饪器具110b以调节水温。服务器处理系统140可以经由用户设备500b接收反馈数据。烹饪器具110b可以经由用户设备500b接收指示修改后的烹饪程序的数据。
在一种变型中，图像数据104可以在烹饪过程期间由烹饪器具110或用户设备500的摄像机捕获，以确定离开食品12的液体量。可以由服务器处理系统140、用户设备500或烹饪器具110的相应处理器执行计算机视觉算法，以补偿袋30在水下的标记的折射，以确定在烹饪过程中已经离开食品12的液体量。如果需要，相应的处理器可以基于该确定来修改烹饪程序，和/或可以经由用户设备500或烹饪器具110向用户提供提示，以指示食品12已经被烹饪或者提供了修改的烹饪估计时间。
因此，本技术可以通过自动确定待烹饪的食物产品的一个或多个特性来改善水浴蒸煮烹饪过程，该特性可以被用来改进或改善水浴蒸煮烹饪过程。值得注意的是，本技术可以用于估计用户可能难以自行准确确定的特性(例如，形状、厚度等)。代替省略这样的信息或花费额外的时间来生成/确定信息，本技术有利地允许用户简单地通过在食品被放置在水浴蒸煮袋中之后拍摄食品的图像来捕获和输入这样的信息。
可替代地，本技术可以被实现为在除水浴蒸煮烹饪过程之前的时间或地点确定食品12的特性。例如，系统100可以在水浴蒸煮烹饪过程之后或期间接收设置在水浴蒸煮袋内的食品12的图像数据104，该食品包括标记。图像数据104可以如上所述进行处理，以例如确定在烹饪过程中食品12损失的水量或食品12吸收的流体量。同样，本技术的实施方案可以被实现为在将食品包装到袋中时(例如，在预包装食物的制造商处，餐馆)确定食品12的特性，并因此不限于与水浴蒸煮烹饪一起使用。在一些实施方案中，标记可以被照亮或投射到袋子上，然后可以以不同的角度对袋子成像。所确定的特性可以用于例如确认制造一致性，提供用于标记的信息等。因此，根据前述内容，应当理解，尽管在此出于说明的目的已经描述了本技术的特定实施方案，但是可以在不脱离本技术范围的情况下进行各种修改。
在一些实施方案中，标记可以被照亮或投射到袋子上，然后可以以不同的角度对袋子成像。所确定的特性可以用于例如确认制造一致性，提供用于标记的信息等。因此，根据前述内容，应当理解，尽管在此出于说明的目的已经描述了本技术的特定实施方案，但是可以在不脱离本技术范围的情况下进行各种修改。
在另一实施方案中，如图1B所示，烹饪器具110可以可选地包括投影仪99，其将形成标记的光投射在食品12上。在一种形式中，水浴蒸煮设备或热浸式循环器110a的处理器112可以将形成标记的光投射在袋30的外表面上。摄像机115可以捕获图像数据104，该图像数据示出了被投影到容纳食品12的袋子上的标记。处理器112可以执行如前所述的方法400，以确定容纳在袋30中的食品12的一个或多个特性。
在一种形式中，烹饪器具110a可以以烤箱的形式提供。食品12可以放置在烤箱中，其中投影仪由处理器112控制，以将表示标记的光投射到食品12的外表面上。烤箱的摄像机可以捕获图像数据104，该图像数据示出投影到食品12上的标记。可以处理图像数据104，可以以与参考方法400描述的方式相似的方式确定食品12的一个或多个特性和烹饪程序。
图5-7和以下讨论提供了对合适的计算环境的简要概括描述，在该计算环境中可以实施用于估计食品12的特性的发明性系统和方法的各方面。本技术可以体现为专用硬件(例如，电路系统)、用软件和/或固件恰当地编程的可编程电路系统，或专用电路系统和可编程电路系统的组合。因此，本技术的实施方案可以包含其上存储有指令的机器可读介质，所述指令可以用于使计算机、微处理器、处理器和/或微控制器(或其它电子设备)执行过程。机器可读介质可以包含但不限于光盘、压缩光盘只读存储器(CD-ROM)、磁光盘、ROM、随机存取存储器(RAM)、可擦可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、快闪存储器或适用于存储电子指令的其它类型的介质/机器可读介质。
本技术还可以在分布式计算环境中实践，在分布式计算环境中，任务或模块由远程处理设备执行，该远程处理设备通过诸如局域网(“LAN”)、广域网(“WAN”)或互联网之类的通信网络链接。在分布式计算环境中，程序模块或子例程可以位于本地和远程存储器储存设备中。上述技术的方面可以存储或分布在计算机可读介质上，或者，可替代地，本发明的各方面可以电子地通过互联网或其他网络(包括无线网络)分布。相关领域的技术人员将认识到，本发明的部分可以驻留在服务器计算机上，而相对应的部分可以驻留在客户/用户端计算机上。特定于本发明各方面的数据结构和数据传输也涵盖在本发明的范围内。
图5是根据本技术的实施方案的用户设备500的框图，所公开技术的一些实施方式可以在其上操作。用户设备500可以是智能手机、平板电脑或个人计算机。用户设备500可以包含向处理器(CPU)510提供输入从而通知其动作的一个或多个输入设备520。这些动作通常由硬件控制器来介导，所述硬件控制器解释从输入设备520接收到的信号，并使用通信协议将所述信息传送到处理器510。输入设备520可包括例如鼠标、键盘、触摸屏、红外传感器、触摸板，可穿戴输入设备、基于摄像机或图像的输入设备、麦克风和/或其它用户输入设备。
处理器510可以是设备中的单个处理单元或多个处理单元，或分布在多个设备上。例如，可以通过使用例如PCI总线或SCSI总线的总线将处理器510联接到其它硬件设备。处理器510可以与用于例如显示器530的设备的硬件控制器通信。显示器530可以用于显示文本和图形。在一些实例中，显示器530向用户提供图形和文本视觉反馈。在一些实施方案中，显示器530包含输入设备520作为显示器的一部分，例如当输入设备520是触摸屏或配备有眼睛方向监测系统时。显示器530可以与输入设备520分离。显示设备的实例包括：LCD显示屏，LED显示屏，投影、全息或增强现实的显示器(例如平视显示设备或头戴式设备)等等。其它I/O设备540还可以联接到处理器，例如网卡、视频卡、声卡、USB、火线(FireWire)或其它外部设备、摄像机、打印机、扬声器、CD-ROM驱动器、DVD驱动器、磁盘驱动器或蓝光设备。
用户设备500还可以包括能够与网络节点进行无线或有线通信的通信设备(例如，无线收发器)。通信设备可以通过使用例如TCP/IP协议的网络与另一设备或服务器通信。用户设备500可以利用通信设备在多个网络设备上分配工作。
处理器510可以访问存储器550。存储器550可包括用于易失性和/和非易失性存储设备的各种硬件设备中的一个或多个，并且可以包含只读存储器和可写存储器。例如，存储器550可以包括随机存取存储器(RAM)、CPU寄存器、只读存储器(ROM)和可写非易失性存储器，例如快闪存储器、硬盘驱动器、软盘、CD、DVD、磁存储设备、磁带机、设备缓冲器等。存储器550不是与底层硬件分离的传播信号，因此是非暂时性的。存储器550可以包含存储程序和软件的程序存储器560，所述程序和软件例如操作系统562、食品特性估计模块744和其它应用程序566(例如包括预测性烹饪平台)。存储器550还可以包含数据存储器570，所述数据存储器可以存储食品12的特性的确定或估计结果、开始时间、完成时间、例如肉的嫩度等用户喜好，这可以被提供到程序存储器560或用户设备500的任何元件。在所示的实施方案中，存储器550进一步包括增强现实或计算机视觉库580，其可以存储例如计算算法、指示标记的袋情形数据和/或食品特性估计模块744可以如上所述用于估计食品12的一个或多个特性的其他资源。
本技术的一些实施方案可以与众多其它通用或专用计算系统环境或配置一起操作。可适用于与技术一起使用的熟知的计算系统、环境和/或配置的实例包含但不限于个人计算机、服务器计算机、手持式设备或膝上型设备、蜂窝电话、移动电话、可穿戴电子设备、游戏机、平板电脑设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费型电子设备、网络PC、微型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。
更具体地，图6是根据本技术的实施方案的分布式计算环境600的框图，其中所公开技术的一些实施方案可以在其中操作。环境600可以包括一个或多个用户设备605(分别标记为用户设备605A-605D)，其实例可以包括以上参考图5详细描述的用户设备500。用户设备605可以使用通过网络630到一台或多台远程计算机的逻辑连接在网络环境中操作。在所示的实施方案中，例如，用户设备605经由网络630通信地耦合到远程服务器计算设备610。
服务器计算设备610可以是边缘服务器，其接收客户端/用户请求并且通过例如服务器计算设备620(分别标记为服务器计算设备620A–620C)的其它服务器来协调实现这些请求。服务器计算设备610和620可以包括计算系统，例如用户设备500。在所示的实施方案中，每个服务器计算设备610和620在逻辑上被显示为图6中的单个服务器。替代地，服务器计算设备610和620中的一些或全部可以是分布式计算环境，其包括位于相同或地理上不同的物理位置的多个计算设备。在一些实施方案中，每一服务器计算设备620对应于一组服务器。
用户设备605和服务器计算设备610和620可以各自充当其它服务器/客户端设备的服务器或客户端。服务器计算设备610可以连接到数据库615，并且服务器计算设备620A-620C可以分别各自连接到对应的数据库625A-625C。如上文所论述，每一服务器计算设备620可以对应于一组服务器，并且这些服务器中的每一个可以共享数据库或可以具有它们自己的数据库。数据库615和625可以存放(warehouse)(例如，存储)例如确定的食品特性、开始时间、完成时间和用户喜好的信息。在一些实施方案中，数据库615和625中的一个或多个可以存储增强现实或计算机视觉库，该库可以包括例如计算算法、标记和/或可用于估计食品的一个或多个特性的其他资源。在所示的实施方案中，数据库615和625在逻辑上被显示为图6中的单个单元。可选地，数据库615和625可以各自为包含多个计算设备的分布式计算环境，并且可以位于其对应服务器内或可以位于相同物理位置或地理上不同的物理位置。
网络630可以是局域网(LAN)或广域网(WAN)，但也可以是其它有线网络或无线网络。网络630可以是因特网或一些其它公共网络或专用网络。用户设备605可以通过网络接口连接到网络630，例如通过有线通信或无线通信。虽然服务器计算设备610和620之间的连接示出为单独的连接，但这些连接可以是任何类型的局域网、广域网、有线网络或无线网络，包含网络630或单独的公共网络或专用网络。
图7是表示在一些实施方案中可以在采用所公开技术的系统中使用的部件700的框图。部件700包含硬件702、通用软件720和专用部件740。如上文所论述，实施所公开技术的系统可以使用各种硬件，包含处理单元704(例如，CPU、GPU、APU等)、工作存储器706、存储存储器708以及输入和输出(I/O)设备710。参考图6，部件700可以在一个或多个用户设备605中或在一个或多个服务器计算设备610和620中实现。
再次参考图7，通用软件720可以包含各种应用程序，包含操作系统722、本地程序724和基本输入输出系统(BIOS)726。专用部件740可以是通用软件应用程序720的子部件，例如本地程序724。专用部件740可以包括食品特性估计模块744、烹饪程序确定模块746和/或可以用于传送数据和控制专用部件740的部件，例如接口742。在一些实施方案中，部件700可以位于分布在多个计算设备上的计算系统中，或者可以是执行专用部件740中的一个或多个的基于服务器的应用程序的接口。
本领域的技术人员应了解，可以多种方式更改上文所描述的图5-7中所示的部件以及上文所论述的每个流程图中的部件。例如，可以重新排列逻辑的顺序、可以并行执行子步骤、可以省略所示逻辑、可以包含其它逻辑，等等。在一些实施方案中，上文所描述的部件中的一个或多个可以执行上文所描述的过程中的一个或多个。
通常，对本发明的实施方案的详细描述并非旨在穷举或将本发明限制为以上公开的精确形式。尽管以上出于说明性目的描述了本发明的特定实施方案和实例，但是如相关领域的技术人员将认识到的，在本发明的范围内可以进行各种等效修改。例如，虽然以给定的顺序显示了过程或框，但替代实施方案可以以不同的顺序执行具有步骤的例程，或采用具有框的系统，并且某些过程或框可以被删除、移动、添加、细分、组合和/或修改。这些过程或框中的每一者都可以以各种不同的方式来实施。而且，虽然有时将过程或框示出为连续执行，但是这些过程或框可以替代地并行执行，或者可以在不同的时间执行。
本发明的各方面可以被储存或分布在计算机可读介质上，该计算机可读介质包括磁性或光学可读计算机盘、硬件接线的或预编程的芯片(例如，EEPROM半导体芯片)、纳米技术存储器、生物存储器或其他数据储存介质。可替代地，计算机实施的指令、数据结构、屏幕显示和根据本发明的各方面的其他数据可以在一段时间内通过互联网或其他网络(包括无线网络)分布在传播介质(例如，(一个或更多个)电磁波、声波等)上的传播信号上，或者它们可以在任何模拟或数字网络(分组交换、电路交换或其他方案)上提供。相关领域的技术人员将认识到，本发明的各部分驻留在服务器计算机上，而相对应的部分驻留在诸如移动设备或便携式设备之类的客户端计算机上，因此，尽管本文中描述了某些硬件平台，但是本发明的各方面同样适用于网络上的节点。
根据以上具体实施方式，可以对本发明进行这些和其他改变。尽管上面的描述详述了本发明的某些实施方案并描述了预期的最佳模式，但是无论上文在文本中显示的多么详细，本发明都可以以许多方式来实践。本发明的细节在其实施细节方面可以有很大的变化，同时仍然被本文所公开的发明所涵盖。如上所述，在描述本发明的某些特征或方面时使用的特定术语不应被认为暗示该术语在本文中被重新定义为限于本发明的与该术语相关联的任何特定特性、特征或方面。通常，除非以上具体实施方式部分明确定义了术语，否则所附权利要求中使用的这样的术语不应被解释为将本发明限制于说明书中公开的特定实施方案。因此，本发明的实际范围不仅涵盖所公开的实施方案，而且涵盖实践或实施本发明的所有等效方式。

Claims (37)

1.一种用于估计食品的一个或多个特性的计算设备，包括：
至少一个处理器；以及
至少一个非暂时性处理器可读介质，其存储处理器可执行指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器：
接收指示食品上或周围的标记的图像数据；
处理所述图像数据以确定所述标记在三维(3D)空间中的位置或变形；和
至少部分地基于所述标记的位置或变形确定所述食品的所述一个或多个特性。
2.根据权利要求1所述的计算设备，其中所述至少一个处理器被配置为使用计算机视觉算法处理所述图像数据。
3.根据权利要求1或2所述的计算设备，其中所述食品的所述一个或多个特性包括所述食品的重量、厚度、体积、形状和表面传热系数中的至少一项。
4.根据权利要求1至3中任一项所述的计算设备，其中所述至少一个处理器被配置为接收所述食品的一个或多个用户输入特性，其中所述至少一个处理器被配置为进一步基于所述食品的所述一个或多个用户输入特性确定所述食品的所述一个或多个特性。
5.根据权利要求1至4中任一项所述的计算设备，其中所述至少一个处理器被配置为至少部分地基于所述食物的所述一个或多个特性生成烹饪程序，其中所述烹饪程序包括烹饪时间和烹饪温度中的至少一个。
6.一种烹饪器具，其包括：
一个或多个烹饪部件；和
根据权利要求5配置的计算设备，其中所述至少一个处理器被配置为根据所述烹饪程序控制所述一个或多个烹饪部件。
7.根据权利要求6所述的烹饪器具，其中所述烹饪器具还包括一个或多个传感器，以在烹饪期间监视所述食品，其中所述至少一个处理器被配置为：
从所述一个或多个传感器接收反馈数据；和
至少部分地基于所述反馈数据修改所述烹饪程序；
其中所述一个或多个烹饪部件由所述至少一个处理器根据修改后的烹饪程序控制。
8.根据权利要求6或7所述的烹饪器具，其中所述烹饪器具包括：
水浴蒸煮设备；
热浸式循环器；或者
烤箱。
9.根据权利要求6至8中任一项所述的烹饪器具，其中所述烹饪器具包括摄像机，以捕获所述图像数据。
10.根据权利要求9所述的烹饪器具，其中由所述摄像机捕获的图像数据包括装有所述食品的水浴蒸煮袋的一个或多个图像，所述水浴蒸煮袋带有所述标记。
11.根据权利要求10所述的烹饪器具，其中所述计算设备的所述至少一个处理器被配置为：
使用至少一些所述图像数据或所述水浴蒸煮袋上的机器可读代码，确定标识所述水浴蒸煮袋的袋标识符；和
使用所述袋标识符和存储在所述计算设备的存储器中的标记数据确定所述标记的平面表示；
其中所述计算设备的所述至少一个处理器被配置为使用所述标记的平面表示处理所述图像数据，以确定所述标记在3D空间中的所述位置或变形。
12.根据权利要求11所述的烹饪器具，其中所述计算设备的所述至少一个处理器被配置为：
在所述存储器中记录与所述袋相关的并指示所述袋已被使用的状态；
接收后续图像数据；
基于后续图像数据和所述状态，确定所述水浴蒸煮袋是否以前被使用过；和
响应于所述袋以前被使用过，防止所述一个或多个烹饪部件被控制来烹饪所述水浴蒸煮袋中的所述食品。
13.根据权利要求9所述的烹饪器具，其中所述烤箱包括用于将光投射在所述食品上的投影仪，从而在所述食品上形成所述标记，其中所述摄像机捕获指示由所述投影仪投射在所述食品上的所述标记的所述图像数据。
14.一种烹饪系统，包括：
根据权利要求5配置的计算设备；和
烹饪器具，所述烹饪器具包括：
一个或多个烹饪部件；和
至少一个处理器，其配置为：
从所述计算设备接收所述烹饪程序；和
根据所述烹饪程序控制所述一个或多个烹饪部件。
15.根据权利要求14所述的烹饪系统，其中所述烹饪器具包括一个或多个传感器，以在烹饪期间监视所述食品，其中所述计算设备的所述至少一个处理器还被配置为：
从所述一个或多个传感器接收反馈数据；
至少部分地基于所述反馈数据修改所述烹饪程序；和
将指示修改的烹饪程序的数据传送到所述烹饪器具的所述至少处理器；
其中所述一个或多个烹饪部件由所述烹饪器具的所述至少一个处理器根据修改后的烹饪程序控制。
16.根据权利要求15所述的烹饪系统，其中所述反馈数据、所述烹饪程序和修改的烹饪程序中的至少一个经由所述用户设备在所述计算设备和所述烹饪器具之间传送。
17.根据权利要求14至16中任一项所述的烹饪系统，其中所述烹饪器具包括：
水浴蒸煮设备，
热浸式循环器，或
烤箱。
18.根据权利要求17所述的烹饪系统，其中所述图像数据包括装有所述食品的水浴蒸煮袋的一个或多个图像，所述水浴蒸煮袋带有标记。
19.根据权利要求18所述的烹饪系统，其中所述烹饪系统包括所述水浴蒸煮袋。
20.根据权利要求20所述的烹饪系统，其中所述计算设备的所述至少一个处理器被配置为：
接收标识所述水浴蒸煮袋的袋标识符，所述袋标识符基于至少一些所述图像数据或所述水浴蒸煮袋上的机器可读代码来确定；和
使用所述袋标识符和存储在所述计算设备的存储器中的标记数据确定所述标记的平面表示；
其中所述计算设备的所述至少一个处理器被配置为使用所述标记的平面表示处理所述图像数据，以确定所述标记在3D空间中的所述位置或变形。
21.根据权利要求20所述的烹饪系统，其中所述计算设备的所述至少一个处理器被配置为：
在所述存储器中记录与所述袋标识符相关的状态，所述状态指示所述袋已被使用；
接收后续图像数据；
基于在所述后续图像数据中捕获到的所述袋的标识符以及记录在所述存储器中的所述状态，确定所述袋以前是否被使用过；和
响应于所述袋以前被使用过，防止所述一个或多个烹饪部件被控制来烹饪所述水浴蒸煮袋中的所述食品。
22.根据权利要求18所述的烹饪系统，其中所述烤箱包括用于将光投射在所述食品上的投影仪，从而在所述食品上形成所述标记，其中所述图像数据指示由所述投影仪投射在所述食品上的所述标记。
23.根据权利要求14至22中任一项所述的烹饪系统，其中所述计算设备是服务器处理系统，其从包括摄像机以捕获所述图像数据的用户设备接收所述图像数据。
24.根据权利要求14至22中任一项所述的烹饪系统，其中所述计算设备是包括所述摄像机以捕获所述图像数据的用户设备。
25.一种用于估计食品的一个或多个特性的方法，包括：
接收指示食品上或周围的标记的图像数据；
处理所述图像数据以确定所述标记在三维(3D)空间中的位置或变形；和
至少部分地基于所述标记的位置或变形确定所述食品的所述一个或多个特性。
26.根据权利要求25所述的方法，其中处理所述图像数据包括使用计算机视觉算法。
27.根据权利要求25或26所述的方法，其中所述食品的所述一个或多个特性包括所述食品的重量、厚度、体积、形状和表面传热系数中的至少一项。
28.根据权利要求25至27中任一项所述的方法，其中所述方法包括接收所述食品的一个或多个用户输入特性，其中确定所述食品的一个或多个特性还基于所述食品的所述一个或多个用户输入特性。
29.根据权利要求25至28中任一项所述的方法，其中所述方法还包括至少部分地基于所述食品的所述一个或多个特性生成烹饪程序，其中所述烹饪程序包括烹饪时间和温度中的至少一个。
30.根据权利要求29所述的方法，其中所述方法还包括根据所述烹饪程序控制烹饪器具的所述一个或多个烹饪部件。
31.根据权利要求30所述的方法，其中所述方法还包括：
从所述烹饪器具的一个或多个传感器接收反馈数据；和
至少部分地基于所述反馈数据修改所述烹饪程序；
其中所述一个或多个烹饪部件由所述至少一个处理器根据修改后的烹饪程序控制。
32.根据权利要求30或31所述的方法，其中所述烹饪器具包括：
水浴蒸煮设备，
热浸式循环器，或
烤箱。
33.根据权利要求32所述的方法，其中所述方法包括使用所述烹饪器具或用户设备的摄像机捕获所述图像数据。
34.根据权利要求33所述的方法，其中由所述摄像机捕获的图像数据包括装有所述食品的水浴蒸煮袋的一个或多个图像，所述水浴蒸煮袋带有所述标记。
35.根据权利要求34所述的方法，其中所述方法还包括：
使用至少一些所述图像数据或所述水浴蒸煮袋上的机器可读代码，确定标识所述水浴蒸煮袋的袋标识符；和
使用所述袋标识符和存储在存储器中的标记数据确定所述标记的平面表示；
其中处理所述图像数据以确定所述标记在三维(3D)空间中的位置或变形包括使用所述标记的所述平面表示处理所述图像数据，以确定所述标记在3D空间中的位置或变形。
36.根据权利要求35所述的方法，其中所述方法还包括：
记录与所述袋标识符相关的状态，所述状态指示所述袋已被使用；
接收后续图像数据；
基于在所述后续图像数据中捕获到的所述袋的袋标识符以及所述状态，确定所述水浴蒸煮袋以前是否被使用过；和
响应于所述袋以前被使用过，防止所述一个或多个烹饪部件被控制来烹饪所述水浴蒸煮袋中的所述食品。
37.至少一种存储指令的计算机可读介质，所述指令在由至少一个处理器执行时执行根据权利要求25至36中任一项所述的方法。
CN201980085839.0A 2018-11-16 2019-11-15 估计食品的特性 Pending CN113272862A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862768776P 2018-11-16 2018-11-16
US62/768,776 2018-11-16
PCT/IB2019/059815 WO2020100091A1 (en) 2018-11-16 2019-11-15 Estimating a characteristic of a food item

Publications (1)

Publication Number Publication Date
CN113272862A true CN113272862A (zh) 2021-08-17

Family

ID=70731338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980085839.0A Pending CN113272862A (zh) 2018-11-16 2019-11-15 估计食品的特性

Country Status (5)

Country Link
US (1) US20220007689A1 (zh)
EP (1) EP3881286A4 (zh)
CN (1) CN113272862A (zh)
AU (1) AU2019379860A1 (zh)
WO (1) WO2020100091A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12035725B2 (en) 2022-12-12 2024-07-16 Sharkninja Operating, Llc Grill systems
US12070042B2 (en) 2022-12-12 2024-08-27 Sharkninja Operating Llc Grill systems

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12002245B2 (en) 2019-10-25 2024-06-04 Mashgin Inc. Method and system for item identification
CN114052509B (zh) * 2020-07-30 2023-03-21 佛山市顺德区美的电热电器制造有限公司 烹饪系统和烹饪方法
US11844458B2 (en) 2020-10-13 2023-12-19 June Life, Llc Method and system for automatic cook program determination
CN114641830A (zh) * 2020-10-15 2022-06-17 京东方科技集团股份有限公司 食物体积、热量计算方法、电子装置、电子设备和存储介质
FR3134504B1 (fr) * 2022-04-13 2024-08-30 Seb Sa Procédé de détermination d’au moins un paramètre de cuisson d’un appareil de cuisson à partir d’une pluralité d’images
EP4293636A1 (en) * 2022-06-16 2023-12-20 Versuni Holding B.V. Cooked level determination
WO2023242002A1 (en) * 2022-06-16 2023-12-21 Versuni Holding B.V. Cooked level determination
US12035845B1 (en) 2023-04-26 2024-07-16 Sharkninja Operating Llc Systems and methods for cooking pizza

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110022211A1 (en) * 2007-12-21 2011-01-27 Ovenfeast Limited Cooking methods and a cooking apparatus for use with same
WO2013033442A1 (en) * 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects
CN104639903A (zh) * 2015-02-03 2015-05-20 广西智询信息科技有限公司 移动终端扫码直播无线视频监控系统
US20160350715A1 (en) * 2015-05-29 2016-12-01 Eugenio Minvielle Nutrition Based Food System and Method
CN108027953A (zh) * 2015-07-21 2018-05-11 厨师步骤有限公司 食物制备控制系统
US20180324908A1 (en) * 2015-09-10 2018-11-08 Brava Home, Inc. In-oven camera and computer vision systems and methods
WO2018206323A1 (en) * 2017-05-10 2018-11-15 Arcelik Anonim Sirketi A cooling device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104640484B (zh) * 2012-07-31 2016-12-07 布瑞威利私人有限公司 真空低温烹饪装置
CN107535024B (zh) 2015-05-05 2020-11-27 俊生活公司 连接的食品制备系统及其使用方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110022211A1 (en) * 2007-12-21 2011-01-27 Ovenfeast Limited Cooking methods and a cooking apparatus for use with same
WO2013033442A1 (en) * 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects
CN104639903A (zh) * 2015-02-03 2015-05-20 广西智询信息科技有限公司 移动终端扫码直播无线视频监控系统
US20160350715A1 (en) * 2015-05-29 2016-12-01 Eugenio Minvielle Nutrition Based Food System and Method
CN108027953A (zh) * 2015-07-21 2018-05-11 厨师步骤有限公司 食物制备控制系统
US20180324908A1 (en) * 2015-09-10 2018-11-08 Brava Home, Inc. In-oven camera and computer vision systems and methods
WO2018206323A1 (en) * 2017-05-10 2018-11-15 Arcelik Anonim Sirketi A cooling device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴雪珍，王培泉: "《山东农业新十大技术》", 31 December 2000, 山东人民出版社, pages: 420 - 421 *
李萌;孙铁波;: "基于机器视觉的食品包装缺陷检测研究", 食品研究与开发, vol. 37, no. 24, 20 December 2016 (2016-12-20), pages 125 - 127 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12035725B2 (en) 2022-12-12 2024-07-16 Sharkninja Operating, Llc Grill systems
US12070042B2 (en) 2022-12-12 2024-08-27 Sharkninja Operating Llc Grill systems

Also Published As

Publication number Publication date
EP3881286A1 (en) 2021-09-22
AU2019379860A1 (en) 2021-06-03
US20220007689A1 (en) 2022-01-13
WO2020100091A1 (en) 2020-05-22
EP3881286A4 (en) 2022-08-24

Similar Documents

Publication Publication Date Title
CN113272862A (zh) 估计食品的特性
US7973642B2 (en) RFID food production, inventory and delivery management method for a restaurant
JP6615856B2 (ja) コンテンツ認識フォトフィルタを供給するための装置および方法
KR102055464B1 (ko) 식품을 조리하기 위한 방법 및 이 방법을 구현하는 장치
WO2018165038A1 (en) Augmented reality-enhanced food preparation system and related methods
US20070251521A1 (en) RFID food production, inventory and delivery management system for a restaurant
CN108027953A (zh) 食物制备控制系统
US11481981B2 (en) Generated offering exposure
CN108416703A (zh) 厨房支援系统
Gwyther et al. The effect of basal friction on melting and freezing in ice shelf–ocean models
KR20140117527A (ko) 식품의 조리에 대한 정보를 제공하기 위한 방법 및 관련 장치
US20190114801A1 (en) Interactive interface system, work assistance system, kitchen assistance system, and interactive interface system calibration method
JP6911123B2 (ja) 学習装置、認識装置、学習方法、認識方法及びプログラム
CN114025646A (zh) 烹饪器具、方法和系统
JP2006046893A (ja) 調理装置及び調理方法
CN104272308B (zh) 用于提供包装内的产品内容的视觉表示的方法
JP2020086841A (ja) 品質学習装置、品質学習方法及び品質学習プログラム
US20240185540A1 (en) Constructing an augmented reality image
US11989958B2 (en) Food storage system, method and computer readable medium
WO2016140622A1 (en) Food and beverage order management system and method
JP2022513897A (ja) 食品廃棄物の検出方法およびシステム
CN113316547A (zh) 真空低温袋、组件、系统和方法
JP7549620B2 (ja) 梱包箱体、情報処理装置、情報処理システム、及びプログラム
WO2019218017A1 (en) A device for electronically measuring temperature of a food item at predetermined milestones
JP2020128824A (ja) 調理管理の方法、システム、プログラム、および機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination