CN111382660A - 电器库存的增强现实反馈 - Google Patents

电器库存的增强现实反馈 Download PDF

Info

Publication number
CN111382660A
CN111382660A CN201911198490.XA CN201911198490A CN111382660A CN 111382660 A CN111382660 A CN 111382660A CN 201911198490 A CN201911198490 A CN 201911198490A CN 111382660 A CN111382660 A CN 111382660A
Authority
CN
China
Prior art keywords
food
food item
interior
digital
food product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911198490.XA
Other languages
English (en)
Inventor
J·G·阿博杜
M·P·埃布罗姆
N·贾科米尼
D·J·吉尔摩
B·N·雷德福
A·E·肖沃斯
C·A·斯蒂普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Whirlpool Corp
Original Assignee
Whirlpool Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Whirlpool Corp filed Critical Whirlpool Corp
Publication of CN111382660A publication Critical patent/CN111382660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Thermal Sciences (AREA)
  • Software Systems (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了一种食品存储系统。该系统可以包括具有限定内部的机壳的电器，所述内部包括配置为存储至少一种食品的搁板、隔间或抽屉中的至少一个；视觉系统，其包括配置为记录与存储在内部的至少一种食品相关的图像数据的至少一个成像器；以及与视觉系统通信的控制器。控制器可操作用于生成内部的增强现实图像。

Description

电器库存的增强现实反馈
技术领域
本设备总体上涉及一种食品存储系统，更具体地涉及一种电器的食品存储系统。
发明内容
在至少一方面，公开了一种食品存储系统。该系统可以包括具有限定内部的机壳的电器，所述内部包括配置为存储至少一种食品的搁板、隔间或抽屉中的至少一个；视觉系统，其包括配置为记录与存储在内部的至少一种食品相关的图像数据的至少一个成像器；以及与视觉系统通信的控制器。控制器可操作用于确定至少一种食品的身份，确定内部的存储结构，基于所确定的至少一种食品的身份和内部的存储结构生成内部的增强现实图像，并显示增强现实图像。增强现实图像可以包括存储结构的数位绘图和对应于布置在数位绘图内的至少一种食品的数字食品图像。
在至少另一方面，公开了一种食品存储系统。该系统可以包括具有限定内部的机壳的电器，所述内部包括配置为存储至少一种食品的搁板、隔间或抽屉中的至少一个；视觉系统，其包括配置为记录与存储在内部的至少一种食品相关的图像数据的至少一个成像器；照明系统，其包括配置为投射光图案的至少一个光源；以及与视觉系统通信的控制器。控制器可操作用于确定至少一种食品的身份和位置，分析来自用户的关于至少一种食品的查询，并响应于该查询控制照明系统将光图案投射到至少一种食品上。光图案可以向用户提供反馈，指示至少一种食品的位置或食品属性中的至少一个。
在至少另一方面，公开了一种食品存储系统。该系统可以包括具有限定内部的机壳的电器，所述内部包括配置为存储至少一种食品的搁板、隔间或抽屉中的至少一个；视觉系统，其包括配置为记录与存储在内部的至少一种食品相关的图像数据的至少一个成像器；以及与视觉系统通信的控制器。控制器可操作用于检测至少一种食品的至少一种食品属性，基于用户对食品属性的选择生成内部的增强现实图像，并显示增强现实图像。增强现实图像可以包括对应于食品属性的至少一个数字食品图层。
通过研究以下说明书、权利要求书和附图，本领域技术人员将进一步理解该设备的这些和其他特征、优点和目的。
附图说明
在附图中，
图1是根据本文描述的各个方面的包括食品存储系统的电器内部的正视图；
图2是根据本文描述的各个方面的电器内部的一部分的示意图；
图3是根据本文描述的各个方面的电器内部的增强现实图像的示意图；
图4是根据本文描述的各个方面的电器内部的增强现实图像的示意图；
图5是根据本文描述的各个方面的电器内部的增强现实图像的示意图；
图6是根据本文描述的各个方面的电器内部的增强现实图像的示意图；
图7A是根据本文描述的各个方面的食品存储系统的框图；
图7B是根据本文描述的各个方面的食品存储系统的框图；以及
图8是展示根据本文描述的各个方面的用户查询食品存储系统的过程的流程图。
具体实施方式
出于本文描述的目的，术语“上”、“下”、“右”、“左”、“后”、“前”、“垂直”、“水平”及其派生词应当与图1中定向的设备相关联。然而，应该理解的是，该设备可以采取各种替代方向和步骤顺序，除非有明确相反的指定。还应当理解，附图中示出的以及以下说明书中描述的特定设备和过程仅仅是所附权利要求中定义的发明概念的示例性实施例。因此，除非权利要求明确声明，否则与本文公开的实施例相关的特定尺寸和其他物理特征不应被认为是限制性的。
参考图1，示出了诸如冰箱的电器12的存储系统10。电器12可以包括限定内部16的机壳14。机壳可以包括显示屏36，显示屏36可以是液晶显示器或任何合适的显示器。显示屏36可以是用户界面的形式。内部16可以包括多个支架，这些支架限定了用于存储至少一种物品24的存储结构，该物品24可以包括食品24。支架可以包括搁板18、隔间20或抽屉22中的至少一个及其任意组合。虽然内部16被示出为包括搁板18、隔间20和抽屉22的组合，但是它不限于这些存储结构，而是可以包括用于存储食品24的任何合适的结构。此外，内部16可以包括照明系统，该照明系统包括至少一个光源28。所述至少一个光源28可以配置为提供选择性照明，例如光图案30，并且可以是任何合适的光源28的形式，例如微型投影仪、激光器等。
存储系统10可以配置为识别和跟踪存储在电器12内的物品24的状态。由系统10跟踪或更新的物品24的特定状态可以根据电器12的性质而变化。因此，本公开可以提供存储系统10，该存储系统10可以用于识别物品的状态、物品的库存和/或各种处理状态，以收集和跟踪本文讨论的各种信息。
例如，如果电器12对应于冰箱，如图1所示，则系统10可以配置为在食品24被添加到内部16或从内部16移除时跟踪食品24的库存。为了检测和识别食品24，存储系统10可以包括视觉系统，该视觉系统包括至少一个成像器26。在一些实施例中，所述至少一个成像器26可以对应于多个成像器26。所述至少一个成像器26可以配置为在内部16或在电器12外部的存取区域中捕获图像数据。存储系统10可操作用于检测与食品24经由存取区域进入和/或离开内部16相关联的人体的至少一部分(例如手)相关联的食品24。以这种方式，系统10可操作用于通过检测进入和离开存取区域的人体的部分来跟踪食品24的状态。一种可操作用于通过检测进入和离开存取区域的人体的一部分来跟踪食品的状态的系统可以包括美国专利第10,157,308号中公开的系统，其发布于2018年12月18日，标题为“交互识别和分析系统”，其全部内容通过引用并入本文。美国专利第10,157,308号公开了一种物体跟踪系统，其配置为当物体被添加到冰箱的工作容积中或从冰箱的工作容积中移除时跟踪物体的库存。
视觉系统还可以包括一个或多个红外摄像机或传感器。红外摄像机可以结合到系统10中，以检测食品24的温度或者电器12内部16中不同位置的温度。
物品24通常可以对应于可以存储、处理、处置或以其他方式结合电器12使用的任何形式的物体。如前所述，物品24可以对应于可以存储在冰箱12的内部16中的食品24或产品。系统10可以处理由至少一个成像器26捕获的图像数据，以利用各种成像处理技术来识别产品类型和比例或数量。利用识别的食品24的产品类型和数量，系统10可以更新存储器或库存数据库中食品24的产品类型和数量的库存状态。尽管进行了关于库存状态的讨论，但是系统10可以配置为检测关于食品24的各种形式的信息，这些信息可以包括但不限于消耗或使用量、位置、质量状态(例如，发霉与否)、颜色或一致性和/或可以从图像数据导出的各种附加信息。
在一些实施例中，系统10可操作用于跟踪关于食品24的状态和特征的各种形式的信息。如本文所讨论的，系统10可以基于电器12完成的过程和/或食品24的第一次检测和食品24的第二次检测之间的持续时间(例如，物体在工作容积或内部16中的移除和放置之间的时间)来推断所述信息。所述信息可以包括用于食品24的库存和质量跟踪的时钟和日历数据。食品24的状态或特征也可以通过监测食品24的消耗或使用率来推断。另外，食品24的状态可以基于对物体采取的动作来指示，包括但不限于裹住食品24、打开物体的包装、覆盖物体的表面或容器等。
基于图像数据，系统10可以识别食品24。参考图7A和7B进一步讨论了关于可用于识别各种食品24以及所述食品24的相应状态的图像处理技术的细节。食品24的标识可以包括食品24所属的类型或类别以及食品24的比例或数量的指示。系统10可以进一步识别关于食品24的附加信息，包括但不限于颜色、纹理、存储数据、位置和各种附加信息。在一些实施例中，系统10可以将食品24分类为类别和子类别。例如，在食品24是食品产品的情况下，系统10可以将食品24的类别确定为饮料、蛋白质、水果、蔬菜、包装的工业化食品、调味品等。饮料的子类别可以包括罐、瓶、盒等，而蛋白质的子类别可以包括类型例如鸡肉、牛肉、鱼肉，状态例如冷冻或新鲜，和/或大小。
系统10可操作用于基于从成像器26接收的图像数据中可识别的各种属性和/或特征来检测和更新食品24的状态。例如，如前所述，系统10可以利用内部16中的食品24的标识，或者与插入冰箱18的工作容积20或从中取出的手相关的标识来更新食品24的库存。系统10可以基于成像器26捕获的图像数据跟踪对应于食品24的各种属性和/或特征。
例如，系统10可以基于从成像器26接收的图像数据检测身份、颜色、表面纹理、数量、使用率、比例或系统10可以视觉检测和/或热检测到的任何形式的信息。系统10可以基于图像数据得出关于食品24的状态的各种推断。在一些情况下，系统10还可以基于物体被检测为从内部16移除的持续时间来推断关于食品24的信息。
因此，系统10的控制器可以与电器控制系统通信，以基于从图像数据识别的一个或多个属性和/或特征来确定食品24的食品属性。系统10的控制器可以配置为通过利用物体识别模块来识别食品24，并确定合适的食品属性。此外，基于成像器26捕获的图像数据中的食品24的标识，系统10可以在食品24被消耗时更新食品24的使用量或库存。食品属性可以是与食品24相关的使用率、有效期、喜好、配方、数量、品牌、状态、放置、名称、类型等形式。物体检测模块可以检测食品24的位置。
图2示出了电器12的内部16的一部分。系统10可以配置为确定内部16的存储结构32。存储结构32可以包括不同食品24彼此之间的相对位置，其可以被跟踪以创建食品24如何存储在电器12或冰箱中的完整视图。此外，系统10可以确定诸如搁板18、隔间20或抽屉22的支架的位置、身份和大小，以进一步创建存储结构32的完整视图。在一些示例中，电器12的存储结构32可能塞满食品24，使得实时查看内部16或通过与视觉系统通信的显示器(例如，移动显示器)查看内部16的用户可能会认为内部16脏乱无序。
在一些示例中，系统10可以通过内部16中的三维坐标系来跟踪和监控食品24支架的位置、身份和大小。系统10可以为内部16中的每个搁板18、隔间20、抽屉22等确定唯一的一组坐标。这组坐标可以定义存储结构32。此外，坐标可以存储在存储器或库中，使得系统10可以根据需要参考坐标。
系统10可以配置为提供内部16的增强现实视图，以在显示器上为用户“清理”或组织视图，所述显示器例如是移动设备显示器或电器用户界面，或显示器36(图1)，但不限于此。增强现实视图可以是电器12的实字内部16的交互体验的形式，其中存储结构32和食品24由系统10提供的数据“增强”或“加强”。参考图3，移动设备41包括显示器42，用户可以在显示器42上查看电器12内部16的内部绘图116。这样，内部绘图116井然有序，比图2所示的内部16更容易查看。因此，用户可以避免在内部16中“搜寻”食品24。
内部绘图116可以是存储结构32(图2)的数位绘图的形式，其可以包括至少一个数字食品图像124。数字食品图像124可以是对应于食品24的数字图形或图解图像的形式。如图3所示，数字食品图像124对应于存储在搁板118的数字图像上的苹果。内部绘图116还可以包括多种食品的数字食品图像，例如一盒一加仑的牛奶130、柠檬132和一盒鸡蛋134，以及存储结构32的数字图像，包括搁板118、隔间120和抽屉122的数字图像，包括大小和相对位置。数字食品图像可以包括识别的食品24的默认图像，或者特定食品品牌的图像。此外，数字食品图像124可以包括多个识别的食品24的单个数字图像。例如，如果系统10识别总共六个酸奶，则内部绘图116可以包括与数字配对的单个数字图像，以指示酸奶的数量(6)。
系统10可以配置为在多于一层中提供内部绘图116，使得用户可以在多于一个视图上查看内部16的内容。分层查看内部内容可以使用户更容易看到反馈。在一些示例中，用户可以查看对应于食品属性选择的层。食品属性可以由物体识别和检测模块基于食品24的一个或多个属性、特征和位置来确定。
参考图4，在一些示例中，用户可以选择对应于食品24有效期的食品属性。内部绘图116可以包括至少一个对应于所选食品属性的数字食品图层138。因此，在用户选择有效期作为食品属性来查看的情况下，数字食品图层138可以是包括每种食品24的有效期的数字标签138的形式，其也可以由数字食品图像130来表示。食品24的有效期可以通过任何合适的方法确定，例如用户输入，或者由视觉系统识别。
在另一个示例中，图5示出了对应于由用户选择使用率食品属性生成的层的内部绘图116。一个或多个数字使用率图标136可以显示在内部绘图116中，以指示相应食品24的使用率。使用率图标136可以是适于指示近似使用率的任何数字图像或图层的形式。例如，使用率图标136可以位于由数字食品图像130表示的一加仑牛奶附近，并且可以包括提供位于电器12内部16的一加仑容器中剩余的大约牛奶量的指标。食品24的使用率或使用量可以通过任何合适的方法来确定，例如用户输入，或者由视觉系统来识别。
在又一示例中，图6示出了对应于由用户对用户喜爱的食品属性的选择生成的层的内部绘图116。一个或多个数字喜好图层140可以显示在内部绘图116中，以指示特定的食品24是用户喜爱的。数字喜好图层140可以是任何数字图像、图层或标签的形式，适于指示食品24是受喜爱的。例如，数字喜好图层140可以位于由抽屉122的数字图像指示的冷冻抽屉内的冰淇淋容器附近，可以包括显示心形图标的标签，用于指示电器12的内部16存在用户喜爱的食品，例如冰淇淋。食品24的用户喜好指定可以通过任何合适的方法来确定，例如用户输入，或者由视觉系统通过用户习惯监控来识别。
虽然基于对应于各种食品24的有效期、使用率和喜好描述了用户选择的用于系统10生成的增强现实查看的食品属性，但是系统10可以根据食品24的各种确定特征生成对应于食品24的内部图像116。在进一步的示例中，系统10可以考虑食品24的质量、配方、数量等。用户也可以选择一个以上的食品属性，使得多个食品属性在单层或内部绘图116中表示。
现在参考图7A和7B，示出了存储系统10的示例性实施例的框图。系统10可以包括控制器72，控制器72可以与电器控制器74集成或通信。控制器72可以包括一个或多个处理器和/或存储器，其配置为完成本文讨论的各种处理步骤和控制过程。在示例性实施例中，控制器72可以包括与至少一个成像器26通信的图像处理器76。图像处理器76可以对应于一个或多个微处理器、离散逻辑控制器或模拟和/或数字电路的组合。图像处理器76可以包括存储器78和通信电路80。
存储器78可以对应于各种形式的有形或非暂时性机器可读或计算机可读介质。例如，存储器78可以对应于闪存、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)或其他机器可读介质。图像处理器76可以在存储器78中存储各种图像处理算法、控制指令和附加信息，以完成本文描述的一个或多个处理任务。
通信电路80可以对应于有线或无线通信设备，控制器72可以通过该设备与各种形式的信息通信和/或访问各种形式的信息。例如，控制器72可以通过通信电路80访问或更新库存或食品数据库82。库存或食品数据库82可以对应于远程或基于云的贮存器，各种设备可以访问该贮存器以访问如本文所述的库存和/或食品数据库信息。此外，通信电路80还可以与附加的远程服务器或数据库84通信，控制器软件更新、物体识别信息、算法、物体库、配方库以及与系统10一起使用的各种附加信息可以由该附加的远程服务器或数据库84访问。
尽管参考远程或基于云的数据库进行了讨论，但是数据库82和/或84也可以对应于控制器72的存储器中提供的本地贮存器。另外，在一些实施例中，每个数据库82和84的一部分可以存储在本地存储器中，而另外的部分可以存储在远程数据库82和84中，通过通信电路80与控制器72通信。通信电路80可以利用各种形式的通信接口，包括但不限于以下无线通信协议：3G、4G、
Figure BDA0002295276280000071
CDMA、GSM和/或任何合适的无线通信协议。
如本文所讨论的，系统10可操作用于完成对应于存储在内部16中的食品的各种图像处理和识别步骤。这种检测、识别和/或标识可以由图像处理器76通过处理从至少一个成像器26接收的图像数据来完成。为了处理图像数据，图像处理器76可以包括多个处理模块，其配置为改善或简化图像数据，和/或确定食品24的身份。这样，图像处理器76可以提供食品24的身份、数量和/或比例的确定。
在示例性实施例中，图像处理器76可以包括图像采样器92。图像采样器92可以从由至少一个成像器26接收的图像数据中收集图像帧序列。图像帧序列可以临时存储在帧缓冲器94中。预处理器96可以从帧缓冲器94中检索来自图像帧的图像数据。预处理器96可以处理来自图像数据的图像帧序列，以增强对比度、调整旋转、校正边界和/或缩放或裁剪图像数据。预处理器96可以通过用各种增强技术处理图像数据来完成这些步骤，包括但不限于直方图均衡化、图像分割、滤波等。
增强的图像数据可以从预处理器96传送到物体检测模块98。物体检测模块98可以处理对应于本文描述的一种或多种食品24的位置的增强图像数据。图像数据可以被传送到物体识别模块100。物体识别模块100可以处理图像数据以确定食品24的身份、类型、类别、比例和/或数量。
物体识别模块100可以利用各种扫描方法和/或算法来确定食品24的身份。这种算法可以包括但不限于字符识别、特征提取、聚类、模式匹配、神经网络处理、光学字符识别(OCR)或各种其他识别技术。在一些实施例中，物体识别模块100还可以与物体数据库102通信。物体数据库102可以包括特征和/或特性库，用于由物体识别模块100与增强图像数据进行比较，以确定食品24的身份。以这种方式，系统10可操作用于确定食品24的身份，如本文所讨论的。
尽管图像处理器76被展示为控制器72的整体部件，但是图像处理器76可以对应于可以经由通信电路80与控制器72通信的远程图像处理系统。以这种方式，存储系统10可以通过通信电路80将图像数据传送到远程图像处理器，以利用物体识别模块100确定食品24的身份。根据图像数据确定食品24的身份后，远程图像处理器可以通过通信电路80向控制器72提供身份指示和任何其他相关信息。因此，尽管参考特定示例讨论了存储系统10，但是系统10的功能可以在不脱离本公开精神的前提下以各种方式实现。
在一些实施例中，至少一个成像器26可以对应于多个成像设备或立体成像设备。这样，图像处理器76还可操作用于基于立体成像设备收集的深度数据来确定食品24的位置和接近度。食品24的这种位置信息可能有助于识别或区分食品24的位置。因此，存储系统10可以对应于可操作用于适合各种应用的可扩展系统。立体系统也可以用于估计食品24的体积。在一些实施例中，至少一个成像器26可以对应于红外成像设备、热成像设备或热和常规成像设备的组合。热成像设备可以对应于利用微测辐射热计作为焦平面阵列传感器的焦平面阵列(FPA)。因此，由系统10捕获的图像数据可以包括可见光光谱中的热图像数据和/或常规图像数据。在一些实施例中，系统10可操作用于区分图像中具有相似视觉外观但不同温度的多个物体。例如，在一些实施例中，系统10可操作用于跟踪在低温下从内部16移除并在暖温下在工作容积中被替换的物体的库存。因此，通过利用热成像数据，系统10可操作用于区分食品24的附加状态信息。
参考图1、7A和7B，系统10的控制器72可以配置为确定来自用户的关于食品24的查询或输入。来自用户的查询可以是手势、语音通信或任何合适的触觉命令的形式。控制器72可以配置为确定对查询的响应，该响应可以基于食品24的身份或位置。对查询的响应可以包括语音消息、选择性照明等。选择性照明的示例可以包括但不限于，包括食品24上光点的光图案30(图1)、食品24上的光色或由像素排列、脉冲光、调光或照亮内部16的特定区域产生的文字或图形。
在一些示例中，用户可以用疑问句来查询系统10，包括询问食品24的最佳存储位置的语音消息，该语音消息可以包括“黄油应该存放在哪里”？控制器72可以分析该查询并确定用于引导用户存储食品24的响应。例如，系统10然后可以提供光图案30，光图案30可以包括电器12的至少一部分的选择性照明，例如隔间20，以指示黄油或食品24的最佳存储位置。
在另一个示例中，用户可以用疑问句来查询系统10，包括询问食品24的位置的语音消息，该语音消息可以包括“草莓在哪里”？控制器72可以分析该查询并确定用于引导用户到食品24的位置的响应。例如，系统10然后可以提供光图案30，光图案30可以包括指向草莓或食品24的光束，以提供位置指示。光束可以包括与确定的食品属性，例如食品质量相关的颜色。在一些示例中，红色光束可以指示食品24已经过期或发霉，而绿色光束可以指示食品24未过期或新鲜。
在又一示例中，用户可以用疑问句来查询系统10，包括询问某个配方可用原料的语音消息，该语音消息可以包括“这有什么可以用来做三明治”？控制器可以分析该查询并确定用于向用户提供关于可用于某个配方的多种食品24的反馈的响应。例如，系统10然后可以提供光图案30，光图案30可以包括指向每种食品24的光束，食品24可以包括存储在内部16中的面包、肉、蔬菜和调味品，以提供用于制作三明治的可用食品24的指示。
虽然基于食品24的存储或配方描述了系统10的响应，但是系统10可以使用食品24的各种确定的特征来确定对关于食品24的用户查询的响应，以向用户提供帮助。在进一步的示例中，系统10可以考虑食品24的状态，其可以包括食品24的消耗/使用量，并确定使用率。
在一些示例中，响应可以包括由照明系统生成的内部16的热图。热图可以包括根据可能对应于彩色光变化的温度变化点亮内部16。在一些示例中，彩色光的变化可以指示食品24放置不当。例如，将酸奶放在内部的后面，会导致酸奶冻结。放置不当可以用红色光表示，而最佳放置可以用绿色光表示。因此，热图可以包括贯穿内部16的多个光投影或光束。此外，彩色光的变化可以指示内部16存在问题或脏乱。脏乱可能是由于在内部16放置了大块冷冻物，例如冷冻火鸡，因而湿度可能增加并导致滴水。热图可以指示是否发生滴水。
图8示出了演示用户关于食品24查询系统10的过程200的流程图。当系统10检测到用户关于食品的查询时，过程200可以从步骤210开始。用户查询可以与系统10针对食品24可以检测或确定的任何食品属性相关。在步骤220，系统10的控制器72可以分析或处理查询，然后在步骤230确定适当的响应。步骤230的适当响应可以包括对用户关于食品24的反馈，其可以包括任何适当的音频或视频技术。在步骤240，系统10的控制器72可以启动响应。启动响应可以包括激活光源28(图1)。在步骤240启动响应之后，系统10可以提供响应，并在步骤250结束过程200。
提供响应可以包括将响应投射到食品24上。将响应投射到食品24上可以包括通过任何合适的照明技术来提供指示，包括但不限于：字、图标、图形、动画、光束、漫射光和光色彩的变化，及其任意组合。例如，投影30(图1)可以包括有效期。有效期可以是彩色像素的形式，其中色彩可以提供是否已经超过有效期的指示，例如绿色表示未过期，红色表示过期。
虽然方法200被描述为包括步骤210-250，但是方法200可以包括更多或更少的步骤。附加步骤可以包括本文描述的任何合适的步骤或过程。在一些示例中，方法200可以包括分析来自用户的一个以上的查询并确定一个以上的响应。此外，在步骤240启动响应可以与在步骤250提供响应同时发生。
本领域普通技术人员将会理解，所述设备和其他部件的构造不限于任何特定材料。除非另外描述，否则本文公开的设备的其他示例性实施例可以由多种材料形成。
出于本公开的目的，术语“耦接”通常指两个部件(电气或机械)直接或间接的连接。这种连接本质上可以是固定的，也可以是可移动的。这种连接可以通过这两个部件(电气或机械)和任何其他中间构件一体形成为单个整体来实现，或者只由这两个部件来实现。除非另有说明，这种连接本质上可以是永久性的，或者本质上可以是可移除的或可释放的。
同样需要注意，在示例性实施例中示出的设备的元件的构造和布置仅仅是说明性的。尽管在本公开中仅详细描述了本创新的几个实施例，但是阅读本公开的本领域技术人员将容易理解，在实质上不脱离所述主题的新颖教导和优点的前提下，许多修改是可能的(例如，各种元件的大小、尺寸、结构、形状和比例、参数值、安装布置、材料的使用、颜色、方向等的变化)。例如，显示为一体形成的元件可以由多个部件构成，或者显示为多个部件的元件可以一体形成，界面的操作可以颠倒或者以其他方式变化，结构和/或构件或连接器或系统的其他元件的长度或宽度可以变化，元件之间提供的调节位置的性质或数量可以变化。应当注意，系统的元件和/或组件可以由具有足够强度或耐久性的多种材料中的任何一种形成，具有多种颜色、纹理和组合中的任何一种。因此，所有这些修改都旨在包括在本创新的范围内。在不脱离本创新的精神的情况下，可以对期望的和其他示例性实施例的设计、操作条件和布置进行其他替换、修改、改变和省略。
应当理解，所描述的过程中的任何所述过程或步骤可以与其他公开的过程或步骤相结合，以形成本设备范围内的结构。本文公开的示例性结构和过程是为了说明的目的，不应被解释为限制。
还应当理解，在不脱离本设备的概念的情况下，可以对上述结构和方法进行变化和修改，并且还应当理解，这些概念旨在由所附权利要求覆盖，除非这些权利要求另有明确的语言说明。
以上描述仅被认为是图示实施例的描述。本领域技术人员以及制造或使用该设备的人员将会想到对该设备的修改。因此，应当理解，附图中所示和上面描述的实施例仅仅是为了说明的目的，并不旨在限制设备的范围，设备的范围由根据包括等同原则在内的专利法的原则解释的所附权利要求来限定。

Claims (20)

1.一种食品存储系统，包括：
具有限定内部的机壳的电器，所述内部包括配置为存储至少一种食品的搁板、隔间或抽屉中的至少一个；
视觉系统，其包括配置为记录与存储在所述内部的所述至少一种食品相关的图像数据的至少一个成像器；以及
与所述视觉系统通信的控制器，其中所述控制器可操作用于：
确定所述至少一种食品的身份；
确定所述内部的存储结构；
基于所述确定的所述至少一种食品的身份和所述内部的所述存储结构生成所述内部的增强现实图像；
显示所述增强现实图像；并且
其中所述增强现实图像包括所述存储结构的数位绘图和对应于布置在所述数位绘图内的所述至少一种食品的数字食品图像。
2.根据权利要求1所述的系统，其中确定所述内部的所述存储结构包括确定所述内部的所述搁板、隔间和抽屉中的至少一个的位置和大小。
3.根据权利要求1所述的系统，其中所述控制器与移动设备和所述电器中的至少一个的显示器通信，所述增强现实图像在所述显示器上显示。
4.根据前述权利要求中任一项所述的系统，其中所述增强现实图像包括对应于所述至少一种食品的食品属性的至少一个数字食品图层。
5.根据权利要求4所述的系统，其中所述食品属性是使用率，所述数字食品图层是配置为指示所述至少一种食品的所述使用率的图形图像。
6.根据权利要求4所述的系统，其中所述食品属性是有效期，所述数字食品图层是配置为指示所述至少一种食品的所述有效期的图形图像。
7.根据权利要求4所述的系统，其中所述食品属性是喜好，所述数字食品图层是配置为指示用户喜爱所述至少一种食品的图形图像。
8.一种食品存储系统，包括：
具有限定内部的机壳的电器，所述内部包括配置为存储至少一种食品的搁板、隔间或抽屉中的至少一个；
视觉系统，其包括配置为记录与存储在所述内部的所述至少一种食品相关的图像数据的至少一个成像器；
照明系统，其包括配置为投射光图案的至少一个光源；以及
与所述视觉系统通信的控制器，其中所述控制器可操作用于：
确定所述至少一种食品的身份和位置；
分析来自用户的关于所述至少一种食品的查询；
响应于所述查询控制所述照明系统将光图案投射到所述至少一种食品上；并且
其中所述光图案向所述用户提供反馈，指示所述至少一种食品的位置或食品属性中的至少一个。
9.根据权利要求8所述的系统，其中所述光图案包括字。
10.根据权利要求8或9所述的系统，其中所述光图案包括对应于所述至少一种食品的温度的颜色。
11.根据权利要求8或9所述的系统，其中所述光图案包括对应于所述至少一种食品的状态的颜色。
12.一种食品存储系统，包括：
具有限定内部的机壳的电器，所述内部包括配置为存储至少一种食品的搁板、隔间或抽屉中的至少一个；
视觉系统，其包括配置为记录与存储在所述内部的所述至少一种食品相关的图像数据的至少一个成像器；以及
与所述视觉系统通信的控制器，其中所述控制器可操作用于：
检测所述至少一种食品的至少一种食品属性；
基于用户对食品属性的选择生成所述内部的增强现实图像；
显示所述增强现实图像；并且
其中所述增强现实图像包括对应于所述食品属性的至少一个数字食品图层。
13.根据权利要求12所述的系统，其中所述食品属性是使用率，所述数字食品图层是配置为指示相应食品的所述使用率的图形图像。
14.根据权利要求12所述的系统，其中所述食品属性是有效期，所述数字食品图层是配置为指示相应食品的所述有效期的图形图像。
15.根据权利要求12所述的系统，其中所述食品属性是喜好，所述数字食品图层是配置为指示用户喜爱的至少一种食品的图形图像。
16.根据权利要求12所述的系统，其中显示所述增强现实图像包括显示对应于多种食品的多个数字食品图层。
17.根据权利要求16所述的系统，其中所述食品属性是配方，所述数字食品图层是配置为指示所述内部中所述配方所需的所有食品的多个图形图像。
18.根据权利要求12所述的系统，其中所述食品属性是食品状态，所述数字食品图层是配置为指示食品状态的图形图像。
19.根据权利要求12所述的系统，其中所述增强现实图像还包括所述至少一种食品的至少一个数字食品图像。
20.根据前述权利要求中任一项所述的系统，其中所述控制器与移动设备和所述电器中的至少一个的显示器通信，所述增强现实图像在所述显示器上显示。
CN201911198490.XA 2018-12-31 2019-11-29 电器库存的增强现实反馈 Pending CN111382660A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/237,066 2018-12-31
US16/237,066 US11386621B2 (en) 2018-12-31 2018-12-31 Augmented reality feedback of inventory for an appliance

Publications (1)

Publication Number Publication Date
CN111382660A true CN111382660A (zh) 2020-07-07

Family

ID=68886931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911198490.XA Pending CN111382660A (zh) 2018-12-31 2019-11-29 电器库存的增强现实反馈

Country Status (3)

Country Link
US (2) US11386621B2 (zh)
EP (1) EP3675022A1 (zh)
CN (1) CN111382660A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102234691B1 (ko) * 2019-08-09 2021-04-02 엘지전자 주식회사 인공 지능을 이용하여, 물품을 관리하는 냉장고 및 그의 동작 방법
KR20210097336A (ko) * 2020-01-30 2021-08-09 엘지전자 주식회사 제품 냉동을 위한 인공 지능 장치 및 그 방법
JP7182139B2 (ja) * 2020-09-03 2022-12-02 パナソニックＩｐマネジメント株式会社 食品検出装置、及び食品管理システム
US20220136766A1 (en) * 2020-11-04 2022-05-05 Scott C Harris Smart Refrigerator
CN115507581B (zh) * 2021-06-07 2024-05-24 青岛海尔制冷电器有限公司 一种用于冰箱的熟成间室和具有其的冰箱
JP7337889B2 (ja) * 2021-09-15 2023-09-04 日立グローバルライフソリューションズ株式会社 冷蔵庫
JP7353340B2 (ja) * 2021-10-19 2023-09-29 日立グローバルライフソリューションズ株式会社 冷蔵庫
JP2024058086A (ja) * 2022-10-14 2024-04-25 パナソニックＩｐマネジメント株式会社 物品管理システム、及び冷蔵庫

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689446A (en) 1995-11-03 1997-11-18 Amfit, Inc. Foot contour digitizer
US6513017B1 (en) 1997-04-14 2003-01-28 Electronic Data Systems Corporation System and method for household grocery management
US7065501B1 (en) 2000-04-28 2006-06-20 International Business Machines Corporation Managing home inventory
US20020198795A1 (en) 2000-07-25 2002-12-26 Dorenbosch Jheroen Pieter Home inventory management system and method
JP2002156181A (ja) 2000-11-16 2002-05-31 Yozan Inc 冷蔵庫
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
CN1802544A (zh) 2003-06-18 2006-07-12 布雷特亚瓦希里维Ad公司 电冰箱和电冰箱系统
US20070222554A1 (en) 2006-03-10 2007-09-27 Hart Andrew J Access control method for medical facilities and retirement facilities
US20080048954A1 (en) * 2006-08-24 2008-02-28 Winia Mando Inc. Apparatus and method for displaying operation mode of kimchi refrigerator
EP3205958B1 (en) * 2010-02-01 2019-11-13 LG Electronics Inc. Refrigerator
DE102010002171A1 (de) 2010-02-22 2011-08-25 BSH Bosch und Siemens Hausgeräte GmbH, 81739 Kältegerät mit mehreren Lagerfächern
WO2011105768A2 (ko) * 2010-02-23 2011-09-01 엘지전자 주식회사 단말기를 구비하는 냉장고 및 그 제어방법
US20110246276A1 (en) * 2010-04-02 2011-10-06 Richard Ross Peters Augmented- reality marketing with virtual coupon
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR20120097683A (ko) * 2011-02-25 2012-09-05 삼성전자주식회사 냉장고
KR20120116207A (ko) * 2011-04-12 2012-10-22 엘지전자 주식회사 디스플레이 장치 및 이를 구비하는 냉장고
US20130076898A1 (en) 2011-08-01 2013-03-28 Richard Philippe Apparatus, systems, and methods for tracking medical products using an imaging unit
DE102011081023A1 (de) 2011-08-16 2013-02-21 BSH Bosch und Siemens Hausgeräte GmbH System für die Bedienung mindestens eines Hausgerätes sowie dazu gehöriges Endgerät und Verfahren zum Betreiben des benannten Systems
US9389690B2 (en) 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
KR20130110907A (ko) 2012-03-30 2013-10-10 삼성전자주식회사 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US10410177B2 (en) 2012-06-30 2019-09-10 At&T Mobility Ii Llc Interactive inventory systems and methods
CN104395875A (zh) 2012-08-06 2015-03-04 株式会社尼康 电子设备、方法及程序
US9092896B2 (en) * 2012-08-07 2015-07-28 Microsoft Technology Licensing, Llc Augmented reality display of scene behind surface
KR102009947B1 (ko) * 2013-01-02 2019-08-12 엘지전자 주식회사 가전기기
US9065955B2 (en) 2012-10-15 2015-06-23 Fuji Xerox Co., Ltd. Power supply control apparatus, image processing apparatus, non-transitory computer readable medium, and power supply control method
US20140214547A1 (en) 2013-01-25 2014-07-31 R4 Technologies, Llc Systems and methods for augmented retail reality
US9412086B2 (en) 2013-03-07 2016-08-09 Bradd A. Morse Apparatus and method for customized product data management
KR102000448B1 (ko) * 2013-03-27 2019-10-01 엘지전자 주식회사 냉장고
KR102024595B1 (ko) * 2013-04-25 2019-09-24 엘지전자 주식회사 냉장고 및 그 제어방법
US10026116B2 (en) * 2013-06-05 2018-07-17 Freshub Ltd Methods and devices for smart shopping
US9348421B2 (en) 2013-06-26 2016-05-24 Float Hybrid Entertainment Inc. Gesture and touch-based interactivity with objects using 3D zones in an interactive system
DE102014006059A1 (de) 2013-09-23 2015-03-26 Liebherr-Hausgeräte Ochsenhausen GmbH Einrichtung zur Bedienung eines Kühl- und/oder Gefriergerätes
WO2015108701A1 (en) 2014-01-14 2015-07-23 Zsolutionz, LLC Fuzzy logic-based evaluation and feedback of exercise performance
US9972284B2 (en) * 2014-02-12 2018-05-15 Lg Electronics Inc. Refrigerator with interactive display and control method thereof
KR101954749B1 (ko) * 2014-04-01 2019-03-06 삼성전자주식회사 냉장고 및 그 제어방법
WO2015174422A1 (ja) 2014-05-12 2015-11-19 株式会社 東芝 超音波診断装置とそのプログラム
KR102388089B1 (ko) * 2014-09-04 2022-04-19 삼성전자주식회사 냉장고 및 그 제어 방법
DE102014115460A1 (de) 2014-10-23 2016-04-28 Miele & Cie. Kg Verfahren und Vorrichtung zum Bedienen eines Haushaltsgeräts sowie Haushaltsgerät
KR20180004265A (ko) 2015-05-11 2018-01-10 코닝 인코포레이티드 불투명한 스크린을 가진 표면 디스플레이 유닛
US20160358508A1 (en) 2015-06-05 2016-12-08 Elwha Llc Smart refrigerator
DE102015210900A1 (de) 2015-06-15 2016-12-15 BSH Hausgeräte GmbH Verfahren zum Verarbeiten von Daten eines Haushaltsgeräts
JP2017036108A (ja) * 2015-08-07 2017-02-16 東芝テック株式会社 表示装置及びプログラム
CN105091499B (zh) * 2015-08-18 2017-06-16 小米科技有限责任公司 信息生成方法及装置
WO2017039219A1 (ko) * 2015-09-03 2017-03-09 삼성전자주식회사 냉장고
DE102015221860A1 (de) 2015-11-06 2017-05-11 BSH Hausgeräte GmbH System und Verfahren zur Erleichterung einer Bedienung eines Haushaltsgeräts
JP6660160B2 (ja) 2015-11-30 2020-03-11 株式会社東芝 情報処理装置及び制御方法
US10148855B2 (en) 2016-01-15 2018-12-04 Kabushiki Kaisha Toshiba Image forming apparatus and control method for the same
KR101830660B1 (ko) * 2016-01-29 2018-02-21 엘지전자 주식회사 냉장고와 통신하는 센서 및 상기 센서를 포함하는 냉장고 제어 시스템
US10281200B2 (en) * 2016-03-14 2019-05-07 Amazon Technologies, Inc. Image-based spoilage sensing refrigerator
WO2017160499A2 (en) 2016-03-14 2017-09-21 Amazon Technologies, Inc. Scent-based spoilage sensing refrigerator
US9791936B1 (en) 2016-05-03 2017-10-17 Aram Kavach Audio and motion-based control of a personalized smart appliance, media, and methods of use
WO2017223298A2 (en) 2016-06-24 2017-12-28 Amazon Technologies, Inc. Speech-based storage tracking
KR101678880B1 (ko) 2016-06-28 2016-12-06 재단법인 실감교류인체감응솔루션연구단 가상 키보드 출력 장치 및 제어 방법
KR20180005521A (ko) * 2016-07-06 2018-01-16 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102526082B1 (ko) 2016-08-31 2023-04-27 엘지전자 주식회사 이동 단말기 및 이동 단말기의 동작 방법을 수행하는 프로그램이 기록된 기록 매체
US11042840B2 (en) * 2016-11-17 2021-06-22 Freshub Ltd System and a method for managing inventory
US10157308B2 (en) 2016-11-30 2018-12-18 Whirlpool Corporation Interaction recognition and analysis system
EP3343473A1 (en) * 2017-01-03 2018-07-04 Samsung Electronics Co., Ltd. Food storage apparatus and control method thereof
US10324439B2 (en) * 2017-01-07 2019-06-18 International Business Machines Corporation Food freshness management
KR102327848B1 (ko) * 2017-05-18 2021-11-18 삼성전자주식회사 냉장고 및 냉장고의 음식 관리방법
KR102473583B1 (ko) * 2017-08-30 2022-12-05 삼성전자주식회사 냉장고 및 그 제어 방법
US10823496B2 (en) * 2017-12-15 2020-11-03 International Business Machines Corporation Content and context aware regional cooling optimization for refrigerators
US10655907B2 (en) * 2017-12-15 2020-05-19 International Business Machines Corporation Content and context aware microscopic cooling optimization for refrigerators
KR102499468B1 (ko) * 2018-02-12 2023-02-15 엘지전자 주식회사 냉장고
KR102217024B1 (ko) * 2018-03-13 2021-02-19 삼성전자주식회사 냉장고, 그 제어 방법 및 시스템
KR102619663B1 (ko) * 2018-04-13 2023-12-29 삼성전자주식회사 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법
KR102619657B1 (ko) * 2018-06-15 2023-12-29 삼성전자주식회사 냉장고와 서버 및 서버의 제어 방법
US11353259B2 (en) * 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof
KR102551358B1 (ko) * 2018-09-21 2023-07-04 삼성전자주식회사 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템
KR102637119B1 (ko) * 2018-10-25 2024-02-15 삼성전자주식회사 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
KR20200051283A (ko) * 2018-11-05 2020-05-13 삼성전자주식회사 식품 관리 시스템, 서버 장치 및 냉장고
WO2020101061A1 (en) * 2018-11-14 2020-05-22 Samsung Electronics Co., Ltd. Method and device for managing food in refrigerator
KR20210053097A (ko) * 2019-11-01 2021-05-11 삼성전자주식회사 냉장고 및 이의 제어 방법

Also Published As

Publication number Publication date
US11386621B2 (en) 2022-07-12
EP3675022A1 (en) 2020-07-01
US20200211285A1 (en) 2020-07-02
US20220284684A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
US11386621B2 (en) Augmented reality feedback of inventory for an appliance
CN107477971B (zh) 一种对冰箱内食物的管理方法和设备
JP7211700B2 (ja) 冷蔵庫、表示システム
US10956856B2 (en) Object recognition for a storage structure
JP6570898B2 (ja) 食材位置提示方法及び冷蔵庫
US11506448B2 (en) Method and device for managing food in refrigerator
US20180053140A1 (en) Food storage method and apparatus with sensors
US9080997B2 (en) Local storage and conditioning systems for nutritional substances
US20160138859A1 (en) Refrigeration appliance system
WO2014198612A1 (de) Kältegerät mit einem kameramodul
JP2016196981A (ja) 庫内管理システムおよび庫内管理方法
JP2018035983A (ja) 食品貯蔵庫、庫内撮影システム
CN104197632A (zh) 一种智能调温冰箱
TW201624356A (zh) 遠端食材管理系統
JP6600145B2 (ja) 食品管理方法および食品管理システム
US20170363348A1 (en) System and method of refrigerator content tracking
KR20190090290A (ko) 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법
US20220318816A1 (en) Speech, camera and projector system for monitoring grocery usage
CN113302633A (zh) 食物垃圾检测方法及系统
KR102543862B1 (ko) 저장 구조체를 위한 물체 인식
JP6850330B2 (ja) 食品管理方法、食品管理システム、冷蔵庫
JP7084517B2 (ja) 食品管理方法、食品管理システム、冷蔵庫
WO2023166917A1 (ja) 食材管理システム、食材管理方法及びプログラム
US20160078492A1 (en) Method and device for adapting an advertising medium to an area surrounding an advertising medium
WO2022095995A1 (zh) 制冷电器和用于跟踪所储存物品的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination