CN110637204B - 冰箱及其食物管理的方法 - Google Patents

冰箱及其食物管理的方法 Download PDF

Info

Publication number
CN110637204B
CN110637204B CN201880032377.1A CN201880032377A CN110637204B CN 110637204 B CN110637204 B CN 110637204B CN 201880032377 A CN201880032377 A CN 201880032377A CN 110637204 B CN110637204 B CN 110637204B
Authority
CN
China
Prior art keywords
food
refrigerator
camera
storage device
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880032377.1A
Other languages
English (en)
Other versions
CN110637204A (zh
Inventor
吴正一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110637204A publication Critical patent/CN110637204A/zh
Application granted granted Critical
Publication of CN110637204B publication Critical patent/CN110637204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F25D23/028—Details
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/04—Sensors detecting the presence of a person
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Quality & Reliability (AREA)

Abstract

提供了一种冰箱和食物管理方法。冰箱包括主体，该主体包括储存装置。冰箱还包括门，该门被配置成铰接到主体，以在储存装置的一侧的前侧上旋转，并且包括显示器。冰箱还包括摄像机，该摄像机被定位在门的前表面上并被配置成拍摄要被识别的食物。冰箱还包括控制器，该控制器配置成控制显示器和第一照摄像机。控制器被配置成在显示器上显示与由第一摄像机拍摄的食物图像相对应的食物名称。

Description

冰箱及其食物管理的方法
技术领域
本公开涉及冰箱和冰箱的食物管理的方法，并且更具体地，涉及具有内部摄像机和定位在门的前表面上的前摄像机的冰箱，以及冰箱的食物管理方法。
背景技术
冰箱是一种电子装置(或家用电器)，其能够使用制冷剂通过制冷循环来使可食用和可饮用的食物保持冰冷和冷冻。冰箱不仅可以储存食物，还可以储存药品、酒类或化妆品。
技术的进步已经使得冰箱不仅可以用作储存装置，还可以通过数据发送/接收或已安装(或可下载)的应用提供各种服务。
发明内容
技术方案
一个或多个示例实施例提供了一种冰箱，该冰箱包括：主体，其具有储存装置；门，其被配置成铰接到主体以在储存装置的一侧的前侧上旋转，并且在门的前表面上具有显示器；第一摄像机，其被配置成定位在门的前表面上并拍摄要被识别的食物；以及控制器，其被配置成控制显示器和第一摄像机。控制器可以通过使用由第一摄像机拍摄的食物图像来控制与该食物图像相对应的食物名称显示在显示器上。
根据本公开的一方面，冰箱可以包括用户靠近检测器，该用户靠近检测器被配置成检测用户相对于冰箱的靠近。用户靠近检测器可以包括麦克风、第一摄像机和接近传感器中的至少一个。
根据示例实施例的一方面，提供了一种冰箱的食物管理方法，该方法包括：通过定位在冰箱的门的前表面上的用户靠近检测器检测用户靠近；响应于检测到用户靠近，在定位在冰箱的门的前表面上的显示器上显示食物管理应用的屏幕；通过第一摄像机拍摄邻近于显示器的要被识别的食物；识别与所拍摄的食物相对应的食物图像；以及根据识别的结果在显示器上显示对应于食物的食物信息。
该食物管理方法可以进一步包括根据食物信息可区分地显示食物被储存在冰箱内的储存装置中的位置。
储存食物的位置可以可区分地被显示在由第二摄像机拍摄的储存装置的内部上。
根据示例实施例的另一方面，提供了一种冰箱，该冰箱包括：主体，其具有储存装置；储存器，其被配置成储存第一比较食物图像；门，其被配置成铰接到主体以在储存装置的一侧的前侧上旋转，并且在门的前表面上具有显示器；摄像机，其被配置成定位在门的前表面上，并拍摄要被识别的食物；以及控制器，其被配置成控制储存器、显示器和摄像机。控制器可以通过使用储存器的第一比较食物图像，根据食物识别搜索顺序优先识别由摄像机拍摄的食物图像，并且控制与所拍摄的食物图像相对应的食物名称显示在显示器上。
根据示例性实施例的另一方面，提供了：主体，该主体具有储存装置；第一门，其被配置成铰接到主体，以在储存装置的一侧的前侧上旋转，并且在第一门的前表面上具有显示器；第一摄像机，其被配置成拍摄要被识别的食物，该第一摄像机被定位在第一门的前表面上；第二门，其被配置成铰接到主体，以在储存装置的另一侧的前侧上旋转；以及控制器，其被配置成控制显示器和第一摄像机。控制器通过使用由第一摄像机拍摄的食物图像来控制与食物图像相对应的食物名称显示在显示器上。
根据示例性实施例的另一方面，提供了：主体，该主体具有储存装置；储存器，其被配置成储存比较食物图像；门，其被配置成铰接到主体，以在储存装置的一侧的前侧上旋转，并且在门的前侧上具有显示器；摄像机，其被配置成拍摄要被识别的食物，该摄像机被定位在门的前表面上；以及控制器，其被配置成控制显示器和摄像机。控制器根据关于多个储存器的食物识别搜索顺序，通过使用预先储存的比较食物图像来识别由摄像机拍摄的食物图像，并且控制与所拍摄的食物图像相对应的食物名称显示在显示器上。多个储存器包括该储存器、服务器的储存器和商店服务器的储存器。
根据示例实施例的一方面，冰箱可以进一步包括通信接口。控制器可以根据食物识别搜索顺序，通过使用储存在经由通信接口连接的外部服务器的储存器中的第二比较食物图像来识别由摄像机拍摄的食物图像，并且控制与所拍摄的食物图像相对应的食物名称显示在显示器上。
根据示例实施例的一方面，控制器可以根据食物识别搜索顺序，通过使用储存在经由通信接口连接的商店服务器的储存器中的第三比较食物图像来识别由摄像机拍摄的食物图像，并且控制与所拍摄的食物图像相对应的食物名称显示在显示器上。
根据示例实施例的一方面，控制器110可以根据食物识别搜索顺序通过经由通信接口使用搜索引擎识别由摄像机拍摄的食物图像，并且控制与所拍摄的食物图像相对应的食物名称显示在显示器上。
可以提供一种冰箱，其中显示器和邻近于显示器的第一摄像机被定位在门的前表面上。
可以提供一种冰箱，其中显示器和第一摄像机被定位成在门的前表面上以设定的角度从门的前表面倾斜。
可以提供一种能够识别由门的前表面的第一摄像机拍摄的食物图像的冰箱和该冰箱的食物管理方法。
可以提供一种能够通过机器学习识别由门的前表面的第一摄像机拍摄的食物图像的冰箱和该冰箱的食物管理方法。
通过门的前表面的第一摄像机和机器学习，可以向用户提供一种食物可容易地登记在其中的冰箱和该冰箱的食物管理方法。
可以提供一种能够通过深度学习识别由门的前表面的第一摄像机拍摄的食物图像的冰箱和该冰箱的食物管理方法。
通过门的前表面的第一摄像机和深度学习，可以向用户提供一种食物可容易地登记在其中的冰箱和该冰箱的食物管理方法。
可以提供一种能够通过使用图像的特征点来识别由门的前表面的第一摄像机拍摄的食物图像的冰箱和该冰箱的食物管理方法。
可以提供一种能够通过使用图像的特征点和/或图像的特征量来识别由门的前表面的第一摄像机拍摄的食物图像的冰箱以及该冰箱的食物管理方法。
通过门的前表面的第一摄像机和拍摄储存装置的第二摄像机，可以提供一种管理食物的冰箱和食物的食物管理方法。
通过门的前表面的第一摄像机和拍摄储存装置的第二摄像机，可以提供一种管理食物储存周期的冰箱和食物的食物管理方法。
根据各种示例实施例，通过门的前表面的第一摄像机、拍摄储存装置的第二摄像机以及机器学习，可以向用户提供一种食物可容易地登记在其中的冰箱且可以提供该冰箱的食物管理方法。
阐述贯穿本专利文档使用的某些词语和短语的定义可能是有利的：术语“包括”和“包含”及其派生词意味着包括但不限于，术语“或”是包含性的，意味着和/或；短语“与……相关联”和“与其相关联”及其派生词可以意味着包括、包含在其中、互连、包含、包含在其中、连接到或与之连接、耦合到或与之耦合、与之可通信、与之协作、交错、并列、接近、粘合到或与之粘合、具有或具有其属性等；并且术语“控制器”指的是控制至少一个操作的任何设备、系统或其一部分，这样的设备可以以硬件、固件或软件或者它们中的至少两个的某种组合来实现。应当注意，与任何特定控制器相关联的功能性可以是集中式的或分布式的，无论是本地的还是远程的。
而且，如下所述的各种功能可以通过一个或多个计算机程序来实施或者由一个或多个计算机程序支持，该计算机程序中的每一个由计算机可读程序代码形成并且实现在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其适于在合适的计算机可读程序代码中实施的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，该计算机代码包括源代码、目标代码和、以及可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读储存器(read only memory，ROM)、随机存取储存器(random access memory，RAM)、硬盘驱动器、光盘(compact disc，CD)、数字视频光盘(digital video disc，DVD)或任何其他类型的存储器。“非瞬时性”计算机可读介质排除了传输瞬时电信号或其他信号的有线、无线、光学或其他通信链路。一种非暂时性计算机可读介质，包括数据可以被永久储存的介质和数据可以被储存并随后被重写(诸如可重写光盘或可擦除存储器设备)的介质。
贯穿专利文件，提供了特定单词和短语的定义，本领域普通技术人员应该理解的是，在许多方面，如果不是大多数情况的话，这种定义适用于这种定义的单词或短语的先前以及将来的使用。
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中相似的附图标记表示相似的部件：
图1a示出了根据本公开的实施例的具有前摄像机和显示器的冰箱的透视图；
图1b示出了根据本公开的实施例的所有的门都打开的冰箱的前视图；
图2示出了根据本公开的实施例的具有前摄像机和显示器的冰箱的框图；
图3示出了根据本公开的实施例的具有前摄像机和显示器的冰箱的食物管理方法的流程图；
图4a至图4i示出了根据本公开的实施例的具有前摄像机和显示器的冰箱的示例性食物管理方法的图；
图5示出了根据本公开的实施例的便携式装置的示例屏幕的图；以及
图6示出了根据本公开的实施例的具有前摄像机和显示器的冰箱的食物管理方法的流程图。
具体实施方式
下面讨论的图1a至图6以及在本专利文件中用于描述本公开的原理的各种实施例仅是示例性的，且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解的是，本公开的原理可以在任何适当布置的系统或设备中实施。
下文中，将参考附图详细描述本公开的示例性实施例。现在将参考附图更详细地描述本公开的示例性实施例。在以下描述中，即使在不同的附图中，相同的附图标记也用于相同的元件。
包括诸如“第一”、“第二”等等的序数的术语可用于描述各种元素，但是这些元素不受术语的限制。在本公开的实施例中，诸如第一和第二等的关系术语可以用于将一个实体与另一实体区分开来，而不一定暗示这些实体之间的任何实际关系或顺序。例如，在不脱离各种示例实施例的权利的范围的情况下，第一元素可以被命名为第二元素，并且类似地，第二元素可以被命名为第一元素。如本文所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。
根据示例实施例，应用指的是用于在移动OS(operation system，操作系统)上运行以供用户使用的用于计算机或软件的操作系统(OS)。例如，应用可以包括web浏览器、摄像机应用、移动支付应用(或电子支付应用或支付应用)、相册应用、文字处理器、电子表格、联系人应用、日历应用、备忘录应用、警报应用、社交网络系统(social network system，SNS)、呼叫应用、游戏商店、游戏应用、聊天应用、地图应用、音乐播放器或视频播放器。
根据示例实施例，应用可以指冰箱或在经由有线或无线连接到冰箱的外部设备(例如，可穿戴设备、服务器等)中运行的软件。根据示例实施例，应用可以指响应于接收到的用户输入而在冰箱中运行的软件。
内容可以通过相应运行的应用来运行或显示。例如，内容可以包括在视频播放器中运行的视频文件或音频文件，该内容是应用、视频文件或音频文件、在游戏应用中运行的游戏文件、在音乐播放器中再现的音乐文件、在相册应用中显示的照片文件、在web浏览器中显示的web文件、或在电子支付应用中显示的支付信息(例如，移动卡号、支付金额、产品名称、服务名称或商店名称)中的一个。此外，内容可以包括呼叫应用中显示的呼叫屏幕(例如，包括呼叫者ID、呼叫者姓名、呼叫开始时间或通过视频呼叫的呼叫者视频(或呼叫者图像))。
内容可以包括正在运行的应用(或小部件)的屏幕和配置应用屏幕的用户界面。此外，内容也可以包括一个或多个内容。
窗口小部件指的是迷你应用，该迷你应用是用于促进用户与应用之间或用户与操作系统(OS)之间的交互的GUI中的一个。例如，窗口小部件可以包括天气窗口小部件、计算器窗口小部件、时钟窗口小部件等。
在示例实施例中，“用户输入”可以是包括例如用户的按钮(或键)的选择、用户的按钮(或键)的按压(或点击)、用户的软按钮(或软键)的触摸、在触摸屏中接收的(或检测)的用户的触摸(包括非接触，诸如悬停)、触摸手势(包括非接触，诸如悬停、用户语音、在触摸屏中接收(或检测到)的用户的用户存在(例如，用户出现在摄像机的识别范围内)、或用户动作。此外，“按钮(或键)的选择”可用于指按钮(或键)的按下(或点击)或软按钮(或软键)的触摸。
本说明书中使用的术语仅为了描述特定的示例性实施例，而不是限制本公开。应当理解的是，除非上下文明确指示，否则单数形式“一”、“一个”和“该”包括复数指代物。贯穿本说明书，应当理解的是，术语“包括”及其变体，诸如“包含”和“包括”，指定说明书中描述的特征、数字、步骤、操作、组件、部件或其组合的存在，但不排除存在或附加一个或多个其他特征、数字、步骤、操作、组件、部件或他们的组合。附图中相似的附图标记表示执行基本相同功能的构件。
图1a示出了根据本公开的实施例的具有前摄像机和显示器的冰箱的透视图。
图1b示出了根据本公开的实施例的所有的门都是打开的冰箱的前视图；
参照图1a和图1b，冰箱100包括主体10、储存装置11、12、13、门20、30、40、50以及将门20、30、40、50中的每一个与主体10连接的铰链60。显示内容的显示器(或触摸屏170)可以被定位在多个门中的至少一个(例如，右门30和左门20中的至少一个)上。
摄像机(或前摄像机151)可以被定位在多个门中的至少一个(例如，右门30和左门20中的至少一个)上。接近传感器161可以被定位成邻近(例如，在500mm的半径内)前摄像机151。此外，麦克风140可以被定位在多个门中的至少一个(例如，右门30和左门20中的至少一个)处。
冰箱100可以根据储存装置和门的形状分为多种类型。冷冻室顶置(top mountedfreezer，TMP)型的冰箱包括形成在由隔板水平分隔的储存装置的上表面上的冷冻室和形成在该储存装置下侧上的冷藏室。冷冻室底置(bottom mounted freezer，BMF)型冰箱包括形成在由隔板水平分隔的储存装置的上侧上的冷藏室和形成在储存装置的下侧上的冷冻室。
对开门(side by side，SBS)式冰箱包括形成在由隔板竖直分隔的储存装置一侧上的冷冻室和形成在该储存装置的另一侧上的冷藏室。法式门型冰箱(French doorrefrigerator，FDR)包括形成在由隔板水平分隔的储存装置的上侧上的冷藏室和形成在该储存装置的下侧上的冷冻室。上侧上的冷藏室可以通过一对门打开和关闭。在FDR冰箱中，上冷藏室和下冷藏室两者可以通过一对门打开和关闭。
主体10包括形成储存装置11至13的内壳(未示出)、形成冰箱的外部的外壳(未示出)、以及保持内壳(未示出)与外壳(未示出)之间的温度差的绝缘体(未示出)。绝缘材料(未示出)可以防止冷的内部空气泄漏到外部，并且防止外部热空气进入储存装置11至13。
主体10包括向储存装置11至13供应冷空气的冷空气供应单元(未示出)。冷空气供应单元(未示出)可以包括压缩制冷剂的压缩机181(参见图2)、冷凝器(未示出)、膨胀阀(未示出)、蒸发器(未示出)、以及管道(未示出)。
储存装置11至13由隔板14划分。储存装置11至13被分成下冷冻储存室12和13(以下称为“冷冻室”)和在冷冻室12和13上方的冷藏储存室11(以下称为“冷藏室”)。储存装置12可以被设置为高于零(例如，在0℃到7℃之间)或低于零(例如，在-1℃到-5℃之间)的温度，并且储存水、饮料、食物配料以及冷藏的或冷冻的食物。水或饮料可以被储存在饮料容器中。
由隔板14划分的储存装置11至13当中的冷藏室11可以包括一个或多个搁架15和一个或多个储存盒16。
冷藏室11被附接到储存装置11的一侧(例如左侧)和邻近于第一门20且被定位在另一侧(例如右侧)上的第二门30。第一门20和/或第二门30可以以由每个铰链60设定的角度(例如，300°或更小)旋转，并且打开或关闭(例如，附接或分离)储存装置11的前表面。第一门20可以以与第二门30的旋转方向相反的方式旋转，并且打开或关闭储存装置11。第一门20和第二门30的位置可以相互改变。
第一门20以由铰链60设定的角度(例如，300°或更小)旋转，并且打开或关闭储存装置11的前表面的一部分(例如，储存装置11的前表面的35％至70％之间)。
提供了分配器(未示出)(其将水、冰或气泡水提供到第一门20的前表面(例如+y轴方向))和/或可抓握的手柄21。
第二门30以由铰链60设定的角度(例如，300°或更小)旋转，并且打开或关闭储存装置11的前表面的一部分(例如，储存装置11的前表面的35％至70％之间)。第二门30可以包括可抓握的手柄31。第一门20的手柄21和第二门30的手柄31被定位成基于储存装置11的中心区域在左右方向上间隔开。
冰箱100的功能和所储存的设置可以被显示在第二门30的前表面上(例如+y轴方向)。可以在第二门30的前表面中接收用户输入(例如，触摸或选择按钮173)。能够显示(或运行)应用(包括窗口小部件)的屏幕的显示器(或触摸屏170)可以被定位在第二门30的前表面处。按钮173可以包括在触摸屏170中，或者可以与触摸屏170分开地定位。按钮173可以是触摸按钮或物理按钮、在触摸屏上显示的按钮。
蔬菜隔室11d1和11d2被定位在储存装置11下方。蔬菜隔室11d1、11d2可以朝向前侧(例如，y轴方向)拉动(例如，滑动或滚动)。
储存装置12可以在一侧上具有门40。储存装置13可以在一侧上具有门50。储存装置12和13可以被组合成一个储存装置(例如，像储存装置11一样)。一个储存装置(未示出)可以像储存装置11一样在左侧和右侧中的每一个上具有门(未示出)。此外，冰箱可以具有抽屉(未示出)。
图2示出了根据本公开的实施例的具有前摄像机和显示器的冰箱的框图。
参照图2，冰箱100可以通过使用通信接口120与外部装置200功能性连接。外部装置200可以包括服务器210、包括智能手机的外部装置200、包含空调、洗衣机等的家用电器装置230、或者包含TV的显示装置240。
冰箱100可以经由通信接口120向外部装置200发送对应于冰箱的操作(例如，每个储存装置的温度控制)的操作信息和对应于冰箱100的状态(例如，正常、异常等)的状态信息，或者可以从外部源接收控制信息(例如，对应于冰箱100的快速冷冻的控制命令)。
冰箱100可以包括控制器110、通信接口120、麦克风140、摄像机150、传感器160、触摸屏170、音频输出器175、驱动器180、存储器190以及电源195。此外，冰箱100可以进一步包括传感器(例如，温度传感器(未示出)或过热传感器(未示出)等，169)。
控制器110可以包括处理器111。控制器110可以储存：非易失性储存器，其包括储存用于控制冰箱100的控制程序的ROM 112；和易失性储存器，其包括储存从冰箱100外部输入的信号或数据，或者用作针对在冰箱100上执行的各种操作的储存区域的RAM 113。RAM113可以被用作针对从外部源接收的控制信息、冰箱100的操作信息或冰箱100的状态信息的储存区域。
控制器110用于控制冰箱100和冰箱100的内部组件110至195的整体操作之间的信号流并处理数据。控制器110可以通过使用电源195来控制内部元件120至195的电源。处理器111、ROM 112以及RAM 113可以通过总线相互连接。
控制器110可以控制通信接口120、麦克风140、摄像机150、传感器160、触摸屏170、音频输出器175、驱动器180、存储器190以及电源195。
在示例实施例中，冰箱包括：主体，其具有储存装置；在其前表面上具有显示器并铰接在主体上以在储存装置的一侧的前侧上旋转的第一门；第一摄像机，其被配置成拍摄作为要被识别的对象的食物；第二门，其铰接在主体上使得其在储存装置的另一侧的前侧上旋转；以及控制器，其被配置成控制显示器和第一摄像机。控制器通过使用由第一摄像机拍摄的食物图像来控制与该食物图像的食物名称显示在显示器上。
控制器110可以响应于用户靠近来控制显示器显示食物管理应用的屏幕。
控制器110可以通过使用食物管理应用来控制通过第一摄像机捕获的食物的图像通过学习模型被识别。
冰箱可以进一步包括被配置成储存与学习模型相对应的训练数据的储存器。控制器110可以控制食物的图像通过学习模型被识别。
控制器110可以控制以被配置为储存训练数据的储存器、外部服务器、外部储存器的服务器和web搜索引擎的确定的顺序尝试识别学习模型的拍摄图像。
控制器110可以控制通过使用第一摄像机来执行对应于食物的预览。
控制器110可以控制与食物图像相对应的食物信息显示在显示器上。
控制器110可以通过使用第二摄像机拍摄储存装置来控制食物信息中的、食物的储存装置内的储存位置通过显示器进行显示。
在食物被储存在储存装置内的储存位置的情况下，控制器110可以控制所储存的食物的储存周期显示在显示器上。
控制器110可以通过使用食物信息的储存周期来控制到达食物的储存周期极限显示在显示器上。
控制器110可以经由通信接口控制食物的储存周期极限的到达被传输到外部装置。
在另一示例实施例中，冰箱包括：显示器，其铰接到主体以在储存装置的前侧上旋转，该显示器设置在门的前表面上；第一摄像机，其拍摄作为要被识别的对象的食物，第一摄像机定位在储存装置的另一侧的前侧上；第二门，其铰接到主体，使得其在储存装置的另一侧的前侧上旋转；以及控制器，其控制显示器和第一摄像机，并且通过使用由第一摄像机拍摄的食物图像来控制与食物图像相对应的食物名称显示在显示器上。
在另一示例实施例中，冰箱包括：主体，其具有储存装置；储存器，其被配置成储存第一比较食物；门，其被铰接至主体以在储存装置一侧的前侧上旋转，该门具有在其前表面上的显示器；摄像机，其被配置成拍摄作为要被识别的对象的食物，该摄像机被定位在门的前表面上；以及控制器，其被配置成控制储存器、显示器以及摄像机。控制器根据食物识别搜索结果，通过使用储存器的第一比较食物图像，优先识别由摄像机拍摄的食物图像，并控制在显示器上显示与所拍摄的食物图像相对应的食物名称。
冰箱可以进一步包括通信接口。控制器110可以根据食物识别搜索顺序，通过使用储存在经由通信接口连接的外部服务器的储存器中的第二比较食物图像来识别由摄像机拍摄的食物图像，并且控制与所拍摄的食物图像的相对应的食物名称显示在显示器上。
控制器110可以根据食物识别搜索顺序通过使用储存在经由通信接口连接的商店服务器的储存器中的第三比较食物图像来识别由摄像机拍摄的食物图像，并且控制与所拍摄的食物图像的相对应的食物名称显示在显示器上。
控制器110可以根据食物识别搜索结果通过通信接口使用搜索引擎来识别由摄像机拍摄的食物图像，并且控制与所拍摄的食物图像的相对应的食物名称显示在显示器上。
根据示例实施例，本文使用的术语“冰箱的控制器”可以是包括处理器111、ROM112和RAM 113的构思。此外，“冰箱的控制器”可以指处理器111。
通信接口120可以在控制器110的控制下通过使用一个天线或两个或更多个天线经由移动通信网络、无线LAN通信网络或近场通信网络与外部设备210至240连接。无线LAN通信可以在控制器110的控制下在安装AP的位置处与接入点(access point，AP)无线连接。例如，无线LAN通信可以包括Wi-Fi通信。近场通信可以包括蓝牙(Bluetooth)通信、蓝牙低功耗通信、红外线数据协会(infrared data association，IrDA)通信、超宽带(ultra-wideband，UWB)通信、磁安全传输(magnetic security transmission，MST)通信和/或NFC通信。
根据各种示例实施例，术语“通信接口”可以经由移动通信、无线LAN通信和/或近场通信与外部设备连接。
麦克风140可以在控制器110的控制下将从外部源接收的语音或声音生成(或转换)为电信号。由麦克风140生成的电信号可以在控制器110的控制下在音频编解码器中被转换，并储存在存储器190中或通过音频输出器175输出。
摄像机150可以在控制器110的控制下拍摄静态图像或记录视频。摄像机150可以拍摄静止图像或记录视频，用于食物的登记和/或管理。摄像机150可以在控制器110的控制下拍摄用户的虹膜。
摄像机150包括定位在冰箱100前侧上的前摄像机(或第一摄像机151)和定位在冰箱100内部的内部摄像机(或第二摄像机152)。此外，拍摄用户虹膜的虹膜拍摄摄像机(未示出)可以定位在前摄像机151的一侧上。
前摄像机(或前摄像机151的光轴)可以基于门30的前侧(或表面)朝向前侧(例如+y轴方向)以设定角度(例如，小于85°)倾斜。上述设定角度可以是75度或更小，或者可以是35度或更大。此外，上述设定角度可以是65度或更小，或者可以是15度或更大。在前摄像机151面向前侧(例如+y轴方向)的情况下，用户需要将作为要拍摄的对象的食物提升到前摄像机151的拍摄范围(例如视角)中。在控制器110的控制下，以设定角度倾斜的前摄像机151可以容易地(或利用很少电力)拍摄作为要被拍摄的对象的食物。
前摄像机151和内部摄像机152中的一个可以包括提供拍摄所需的光量的辅助设备(例如闪光灯(未示出))。此外，拍摄虹膜所需的辅助光源(例如，用于虹膜识别的LED，未示出)可以定位在冰箱100的前表面上。
可以包括一个前摄像机151或多个前摄像机151。一个或多个内部摄像机152可以根据储存装置的区域被定位在门20至50的面向储存装置11至13的后表面上。例如，一个或多个内部摄像机152可以定位在门20和30的面向储存装置11的后表面上。一个或多个内部摄像机152可以被定位在门40的面向储存装置12的后表面上。此外，一个或多个内部摄像机152可以定位在门50的面向储存装置13的后表面上。
控制器110可以通过前摄像机151和内部摄像机152中的一个控制要储存在存储器190中的所拍摄的图像。
传感器160可以通过一个或多个传感器检测冰箱100的外周状态(例如照度)和/或冰箱100的内部状态(例如储存室的温度)。
传感器160可以包括：接近传感器，其用于检测用户是否靠近冰箱100；以及一个或多个温度传感器162，其用于检测冰箱100的储存装置(例如，冷冻室、冷藏室、蔬菜室等)的温度。此外，传感器160可以包括照度传感器(未示出)，该照度传感器检测冰箱100周边的对应于亮度变化的光量。来自传感器160中的接近传感器161和照度传感器(未示出)中的一个可以定位在冰箱100的门的前表面上。此外，温度传感器162可以定位在室内以与储存装置对应。
本领域技术人员将容易理解的是，可以根据冰箱100的性能添加、修改或删除包括在传感器160中的传感器类型。
触摸屏(或显示器)可以提供对应于各种服务(例如，数据传输、视频呼叫、广播接收、观看视频内容、包括移动支付的电子支付等)的图形用户界面(graphical userinterface，GUI)。在示例实施例中，触摸屏可以是包括显示器的构思。
触摸屏170可以包括接收用户输入(例如触摸)的触摸面板172和用于显示屏幕的显示面板171。在触摸屏170中，显示面板171和触摸面板172可以实施为一体式(例如，内嵌式触摸屏或外嵌式触摸屏)。
触摸屏170可以包括接收用户输入的边缘触摸面板(未示出)和用于显示屏幕的边缘显示面板(未示出)。如上所述，边缘触摸面板和边缘显示面板可以实施为一体式。
触摸屏170可以将通过主屏幕(未示出)或GUI输入的对应于单触摸或多触摸的模拟信号发送到触摸屏控制器(未示出)。触摸屏170可以通过用户的身体(例如，包括拇指的手指)或输入笔(例如，触笔，未示出)接收单触摸或多触摸。
根据示例实施例，触摸屏(或显示器170)可以输出与在所标识的食物的储存装置内的存储位置的指示的相对应的视觉反馈。在示例实施例中，显示器可以是包括触摸屏170的构思。
触摸屏控制器(未示出)将对应于从触摸屏170接收的触摸(单触摸或多触摸)的模拟信号转换成数字信号，并将该数字信号发送到控制器110。控制器110可以通过使用从触摸屏控制器(未示出)接收的数字信号来计算由触摸屏170接收的触摸的位置(例如，x坐标和y坐标)。
控制器110可以通过使用从触摸屏控制器(未示出)接收的数字信号来控制触摸屏170。例如，响应于输入触摸，控制器110可以显示从与在触摸屏170上显示的应用相对应的快捷图标中选择的不同于未选择的其他快捷图标的快捷图标(或称为图标)，或者可以运行与所选择的快捷图标相对应的应用(例如，视频应用)，并且在触摸屏170上显示视频应用屏幕。
音频输出器175可以在控制器110的控制下输出对应于由音频编解码器解码的各种信号(例如，无线信号、广播信号、音频源、视频文件或拍摄的照片)的声音。音频输出器175可以包括一个或多个扬声器。
一个或多个音频输出器175可以定位在冰箱100的一侧和/或侧向侧上。一个或多个音频输出器175可以被定位成邻近于定位在冰箱的前表面上的触摸屏(或显示器170)。此外，一个或多个音频输出器175可以被定位成邻近于定位在冰箱的前表面上的前摄像机151。
根据示例实施例，音频输出器175可以输出与所标识的食物的储存装置内的储存位置的指示相对应的听觉反馈。
驱动器180可以包括在控制器110的控制下操作的压缩机181、风扇182、过滤器183或加热器184。驱动器180可以进一步包括照明器(未示出)或气味去除装置(未示出)。
压缩机181在控制器110的控制下压缩制冷剂，该制冷剂是冷冻循环的工作流体。冷冻循环包括：将由压缩机181压缩的气态制冷剂变换成液态制冷剂的冷凝器(未示出)；降低液态制冷剂中压力的膨胀器(未示出)；以及气化减压的液态制冷剂的蒸发器(未示出)。控制器110可以通过液态制冷剂的气化来控制储存装置中的温度。此外，冰箱100可以通过使用珀耳帖(peltier)效应的珀耳帖元件(未示出)、使用磁热效应的磁冷却装置(未示出)来控制储存装置的温度。
风扇182可以在控制器110的控制下使外部空气循环。由冷却循环加热的空气可以由于通过外部空气进行热交换被冷却。
过滤器183可以包括空气净化器。过滤器183可以在控制器110的控制下漂浮在储存装置内，或者可以消毒(或去除)附着的病毒。过滤器183可以包括图标消毒净化器。
加热器184在控制器110的控制下去除出现的霜。加热器184可以包括除霜加热器。
存储器190可以在控制器110控制下储存被输入或输出以与的元件110至195的操作相对应的信号或数据(例如，对应于食物管理(或食物识别))。存储器190可以储存用于控制冰箱100或控制器110的控制程序、以及与由制造商提供并从外部来源下载的应用(例如，食物管理应用、食物识别应用等)相关的图形用户界面(GUI)、对应于GUI的图像、用户信息、文档、数据库或相关的数据。
存储器190可以储存摄像机150中拍摄的食物的图像(或视频)。食物图像304可以是包括二进制文件的构思，该二进制文件包括显示在触摸屏170上的一个或多个图像以及储存在存储器190中的一个或多个图像。此外，存储器190可以储存与所拍摄的食物图像(或视频)的比较相对应的各种类型的比较食物图像。各种类型的比较食物图像可以包括每种类型食物的许多(例如，数十或数百)食物图像。在所拍摄的食物图像(或视频)是胡萝卜的情况下，比较食物图像可以是可以包括胡萝卜的图像(诸如胡萝卜的各种形状、大小、颜色和洗涤状态以及胡萝卜是否被包装)的比较食物图像。
存储器190可以储存对应于食物识别的各种训练数据，以识别(或区分)拍摄的食物图像。例如，包括胡萝卜的各种形状、大小、颜色或洗涤状态以及胡萝卜是否被包装的胡萝卜的图像可以作为训练数据被储存在存储器190中用于识别胡萝卜。除了水果之外，对应于用户可食用、可饮用或可烹饪的食物(诸如蔬菜、肉、海鲜等)的训练数据可以储存在存储器190中。此外，存储器190可以储存学习模型以识别拍摄的食物图像。
存储器190可以储存由摄像机150拍摄的食物图像(或视频)，并储存通过机器学习将要标识的食物与所拍摄的食物图像区分开来的食物识别应用(或使用食物识别算法的附加应用)。所有的食物识别应用都可以储存在储存装置中。一些食物识别应用可以储存在外部装置(例如，服务器或便携式设备)中。一些食物识别应用可以储存在存储器190中。此外，对应于食物识别的一些训练数据可以储存在存储器190中。可替换地，对应于食物识别的一些训练数据可以储存在外部装置(例如，服务器或便携式设备)中。
控制器110可以通过使用食物识别应用从摄像机150中拍摄的食物的图像中识别(或区分)食物。
存储器190可以储存：视觉反馈(例如，视频源等)，该视觉反馈被输出以与在所标识的食物的储存装置内的储存位置的指示相对应，并且该视觉反馈是用户可识别的；以及听觉反馈(例如，声源等)，该听觉反馈从音频输出器175输出并且是用户可识别的。
存储器190可以储存被提供给用户的反馈的反馈提供时间(例如，500ms)。
在示例实施例中，术语“储存器”包括存储器190、控制器110内的ROM112、以及可安装到冰箱100的RAM 113或插槽(未示出)的储存器卡(例如，微SD卡等，未示出)。存储器190可以包括非易失性储存器、易失性储存器、硬盘驱动器(hard disk drive，HDD)或固态驱动器(solid state drive，SSD)。
电源195可以在控制器110的控制下向冰箱100的元件110至195供电。电源195可以在控制器110的控制下经由电源代码(未示出)将从外部电源输入的电力供应到冰箱100的每个元件。
本领域技术人员将容易理解的是，图1a、图1b和图2中示出的冰箱100的至少一个元件中可以响应于冰箱100的性能而被添加、删除或修改。
图3示出了根据本公开的实施例的具有前摄像机和显示器的冰箱的食物管理方法的流程图。
图4a至图4f示出了根据本公开的实施例的具有前摄像机和显示器的冰箱的示例性食物管理方法的图。
在图3的步骤S310，检测用户靠近。
参照图4a，抓持食物1的用户定位在冰箱100的前侧上。食物1可以包括包装状态或未包装状态。针对处于包装状态的食物，所包装的食物可以包括容纳食物1的容器1a和包装容纳在容器中的食物的包装材料1b。食物的附加信息(例如商标(未示出)、价格(未示出)或条形码(未示出))可以定位在包装材料1b的表面上。在通过前摄像机151识别食物的过程中，也可以识别食物的上述附加信息。
各种内容当中的一个内容(例如天气窗口小部件或时间窗口小部件)可以被显示在定位在冰箱100的门的前表面上的触摸屏170上。
冰箱100可以包括定位在前侧上的、用于检测用户的用户靠近检测器。用户靠近检测器可以包括定位在门的前表面上的麦克风140、以设定角度倾斜的前摄像机151、以及接近传感器161中的一个。此外，用户靠近检测器可以包括在门的前表面处的麦克风140、以设定角度倾斜的前摄像机151、以及接近传感器161的组合。
冰箱100的控制器110可以通过使用用户靠近检测器来检测用户靠近冰箱。麦克风140可以接收发出的用户语音。控制器110可以通过识别用户语音来区分(或认证)用户。
以设定角度倾斜的前摄像机151可以在冰箱前侧上拍摄用户的外观(或用户运动或用户存在)。控制器110可以通过识别拍摄的图像(例如，面部)来区分(或认证)用户。接近传感器161可以检测用户从冰箱100的前侧靠近。
用户靠近检测器可以通过一个传感器检测用户靠近，或者可以通过多个传感器检测用户靠近。此外，用户靠近检测器可以通过一个传感器来区分(例如，通过麦克风或摄像机)靠近冰箱的用户，或者可以通过多个传感器的组合来区分(例如，通过接近传感器和摄像机的组合、接近传感器和麦克风的组合等)靠近的用户。
用户靠近检测器可以向控制器110输出与用户靠近的检测相对应的电信号。此外，用户靠近检测器可以向存储器190输出与用户靠近的检测相对应的电信号。
在图3的步骤S320，在显示器上显示食物管理应用的屏幕。
参照图4b，控制器110可以响应于用户靠近的检测，在触摸屏170上显示食物管理应用屏幕。控制器110可以响应于用户靠近的检测而改变(例如，从窗口小部件屏幕170a到食物管理应用屏幕300)所显示的内容。
控制器110可以响应于检测用户靠近，显示其中食物可以被登记的食物管理应用的屏幕。食物管理应用屏幕300的屏幕可以包括储存在储存装置(例如冷藏室)中的食物的标题区域301和显示区域305。在图4b中，该“登记食物”被显示在标题区域301上。显示在食物管理区域302上的图像可以由内部摄像机152拍摄。
用户可以触摸标题区域301的登记食物，以通过以设定角度倾斜的前摄像机151拍摄作为要被拍摄的对象的、由用户抓持的食物(例如胡萝卜1)。
在图3的步骤S330，在前摄像机中拍摄食物。
参照图4c，控制器110可以移动以设定角度倾斜的前摄像机151，执行对应于要拍摄的食物1的预览(例如，视频和预览302a)，并且响应于用户触摸食物和类似物在触摸屏170上显示该预览。预览302a可以被显示在触摸屏170的部分区域(例如，显示区域的10％以上和75％以下)上，或者可以被显示在触摸屏170的整个区域上。用户可以通过预览302a标识适于前摄像机151拍摄食物的位置(例如，三维位置)。
在预览302a被显示在触摸屏170上并且不输入用户输入达设定时间(例如，一秒钟，可修改的)的情况下，控制器110可以通过使用前摄像机151连续拍摄食物1。
参考图4d，控制器110可以响应于登记食物的用户触摸来操作前摄像机151。前摄像机151可以在控制器110的控制下连续拍摄(例如，每秒几(或几十)张照片或以0.5秒的间隔拍摄几(几十)张照片，该时间间隔可以修改)要被拍摄的食物1。
触摸屏170可以在控制器110的控制下显示标题区域(“显示拍摄的图像’、301”)和“拍摄的图像显示区域303”。触摸屏170可以在控制器110的控制下在拍摄的图像显示区域303上显示多个拍摄的食物图像304、304a至304j。显示的食物图像304的数量仅仅是示例，并且可以根据食物的类型和/或大小进行修改。
拍摄的食物图像304可以在控制器110的控制下被储存在存储器190中。
在图3步骤S340，标识拍摄的食物。
参照图4e和图4f，控制器110可以通过拍摄的食物图像304识别食物(或食物名称，1)。控制器110可以识别拍摄的食物图像304并标识食物(或食物名称，1)。控制器110可以通过机器学习识别拍摄的食物图像304并标识食物(或食物名称，1)。控制器110使用神经网络模型通过深度学习来识别拍摄的食物图像304，并标识食物(或食物名称，1)。
控制器110可以通过正在运行的食物识别应用(或食物管理应用，未示出)来识别食物图像304，并标识食物1的名称(例如胡萝卜、苹果等)。控制器110可以响应于以设定角度倾斜的前摄像机151拍摄食物1，通过运行的食物识别应用(或食物管理应用)来识别食物的图像，从而标识食物1的名称。
控制器110可以响应于食物识别应用的食物识别过程，在触摸屏170上显示“处理”。
食物识别应用可以通过使用通过训练数据的学习而生成的学习模型和食物图像304来标识食物(或食物名称，1)。训练数据可以包括监督学习数据和无监督学习数据。使用监督学习数据的机器学习可以通过使用对应于监督学习数据的食物名称(例如，“胡萝卜”)和食物图像(例如各种大小和数量的胡萝卜图像)来运行机器学习。使用无监督学习数据的机器学习可以通过使用食物图像(例如，各种大小和数量的胡萝卜的图像)来运行机器学习。
食物识别应用可以从储存的训练数据中发现规则或模式。食物识别应用可以通过学习器从训练数据中发现规则或模式。学习模型可以通过由学习器发现的规则或模式来生成。食物识别应用可以通过生成的学习模型和食物图像304来标识食物。
上述学习数据可以储存在经由通信接口连接到存储器190和冰箱100的外部服务器210中。上述学习数据可以定期更新到存储器190，并储存在(或更新到)经由通信接口连接到冰箱100的外部服务器210中。储存训练数据的服务器210的储存器(未示出)可以包括冰箱100的制造商的服务器(未示出)的储存器、能够下载食物识别应用的服务器(未示出)的储存器、以及能够下载可在冰箱中运行的应用的应用服务器(未示出)的储存器。
对于机器学习，食物识别应用可以主要优先使用(或学习)储存在冰箱100的存储器190中的训练数据，并且然后，其次使用(或学习)储存在服务器210的储存器(未示出)中的训练数据。用于学习模型的食物识别的训练数据可以首先在冰箱100的存储器190中使用，且然后可以其次在服务器210的储存器(未示出)中使用。上述存储器190的训练数据可以周期性地更新。此外，储存在服务器210的储存器中的训练数据可以周期性地更新。
在食物识别应用中未通过使用存储器190的第一图像识别来标识食物1的情况下，控制器110可以经由通信接口120通过使用储存在服务器210的储存器中的训练数据来进行第二图像识别。此外，在食物识别应用中未通过使用存储器190的第一图像识别标识食物1的情况下，控制器110可以经由通信接口120通过使用储存在服务器210的储存器中的用户(或冰箱100)的搜索历史或频繁搜索的图像来运行第二图像识别。
在食物识别应用中未通过通信接口120和服务器210的储存器的第二图像识别标识食物1的情况下，控制器110可以经由通信接口120搜索销售食物的商店(或集市)的服务器(未示出)的储存器(未示出)，并运行第三图像识别。
在食物识别应用中未通过使用通信接口120和集市(或商店)的服务器(未示出)的储存器(未示出)的第三图像识别来标识食物1的情况下，控制器110可以通过经过通信接口120和搜索引擎执行搜索来运行第四图像识别。
控制器110可以改变(例如，在存储器190中进行尝试之后，可以在搜索引擎中进行尝试)上述食物识别搜索顺序(例如，首先是存储器190、服务器210的储存器、市场(或商店)的服务器(未示出)的储存器(未示出)，最后是搜索引擎，这可以被称为“食物识别搜索顺序”)。
控制器110可以根据食物识别应用和食物识别搜索顺序来标识食物1。在标识了食物识别的情况下，控制器110可以不在触摸屏170上显示所显示的“处理”305。
存储器190可以在控制器110的控制下储存所标识的食物(或食物名称)。
图6示出了根据本公开的实施例的具有前摄像机和显示器的冰箱的食物管理方法的流程图。
参照图6，在图6的操作S610，根据另一示例实施例的食物识别应用可以通过使用食物图像304的特征(或特征点和图像特征)来分析(或标识)食物(或食物名称，1)。图像的特征可以包括图像的特征点和/或图像的特征量。图像的特征量可以是在图像中的连续像素之间的亮度值大于设定值(例如，100，可修改的)的区域。图像的特征量是以矢量值指示图像特征值的值。
食物识别应用可以通过使用图像的特征量来比较图像的特征点。控制器110可以通过使用通过食物识别应用计算的图像的特征量来比较图像的特征点(例如，多个图像的特征点之间的相似性)。上面描述了提取图像的特征点的各种方法和计算图像的特征量的方法，并且因此将省略其详细描述。
食物识别应用可以将对应于食物图像304的图像的特征量与对应于预先储存在存储器190中的比较食物图像的图像的特征量进行比较。
预先储存的比较食物图像可以储存在存储器190和经由通信接口连接到冰箱100的外部服务器210中。储存预先储存的比较食物图像的服务器210的储存器(未示出)可以包括冰箱100的制造商的服务器(未示出)的储存器、能够下载食物识别应用的服务器(未示出)的储存器、以及能够下载可在冰箱中运行的应用的应用服务器(未示出)的储存器。
用于食物识别应用的食物识别的预先储存的比较食物图像可以在比较冰箱100的存储器190之前执行第一比较(图6的操作S620)，并且然后执行服务器210的储存器的第二比较(图6的操作S630)。上述存储器190的预先储存的比较食物图像可以周期性地(例如，时间、日、周、月等，可修改的)更新。预先储存在服务器210的储存器中的比较食物图像也可以周期性地(例如，时间、天、周、月等，可修改的)更新。
在食物识别应用中未通过使用预先储存在存储器190中的比较食物图像的第一图像识别来标识食物1的情况下，控制器110可以经由通信接口120通过使用预先储存在被储存在服务器210的储存器中的服务器的储存器中的比较食物图像来进行第二图像识别。此外，在食物识别应用中未通过使用预先储存在存储器190中的比较食物图像的第一图像识别来标识食物1的情况下，控制器110可以经由通信接口120通过使用储存在服务器210的储存器中的用户(或冰箱100)的搜索历史或频繁搜索的图像来运行第二图像识别。
在食物识别应用中未通过通信接口120和服务器210的储存器的第二图像识别标识食物1的情况下，控制器110可以经由通信接口120搜索(图6的操作S640)预先储存在销售食物的集市(或商店)的服务器(未示出)的储存器(未示出)中的比较食物图像并运行第三图像识别。
在食物识别应用中未通过使用通信接口120和集市(或商店)的服务器(未示出)的储存器(未示出)的第三图像识别来标识食物1的情况下，控制器110可以通过经过通信接口120和搜索引擎执行搜索(图6的操作S650)来运行第四图像识别。
控制器110可以改变(例如，在存储器190中进行尝试之后，可以在搜索引擎中进行尝试)上述食物识别搜索顺序(例如，首先是存储器190、服务器210的储存器、市场(或商店)的服务器(未示出)的储存器(未示出)，并且最后是搜索引擎(web搜索引擎)，这可以被称为“食物识别搜索顺序”)。上述服务器210的储存器和商店(或集市、百货商店、在线购物中心等)的服务器(未示出)的储存器(未示出)可以被称为外部储存器。
在图6的操作S660，控制器110可以根据食物识别应用和食物识别搜索顺序来标识食物1。在标识食物的情况下，控制器110可以不在触摸屏170上显示所显示的“处理”305。
存储器190可以在控制器110的控制下储存所标识的食物(或食物名称)。
在未标识食物1的情况下，触摸屏170可以在控制器110的控制下显示“未标识的食物(或‘标识的食物名称’)”。在未标识食物1的情况下，触摸屏170可以在控制器110的控制下显示对应于“未标识的食物”的弹出窗口(未示出)。此外，可以通过音频输出器175输出对应于“未标识的食物”的语音和/或声音。
在图6的操作S620至S650，在未标识食物1的情况下，冰箱的食物管理方法结束。
在图6的操作S660，在标识食物1的情况下，执行图3的操作S350。
在图3的操作S350，显示对应于标识的食物的食物信息。
参照图4f，控制器110可以显示食物信息301d和在食物信息显示区域305上显示对应于所标识的食物的区域305。食物信息306中包括的项目可以例如包括食物名称(例如，“胡萝卜”，306a)、储存食物的推荐位置(例如，“右冷藏室中的保湿蔬菜室”，306b)、储存所标识的食物的储存日期(例如，“2017年1月1日，下午4:10:56”，306c)以及食物的储存周期极限(例如，“直到2017年1月10日，中午12:00”，306d)。
控制器110可以将定位在被包装的食物的包装材料1b处的食物附加信息添加到食物信息中。控制器110可以将定位在被包装的食物的包装材料1b处的食物的附加信息添加到食物信息中。上述食物信息仅仅是示例，并且可以进一步包括原产地、是否应用折扣和/或用户输入(例如，“让我们吃吧”等)。
在食物信息306中包括的项目数量大于触摸屏170上可以显示的项目数量的情况下，用户可以通过用户输入(例如，触摸、语音、运动等)向上或向下滚动食物信息306。
存储器190可以在控制器110的控制下储存显示的(可显示的)食物信息。
在图3的操作S360，显示储存在储存装置中的与食物信息相对应的食物。
参照图4g，控制器110可以根据食物信息提供在食物储存装置内的储存位置。触摸屏170可以在控制器110的控制下显示标题区域(“食物位置301e)”、301)和食物储存位置307。
在食物1的储存装置内的食物储存位置307可以通过从音频输出器175输出的听觉反馈和从触摸屏170显示的视觉反馈中的至少一个提供给用户。控制器110可以根据食物信息将食物1的储存装置内的储存位置(11d2，参见图1b)输出为声音(例如，“右冷藏室(11d2)中的保湿蔬菜室”)。
控制器110可以根据食物信息通过内部摄像机152拍摄食物1的储存装置内的储存位置11d2，并且在触摸屏170上可区分地显示拍摄的储存位置。此外，控制器110可以根据食物信息减少(或简要示出图1b)食物1的储存装置内的储存位置11d2，并且在触摸屏170上区分地显示减少的储存位置(与食物信息306内的位置306b相邻(在位置306b与储存日期306c之间))。
参照图4h，显示储存在储存装置中的食物1。
用户可以根据显示的食物信息控制打开门30，并且将食物1容纳在右冷藏室11d2中的保湿蔬菜室11d2中。控制器110可以通过使用传感器(未示出)来检测门30的打开/关闭。
当门30关闭时，触摸屏170可以在控制器110的控制下通过内部摄像机152的拍摄来显示被容纳在右冷藏室11d2的保湿蔬菜室中的食物1。分别显示储存在右冷藏室11d2中的保湿蔬菜室中的食物1和储存在储存装置中的另一食物的储存周期308。此外，储存在右冷藏室11d2的保湿蔬菜室中的食物1和储存装置308a可以被一起显示。
控制器110可以根据食物信息306向用户提供与在储存装置内的食物1的储存(或储存和显示)相对应的反馈。
所提供的附加反馈可以以视觉反馈和听觉反馈中的至少一个中提供。此外，控制器110可以向用户提供视觉反馈和听觉反馈的组合。
视觉反馈可以包括与根据食物信息306将食物1储存(或储存和显示)在储存装置中相对应的视觉效果(例如，附加图像或应用于该附加图像的类似淡入的动画效果，未示出)。控制器110可以在触摸屏170上显示视觉反馈。
听觉反馈可以包括与根据食物信息306将食物1储存在储存装置内(或储存和显示)相对应的声音。控制器110可以经由音频输出器175输出听觉反馈。被提供给用户的反馈提供时间(例如，300ms)可以通过设置(未示出)来改变。
在图3的操作S370，到达了所储存的食物的储存周期极限。
控制器110可以通过使用食物信息周期性地标识被储存在储存装置中的食物的储存周期。控制器110可以标识到达食物1的储存周期极限。储存周期极限的到达可以是在储存周期的最后一天之前的一天(或者两天，可以根据设置进行修改)。控制器110可以将当前日期(17年1月6日)与储存的食物信息306进行比较，并标识储存周期极限的到达。控制器110可以基于当前日期和食物信息306的储存周期极限306d来标识食物1的储存周期极限的到达。
在图3的操作S370，在食物1的储存周期极限已经到达的情况下，执行图3的操作S380和S390。在食物1的储存周期极限还未到达的情况下，该过程进行到图3的步骤S370之前的过程。
在图3的操作S380，在显示器上显示储存周期极限的到达。
参照图4i，在触摸屏170上显示食物1的储存周期极限的到达309。食物1的储存周期极限的到达309可以被显示为区别于另一食物的储存周期308。
在用户触摸食物1的储存周期极限的到达309中的一个的情况下，可以在触摸屏170上显示对应于食物1的储存周期极限的到达的详细信息309a(参见图5)。可以显示详细信息309a的弹出窗口(覆盖或重叠)。
在图3的操作S380，在显示器上显示储存周期极限的到达的情况下，冰箱的食物管理方法结束。
在图3的操作S390，向外部装置通知储存周期极限的到达。
参照图5，冰箱管理应用227a被显示在便携式装置220的显示器227上。管理冰箱100的便携式装置220可以经由通信接口(未示出)与冰箱100功能性连接。在管理冰箱100的外部装置200中运行的冰箱管理应用227a可以经由通信接口(未示出)与冰箱100功能性连接。
外部装置200可以经由通信接口从冰箱100接收食物1的储存周期极限的到达。便携式装置220可以经由通信接口从冰箱100接收对应于食物1的储存周期极限的到达的通知消息(或详细信息)。
便携式装置220可以在显示器227上显示接收的通知消息。外部装置200可以通过在显示器227上显示的冰箱管理应用显示所接收的通知消息的弹出窗口(或覆盖或重叠)。通知消息309a可以包括其储存周期极限已经到达的食物1的推荐方案309a1。
在图3的操作S390，在向外部装置通知到达储存周期极限的情况下，冰箱的食物管理方法结束。
根据本公开的示例性实施例的方法可以实施为程序指令类型，该程序指令类型可以通过各种计算机单元执行，并且可以记录在非暂时性计算机可读介质中。计算机可读介质可以单独地或以其组合的方式包括程序命令、数据文件、数据结构等。例如，计算机可读介质可以储存在易失性或非易失性储存设备中，诸如ROM、诸如RAM的储存器、储存器芯片、以及设备或集成电路、或者可以利用机器(例如，计算机)读取同时被光学或磁性记录(如CD、DVD、磁盘、磁带等)的储存介质、而不管其被删除还是再次记录。
此外，计算机可读介质可以储存在服务器的计算机可读储存介质中，并且计算机程序可以经由网络下载到计算设备。
根据实施例，根据本文档中公开的各种实施例的方法可以包括在并提供在计算机程序产品中。计算机程序产品可以作为产品在卖方与买方之间交易。计算机程序产品可以以储存介质(例如，光盘只读储存器(CD-ROM))的形式分布，该储存介质可以由设备读取或者通过应用商店(例如，PLAYSTORE)在线读取。在在线分布的情况下，计算机程序产品的至少部分可以至少临时储存在储存介质(诸如制造商的服务器的存储器、应用商店的服务器或中继服务器)中，或者可以临时生成。
可以包括在冰箱中的存储器可以是包括用于实施本公开的示例实施例的指令的程序的示例，或者是适于储存程序并且可以由机器读取的储存介质。记录在计算机可读介质中的程序命令可以设计用于示例性实施例，或者对计算机软件领域的技术人员来说是已知的。
尽管为了说明性目的已经公开了本公开的示例性实施例，但是本领域的技术人员将理解的是，在不脱离所附权利要求中公开的范围及其精神的情况下，各种修改、添加和替换是可能的。
尽管已经利用各种实施例描述了本公开，但是可以向本领域技术人员暗示各种改变和修改。本公开旨在涵盖落入所附权利要求范围内的此类改变和修改。

Claims (15)

1.一种冰箱，包括：
包括储存装置的主体；
门，铰接到主体并且被配置成在储存装置的前侧上旋转，其中门的前表面包括显示器；
第一摄像机，位于门的前表面并且被配置成拍摄储存装置的外部；
第二摄像机，位于储存装置的内部并且被配置成拍摄储存装置的内部；
控制器，被配置成：
控制第一摄像机捕获储存装置的门的前面的食物的第一图像，
从第一图像识别食物信息，
控制第二摄像机捕获储存装置的内部的第二图像，以及
在显示器上显示的第二图像上重叠地显示食物信息。
2.如权利要求1所述的冰箱，进一步包括：
用户靠近检测器，其被配置成检测用户相对于冰箱的靠近，
其中，所述用户靠近检测器包括麦克风、第一摄像机和接近传感器中的至少一个。
3.如权利要求2所述的冰箱，其中，控制器进一步被配置成响应于检测到用户的靠近，在显示器上显示食物管理应用屏幕。
4.如权利要求3所述的冰箱，其中，控制器进一步被配置成通过使用食物管理应用，通过学习模型来识别由第一摄像机拍摄的食物的第一图像。
5.如权利要求4所述的冰箱，进一步包括：
存储器，其中，所述存储器被配置成储存与学习模型相对应的训练数据，
其中，控制器进一步被配置成通过学习模型来识别食物的第一图像。
6.如权利要求5所述的冰箱，进一步包括：
通信接口，其中，所述通信接口被配置成与外部装置连接，
其中，为了识别食物的第一图像，训练数据被储存在存储器、外部服务器、外部商店的服务器以及web搜索引擎中的至少一个中。
7.如权利要求6所述的冰箱，其中，控制器进一步被配置成以存储器、外部服务器、外部商店的服务器以及web搜索引擎的确定的顺序，基于所储存的训练数据通过学习模型来识别食物的第一图像。
8.如权利要求2所述的冰箱，其中，所述接近传感器被定位成邻近于第一摄像机。
9.如权利要求1所述的冰箱，其中，第一摄像机被定位成以设定角度从门的前表面倾斜。
10.如权利要求1所述的冰箱，其中，控制器进一步被配置成通过使用第一摄像机预览食物。
11.如权利要求1所述的冰箱，
其中，所述食物信息包括食物的名称、储存食物的位置、储存食物的日期以及储存食物的周期中的至少两个或多个。
12.如权利要求11所述的冰箱，其中，控制器进一步被配置成通过显示器来显示通过使用第二摄像机拍摄储存装置获得的食物被储存在储存装置中的位置。
13.如权利要求12所述的冰箱，其中，控制器进一步被配置成响应于食物储存在储存装置中的所述位置处，在显示器上显示食物的储存周期。
14.如权利要求11所述的冰箱，其中，控制器进一步被配置成通过使用食物信息的储存周期，在显示器上显示食物储存周期极限的到达。
15.一种具有储存装置的冰箱的控制方法，所述方法包括：
检测用户靠近冰箱；
响应于检测到用户靠近冰箱，通过由第一相机拍摄储存装置的外部视图来获取食物的第一图像，其中第一摄像机位于储存装置的门的前表面并且被配置成拍摄储存装置的外部；
从第一图像识别食物信息；
通过由第二照相机拍摄储存装置的内部视图来获取储存装置的内部的第二图像，其中第二摄像机位于储存装置的内部并且被配置成拍摄储存装置的内部；以及
在冰箱的显示器上显示的第二图像上重叠地显示食物信息。
CN201880032377.1A 2017-05-18 2018-05-08 冰箱及其食物管理的方法 Active CN110637204B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170061829A KR102327848B1 (ko) 2017-05-18 2017-05-18 냉장고 및 냉장고의 음식 관리방법
KR10-2017-0061829 2017-05-18
PCT/KR2018/005244 WO2018212493A1 (en) 2017-05-18 2018-05-08 Refrigerator and method of food management thereof

Publications (2)

Publication Number Publication Date
CN110637204A CN110637204A (zh) 2019-12-31
CN110637204B true CN110637204B (zh) 2022-03-29

Family

ID=64271478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880032377.1A Active CN110637204B (zh) 2017-05-18 2018-05-08 冰箱及其食物管理的方法

Country Status (5)

Country Link
US (1) US10724792B2 (zh)
EP (1) EP3577401A4 (zh)
KR (1) KR102327848B1 (zh)
CN (1) CN110637204B (zh)
WO (1) WO2018212493A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102118156B1 (ko) * 2016-07-28 2020-06-02 삼성전자주식회사 냉장고
KR102273092B1 (ko) * 2016-12-12 2021-07-06 엘지전자 주식회사 냉장고
KR102331081B1 (ko) * 2017-05-17 2021-11-25 삼성전자주식회사 냉장고 및 그 제어 방법
US11768030B2 (en) * 2017-08-10 2023-09-26 Cooler Screens Inc. Smart movable closure system for cooling cabinet
US11698219B2 (en) 2017-08-10 2023-07-11 Cooler Screens Inc. Smart movable closure system for cooling cabinet
US11763252B2 (en) 2017-08-10 2023-09-19 Cooler Screens Inc. Intelligent marketing and advertising platform
US10769666B2 (en) * 2017-08-10 2020-09-08 Cooler Screens Inc. Intelligent marketing and advertising platform
US10672032B2 (en) * 2017-08-10 2020-06-02 Cooler Screens Inc. Intelligent marketing and advertising platform
CN109688296A (zh) * 2017-10-18 2019-04-26 富泰华工业（深圳）有限公司 摄像机构及具有该摄像机构的冰箱
CN109683435A (zh) * 2017-10-18 2019-04-26 富泰华工业（深圳）有限公司 摄像头防雾装置及具有该摄像头防雾装置的冰箱
KR102619663B1 (ko) 2018-04-13 2023-12-29 삼성전자주식회사 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법
US11219309B2 (en) * 2018-10-31 2022-01-11 Compal Electronics, Inc. Smart liquor cabinet and management method for liquor cabinet
KR20200051283A (ko) * 2018-11-05 2020-05-13 삼성전자주식회사 식품 관리 시스템, 서버 장치 및 냉장고
US11386621B2 (en) * 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance
CN111692806A (zh) * 2019-03-13 2020-09-22 青岛海尔电冰箱有限公司 冰箱门体及具有该门体的冰箱
KR20210134092A (ko) * 2019-03-29 2021-11-09 엘지전자 주식회사 냉장고 및 냉장고의 물품 관리 방법
KR20210137592A (ko) 2019-04-10 2021-11-18 엘지전자 주식회사 냉장고 및 냉장고의 물품 관리 방법
KR20220002756A (ko) * 2019-05-22 2022-01-07 엘지전자 주식회사 사용자 맞춤형 식품 정보 제공 방법 및 장치
US11741424B2 (en) * 2019-06-10 2023-08-29 Lg Electronics Inc. Artificial intelligent refrigerator and method of storing food thereof
DE102019209062A1 (de) 2019-06-24 2020-12-24 BSH Hausgeräte GmbH Trainieren eines Intelligenten Hausgeräts
KR20190084913A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 냉장고 및 냉장고의 동작 방법
KR102168062B1 (ko) * 2019-07-10 2020-10-20 이현지 냉장고용 탈취장치
WO2021014209A1 (en) * 2019-07-21 2021-01-28 Trax Technology Solutions Pte Ltd. Electronic visual displays in retail stores
KR20210066195A (ko) * 2019-11-28 2021-06-07 엘지전자 주식회사 복수 개의 저장실 갖는 모듈을 포함하는 냉장고
US11852404B2 (en) * 2019-12-13 2023-12-26 Viking Range, Llc Refrigeration appliance system including object identification
WO2021150406A1 (en) * 2019-12-17 2021-07-29 Cooler Screens Inc. Smart movable closure system for cooling cabinet
KR20210088188A (ko) * 2020-01-06 2021-07-14 엘지전자 주식회사 냉장고 및 냉장고의 제어 방법
DE102020202932A1 (de) 2020-03-06 2021-09-09 BSH Hausgeräte GmbH Bevorratungsvorrichtung
KR20210128685A (ko) * 2020-04-17 2021-10-27 엘지전자 주식회사 냉장고 및 냉장고 도어
CN113465264A (zh) * 2020-04-26 2021-10-01 海信集团有限公司 一种智能冰箱及食材管理方法
CN111520969A (zh) * 2020-05-12 2020-08-11 珠海格力电器股份有限公司 一种冰箱及其智能识别方法
KR102338337B1 (ko) * 2020-08-10 2021-12-09 엘지전자 주식회사 냉장고 저장 물품 관리 방법 및 장치
JP7182139B2 (ja) * 2020-09-03 2022-12-02 パナソニックＩｐマネジメント株式会社 食品検出装置、及び食品管理システム
US20220136766A1 (en) * 2020-11-04 2022-05-05 Scott C Harris Smart Refrigerator
KR20220100408A (ko) * 2021-01-08 2022-07-15 삼성전자주식회사 냉장고 및 그 제어 방법
CN115371347B (zh) * 2021-05-18 2024-03-12 青岛海尔电冰箱有限公司 冰箱储物间室使用状态的检测方法、检测系统和冰箱
US11965691B2 (en) * 2022-01-06 2024-04-23 Haier Us Appliance Solutions, Inc. Refrigerator appliance with smart drawers
US11800068B1 (en) 2022-04-07 2023-10-24 Haier Us Appliance Solutions, Inc. Refrigerator camera modules and methods for conserving energy at the same
WO2023243737A1 (ko) * 2022-06-13 2023-12-21 엘지전자 주식회사 냉장고 및 냉장고 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161871A1 (en) * 2013-12-06 2015-06-11 Samsung Electronics Co., Ltd. Method for providing health service and refrigerator therefor
CN105222519A (zh) * 2013-04-23 2016-01-06 Lg电子株式会社 冰箱及其控制方法
CN106595214A (zh) * 2016-10-12 2017-04-26 陈小平 一种智能冰箱及智能冰箱的人机交互方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003004367A (ja) 2001-06-21 2003-01-08 Nisshin Seifun Group Inc 冷蔵庫用食品賞味期限管理装置
KR20070078939A (ko) 2006-01-31 2007-08-03 박성미 주방 관리 장치 및 이를 이용한 식품 관리 방법
KR101317600B1 (ko) 2006-12-15 2013-10-18 엘지전자 주식회사 냉장고
KR20110007663A (ko) 2009-07-17 2011-01-25 (주)브이아이지 리더기를 이용한 엘시디에 의한 냉장고 내용물 확인 장치
KR102145607B1 (ko) * 2013-06-28 2020-08-18 엘지전자 주식회사 전기제품
US20150002660A1 (en) 2013-06-28 2015-01-01 Lg Electronics Inc. Electric product
KR20160000931A (ko) 2014-06-25 2016-01-06 (주)한국크레딕라이프 냉장고에 보관되는 식품을 사물인터넷(IoT)을 통해 관리하는 시스템 및 이에 관한 냉장고
US9734426B2 (en) 2014-09-03 2017-08-15 Sri International Automated food recognition and nutritional estimation with a personal mobile electronic device
US10956856B2 (en) * 2015-01-23 2021-03-23 Samsung Electronics Co., Ltd. Object recognition for a storage structure
KR102223627B1 (ko) 2015-09-03 2021-03-05 삼성전자주식회사 냉장고
KR101662087B1 (ko) * 2015-10-28 2016-10-04 엘지전자 주식회사 냉장고 및 그 제어 방법
JP2017133803A (ja) * 2016-01-29 2017-08-03 青島海爾股▲フン▼有限公司 表示装置を備えた冷蔵庫及び表示装置の表示方法
CN106885447A (zh) * 2017-03-23 2017-06-23 辽宁科技学院 一种冰箱的食材管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105222519A (zh) * 2013-04-23 2016-01-06 Lg电子株式会社 冰箱及其控制方法
US20160153701A1 (en) * 2013-04-23 2016-06-02 Lg Electronics Inc. Refrigerator And Control Method For The Same
US20150161871A1 (en) * 2013-12-06 2015-06-11 Samsung Electronics Co., Ltd. Method for providing health service and refrigerator therefor
CN106595214A (zh) * 2016-10-12 2017-04-26 陈小平 一种智能冰箱及智能冰箱的人机交互方法

Also Published As

Publication number Publication date
EP3577401A4 (en) 2020-02-05
KR102327848B1 (ko) 2021-11-18
WO2018212493A1 (en) 2018-11-22
US10724792B2 (en) 2020-07-28
KR20180126859A (ko) 2018-11-28
US20180335252A1 (en) 2018-11-22
CN110637204A (zh) 2019-12-31
EP3577401A1 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
CN110637204B (zh) 冰箱及其食物管理的方法
US11353259B2 (en) Augmented-reality refrigerator and method of controlling thereof
US11521391B2 (en) Refrigerator, server and method of controlling thereof
US11112164B2 (en) Refrigerator
US11732961B2 (en) Augmented-reality refrigerator and method of controlling thereof
KR102637119B1 (ko) 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
US11954626B2 (en) Refrigerator and method for displaying user interface on refrigerator, user terminal, and method for performing function in user terminal
KR20180080112A (ko) 냉장고 및 이의 정보 표시 방법
EP2696314A1 (en) Mobile terminal and control method thereof
EP3852038B1 (en) Food management system, server apparatus, and refrigerator
US11215392B2 (en) Refrigerator
US20180173487A1 (en) Inventory management system
KR20220141182A (ko) 냉장고 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant