CN112313684A - 冰箱、服务器及其控制方法 - Google Patents

冰箱、服务器及其控制方法 Download PDF

Info

Publication number
CN112313684A
CN112313684A CN201980040258.5A CN201980040258A CN112313684A CN 112313684 A CN112313684 A CN 112313684A CN 201980040258 A CN201980040258 A CN 201980040258A CN 112313684 A CN112313684 A CN 112313684A
Authority
CN
China
Prior art keywords
refrigerator
image
food
interior image
refrigerator interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980040258.5A
Other languages
English (en)
Inventor
金兑勋
V.波罗克宏斯基
O.巴耶夫
M.克莱门科
Y.瓦欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112313684A publication Critical patent/CN112313684A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Public Health (AREA)
  • Human Resources & Organizations (AREA)
  • Nutrition Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

一种服务器，包括存储指令的存储器和处理器，所述处理器被配置为执行所述指令以通过将预存的图像与获得的冰箱内部图像进行比较来获得在冰箱中拍摄的冰箱内部图像，识别在获得的冰箱内部图像中发生变化的变化区域是否存在于获得的冰箱内部图像中，基于变化区域不存在于获得的冰箱内部图像中，使用识别预存图像的第一结果，获得第一食品存储信息，基于变化区域存在于所获得的冰箱内部图像中，使用所获得的第一食品存储信息和识别包含在所获得的冰箱内部图像中的对象的第二结果来获得第二食品存储信息，并且向冰箱发送所获得的冰箱内部图像以及所获得的第一食品存储信息和所获得的第二食品存储信息中的一者或两者。

Description

冰箱、服务器及其控制方法
技术领域
本公开涉及冰箱、服务器以及通过使用冰箱和服务器识别存储在冰箱中的食品的方法。
背景技术
冰箱是一种用于储存冷藏或冷冻食品的电子设备(或家用电器)。冰箱不仅可以储存食品，还可以储存药品、酒类或化妆品。
技术的进步使得能够使用显示器来显示冰箱的操作模式。此外，冰箱在显示器上显示用户界面，从而显示信息或接收用户输入。此外，最近的冰箱可以包括可连接到外部设备(例如，接入互联网的服务器)的通信接口。
如此，冰箱已经通过显示器和通信接口向用户提供了各种服务。
以上信息仅作为背景信息提供，以帮助理解本公开。关于上述任何一项是否可以作为本公开的现有技术来应用，还没有做出确定，也没有做出断言。
发明内容
技术问题
提供了一种冰箱、服务器及其控制方法。
技术解决方案
附加方面将部分地在以下描述中阐述，且通过描述将部分地变得清楚明白，或者可以通过所呈现的实施例的实践来获知。
根据本公开的一个方面，服务器包括存储一个或多个指令的存储器和至少一个被配置为执行所述指令以获得在冰箱中拍摄的至少一张冰箱内部图像的处理器，通过将预存图像与获得的至少一张冰箱内部图像进行比较，识别在所获得的至少一张冰箱内部图像中是否存在在其中在获得的至少一张冰箱内部图像中发生变化的变化区域，基于变化区域不存在于所获得的至少一张冰箱内部图像中，使用识别预存图像的第一结果来获得第一食品存储信息，基于变化区域存在于所获得的至少一张冰箱内部图像中，使用所获得的第一食品存储信息和识别包含在所获得的至少一张冰箱内部图像中的对象的第二结果来获得第二食品存储信息，并且向冰箱发送所获得的至少一张冰箱内部图像以及所获得的第一食品储存信息和所获得的第二食品储存信息中的一者或两者。
所述至少一个处理器还被配置为基于包含在预存图像中的每个第一像素的第一值和包含在获得的至少一张冰箱内部图像中的每个第二像素的第二值之间的差值，识别获得的至少一张冰箱内部图像中是否存在变化区域。
所述至少一个处理器还被配置为对所获得的至少一张冰箱内部图像应用校正所获得的至少一张冰箱内部图像的模糊的第一图像校正处理和增加所获得的至少一张冰箱内部图像的清晰度的第二图像校正处理中的任一者或两者，并且识别所述变化区域是否存在于应用了第一图像校正处理和所述第二图像校正处理中的任一者或两者的所获得的至少一张冰箱内部图像中。
所述至少一个处理器还被配置为利用食品变化感测模型来识别所获得的至少一张冰箱内部图像中的变化区域，并且其中所述食品变化感测模型是将第一图像、与第一图像相同但还包括具有变化的部分区域的第二图像和具有变化的位置信息作为学习数据进行训练的数据识别模型。
所述至少一个处理器还被配置为将所获得的至少一张冰箱内部图像改变为强调所获得的至少一张冰箱内部图像的边缘分量的新图像，并且基于所获得的至少一张冰箱内部图像被改变为新图像，基于基于边缘分量识别的对象的形状来识别包含在新图像中的对象。
所述至少一个处理器还被配置为基于变化区域存在于所获得的至少一张冰箱内部图像中，在所述变化区域中识别包含在所获得的至少一张冰箱内部图像中的对象。
所述至少一个处理器还被配置为利用食品识别模型来识别包含在所获得的至少一张冰箱内部图像中的第一类食品，其中所述食品识别模型是将包含食品、食品所属的食品类别以及食品在食品图像中所处位置的信息的食品图像作为第一学习数据进行训练的第一数据识别模型。
所述至少一个处理器还被配置为，基于对象被识别为加工食品，利用加工食品识别模型来识别包含在所获得的至少一张冰箱内部图像中的第二类加工食品，其中，所述加工食品识别模型是将相同加工食品的多张图像、相同加工食品的加工食品类别和相同加工食品的品牌名称作为第二学习数据进行训练的第二数据识别模型。
所获得的至少一张冰箱内部图像包括第一冰箱内部图像和第二冰箱内部图像，并且其中所述至少一个处理器还被配置为获得识别包含在第二冰箱内部图像中但在第一冰箱内部图像中未被识别的另一对象的第三结果。
根据本公开的一个方面，冰箱包括被配置为拍摄存储食品的储藏室的照相机、通信接口、处理器；以及存储一个或多个指令的存储器，所述指令使处理器基于预定事件的发生来控制照相机拍摄冰箱内部图像，并且控制通信接口将拍摄的冰箱内部图像发送到服务器，并且从服务器接收与发送的冰箱内部图像相对应的第一食品存储信息和第二食品存储信息中的一者或两者。
冰箱可以进一步包括显示器，并且所述一个或多个指令进一步使处理器控制显示器显示拍摄的冰箱内部图像，基于选择包含在显示器上显示的冰箱内部图像中的食品的第一用户输入，控制显示器显示所选择的食品所属的至少一个候选类别，并且基于选择所显示的至少一个候选类别中的一个的第二用户输入，将所选择的候选类别当中的一个识别为食品的类别。
冰箱可以进一步包括显示器，并且所述一个或多个指令还可以使处理器控制显示器显示食谱提供执行对象，基于选择显示器上显示的食谱提供执行对象的用户输入，控制通信接口将包含在拍摄的冰箱内部图像中的食品的类别发送到服务器，并且接收由服务器使用发送的种类获得的食谱，并且控制显示器显示接收到的食谱。
冰箱可以进一步包括显示器，并且所述一个或多个指令还使处理器控制显示器显示食品购买网站链接执行对象，基于选择显示在显示器上的食品购买网站链接执行对象的用户输入，控制所述通信接口访问销售与之前包含在拍摄的冰箱内部图像中但当前不包含在拍摄的冰箱内部图像中的食品相对应的食品类别的食品购买网站，并且控制显示器显示被访问的食品购买网站。
冰箱可以进一步包括显示器，并且所述指令还可以使处理器控制显示器显示健康信息显示执行对象，并且基于选择显示器上显示的健康信息显示执行对象的用户输入，使用先前包含在拍摄的冰箱内部图像中但当前不包含在拍摄的冰箱内部图像中的食品的卡路里来控制显示器显示用户的健康信息。
根据本公开的一个方面，冰箱包括被配置为拍摄存储食品的储藏室的照相机、通信接口、处理器和存储一个或多个指令的存储器，所述指令使处理器基于预定事件的发生来控制照相机拍摄冰箱内部图像，识别在拍摄的冰箱内部图像中是否存在在其中在拍摄的冰箱内部图像中发生变化的变化区域，通过比较预存图像与拍摄的冰箱内部图像，基于变化区域不存在于拍摄的冰箱内部图像中，使用识别预存图像的第一结果获得第一食品存储信息，并且基于变化区域存在于拍摄的冰箱内部图像中，控制通信接口将拍摄的冰箱内部图像发送到服务器，并且从所述服务器接收由所述服务器使用所述第一食品存储信息和识别包含在所发送的冰箱内部图像中的对象的第二结果而获得的第二食品存储信息。
所述一个或多个指令使处理器基于包含在预存图像中的每个第一像素的第一值和包含在拍摄的冰箱内部图像中的每个第二像素的第二值之间的差值来识别变化区域是否存在于拍摄的冰箱内部图像中。
所述一个或多个指令使所述处理器对所拍摄的冰箱内部图像应用校正所拍摄的冰箱内部图像的模糊的第一图像校正处理和增加所拍摄的冰箱内部图像的清晰度的第二图像校正处理中的任一者或两者，并且识别变化区域是否存在于应用了第一图像校正处理和所述第二图像校正处理中的任一者或两者的所拍摄的冰箱内部图像中。
所述一个或多个指令使处理器利用食品变化感测模型来识别所拍摄的冰箱内部图像中的变化区域，并且其中所述食品变化感测模型是将第一图像、与第一图像相同但还包含变化的部分区域以及变化的位置信息的第二图像作为学习数据进行训练的数据识别模型。
根据本公开的一个方面，用于控制服务器的方法，所述方法包括获取在冰箱中拍摄的至少一张冰箱内部图像，通过比较预存图像和获取的至少一张冰箱内部图像，确定在获取的至少一张冰箱内部图像中是否存在在其中在获取的至少一张冰箱内部图像中发生变化的变化区域，基于变化区域被确定为不存在于所获取的至少一张冰箱内部图像中，使用识别预存图像的第一结果来获取第一食品存储信息，基于变化区域被确定为存在于所获取的至少一张冰箱内部图像中，使用所获取的第一食品存储信息和识别包含在所获取的至少一张冰箱内部图像中的对象的第二结果来获取第二食品存储信息，以及将所获取的至少一张冰箱内部图像以及所获取的第一食品存储信息和所获取的第二食品存储信息中的一者或两者发送到冰箱。
所述方法可以进一步包括将预存图像和所获取的至少一张冰箱内部图像应用于被设置为识别所获取的至少一张冰箱内部图像中的变化区域的食品变化感测模型，并且所述食品变化感测模型可以是将第一图像、与第一图像相同但还包含变化的部分区域和变化的位置信息的第二图像作为学习数据进行训练的数据识别模型。
所述方法可以进一步包括将所获取的至少一张冰箱内部图像应用于被设置为识别包含在所获取的至少一张冰箱内部图像中的第一类食品的食品识别模型，并且所述食品识别模型可以是将包括食品、食品所属的食品类别以及食品在食品图像中所处位置的信息的食品图像作为第一学习数据进行训练的第一数据识别模型。
所述方法可以进一步包括，基于对象被识别为加工食品，将所获取的至少一张冰箱内部图像应用于被设置为识别包含在所获取的至少一张冰箱内部图像中的第二类加工食品的加工食品识别模型，并且所述加工食品识别模型可以是将相同加工食品的多张图像、相同加工食品的加工食品类别和相同加工食品的品牌名称作为第二学习数据来训练的第二数据识别模型。
根据本公开的一个方面，非暂时性计算机可读介质被配置为存储一个或多个包括指令的计算机程序，当由电子设备的处理器执行时，所述指令使得电子设备获取在冰箱中拍摄的至少一张冰箱内部图像，通过将预存图像和获取的至少一张冰箱内部图像进行比较，确定在所获取的至少一张冰箱内部图像中是否存在在其中在所获取的至少一张冰箱内部图像中发生变化的变化区域，基于变化区域被确定为不存在于获取的至少一张冰箱内部图像中，使用识别预存图像的第一结果来获取第一食品存储信息，基于变化区域被确定为存在于获取的至少一张冰箱内部图像中，使用所获取的第一食品储存信息和识别包含在所获取的至少一张冰箱内部图像中的对象的第二结果来获取第二食品存储信息，并且向冰箱发送所获取的至少一张冰箱内部图像以及所获取的第一食品储存信息和所获取的第二食品储存信息中的一者或两者。
根据本公开的一个方面，冰箱包括第一照相机、第二照相机、第一储藏室、第二储藏室、通信接口、处理器和被配置为存储一个或多个指令的存储器，所述指令使处理器控制第一照相机拍摄第一储藏室的第一冰箱内部图像，控制第二照相机拍摄第二储藏室的第二冰箱内部图像，通过将预存图像与所拍摄的第一冰箱内部图像和所拍摄的第二冰箱内部图像中的相应一个进行比较，确定所拍摄的第一冰箱内部图像和所拍摄的第二冰箱内部图像中的每一个的区域是否改变，基于区域被确定为在所拍摄的第一冰箱内部图像中没有改变，使用识别预存图像的第一结果来获取第一食品存储信息，并且基于区域被确定为在所拍摄的第二冰箱内部图像中发生改变，控制通信接口将所拍摄的第二冰箱内部图像发送到服务器，并且从服务器接收由服务器使用第一食品存储信息和识别包含在所发送的第二冰箱内部图像中的对象的第二结果获取的第二食品存储信息。
所述一个或多个指令可以进一步使处理器，以基于区域在拍摄的第二冰箱内部图像中被确定为不改变，获取第一食品存储信息，并且基于区域在拍摄的第一冰箱内部图像中被确定为发生改变，控制通信接口将拍摄的第一冰箱内部图像发送到服务器，并且从服务器接收由服务器使用第一食品存储信息和识别包含在所发送的第一冰箱内部图像中的另一对象的第三结果获取的第三食品存储信息。
附图说明
通过以下结合附图进行的描述中，本公开的上述和其他方面以及某些实施例的优点将更加明显，其中：
图1a和1b是根据实施例提供的用于解释食品识别方法的示意图；
图2a和2b是根据一个实施例的冰箱和服务器的简要配置的框图；
图3是根据一个实施例的处理器的框图；
图4a和4b是示出根据实施例的在食品识别方法中使用多个照相机的情况的示意图；
图5a、5b和5c是示出根据实施例的使用食品识别方法的结果来确定食品类别的情况的示意图；
图6a和6b是示出根据实施例的使用食品识别方法的结果获取食谱的情况的示意图；
图7a和7b是示出根据实施例的使用食品识别方法的结果购买商品的情况的示意图；
图8a和8b是示出根据实施例的使用食品识别方法的结果来提供健康信息的情况的示意图；
图9a、9b和9c是示出根据实施例的食品识别方法的示意图；
图10是根据一个实施例的执行食品识别方法的过程的流程图；
图11是根据实施例的执行食品识别方法的过程的流程图；
图12是简要示出根据一个实施例的具有照相机和显示器的冰箱的透视图；
图13是简要示出根据一个实施例的所有门都打开的冰箱的正视图；和
图14是简要示出根据一个实施例的冰箱的示意图。
具体实施方式
在下文中，将参考附图描述本公开的实施例。然而，可以理解，本公开不限于下文描述的实施例，而是包括本公开的实施例的各种修改、等同形式和/或替代形式。关于附图的解释，相似的附图标记可以用于相似的组成元件。
在说明书中，术语“具有”、“可以具有”、“包括”或“可以包括”表示相应特征(例如，数值、函数、操作或诸如组件的组成元素)的存在，但是不排除附加特征的存在。
在说明书中，术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”可包括一起列举的项目的所有可能组合。例如，术语“A或B”或“A或/和B中的至少一个”可以表示(1)至少一个A，(2)至少一个B，或(3)同时包括至少一个A和至少一个B。
在说明书中，术语“第一、第二”等用于与其顺序和/或重要性无关地描述不同的元件，并且用于将一个元件与其他元件区分开，而不限于相应的元件。例如，第一用户设备和第二用户设备可以指示不同的用户设备，而与它们的顺序或重要性无关。例如，在不脱离本文所描述的范围的情况下，第一元件可以被称为第二元件，或者类似地，第二元件可以被称为第一元件。
诸如“模块”、“单元”、“部分”等术语用于指代执行至少一个功能或操作的元件，并且这样的元件可以被实现为硬件或软件，或者硬件和软件的组合。此外，除了当多个“模块”、“单元”、“部分”等中的每一个需要在单独的硬件中实现时，组件可以被集成在至少一个模块或芯片中，以及被实现在至少一个处理器中。
如果描述了一个元件(例如，第一元件)与另一元件(例如，第二元件)“可操作地或通信地耦合”/“可操作地或通信地耦合到”另一元件(例如，第二元件)或“连接到”另一元件(例如，第二元件)，则可理解，该元件可直接地或通过另一元件(例如，第三元件)被连接到所述另一元件。当提及一个元件(例如，第一元件)与另一元件(例如，第二元件)“直接耦合”或“直接连接到”另一元件(例如，第二元件)时，可理解为在该元件与所述另一元件之间不存在元件(例如，第三元件)。
说明书中使用的术语用于描述一个实施例，但可不旨在限制其他实施例的范围。除非另有特别定义，否则单数表达可涵盖复数表达。说明书中使用的所有术语(包括技术和科学术语)都可被用作本公开所属技术领域的普通技术人员通常理解的含义。在本公开中使用的并且在通用词典中定义的术语可被用作为与来自相关技术的上下文中的术语的含义相同或相似的含义，并且除非它们已经被清楚地和特别地定义，否则它们不被理想地或过度地解释。根据情况，甚至在本公开的实施例中定义的术语也可不被解释为排除本公开的实施例。
使用包括在冰箱中的显示器的方法之一可以是在显示器上显示存储在冰箱中的食品。例如，冰箱可以在显示器上显示使用捕捉冰箱储藏室的照相机所获取的图像，识别图像中包含的食品，并将食品的名称等与图像一起显示在显示器上。
照相机可以拍摄储藏室以识别通过拍摄储藏室而生成的图像中包括的食品，因此每次生成冰箱内部图像时都执行食品识别，这是不方便的。此外，可能会出现无法准确识别在冰箱中重叠放置的食品的情况。
因此，需要一种保持食品识别的效率并识别在冰箱中被重叠放置的食品的方法。
图1a和1b是根据实施例提供的用于解释食品识别方法的示意图。
在图1a和1b中，食品识别方法可以在包括一个或多个服务器的服务器(或云)20中被执行，或者可以在冰箱10中被执行。
根据实施例，冰箱10和服务器20可以通过使用有线或无线通信方法来建立通信网络。冰箱10和服务器20可以包括无线通信接口(例如，蜂窝通信模块、近场无线通信模块或全球导航卫星系(global navigation satellite system，GNSS)统通信模块)或有线通信接口(例如，局域网(local area network，LAN)通信模块、或电力线通信模块)，并且可以通过使用相应的通信接口，通过第一网络(例如，诸如蓝牙、Wi-Fi直接或红外数据协会(infrared data association，IrDA)的近场通信网络)或第二网络(例如，诸如蜂窝网络、互联网或计算机网络(例如，LAN或WAN)的远场通信网络)进行通信。
根据一个实施例，冰箱10可以是家用电器，其包括用于储存食品的储藏室，以及用于向储藏室供应冷却空气的冷却空气供应设备，并且能够保持食品新鲜。冰箱10可以进一步包括照相机。根据一个实施例，冰箱10可以通过使用照相机拍摄存储在储藏室中的食品并获取图像。
根据一个实施例，服务器20可以包括多个服务器，包括第一服务器、第二服务器和第三服务器。例如，第一服务器可以比较多张图像并识别变化区域。第二服务器可以例如识别图像中的食品。第三服务器可以例如识别加工食品。
根据实施例，服务器20可以进一步包括用于存储多张图像的存储服务器。
在下文中，假设在服务器20中执行食品识别方法。
在考图1a中，服务器20可以处于预存待比较图像120的状态。在图1a中，冰箱10可以获取冰箱内部图像110。
根据一个实施例，冰箱内部图像110可以是使用冰箱10中包含的照相机获取的图像。例如，冰箱内部图像110可以是通过使用冰箱中包含的照相机捕捉冰箱内的储藏室而生成的图像。
根据一个实施例，待比较图像120可以是通过在服务器20中接收来自冰箱10的冰箱内部图像并检测冰箱内部图像中包含的对象而被识别的图像。也就是说，待比较图像120可以是在图1a的冰箱内部图像110被获取之前由冰箱10中的照像机获取的、传输到服务器20、并由服务器20识别和存储的图像。
根据一个实施例，当感测到事件的发生时，冰箱10可以获取至少一张冰箱内部图像。例如，当门被打开然后被关闭的事件发生时，冰箱10可以获取至少一张冰箱内部图像。然而，该示例不限于此。例如，冰箱10可以根据预定周期拍摄至少一张冰箱内部图像，或者可以感测到有人位于冰箱10的前面并拍摄至少一张冰箱内部图像。
根据一个实施例，冰箱10可以将获取的至少一张冰箱内部图像110传输到服务器20。
服务器20可以通过将预存的待比较图像120与冰箱内部图像110进行对比来识别已经发生变化的变化区域。例如，服务器20可以将待比较图像120和冰箱内部图像110改变为强调边缘分量的图像，然后基于边缘分量比较所获取的对象形状并识别变化区域。
根据一个实施例，服务器20可以通过使用像素差值来识别变化区域。例如，服务器20可以计算待比较图像120中包括的红色像素值(R)、绿色像素值(G)和蓝色像素值(B)与冰箱内部图像110的R、G和B值之间的相应差异，并识别变化区域。
根据一个实施例，服务器20可以通过使用人工智能算法来识别变化区域。例如，服务器20可以将至少一张冰箱内部图像110应用于将图像、与该图像相同但是至少包括一些具有变化的部分的图像、以及变化位置的信息作为学习数据进行训练的食品变化感测模型，并且将应用到至少一张冰箱内部图像110的食品变化感测模型与待比较图像120进行比较。由此，服务器20可以识别冰箱内部图像110中的变化区域。
参考图1a，在识别时，当冰箱内部图像中不存在变化区域时，服务器20可以将识别待比较的预存图像而得的结果的第一食品存储信息和冰箱内部图像110发送到冰箱。第一食品存储信息可以是例如使用感测待比较图像120中的对象而得的结果生成的信息。此外，第一食品存储信息可以包括例如在待比较图像120中感测到的食品的位置信息、食品所属的食品类别的信息、加工食品所属的加工食品类别的信息以及加工食品的品牌名称中的任何一个或任意组合。
参考图1a，服务器20可能没有获取到通过将冰箱内部图像110与待比较图像120进行比较得出的发生了变化的变化区域。相应地，服务器20可以获取第一食品存储信息以作为要发送到冰箱10的信息。例如，服务器20可以将葡萄作为食品类别信息和关于葡萄122在待比较图像120中的位置信息作为第一食品存储信息传输给冰箱10。此外，服务器20可以将从冰箱10接收的冰箱内部图像110发送到冰箱10。
根据实施例，服务器20可以对从冰箱10接收的冰箱内部图像110执行图像校正处理，然后向冰箱10发送对其执行图像校正处理的冰箱内部图像110。服务器20可以执行图像处理，以校正当照相机执行捕捉时发生的模糊。例如，服务器20可以通过使用前一图像和当前图像之间的交叉校正算法来校正模糊。
根据实施例，服务器20可以对冰箱内部图像110应用图像处理，以提高由于凝结等而发生的不透明图像的清晰度。
通过执行图像处理，服务器可以从冰箱内部图像110中高精度地检测出对象。冰箱10可以始终或选择性地接收由服务器20校正后的冰箱内部图像110，并将接收到的冰箱内部图像显示在显示器11上。
根据一个实施例，服务器20可以通过使用人工智能模型来校正冰箱内部图像。例如，服务器20可以通过将至少一张冰箱内部图像110应用于将图像、将冷凝效果添加到该图像的图像、以及仅表达冷凝效果的图像作为学习数据进行训练的食品变化感测模型来获取消除了冷凝的图像。
根据一个实施例，冰箱10可以在显示器11上显示从服务器接收的冰箱内部图像110和第一食品存储信息。
在图1b中，服务器20可以处于预存待比较图像140的状态。在图1b中，冰箱10可以获取冰箱内部图像130。
如参考图1a，当事件(例如，门打开然后关闭的事件)发生时，冰箱10可以获取至少一个冰箱内部图像130。
根据一个实施例，冰箱10可以将至少一张冰箱内部图像130发送到服务器20。服务器20可以通过将预存的待比较图像140与冰箱内部图像130进行对比来识别其中发生了变化的变化区域。
例如，服务器20可以使用参考图1a描述的变化区域识别方法将冰箱内部图像130与待比较图像140进行比较，并且感测到对象134被添加到冰箱内部图像130，并识别出变化区域132。
根据一个实施例，作为识别的结果，当变化区域存在于冰箱内部图像中时，服务器20可以将使用识别冰箱内部图像130中包含的对象的结果和第一食品存储信息而获取的第二食品存储信息以及冰箱内部图像130发送到冰箱。
根据一个实施例，服务器20可以将待比较图像140和冰箱内部图像130改变为强调边缘分量的图像，然后基于边缘分量找到所获取的对象的形状，并将对象的形状与存储在服务器20中的数据进行比较，并识别该对象所属的食品类别。食品类别可以是例如能够代表相似食品的名称。
根据一个实施例，当对象被识别为加工食品时，服务器20可以通过使用另外存储在服务器20中的另外的加工食品数据来识别加工食品所属的加工食品的类别和/或加工食品的品牌名称。
根据一个实施例，服务器20可以通过使用人工智能算法来感测对象，并且识别感测到的对象所属的食品类别。例如，服务器20可以通过将冰箱内部图像130应用于将存在食品的图像、食品所属的食品类别以及关于食品在图像中所处位置的信息作为学习数据来训练的食品识别模型来感测对象，并且可以识别对象所属的食品类别。
根据一个实施例，作为通过使用食品识别模型来识别对象的结果，当对象被识别为加工食品时，服务器20可以通过使用加工食品识别模型来识别对象所属的加工食品的类别和/或加工食品的品牌名称。例如，服务器20可以通过用基于相同加工食品的多张图像的图像相似性、加工食品的类别和加工食品的品牌名称作为学习数据来训练的加工食品识别模型来识别在冰箱内部图像130中检测到的加工食品的类别和/或加工食品数据库中加工食品的品牌名称。加工食品数据库可以是例如使用各种加工食品的图像存储加工食品的类别和加工食品的品牌名称的数据库。
参考图1b，服务器20可以感测并识别添加到冰箱内部图像130的对象134。例如，服务器20可以感测并识别咖啡饮料作为添加到冰箱内部图像130的对象134的类别信息。此外，服务器20可以获取关于冰箱内部图像130中咖啡饮料134所在位置的信息。
根据实施例，当感测冰箱内部图像中的对象时，服务器20可以仅感测变化区域中的对象。例如，服务器20可以仅感测和识别变化区域132中的对象。由于这个原因，与感测和识别冰箱内部图像130的整个区域的对象相比，服务器20可以减少数据处理负荷。
如上所述，服务器20可以识别冰箱内部图像中的对象，并且通过使用第一食品存储信息来进一步获取第二食品存储信息。
根据一个实施例，服务器20可以识别冰箱内部图像130中被咖啡饮料134覆盖的对象142的存在。服务器20可以获取在第一食品存储信息中感测到的对象的信息和各个对象的位置信息。例如，服务器20可以在待比较图像140中放置对象142的地方识别葡萄的存在。
如上所述，服务器20可以通过使用在冰箱内部图像130中检测到新对象的结果(例如，添加咖啡饮料的信息)和从第一食品存储信息获取的信息(例如，在放置咖啡饮料的地方存在葡萄的信息)来获取第二食品存储信息。服务器20可以将获取的第二食品存储信息和冰箱内部图像130发送到冰箱10。
根据一个实施例，冰箱10可以在显示器11上显示从服务器接收的冰箱内部图像130和第二食品存储信息。
根据实施例，冰箱10可以包括多个照相机。例如，冰箱10可以包括用于拍摄第一储藏室的第一照相机，以及用于拍摄第二储藏室的第二照相机。然而，该示例不限于此。例如，冰箱10可以包括与冰箱10中包括的储藏室的数量相对应的照相机的数量。
冰箱10可以通过使用第一照相机和第二照相机来获取第一冰箱内部图像和第二冰箱内部图像。冰箱10可以将第一冰箱内部图像和第二冰箱内部图像发送到服务器20。服务器20可以通过使用参考图1a和1b描述的过程来为第一冰箱内部图像和第二冰箱内部图像识别变化区域。
例如，在变化区域不存在于第一冰箱内部图像中的情况下，相对于第一储藏室，服务器20可以向冰箱发送1-1食品存储信息(例如，使用包含在第一待比较图像中的对象获取的信息)和第一冰箱内部图像。另外，在变化区域存在于第二冰箱内部图像中的情况下，相对于第二储藏室，服务器20可以向冰箱发送使用识别包含在第二冰箱内部图像中的对象中包含的对象的结果和1-2食品存储信息(例如，使用包含在第二待比较图像中的对象获取的信息)而获得的2-2食品存储信息和第二冰箱内部图像。
如此，根据一个实施例，食品识别方法可以根据将预存的待比较图像与新获取的冰箱内部图像进行比较的识别结果，使用预先存储的数据，或者可以同时使用从新获取的冰箱内部图像和预先存储的数据获取的数据。由此，可以提高对冰箱内部图像中包含的对象的识别率，并降低服务器20的负荷。
图2a和2b是根据一个实施例的冰箱和服务器的简要配置的框图。
参考图2a，根据一个实施例，冰箱10可以包括处理器210、通信接口220、照相机230和存储器240。然而，实施例不限于任何特定的例子。例如，冰箱10可以包括另外的元件，或者可以不包括一些元件。
根据一个实施例，处理器210可以控制冰箱10的整体操作。例如，处理器210可以通过通信接口220接收用户输入。处理器210可以控制存储器240执行存储的程序，并调用或存储信息。
根据一个实施例，在预定事件发生的情况下，处理器210可以控制照相机230拍摄至少一张冰箱内部图像。处理器210可以将预存的待识别图像与冰箱内部图像进行对比，并识别发生变化的变化区域。在变化区域不存在于冰箱内部图像中的情况下，处理器210可以获取作为识别待比较图像的结果的第一食品存储信息。在变化区域存在于冰箱内部图像中的情况下，处理器210可以控制通信接口220将冰箱内部图像发送到服务器20，并且当接收冰箱内部图像的服务器20使用识别冰箱内部图像中的对象的结果和第一食品存储信息来获取第二食品存储信息时，从服务器20接收所获取的第二食品存储信息。
根据一个实施例，通信接口220可以由处理器210控制，以将冰箱10连接到外部设备。通信接口220可以包括实现诸如无线局域网、蓝牙、有线以太网等各种有线或无线通信方法的元件之一，以对应于冰箱10的性能和结构。
根据一个实施例，存储器240可以包括闪存类型、硬盘型、多媒体卡微型和卡型的存储器(例如，安全数字(Secure Digital，SD)存储器、XD存储器等)、随机存取存储器(Random Access Memory，RAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、只读存储器(Read-Only Memory，ROM)、电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、可编程只读存储器(ProgrammableRead-Only Memory，PROM)、磁存储器、磁盘和光盘中的至少一种类型的存储介质。
根据一个实施例，当预定事件发生时，存储器240可以控制照相机230拍摄至少一张冰箱内部图像，将预存的待比较图像与冰箱内部图像进行对比，并获取已经发生变化的变化区域，当变化区域不存在于该冰箱内部图像中时，获取第一食品存储信息，当变化区域存在于冰箱内部图像中时，控制通信接口220将冰箱内部图像发送到服务器20，并且在服务器20中存储设置为用于接收由服务器20使用从冰箱内部图像识别对象的结果和第一食品存储信息获取的食品存储信息的指令。
根据一个实施例，照相机230可以包含在冰箱10中，并且拍摄冰箱10的储藏室。然而，该示例不限于此。例如，照相机230可以拍摄冰箱10内的储藏室，以及冰箱10的外部。照相机230可以包括第一照相机、第二照相机或第三照相机。例如，第一照相机可以拍摄第一储藏室。第二摄像机可以拍摄第二储藏室，第三摄像机可以拍摄第三储藏室。
根据实施例，照相机230可以设置在冰箱10的门上。然而，实施例不限于任何特定的例子。
参考图2b，服务器20可以包括存储器250和处理器260。
根据一个实施例，处理器260可以获取在冰箱中拍摄的至少一张冰箱内部图像。例如，处理器260可以通过通信接口或模块从冰箱10接收至少一张冰箱内部图像。
根据一个实施例，处理器260可以将预存的待比较图像与冰箱内部图像进行对比，并识别发生变化的变化区域。
根据一个实施例，当变化区域不存在时，处理器260可以将作为识别预存的待比较图像的结果的第一食品存储信息和冰箱内部图像发送到冰箱。
根据一个实施例，当变化区域存在于冰箱内部图像中时，处理器260可以使用识别包含在冰箱内部图像中的对象的结果和第一食品存储信息来获取第二食品存储信息，并且处理器260可以将第二食品存储信息和冰箱内部图像发送到冰箱。
图3是根据一个实施例的包括在冰箱10或服务器20中的至少一个中的处理器的框图。
参考图3，根据实施例的处理器310可以包括数据学习部分320和数据识别部分330。处理器310可以包括图2a的处理器210，以及图2a的数据处理部分260。
根据一个实施例，数据学习部分320可以训练食品变化感测模型以建立用于识别图像中的变化区域的标准。数据学习部分320可以训练食品变化感测模型以建立关于哪个学习数据将被用于识别图像中的变化区域或者如何使用学习数据识别图像中的变化区域的标准。
根据一个实施例，数据学习部分320是用于学习的数据，其可以通过使用图像、与该图像相同但至少一些区域中包含变化的图像以及变化的位置信息来训练食品变化感测模型。
例如，用于学习的数据可以是具有牛奶和苹果的储藏室的图像、黄瓜被添加到储藏室的图像以及与添加黄瓜的位置相关的信息。
根据一个实施例，数据学习部分320可以训练食品变化感测模型以具有用于校正冰箱内部图像的标准。数据学习部分320可以训练食品变化感测模型以建立关于哪个学习数据将被用于校正图像或者如何使用学习数据校正图像的标准。
根据一个实施例，数据学习部分320是用于学习的数据，其可以通过使用图像、向该图像添加了凝结效果的图像、以及仅在其中表达了凝结效果的图像来训练食品变化感测模型。
根据一个实施例，数据识别部分330可以基于用于识别的各种类型的数据来识别图像中的变化区域。数据识别部分330可以将使用训练的食品变化感测模型输入的至少一张冰箱内部图像与待比较图像进行对比，并识别变化的区域。
根据一个实施例，数据识别部分330可以使用识别至少一张冰箱内部图像中的变化区域的结果和对识别结果的用户响应(或反馈)来更新将输入的至少一张冰箱内部图像和待比较图像作为食物变化传感模型的输入值的食品变化感测模型。因此，食品变化感测模型可以根据用户的倾向增加识别变化区域的概率。
例如，在包括橙子和苹果的待比较图像以及与该图像相同但接收了包含甜瓜的冰箱内部图像的输入的冰箱内部图像被输入的情况下，数据识别部分330可以从包含甜瓜的图像中识别添加了甜瓜的区域。
根据一个实施例，数据识别部分330可以基于用于识别的各种类型的数据来校正图像。数据识别部分330可以使用训练的食品变化感测模型来校正至少一张冰箱内部图像输入。
根据一个实施例，数据识别部分330可以使用校正至少一张冰箱内部图像的结果和对校正结果的用户响应(或反馈)来更新将输入的至少一张冰箱内部图像作为食品变化感测模型的输入值的食品变化感测模型。因此，食品变化感测模型可以根据用户的倾向来校正图像。
例如，在含有已经发生凝结的香蕉的图像被作为冰箱内部图像而输入的情况下，数据识别部分330可以通过消除凝结而将该图像校正为香蕉清晰可见的图像。
根据一个实施例，数据学习部分320可以训练食品变化感测模型，以建立用于检测和识别图像中的食品类别的标准。数据学习部分320可以训练食品识别模型以建立关于哪个学习数据将被用于检测和识别(recognize)(或识别(identify))图像中的食品类别或者如何使用学习数据检测和识别图像中的食品类别的标准。
根据一个实施例，数据学习部分320是用于学习的数据，其可以使用含有食品的图像、食品所属的食品类别以及食品在图像中所处位置的信息来训练食品识别模型。
例如，用于学习的数据可以是包含黄瓜和苹果的储藏室的图像，被称为“黄瓜”和“苹果”的食品类别(例如，黄瓜和苹果的名称)，以及图像中黄瓜和苹果的位置信息。
根据一个实施例，数据识别部分330可以基于用于识别的各种类型的数据来识别图像中包含的食品的类别。数据识别部分330可以基于使用训练的食品识别模型输入的图像，感测和识别(recognize)(或鉴定(identify))图像中包括的食品类别。
根据一个实施例，数据识别部分330可以使用识别图像中包括的食品类别的结果和对识别结果的用户响应来更新将输入图像作为食品识别模型的输入值的食品识别模型。因此，食品识别模型可以根据用户的倾向增加识别对象的概率。
例如，在输入包含橙子和苹果的图像的情况下，数据识别部分330可以感测并识别橙子和苹果，并从图像中获取食品类别“橙子”和“苹果”。
根据一个实施例，数据学习部分320可以训练加工食品识别模型，以建立用于在加工食品数据库中找到相同产品图像的标准。数据学习部分320可以训练加工食品识别模型，以建立关于哪个学习数据将用于搜索(或鉴定)图像中的加工食品或者如何使用学习数据搜索和识别图像中的食品的标准。
根据一个实施例，数据学习部分320是用于学习的数据，其可以使用加工食品的多张图像、加工食品的类别和加工食品的品牌名称来训练加工食品搜索模型。
例如，用于学习的数据可以是各种类型的牛奶图像，称为“牛奶”的加工食品类别，以及每种牛奶的品牌名称。
数据识别部分330可以基于用于识别的各种类型的数据来识别图像中包含的加工食品的类别。数据识别部分330可以基于使用训练的加工食品识别模型输入的图像，感测和识别(recognize)(或鉴定(identify))图像中包含的加工食品的类别。
根据一个实施例，数据识别部分330可以使用识别图像中包含的加工食品的类别的结果和对识别结果的用户响应来更新将输入图像作为加工食品识别模型的输入值的加工食品识别模型。因此，加工食品识别模型可以根据用户的倾向增加识别对象的概率。
例如，在输入包含牛奶的图像的情况下，数据识别部分330可以感测并识别牛奶，并从图像中获取食品类别“牛奶”和牛奶的品牌名称。
食品变化感测模型、食品识别模型和加工食品识别模型可以考虑到识别模型的应用领域、学习目的或设备的计算机性能被构建。食品变化感测模型、食品识别模型和加工食品识别模型可以是例如基于神经网络的模型。食品变化感测模型、食品识别模型和加工食品识别模型可以包括例如神经网络模型或从神经网络发展而来的深度学习模型。深度学习模型中的多个网络节点可以彼此位于不同的深度(或层)，并且可以根据卷积连接关系交换数据。例如，可以使用诸如深度神经网络(Deep Neural Network，DNN)、循环神经网络(Recurrent Neural Network，RNN)和双向循环深度神经网络(Bidirectional RecurrentDeep Neural Network，BDNR)的食品变化感测模型、食品识别模型和加工食品识别模型，但不限于此。
数据学习部分320和数据识别部分330中的一者或两者可以以至少一个硬件芯片的形式制造并安装在电子设备上。例如，数据学习部分320和数据识别部分330中的一者或两者可以以人工智能(artificial intelligence，AI)专用硬件芯片的形式制造，或者可以作为早先的通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，GPU)的一部分制造，并安装在上述各种电子设备中。
根据一个实施例，用于人工智能的专用硬件芯片可以是专用于概率运算的专用处理器，并且与早先的通用处理器相比，可以表现出更高的性能，以便于处理诸如机器学习的人工智能领域中的计算操作。
数据学习部分320和数据识别部分330可以安装在同一个电子设备上或分别安装在不同的电子设备上。例如，数据学习部分320和数据识别部分330中的一个可以包括在冰箱10中，而另一个可以包括在服务器20中。另外，数据学习部分320和数据识别部分330中的一者可以包括在第一服务器中，而另一者可以包括在不同于第一服务器的第二服务器中。数据学习部分320和数据识别部分330可以向数据识别部分330提供由数据学习部分320构建的关于食品变化感测模型、食品识别模型和加工食品识别模型的信息，或者输入到数据识别部分330的数据可以作为附加学习数据经由有线或无线地提供给数据学习部分320。
数据学习部分320和数据识别部分330中的一者或两者可以实现为软件模块。当数据学习部分320和数据识别部分330中的一者或两者被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由操作系统(operating system，OS)或预定的应用程序提供。或者，至少一个软件模块中的至少一个的一部分可以由操作系统(OS)提供，并且至少一个软件模块中的一些可以由预定的应用程序提供。
图4a和4b是示出根据实施例的在食品识别方法中使用多个照相机的情况的示意图。
根据一个实施例，冰箱10可以包括用于拍摄储藏室的多个照相机。例如，冰箱10可以包括用于拍摄储藏室的第一和第二照相机。各照相机可以包括能够拍摄大约150至180度视角的镜头模块。将参考图13描述提供照相机的示例位置。
根据一个实施例，第一照相机可以拍摄第一储藏室401，第二照相机可以拍摄位于第一储藏室下方的第二储藏室402。根据实施例，第一储藏室401和第二储藏室402之间的搁板430可以由透明玻璃或塑料材料制成。
图4a是第一冰箱内部图像410。第一冰箱内部图像410可以是例如使用第一照相机拍摄第一储藏室401的图像。图4b是第二冰箱内部图像420的部分区域。第二冰箱内部图像420可以是例如使用第二照相机拍摄第二储藏室402的图像。例如，图4b可以是第二冰箱内部图像420的指示从由第二照相机获取的第二冰箱内部图像420中通过透明搁板430可见第一储藏室401的区域的部分区域。
参考图4a，服务器20处于识别第一冰箱内部图像410中的变化区域412的状态。例如，服务器20可以使用第一冰箱内部图像410和预存的第一待比较图像来识别第一冰箱内部图像410中的变化区域。
根据实施例，冰箱10可以识别第一冰箱内部图像410中的变化区域。例如，服务器20可以使用用照相机获取的第一冰箱内部图像410和预先存储在冰箱10中的第一待比较图像来识别第一冰箱内部图像410中的变化区域。在这种情况下，第一待比较图像可以是使用第一照相机拍摄的图像，并且传送到检测、识别食品的服务器，然后传送到冰箱10。
如上所述，参照图1b，在获取了冰箱内部图像中的变化区域的情况下，服务器20可以将使用识别包含在冰箱内部图像中的对象的结果和第一食品存储信息而获取的第二食品存储信息以及冰箱内部图像传送到冰箱。
根据实施例，在服务器20存储多张冰箱内部图像的情况下，服务器20可以使用多张冰箱内部图像来识别冰箱内部图像中包含的对象。也即，当包含在第一冰箱内部图像中的对象被识别时，可以使用第二冰箱内部图像。
例如，服务器20可以将酒瓶414感测并识别为第一冰箱内部图像410中的加工食品的类别信息。服务器20可以识别在第一冰箱内部图像中被酒瓶414覆盖的对象422的存在。
服务器20可以感测并识别第二冰箱内部图像420中的对象422。例如，服务器20可以感测并识别第二冰箱内部图像420中的酒瓶414和苹果422。服务器20可以基于酒瓶414和苹果422在第二冰箱内部图像420的上侧被识别的事实来识别出酒瓶414和苹果422是存储在第一储藏室401中的食品或加工食品。可选地，服务器20可以识别隔板430，并且基于酒瓶414和苹果422被放置在隔板430上的事实，识别出酒瓶414和苹果422是存储在第一储藏室401中的食品。
根据一个实施例，服务器20可以基于识别第二冰箱内部图像420中的苹果422的结果来识别第一冰箱内部图像410中放置在酒瓶414后面的对象422。
因此，可以通过组合多张冰箱内部图像来识别被另一种食品隐藏的食品。
图5a、5b和5c是示出根据实施例的使用食品识别方法的结果来确定食品类别的情况的示意图。
参考5a，冰箱10可以基于获取的至少一张冰箱内部图像和食品存储信息在显示器510上显示存储在冰箱10中的食品。显示器510可以包括图1a的显示器10。
根据一个实施例，冰箱10可以在显示器510上显示食品以及使用食品识别方法识别的食品类别。例如，关于苹果501、菠菜503和葡萄505的类别被识别，冰箱10可以与相应食品相邻显示类别“苹果”、“菠菜”和“葡萄”。
根据实施例，冰箱10可以使用食品识别方法来提供被识别的食品可以被包括在其中的候选类别。
参考图5a，冰箱10可以接收用户输入530，以从显示器510上显示的食品中选择一个对象520。
参考图5b，冰箱10可以在显示器510上显示可能包括被选对象520的候选类别540。候选类别540可以是，例如，如参照图1b所描述的，由服务器20通过感测冰箱内部图像中的对象来识别的类别。
根据一个实施例，冰箱10可以接收用户输入以选择候选类别540中的一个。也就是说，用户可以从显示器510上显示的候选类别540中确定并选择对象520所属的类别。
参考图5c，冰箱10可以将用户输入的类别541确定为检测到的对象520的类别，并且在显示器510上显示所确定的类别。
根据一个实施例，由用户选择的对象520的类别541可以用作用于学习的数据。例如，冰箱10可以将用户为对象520选择的类别541的对象520发送到服务器20。服务器20可以将接收到的数据应用到数据学习部分320作为学习数据。数据学习部分320可以通过使用接收的数据来训练食品识别模型。随着由用户反馈生成的数据被用作食品识别模型的学习数据的数量增加，可以增加食品识别模型根据用户倾向识别对象的可能性。
图6a和6b是示出根据实施例的使用食品识别方法的结果获取食谱的情况的示意图。
参考图6a，冰箱10可以基于获取的至少一张冰箱内部图像在显示器510上显示存储在冰箱10中的食品。冰箱10可以在显示器510上显示食品以及使用食品识别方法识别的食品类别。
根据一个实施例，冰箱10可以通过使用所识别的食品的类别来提供食谱。
参考图6a，冰箱10可以显示向显示器510提供食谱的执行对象610。冰箱10可以接收用户输入620以选择提供食谱的执行对象610。
参考图6b，冰箱10可以根据选择执行对象620的用户输入，在显示器510上显示可以使用存储的食品来准备的食品的食谱630。
例如，冰箱10可以发送存储在提供食谱的服务器中的食品的类别，并且接收由服务器使用接收到的食品类别获取的食谱630，并且在显示器510上显示接收到的食谱。
根据实施例，冰箱10可以为食品类别设置优先级，并将设置的优先级发送给服务器。例如，冰箱10可以为在冰箱10中存储的食品的日期为最早的食品类别设置高优先级。由此，冰箱10可以首先向用户提供保存期较长的食品。
根据实施例，冰箱10可以在存储器(例如，图2的存储器240)中存储各种食谱。在这种情况下，冰箱10可以根据用户请求，在显示器510上显示可以使用从服务器20接收的食品类别准备的食品的食谱630。
图7a和7b是示出根据实施例的使用食品识别方法的结果购买商品的情况的示意图。
参考图7a，冰箱10可以基于获取的至少一张冰箱内部图像在显示器510上显示存储在冰箱10中的食品。冰箱10可以在显示器510上显示食品以及使用食品识别方法识别的食品类别。
根据一个实施例，冰箱10可以使用所识别的食品类别为食品购买提供指导。
参考图7a，冰箱10可以在显示器510上显示链接到食品购买网站的执行对象710。冰箱10可以接收用户输入720以选择链接到食品购买网站的执行对象710。
参考图7b，冰箱10可以根据选择执行对象710的用户输入720在显示器510上显示食品购买网站730。
例如，冰箱10可以访问销售对应于先前已经存储在冰箱10中但当前没有存储在冰箱10中的食品的食品类别的食品购买网站。可选地，冰箱10可以使用天气信息访问销售适合当前季节的食品类别的食品购买网站。
根据实施例，冰箱10可以访问食品购买网站，该食品购买网站使用在图6的显示器510上显示的食谱中使用的食品的信息，来识别用户频繁选择的食谱中使用的、但当前未存储在冰箱10中的食品，并销售包括在所识别的类别中的食品。
图8a和8b是示出根据实施例的使用食品识别方法的结果来提供健康信息的情况的示意图。
参考图8a，冰箱10可以基于获取的至少一张冰箱内部图像在显示器510上显示存储在冰箱10中的食品。冰箱10可以在显示器510上显示食品以及使用食品识别方法识别的食品类别。
根据一个实施例，冰箱10可以提供使用所识别的食品类别的用户的健康信息的指导。
参考图8a，冰箱10可以在显示器510上显示显示健康信息的执行对象810。冰箱10可以接收用户输入820以选择显示健康信息的执行对象810。
参考图8b，冰箱10可以根据选择执行对象810的用户输入在显示器510上显示健康信息830。
例如，冰箱10可以存储在冰箱10中存储的食品所包含的卡路里。冰箱10可以根据食品减少或消失的情况来估计用户的卡路里摄入量，并提供估计的卡路里作为健康信息。
根据实施例，冰箱10可以使用食品减少或消失的时间来估计用户在早餐、午餐和晚餐中的卡路里摄入量，并将估计的卡路里作为健康信息提供。可选地，冰箱10可以使用食品减少或消失的时间来估计用户一周期间或一个月期间的卡路里摄入量，并将估计的卡路里作为健康信息提供。
根据实施例，冰箱10可以从能够测量运动量的个人设备或可穿戴设备接收用户的运动量信息。冰箱10可以将接收到的运动量信息(例如，消耗的卡路里等)包含在健康信息830中，并提供健康信息。
在图5-8中，假设使用了包括在冰箱10中的显示器510，但是该示例不限于此。例如，服务器20可以将第一食品存储信息或第二食品存储信息传输到另一电子设备(例如，智能手机等)，而不是冰箱10。在这种情况下，用户可以使用包括在其他电子设备中的显示器来执行图5-8中所述的操作。
图9a、9b和9c是示出根据实施例的食品识别方法的示意图。
参照图9a至9c，冰箱10可以使用连续获取的冰箱内部图像来提高识别食品种类的性能。
参照图9a，冰箱10可以在t时间点获取冰箱内部图像901。例如，冰箱10可以在门打开时的t时间点获取冰箱内部图像901。冰箱10可以将在t时间点的冰箱内部图像901发送到服务器20，并且接收由服务器20通过识别在t时间点的冰箱内部图像901中的食品而生成的食品存储信息。然而，本示例不限于此。例如，可以通过使用包含在冰箱10中的处理器(例如，图2的处理器210)来识别包含在t时间点的冰箱内部图像901中的食品来生成食品存储信息。在图9a至9c中，假设食品被冰箱10识别。
根据一个实施例，冰箱10可以检测并识别在t时间点的冰箱内部图像901中的对象。例如，冰箱10可以检测牛奶910的加工食品类别。在这种情况下，冰箱10可能检测不到放置在牛奶910后面的对象。
图9b至9c是通过拍摄牛奶910被用户移动的状态而生成的图像。例如，冰箱10可以在t+1时间点获取冰箱内部图像903，并在t+2时间点获取冰箱内部图像905。冰箱10可以从t+1时间点的冰箱内部图像903和t+2时间点的冰箱内部图像905中的每一张检测牛奶910。
另外，冰箱10可以将t+1时间点的冰箱内部图像903中放置在牛奶910后面的对象920的一部分的形状与t+2时间点的冰箱内部图像905中放置在牛奶910后面的对象920的一部分的形状相结合，并且获取对象920的完整形状。
冰箱10可以使用获取的对象920的形状来识别出对象920属于“苹果”这一食品类别。
因此，冰箱10可以使用通过照相机获取的连续图像来识别食品的种类。
图10是根据实施例的执行食品识别方法的过程的流程图。
参考操作1010，服务器20可以获取至少一张冰箱内部图像。例如，服务器20可以接收通过使用包含在冰箱10中的照相机拍摄冰箱10的储藏室而生成的冰箱内部图像。例如，当门被打开然后被关闭的事件发生时，冰箱10可以拍摄冰箱内部的图像。
参考操作1020，服务器20可以使用冰箱内部图像和待比较图像来识别冰箱内部图像中的变化区域。
例如，服务器20可以将待比较图像和冰箱内部图像改变为强调边缘分量的图像，然后基于边缘分量比较所获取的对象形状并识别变化区域。
根据一个实施例，服务器20可以通过使用像素差值来获取变化区域。例如，服务器20可以计算包括在待比较图像中的红色像素值(R)、绿色像素值(G)和蓝色像素值(B)与冰箱内部图像的R、G和B值之间的相应差值，并识别变化区域。
根据一个实施例，服务器20可以通过使用人工智能算法来获取变化区域。例如，服务器20可以通过将至少一张冰箱内部图像和待比较图像应用到食品变化感测模型来识别在至少一张冰箱内部图像中发生变化的变化区域，所述食品变化感测模型是用图像、与该图像相同但包括具有变化的至少一些部分的图像以及具有变化的位置的信息作为学习数据来训练的。
在操作1030中，服务器20可以识别变化区域是否存在。
在操作1040中，如果变化区域存在，则服务器20可以使用识别包含在冰箱内部图像中的对象的结果和第一食品存储信息来获取第二食品存储信息。
根据一个实施例，服务器20可以将待比较图像和冰箱内部图像改变为强调边缘分量的图像，然后基于边缘分量找到所获取的对象的形状，并将对象的形状与存储在服务器20中的数据进行比较，并识别对象所属的食品类别。
根据一个实施例，当对象被识别为加工食品时，服务器20可以通过使用另外存储在服务器20中的另外的数据来识别加工食品所属的类别和/或加工食品的品牌名称。
根据一个实施例，服务器20可以通过使用人工智能算法来感测对象，并且识别感测到的对象所属的食品类别。例如，服务器20可以通过将冰箱内部图像应用于将存在食品的图像、食品所属的食品类别以及食品在图像中所处位置的信息作为学习数据来训练的食品识别模型来感测对象，并且可以识别对象所属的食品类别。
根据一个实施例，作为通过使用食品识别模型来识别对象的结果，当对象被识别为加工食品时，服务器20可以通过使用加工食品识别模型来识别对象所属的加工食品的类别和/或加工食品的品牌名称。例如，服务器20可以通过用基于用于相同加工食品的多张图像的图像相似性、加工食品的类别和加工食品的品牌名称作为学习数据来训练的加工食品搜索模型来识别在冰箱内部图像中检测到的加工食品的类别和/或加工食品数据库中加工食品的品牌名称。
根据一个实施例，在由于被其他食品隐藏而不可识别的食品被检测到的情况下，服务器20可以通过使用从第一食品存储信息获取的食品信息以及冰箱内部图像来获取新的食品存储信息。
在操作1050中，服务器20可以将食品存储信息和冰箱内部图像发送到冰箱。
在操作1060中，在变化区域不存在的情况下，服务器20可以获取第一食品存储信息。
第一食品存储信息可以是，例如，使用感测待比较图像中的对象的结果而生成的信息。此外，第一食品存储信息可以包括，例如，在待比较图像中感测到的食品的位置信息、食品所属类别的信息或加工食品所属的加工食品类别的信息、以及加工食品的品牌名称中的任何一个或任意组合。
在操作1070中，服务器20可以将第一食品存储信息和冰箱内部图像发送到冰箱。
图11是根据实施例的执行食品识别方法的过程的流程图。
在操作1110中，冰箱10可以获取通过拍摄第一储藏室而生成的第一冰箱内部图像，以及通过拍摄第二储藏室而生成的第二冰箱内部图像。
在操作1120中，冰箱10可以使用第一冰箱内部图像、第二冰箱内部图像、第一待比较图像和第二待比较图像，并且识别在冰箱内部图像中做出改变的改变区域。
第一待比较图像和第二待比较图像可以是，例如，通过拍摄第一储藏室和第二储藏室而生成的图像，这些图像可以是传送到在其中感测和识别食品的服务器20和送到冰箱10的图像。
在操作1130中，冰箱10可以识别变化区域是否存在。
在操作1140中，当变化区域不存在于第二冰箱内部图像中时，冰箱10可以获取第二储藏室的1-2食品存储信息。
在操作1150中，当从第一冰箱内部图像获取变化区域时，冰箱10可以在将第一冰箱内部图像发送到服务器20的同时请求对象识别。
在操作1160中，服务器20可以通过使用识别包含在第一冰箱内部图像中的对象的结果和第一储藏室的1-1食品存储信息来获取第一储藏室的2-1食品存储信息。
在操作1170中，服务器20可以将第一储藏室的2-1食品存储信息发送到冰箱10。
在操作1180中，冰箱10可以存储第一储藏室的2-1食品存储信息和第二储藏室的1-2食品存储信息。
图12是简要示出根据一个实施例的具有照相机和显示器的冰箱的透视图。图13是简要示出根据一个实施例的所有门都打开的冰箱的前视图。
参照图12和13，冰箱10包括主体1210、储藏室1211、1212、1213、门1220、1230、1240、1250以及将每扇门1220、1230、1240、1250与主体1210连接的铰链1260。显示内容的显示器(或触摸屏，1270)可被置于多扇门中的至少一扇上(例如，右门1230和左门1220中的一者或两者)。
照相机可以被置于多扇门中的至少一扇上(例如，右门1230和左门1220中的一者或两者)。接近传感器部件可以被定位为与照相机相邻(例如，在500mm的半径内)。此外，麦克风可以被置于多扇门中的至少一扇上(例如，右门1230和左门1220中的一者或两者)。
冰箱10可以根据储藏室和门的形状被分成多种类型。顶部安装冷冻室(topmounted freezer，TMP)型冰箱包括形成在由隔板水平分隔的储藏室的上表面的冷冻室和形成在储藏室下侧的冷藏室(cold room)。底部安装冷冻室(bottom mounted freezer，BMF)型冰箱包括形成在由隔板水平分隔的储藏室的上侧的冰箱和形成在储藏室的下侧的冷冻室。
并排(side by side，SBS)型冰箱包括形成在由隔板垂直分隔的储藏室一侧的冷冻室和形成在储藏室另一侧的冷藏室。法式门冰箱(French door refrigerator，FDR)冰箱包括形成在由隔板水平分隔的储藏室的上侧的冷藏室和形成在储藏室的下侧的冷冻室。上侧的冷藏室可以通过一对门打开和关闭。在FDR冰箱中，上冷藏室和下冷藏室都可以通过一对门打开和关闭。
主体1210包括形成储藏室1211至1213的内壳、形成冰箱外部的外壳以及保持内壳与外壳之间的温差的绝缘体。绝缘材料可以防止冷的内部空气泄漏到外部，并且防止外部暖空气进入储藏室1211至1213。
主体1210包括向储藏室1211至1213供应冷空气的冷空气供应部分。冷空气供应部分可包括用于压缩制冷剂的压缩机、冷凝器、膨胀阀、蒸发器和管道。
储藏室1211至1213由隔板1214分隔开。储藏室1211至1213被分成下部冷冻储藏室1212和1213(以下称为“冷冻室”)和冷冻室1212和1213上方的冷藏储藏室1211(以下称为“冷藏室”)。储藏室1212可以设置为零度以上(例如，0℃～7℃之间)或零度以下(例如，-1℃～5℃之间)的温度，并储存水、饮料、食品配料和冷藏或冷冻食品。水或饮料可以储存在饮料容器中。
由隔板1214分隔的储藏室1211至1213中的冷藏室1211可以包括一个或多个搁板1215和一个或多个储藏盒1216。
冷藏室1211连接到储藏室1211的一侧(例如，左侧)和与第一门1220相邻并且位于储藏室1211的另一侧(例如，右侧)的第二门1230。第一门1220和/或第二门1230可以以由各铰链1260设定的角度(例如，300°或更小)旋转，并且打开或关闭(例如，连接或分离)储藏室1211的前表面。第一门1220可以以与第二门1230的旋转方向相反的方向旋转，并且打开或关闭储藏室1211。第一门1220和第二门1230的位置可以相互改变。
第一门1220以铰链1260设定的角度(例如300°或更小)旋转，并打开或关闭储藏室1211的前表面的一部分(例如，储藏室1211的前表面的35％至70％)。
向第一门1220的前表面(例如，+y-轴方向)提供水、冰或气泡水的分配器和/或可抓取的把手。
第二门1230以由铰链1260设定的角度(例如，300°或更小)旋转，并打开或关闭储藏室1211的前表面的一部分(例如，存储室1311的前表面的35％至70％)。第二门1230可以包括可抓取的把手1231。第一门1220的把手1221和第二门1230的把手1231被定位为基于存储室1211的中心区域在左和右方向上间隔开。
冰箱10的功能和存储设置可以显示在第二门1230的前表面上(例如，+y-轴方向)。可以在第二门1230的前表面接收用户输入(例如，按钮的触摸或选择)。能够显示(或执行)应用程序(包括小部件)的屏幕的显示器(或触摸屏1270)可以被置于第二门1230的前表面。该按钮可以包括在显示器中，或者可以与显示器分开配置。该按钮可以是显示在触摸屏上的按钮、触摸按钮或物理按钮。
蔬菜隔室1211d1和1211d2位于储藏室1211的下方。蔬菜隔室1211d1、1211d2可向前侧(例如，y-轴方向)抽出(例如，滑动或滚动)。
储藏室1212可以在一侧具有门1240。储藏室1213可以在一侧具有门1250。储藏室1212和1213可以合并成一个储藏室(例如，像储藏室1311)。如同储藏室1211一样，一个储藏室可以在左侧和右侧各有一扇门。根据实施例，储藏室1211、1212和1213可以由搁板等分为例如第一储藏室1211a、第二储藏室1211b、第三储藏室1211c等。此外，冰箱还可以具有抽屉。
冰箱10还可以包括位于第二门1230外侧的前照相机1251。冰箱10可以使用前照相机1251识别位于冰箱10前表面的人。此外，冰箱10还可以包括显示器1270。显示器1270可以包括图1a的显示器11和图5的显示器510。
图14是简要示出根据一个实施例的冰箱的框图。
参照图14，冰箱10可以通过使用通信接口1420与外部设备功能性地连接。通信接口1420可以包括图2的通信接口220。外部设备可以包括用户终端和服务器20中的一个或两个。
冰箱10可以通过通信接口1420向外部设备发送对应于冰箱的操作(例如，各储藏室的温度控制)的操作信息和对应于冰箱10的状态(例如，正常、异常等)的状态信息，也可以从外部设备接收控制信息(例如，对应于冰箱10快速冷冻的控制命令)。
冰箱10可以包括处理器1410、通信接口1420、照相机1450、传感器部分1460、显示器1270(或显示部分)、驱动器部分1480、存储器1490和电源部分1495。
处理器1410(或控制器)可以包括一个或多个处理器。处理器1410可以包括图2的处理器210。此外，处理器1410可以存储非易失性存储器(该非易失性存储器包括存储用于控制冰箱10的控制程序的ROM)和易失性存储器(该易失性存储器包括存储从冰箱10外部输入的信号或数据，或者用作关于在冰箱10上执行的各种操作的存储区域的RAM)。RAM可以作为关于从外部源接收的控制信息、冰箱10的操作信息或冰箱10的状态信息的存储区域。
处理器1410用于控制冰箱10的整体操作与冰箱10的内部组件之间的信号流，并处理数据。处理器1410可以通过使用电源部分1495来控制供应给内部元件的电力。
处理器1410可以控制通信接口1420、照相机1450、传感器部分1460、显示器1270、驱动器部分1480、存储器1490和电源部分1495。
通信接口1420可以在处理器1410的控制下，通过使用一个天线或两个或更多个天线，经由移动通信网络、无线LAN通信网络或近场通信网络与外部设备连接。无线LAN通信可以与在处理器1410的控制下安装AP的位置处的接入点(access point，AP)无线连接。例如，无线LAN通信可以包括Wi-Fi通信。近场通信可以包括蓝牙通信、蓝牙低能通信、红外数据协会(IrDA)通信、超宽带(ultra-wideband，UWB)通信、磁安全传输(magnetic securitytransmission，MST)通信和/或NFC通信。根据实施例，术语“通信接口”可以通过移动通信、无线LAN通信和/或近场通信与外部设备连接。
照相机1450可以在处理器1410的控制下拍摄静态图像或录制视频。照相机1450可以包括图2的照相机230或者图12的照相机1251。照相机1450可以拍摄静态图像或录制视频，用于登记和/或管理食品。相机1450可以在处理器1410的控制下拍摄用户的虹膜。照相机1450可以包括位于冰箱10的前表面上的前照相机1251，以及位于冰箱10内部的室内照相机。此外，用于拍摄用户虹膜的虹膜拍摄照相机可以位于前照相机1251的一侧。
前照相机1251可以根据冰箱10的门的正面(或前表面)，以设定的角度(例如，小于85°)向正面(例如，+y-轴方向)倾斜。上述设定角度可以是75度以下，也可以是35度以上。此外，上述设定角度可以是65度以下，也可以是15度以上。
前照像机1251和室内照像机中的一个可以包括提供用于拍摄的光量的辅助光(例如，闪光)。此外，用于捕捉虹膜的辅助光源(例如，用于虹膜识别的LED)可以位于冰箱10的前表面上。
可以包括一个前照像机1251或多个前照像机1251。根据储藏室的面积，一个或多个室内照像机可以位于门1220至1250的面向储藏室1211至1213的后表面上。例如，一个或多个室内照像机可以位于门1220和1230的面向储藏室1211的后表面上。一个或多个室内照像机可以位于门1240的面向储藏室1212的后表面上。此外，一个或多个室内照像机可以位于门1250的面向储藏室1213的后表面上。
处理器1410可以控制通过前照像机1251和室内照像机中的一个拍摄的图像存储在存储器1490中。
传感器部分1460可以通过一个或多个传感器检测冰箱10的外围状态(例如，照明度)和/或冰箱10的内部状态(例如，储藏室的温度)。
传感器部分1460可以包括用于检测用户是否靠近冰箱10的接近传感器部件、以及用于检测冰箱10的储藏室(例如，冷冻室、冷藏室、蔬菜室等)的温度的一个或多个温度传感器部件中的任意一个或任意组合。此外，可以包括用于检测与显示器1270的光线变化相对应的冰箱10周围的光线强度的照明传感器部件。传感器部分1460中的接近传感器部件和照明传感器部件中的一个可以位于冰箱10门的前表面。此外，温度传感器部件可以设置在冰箱内部，以对应于储藏室。
本领域技术人员将容易理解，包括在传感器部分1460中的传感器类型可以根据冰箱10的性能来添加、修改或删除。
显示器1270可以提供(或显示)对应于各种服务(例如，语音呼叫、视频呼叫、数据传输、广播接收、照片拍摄、视频内容观看、包括移动支付在内的电子支付等)的图形用户界面(graphical user interface，GUI)。在一个实施例中，显示器1270可以配置为包括触摸屏。
在触摸屏中，显示面板和触摸面板172可以实现为一体的(例如，in-cell型触摸屏或on-cell型触摸屏)。
触摸屏可以包括用于接收用户输入的边缘触摸面板和用于显示内容的边缘显示面板。边缘触摸面板和边缘显示面板可以被实现为如上所述的一体的。
触摸屏可以将对应于通过主屏幕或GUI的单点触摸或多点触摸输入的模拟信号发送到触摸屏控制器。触摸屏可以接收通过用户身体(例如，包括拇指的手指)或输入笔(例如，手写笔)的单点触摸或多点触摸。
驱动器部分1480可以包括在处理器1410的控制下运行的压缩机、风扇、过滤器和加热器中的任何一个或任意组合。驱动器部分1480可以进一步包括照明(或除臭装置)。
压缩机1481可以在处理器1410的控制下压缩作为制冷循环的工作流体的制冷剂。制冷循环可以包括将气态压缩的制冷剂转换成液态制冷剂的冷凝器、对液态制冷剂减压的膨胀器以及蒸发减压的液态制冷剂的蒸发器。处理器1410可以通过液态制冷剂的蒸发来控制储藏室的温度。此外，冰箱10可以通过利用珀耳帖效应的珀耳帖模块和利用磁热效应的磁冷却装置来控制储藏室的温度。
风扇1482可以在处理器1410的控制下循环外部空气。由冷却循环加热的空气可以通过外部空气进行热交换而被冷却。
空气清洁部件1483可在处理器1410的控制下对漂浮在储藏室内或附着在储藏室上的细菌进行灭菌(或消除)。空气清洁部件1483可以包括离子杀菌清洁部件。
加热器1484可以在处理器1410的控制下进行除霜。加热器1484可以包括除霜加热器。
存储器(memory)(或存储(storage))1490可以在处理器1410的控制下，存储信号或数据(例如，对应于食品管理(或食品识别))的输入或输出，以对应于元件的操作。存储器1490可以包括图2的存储器240。根据一个实施例，存储器1490可以存储与存储在冰箱10中的食品相关的食品存储信息。
本文使用的术语“模块”包括由硬件、软件或固件组成的单元，并且可以与诸如逻辑、逻辑块、组件或电路等术语互换使用。“模块”可以是执行一个或多个功能的集成构造的组件或最小单元或其部分。例如，根据一个实施例，该模块可以以专用集成电路(application-specific integrated circuit，ASIC)的形式实现。
本公开的实施例可以实现为包括存储在可由机器(例如，冰箱10或服务器20)读取的存储介质(例如，存储器)中的一条或多条指令的软件。例如，机器(例如，冰箱10)的处理器(例如，处理器210)可以从存储介质中存储的一条或多条指令中调用至少一条指令，并执行被调用的指令。这使得机器能够根据被调用的至少一条指令被管理以执行至少一个功能。一条或多条指令可以包括由编译器生成的代码或由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。在此，术语“非暂时性”仅表示存储介质不包括信号(例如，电磁场)，而是有形的，并且不区分数据半永久性地存储在存储介质中的情况和数据暂时存储在存储介质中的情况。
根据一个实施例，根据上述实施例的方法可以被提供为包含在计算机程序产品中。计算机程序产品可以作为产品在销售者和消费者之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(compact disc read only memory，CD-ROM))的形式或通过应用商店(例如，Play Store TM和App Store TM)在线分发，或直接在用户(例如，智能手机)之间在线分发(例如，下载或上传)。在在线分发的情况下，计算机程序产品的至少一部分可以至少暂时存储在或暂时性地生成于制造商的服务器、应用商店的服务器或诸如中继服务器的存储器的机器可读存储介质中。
根据实施例，上述元件的各元件(例如，模块或程序)可以包括单个实体或多个实体。根据实施例，可以省略上述对应元件中的至少一个元件或操作，或者可以添加至少一个其他元件或操作。可替代地或附加地，多个组件(例如，模块或程序)可以被组合以形成单个实体。在这种情况下，集成实体可以以与集成之前的多个元件中的对应元件相同或相似的执行方式来执行多个元件中的每个元件的至少一个功能。模块、程序模块或根据各种实施例由其他元件执行的操作可以连续地、并行地、重复地或启发式地执行，或者至少一些操作可以按照不同的顺序执行，可以被省略，或者其他操作可以被添加到其中。

Claims (15)

1.一种服务器，包括：
存储指令的存储器；和
至少一个处理器，被配置为执行指令以：
获得在冰箱中拍摄的至少一张冰箱内部图像，
通过将预存图像与所获得的至少一张冰箱内部图像进行比较，识别在所获得的至少一张冰箱内部图像中发生变化的变化区域是否存在于所获得的至少一张冰箱内部图像中，
基于变化区域不存在于所获得的至少一张冰箱内部图像中，使用识别预存图像的第一结果来获得第一食品存储信息，
基于变化区域存在于所获得的至少一张冰箱内部图像中，使用所获得的第一食品存储信息和识别包括在所获得的至少一张冰箱内部图像中的对象的第二结果来获得第二食品存储信息，以及
向冰箱发送所获得的至少一张冰箱内部图像以及所获得的第一食品存储信息和所获得的第二食品存储信息中的一者或两者。
2.根据权利要求1所述的服务器，其中，所述至少一个处理器还被配置为，基于包含在所述预存图像中的每个第一像素的第一值和包含在所述获得的至少一张冰箱内部图像中的每个第二像素的第二值之间的差值，来识别所述变化区域是否存在于所述获得的至少一张冰箱内部图像中。
3.根据权利要求1所述的服务器，其中所述至少一个处理器还被配置为：
对所获得的至少一张冰箱内部图像应用第一图像校正处理和第二图像校正处理中的一者或两者，第一图像校正处理用于校正所获得的至少一张冰箱内部图像的模糊，第二图像校正处理用于增加所获得的至少一张冰箱内部图像的清晰度；和
识别变化区域是否存在于应用了第一图像校正处理和所述第二图像校正处理中的任一者或两者的所获得的至少一张冰箱内部图像中。
4.根据权利要求1所述的服务器，其中，所述至少一个处理器还被配置为使用食品变化感测模型来识别所获得的至少一张冰箱内部图像中的变化区域，并且
其中所述食品变化感测模型是将第一图像、与第一图像相同但还包括具有变化的部分区域的第二图像和具有变化的位置信息作为学习数据进行训练的数据识别模型。
5.根据权利要求1所述的服务器，其中所述至少一个处理器还被配置为：
将所获得的至少一张冰箱内部图像改变为强调所获得的至少一张冰箱内部图像的边缘分量的新图像；和
基于所获得的至少一张冰箱内部图像被改变为新图像，基于基于边缘分量识别的对象的形状来识别包含在所述新图像中的对象。
6.根据权利要求1所述的服务器，其中，所述至少一个处理器还被配置为，基于变化区域存在于所获得的至少一张冰箱内部图像中，在所述变化区域中识别包含在所获得的至少一张冰箱内部图像中的对象。
7.根据权利要求1所述的服务器，其中，所述至少一个处理器还被配置为利用食品识别模型来识别包含在所获得的至少一张冰箱内部图像中的第一类食品，
其中所述食品识别模型是将包含食品、食品所属的食品类别以及食品在食品图像中所处位置的信息的食品图像作为第一学习数据进行训练的第一数据识别模型。
8.根据权利要求7所述的服务器，其中，所述至少一个处理器还被配置为，基于对象被识别为加工食品，使用加工食品识别模型来识别包括在所获得的至少一张冰箱内部图像中的第二类加工食品，
其中所述加工食品识别模型是将相同加工食品的多张图像、相同加工食品的加工食品类别和相同加工食品的品牌名称作为第二学习数据进行训练的第二数据识别模型。
9.根据权利要求1所述的服务器，其中所获得的至少一张冰箱内部图像包括第一冰箱内部图像和第二冰箱内部图像，并且
其中所述至少一个处理器还被配置为获得识别包含在第二冰箱内部图像中但在第一冰箱内部图像中未被识别的另一对象的第三结果。
10.一种冰箱，包括：
照相机，被配置为拍摄存储食品的储藏室；
通信接口；
处理器；和
存储一个或多个指令的存储器，所述指令使处理器：
基于预定事件的发生，控制照相机拍摄冰箱内部图像；和
控制通信接口以：
将拍摄的冰箱内部图像发送到服务器；和
从服务器接收与发送的冰箱内部图像相对应的第一食品存储信息和第二食品存储信息中的一者或两者。
11.根据权利要求10所述的冰箱，还包括显示器，
其中所述一个或多个指令还使处理器：
控制显示器显示拍摄的冰箱内部图像；
基于选择包含在显示器上显示的冰箱内部图像中的食品的第一用户输入，控制显示器显示所选择的食品所属的至少一个候选类别；和
基于选择所显示的至少一个候选类别中的一个的第二用户输入，将所选择的候选类别中一个识别为食品的类别。
12.根据权利要求10所述的冰箱，还包括显示器，
其中所述一个或多个指令还使处理器：
控制显示器显示食谱提供执行对象；
基于选择在显示器上显示的食谱提供执行对象的用户输入，控制通信接口以：
将包含在拍摄的冰箱内部图像中的食品的类别发送到服务器；和
接收由服务器使用发送的类别获得的食谱；和
控制显示器显示收到的食谱。
13.根据权利要求10所述的冰箱，还包括显示器，
其中所述一个或多个指令还使处理器：
控制显示器显示食品购买网站链接执行对象；
基于选择显示在显示器上的食品购买网站链接执行对象的用户输入，控制所述通信接口访问销售与之前包含在拍摄的冰箱内部图像中但当前不包含在拍摄的冰箱内部图像中的食品相对应的食品类别的食品购买网站；和
控制显示器显示被访问的食品采购网站。
14.根据权利要求10所述的冰箱，还包括显示器，
其中所述一个或多个指令还使处理器：
控制显示器显示健康信息显示执行对象；和
基于选择显示器上显示的健康信息显示执行对象的用户输入，使用先前包含在拍摄的冰箱内部图像中但当前不包含在拍摄的冰箱内部图像中的食品的卡路里来控制显示器显示用户的健康信息。
15.一种冰箱，包括：
照相机，被配置为拍摄存储食品的储藏室；
通信接口；
处理器；和
存储一个或多个指令的存储器，所述指令使处理器：
基于预定事件的发生，控制照相机拍摄冰箱内部图像；
通过将预存图像与拍摄的冰箱内部图像进行比较，识别在拍摄的冰箱内部图像中发生变化的变化区域是否存在于拍摄的冰箱内部图像中；
基于变化区域不存在于所拍摄的冰箱内部图像中，使用识别预存图像的第一结果来获得第一食品存储信息；和
基于变化区域存在于所拍摄的冰箱内部图像中，控制通信接口：
将拍摄的冰箱内部图像发送到服务器；和
从所述服务器接收由所述服务器使用所述第一食品存储信息和识别包含在所发送的冰箱内部图像中的对象的第二结果而获得的第二食品存储信息。
CN201980040258.5A 2018-06-15 2019-06-07 冰箱、服务器及其控制方法 Pending CN112313684A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0069078 2018-06-15
KR1020180069078A KR102619657B1 (ko) 2018-06-15 2018-06-15 냉장고와 서버 및 서버의 제어 방법
PCT/KR2019/006850 WO2019240432A1 (en) 2018-06-15 2019-06-07 Refrigerator, server and method of controlling thereof

Publications (1)

Publication Number Publication Date
CN112313684A true CN112313684A (zh) 2021-02-02

Family

ID=68840013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980040258.5A Pending CN112313684A (zh) 2018-06-15 2019-06-07 冰箱、服务器及其控制方法

Country Status (5)

Country Link
US (1) US11521391B2 (zh)
EP (2) EP3776435A4 (zh)
KR (2) KR102619657B1 (zh)
CN (1) CN112313684A (zh)
WO (1) WO2019240432A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488831A (zh) * 2020-04-10 2020-08-04 海信集团有限公司 一种食材联想识别方法及冰箱

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10556722B2 (en) 2015-07-08 2020-02-11 Divert, Inc. System for tracking waste or recyclable material
KR102663888B1 (ko) 2018-09-18 2024-05-08 삼성전자주식회사 냉장고 및 그의 제어방법
WO2020095131A1 (en) * 2018-11-07 2020-05-14 Foss Analytical A/S Milk analyser for classifying milk
US11386621B2 (en) * 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance
CN110399804A (zh) * 2019-07-01 2019-11-01 浙江师范大学 一种基于深度学习的食品检测识别方法
KR20210020702A (ko) * 2019-08-16 2021-02-24 엘지전자 주식회사 인공지능 서버
EP4031861A4 (en) * 2019-09-18 2023-07-19 Divert, Inc. SYSTEMS AND METHODS FOR TRACKING PRODUCT ENVIRONMENT THROUGH A SUPPLY CHAIN
CN113834809A (zh) * 2020-06-08 2021-12-24 珠海格力电器股份有限公司 判断食材是否变质的方法、电子设备及食物储存装置
CN112954229B (zh) * 2021-02-08 2023-04-18 青岛海尔电冰箱有限公司 基于灰度值调节补光灯光强的方法、设备及冰箱
DE102021204149A1 (de) 2021-04-27 2022-10-27 BSH Hausgeräte GmbH Objekterkennung für ein Hausgerät
US11941876B2 (en) * 2021-05-21 2024-03-26 Haier Us Appliance Solutions, Inc. Door status verification using a camera and artificial intelligence
CN115682510A (zh) * 2021-07-30 2023-02-03 海信集团控股股份有限公司 一种智能冰箱、食材识别方法、设备及介质
CN113709380A (zh) * 2021-10-20 2021-11-26 广州微林软件有限公司 一种基于外置式摄像装置的控制方法
DE102022102061A1 (de) 2021-12-14 2023-06-15 Liebherr-Hausgeräte Ochsenhausen GmbH Verfahren zur Erkennung von Objekten
DE102022204985B3 (de) 2022-05-19 2023-11-09 BSH Hausgeräte GmbH Bereitstellen eines Bilds eines Objekts in einem Kühlgerät
CN117854064B (zh) * 2024-03-04 2024-05-28 江苏源坤电子科技有限公司 一种基于人工智能的冷柜货品识别系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006064320A (ja) * 2004-08-27 2006-03-09 Toshiba Corp 冷蔵庫
JP2014196846A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 冷蔵庫及び冷蔵庫システム
US20140313331A1 (en) * 2013-04-23 2014-10-23 Lg Electronics Inc. Refrigerator and operating method thereof
CN105008833A (zh) * 2013-04-23 2015-10-28 Lg电子株式会社 冰箱及其控制方法
US20160088262A1 (en) * 2013-04-10 2016-03-24 Lg Electronics Inc. Method For Managing Storage Product In Refrigerator Using Image Recognition, And Refrigerator For Same

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US88262A (en) * 1869-03-30 bag ley
US313331A (en) * 1885-03-03 Carriage-seat iron
US7769513B2 (en) * 2002-09-03 2010-08-03 Automotive Technologies International, Inc. Image processing for vehicular applications applying edge detection technique
KR20080030173A (ko) 2006-09-29 2008-04-04 엘지전자 주식회사 냉장고의 내용물 감지장치 및 그 방법
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
KR20120117464A (ko) * 2011-04-15 2012-10-24 엘지전자 주식회사 냉장고 및 냉장고의 제어방법
CN104380319B (zh) * 2011-12-16 2019-04-26 伊利诺斯工具制品有限公司 企业管理系统中基于云端的食谱分发
KR102003938B1 (ko) * 2012-08-10 2019-07-25 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102023013B1 (ko) * 2013-04-18 2019-09-19 엘지전자 주식회사 냉장고 및 그 동작 방법
JP6313014B2 (ja) * 2013-08-27 2018-04-18 東芝ライフスタイル株式会社 カメラシステム、冷蔵庫
US11030571B2 (en) 2013-12-20 2021-06-08 Ebay Inc. Managed inventory
DE102014203749A1 (de) * 2014-02-28 2015-09-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen mindestens eines Innenraums eines Gebäudes sowie Assistenzsystem für mindestens einen Innenraum eines Gebäudes
US10304114B2 (en) * 2014-03-25 2019-05-28 Ebay Inc. Data mesh based environmental augmentation
US9730647B2 (en) * 2014-04-15 2017-08-15 Vivint, Inc. Systems and methods for measuring calorie intake
JP6386803B2 (ja) * 2014-06-13 2018-09-05 キヤノン株式会社 装置、方法、及びプログラム
JP6323279B2 (ja) 2014-09-22 2018-05-16 三菱電機株式会社 保冷保温庫、及び、その管理システム
US10956856B2 (en) * 2015-01-23 2021-03-23 Samsung Electronics Co., Ltd. Object recognition for a storage structure
JP6462493B2 (ja) * 2015-05-29 2019-01-30 株式会社デンソー 進入判定装置、進入判定方法
US20160358508A1 (en) 2015-06-05 2016-12-08 Elwha Llc Smart refrigerator
JP6324360B2 (ja) * 2015-11-04 2018-05-16 三菱電機株式会社 冷蔵庫及びそれを含むネットワークシステム
KR101830660B1 (ko) 2016-01-29 2018-02-21 엘지전자 주식회사 냉장고와 통신하는 센서 및 상기 센서를 포함하는 냉장고 제어 시스템
US9784497B2 (en) * 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator
KR20170115699A (ko) 2016-04-08 2017-10-18 국민대학교산학협력단 스마트 냉장고 및 제어 방법
KR101899993B1 (ko) 2016-06-03 2018-09-18 성균관대학교산학협력단 시차 맵으로 한정된 영역에 기반한 객체 인식 방법
KR20180007232A (ko) * 2016-07-12 2018-01-22 삼성전자주식회사 건강 관리 서비스 제공 방법 및 장치
CN109477677A (zh) * 2016-07-21 2019-03-15 三菱电机株式会社 冰箱系统
WO2018040105A1 (zh) * 2016-09-05 2018-03-08 合肥华凌股份有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
US11176423B2 (en) * 2016-10-24 2021-11-16 International Business Machines Corporation Edge-based adaptive machine learning for object recognition
US9965798B1 (en) * 2017-01-31 2018-05-08 Mikko Vaananen Self-shopping refrigerator
KR101756620B1 (ko) * 2017-02-03 2017-07-12 구영모 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법
CN107423421A (zh) * 2017-07-31 2017-12-01 京东方科技集团股份有限公司 菜谱推荐方法、装置和冰箱
WO2019102616A1 (ja) * 2017-11-27 2019-05-31 三菱電機株式会社 冷蔵庫及び冷蔵庫システム
US20190205821A1 (en) * 2018-01-03 2019-07-04 International Business Machines Corporation Automated identification, status monitoring and notification of stored items
US10860888B2 (en) * 2018-01-05 2020-12-08 Whirlpool Corporation Detecting objects in images
CN112136014B (zh) * 2018-05-31 2022-04-19 三菱电机株式会社 冰箱系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006064320A (ja) * 2004-08-27 2006-03-09 Toshiba Corp 冷蔵庫
JP2014196846A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 冷蔵庫及び冷蔵庫システム
US20160088262A1 (en) * 2013-04-10 2016-03-24 Lg Electronics Inc. Method For Managing Storage Product In Refrigerator Using Image Recognition, And Refrigerator For Same
US20140313331A1 (en) * 2013-04-23 2014-10-23 Lg Electronics Inc. Refrigerator and operating method thereof
CN105008833A (zh) * 2013-04-23 2015-10-28 Lg电子株式会社 冰箱及其控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488831A (zh) * 2020-04-10 2020-08-04 海信集团有限公司 一种食材联想识别方法及冰箱

Also Published As

Publication number Publication date
EP3776435A4 (en) 2021-05-26
KR20200003299A (ko) 2020-01-09
KR20240005650A (ko) 2024-01-12
US20190384990A1 (en) 2019-12-19
EP3776435A1 (en) 2021-02-17
KR102619657B1 (ko) 2023-12-29
EP4254285A3 (en) 2023-11-15
US11521391B2 (en) 2022-12-06
WO2019240432A1 (en) 2019-12-19
EP4254285A2 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
US11521391B2 (en) Refrigerator, server and method of controlling thereof
CN109631456B (zh) 冰箱
KR102327848B1 (ko) 냉장고 및 냉장고의 음식 관리방법
US10330377B2 (en) Refrigeration appliance comprising a camera module
CN112005268B (zh) 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法
KR101112202B1 (ko) 냉장고의 보관 식품 관리 장치 및 방법
JP6305122B2 (ja) 冷蔵庫及び冷蔵庫を備えたネットワークシステム
US20210014461A1 (en) Refrigerator, and system and method for controlling same
KR102637119B1 (ko) 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
US20160138859A1 (en) Refrigeration appliance system
JP6305207B2 (ja) 冷蔵庫及びネットワークシステム
KR102648233B1 (ko) 냉장고 및 냉장고의 제어 방법
KR20140139736A (ko) 냉장고 및 그 제어 방법
US11134222B2 (en) Refrigerator and method of controlling the same
CN109869966A (zh) 冰箱
KR20200051283A (ko) 식품 관리 시스템, 서버 장치 및 냉장고
KR20210053097A (ko) 냉장고 및 이의 제어 방법
JP6447334B2 (ja) 冷蔵庫及びネットワークシステム
KR101812524B1 (ko) 인공 지능형 냉장고를 위한 가전 제어용 크라우딩 운영관리 시스템 및 그 구동방법
JP7113281B2 (ja) 冷蔵庫
KR20150066708A (ko) 부식 재고 알림 기능을 갖는 냉장고 및 이를 이용한 부식 주문시스템
WO2023237059A1 (zh) 家用电器的分配器系统的控制方法
US20230375258A1 (en) Refrigerator appliances and image-based methods of detecting a door position
KR20180049716A (ko) 김치 냉장고 및 김치 냉장고의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination