CN110168298A - 冰箱及其信息显示方法 - Google Patents

冰箱及其信息显示方法 Download PDF

Info

Publication number
CN110168298A
CN110168298A CN201780082150.3A CN201780082150A CN110168298A CN 110168298 A CN110168298 A CN 110168298A CN 201780082150 A CN201780082150 A CN 201780082150A CN 110168298 A CN110168298 A CN 110168298A
Authority
CN
China
Prior art keywords
voice
food
display
processor
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780082150.3A
Other languages
English (en)
Other versions
CN110168298B (zh
Inventor
千殷真
都荣洙
李炯进
赵南国
黄度衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2017/015548 external-priority patent/WO2018128317A1/ko
Publication of CN110168298A publication Critical patent/CN110168298A/zh
Application granted granted Critical
Publication of CN110168298B publication Critical patent/CN110168298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/285—Memory allocation or algorithm optimisation to reduce hardware requirements
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2600/00—Control issues
    • F25D2600/06—Controlling according to a predetermined profile
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/04—Sensors detecting the presence of a person
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/12—Sensors measuring the inside temperature
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Acoustics & Sound (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)

Abstract

一种冰箱，包括：储存室，被配置为储存食物；温度检测器，被配置为检测储存室的内部温度；冷却器，被配置为向储存室供应冷空气；麦克风，被配置为接收语音；显示器，被配置为显示信息；至少一个处理器，被配置为电连接到温度检测器、麦克风和显示器；以及存储器，被配置为电连接到所述至少一个处理器。存储器存储被配置为进行如下操作的至少一条指令：当经由麦克风识别出包括食物名称的第一语音时，允许处理器在显示器上显示食物列表，其中食物列表包括与食物名称相对应的食物信息和标识食物信息的标识标记；并且当经由麦克风识别出涉及标识标记的第二语音时，允许处理器在显示器上显示与标识标记相对应的食物购买信息。

Description

冰箱及其信息显示方法
技术领域
本公开涉及一种冰箱及其信息显示方法，更具体地，涉及一种能够与外部设备进行通信的冰箱及其信息显示方法。
另外，本公开涉及一种能够通过使用机器学习算法来模仿人脑功能(例如，识别和确定)的人工智能(AI)系统及其应用。
背景技术
近年来，冰箱已经配备有用于显示储存室的温度和冰箱的操作模式的显示器。
这样的显示器不仅使用户能够使用图形用户界面容易地获取图像信息，而且还使用户能够使用触摸面板直观地输入控制命令。换句话说，新的显示器能够接收信息并且能够显示信息。
另外，新的冰箱包括用于连接到外部设备(例如，连接到互联网的服务器)的通信模块。
冰箱可以通过通信模块连接到互联网，从不同的服务器获取各种信息，并且基于所获取的信息提供各种服务。例如，通过互联网，冰箱可以提供各种服务(例如，互联网购物)并且提供与食物相关的信息(例如，食物信息和食物食谱)。
这样，冰箱通过其显示器和通信模块向用户提供各种服务。
此外，最近，人工智能(AI)技术激增，不同于基于规则的智能系统，AI技术是一种机器自身进行学习和确定并且变得智能化的系统。与基于规则的智能系统不同，AI系统是一种实现人类等级的智能并且机器自身进行学习、确定并且变得智能化的计算机系统。当使用AI系统时，识别率提高得更多，并且更准确地理解用户偏好。因此，基于规则的智能系统逐渐被基于深度学习的AI系统所取代。
AI技术包括机器学习(例如，深度学习)和利用机器学习的元素技术。机器学习是一种用于对输入数据的特性进行自主分类和学习的算法技术。元素技术是利用机器学习的技术，并且可以包括语言理解、视觉理解、推理/预测、知识表示和运动控制。
应用了AI技术的各个领域如下。语言理解是一种用于识别、应用/处理人类语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、查询响应、语音识别/合成等。视觉理解是一种用于以与人类视觉的方式相类似的方式来识别和处理对象的技术，并且包括对象识别、对象追踪、图像搜索、人类识别、场景理解、空间理解和图像增强。推理/预测是一种用于确定用于逻辑推理和预测的信息的技术，并且包括基于知识/概率的推理、优化预测、基于偏好的计划和推荐。知识表示是一种用于将人类体验信息自动化为知识数据的技术，并且包括知识构建(数据生成/分类)和知识管理(数据利用)。运动控制是一种用于控制车辆的自动驾驶和机器人的运动的技术，并且包括运动控制(导航、碰撞避免、驾驶)、操纵控制(行为控制)等。
发明内容
技术问题
本公开旨在提供一种能够通过使用语音识别技术以语音接收命令并且能够以语音输出内容的冰箱。
此外，本公开旨在提供一种能够基于语音中的命令提供互联网购物的冰箱。
此外，本公开旨在提供一种能够识别多个用户并提供适合于所识别用户的内容的冰箱。
技术方案
本公开的一个方面提供了一种冰箱，包括：麦克风；显示器，被配置为根据经由麦克风输入的语音来显示信息；以及控制器，被配置为进行如下操作：当识别出包括食物名称在内的第一语音时，在显示器上显示列表，其中该列表包括与名称同食物名称相对应的食物有关的信息和标识该食物的标识标记；并且当识别出涉及标记中的至少一个标记的第二语音时，在显示器上显示由第二语音中包含的标记所指示的食物信息。
当识别出第一语音时，控制器可以将卡型用户界面的列表与显示器上显示的应用的用户界面重叠。
当识别出第二语音时，控制器可以执行提供由第二语音中包含的标记指示的食物的信息的应用，以便在显示器上显示从该应用提供的食物信息。
冰箱还可以包括通信电路，并且当识别出第一语音时，控制器可以经由通信电路向服务器发送第一语音的数据，并且当通信电路接收到从服务器发送的关于该列表的信息时，控制器可以在显示器上显示该列表。
冰箱还可以包括通信电路，并且当识别出第二语音时，控制器可以经由通信电路向服务器发送第二语音的数据，并且当通信电路接收到从服务器发送的食物信息时，控制器可以在显示器上显示食物信息。
冰箱还可以包括通信电路，并且当识别出第一语音时，控制器可以经由通信电路向服务器发送第一语音的数据，并且当通信电路接收到从服务器发送的关于第一语音的分析信息时，控制器可以向与根据分析信息的操作的执行有关的应用发送根据分析信息的命令，以便允许应用显示该列表。
冰箱还可以包括通信电路，并且当识别出第二语音时，控制器可以经由通信电路向服务器发送第二语音的数据，并且当通信电路接收到从服务器发送的关于第二语音的分析信息时，控制器可以向与根据分析信息的操作的执行有关的应用发送根据分析信息的命令，以便允许应用显示食物信息。
冰箱还可以包括扬声器，该扬声器被配置为：当由于识别出第一语音而在显示器上显示该列表时，输出指示该列表被显示的语音；并且当由于识别出第二语音而在显示器上显示食物信息时，输出指示食物信息被显示的语音。
本公开的另一方面提供了一种冰箱，包括：麦克风；显示器，被配置为根据经由麦克风输入的语音来显示信息；扬声器，被配置为输出语音；以及控制器，被配置为进行如下操作：当经由麦克风输入语音时，对显示器上显示的应用执行由所输入的语音指示的命令；并且当控制器不能够对该应用执行由所输入的语音指示的命令时，根据优先级对其他应用执行该命令，其中该优先级是针对与该命令相关的应用预先确定的。
当控制器不能够对应用执行由所输入的语音指示的命令时，控制器可以经由扬声器输出指示不能对应用执行该命令的语音。
当不存在优先级时，控制器可以经由扬声器输出请求确认是否对其他应用执行该命令的语音。
当输入对确认请求的答复时，控制器可以对由所输入的答复指示的应用执行由语音指示的命令。
当控制器不能够对应用执行由所输入的语音指示的命令时，控制器可以根据优先级来选择要被执行命令的应用，其中优先级是针对与命令相关的应用预先确定的；并且控制器可以对所选择的应用执行命令。
当经由麦克风输入的语音中不包含要被执行由语音指示的命令的目标时，控制器可以对显示器上显示的应用执行由所输入的语音指示的命令。
本公开的另一方面提供了一种冰箱，包括：麦克风；显示器，被配置为根据经由麦克风输入的语音来显示信息；扬声器，被配置为输出语音；以及控制器，被配置为进行如下操作：当经由麦克风输入语音并且需要识别用于执行由语音指示的命令的用户时，在显示器上显示预先注册的用户；并且经由扬声器输出请求从所显示的用户中选择用户的语音。
当输入从所显示的用户中选择至少一个用户的语音时，控制器可以根据所选择的用户来执行由语音指示的命令，并且在显示器上显示执行结果。
当需要识别用于执行由语音指示的命令的用户时，控制器可以在显示器上显示预先注册的用户和标识每个用户的标记。
当输入从标记中选择至少一个标记的语音时，控制器可以根据由标记指示的用户来执行由语音指示的命令，并且在显示器上显示执行结果。
当经由麦克风输入语音并且语音中包含指示用户的表达时，控制器可以根据语音中包含的用户来执行由语音指示的命令，并且在显示器上显示执行结果。
当经由麦克风输入语音时，控制器可以根据由预先存储的语音数据中与所输入的语音相匹配的语音数据指示的用户来执行由语音指示的命令，并且在显示器上显示执行结果。
本公开的一个方面可以提供一种通过使用语音识别技术以语音接收命令并且能够以语音输出内容的冰箱。
本公开的一个方面可以提供一种基于通过语音的命令来提供互联网购物的冰箱。
本公开的一方面可以提供一种识别多个用户并提供适合于所识别用户的内容的冰箱。
本公开的另一方面提供了一种冰箱，包括：储存室，被配置为储存食物；温度检测器，被配置为检测储存室的内部温度；冷却器，被配置为向储存室供应冷空气；麦克风，被配置为接收语音；显示器，被配置为显示信息；至少一个处理器，被配置为电连接到温度检测器、麦克风和显示器；以及存储器，被配置为电连接到所述至少一个处理器。
存储器可以存储被配置为进行如下操作的至少一条指令：当经由麦克风识别出包括食物名称在内的第一语音时，允许处理器在显示器上显示食物列表，其中该食物列表包括与食物名称相对应的食物信息和标识食物信息的标识标记；并且当经由麦克风识别出涉及标识标记的第二语音时，允许处理器在显示器上显示与标识标记相对应的至少一条食物购买信息。
存储器可以存储被配置为进行如下操作的至少一条指令：当经由麦克风输入包括食物名称在内的第一语音时，允许处理器通过使用学习网络模型识别第一语音来获取食物名称，其中学习网络模型使用人工智能算法被训练；并且允许处理器在显示器上显示包括与食物名称相对应的食物信息在内的食物列表。可以通过使用多个语音和与该多个语音相对应的多个词来训练学习网络模型。
存储器可以存储被配置为执行如下操作的至少一条指令：当经由麦克风输入包括食物名称在内的第一语音时，允许处理器通过使用学习网络模型识别第一语音来获取食物名称和说出第一语音的用户的信息，其中学习网络模型使用人工智能算法被训练；并允许处理器在显示器上显示包括食物信息在内的食物列表，其中食物信息与食物名称相对应并且与用户信息相关。可以通过使用多个语音和与该多个语音相对应的多条用户信息来训练学习网络模型。
存储器可以存储被配置为执行如下操作的至少一条指令：当识别出第一语音时，允许处理器识别与食物名称相关的食物是否被放置在储存室中；并且当食物被放置在储存室中时，允许处理器在显示器上显示指示食物被放置在储存室中的信息。
存储器可以存储被配置为执行如下操作的至少一条指令：当识别出第一语音时，允许处理器识别与食物名称相关的食物是否被放置在储存室中；并且当食物未被放置在储存室中时，允许处理器在显示器上显示包括与食物名称相对应的食物信息在内的食物列表。
存储器可以存储被配置为执行如下操作的至少一条指令：当识别出第一语音时，允许处理器将卡型用户界面的食物列表与显示器上显示的应用的用户界面重叠。
存储器可以存储被配置为执行如下操作的至少一条指令：当识别出第二语音时，允许处理器执行提供由第二语音中包含的标记指示的食物的信息的应用，以便在显示器上显示从该应用提供的食物信息。
冰箱还可以包括通信电路，并且存储器可以存储被配置为执行如下操作的至少一条指令：当识别出第一语音时，允许处理器经由通信电路向服务器发送第一语音的数据；并且当通信电路接收到从服务器发送的关于食物列表的信息时，允许处理器在显示器上显示食物列表。
冰箱还可以包括通信电路，并且存储器可以存储被配置为进行如下操作的至少一条指令：当识别出第二语音时，允许处理器经由通信电路向服务器发送第二语音的数据；并且当通信电路接收到从服务器发送的食物信息时，允许处理器在显示器上显示食物信息。
冰箱还可以包括通信电路，并且存储器可以存储被配置为执行如下操作的至少一条指令：当识别出第一语音时，允许处理器经由通信电路向服务器发送第一语音的数据；并且当通信电路接收到从服务器发送的关于第一语音的分析信息时，允许处理器向与根据分析信息的操作的执行有关的应用发送根据分析信息的命令，以便允许应用显示食物列表。
冰箱还可以包括通信电路，并且存储器可以存储被配置为进行如下操作的至少一条指令：当识别出第二语音时，允许处理器经由通信电路向服务器发送第二语音的数据；并且当通信电路接收到从服务器发送的关于第二语音的分析信息时，允许处理器向与根据分析信息的操作的执行有关的应用发送根据分析信息的命令，以便允许应用显示食物信息。
冰箱还可以包括扬声器，并且存储器可以存储被配置为进行如下操作的至少一条指令：当由于识别出第一语音而在显示器上显示食物列表时，允许处理器经由扬声器输出指示列表被显示的语音；并且当由于识别出第二语音而在显示器上显示食物信息时，允许处理器经由扬声器输出指示食物信息被显示的语音。
本公开的另一方面提供了一种冰箱，包括：储存室，被配置为储存食物；温度检测器，被配置为检测储存室的内部温度；冷却器，被配置为向储存室供应冷空气；麦克风，被配置为接收语音；显示器，被配置为显示信息；至少一个处理器，被配置为电连接到温度检测器、麦克风和显示器；以及存储器，被配置为电连接到所述至少一个处理器。
存储器可以存储被配置为进行如下操作的至少一条指令：当经由麦克风输入语音时，允许处理器对显示器上显示的应用执行由所输入的语音指示的命令；并且当处理器不能够对该应用执行由所输入的语音指示的命令时，允许处理器根据优先级对其他应用执行该命令，其中优先级是针对与该命令相关的应用预先确定的。
冰箱还可以包括扬声器，并且存储器可以存储被配置为执行如下操作的至少一条指令：当处理器不能够对应用执行由所输入的语音指示的命令时，允许处理器经由扬声器输出指示不能对应用执行命令的语音。
冰箱还可以包括扬声器，并且存储器可以存储被配置为执行如下操作的至少一条指令：当不存在优先级时，允许处理器经由扬声器输出请求确认是否对其他应用执行命令的语音。
存储器可以存储被配置为执行如下操作的至少一条指令：当输入对确认请求的答复时，允许处理器对由所输入的答复指示的应用执行由语音指示的命令。
存储器可以存储被配置为执行如下操作的至少一条指令：当处理器不能够对应用执行由所输入的语音指示的命令时，允许处理器根据优先级来选择要被执行命令的应用，其中优先级是针对与命令相关的应用预先确定的；并且允许处理器对所选择的应用执行命令。
存储器可以存储被配置为执行如下操作的至少一条指令：当经由麦克风输入的语音中不包含要被执行由语音指示的命令的目标时，允许处理器对显示器上显示的应用执行由所输入的语音指示的命令。
本公开的另一方面提供了一种冰箱，包括：储存室，被配置为储存食物；温度检测器，被配置为检测储存室的内部温度；冷却器，被配置为向储存室供应冷空气；麦克风，被配置为接收语音；显示器，被配置为显示信息；扬声器，被配置为输出语音；至少一个处理器，被配置为电连接到温度检测器、麦克风和显示器；以及存储器，被配置为电连接到所述至少一个处理器。
存储器可以存储被配置为执行如下操作的至少一条指令：当经由麦克风输入语音并且需要识别用于执行由语音指示的命令的用户时，允许处理器在显示器上显示预先注册的用户；并且经由扬声器输出请求从所显示的用户中选择用户的语音。
存储器可以存储被配置为执行如下操作的至少一条指令：当输入从所显示的用户中选择至少一个用户的语音时，允许处理器根据所选择的用户来执行由语音指示的命令；并且允许处理器在显示器上显示执行结果。
存储器可以存储被配置为执行如下操作的至少一条指令：当需要识别用于执行由语音指示的命令的用户时，允许处理器在显示器上显示预先注册的用户和标识每个用户的标记。
存储器可以存储被配置为执行如下操作的至少一条指令：当输入从标记中选择至少一个标记的语音时，允许处理器根据由标记指示的用户来执行由语音指示的命令；并且允许处理器在显示器上显示执行结果。
存储器可以存储被配置为执行如下操作的至少一条指令：当经由麦克风输入语音并且语音中包含指示用户的表达时，允许处理器根据语音中包含的用户来执行由语音指示的命令；并且允许处理器在显示器上显示执行结果。
存储器可以存储被配置为执行如下操作的至少一条指令：当经由麦克风输入语音时，允许处理器根据由预先存储的语音数据中与所输入的语音相匹配的语音数据指示的用户来执行由语音指示的命令；并且允许处理器在显示器上显示执行结果。
本公开的另一方面提供了一种冰箱的信息显示方法，包括：经由麦克风接收包括食物名称在内的第一语音；基于对第一语音的识别，在安装在冰箱的前表面上的显示器上显示包括与食物名称相对应的食物信息和标识食物信息的标识标记在内的食物列表；经由麦克风接收涉及标识标记的第二语音；以及基于对第二语音的识别，在显示器上显示与标识标记相对应的至少一条食物购买信息。
有益效果
可以提供一种能够通过使用语音识别技术以语音接收命令并且能够以语音输出内容的冰箱。
可以提供一种能够基于语音中的命令来提供互联网购物的冰箱。
可以提供一种能够识别多个用户并提供适合于所识别用户的内容的冰箱。
附图说明
图1是根据本公开的一个实施例的冰箱的外观的视图。
图2是根据本公开的一个实施例的冰箱的前视图。
图3是根据本公开的一个实施例的冰箱的配置的框图。
图4是根据本公开的一个实施例的冰箱中包括的显示器的视图。
图5是根据本公开的一个实施例的冰箱中包括的显示器上显示的主页屏幕的视图。
图6和图7是根据本公开的一个实施例的冰箱中包括的显示器上显示的语音识别应用的视图。
图8是示出了根据本公开的一个实施例的通过冰箱中包括的通信电路与外部设备的通信的视图。
图9和图10是示出了根据本公开的一个实施例的服务器与冰箱之间的通信的视图。
图11A至图14是示出了根据本公开的一个实施例的用户通过冰箱购买食物的方法的视图。
图15和图16是示出了根据本公开的一个实施例的冰箱根据语音命令来执行命令的方法的视图。
图17至图20是示出了根据本公开的一个实施例的冰箱识别用户并提供与所识别的用户相对应的信息的方法的视图。
图21A是根据本公开的一个实施例的用于数据训练和识别的控制器的框图。
图21B是根据本公开的一个实施例的数据学习器和数据识别器的详细框图。
图22是根据本公开的一个实施例的冰箱显示信息的流程图。
图23是根据本公开的一个实施例的网络系统的流程图。
图24是示出了根据本公开的另一实施例的用户经由冰箱购买食物的方法的视图。
具体实施方式
本公开中描述的实施例和附图中示出的配置仅仅是本公开的实施例的示例，并且可以在提交本申请时以各种不同的方式进行修改以替换本公开的实施例和附图。
本文使用的术语用于描述实施例，并不旨在限制和/或约束本公开。
例如，除非上下文另有明确说明，否则单数形式“一”、“一个”和“该/所述”也旨在包括复数形式。
在本公开中，术语“包括/包含”、“具有”等用于指定特征、数字、步骤、操作、元素、组件、或其组合，但不排除存在或添加特征、元素、步骤、操作、元件、组件、或其组合中的一项或多项。
应当理解，尽管本文可以使用术语第一、第二、第三等来描述各种元件，但是元件不受这些术语的限制。这些术语仅用来将一个元件与另一元件区分开来。
在以下描述中，诸如“单元”、“部分”、“块”、“构件”和“模块”之类的术语可以指示用于处理至少一项功能或操作的单元。例如，这些术语可以指示由至少一个硬件(例如，现场可编程门阵列(FPGA)和专用集成电路(ASIC))、存储在存储器或处理器中的至少一个软件处理的至少一个过程。
此外，术语“食物”用于指代由人类或机器制造的工业产品或由用户生产或猎杀的产品。
下面，将参照附图来详细描述本公开的示例性实施例。在本公开的附图中示出的相同的附图标记或符号指示执行基本上相同的功能的组件或元件。
图1是根据本公开的一个实施例的冰箱的外观的视图，图2是根据本公开的一个实施例的冰箱的前视图。图3是根据本公开的一个实施例的冰箱的配置的框图，图4是根据本公开的一个实施例的冰箱中包括的显示器的视图。
如图1、图2和图3所示，冰箱1可以包括主体10和门30，其中主体10包括开放的前表面，并且门30打开和关闭主体10的开放的前表面。主体10设置有储存室20，其中储存室20具有开放的前表面，以便以冷藏方式或冷冻方式保存食物。
主体10可以形成冰箱1的外观。主体10可以包括形成储存室20的内壳11和通过耦接到内壳11的外部来形成冰箱的外观的外壳12。可以在主体10的内壳11与外壳12之间填充绝热材料(未示出)，以防止储存室20的冷却空气泄漏。
储存室20可以通过水平隔板21和竖直隔板22被划分成多个储存室。例如，如图1所示，储存室20可以被划分成上部储存室20a、第一下部储存室20b和第二下部储存室20c。可以在储存室20中设置搁架23和封闭容器24，其中在搁架23上放置食物，并且食物以密封方式储存在封闭容器24中。
储存室20可以通过门30打开和关闭。例如，如图1所示，上部储存室20a可以通过第一上部门30aa和第二上部门30ab打开和关闭。第一下部储存室20b可以通过第一下部门30b打开和关闭，并且第二下部储存室20c可以通过第二下部门30c打开和关闭。
门30可以设置有容易打开和关闭门30的手柄31。手柄31可以在第一上部门30aa与第二上部门30ab之间以及在第一下部门30b与第二下部门30c之间沿竖直方向伸长。因此，当门30关闭时，手柄31看上去可以是一体设置的。
此外，冰箱1可以包括以下项中的至少一项：显示器120、存储设备130、通信电路140、取水机150、冷却器160、温度检测器170、音频设备180和主控制器110。
显示器120可以与用户进行交互。例如，显示器120可以从用户接收用户输入并根据所接收的用户输入来显示图像。
显示器120可以包括显示图像的显示面板121、接收用户输入的触摸面板122以及控制/驱动显示面板121和触摸面板122的触摸面板控制器123。
显示面板121可以通过触摸屏控制器123将从主控制器110接收的图像数据转换成由用户观看的光学图像。
显示面板101可以采用阴极射线管(CRT)显示面板、液晶显示(LCD)面板、发光二极管(LED)面板、有机发光二极管(OLED)面板、等离子体显示面板(PDP)和场发射显示(FED)面板。然而，显示面板101不限于此，并且显示面板101可以采用可视地显示与图像数据相对应的光学图像的各种显示装置。
触摸面板122可以接收用户的触摸输入并将与所接收的触摸输入相对应的电信号发送给触摸屏控制器123。
具体地，触摸面板122检测触摸面板122上的用户触摸，并将与用户触摸点的坐标相对应的电信号发送给触摸屏控制器123。如下面将描述的，触摸屏控制器123可以基于从触摸面板122接收的电信号来获取用户触摸点的坐标。
另外，触摸面板122可以位于显示面板121的前表面上。换句话说，触摸面板122可以设置在显示图像的表面上。因此，触摸面板122可以由透明材料制成，以防止显示面板121上显示的图像失真。
触摸面板122可以采用电阻膜型触摸面板或电容式触摸面板。然而，触摸面板122不限于此，并且因此触摸面板可以采用检测用户的触摸或接近并输出与所检测的触摸点的坐标或接近点的坐标相对应的电信号的各种输入装置。
触摸屏控制器123可以驱动/控制显示面板121和触摸面板122的操作。具体地，触摸屏控制器123可以驱动显示面板121以允许显示面板121显示与从主控制器110接收的图像数据相对应的光学图像，并控制触摸面板122以允许触摸面板检测用户触摸点的坐标。
根据实施例，触摸屏控制器123可以基于从触摸面板122输出的电信号来识别用户触摸点的坐标，并且将所识别的用户触摸点的坐标发送给主控制器110。
此外，根据实施例，触摸屏控制器123可以将从触摸面板122输出的电信号发送给主控制器110，以允许主控制器110识别用户触摸点的坐标。
触摸屏控制器123可以包括存储器(未示出)和微处理器(未示出)，其中存储器存储用于控制显示面板121和触摸面板122的操作的程序和数据，并且微处理器执行用于根据存储器中存储的程序和数据对显示面板121和触摸面板122的操作进行控制的操作。另外，触摸屏控制器123的存储器和处理器可以被设置为单独的芯片或单个芯片。
显示器120可以安装在门30中以方便用户。例如，如图2所示，显示器120可以安装在第二上部门30ab中。在下文中，将描述安装在第二上部门30ab上的显示器120。然而，显示器120的位置不限于第二上部门30ab。例如，只要用户可以看到，取水机150可以安装在任何位置，例如，第一上部门30aa、第一下部门30b、第二下部门30c和主体10的外壳12。
另外，显示器120可以设置有唤醒功能，其中当用户在预定范围内接近时，唤醒功能被自动激活。例如，当用户在预定范围内接近时，显示器120可以被激活。换句话说，可以开启显示器120。另一方面，当用户在预定范围之外时，显示器120可以被去激活。换句话说，可以关闭显示器120。
显示器120可以显示各种屏幕或图像。下面将详细描述显示器120上显示的屏幕或图像。
存储设备130可以存储用于控制冰箱1的操作的控制程序和控制数据以及用于根据用户输入执行各种功能的各种应用程序和应用数据。例如，存储设备130可以包括用于管理冰箱1中包括的配置和资源(软件和硬件)的操作系统(OS)程序、用于显示预先存储的图像的图像显示应用、用于播放预先存储的视频的视频播放应用、用于播放音乐的音乐应用、用于播放收音机的收音机应用、用于管理日程的日历应用、用于存储备忘录的备忘录应用、用于在线购买食物的在线购物中心应用以及用于提供食谱的食谱应用。
此外，存储设备130可以包括即使在电源关闭时也不会丢失程序或数据的非易失性存储器。例如，存储设备130可以包括大容量闪存或固态驱动器(SSD)131。
通信电路140可以在主控制器110的控制下将数据发送给外部设备或者从外部设备接收数据。
通信电路140可以包括根据预定通信协议发送和接收数据的通信模块141、142和143中的至少一个。例如，通信电路140可以包括经由接入点连接到局域网(LAN)的WiFi(无线保真：)模块141、以一对一关系与外部设备进行通信或者以一对多关系与少量外部设备进行通信的蓝牙模块142以及在多个电子设备(主要是家用电器)之间形成LAN的ZigBee模块143。
此外，多个通信模块141、142和143可以包括向自由空间发送无线电信号并且从自由空间接收无线电信号的天线以及调制要发送的数据或者对所接收的无线电信号进行解调的调制器/解调器。
下面更详细地描述冰箱1通过通信电路140进行的操作。
取水机150可以根据用户的输入来排出水或冰。换句话说，用户可以通过取水机150直接将水或冰取出到外部而无需打开门30。
取水机150可以包括接收用户的排出命令的取水机操作杆151、排出水或冰的取水机喷嘴152、将水从外部水源引导至取水机喷嘴152的引流路径153、净化被排出的水的过滤器154以及显示取水机150的操作状态的取水机显示面板155。
取水机150可以安装在门30或主体10的外部。例如，如图2所示，取水机150可以安装在第一上部门30aa中。在下文中，将描述安装在第一上部门30aa中的取水机150。然而，取水机150的位置不限于第一上部门30aa。因此，只要用户可以取出水或冰，取水机150可以安装在任何位置，例如第二上部门30ab、第一下部门30b、第二下部门30c以及主体10的外壳12。
例如，门30或外壳12可以设置有向冰箱内部凹陷的空腔150a，以形成用于取出水或冰的空间，并且空腔150a可以设置有取水机喷嘴152和取水机操作杆151。当用户按压取水机操作杆151时，水或冰从取水机喷嘴152排出。
具体地，当水通过取水机喷嘴152排出时，水可以沿着引流路径152从外部水源(未示出)流到取水机喷嘴152。此外，水可以在流到取水机喷嘴152的同时通过过滤器153净化。
此时，过滤器153可以可拆卸地安装在主体10或门30中，并且因此当过滤器153损坏时，可以用新的过滤器替换过滤器153。
冷却器160可以将冷空气供应到储存室20。
具体地，冷却器160可以通过利用制冷剂的蒸发而将储存室20的温度保持在预定范围内。
冷却器160可以包括压缩气体制冷剂的压缩器161、将经压缩的气体制冷剂转换成液体制冷剂的冷凝器162、降低液体制冷剂的压力的膨胀器163以及将经加压的液体制冷剂转换成气态的蒸发器164。
具体地，冷却器160可以通过使用如下现象将冷空气供应到储存室20：经解压的液体制冷剂在转换成气态的同时吸收周围空气的热能。
然而，冷却器160的构造不限于压缩器161、冷凝器162、膨胀器163和蒸发器164。
例如，冷却器160可以包括使用珀耳帖(Peltier)效应的珀耳帖元件。珀耳帖效应指的是：当电流流过金属彼此接触的接触面时，在一个金属中生成热量并且在另一金属中吸收热量。冷却器160可以使用珀耳帖元件将冷空气供应给储存室102。
备选地，冷却器160可以包括使用磁致热效应的磁冷却器。磁致热效应指的是：当某种物质(磁致热材料)被磁化时，它释放热量，并且当某种物质(磁致热材料)被消磁时，它吸收热量。冷却器160可以使用磁冷却器将冷空气供应给储存室20。
温度检测器170可以放置在储存室20内部，以检测储存室20内部的温度。温度检测器170可以包括分别安装在多个储存室20a、20b和20c中的多个温度传感器171。另外，多个温度传感器171中的每一个可以包括其中电阻随温度变化的热敏电阻。
音频设备180可以包括：将从主控制器110接收的电信号转换成声信号并输出该声信号的扬声器181，以及将声信号转换成电信号并将该电信号输出到主控制器110中的麦克风182。
基于经由显示器120接收的用户输入和/或存储设备130中存储的程序和数据，主控制器110可以控制冰箱1中包含的显示器120、存储设备130、通信电路140、取水机150、冷却器160、温度检测器170和音频设备180。
主控制器110可以包括执行用于控制冰箱1的操作的微处理器111和储存/存储与微处理器111的操作的执行相关的程序和数据的存储器112。
微处理器111可以根据存储器112中存储的程序来加载储存/存储在存储器112中的数据，并且可以对所加载的数据执行算术运算或逻辑运算。此外，微处理器111可以将算术运算或逻辑运算的结果输出给存储器112。
存储器112可以包括易失性存储器，其中易失性存储器在电源断开时丢失所存储的数据。易失性存储器可以从上述存储设备130加载程序和数据，并临时存储所加载的数据。另外，易失性存储器可以将所存储的程序和数据提供给微处理器111，并存储从微处理器111输出的数据。这些易失性存储器可以包括S-RAM和D-RAM。
此外，存储器112可以根据需要包括非易失性存储器。当电源断开时，非易失性存储器可以保留所存储的数据。非易失性存储器可以存储用于管理和初始化冰箱1中包含的各种组件的固件。非易失性存储器可以包括只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)和闪存。
另外，主控制器110可以包括多个微处理器111和多个存储器112。例如，主控制器110可以包括控制冰箱1的温度检测器170、取水机150和冷却器160的第一微处理器和第一存储器。主控制器110可以包括控制冰箱1的显示器120、存储设备130、通信电路140和音频设备180的第二微处理器和第二存储器。
尽管已经描述了微处理器111和存储器112在功能上进行区分，但是微处理器111和存储器112可以在物理上不彼此区分。例如，微处理器111和存储器112可以被实现为单独的芯片或单个芯片。
主控制器110可以控制冰箱1的整体操作，并且可以假设在主控制器110的控制下执行下面描述的冰箱1的操作。
尽管已经在上面的描述中描述了主控制器110、存储设备130和通信电路140在功能上彼此区分，但是主控制器110、存储设备130和通信电路140可以在物理上不彼此区分。例如，主控制器110、存储设备130和通信电路140可以被实现为单独的芯片或单个芯片。
在上文中已经描述了冰箱1中包含的显示器120、存储设备130、通信电路140、取水机150、冷却器160、温度检测器170、音频设备180和主控制器110，但是根据需要，可以添加新的配置或者可以省略一些配置。
图5是根据本公开的一个实施例的冰箱中包括的显示器上显示的主页屏幕的视图。
当向冰箱1供电时，主控制器110可以允许显示器120显示如图5所示的主页屏幕200。
可以在主页屏幕200上显示如下内容：显示时间和日期的时间/日期区域210、显示冰箱1的操作信息的操作信息区域220以及用于执行存储设备130中存储的应用的多个启动器(launcher)230。
可以在时间/日期区域210上显示当前的时间信息和今天的日期信息。此外，可以在时间/日期区域210上显示冰箱1所在的地点的地点信息(例如，国家或城市的名称)。
可以在操作信息区域220上显示与冰箱1中包含的多个储存室20a、20b和20c的操作相关的储存室图221。
可以在储存室图221上显示与冰箱1中包含的多个储存室20a、20b和20c的操作有关的信息。例如，如图5所示，上部储存室20a、第一下部储存室20b和第二下部储存室20c可以被分隔开并显示在储存室图221上，并且第一下部储存室20a的目标温度、第一下部储存室20b的目标温度以及第二下部储存室20c的目标温度可以被显示在储存室图221上。
当用户触摸指示相应的储存室20a、20b和20c的区域时，主控制器110可以在显示器120上显示用于指示每个储存室20a、20b和20c的目标温度的图像。例如，当用户触摸储存室图221中指示上部储存室20a的区域时，可以在显示器120上显示用于设定上部储存室20a的目标温度的图像。
此外，可以在操作信息区域220上显示用于执行对冰箱1的操作进行控制的应用的冰箱设置图标223和定时器设置图标222。
基于用户触摸了定时器设置图标222，可以在显示器120上显示用于设置定时器的目标时间的定时器设置屏幕。例如，用户可以经由定时器设置图像来输入将输出警报的时间或在输出警报之前的时间间隔。冰箱1可以在由用户输入的时间输出警报，或者冰箱1可以在由用户输入的时间间隔过去时输出警报。
基于用户触摸了冰箱设置图标223，主控制器110可以在显示器120上显示用于输入对冰箱1的操作进行控制的设置值的操作设置屏幕。例如，经由操作设置屏幕，用户可以设置冰箱1中包含的多个储存室20a、20b和20c中的每一个的目标温度，并且设置要通过取水机150排出的水与冰之间的选择。
此外，用于执行存储设备130中存储的应用的多个启动器230可以被显示在主页屏幕200上。
例如，可以在主页屏幕200上显示如下内容：用于执行相册应用的相册启动器231，其中该相册应用显示存储设备130中存储的图片；用于执行食谱应用的食谱启动器232，其中该食谱应用提供食物食谱；以及用于执行屏幕设置应用的屏幕设置启动器233，其中该屏幕设置应用控制显示器120的操作。
另外，可以在主页屏幕200上显示如下内容：用于执行家用电器控制应用的家用电器控制启动器234，其中该家用电器控制应用通过冰箱1控制各种家用电器；用于设置语音输出应用的操作的语音输出设置启动器235，其中该语音输出应用以语音输出各种内容；以及用于执行购物应用的在线购物启动器236，其中该购物应用用于进行在线购物。
如上所述，在冰箱1的主页屏幕200上，可以显示与冰箱1的操作相关的主要信息和用于执行各种应用的启动器。
然而，图5中所示的图仅是主页屏幕200的示例，并且因此冰箱100可以根据用户的设置显示各种类型的主页屏幕。此外，主页屏幕上显示的信息和启动器不限于图5。
图6示出了根据本公开的一个实施例的冰箱的显示器120上显示的语音识别的用户界面(UI)。在下文中，为方便起见，将主控制器称为控制器。
控制器110可以基于经由麦克风182输入了预定唤醒词，在显示器120上显示语音识别用户界面(UI)250。可以在显示器120上显示具有图6中所示的配置的语音识别UI 250。唤醒词可以由预定词或词的组合组成，并且可以改变为用户期望的表达。
如上所述，控制器110可以使用由用户说出的唤醒词来执行语音识别功能。备选地，如图7所示，当通知UI上显示的麦克风形状的按钮271被触摸时，控制器110可以执行语音识别功能。
指示用于执行语音识别功能的按钮的启动器的形状不限于麦克风的形状，并且因此可以以各种图像来实现。
当输入触摸手势时，可以在显示器120上显示如图7所示的通知UI。该触摸手势表示在触摸显示器120底部的特定点的同时向上滑动。用于执行语音识别功能的启动器可以被显示在显示器120的主页屏幕200或通知UI上。
控制器110可以通过使用语音识别功能识别和分析由自然语言组成的用户语音来识别用户意图，并且可以根据用户意图来执行命令。此外，通过将根据用户意图的命令的处理或结果输出为语音，控制器110可以允许用户在声学上识别语音命令的处理或结果。
在语音识别功能被激活时，可以在显示器120上显示语音识别UI 250，如图6和图7所示。语音识别UI 250可以包括：第一区域252，其中在该第一区域252上显示通过使用文本到语音(TTS)功能被输出为语音的词或句子；第二区域254，其中在该第二区域254上显示语音识别功能的状态；第三区域260，其中该第三区域260指示通过TTS功能正输出语音；设置对象256，其中该设置对象256用于设置语音识别功能；以及帮助对象258，其中该帮助对象258为语音识别功能的使用提供帮助。
显示语音识别功能的状态的第二区域254可以以文本方式显示正在输入用户语音的状态、等待输入用户语音的状态、或者正在处理根据用户语音输入的过程的状态。例如，正在输入用户语音的状态可以被显示为“收听”，等待的状态可以被显示为“待机”，并且正在处理过程的状态可以被显示为“处理”。上述中文文本仅是示例，并因此状态可以以韩文文本显示，或者可以被显示为图像而不是文本。
如图6和图7所示，语音识别UI 250可以在主页屏幕200上显示为弹出的卡型UI，或者显示在显示器120的整个屏幕上。
基于通过麦克风182输入了用户语音，控制器110可以将语音数据发送给稍后描述的第一服务器SV1，并且通过从第一服务器SV1接收通过分析语音而获取的信息来执行命令。
图8是示出了根据本公开的一个实施例的通过冰箱中包括的通信电路与外部设备的通信的视图，并且图9和图10是示出了根据本公开的一个实施例的服务器与冰箱之间的通信的视图。
冰箱1可以通过通信电路140与各种电子设备以及服务器SV1和SV2进行通信。
例如，如图8所示，冰箱1可以经由通信电路140连接到接入点(AP)。具体地，冰箱1可以通过使用诸如Wi-FiTM(IEEE 802.11)、BluetoothTM(IEEE 802.15.1)和Zigbee(IEEE802.15.4)之类的无线通信标准连接到接入点(AP)。
AP可以被称为“集线器”、路由器”、“交换机”或“网关”，并且AP可以连接到广域网(WAN)。
不仅冰箱1可以连接到AP，而且诸如空调2、洗衣机3、烤箱4、微波炉5、机器人清洁器6、安全摄像机7、灯8和电视机9之类的各种电子设备也可以连接到AP。连接到AP的电子设备1至9可以形成局域网(LAN)。
AP可以将由连接到AP的电子设备1至9形成的LAN连接到诸如互联网之类的WAN。
第一服务器SV1和第二服务器SV2可以连接到WAN，其中第一服务器SV1向冰箱提供通过分析语音数据而获取的信息，并且第二服务器SV2由通过安装在冰箱中的应用提供信息的供应商操作。例如，第二服务器SV2可以包括：经由诸如设置在冰箱中的商店应用之类的购物应用在线销售食物的服务器(下文称为“商店服务器”)、向天气应用提供信息的服务器(下文称为“天气服务器”)、向食谱应用提供关于食谱的信息的服务器(下文称为“食谱服务器”)以及向音乐应用提供关于音乐的信息的服务器(下文称为“音乐服务器”)。
此外，移动终端(MT)可以连接到WAN。根据MT的位置，MT可以直接连接到WAN，或者可以通过AP连接到WAN。例如，当MT位于AP附近时，MT可以通过AP连接到WAN。当MT远离AP时，MT可以通过由移动通信服务供应商提供的移动通信服务而直接连接到WAN。
经由AP，冰箱1可以将数据发送给第一服务器SV1和/或第二服务器SV2，并且从第一服务器SV1和/或第二服务器SV2接收数据。
例如，经由AP，冰箱1可以将经由麦克风182输入的用户语音的数据发送给第一服务器SV1，并且第一服务器SV1可以将包括用户意图在内的分析信息发送给冰箱，其中该用户意图是通过分析语音数据而获取的。
经由AP，冰箱1可以将所分析的用户语音数据的信息发送给第二服务器SV2，并且可以从第二服务器SV2接收信息，其中该信息是与诸如商店应用之类的特定应用相关的食物信息。
如上所述，冰箱1可以与第一服务器SV1进行通信，并且可以经由第一服务器SV1接收用户语音数据的分析信息。冰箱1可以与第二服务器SV2进行通信，并且可以经由第二服务器SV2接收与特定应用相关的信息。在下文中，将参考图9和图10更详细地描述冰箱与服务器之间的通信。
如图9所示，当输入从用户说出的语音命令时，冰箱1将语音数据发送给第一服务器SV1(1000)。基于接收到语音数据，第一服务器SV1可以通过分析语音数据来导出用户意图(1010)。
基于经由麦克风182输入了用户语音命令，冰箱1的控制器110将模拟语音信号转换成作为数字信号的语音数据，并且通信电路140将语音数据发送给第一服务器SV1。
冰箱1的控制器110可以以脉冲编码调制方法将模拟语音信号转换成数字语音信号。例如，基于输入了语音命令(例如，“请让我知道今天的天气”)，冰箱1的控制器110可以将语音命令转换成数字信号并将数字信号发送给第一服务器SV1。
第一服务器SV1可以包括自动语音识别(ASR)部和自然语言理解(NLU)部，其中ASR部被配置为通过对从冰箱1发送的语音数据执行预处理来去除噪声，并且被配置为通过分析语音数据将语音数据转换成文本，NLU部被配置为基于由自动语音识别部通过转换而获取的文本来识别用户意图。备选地，第一服务器SV1可以包括使用人工智能算法训练的学习网络模型。在这种情况下，第一服务器SV1可以通过将从冰箱1发送的语音数据应用于学习网络模型来识别(或辨别、估计、推断、预测)用户意图。
例如，基于语音数据，第一服务器SV1的自动语音识别部和自然语言理解部可以将用户意图识别为需要与当前用户所在的地区的天气有关的信息。
第一服务器SV1可以将语音数据的分析信息发送给第二服务器SV2(1020)，并且第二服务器SV2可以将根据语音数据的分析信息得到的、语音数据所请求的信息发送给第一服务器SV1(1030)。第一服务器SV1可以将从第二服务器SV2发送的信息发送给冰箱1(1040)。
基于语音数据中包含的用户意图，第一服务器SV1选择向与用户意图相关的应用提供信息的第二服务器SV2，并且第一服务器SV1将语音数据的分析信息发送给所选择的第二服务器SV2。
例如，基于语音数据中包含的用户意图，其中该用户意图被识别为要求与用户所在的地区的天气有关的信息，第一服务器SV1可以将语音数据的分析信息发送给第二服务器SV2中向天气应用提供信息的天气服务器。
第二服务器SV2可以基于语音数据的分析信息来搜索与用户意图相匹配的信息，并将搜索到的信息发送给第一服务器SV1。例如，天气服务器可以基于语音数据的分析信息来生成用户所在地区的当前天气信息，并将所生成的天气信息发送给第一服务器SV1。第一服务器SV1将从第二服务器SV2发送的信息转换成JavaScript对象表示法(JSON)文件格式，并将JSON文件格式发送给冰箱1。
冰箱1将从第一服务器SV1发送的信息在显示器120上显示为卡型用户界面(UI)，并以语音输出该信息(1050)。
基于从第一服务器SV1发送并由冰箱1的通信电路140接收的JSON文件格式的信息，冰箱1的控制器110可以将所接收的信息在显示器120上显示为卡型UI，并且通过使用TTS功能以语音输出所接收的信息。
例如，基于从第一服务器SV1发送的与用户位置的当前天气有关的JSON文件格式的信息，冰箱1的控制器110可以将包括用户位置、时间和天气的信息在显示器120上显示为卡型UI。控制器110可以将卡型UI中显示的天气信息输出为语音，例如“**街道的今天的当前天气是20摄氏度，湿度是50％并且晴朗无云”。
同时，参考图10，冰箱1基于由用户说出的语音命令将语音数据发送给第一服务器SV1(1100)。基于接收到语音数据，第一服务器SV1可以通过分析语音数据来导出用户意图(1110)。
基于经由麦克风182输入了用户语音命令，冰箱1的控制器110将模拟语音信号转换成作为数字信号的语音数据，并且通信电路140将语音数据发送给第一服务器SV1。
冰箱1的控制器110可以以脉冲编码调制方法将模拟语音信号转换成数字语音信号。例如，基于所输入的诸如“播放下一首歌曲”之类的语音命令，冰箱1的控制器110可以将语音命令转换成数字信号并将数字信号发送给第一服务器SV1。另外，基于所输入的诸如“请让我知道苹果派食谱”之类的语音命令，冰箱1的控制器110可以将语音命令转换成数字信号并将数字信号发送给第一服务器SV1。
第一服务器SV1可以包括自动语音识别(ASR)部和自然语言理解(NLU)部，其中ASR部被配置为通过对从冰箱1发送的语音数据执行预处理来去除噪声，并且被配置为通过分析语音数据将语音数据转换成文本，NLU部被配置为基于由自动语音识别部通过转换而获取的文本来识别用户意图。备选地，第一服务器SV1可以包括使用人工智能算法训练的学习网络模型。在这种情况下，第一服务器SV1可以通过将从冰箱1发送的语音数据应用于学习网络模型来识别(或辨别、估计、推断、预测)用户意图。
例如，基于语音数据，第一服务器SV1的自动语音识别部和自然语言理解部可以将用户意图识别为要求播放当前正在播放的歌曲的下一首歌曲。另外，基于语音数据，第一服务器SV1的自动语音识别部和自然语言理解部可以将用户意图识别为询问苹果派食谱。
第一服务器SV1可以将语音数据的分析信息发送给冰箱1(1120)，并且冰箱1可以将语音数据的分析信息发送给第二服务器SV2(1130)。第二服务器SV2可以将根据语音数据的分析信息得到的、语音数据所请求的信息发送给冰箱1(1140)。
当通过分析语音数据识别用户意图时，第一服务器SV1将用户语音数据的分析信息转换成JSON文件格式，并将该JSON文件格式发送给冰箱1。
当冰箱1的通信电路140接收到从第一服务器SV1发送的JSON文件格式的分析信息时，冰箱1的控制器110可以基于分析信息来选择应用并将分析信息输出给所选择的应用。
例如，当基于JSON文件格式的分析信息，用户意图被识别为请求播放当前播放的歌曲的下一首歌曲时，冰箱1的控制器110可以选择音乐应用作为能够执行与用户意图相关的功能的应用。控制器110可以将用于请求播放下一首歌曲的命令发送给所选择的音乐应用。
例如，当基于JSON文件格式的分析信息，用户意图被识别为请求苹果派食谱时，冰箱1的控制器110可以选择食谱应用作为能够执行与用户意图相关的功能的应用。控制器110可以将用于请求关于苹果派食谱的信息的命令发送给所选择的食谱应用。
基于分析信息被输出给所选择的应用，所选择的应用可以将分析信息发送给提供信息的第二服务器SV2。第二服务器SV2可以基于语音数据的分析信息来搜索满足用户意图的信息，并将搜索到的信息发送给冰箱1。
例如，在接收到从控制器110输出的分析信息时，音乐应用可以向为音乐应用提供信息的第二服务器SV2请求关于下一首歌曲的信息，其中该第二服务器SV2是音乐服务器。
音乐服务器可以基于语音数据的分析信息选择当前播放的歌曲的下一首歌曲，并将与所选择的下一首歌曲有关的信息提供给音乐应用。
另外，在接收到从控制器110输出的分析信息时，食谱应用可以向被配置为向食谱应用提供信息并且对应于食谱服务器的第二服务器SV2请求关于苹果派食谱的信息。食谱服务器可以基于语音数据的分析信息向食谱应用提供预先存储的苹果派食谱，或者搜索其他苹果派食谱并将搜索到的食谱提供给食谱应用。
基于接收到从第二服务器SV2发送的信息，冰箱1可以根据所接收的信息来执行相关的应用(1150)。
当冰箱1的通信电路140接收到从第二服务器SV2发送的信息时，控制器110可以根据从第二服务器SV2发送的信息来执行所选择的应用，以提供与用户语音相对应的信息。
例如，控制器110在接收到从音乐服务器发送的、有关下一首歌曲的信息时执行音乐应用。音乐应用可以根据从音乐服务器发送的、关于下一首歌曲的信息，停止播放当前歌曲并播放下一首歌曲。可以在冰箱1的显示器120上显示音乐应用UI，因此可以显示与下一首歌曲的播放有关的信息。可以停止当前播放的歌曲的输出，并且可以通过冰箱1的扬声器181输出下一首歌曲。
另外，控制器110在接收到从食谱服务器发送的、有关苹果派食谱的信息时执行食谱应用。可以在冰箱1的显示器120上显示食谱应用UI，因此可以显示苹果派食谱。可以通过冰箱1的扬声器181输出用于阅读苹果派食谱的语音。
如图9所示，可以经由第一服务器SV1与第二服务器SV2之间的通信接收关于用户语音的信息。如图10所示，可以经由冰箱1与第二服务器SV2之间的通信接收关于用户语音的信息。
图11A至图14是示出了根据本公开的一个实施例的用户通过冰箱购买食物的方法的视图。
如图11A所示，可以经由麦克风182输入用于订购某种食物的、带有唤醒词的语音(900)。基于识别出唤醒词，控制器110可以通过执行语音识别功能来分析用户语音，从相关应用(例如，商店应用)接收用户语音中包含的食物的列表300，并且在显示器120上的卡型UI中显示该食物列表(901)。
冰箱1可以利用图9所示的方法通过与第一服务器SV1的通信来分析用户语音，以便识别用户意图，并且经由第一服务器SV1接收从第二服务器SV2发送的与用户意图(例如，食物列表)相关的信息。所接收的信息可以用作用于显示食物列表的应用的输入值，因此食物列表300可以被显示在卡型UI中，如图11A所示。例如，用户语音的分析结果可以是食物名称。食物名称不仅可以包括食物的确切名称，而且还可以包括涉及食物的习语或俚语、食物名称的一部分以及与食物名称相似的名称。此外，食物名称也可以是由冰箱1的用户说出或注册的别名。
食物列表300可以在语音识别UI 250的底部被显示为卡型UI。食物列表300可以包括表示食物的代表性图像314、包括制造商、食物的名称、数量、总量和价格在内的食物信息316以及标识标记312，其中标识标记312被配置为将对应的食物与其他食物区分开，并以数字显示。
由于能够将多个食物彼此区分开的标记足以作为标识标记，因此标识标记可以以数字或字符来显示。
标签318可以被显示在食物列表300的底部，并且当用户想要找到比食物列表300中包含的食物更多的食物时，可以选择标签318。标签318可以以文本“查看商店*的更多食物”来显示，从而指示标签318的功能。当用户触摸标签318时，可以执行提供食物信息的商店应用，并且因此可以在显示器120上显示食物信息。
通过扬声器181，控制器110可以输出食物列表300和请求对从食物列表300中包含的食物中选择食物的确认的语音。在语音识别UI250的第三区域260上，控制器110可以显示指示正通过扬声器181输出语音的麦克风形状的图像。此外，通过扬声器181输出的语音可以以文本形式显示在语音识别UI的第一区域250上。
在各种实施例中，控制器110可以经由麦克风182识别包括食物名称在内的第一语音。例如，控制器110可以将第一输入语音转换成数字语音信号。控制器110可以通过使用人工智能算法训练的学习网络模型来识别数字语音信号，从而获取与第一语音相对应的食物名称。第一语音中包含的食物名称与通过识别而获取的食物名称可彼此相同或彼此不同。例如，第一语音中包含的食物名称可以是惯用语、别名、或食物名称的一部分，但是通过识别所获取的食物名称可以是全名、销售名称或商标名称。
识别第一语音的学习网络模型可以被存储在存储设备130中或者第一服务器SV1中，其中第一服务器SV1通过接收第一语音数据来识别第一语音数据。
当学习网络模型被存储在第一服务器SV1中时，控制器110可以将转换成数字语音信号的第一语音发送给第一服务器SV1。第一服务器SV1可以通过将第一语音作为输入值应用于使用人工智能算法训练的学习网络模型来识别(或估计、推断、预测、辨别)与第一语音相对应的食物名称。基于识别的结果，第一服务器SV1可以将与第一语音相对应的食物名称发送给控制器110。备选地，当学习网络模型被存储在存储设备130中时，控制器110可以通过将转换成数字语音信号的第一语音应用于存储设备130中存储的学习网络模型来识别与第一语音相对应的食物名称。
当通过使用学习网络模型获取到食物名称时，控制器110可以在显示器120上显示食物列表300，其中该食物列表300包括与所获取的食物名称有关的食物信息316和用于将该食物与其他食物区分开的标识标记312。
接下来，通过麦克风182，控制器110可以识别涉及食物列表的标识标记312的第二语音。控制器110可以将第二输入语音转换成数字语音信号。控制器110可以通过使用人工智能算法训练的学习网络模型识别数字语音信号，来获取与第二语音相对应的标识标记。识别第二语音的学习网络模型可以被存储在存储设备130中或者分析语音数据的第一服务器SV1中。
当学习网络模型被存储在第一服务器SV1中时，控制器110可以将转换成数字语音信号的第二语音发送给第一服务器SV1。第一服务器SV1可以通过将第二语音作为输入值应用于使用人工智能算法训练的学习网络模型来识别(或估计、推断、预测、辨别)与第二语音相对应的标识标记。基于识别的结果，第一服务器SV1可以将与第二语音相对应的标识标记发送给控制器110。备选地，当学习网络模型被存储在存储设备130中时，控制器110可以通过将转换成数字语音信号的第二语音应用于存储设备130中存储的学习网络模型来识别与第二语音相对应的标识标记。
当通过学习网络模型识别出标识标记时，控制器110可以在显示器120上显示由标识标记312表示的至少一条食物购买信息。
图11B是示出了根据本公开的另一实施例的用户通过冰箱购买食物的方法的视图。
如图11B所示，可以经由麦克风182输入用于订购某种食物的语音(950)。
控制器110可以识别包括食物名称在内的第一语音。如上所述，控制器110可以通过将经由麦克风182输入的第一语音应用于使用人工智能算法训练的学习网络模型来识别第一语音。
基于识别出第一语音，控制器110可以确定与对应于第一语音的食物名称相关的食物951-1是否被放置在储存室20中(951)。与食物名称相关的食物可以是如下食物：食物名称是所述名称的至少一部分的食物，或者名称与所述食物类似的食物，或者可以替代所述食物的食物。
例如，冰箱1可以将储存信息列表存储在存储设备130中，其中该储存信息列表包括放置在储存室20中的食物的名称。例如，当用户将食物储存在冰箱1的储存室20中时，可以通过用户输入来生成储存信息列表的食物名称。具体地，可以将由用户以语音或文本形式输入的信息存储为食物名称。备选地，通过由用户标记食物的标识信息(例如，条形码)，可以将标识信息中包含的食物名称存储为食物名称。备选地，可以通过识别由安装在冰箱1中的相机捕获的储存室10的图像来生成食物名称。例如，冰箱1可以通过将由相机捕获的图像应用于使用人工智能算法训练的学习网络模型来识别食物名称，并存储所识别的食物名称。
冰箱1可以搜索与第一语音相对应的食物名称是否在储存信息列表上，并且识别与食物名称相关的食物是否被放置在储存室20中。
当基于与对应于第一语音的食物名称相关的食物951-1是否被放置在储存室20中的识别结果识别出与食物名称相关的食物951-1被放置在储存室20中时，控制器110可以允许显示器120显示对食物951-1的存在加以指示的信息(952)。指示食物存在的信息可以包括以下项中的至少一项：通过捕获食物而获取的视频或图像952-1、指示食物存在的通知文本952-2(例如，“冰箱中有与您寻找的食物类似的食物”)、或者指示食物存在的通知声音。
另一方面，用户可能想要订购额外的食物。例如，在显示指示存在食物951-1的信息的显示器120上，可以一起显示用于订购额外的食物的UI(未示出)。响应于用于选择该UI(未示出)的用户输入，控制器110可以允许显示器120显示食物列表300，如图11A所示。
图11C是示出了根据本公开的另一实施例的用户通过冰箱购买食物的方法的视图。
如图11C所示，可以经由麦克风182输入用于订购某种食物的语音(960)。
控制器110可以识别包括食物名称在内的第一语音。如上所述，控制器110可以通过将经由麦克风182输入的第一语音应用于使用人工智能算法训练的学习网络模型来识别第一语音。
基于识别出第一语音，控制器110可以确定与对应于第一语音的食物名称相关的食物是否被放置在储存室20中(961)。例如，控制器110可以基于由安装在冰箱1中的相机捕获的储存室20的图像来识别与食物名称相关的食物是否被放置在储存室20中。备选地，关于放置在储存室20中的食物的储存信息列表可以被存储在冰箱1的存储设备130中。在这种情况下，冰箱1可以搜索食物名称是否在储存信息列表上，并且识别与食物名称相关的食物是否被放置在储存室20中。
当基于与对应于第一语音的食物名称相关的食物是否被放置在储存室20中的识别结果识别出与食物名称相关的食物未被放置在储存室20中时，控制器110可以在显示器120上显示食物列表962-1，以便购买食物(962)，其中该食物列表962-1包括具有与食物名称相对应的名称的食物信息和用于标识食物信息的标记。食物列表962-1可以在语音识别UI的底部被显示为卡型UI。
图11D是示出了根据本公开的另一实施例的用户通过冰箱购买食物的方法的视图。
如图11D所示，可以经由麦克风182输入用于订购某种食物的语音(970)。
控制器110可以识别包括食物名称在内的第一语音。如上所述，控制器110可以通过将经由麦克风182输入的第一语音应用于使用人工智能算法训练的学习网络模型来识别第一语音。另外，控制器110可以通过将经由麦克风182输入的第一语音应用于使用人工智能算法训练的学习网络模型来识别说出第一语音的用户，并且获取关于说出第一语音的用户的用户信息。
例如，当学习网络模型被存储在第一服务器SV1中时，控制器110可以将转换成数字语音信号的第一语音发送给第一服务器SV1。第一服务器SV1可以通过将第一语音作为输入值应用于使用人工智能算法训练的学习网络模型来识别(或估计、推断、预测、辨别)说出第一语音的用户。第一服务器SV1可以将与说出第一语音的用户有关的用户信息发送给控制器110。
备选地，当学习网络模型被存储在存储设备130中时，控制器110可以通过将转换成数字语音信号的第一语音应用于存储设备130中存储的学习网络模型来识别说出第一语音的用户。
当基于学习网络模型的结果获取食物名称和用户信息时，控制器110可以获取说出第一语音的用户所偏好的、与食物名称相关的食物信息(971)。例如，当大量用户使用冰箱1时，即使食物具有相同的名称，每个用户也可以具有他们自己偏好的食物，这取决于食物的制造商、食物的类型、食物的容量以及销售食物的地点。因此，冰箱1的存储设备130可以存储用户特定的食物信息列表971-1，在该列表中针对相同名称的食物注册了每个用户的偏好食物的信息。可以基于与每个用户的购买有关的购买历史、用户直接注册的输入历史以及与从标识标记中选择的对应于食物名称的标识标记相对应的食物信息历史，来确定用户特定的食物信息。另外，用户特定的食物信息列表可以根据每个用户偏好的优先级来存储食物信息。例如，可以存储如下食物信息：其中当对较大的购买历史给予较高的优先级时，按照用户的购买历史的顺序来选择优先级。
控制器110可以基于存储设备130中存储的食物信息列表来获取特定用户所偏好的食物信息(971)。备选地，控制器110可以通过将食物名称和用户信息应用于使用人工智能算法训练的学习网络模型来获取特定用户所偏好的食物信息。在这种情况下，学习网络模型可以是通过使用上述购买历史、输入历史以及与所选择的标识标记相对应的食物信息历史所训练的学习网络模型。
当获取说出第一语音的用户所偏好的食物名称和食物信息时，控制器110可以在显示器120上显示食物列表972-1，其包括用户所偏好的食物的信息和用于区分用户所偏好的食物与其他食物的标识标记。在食物列表972-1上，可以按照用户偏好的顺序来布置用户所偏好的食物的信息。
如图12所示，用户可以响应于用于请求确认从食物列表中包含的食物中选择食物的语音来说出用于选择某种食物的语音(902)。例如，用户可以说出用于区分食物的标识标记来作为语音。
为了选择食物列表上的第一个食物，用户可以通过说出“编号1”或“第一个事物”来选择标识标记(903和904)。
控制器110可以通过语音识别功能来分析用户语音。如图10所示，控制器110可以将用户语音数据发送给第一服务器SV1，并从第一服务器SV1接收语音数据的分析信息，从而识别用户意图。备选地，冰箱1的控制器110本身可以使用语音识别功能来分析用户语音并识别用户意图。
控制器110可以搜索与用户说出的标识标记相对应的食物名称(905)，并显示搜索到的食物。如图13中所示，控制器110可以执行商店应用，并且在显示器120上显示包括用于购买所选择的食物的购买信息在内的UI(906)。
控制器110可以通过图11所示的方法将用户语音数据的分析信息输出给商店应用，并且当从第二服务器SV2接收到食物信息时，控制器110可以通过执行商店应用而在显示器120上显示UI，如图13所示。
参考图13，可以显示指示与用户选择的食物有关的特定信息的食物确认UI 350。食物确认UI可以包括：表示食物的代表性图像区域354；包括制造商、食物名称、容量、数量和价格的食物信息区域356；用于控制食物的数量的数量控制区域358；以及食物购买区域360，其包括用于将食物放入购物车的购物车标签、用于立即购买食物的立即购买标签、用于赠送食物的礼物标签和用于对所选择的食物加书签的标签。如图13所示的食物购买UI中包含的区域的数量和布置仅仅是示例，因此可以包括其他数量、布置或其他内容。
如图14所示，用户可以说“将其放入购物车”以将食物确认UI上显示的食物放入购物车中(907)。用户可以说“对其进行购买”以立即购买食物确认UI上显示的食物(912)。
当响应于用户话语“将其放入购物车”而正常执行了将食物放入购物车的功能时(908中的“是”)，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“将所选择的食物添加到购物车”，如图14(909)所示。另外，控制器110可以使用TTS功能经由扬声器181用语音输出语音识别UI上显示的文本。语音识别UI可以显示在商店应用屏幕上的卡型UI中。
当输出指示正常将食物添加到购物车的文本和语音时，商店应用可以在显示器120上显示购物车屏幕(911)。
当在响应于用户话语“将其放入购物车”而将食物放入购物车的功能中出错时(908中的“否”)，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“将食物添加到购物车时出错。请检查内容并且再次尝试”，如图14(910)所示。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。在这种情况下，用户可以再次说“将其放入购物车”，以再次将食物添加到购物车。
当正常执行了响应于用户话语“对其进行购买”而立即购买食物的功能时(913中的“是”)，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“去往所选择的食物的购买页面”(914)。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。语音识别UI可以显示在商店应用屏幕上的卡型UI中。
当由于正常执行立即购买食物的功能而输出指示页面去往食物购买页面的文本和语音时，商店应用可以在显示器120上显示食物购买屏幕(915)。
当在响应于用户话语“对其进行购买”而立即购买食物的功能中出错时(913中的“否”)，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“去往购买页面时出错。请检查内容并且再次尝试”，如图14(916)所示。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。在这种情况下，用户可以再次说“对其进行购买”以再次购买食物。
同时，如图12所示，当用户不想选择食物列表中包含的食物或者用户想要取消食物购买过程时，用户可以说“取消”(917)。
响应于用户话语“取消”，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“取消食物搜索”(918)。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。语音识别UI可以显示在商店应用屏幕上的卡型UI中。
此外，如图12所示，用户可以说食物名称而不是标识标记(919)。当食物列表中包含的食物中存在具有相同名称的食物时，或者当用户说出错误的食物名称时，可能无法识别用户所选择的食物。在这种情况下，如图12所示，响应于用户话语，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“请说出编号”(920)。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。
如上所述，响应于用户话语，控制器110可以不立即执行应用，而是首先在卡型UI中提供信息，并且当选择了在卡型UI中提供的信息中的特定信息时，控制器110可以执行相关应用。
图15和图16是示出了根据本公开的一个实施例的冰箱根据语音命令来执行命令的方法的视图。
当用户说出用于执行语音命令的与指定目标有关的语音时，冰箱1的控制器110可以执行与语音命令相对应的命令，如图15所示。
如图15所示，当经由麦克风182输入语音“停止音乐”时(1300)，冰箱1的控制器110可以通过语音识别功能来分析用户语音，从而识别用户意图。冰箱1的控制器110可以通过语音识别功能来分析用户语音。备选地，冰箱1的控制器110可以将用户语音数据发送给第一服务器SV1，并从第一服务器SV1接收语音数据的分析信息。
基于被识别为“停止音乐”的用户意图，冰箱1的控制器110可以识别是否执行了播放音乐的音乐应用(1301)。当音乐在播放时，控制器110可以立即停止播放音乐(1302)。
当没有播放音乐时，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“未播放音乐”(1303)。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。
可以经由麦克风182输入未指定目标的语音命令，这与图15的示例不同。也就是说，如图16所示，可以经由麦克风182输入省略了命令目标的语音“停止”(1300)。
当可以经由麦克风182输入没有命令目标的语音“停止”时，冰箱1的控制器110可以通过语音识别功能分析用户语音，从而识别用户意图。冰箱1的控制器110可以通过语音识别功能来分析用户语音。备选地，冰箱1的控制器110可以将用户语音数据发送给第一服务器SV1，并从第一服务器SV1接收语音数据的分析信息。
当经由麦克风182输入的语音中不包含命令目标时，控制器110可以识别控制器是否能够对当前执行的、显示器120上显示的应用执行语音命令(1310)。
当控制器110能够对当前执行的、显示器120上显示的应用执行语音命令时，控制器110可以对显示器120上显示的应用执行语音命令(1320)。
例如，当食谱应用当前显示在显示器120上并且经由扬声器181输出阅读食谱的语音时，控制器110可以立即停止食谱应用阅读食谱的功能。
换句话说，当输入没有命令目标的语音命令时，控制器110可以识别是否将当前执行的、显示器120上显示的应用作为第一优先级来执行命令。
当控制器110不能对当前执行的、显示器120上显示的应用执行语音命令时，控制器110可以在显示器120上显示语音识别UI，从而通知不可执行语音命令(1330)。
也就是说，如图16所示，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“未阅读食谱”。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。
当控制器110通过语音识别UI通知不可对显示器120上显示的应用执行语音命令时，控制器110可以识别是否存在针对与所输入的语音命令相关的应用的预定优先级(1340)。当存在预定优先级时，控制器110可以根据优先级对应用执行语音命令(1350)。
例如，根据优先级，控制器110可以对排在最高优先级的应用执行语音命令，并且当不可对具有最高优先级的应用执行语音命令时，控制器110可以对排在下一最高优先级的应用执行语音命令。
当按照与语音命令“停止”相关的应用的优先级顺序将音乐应用排在最高优先级时，控制器110停止播放由音乐应用所播放的音乐。当音乐未播放时，控制器110可以识别是否执行排在下一最高优先级的应用。因此，控制器110可以按照最高优先级的顺序对应用执行语音命令。
当不存在针对与输入的语音命令相关的应用的预定优先级时，控制器110可以请求确认是否对其他应用执行语音命令(1360)。
如上所述，尽管在显示器120上显示食谱应用，但是当未执行阅读食谱的功能时，控制器110可以识别是否对其他应用执行语音命令。
当收音机应用当前在后台执行时，控制器110可以选择收音机应用作为语音命令的目标，如图16所示，并且在对收音机应用执行语音命令之前，控制器110可以显示语音识别UI并请求确认是否执行语音命令。
也就是说，如图16所示，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“您是否想停止收音机”。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。
当经由麦克风182输入对确认请求的答复时，控制器110根据所输入的答复来执行命令(1370)。
例如，当输入对确认请求“您是否想停止收音机”的肯定答复(例如，“是”)时，控制器110停止收音机应用的执行。
如上所述，尽管在语音命令中省略了命令的目标，但是根据一个实施例，冰箱1可以使用图16所示的方法执行满足用户意图的命令。
图17至图20是示出了根据本公开的一个实施例的冰箱识别用户并提供与所识别的用户相对应的信息的方法的视图。
如图17至图19所示，用户可以涉及特定用户，并且用户可以要求提供与特定用户有关的信息。
如图17所示，当经由麦克风182输入语音“显示妈妈的本月日历”(2000)时，冰箱1的控制器110可以通过语音识别功能来分析用户语音，从而识别用户意图。
冰箱1的控制器110可以通过语音识别功能来分析用户语音。备选地，冰箱1的控制器110可以将语音数据发送给第一服务器SV1，并从第一服务器SV1接收语音数据的分析信息。
日历应用已被描述为能够提供用户特定信息的应用，但是该应用不限于日历应用。因此，能够将特定于用户的内容输出为语音的语音输出设置应用(在图5中被称为“晨间简讯”)可以根据图17至图20中所示的方法提供用户特定信息。
冰箱1的控制器110可以通过识别语音中包含的用户名称来识别语音中包含的用户意图，并根据语音执行命令。也就是说，当识别出用户意图是显示多个用户中妈妈的日历(特别是妈妈的日历中的本月日历)时，控制器110通过执行日历应用在显示器120上显示妈妈的本月日历290，如图18(2030)所示。
如图18所示，从日历应用提供的日历可以包括显示日期和星期几的日历部分291以及显示今天的日程安排的日程安排部分292。图18中所示的日历的配置仅是示例，因此日历的配置和布置可以具有各种形状。
当冰箱1的控制器110未能识别出语音中包含的特定用户的名称时，控制器110执行从所存储的用户中选择特定用户的过程(2020)。
当冰箱1的控制器110未能识别出语音中包含的特定用户的名称时，冰箱1的控制器110可以在显示器120上显示语音识别UI，并且然后在语音识别UI上显示文本“请选择简档”(2021)。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。控制器110可以与语音识别UI一起显示在冰箱1中预先注册的用户简档列表。
简档列表包括用于标识每个用户名称的注册用户名和标识标记。如图19中所示，标识标记可以用数字显示，但不限于此。因为能够将多个用户彼此区分开的标记足以成为标识标记，所以标识标记可以用数字或字符来显示。
如图19所示，用户可以响应于用于请求确认从简档列表中包含的用户中选择用户的语音来说出用于选择特定用户的语音(2022)。例如，用户可以在语音中说出标识标记。
为了选择简档列表上的第二个用户，用户可以通过说出“2”或“第二个”来选择标识标记(2023和2024)。
控制器110可以通过语音识别功能来分析用户语音。如图10所示，控制器110可以将用户语音数据发送给第一服务器SV1，并从第一服务器SV1接收语音数据的分析信息，从而识别用户意图。备选地，冰箱1的控制器110本身可以使用语音识别功能来分析用户语音并识别用户意图。
控制器110可以选择与用户说出的标识标记相对应的用户名，并且在显示器120上显示所选择的用户的日历。也就是说，控制器110选择作为妈妈的、与用户说出的“2”或“第二个”相对应的用户，并且如图18所示，在显示器120上显示妈妈的本月日历(2030)。
另外，用户可以说出用户名，而不是标识标记(2025)。
当用户说出不正确的用户名或与用户名无关的不同表达时，可能无法识别出用户选择的简档。在这种情况下，控制器110可以响应于用户话语在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“说出简档编号”(2026)。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。
当控制器110询问用于选择简档的请求超过两次时(2027)，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“不可得到准确信息”，如图19(2028)所示。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。
尽管未在图中示出，但是当用户不想选择简档列表中包含的用户时，或者想要取消日历显示本身时，用户可以说“取消”。控制器110可以响应于用户话语在显示器120上显示语音识别UI，并在语音识别UI上显示文本“其被取消”。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。
如图20中所示，在不涉及特定用户的情况下，用户可以要求提供针对每个用户不同存储的信息。
如图20所示，当经由麦克风182输入语音“显示本月日历”时(2040)，冰箱1的控制器110可以通过语音识别功能来分析用户语音，从而识别用户意图。冰箱1的控制器110可以通过语音识别功能来分析用户语音。备选地，冰箱1的控制器110可以将语音数据发送给第一服务器SV1，并从第一服务器SV1接收语音数据的分析信息。
当语音数据中不包含指示特定用户的表达时，冰箱1的控制器110将该语音数据与预先存储的用户的语音数据进行比较，并识别预先存储的语音数据中是否存在与该语音数据相匹配的语音数据(2041)。
冰箱1的控制器110将经由麦克风182输入的语音数据的参数(例如，幅度、波形、频率或周期)与预先存储的语音数据的参数进行比较，并从预先存储的语音数据中选择被识别为与经由麦克风182输入的语音数据相同的语音数据。
当识别出在预先存储的语音数据中存在被识别为与经由麦克风182输入的语音数据相匹配的语音数据时，控制器110可以在显示器120上显示由所选择的语音数据指示的用户的日历(2042)。例如，当识别出预先存储的语音数据中相匹配的语音数据是妈妈时，控制器110可以在显示器120上显示妈妈的本月日历。
当识别出在预先存储的语音数据中不存在被识别为与经由麦克风182输入的语音数据相匹配的语音数据时(2041中的否)，冰箱1的控制器110可以在显示器120上显示语音识别UI，并且然后在语音识别UI上显示文本“请选择简档”，如图19(2021)所示。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。控制器110可以与语音识别UI一起显示在冰箱1中预先注册的用户简档列表。
如图19所示，用户可以响应于用于请求确认从简档列表中包含的用户中选择用户的语音来说出用于选择特定用户的语音(2022)。例如，用户可以在语音中说出标识标记。
为了选择简档列表上的第二个用户，用户可以通过说出“2”或“第二个”来选择标识标记(2023和2024)。
控制器110可以选择与用户说出的标识标记相对应的用户名，并且在显示器120上显示所选择的用户的日历。也就是说，控制器110选择作为妈妈的、与用户说出的“2”或“第二个”相对应的用户，并且如图18所示，在显示器120上显示妈妈的本月日历(2030)。
另外，用户可以说出用户名，而不是标识标记(2025)。当用户说出不正确的用户名或与用户名无关的不同表达时，可能无法识别出用户选择的简档。在这种情况下，如图19所示，控制器110可以响应于用户的话语在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“说出简档编号”(2026)。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。
当控制器110询问用于选择简档的请求超过两次时(2027)，控制器110可以在显示器120上显示语音识别UI，并且在语音识别UI上显示文本“不可得到准确信息”，如图19(2028)所示。另外，经由扬声器181，控制器110可以使用TTS功能将语音识别UI上显示的文本输出为语音。
如上所述，根据图20中所示的方法，尽管用户没有说出特定用户并且要求提供针对每个用户不同存储的信息，但是根据一个实施例，冰箱1可以识别用户并提供适合于该用户的信息。
图21A是根据本公开的一个实施例的用于数据训练和识别的控制器的框图。
参考图21A，控制器2100可以包括数据学习器2110和数据识别器2120。控制器2100可以对应于冰箱1的控制器110。备选地，控制器2100可以对应于第一服务器SV1的控制器(未示出)。
数据学习器2110可以训练学习网络模型以具有用于识别语音数据的标准。例如，数据学习器2110可以训练学习网络模型以具有用于识别与第一语音相对应的食物名称或与第二语音相对应的标识标记的标准。备选地，数据学习器2110可以训练学习网络模型以具有用于识别图像的标准。例如，数据学习器2110可以训练学习网络模型以具有用于基于由冰箱1的储存室捕获的图像来识别储存室中储存的食物的标准。
数据学习器2110可以根据基于人工智能算法的监督学习方法或无监督学习方法，使用训练数据来训练学习网络模型(即，数据识别模型)。
根据一个实施例，数据学习器2110可以通过使用诸如语音数据和与语音数据相对应的文本(例如，食物名称和标识标记)之类的训练数据来训练学习网络模型。备选地，数据学习器2110可以通过使用诸如语音数据和说出语音数据的用户的用户信息之类的训练数据来训练学习网络模型。备选地，数据学习器2110可以通过使用诸如图像数据和与图像数据相对应的文本(例如，食物名称)之类的训练数据来训练学习网络模型。
数据识别器2120可以通过将语音数据作为特征数据应用于经训练的学习网络模型来识别语音数据。例如，数据识别器2120可以通过将与第一语音或第二语音相关的语音数据作为特征数据应用于学习网络模型来识别与语音数据相对应的食物名称或标识标记。学习网络模型(即，数据识别模型)的识别结果可以用于改善学习网络模型。备选地，数据识别器2120可以通过将语音数据作为特征数据应用于学习网络模型来识别说出语音数据的用户。
此外，数据识别器2120可以通过将捕获储存室20所获取的图像数据作为特征数据应用于经训练的学习网络模型来识别图像数据。例如，数据识别器2120可以通过将图像数据作为特征数据应用于学习网络模型来识别与图像数据相对应的食物名称。
数据学习器2110和数据识别器2120中的至少一个可以被制造为至少一个硬件芯片，并且然后被安装到电子设备。例如，数据学习器2110和数据识别器2120中的至少一个可以以用于人工智能(AI)的专用硬件芯片的形式来制造，或者被制造为传统通用处理器(例如，CPU或应用处理器)或专用图形处理器(例如，GPU)的一部分并且然后被安装到上述电子设备。此时，用于人工智能的专用硬件芯片是专门用于概率计算的专用处理器，并且它具有比传统通用处理器更高的并行处理性能，并且因此它可以快速地处理人工智能中的计算(例如，机器学习)。
在这种情况下，数据学习器2110和数据识别器2120可以被安装在一个电子设备上或者被分别安装在单独的电子设备上。例如，数据学习器2110和数据识别器2120中的一个可以被包含在冰箱1中，而另一个可以被包含在服务器SV1中。通过有线或无线通信，可以将由数据学习器2110构建的学习网络模型的至少一部分提供给数据识别器2120，并且可以将输入到数据识别器2120的数据作为额外的训练数据提供给数据学习器2110。
数据学习器2110和数据识别器2120中的至少一个可以被实现为软件模块。当数据学习器2110和数据识别器2120中的至少一个被实现为软件模块(或包括指令在内的程序模块)时，软件模块可以存储在非暂时性计算机可读介质中。在这种情况下，至少一个软件模块可以由操作系统(OS)或某个应用提供。备选地，至少一个软件模块中的一些可以由OS提供，而其余的一些可以由某个应用提供。
图21B是根据本公开的一个实施例的数据学习器2110和数据识别器2120的详细框图。
图21B的(a)是根据本公开的一个实施例的数据学习器2110的框图。
参考图21B的(a)，根据一个实施例，数据学习器2110可以包括数据获取器2110-1、预处理器2110-2、训练数据选择器2110-3、模型学习器2110-4和模型评估器2110-5。根据一些实施例，数据学习器2110可必须包括数据获取器2110-1和模型学习器2110-4，并且选择性地包括预处理器2110-2、训练数据选择器2110-3和模型评估器2110-5中的至少一个，或者可不包括预处理器2110-2、训练数据选择器2110-3和模型评估器2110-5的全部。
数据获取器2110-1可以获取学习用于识别语音数据或图像数据的标准所需的数据。
例如，数据获取器2110-1可以获取语音数据或图像数据。数据获取器2110-1可以从冰箱1获取语音数据或图像数据。备选地，数据获取器2110-1可以通过通信从连接到冰箱1的第三设备(例如，移动终端或服务器)获取语音数据或图像数据。备选地，数据获取器2110-1可以从被配置为存储或管理训练数据的设备或者从数据库获取语音数据或图像数据。
预处理器2110-2可以对语音数据或图像数据进行预处理。预处理器2110-2可以将所获取的语音数据或图像数据处理成预定格式，使得稍后将描述的模型学习器2110-4可以使用为学习所获取的数据进行情况确定。
例如，预处理器2110-2可以从数据获取器2110-1所获取的数据(例如，语音数据或图像数据)中去除噪声，以便选择有效数据，或者将数据处理成某种格式。备选地，预处理器2110-2可以将获取的数据形式处理成适合于学习的数据形式。
训练数据选择器2110-3可以根据预定标准从经预处理的数据中随机选择学习所需的语音数据或图像数据，或者训练数据选择器2110-3可以随机选择语音数据或图像数据。可以将所选择的训练数据提供给模型学习器2110-4。预定标准可以包括以下项中的至少一项：数据的属性、数据的生成时间、生成数据的地点、用于生成数据的装置、数据的可靠性和数据的大小。
另外，训练数据选择器2110-3可以根据通过稍后描述的模型学习器2110-4的训练预先确定的标准来选择训练数据。
模型学习器2110-4可以训练学习网络模型，以便具有用于基于训练数据识别语音数据或图像数据的标准。例如，模型学习器2110-4可以训练学习网络模型，以便具有用于识别与语音数据相对应的食物名称或标识标记的标准。例如，模型学习器2110-4可以训练学习网络模型，以便具有用于基于冰箱1的储存室的图像数据来识别储存在储存室中的食物的标准。
在这种情况下，学习网络模型可以是预先构建的模型。例如，学习网络模型可以是通过接收基本训练数据(例如，样本图像数据或语音数据)而预先构建的模型。
作为模型学习器2110-4的训练的结果，学习网络模型可以被设置为识别(或者确定、估计、推断、预测)与语音相对应的食物名称或标识标记。备选地，学习网络模型可以被设置为识别(或者确定、估计、推断、预测)说出语音的用户。备选地，学习网络模型可以被设置为基于图像数据识别(或者确定、估计、推断、预测)储存在储存室中的食物。
学习网络模型可以是基于神经网络的模型。学习网络模型可以被设计为在计算机上模仿人脑结构。学习网络模型可以包括具有权重的多个网络节点，以模仿神经网络的神经元。所述多个网络节点可以形成相应的连接，以模仿神经元的、通过突触发送和接收信号的突触活动。例如，学习网络模型可以包括神经网络模型或者根据神经网络模型开发的深度学习模型。所述多个网络节点可以在深度学习模型中被置于不同的深度(或层)，并且根据卷积连接来发送和接收数据。例如，可以使用深度神经网络(DNN)、递归神经网络(RNN)或双指令递归深度神经网络(BRDNN：bicommandal recurrent deep neural network)来作为学习网络模型，但不限于此。
根据各种实施例，当存在多个预先构建的学习网络模型时，模型学习器2110-4可以选择与输入训练数据和基本训练数据密切相关的学习网络模型来作为要训练的学习网络模型。例如，模型学习器2110-4可以通过使用包括误差反向传播方法或梯度下降方法在内的学习算法来训练学习网络模型。备选地，模型学习器2110-4可以使用输入值作为训练数据，通过监督学习方法来训练学习网络模型。备选地，模型学习器2110-4可以允许学习网络模型通过无监督学习方法进行学习，并且无监督学习方法在没有任何监督的情况下进行学习并找出标准。备选地，模型学习器2110-4可以使用与学习结果正确与否有关的反馈，通过强化学习方法来训练学习网络模型。
此外，当学习网络模型得到训练时，模型学习器2110-4可以存储经训练的学习网络模型。在这种情况下，模型学习器2110-4可以将经训练的学习网络模型存储在冰箱1的存储设备130中。备选地，模型学习器2110-4可以将经训练的学习网络模型存储在第一服务器SV1的存储器或第二服务器SV2的存储器中，其中第一服务器SV1和第二服务器SV2经由有线或无线网络连接到冰箱1。
在这种情况下，存储有经训练的学习网络模型的存储设备130还可以存储与例如冰箱1的至少一个其他元件相关联的指令或数据。所述存储器还可以存储软件和/或程序。例如，程序可以包括内核、中间件、应用编程接口(API)和/或应用程序(或“应用”)。
模型评估器2110-5可以将评估数据输入到学习网络模型，并且当根据评估数据输出的识别结果不满足预定标准时，模型评估器2110-5可以使模型学习器2110-4再次进行学习。在这种情况下，评估数据可以是用于评估学习网络模型的预先设置的数据。
例如，当经训练的学习网络模型的识别结果中具有不正确识别结果的评估数据相对于评估数据的数量或比率超过预定阈值时，模型评估器2110-5可以评估没有满足预定标准。例如，当预定标准被定义为2％的比率并且经训练的学习网络模型输出总计1000条评估数据中超过20条评估数据的不正确识别结果时，模型评估器2110-5可以评估该经训练的学习网络模型是不合适的。
另一方面，当存在多个经训练的学习网络模型时，模型评估器2110-5可以评估每个经训练的学习网络模型是否满足预定标准，并且可以选择满足预定标准的学习网络模型来作为最终的学习网络模型。在这种情况下，当存在多个满足预定标准的学习网络模型时，模型评估器2110-5可以选择一个或某一数量的学习网络模型来作为最终的学习网络模型，并且当对较高的评估分数给予较高的优先级时，可以根据评估分数预先选择一个或某一数量的学习网络模型。
数据学习器2110中的数据获取器2110-1、预处理器2110-2、训练数据选择器2110-3、模型学习器2110-4和模型评估器2110-5中的至少一个可以被制造为至少一个硬件芯片并且然后被安装到电子设备。例如，数据获取器2110-1、预处理器2110-2、训练数据选择器2110-3、模型学习器2110-4和模型评估器2110-5中的至少一个可以以用于人工智能(AI)的专用硬件芯片的形式来制造，或者被制造为传统通用处理器(例如，CPU或应用处理器)或专用图形处理器(例如，GPU)的一部分并且然后被安装到上述电子设备。
在这种情况下，数据获取器2110-1、预处理器2110-2、训练数据选择器2110-3、模型学习器2110-4和模型评估器2110-5可以被安装在一个电子设备上或者分别被安装在单独的电子设备上。例如，数据获取器2110-1、预处理器2110-2、训练数据选择器2110-3、模型学习器2110-4和模型评估器2110-5中的一些可以被包含在冰箱1中，并且其余的一些可以被包含在服务器SV1或服务器SV2中。
数据获取器2110-1、预处理器2110-2、训练数据选择器2110-3、模型学习器2110-4和模型评估器2110-5中的至少一个可以被实现为软件模块。当数据获取器2110-1、预处理器2110-2、训练数据选择器2110-3、模型学习器2110-4和模型评估器2110-5中的至少一个被实现为软件模块(或者包括指令在内的程序模块)时，该软件模块可以被存储在非暂时性计算机可读介质中。在这种情况下，至少一个软件模块可以由操作系统(OS)或某个应用提供。备选地，至少一个软件模块中的一些可以由OS提供，而其余的一些可以由某个应用提供。
图21B的(b)是根据本公开的一个实施例的数据识别器2120的框图。
参考图21B的(b)，根据一个实施例的数据识别器2120可以包括数据获取器2120-1、预处理器2120-2、特征数据选择器2120-3、识别结果提供器2120-4和模型更新器2120-5。根据一些实施例，根据一个实施例的数据识别器2120可必须包括数据获取器2120-1和识别结果提供器2120-4，并且选择性地包括预处理器2120-2、特征数据选择器2120-3和模型更新器2120-5中的至少一个。
数据识别器2120可以通过将语音数据作为特征数据应用于经训练的学习网络模型来识别与语音数据相对应的食物名称和食物标记、或者说出语音数据的用户。备选地，数据识别器2120可以通过将图像数据作为特征数据应用于经训练的学习网络模型来识别冰箱1的储存室20中储存的食物。
首先，数据获取器2120-1可以从语音数据中获取识别食物名称和食物标记以及说出语音的用户所需的语音数据。备选地，数据获取器2120-1可以从图像数据中获取用于识别食物的图像数据。
例如，数据获取器2120-1可以获取由用户直接输入或者由用户选择的数据，或者可以获取由冰箱1的各种传感器检测到的各种感测信息。备选地，数据获取器2120-1可以从与冰箱1进行通信的外部设备(例如，移动终端或服务器)获取数据。
预处理器2120-2可以对语音数据或图像数据进行预处理。预处理器2120-2可以将所获取的语音数据或图像数据处理成预定格式，使得稍后将描述的识别结果提供器2120-4可以使用为训练所获取的数据进行情况确定。
例如，预处理器2120-2可以从数据获取器2120-1所获取的数据(例如，语音数据或图像数据)中去除噪声，以便选择有效数据，或者将数据处理成某种格式。备选地，预处理器2120-2可以将所获取的数据形式处理成适合于训练的数据形式。
特征数据选择器2120-3可以根据预定标准从经预处理的数据中随机选择进行识别所需的语音数据或图像数据，或者特征数据选择器2120-3可以从经预处理的数据中随机选择语音数据或图像数据。可以将所选择的特征数据提供给模型学习器2110-4。预定标准可以包括以下项中的至少一项：数据的属性、数据的生成时间、生成数据的地点、用于生成数据的装置、数据的可靠性和数据的大小。
识别结果提供器2120-4可以通过将所选择的特征数据应用于学习网络模型来识别所选择的特征数据。例如，识别结果提供器2120-4可以通过将所选择的语音数据应用于学习网络模式来识别与语音相对应的食物名称或标识标记。备选地，识别结果提供器2120-4可以通过将所选择的语音数据应用于学习网络模型来识别说出语音的用户。备选地，识别结果提供器2120-4可以通过将所选择的图像数据应用于学习网络模型来识别与图像数据相对应的食物。
模型更新器2120-5可以允许基于从识别结果提供器2120-4提供的识别结果的评估来改善学习网络模型。例如，模型更新器2120-5可以通过再次向模型学习器2110-4提供从识别结果提供器2120-4提供的食物名称、标识标记或用户信息来允许模型学习器2110-4改善学习网络模型。
数据识别器2120中的数据获取器2120-1、预处理器2120-2、特征数据选择器2120-3、识别结果提供器2120-4和模型更新器2120-5中的至少一个可以被制造为至少一个硬件芯片并且然后被安装到电子设备。例如，数据获取器2120-1、预处理器2120-2、特征数据选择器2120-3、识别结果提供器2120-4和模型更新器2120-5中的至少一个可以以用于人工智能(AI)的专用硬件芯片的形式来制造，或者被制造为传统通用处理器(例如，CPU或应用处理器)或专用图形处理器(例如，GPU)的一部分并且然后被安装到上述电子设备。
另外，数据获取器2120-1、预处理器2120-2、特征数据选择器2120-3、识别结果提供器2120-4和模型更新器2120-5可以被安装在一个电子设备上或者分别被安装在单独的电子设备上。例如，数据获取器2120-1、预处理器2120-2、特征数据选择器2120-3、识别结果提供器2120-4和模型更新器2120-5中的一些可以被包含在冰箱1中，并且其余的一些可以被包含在服务器中。
数据获取器2120-1、预处理器2120-2、特征数据选择器2120-3、识别结果提供器2120-4和模型更新器2120-5中的至少一个可以被实现为软件模块。当数据获取器2120-1、预处理器2120-2、特征数据选择器2120-3、识别结果提供器2120-4和模型更新器2120-5中的至少一个被实现为软件模块(或者包括指令在内的程序模块)时，该软件模块可以被存储在非暂时性计算机可读介质中。在这种情况下，至少一个软件模块可以由操作系统(OS)或某个应用提供。备选地，至少一个软件模块中的一些可以由OS提供，而其余的一些可以由某个应用提供。
图22是根据本公开的一个实施例的冰箱显示信息的流程图。
冰箱1可以识别是否通过麦克风182输入了包括食物名称在内的第一语音(2201)。
当基于识别结果识别出第一语音被输入时，冰箱1可以基于对第一语音的识别，在安装在冰箱1的前表面上的显示器120上显示包括与食物名称相对应的食物信息和用于标识食物信息的标识标记在内的食物列表(2202)。
例如，基于识别出第一语音，冰箱1可以通过使用经由人工智能算法训练的学习网络模型识别第一语音来获取食物名称，并且在显示器120上显示包括与食物名称相对应的食物信息在内的食物列表。在这种情况下，学习网络模型可以是使用多个语音和与多个语音相对应的多个词被训练的学习网络模型。
作为另一示例，基于识别出第一语音，冰箱1可以通过使用经由人工智能算法训练的学习网络模型识别第一语音来获取食物名称和与说出第一语音的用户有关的信息，并且在显示器120上显示包括与食物名称相对应并且与用户信息相关的食物信息(例如，与用户偏好的食物有关的信息)在内的食物列表。在这种情况下，学习网络模型可以是使用多个语音和分别与多个语音相对应的用户信息被训练的学习网络模型。
作为又一示例，基于识别出第一语音，冰箱1可以识别与所识别的食物名称相关的食物是否被放置在冰箱1的储存室20中。当识别出食物没有被放置在储存室20中时，冰箱1可以在显示器120上显示包括与食物名称相对应的食物信息在内的食物列表。同时，当识别出食物被放置在储存室20中时，冰箱1可以在显示器120上显示指示与所识别的食物名称相关的食物被放置在储存室20中的信息。
接下来，冰箱1可以识别是否经由麦克风182输入了指示标识标记的第二语音(2203)。
当基于识别结果识别出第二语音被输入时，冰箱1可以基于对第二语音的识别，在安装在冰箱1的前表面上的显示器120上显示与标识标记相对应的至少一条食物购买信息(2204)。
例如，基于识别出第二语音，冰箱1可以通过使用经由人工智能算法训练的学习网络模型识别第二语音来获取标识标记，并且在显示器上显示与标识标记相对应的食物购买信息。
图23是根据本公开的一个实施例的网络系统的流程图。
参考图23，网络系统可以包括第一组成部分2301和第二组成部分2302。第一组成部分2301可以是冰箱1，并且第二组成部分2302可以是存储有数据识别模型的服务器SV1，或者是包括至少一个服务器的云计算。备选地，第一组成部分2301可以是通用处理器，并且第二组成部分2302可以是人工智能专用处理器。备选地，第一组成部分2301可以是至少一个应用，并且第二组成部分2302可以是操作系统(OS)。也就是说，与第一组成部分2301相比，第二组成部分2302可以更集成、更专用，并且具有更小的延迟、更强大的性能和更多的资源，因此与第一组成部分2301相比，第二组成部分2302可以更快速有效地对在生成、更新或应用数据识别模型时所需要的操作进行处理。
同时，可以定义用于在第一组成部分2301与第二组成部分2302之间发送/接收数据的接口。
例如，可以定义将特征数据作为参数(或中间值或传递值)应用于数据识别模型的API。API可以被定义为一组子例程或函数，其可以由任何一个协议(例如，在冰箱1中定义的协议)调用以用于另一协议(例如，在服务器SV1中定义的协议)的某种处理。换句话说，可以提供其中可由任何一个协议通过API执行另一协议的操作的环境。
参考图23，第一组成部分2301可以通过麦克风182接收包括食物名称在内的第一用户语音(2310)。
第一组成部分2301可以将输入的模拟语音信号转换成与数字信号相对应的语音数据，并将该数字信号发送给第二组成部分2302。此时，第一组成部分2301可以根据所定义的通信格式来改变语音数据，并将改变后的语音数据发送给第二组成部分2302(2311)。
第二组成部分2302可以识别所接收的语音数据(2312)。例如，第二组成部分2302可以通过将所接收的语音数据应用于经训练的学习网络模型来识别语音数据，并且基于识别的结果来获取识别信息。例如，第二组成部分2302可以从语音数据中获取食物名称和与说出语音的用户有关的信息。第二组成部分2302可以将所获取的识别信息发送给第一组成部分2301(2313)。
第一组成部分2301可以基于所接收的识别信息来获取语音数据所请求的信息(2314)。例如，第一组成部分2301可以从第一组成部分2301的存储设备或者从第三组成部分2303获取与食物名称相对应的食物信息，其中该食物名称与语音数据所请求的信息相对应。第三组成部分2303可以是与第一组成部分2301通信的服务器。例如，服务器可以是图9和图10中的被配置为发送语音数据所请求的信息的服务器SV2。
在操作2312中，第二组成部分2302可以直接将所识别的识别信息发送给第三组成部分2303而不经过第一组成部分2301(2323)。在这种情况下，第三组成部分2303可以基于所接收的识别数据来获取语音数据所请求的信息，并且将所获取的、语音数据所请求的信息发送给第一组成部分2301(2324)。第一组成部分2301可以从第三组成部分2303获取语音数据所请求的信息。
当在操作2314和2324中获取语音数据所请求的信息时，第一组成部分2301可以显示语音数据所请求的食物列表，其中该食物列表包括与食物名称相对应的食物信息和用于标识食物信息的标识标记(2315)。
同时，当第一组成部分2301确认包括标识标记在内的食物列表并且识别出指示一个标识标记的第二用户语音时，第一组成部分2301可以显示与该标识标记相对应的至少一条食物购买信息。
图24是示出了根据本公开的另一实施例的用户经由冰箱购买食物的方法的视图。
如图24所示，可以通过麦克风182输入用于订购特定食物的第一语音(980)。
控制器110可以识别包括食物名称在内的第一语音。作为识别结果，控制器110可以获取所识别的食物名称和与说出第一语音的用户有关的信息。
基于获取到食物名称和用户信息，控制器110可以获取与食物名称相关的、说出第一语音的用户所偏好的食物信息(981)。
基于所获取的食物信息，控制器110可以在显示器120上显示食物列表，其中该食物列表包括与用户所偏好的多种食物有关的信息和用于标识多条食物信息的标识标记(982)。
接下来，可以经由麦克风182输入第二语音，其中该第二语音指示食物列表中所包含的标识标记中的特定标识标记(983)。
控制器110可以识别包括标识标记在内的第二语音。作为识别结果，控制器110可以在显示器120上显示与标识标记相对应的食物购买信息(984)。
接下来，可以通过麦克风182输入请求购买食物的第三语音(985)。请求购买食物的第三语音可以是用户说出的语音“立即购买”。
控制器110可以识别第三语音。作为第三语音的识别结果，控制器110可以在显示器120上显示用于购买食物的UI(例如，用于支付的UI)。在这种情况下，控制器110可以控制通信电路140，以便将指示购买状态的消息输出给外部设备986-1(986)。指示购买状态的消息可以包括：在购买食物之前确认是否购买食物的消息、要求输入用于购买食物的密码的消息、或者在购买食物之后指示购买结果的消息。
例如，控制器110可以识别第一语音和第三语音中的至少一个，以获取说出语音的用户的信息。控制器110可以通过使用所获取的用户信息将通知购买状态的消息发送给与用户信息相对应的用户设备。当用户要求的食物被放置在冰箱1的储存室20中时，控制器110可以将如下信息发送给用户设备：该信息指示与所储存的食物有关的信息。另外，控制器110可以将消息发送给属于说出语音的用户的监护人的设备。例如，当订购食物的人是儿童时，控制器110可以向属于儿童的父母的设备发送消息以通知上述购买状态。
响应于所接收的消息，接收到消息的外部设备986-1可以以文本、语音、图像、触觉方式或者通过发光来指示购买状态，但不限于此。
根据一些实施例，当经由冰箱1发生食物的购买时，控制器110可以将指示购买状态的消息发送给预先选择的设备，或者发送给与冰箱1进行通信的外部设备986-1。备选地，控制器110可以将通知购买状态的消息发送给满足预定标准的外部设备986-1。此时，满足预定标准的外部设备986-1可以是放置在某个地方(例如，起居室或主房间)的外部设备、具有用于与冰箱1进行通信并且具有一定强度或更大强度的信号的外部设备以及距冰箱1一定距离放置的外部设备。另外，预定标准可以是外部设备981-1根据特定通信方法与冰箱1通信。例如，特定通信方法可以包括局域通信系统(例如，WiFi、蓝牙或Zigbee)或直接通信方法。当冰箱1根据局域通信方法与外部设备986-1通信时，控制器110可以经由根据局域通信方法建立的通信信道向外部设备986-1发送通知购买状态的推送消息。
本公开所使用的术语“模块”可以例如意味着包括硬件、软件和固件之一或者其中两种或更多种的组合在内的单元。例如，“模块”可以与诸如“单元”、“逻辑”、“逻辑块”、“组件”、“电路”等术语互换使用。“模块”可以是集成配置的组件的最小单元或其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。可以用机械方式或电子方式来实现“模块”。例如，根据本公开的“模块”可以包括已知或未来将要开发的执行特定操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑器件中的至少一种。
上述实施例可以以由各种计算机装置执行并存储在计算机可读存储介质中的程序指令的形式来实现。计算机可读存储介质可以包括程序指令、数据文件和数据结构本身或其组合。另外，程序指令可以被具体设计为实现本公开，或者可以通过使用计算机软件领域的普通技术人员公知和可用的各种功能或定义来实现。计算机可读存储介质可以包括硬盘、磁介质、软盘、磁介质(例如，磁带)、光学介质(例如，压缩盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光介质(例如，软光盘)以及硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)或闪存)。此外，程序指令不仅可以包括诸如由编译器生成的事物之类的机器代码，还可以包括使用解释器在计算机上可执行的高级语言代码。以上硬件单元可以被配置为经由用于执行本公开操作的一个或多个软件模块来操作，并且反之亦然。
而且，可以在计算机程序产品中提供根据所公开的实施例的方法。
计算机程序产品可以包括软件程序、存储有S/W程序的计算机可读存储介质或者在销售者与购买者之间交易的应用。
例如，计算机程序产品可以包括由冰箱1、服务器SV1或服务器SV2或设备的制造商或通过电子市场(例如，Google Play Store、App Store等)电子分发的软件程序(例如，可下载的应用)形式的应用。为了进行电子分发，软件程序的至少一部分可以被存储在存储介质上或者可以临时生成。在这种情况下，存储介质可以是制造商的服务器、电子市场的服务器或用于临时存储软件程序的中继服务器的存储介质。
虽然已经参考示例性实施例具体描述了本公开，但是本领域技术人员应理解，在不背离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (25)

1.一种冰箱，包括：
储存室，被配置为储存食物；
温度检测器，被配置为检测所述储存室的内部温度；
冷却器，被配置为向所述储存室供应冷空气；
麦克风，被配置为接收语音；
显示器，被配置为显示信息；
至少一个处理器，被配置为电连接到所述温度检测器、所述麦克风和所述显示器；以及
存储器，被配置为电连接到所述至少一个处理器，
其中，所述存储器存储被配置为进行如下操作的至少一条指令：当经由所述麦克风识别出包括食物名称在内的第一语音时，允许所述处理器在所述显示器上显示食物列表，其中所述食物列表包括与所述食物名称相对应的食物信息和标识所述食物信息的标识标记；并且当经由所述麦克风识别出涉及所述标识标记的第二语音时，允许所述处理器在所述显示器上显示与所述标识标记相对应的食物购买信息。
2.根据权利要求1所述的冰箱，其中
所述存储器存储被配置为进行如下操作的至少一条指令：当经由所述麦克风输入包括所述食物名称在内的所述第一语音时，允许所述处理器通过使用学习网络模型识别所述第一语音来获取所述食物名称，其中所述学习网络模型使用人工智能算法被训练；并且允许所述处理器在所述显示器上显示包括与所述食物名称相对应的所述食物信息在内的所述食物列表，
其中，所述学习网络模型通过使用多个语音和与所述多个语音相对应的多个词被训练。
3.根据权利要求1所述的冰箱，其中
存储器存储被配置为执行如下操作的至少一条指令：当经由所述麦克风输入包括所述食物名称在内的所述第一语音时，允许所述处理器通过使用学习网络模型识别所述第一语音来获取所述食物名称和说出所述第一语音的用户的信息，其中所述学习网络模型使用人工智能算法被训练；并允许所述处理器在所述显示器上显示包括所述食物信息在内的食物列表，其中所述食物信息与所述食物名称相对应并且与所述用户信息相关，
其中，所述学习网络模型通过使用多个语音和与所述多个语音相对应的多条用户信息被训练。
4.根据权利要求1所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当识别出所述第一语音时，允许所述处理器识别与所述食物名称相关的食物是否被放置在所述储存室中；并且当所述食物被放置在所述储存室中时，允许所述处理器在所述显示器上显示指示所述食物被放置在所述储存室中的信息。
5.根据权利要求1所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当识别出所述第一语音时，允许所述处理器识别与所述食物名称相关的食物是否被放置在所述储存室中；并且当所述食物未被放置在所述储存室中时，允许所述处理器在所述显示器上显示包括与所述食物名称相对应的所述食物信息在内的所述食物列表。
6.根据权利要求1所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当识别出所述第一语音时，允许所述处理器将卡型用户界面的所述食物列表与所述显示器上显示的应用的用户界面重叠。
7.根据权利要求1所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当识别出所述第二语音时，允许所述处理器执行提供由所述第二语音中包含的标记指示的食物的信息的应用，以便在所述显示器上显示从所述应用提供的食物购买信息。
8.根据权利要求1所述的冰箱，还包括：
通信电路，
其中，所述存储器存储被配置为执行如下操作的至少一条指令：当识别出所述第一语音时，允许所述处理器经由所述通信电路向服务器发送所述第一语音的数据；并且当所述通信电路接收到从所述服务器发送的关于所述食物列表的信息时，允许所述处理器在所述显示器上显示所述食物列表。
9.根据权利要求1所述的冰箱，还包括：
通信电路，
其中，所述存储器存储被配置为进行如下操作的至少一条指令：当识别出所述第二语音时，允许所述处理器经由所述通信电路向服务器发送所述第二语音的数据；并且当所述通信电路接收到从所述服务器发送的食物购买信息时，允许所述处理器在所述显示器上显示所述食物购买信息。
10.根据权利要求1所述的冰箱，还包括：
通信电路，
其中，所述存储器存储被配置为执行如下操作的至少一条指令：当识别出所述第一语音时，允许所述处理器经由所述通信电路向服务器发送所述第一语音的数据；并且当所述通信电路接收到从所述服务器发送的关于所述第一语音的分析信息时，允许所述处理器向与根据所述分析信息的操作的执行有关的应用发送根据所述分析信息的命令，以便允许所述应用显示所述食物列表。
11.根据权利要求1所述的冰箱，还包括：
通信电路，
其中，所述存储器存储被配置为进行如下操作的至少一条指令：当识别出所述第二语音时，允许所述处理器经由所述通信电路向服务器发送所述第二语音的数据；并且当所述通信电路接收到从所述服务器发送的关于所述第二语音的分析信息时，允许所述处理器向与根据所述分析信息的操作的执行有关的应用发送根据所述分析信息的命令，以便允许所述应用显示所述食物购买信息。
12.根据权利要求1所述的冰箱，还包括：
扬声器，
其中，所述存储器存储被配置为进行如下操作的至少一条指令：当由于识别出所述第一语音而在所述显示器上显示所述食物列表时，允许所述处理器经由所述扬声器输出指示所述列表被显示的语音；并且当由于识别出所述第二语音而在所述显示器上显示所述食物购买信息时，允许所述处理器经由所述扬声器输出指示所述食物购买信息被显示的语音。
13.一种冰箱，包括：
储存室，被配置为储存食物；
温度检测器，被配置为检测所述储存室的内部温度；
冷却器，被配置为向所述储存室供应冷空气；
麦克风，被配置为接收语音；
显示器，被配置为显示信息；
至少一个处理器，被配置为电连接到所述温度检测器、所述麦克风和所述显示器；以及
存储器，被配置为电连接到所述至少一个处理器，
其中，存储器存储被配置为进行如下操作的至少一条指令：当经由所述麦克风输入语音时，允许所述处理器对所述显示器上显示的应用执行由所输入的语音指示的命令；并且当所述处理器不能够对所述应用执行由所输入的语音指示的所述命令时，允许所述处理器根据优先级对其他应用执行所述命令，其中所述优先级是针对与所述命令相关的应用预先确定的。
14.根据权利要求13所述的冰箱，还包括：
扬声器，
其中，所述存储器存储被配置为执行如下操作的至少一条指令：当所述处理器不能够对所述应用执行由所输入的语音指示的所述命令时，允许所述处理器经由所述扬声器输出指示不能对所述应用执行所述命令的语音。
15.根据权利要求13所述的冰箱，还包括：
扬声器，
其中，所述存储器存储被配置为执行如下操作的至少一条指令：当不存在所述优先级时，允许所述处理器经由所述扬声器输出请求确认是否对其他应用执行所述命令的语音。
16.根据权利要求15所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当输入对确认请求的答复时，允许所述处理器对由所输入的答复指示的应用执行由所述语音指示的命令。
17.根据权利要求13所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当所述处理器不能够对所述应用执行由所输入的语音指示的所述命令时，允许所述处理器根据所述优先级来选择要被执行所述命令的应用，其中所述优先级是针对与所述命令相关的应用预先确定的；并且允许所述处理器对所选择的应用执行所述命令。
18.根据权利要求13所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当经由所述麦克风输入的所述语音中不包含要被执行由所述语音指示的所述命令的目标时，允许所述处理器对所述显示器上显示的所述应用执行由所输入的语音指示的所述命令。
19.一种冰箱，包括：
储存室，被配置为储存食物；
温度检测器，被配置为检测所述储存室的内部温度；
冷却器，被配置为向所述储存室供应冷空气；
麦克风，被配置为接收语音；
显示器，被配置为显示信息；
扬声器，被配置为输出语音；
至少一个处理器，被配置为电连接到所述温度检测器、所述麦克风和所述显示器；以及
存储器，被配置为电连接到所述至少一个处理器，
其中，所述冰箱存储被配置为执行如下操作的至少一条指令：当经由所述麦克风输入语音并且需要识别用于执行由所述语音指示的命令的用户时，在所述显示器上显示预先注册的用户；并且经由所述扬声器输出请求从所显示的用户中选择用户的语音。
20.根据权利要求19所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当输入从所显示的用户中选择至少一个用户的语音时，允许所述处理器根据所选择的用户执行由所述语音指示的所述命令；并且允许所述处理器在所述显示器上显示执行结果。
21.根据权利要求19所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当需要识别用于执行由所述语音指示的命令的用户时，允许所述处理器在所述显示器上显示所述预先注册的用户和标识每个用户的标记。
22.根据权利要求21所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当输入从所述标记中选择至少一个标记的语音时，允许所述处理器根据由所述标记指示的用户执行由所述语音指示的命令；并且允许所述处理器在所述显示器上显示执行结果。
23.根据权利要求19所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当经由所述麦克风输入语音并且所述语音中包含指示用户的表达时，允许所述处理器根据所述语音中包含的用户执行由所述语音指示的命令；并且允许所述处理器在所述显示器上显示执行结果。
24.根据权利要求19所述的冰箱，其中
所述存储器存储被配置为执行如下操作的至少一条指令：当经由所述麦克风输入语音时，允许所述处理器根据由预先存储的语音数据中与所输入的语音相匹配的语音数据指示的用户来执行由所述语音指示的命令；并且允许所述处理器在所述显示器上显示执行结果。
25.一种冰箱的信息显示方法，包括：
经由麦克风接收包括食物名称在内的第一语音；
基于对所述第一语音的识别，在安装在所述冰箱的前表面上的显示器上显示食物列表，其中所述食物列表包括与所述食物名称相对应的食物信息和标识所述食物信息的标识标记；
经由所述麦克风接收涉及所述标识标记的第二语音；以及
基于对所述第二语音的识别，在所述显示器上显示与所述标识标记相对应的至少一条食物购买信息。
CN201780082150.3A 2017-01-03 2017-12-27 冰箱及其信息显示方法 Active CN110168298B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2017-0000880 2017-01-03
KR20170000880 2017-01-03
KR10-2017-0179174 2017-12-26
KR1020170179174A KR102412202B1 (ko) 2017-01-03 2017-12-26 냉장고 및 이의 정보 표시 방법
PCT/KR2017/015548 WO2018128317A1 (ko) 2017-01-03 2017-12-27 냉장고 및 이의 정보 표시 방법

Publications (2)

Publication Number Publication Date
CN110168298A true CN110168298A (zh) 2019-08-23
CN110168298B CN110168298B (zh) 2023-01-03

Family

ID=62917641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780082150.3A Active CN110168298B (zh) 2017-01-03 2017-12-27 冰箱及其信息显示方法

Country Status (4)

Country Link
US (1) US11521606B2 (zh)
EP (1) EP3546869A4 (zh)
KR (1) KR102412202B1 (zh)
CN (1) CN110168298B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113251737A (zh) * 2020-02-13 2021-08-13 东芝生活电器株式会社 信息处理系统
CN115077162A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统
CN115077161A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统
CN115077157A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统
CN115077160A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱、智能冰箱系统
CN115077158A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱、智能冰箱系统

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2991318A1 (en) 2015-07-08 2017-01-12 Divert, Inc. System for tracking waste or recyclable material
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10531157B1 (en) * 2017-09-21 2020-01-07 Amazon Technologies, Inc. Presentation and management of audio and visual content across devices
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11404057B2 (en) * 2018-02-23 2022-08-02 Accenture Global Solutions Limited Adaptive interactive voice response system
US10600408B1 (en) * 2018-03-23 2020-03-24 Amazon Technologies, Inc. Content output management based on speech quality
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11315553B2 (en) * 2018-09-20 2022-04-26 Samsung Electronics Co., Ltd. Electronic device and method for providing or obtaining data for training thereof
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
KR102377971B1 (ko) * 2018-11-16 2022-03-25 엘지전자 주식회사 디스플레이 장치를 갖는 인공지능 냉장고
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US11211071B2 (en) * 2018-12-14 2021-12-28 American International Group, Inc. System, method, and computer program product for home appliance care
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
US11482215B2 (en) * 2019-03-27 2022-10-25 Samsung Electronics Co., Ltd. Multi-modal interaction with intelligent assistants in voice command devices
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11200888B2 (en) * 2019-05-09 2021-12-14 Lg Electronics Inc. Artificial intelligence device for providing speech recognition function and method of operating artificial intelligence device
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
CN110399804A (zh) * 2019-07-01 2019-11-01 浙江师范大学 一种基于深度学习的食品检测识别方法
KR20220005590A (ko) * 2019-07-22 2022-01-13 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
KR102245911B1 (ko) * 2019-08-09 2021-04-30 엘지전자 주식회사 인공 지능을 이용하여, 아이템의 정보를 제공하는 냉장고 및 그의 동작 방법
KR20190106944A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 지능형 냉장고 및 그 제어 방법
US11094319B2 (en) 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
US20210081867A1 (en) * 2019-09-18 2021-03-18 Divert, Inc. Systems and methods for tracking product environment throughout a supply chain
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
CN111274280A (zh) * 2019-10-25 2020-06-12 青岛海尔电冰箱有限公司 用于冰箱的计时信息反馈方法及预测系统
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN111276147A (zh) * 2019-12-30 2020-06-12 天津大学 一种基于语音输入的饮食记录方法
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11328722B2 (en) * 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) * 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
CN114442965A (zh) * 2020-10-30 2022-05-06 青岛海尔电冰箱有限公司 食材信息打印方法、食材信息打印系统和可读存储介质
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN115077155B (zh) * 2021-03-10 2023-12-22 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统
US20230097905A1 (en) * 2021-09-24 2023-03-30 Haier Us Appliance Solutions, Inc. Inventory management system in a refrigerator appliance
KR20240029966A (ko) * 2022-08-29 2024-03-07 엘지전자 주식회사 냉장고, 가전 기기 및 이의 제어방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100049619A1 (en) * 2006-06-28 2010-02-25 Planet Payment, Inc. Telephone-based commerce system and method
KR20120118376A (ko) * 2011-04-18 2012-10-26 엘지전자 주식회사 냉장고의 제어방법
CN203249464U (zh) * 2013-03-25 2013-10-23 吴天祥 具有网购功能的冰箱
EP2662651A2 (en) * 2011-01-06 2013-11-13 LG Electronics Inc. Refrigerator and remote controller
CN104990359A (zh) * 2015-07-03 2015-10-21 九阳股份有限公司 一种智能冰箱
US20150302857A1 (en) * 2013-08-29 2015-10-22 Panasonic Intellectual Property Corporation Of America Device control method, display control method, and purchase settlement method
CN204987636U (zh) * 2015-07-28 2016-01-20 谈利民 一种智能购物冰箱

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002115956A (ja) * 2000-10-11 2002-04-19 Matsushita Electric Ind Co Ltd 在庫管理冷蔵庫
ITPN20010017A1 (it) * 2001-02-23 2002-08-23 Electrolux Professional Spa Apparecchio da cucina e/o domestico
US6993485B2 (en) * 2001-07-16 2006-01-31 Maytag Corporation Method and system for refrigerator with integrated presentation mode
DE602004020247D1 (de) * 2003-10-21 2009-05-07 Johnson Controls Tech Co System und verfahren zur auswahl eines benutzersprachprofils für eine vorrichtung in einem fahrzeug
US20070180384A1 (en) * 2005-02-23 2007-08-02 Demetrio Aiello Method for selecting a list item and information or entertainment system, especially for motor vehicles
US8015014B2 (en) * 2006-06-16 2011-09-06 Storz Endoskop Produktions Gmbh Speech recognition system with user profiles management component
US8744859B2 (en) * 2006-07-20 2014-06-03 Lg Electronics Inc. Operation method of interactive refrigerator system
US7899673B2 (en) * 2006-08-09 2011-03-01 Microsoft Corporation Automatic pruning of grammars in a multi-application speech recognition interface
KR101304117B1 (ko) * 2007-06-01 2013-09-05 엘지전자 주식회사 냉장고의 정보 입력 방법
KR100885584B1 (ko) * 2007-08-23 2009-02-24 엘지전자 주식회사 냉장고 및 그 제어방법
US8823523B2 (en) * 2007-09-13 2014-09-02 Lg Electronics Inc. Refrigerator having input voice commands and output voice messages
EP2221806B1 (en) * 2009-02-19 2013-07-17 Nuance Communications, Inc. Speech recognition of a list entry
KR101783615B1 (ko) * 2011-08-12 2017-10-10 엘지전자 주식회사 단말기를 이용한 상품 구매 관리 시스템 및 상기 시스템을 이용하는 냉장고
US20130191243A1 (en) * 2012-01-06 2013-07-25 Lg Electronics Inc. Terminal and a control method thereof
WO2013105682A1 (ko) * 2012-01-13 2013-07-18 엘지전자 주식회사 음성 인식에 의한 냉장고의 동작 제어 방법 및 이를 채용하는 냉장고
KR102113039B1 (ko) * 2012-09-20 2020-06-02 엘지전자 주식회사 가전기기 및 이를 이용한 상품 구매 방법
CN103712410B (zh) * 2012-09-28 2017-05-17 Lg电子株式会社 电器产品
KR20140139736A (ko) 2013-05-28 2014-12-08 삼성전자주식회사 냉장고 및 그 제어 방법
JP6100101B2 (ja) * 2013-06-04 2017-03-22 アルパイン株式会社 音声認識を利用した候補選択装置および候補選択方法
US9406297B2 (en) * 2013-10-30 2016-08-02 Haier Us Appliance Solutions, Inc. Appliances for providing user-specific response to voice commands
US9412363B2 (en) * 2014-03-03 2016-08-09 Microsoft Technology Licensing, Llc Model based approach for on-screen item selection and disambiguation
CN105654270A (zh) * 2014-11-18 2016-06-08 博西华家用电器有限公司 冰箱、终端、冰箱内食材的管理系统及管理方法
US9449208B2 (en) * 2014-12-03 2016-09-20 Paypal, Inc. Compartmentalized smart refrigerator with automated item management
US9552816B2 (en) * 2014-12-19 2017-01-24 Amazon Technologies, Inc. Application focus in speech-based systems
US10476872B2 (en) * 2015-02-20 2019-11-12 Sri International Joint speaker authentication and key phrase identification
US10474987B2 (en) * 2015-08-05 2019-11-12 Whirlpool Corporation Object recognition system for an appliance and method for managing household inventory of consumables
US11761701B2 (en) * 2016-01-25 2023-09-19 Sun Kyong Lee Refrigerator inventory device
TWM527082U (zh) * 2016-04-11 2016-08-11 Probe Jet Tech 智慧型冰箱
KR20180048089A (ko) * 2016-11-02 2018-05-10 엘지전자 주식회사 냉장고

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100049619A1 (en) * 2006-06-28 2010-02-25 Planet Payment, Inc. Telephone-based commerce system and method
EP2662651A2 (en) * 2011-01-06 2013-11-13 LG Electronics Inc. Refrigerator and remote controller
KR20120118376A (ko) * 2011-04-18 2012-10-26 엘지전자 주식회사 냉장고의 제어방법
CN203249464U (zh) * 2013-03-25 2013-10-23 吴天祥 具有网购功能的冰箱
US20150302857A1 (en) * 2013-08-29 2015-10-22 Panasonic Intellectual Property Corporation Of America Device control method, display control method, and purchase settlement method
CN104990359A (zh) * 2015-07-03 2015-10-21 九阳股份有限公司 一种智能冰箱
CN204987636U (zh) * 2015-07-28 2016-01-20 谈利民 一种智能购物冰箱

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113251737A (zh) * 2020-02-13 2021-08-13 东芝生活电器株式会社 信息处理系统
CN115077162A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统
CN115077161A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统
CN115077157A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统
CN115077160A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱、智能冰箱系统
CN115077158A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱、智能冰箱系统
CN115077161B (zh) * 2021-03-10 2024-04-23 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统
CN115077157B (zh) * 2021-03-10 2024-04-23 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统

Also Published As

Publication number Publication date
EP3546869A4 (en) 2019-11-27
EP3546869A1 (en) 2019-10-02
KR20180080112A (ko) 2018-07-11
KR102412202B1 (ko) 2022-06-27
US20190348044A1 (en) 2019-11-14
US11521606B2 (en) 2022-12-06
CN110168298B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN110168298A (zh) 冰箱及其信息显示方法
US10992491B2 (en) Smart home automation systems and methods
US11353259B2 (en) Augmented-reality refrigerator and method of controlling thereof
US10755715B2 (en) Restocking method and system
US20220303341A1 (en) Method and device for controlling home device
KR102663888B1 (ko) 냉장고 및 그의 제어방법
CN109964271A (zh) 用于提供对用户的语音输入的响应消息的设备和方法
EP2696314A1 (en) Mobile terminal and control method thereof
US11721333B2 (en) Electronic apparatus and control method thereof
CN112005268B (zh) 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法
CN103984847A (zh) 一种饮食推荐方法及相关装置
US11599928B2 (en) Refrigerator and method for managing products in refrigerator
US20240095143A1 (en) Electronic device and method for controlling same
US20190347635A1 (en) Configuring a physical environment based on electronically detected interactions
US20150302416A1 (en) Low energy bluetooth device for facilitating an in-home customer service experience
CN108432213A (zh) 电子设备及其控制方法
KR20230169016A (ko) 전자 장치 및 그의 제어방법
CN113359490A (zh) 一种智能家居中控系统及中控设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant