CN111801033A - 能够进行混合谷物烹饪和异常情况检测的智能电饭煲 - Google Patents

能够进行混合谷物烹饪和异常情况检测的智能电饭煲 Download PDF

Info

Publication number
CN111801033A
CN111801033A CN201880090717.6A CN201880090717A CN111801033A CN 111801033 A CN111801033 A CN 111801033A CN 201880090717 A CN201880090717 A CN 201880090717A CN 111801033 A CN111801033 A CN 111801033A
Authority
CN
China
Prior art keywords
chamber
machine learning
rice cooker
learning model
food component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880090717.6A
Other languages
English (en)
Other versions
CN111801033B (zh
Inventor
王冬岩
朱林楠
李晓春
周均扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Original Assignee
Midea Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd filed Critical Midea Group Co Ltd
Publication of CN111801033A publication Critical patent/CN111801033A/zh
Application granted granted Critical
Publication of CN111801033B publication Critical patent/CN111801033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L5/00—Preparation or treatment of foods or foodstuffs, in general; Food or foodstuffs obtained thereby; Materials therefor
    • A23L5/10—General methods of cooking foods, e.g. by roasting or frying
    • A23L5/13—General methods of cooking foods, e.g. by roasting or frying using water or steam
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A47J36/321—Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23V—INDEXING SCHEME RELATING TO FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES AND LACTIC OR PROPIONIC ACID BACTERIA USED IN FOODSTUFFS OR FOOD PREPARATION
    • A23V2002/00—Food compositions, function of food ingredients or processes for food or foodstuffs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Nutrition Science (AREA)
  • Polymers & Plastics (AREA)
  • Chemical & Material Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Cookers (AREA)
  • Image Analysis (AREA)

Abstract

电饭煲组件(100)使用机器学习模型(220)来识别谷物混合物中的容纳物并对该容纳物进行分类，从而使烹饪过程更加自动化。作为一个示例，电饭煲组件(100)具有用于存储谷物的腔室(110)。照相机(112)被定位成观察腔室(110)的内部。照相机(112)拍摄腔室(110)的容纳物的图像。机器学习模型(220)根据图像确定腔室(110)的容纳物是否包括一种或多种谷物或者腔室(110)的容纳物是否包括任何非食用对象。机器学习模型(220)进一步对一种或多种谷物以及非食用对象(如果有的话)进行分类。可以相应地对烹饪过程进行控制。机器学习模型(220)可以驻留在电饭煲组件(100)中或者可以通过网络(520)访问该机器学习模型。

Description

能够进行混合谷物烹饪和异常情况检测的智能电饭煲
技术领域
本公开总体涉及对诸如电饭煲的烹饪用具的控制。
背景技术
大米是主要的食物来源。出于健康和/或口感的原因，很多人喜欢把大米和其他配料混合在一起。含不同配料的大米混合物需要不同的烹饪环境。然而，传统的电饭煲不能为用户提供控制以烹饪不同的米饭混合物，从而达到米饭混合物的最佳口感。用户能够选择诸如白米、糙米或快速烹饪的烹饪模式，但没有更多的烹饪模式。一旦设置好，电饭煲会盲目执行用户的指令，而不考虑正在烹饪的是什么大米混合物、用户的选择是否会产生大米混合物的最佳口感、或者大米混合物在烹饪时间结束时是否煮得过熟或未煮熟。另外，传统的电饭煲无法检测出杂质，例如害虫、小石头、沙子、小金属块、皮壳等，这些杂质会破坏食物并且可能危害用户的健康。因此，需要更智能的电饭煲。
发明内容
本公开提供一种电饭煲，该电饭煲使用机器学习模型来识别谷物混合物并对其进行分类。作为一个示例，电饭煲具有存储谷物的存储腔室。照相机被定位成观察存储腔室的内部。照相机拍摄存储腔室中的容纳物的图像。机器学习模型根据这些图像来确定存储腔室中的容纳物是否包含一种或多种类型的食物(例如谷物)，或者食物中是否混合有非食用对象。机器学习模型进一步对所识别的食物或非食用对象进行分类。可相应地控制烹饪过程。机器学习模型可以驻留在电饭煲中或者可以通过网络进行访问。
该过程可用于设置电饭煲的初始烹饪过程，包括选择合适的烹饪模式并设置烹饪的温度-时间曲线。该过程还可用于随着烹饪进行自动调节烹饪过程。对烹饪过程的控制还可基于用户输入、温度感测、历史性能数据和其他因素进行。
其他方面包括部件、设备、系统、改进、方法、过程、应用、计算机可读介质以及与以上方面中的任何一个有关的其他技术。
附图说明
本公开的实施例具有其他优点和特征，当结合附图考虑时，根据以下详细描述和所附权利要求，这些优点和特征将更加显而易见，在附图中：
图1是根据实施例的电饭煲组件的侧视截面图。
图2是示出了根据实施例的对电饭煲进行控制的框图。
图3是根据实施例的组件的侧视截面图。
图4A是示出了根据实施例的机器学习模型的训练和操作的流程图。
图4B示出了根据实施例的示例性训练样本。
图4C示出了根据实施例的示例性预处理图像。
图5是根据实施例的包括电饭煲的居住环境的框图。
附图仅出于说明的目的而描绘了各个实施例。本领域技术人员将很容易从以下讨论中认识到，在不脱离本文所述原理的情况下可以采用本文所述的结构和方法的替代实施例。
具体实施方式
附图和以下描述涉及仅以说明的方式给出的优选实施例。应当注意的是，根据以下讨论，本文公开的结构和方法的替代实施例将很容易被认为是可以在不脱离所要求保护的原理的情况下采用的可行的替代方案。
图1是根据实施例的电饭煲组件100的侧视截面图。电饭煲组件100包括存储腔室110、导管120和烹饪腔室130。食物150被放置在存储腔室110中以进行存储。存储腔室110由诸如玻璃或丙烯酸的透明材料制成，该透明材料优选地是抗刮伤的。存储腔室110包括门114。打开门114，以在存储腔室110的底部支撑件上产生开口。该开口使食物150能够通过。导管120使食物150能够从存储腔室110移动到烹饪腔室130以进行烹饪。食物包括诸如白米、糙米、长粒米、短粒米、中粒米、小麦粒、谷类、豆类、小米、薏仁、玉米、大麦、燕麦、黑麦、斯佩尔特小麦、野生稻米、苋菜、荞麦、鼠尾草、藜麦、鹰嘴豆、豌豆、蚕豆、扁豆、绿豆，利马豆、花生、木豆、绿豆、黄豆、黑豆、红豆、莲子和/或其任意组合。食物可进一步包括新鲜水果、干水果、坚果、香料和/或其任意组合。
电饭煲组件100包括照相机112，该照相机被定位成观察存储腔室110的内部。在示出的示例中，照相机112位于存储腔室110的侧壁上。照相机112位于存储腔室110的侧壁的外表面上。照相机的视野由虚线表示。在其他示例中，照相机112位于存储腔室110的底部支撑件上。例如，照相机112位于底部支撑件的外表面上。外表面可以包括光学涂层以减少反射，从而使照相机能够拍摄更好质量的图像。照相机可以拍摄存储腔室110的容纳物(例如食物150)的彩色照片。在又一实施例中，照相机112或附加照相机被定位成观察烹饪腔室130的内部。
电饭煲组件100可以包括烹饪食物150所在的烹饪腔室130。在烹饪食物150之前，导管120和存储腔室110可以分开并与烹饪腔室130分离。烹饪腔室130可以连接到诸如水箱的水源(未示出)。水源可以是电饭煲组件100的一部分。在一些实施例中，烹饪腔室130包括用于测量待烹饪的食物的量的刻度。
图2是示出了对电饭煲组件100的控制的框图。控制系统210大致分为一个或多个机器学习模型220和输出控制器230。机器学习模型220接收由照相机112拍摄的图像。
机器学习模型220根据这些输入(可能与其他附加输入进行组合)确定存储腔室110中的容纳物。优选地，机器学习模型根据图像识别食物150并对食物进行分类。例如，机器学习模型识别食物150是否包括多种食物成分并且对食物成分进行分类。机器学习模型220可以确定不同食物成分之间的比例。食物成分是指特定类型的食物。作为另一示例，机器学习模型识别食物150是否包括非食用对象并且对该非食用对象进行分类。对于识别出的非食用对象，机器学习模型220可以确定该非食用对象的3D位置。不同类型的谷物将以不同的方式进行烹饪，包括使用不同的温度和时间以及不同的水量。当与其他类型的非谷物食物(例如坚果或水果)混合时，对混合物的烹饪要求可能会进一步变化。此外，不同用户可能对质地(例如，硬度、粘性等)具有不同的偏好。有些人喜欢更耐嚼的质地，而另一些人则喜欢较柔软的质地。
输出控制器230根据由机器学习模型220确定的识别和分类来控制食物的烹饪过程。由输出控制器230控制的一个方面通常是用于烹饪食物150的温度-时间曲线。至少基于所分类的一种或多种食物成分，控制器230可以选择正确的温度和正确的烹饪时间。还可以基于待烹饪的食物的量来选择正确的温度和正确的烹饪时间。此外，控制器可以指定根据时间改变温度的温度-时间曲线，而不是在恒定温度下烹饪一定时间(例如，煮沸20分钟)。控制器230可以进一步选择烹饪食物的水量。
控制器230还可以考虑其他因素，例如用户输入或者对烹饪腔室或食物的温度的监测。用户对质地的偏好(例如，粘性、硬度)将会影响温度-时间曲线。另外，可以基于对烹饪腔室或食物的温度的监测来主动监测烹饪。例如，如果温度计指示混合物已经达到正确的内部温度，则即使尚未达到指定的烹饪时间，控制器也可以结束烹饪过程。
除了温度-时间曲线，控制器230还可调节其他量。例如，如果电饭煲具有不同的烹饪模式，则控制器230可以针对检测到的食物成分的类型来选择正确的烹饪模式。烹饪模式的示例包括白米、糙米和混合米。也可能是更复杂的烹饪模式。例如，白米烹饪模式可以细分为具有一定硬度水平的白米和具有一定粘性水平的白米，硬度水平和粘性水平各自可从一范围内选择。如果烹饪过程具有不同阶段，例如浸泡、预加热、煮沸、完成和保温，则控制器230可以确定何时从一个阶段过渡到下一阶段。控制器还可以在烹饪过程完成时发出通知。
除了控制烹饪过程以外，控制系统210还根据由机器学习模型220确定的识别和分类来控制是否应当清空存储腔室110。例如，如果在食物150中检测到非食用对象，则输出控制器230确定应当清空存储腔室110。例如，输出控制器230生成打开门114的信号。示例性的非食用对象包括害虫、沙粒、小石头、小金属、皮壳等。除了清空存储腔室110以外或代替清空存储腔室110，输出控制器230还可生成警告信号，以提醒用户有关非食用对象。输出控制器还可以发出存储腔室是否被清空的通知。
图3是根据实施例的组件300的侧视截面图。组件300包括存储腔室110、照相机112和导管120，该存储腔室110、照相机112和导管120全都已经结合图1进行了描述，在此省略对存储器110、照相机112和导管120的描述。组件300进一步包括第二导管304和吹风机302。第二导管304可以在清空存储腔室110之前附接至导管120。如图所示，第二导管304连接至导管120，使得第二导管304的通道与导管120的通道垂直。吹风机32位于导管304的一个端部处。当清空存储腔室110时，吹风机32将空气吹入导管304的通道内。箭头表示空气流的方向。门114被打开，以使食物150能够通过导管120的通道进入导管304的通道。空气流将食物推向导管304的另一端部。在清空存储腔室110之后，第二导管304可以从导管120分离并被移除。
图4A是示出了根据实施例的一个或多个机器学习模型220的训练和操作的流程图。该过程包括两个主要阶段：一个或多个机器学习模型220的训练410以及一个或多个机器学习模型220的推理(操作)420。附图标记后面的字母(例如“220a”)表示，文本专门指代具有该特定附图标记的元件，而文本中不带后面的字母的附图标记(例如“220”)指代图中带有该附图标记的任何元件或所有元件。
训练模块(未示出)执行对一个或多个机器学习模型220的训练410。在一些实施例中，机器学习模型220由具有一定数量的层和节点的架构来限定，在节点之间具有偏差和加权连接(参数)。在一个示例中，机器学习模型220包括基于卷积神经网络(ConvolutionalNeural Network，CNN)的机器学习模型。基于CNN的机器学习模型可以基于诸如yolo(您只看一次)、更快的RCNN(基于区域的卷积神经网络)以及SSD(单镜头多盒探测器)的结构。在训练410期间，训练模块基于训练样本集来确定机器学习模型220的参数(例如，权重和偏差)的值。
训练模块接收411训练集以进行训练。训练集中的训练样本包括由相机112在许多不同情况下拍摄的图像：不同类型的食物、不同的非食用对象、食物的不同混合物、食物与非食用对象的不同混合物、不同的光照条件等。对于监督学习，训练集通常还包括图像标签。标签包括待训练的属性：食物成分的类型、非食用对象的类型、食物成分之间的比例等。在一些实施例中，训练模块应用反向传播算法来优化模型参数。训练模块可以应用随机梯度下降方法来更新模型参数。图4B示出了一个训练样本。该训练样本是混合有虫子的大米的图片。
在典型的训练412中，训练样本呈现为机器学习模型220的输入，然后该机器学习模型产生用于特定识别和/或用于特定分类的输出。一个或多个机器学习模型可用于识别食物是否包括不同类型的食物成分以对每个识别出的食物成分进行分类，和/或用于识别食物是否包括非食用对象以对每个识别出的非食用对象进行分类。训练模块利用机器学习模型的输出与已知良好输出之间的差异来调整机器学习模型220中的参数值。对许多不同的训练样本重复此操作以改善机器学习模型220的性能。
训练模块通常也基于附加的验证样本来验证413训练好的机器学习模型220。例如，训练模块将机器学习模型220应用于验证样本集，以量化机器学习模型220的准确率。验证样本集包括图像及其已知的属性。机器学习模型220的输出可与已知的基本事实进行比较。准确率测量中的常用度量包括精确率(precision)和召回率(recall)，精确率＝TP/(TP+FP)，召回率＝TP/(TP+FN)，其中，TP是真正例(true positive)的数量，FP是假正例(falsepositive)的数量，FN是假反例(false negative)的数量。精确率是指：相对于在机器学习模型预测的、具有目标属性(TP+FP)的所有结果，机器学习模型220正确预测了多少具有目标属性(TP)的结果。召回率是指：相对于在实际上确实具有目标属性(TP+FN)的验证样本的总数，机器学习模型220正确预测了多少具有属性(TP)的结果。F得分(F得分＝2*精确率*召回率)/(精确率+召回率))将精确率和召回率统一为单个量度。在准确率测量中应用的常用度量还包括排名第1准确率(Top-1 Accuracy)和排名前5准确率(Top-5 Accuracy)。在排名第1准确率下，当由经训练的模型预测的排名第1预测结果(即概率最高的预测结果)正确时，经训练的模型是准确的。在排名前5准确率下，当排名前5预测结果(例如，概率最高的前五个预测结果)中的一个正确时，经训练的模型是准确的。
训练模块可以使用其他类型的度量来量化经训练的模型的准确率。在一个实施例中，训练模块对机器学习模型进行训练直到出现停止条件为止，该停止条件例如为指示经训练的模型足够准确的准确率测量结果指示，或者已经进行的多轮训练。
对机器学习模型220的训练410最好离线进行，作为电饭煲产品开发的一部分。接着，经训练的模型220被安装在卖给消费者的电饭煲上。电饭煲可以使用比训练所需的计算资源更少的计算资源来执行机器学习模型。在一些情况下，机器学习模型220被连续训练410或被更新。例如，训练模块使用由照相机112在视野中拍摄的图像来对机器学习模型220进行进一步训练。由于训练410的计算强度更大，因此该训练410可能是基于云计算的或者在具有更强的计算能力的独立家用设备上进行。对机器学习模型220的更新被分配给电饭煲。
在操作420中，机器学习模型220a将由照相机112拍摄的图像421用作输入422。机器学习模型220a确定423食物150是否包括一个或多个其他食物成分或是否包括除了食物成分以外的非食用对象。如果机器学习模型220a确定食物150包括多种食物成分或非食用对象，则机器学习模型220b将由照相机112拍摄的图像421用作输入。
机器学习模型220b对一种或多种食物成分以及非食用对象(如果有的话)进行分类。在一个架构中，机器学习模型220b计算424可能存在的不同结果的概率，例如对象是某种谷物、某种非谷物食物、某种非食用对象等的概率。机器学习模型220基于所计算的概率来识别424哪种分类是最有可能的。例如，机器学习模型220可能会识别出绿豆是最可能的谷物类型。在没有明确获胜者的情况下，机器学习模型220可以识别出多种类别并要求用户进行验证。例如，机器学习模型可能会报告绿豆和红豆都有可能，并由用户来验证是哪一种。机器学习模型220a和220b可以是同一种机器学习模型，或者是整套机器学习模型的子模型。
然后，控制器230基于分类来控制425电饭煲。
在一些实施例中，由照相机112拍摄的原始图像在被输入到机器学习模型220中之前可以进行预处理以增强对比度。例如，可以应用线性变化算法、指数变化算法、直方图变化算法等类似的图像处理机制。这样做可以使图像特征更加明显，从而提高机器学习模型的输出的准确率。图4C示出了在预处理之后由照相机112拍摄的示例性图像。如图所示，在对图像进行预处理之后，增强了每个单独的颗粒的大小、形状、表面纹理和其他特征。
在另一方面，电饭煲可以是家庭网络的一部分。图5是根据实施例的包括电饭煲的居住环境的框图。居住环境500是被设计为用于人们居住的环境。居住环境500可以是例如为房屋、商品房、公寓或宿舍的住宅。居住环境500包括家用设备510A-N，该家用设备包括上述电饭煲。该居住环境还包括连接家用设备510的家用设备网络520以及包含居民对家用设备的偏好的居民档案数据库530。图5中的部件被示出为单独的框，但是这些部件可以根据实施方式进行组合。例如，居民档案530可以是家庭设备510的一部分。此外，居住环境500可以包括用于网络520的集线器。该集线器还可以控制家用设备510。网络520优选地还提供对外部设备的访问(例如基于云的服务)。
家用设备510是可供与居住环境500相关联的不同人使用的家庭设备。其他家用设备510的示例包括HVAC设备(例如，空调、加热器、通风设备)、照明装置、电动窗户和门处理装置(例如，门锁、电动百叶窗帘和遮光帘)、电动家具或陈设(例如，办公桌、躺椅)、音频设备(例如，音乐播放器)、视频设备(例如，电视、家庭影院)、环境控制装置(例如，空气过滤器、空气清新器)、厨房用具(例如电饭煲、咖啡机、冰箱)、浴室用具和家庭机器人设备(例如真空清扫机器人、机器人管家)。家用设备510可以包括可在家庭中使用的其他类型的设备。
居民档案530通常包括有关不同居民的信息，例如，姓名、该系统使用的标识符、年龄、性别和健康信息。居民档案530还可以包括由不同居民选择的对家用设备510的设置和其他偏好。
网络520提供居住环境500的不同部件之间的连通，并且使部件能够彼此交换数据。术语“网络”是广义的。该网络可以包括具有标准定义协议的正式网络，例如以太网和无线宽带。在一个实施例中，网络520是局域网络，该局域网络的网络设备和互连体是在居住环境500内进行管理的。网络520还可对不同类型的连通进行组合。网络520可以包括使用有线链路和/或无线链路的局域网络和/或广域网络的组合。部件之间交换的数据可以使用任何合适的格式表示。在一些实施例中，可以对所有或一些数据和通信进行加密。
可以在单个电饭煲(家用设备510之一)、集线器、基于云的服务中或者在可被电饭煲经由网络520访问的其他位置处物理地实现上述功能。
尽管该详细描述包含许多细节，但是这些细节不应被解释为对本发明的范围进行限制，而仅用于说明不同的示例。应当理解的是，本公开的范围包括上文未详细讨论的其他实施例。例如，尽管电饭煲被用作主要示例，但是也可以使用诸如蒸锅或微波炉的其他烹饪器具。在不脱离所附权利要求所限定的精神和范围的情况下，可以对本文公开的方法和装置的布置、操作和细节进行各种其他修改、改变和变化，这些修改、改变和变化对本领域技术人员而言是显而易见的。因此，本发明的范围应当由所附权利要求及其合法等同物来确定。
替代实施例在计算机硬件、固件、软件和/或其组合中实现。可以在有形地体现在机器可读存储设备中以由可编程处理器执行的计算机程序产品中实施该实施方式；可以通过执行指令程序的可编程处理器来执行方法步骤，以通过对输入数据进行操作并生成输出来执行功能。可以在一个或多个计算机程序上有利地实施各实施例，该一个或多个计算机程序可以在包括至少一个可编程处理器的可编程系统上执行，该至少一个可编程处理器被耦合以接收来自数据存储系统、至少一个输入设备以及至少一个输出设备的数据和指令，并将数据和指令传输至该数据存储系统、至少一个输入设备以及至少一个输出设备。每个计算机程序都可以以高级程序编程语言或面向对象的编程语言来实施，或者根据需要以汇编语言或机器语言来实施；在任何情况下，该语言都可以是编译型语言或解释型语言。合适的处理器例如包括通用微处理器和专用微处理器。通常，处理器将接收来自只读存储器和/或随机存取存储器的指令和数据。通常，计算机将包括用于存储数据文件的一个或多个大容量存储设备；这些设备包括磁盘，例如内部硬盘和可移动盘；磁光盘；以及光盘。适用于有形地体现计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，该非易失性存储器例如包括半导体存储设备，例如EPROM、EEPROM、和闪存设备；磁盘，例如内部硬盘和可移动盘；磁光盘；和CD-ROM盘。上述任何一种设备可由ASICs(专用集成电路)和其他形式的硬件补充或并入ASICs(专用集成电路)和其他形式的硬件。

Claims (21)

1.一种用于控制电饭煲的由计算机实施的方法，所述方法包括：
拍摄用于对腔室的内部进行观察的图像，所述腔室至少容纳有第一食物成分；
将所拍摄的图像作为第一机器学习模型的输入，所述第一机器学习模型被配置为确定所述腔室是否容纳有与所述第一食物成分不同的一个或多个对象；以及
响应于确定所述腔室容纳有与所述第一食物成分不同的一个或多个对象，将所拍摄的图像作为输入应用于第二机器学习模型，所述第二机器学习模型被配置为对所述一个或多个对象中的每一个进行分类。
2.根据权利要求1所述的由计算机实施的方法，所述方法进一步包括：
响应于确定所述一个或多个对象包括第二食物成分，根据所述第一食物成分和所述第二食物成分控制烹饪过程。
3.根据权利要求1所述的由计算机实施的方法，所述方法进一步包括：
响应于确定所述一个或多个对象包括非食用对象，清空所述腔室的容纳物。
4.根据权利要求1所述的由计算机实施的方法，其中，所述第二机器学习模型对所述第一食物成分进行分类。
5.根据权利要求1所述的由计算机实施的方法，其中，所述第二机器学习模型是所述第一机器学习模型。
6.根据权利要求2所述的由计算机实施的方法，其中，控制所述烹饪过程包括根据所确定的所述第一食物成分和所述第二食物成分来控制所述电饭煲的温度-时间曲线。
7.根据权利要求2所述的由计算机实施的方法，其中，所述电饭煲具有不同的烹饪模式，并且控制所述烹饪过程包括根据所确定的所述第一食物成分和所述第二食物成分来选择烹饪模式。
8.根据权利要求2所述的由计算机实施的方法，其中，所述烹饪过程具有不同的烹饪阶段，并且控制所述烹饪过程包括根据所确定的所述第一食物成分和所述第二食物成分在不同阶段之间进行转换。
9.根据权利要求2所述的由计算机实施的方法，所述方法进一步包括：
确定所述第一食物成分与所述第二食物成分之间的比例，其中，进一步根据所述比例来控制所述烹饪过程。
10.根据权利要求2所述的由计算机实施的方法，所述方法进一步包括：
接收来自用户的关于所述腔室中的容纳物或所述烹饪过程的输入，其中，进一步根据用户输入来控制所述烹饪过程。
11.根据权利要求2所述的由计算机实施的方法，所述方法进一步包括：
访问用户档案以获取关于所述腔室中的容纳物或所述烹饪过程的信息，其中，根据来自所述用户档案的所述信息进一步控制所述烹饪过程。
12.根据权利要求2所述的由计算机实施的方法，所述方法进一步包括：
访问所述电饭煲的历史数据，其中，根据所述历史数据进一步控制所述烹饪过程。
13.根据权利要求1所述的方法，其中，所述腔室与所述电饭煲独立。
14.根据权利要求1所述的方法，其中，所述电饭煲包括所述腔室。
15.一种电饭煲，所述电饭煲包括：
腔室，所述腔室至少容纳有用于烹饪的第一食物成分；
照相机，所述照相机被定位成观察所述腔室的内部；以及
处理系统，所述处理系统被配置成：
使所述照相机拍摄所述腔室的容纳物的图像；
将所拍摄的图像作为第一机器学习模型的输入，所述第一机器学习模型被配置为确定所述腔室是否容纳有与所述第一食物成分不同的一个或多个对象；和
响应于确定所述腔室容纳有与所述第一食物成分不同的一个或多个对象，将所拍摄的图像作为输入应用于第二机器学习模型，所述第二机器学习模型被配置为对所述一个或多个对象中的每一个进行分类。
16.根据权利要求15所述的电饭煲，其中，所述处理系统进一步被配置成，响应于确定所述一个或多个对象包括第二食物成分，根据所述第一食物成分和所述第二食物成分来控制烹饪过程。
17.根据权利要求15所述的电饭煲，其中，所述腔室包括位于所述腔室的底部支撑件上的门。
18.根据权利要求15所述的电饭煲，所述电饭煲进一步包括用于使所述腔室中的容纳物通过的导管。
19.根据权利要求15所述的电饭煲，其中，所述照相机位于所述腔室的侧壁上或位于所述腔室的底部支撑件上。
20.根据权利要求15所述的电饭煲，其中，所述第一机器学习模型和所述第二机器学习模型物理上远离所述电饭煲，所述电饭煲通过网络连接访问所述第一机器学习模型和所述第二机器学习模型。
21.根据权利要求15所述的电饭煲，其中，所述第一机器学习模型和所述第二机器学习模型物理上处于所述电饭煲中。
CN201880090717.6A 2018-03-08 2018-03-08 能够进行混合谷物烹饪和异常情况检测的智能电饭煲 Active CN111801033B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/078474 WO2019169613A1 (en) 2018-03-08 2018-03-08 Smart rice cookers capable of mixed grain cooking and abnormal conditions detection

Publications (2)

Publication Number Publication Date
CN111801033A true CN111801033A (zh) 2020-10-20
CN111801033B CN111801033B (zh) 2021-10-15

Family

ID=67843115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090717.6A Active CN111801033B (zh) 2018-03-08 2018-03-08 能够进行混合谷物烹饪和异常情况检测的智能电饭煲

Country Status (3)

Country Link
US (1) US11406121B2 (zh)
CN (1) CN111801033B (zh)
WO (1) WO2019169613A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040817A (zh) * 2018-04-16 2020-12-04 美的集团股份有限公司 多用途智能电饭煲

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110693332B (zh) * 2019-09-19 2021-02-02 杭州九阳小家电有限公司 一种米饭烹饪方法和装置
CN110991649A (zh) * 2019-10-28 2020-04-10 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 深度学习模型搭建方法、装置、设备和存储介质
USD1011821S1 (en) 2022-02-17 2024-01-23 Whirlpool Corporation Countertop cooking appliance

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1301477A (zh) * 1998-04-02 2001-06-27 透波歇夫技术股份有限公司 带有对流和微波加热的家用烤箱
CN101589394A (zh) * 2007-01-11 2009-11-25 Lg电子株式会社 烹饪装置、烹饪装置的控制系统及烹饪装置的控制方法
DE202012005257U1 (de) * 2012-05-29 2012-08-31 Tobias Müller Multifunktionsbrett
CN104042124A (zh) * 2014-06-05 2014-09-17 宁波方太厨具有限公司 一种智能烤箱及其工作控制方法
CN104246375A (zh) * 2012-05-08 2014-12-24 伊莱克斯家用产品股份有限公司 用于加工食品的器具及其操作方法
CN104473556A (zh) * 2014-11-10 2015-04-01 百度在线网络技术（北京）有限公司 烹饪设备的控制方法及装置以及烹饪设备
US20150228062A1 (en) * 2014-02-12 2015-08-13 Microsoft Corporation Restaurant-specific food logging from images
CN205758285U (zh) * 2016-02-26 2016-12-07 广东美的厨房电器制造有限公司 烹饪器具
CN205831689U (zh) * 2016-05-13 2016-12-28 深圳小厨科技有限公司 一种新型料理机杯盖和新型料理机
CN106304453A (zh) * 2016-08-01 2017-01-04 广东美的厨房电器制造有限公司 食物加热控制方法、设备及包含该设备的烹饪器具
CN107440475A (zh) * 2017-04-28 2017-12-08 浙江苏泊尔家电制造有限公司 烹饪的方法、烹饪器具及计算机存储介质
CN107536436A (zh) * 2016-06-24 2018-01-05 九阳股份有限公司 一种带图像识别模块的智能电饭煲及智能烹饪系统
CN107550234A (zh) * 2017-08-10 2018-01-09 深圳益创信息科技有限公司 一种智能煮饭方法及电饭煲
CN107597776A (zh) * 2017-09-08 2018-01-19 珠海格力电器股份有限公司 烹饪设备的清理方法及装置、烹饪设备
CN107669101A (zh) * 2017-11-14 2018-02-09 重庆羽狐科技有限公司 适用于全自动电饭锅的储米装置
CN107728515A (zh) * 2017-09-27 2018-02-23 珠海格力电器股份有限公司 米饭的蒸煮方法及装置
CN107736794A (zh) * 2017-11-14 2018-02-27 重庆羽狐科技有限公司 全自动电饭煲

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2590909A1 (en) * 2004-12-16 2006-06-22 Hill's Pet Nutrition, Inc. Methods for enhancing the palatability of food compositions
US10154749B2 (en) * 2010-11-12 2018-12-18 Convotherm Elektrogeraete Gmbh Cooking device and procedure for cooking food
CN104203052B (zh) * 2012-03-19 2016-05-04 夏普株式会社 加热烹调器
CN103650383B (zh) 2012-05-24 2017-04-12 松下电器（美国）知识产权公司 信息通信方法
EP3062500A3 (en) * 2014-04-07 2016-10-05 Indesit Company S.p.A. Oven comprising a camera
CN204181433U (zh) 2014-04-22 2015-03-04 中山市雅乐思电器实业有限公司 一种全自动电饭煲
US11252792B2 (en) * 2014-06-18 2022-02-15 Spot Labs, Llc Device for selective heating of materials in an electromagnetic oven
CN109539333B (zh) * 2015-03-10 2020-06-19 松下知识产权经营株式会社 加热烹饪器
JP6427766B2 (ja) * 2015-06-11 2018-11-28 パナソニックＩｐマネジメント株式会社 画像と調理情報を関連付ける制御方法、装置及びプログラム
US10760794B2 (en) 2015-09-10 2020-09-01 Brava Home, Inc. In-oven camera
JP2016166724A (ja) * 2016-01-22 2016-09-15 パナソニックＩｐマネジメント株式会社 加熱調理器
CN109073231A (zh) * 2016-03-29 2018-12-21 松下知识产权经营株式会社 加热烹调器

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1301477A (zh) * 1998-04-02 2001-06-27 透波歇夫技术股份有限公司 带有对流和微波加热的家用烤箱
CN101589394A (zh) * 2007-01-11 2009-11-25 Lg电子株式会社 烹饪装置、烹饪装置的控制系统及烹饪装置的控制方法
CN104246375A (zh) * 2012-05-08 2014-12-24 伊莱克斯家用产品股份有限公司 用于加工食品的器具及其操作方法
DE202012005257U1 (de) * 2012-05-29 2012-08-31 Tobias Müller Multifunktionsbrett
US20150228062A1 (en) * 2014-02-12 2015-08-13 Microsoft Corporation Restaurant-specific food logging from images
CN104042124A (zh) * 2014-06-05 2014-09-17 宁波方太厨具有限公司 一种智能烤箱及其工作控制方法
CN104473556A (zh) * 2014-11-10 2015-04-01 百度在线网络技术（北京）有限公司 烹饪设备的控制方法及装置以及烹饪设备
CN205758285U (zh) * 2016-02-26 2016-12-07 广东美的厨房电器制造有限公司 烹饪器具
CN205831689U (zh) * 2016-05-13 2016-12-28 深圳小厨科技有限公司 一种新型料理机杯盖和新型料理机
CN107536436A (zh) * 2016-06-24 2018-01-05 九阳股份有限公司 一种带图像识别模块的智能电饭煲及智能烹饪系统
CN106304453A (zh) * 2016-08-01 2017-01-04 广东美的厨房电器制造有限公司 食物加热控制方法、设备及包含该设备的烹饪器具
CN107440475A (zh) * 2017-04-28 2017-12-08 浙江苏泊尔家电制造有限公司 烹饪的方法、烹饪器具及计算机存储介质
CN107550234A (zh) * 2017-08-10 2018-01-09 深圳益创信息科技有限公司 一种智能煮饭方法及电饭煲
CN107597776A (zh) * 2017-09-08 2018-01-19 珠海格力电器股份有限公司 烹饪设备的清理方法及装置、烹饪设备
CN107728515A (zh) * 2017-09-27 2018-02-23 珠海格力电器股份有限公司 米饭的蒸煮方法及装置
CN107669101A (zh) * 2017-11-14 2018-02-09 重庆羽狐科技有限公司 适用于全自动电饭锅的储米装置
CN107736794A (zh) * 2017-11-14 2018-02-27 重庆羽狐科技有限公司 全自动电饭煲

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040817A (zh) * 2018-04-16 2020-12-04 美的集团股份有限公司 多用途智能电饭煲
CN112040817B (zh) * 2018-04-16 2022-03-15 美的集团股份有限公司 多用途智能电饭煲

Also Published As

Publication number Publication date
CN111801033B (zh) 2021-10-15
US20190274337A1 (en) 2019-09-12
US11406121B2 (en) 2022-08-09
WO2019169613A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
CN112040817B (zh) 多用途智能电饭煲
CN111801033B (zh) 能够进行混合谷物烹饪和异常情况检测的智能电饭煲
CN111684368B (zh) 基于成分识别的食物制备方法和系统
CN111148944B (zh) 自动烹饪设备和方法
US20230039201A1 (en) Tailored food preparation with an oven
RU2719032C2 (ru) Способ и аппарат для управления процессом приготовления пищевого продукта
US20190110638A1 (en) Machine learning control of cooking appliances
JP6542802B2 (ja) 食品の調理プロセスを制御する方法及び調理装置
CN108665134A (zh) 用于监控食品制备的装置和方法
US20240093875A1 (en) Method for operating a cooking appliance, and cooking appliance
CN110974038A (zh) 食材熟度确定方法、装置、烹饪控制设备和可读存储介质
CN110553295A (zh) 油烟机的调档方法、装置及油烟机
US20220163261A1 (en) Appliances and Methods for Adaptive Zonal Cooking
CN114839217A (zh) 一种食物解冻曲线获取方法及烹饪解冻器具
CN114840038A (zh) 一种智能烹饪分享方法及烹饪装置
CN111666961A (zh) 智能家电及其识别食材类型的方法、装置、电子设备
CN114743083A (zh) 成熟状态的确定方法和装置、存储介质及电子装置
KR20230109395A (ko) 전자 장치 및 그 제어 방법
KR20240057959A (ko) 조리 기기 및 그 제어 방법
CN114831514A (zh) 智能预约烹饪方法及烹饪器材
CN115063792A (zh) 食物烹饪状态调控方法、装置、电子设备及可读介质
CN116972901A (zh) 用于制冷器具的气味检测方法及制冷器具
CN118159779A (zh) 电子装置及其控制方法
CN114831498A (zh) 基于最佳成熟度判断食材烹饪完成的方法及其智能烹饪器具
CN111434291A (zh) 确定谷物的烹饪模式的方法、装置和烹饪器具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant