CN111248716B - 食材的烹饪控制方法、图像处理方法、装置及烹饪设备 - Google Patents

食材的烹饪控制方法、图像处理方法、装置及烹饪设备 Download PDF

Info

Publication number
CN111248716B
CN111248716B CN202010049562.0A CN202010049562A CN111248716B CN 111248716 B CN111248716 B CN 111248716B CN 202010049562 A CN202010049562 A CN 202010049562A CN 111248716 B CN111248716 B CN 111248716B
Authority
CN
China
Prior art keywords
cooking
food material
image
state
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010049562.0A
Other languages
English (en)
Other versions
CN111248716A (zh
Inventor
宋德超
陈翀
陈勇
李雨铭
郑威
林进华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010049562.0A priority Critical patent/CN111248716B/zh
Publication of CN111248716A publication Critical patent/CN111248716A/zh
Application granted granted Critical
Publication of CN111248716B publication Critical patent/CN111248716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00—Cooking-vessels
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2643—Oven, cooking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Abstract

本申请涉及食材的烹饪控制方法、图像处理方法、装置及烹饪设备，该方法包括：获取第一待检测图像，所述第一待检测图像中包括至少一种食材；分析所述第一待检测图像确定所述食材对应的第一烹饪状态；根据所述第一烹饪状态执行相应的烹饪操作。该技术方案通过对烹饪设备中的食材以及食材状态进行识别，得出食材当前的烹饪状态，进而确定烹饪设备的烹饪参数，以此不需要劳烦用户在烹饪过程中一直关注食材的烹饪状态。同时也保证了食材的营养，提升了用户的满意度。

Description

食材的烹饪控制方法、图像处理方法、装置及烹饪设备
技术领域
本申请涉及人工智能技术领域，尤其涉及一种食材的烹饪控制方法、图像处理方法、装置及烹饪设备。
背景技术
随着互联网的发展，随着生活条件的提高，人们对于食物的营养和味道越来越重视。目前，市面上的烹饪设备尚不能获取食材当前的状态，例如煲汤机在煲汤时需要人时常打开煲汤机的盖板查看食材的状态，这样不仅造成部分食材的营养损失，而且也使用户劳神费力，从而导致用户对烹饪设备的满意度较低。
发明内容
为了解决烹饪设备不能获取食材当前烹饪状态的技术问题，本申请提供了一种食材的烹饪控制方法、图像处理方法、装置及烹饪设备。
第一方面，本申请实施例提供了一种食材烹饪状态的检测方法，包括：
获取烹饪设备内食材的第一待检测图像；
分析所述第一待检测图像中所述食材对应的第一烹饪状态；
根据所述第一烹饪状态执行相应的烹饪操作。
可选的，所述获取烹饪设备内食材的第一检测图像，包括：
调用设置于所述烹饪设备的摄像装置对所述食材进行拍摄，得到检测视频；
基于所述检测视频提取所述第一待检测图像。
可选的，所述分析所述第一待检测图像确定所述食材对应的第一烹饪状态，包括：
获取预先训练好的状态检测模型，所述状态检测模型包括：至少一个隐藏层，所述隐藏层包括：卷积层和长短期记忆卷积层；
将所述第一待检测图像输入所述卷积层，得到第一特征向量；
将所述第一特征向量输入所述长短期记忆卷积层，得到所述食材的第一烹饪状态。
可选的，所述将所述第一特征向量输入所述长短期记忆卷积层，得到所述食材的第一烹饪状态，包括：
获取第二烹饪状态，所述第二烹饪状态为将第二待检测图像输入所述状态检测模型得到的，所述第二待检测图像为所述第一待检测图像的前一帧图像；
将所述第一特征向量与所述第二烹饪状态输入所述长短期记忆卷积层，得到所述第一烹饪状态。
可选的，所述第一烹饪状态包括所述食材的生熟度；
所述根据所述烹饪状态执行相应的烹饪操作，包括：
当所述生熟度不满足预设条件时，根据所述生熟度生成烹饪参数；
根据所述烹饪参数控制烹饪设备对所述食材进行烹饪；
或，所述根据所述烹饪状态执行相应的烹饪操作，还包括：
当所述生熟度满足所述预设条件时，控制所述烹饪花少北进入保温状态，和/或，生成提示信息。
第二方面，本申请实施例提供了一种图像处理方法，包括：
获取烹饪设备内食材的样本图像；
获取所述样本图像中的标注信息，所述标注信息包括食材信息、汤汁颜色以及所述食材信息和所述汤汁颜色对应的第一烹饪状态，所述食材信息至少包括：食材类型以及食材状态；
采用预设卷积神经网络模型对所述样本图像及所述标注信息进行训练，得到状态检测模型。
可选的，所述采用预设卷积神经网络对所述样本图像及所述标注信息进行训练，得到状态检测模型模型，包括：
将所述样本图像输入所述预设卷积神经网络模型，得到第二烹饪状态，所述预设卷积神经网络模型包括：至少一个隐藏层，所述隐藏层包括：卷积层和长短期记忆卷积层；
根据所述第二烹饪状态以及所述第一烹饪状态计算分类损失；
当所述分类损失满足预设条件时，得到所述状态检测模型。
第三方面，本申请实施例一种食材烹饪状态的检测装置，包括：
获取模块，用于获取烹饪设备内食材的第一待检测图像；
分析模块，用于分析所述第一待检测图像中所述食材对应的第一烹饪状态；
执行模块，用于根据所述第一烹饪状态执行相应的烹饪操作。
第四方面，本申请实施例提供了一种图像处理装置，包括：
第一获取模块，用于获取烹饪设备内食材的样本图像；
第二获取模块，用于获取所述样本图像中的标注信息，所述标注信息包括食材信息、汤汁颜色以及所述食材信息和所述汤汁颜色对应的第一烹饪状态，所述食材信息至少包括：食材类型以及食材状态；
训练模块，用于采用预设卷积神经网络模型对所述样本图像及所述标注信息进行训练，得到状态检测模型。
第五方面，本申请实施例提供了一种烹饪设备，包括：摄像装置，处理器以及控制器；
所述摄像装置，用于对位于所述烹饪设备内的食材进行拍摄，得到检测视频，并将所述检测视频发送至所述处理器；
所述处理器，用于根据所述检测视频获取第一待检测图像，分析所述第一待检测图像中所述食材对应的第一烹饪状态，根据第一烹饪状态生成控制指令，并将所述控制指令发送至所述控制器；
所述控制器，用于根据所述控制指令控制所述烹饪设备执行相应的烹饪操作。
第六方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行计算机程序时，实现上述方法步骤。
第七方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：通过对烹饪设备中的食材以及食材状态进行识别，得出食材当前的生熟度，进而控制烹饪设备的烹饪参数。以此不需要劳烦用户在烹饪过程中一直关注食材的烹饪状态。同时也保证了食材的营养，提升了用户的满意度。例如：当烹饪状态达到预设条件时，继续烹饪，或当烹饪状态达到预设条件时自动切换保温并告知用户。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种食材烹饪状态的检测方法的流程图；
图2为本申请实施例提供的状态检测模型的示意图；
图3为本申请实施例提供的状态检测模型中长短期记忆卷积层的结构图；
图4为本申请另一实施例提供的一种图像处理方法的流程图；
图5为本申请实施例提供的一种食材烹饪状态的检测装置的框图；
图6为本申请实施例提供的一种图像处理装置的框图；
图7为本申请实施例提供的一种烹饪设备的示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了食材的烹饪控制方法、图像处理方法、装置及烹饪设备。本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
下面首先对本发明实施例所提供的一种食材烹饪状态的检测方法进行介绍。
图1为本申请实施例提供的一种食材烹饪状态的检测方法的流程图。如图1所示，该方法包括以下步骤：
步骤S11，获取烹饪设备内食材的第一待检测图像；
步骤S12，分析第一待检测图像中食材对应的第一烹饪状态；
步骤S13，根据第一烹饪状态执行相应的烹饪操作。
本实施例通过对烹饪设备中的食材以及食材状态进行识别，得出食材当前的生熟度，进而控制烹饪设备的烹饪参数。以此不需要劳烦用户在烹饪过程中一直关注食材的烹饪状态。同时也保证了食材的营养，提升了用户的满意度。例如：当烹饪状态达到预设条件时，继续烹饪，或当烹饪状态达到预设条件时自动切换保温并告知用户。
本实施例中，调用设置于烹饪装置内的摄像装置对食材进行拍摄，得到实时视频，其中烹饪腔内包括至少一种食材。基于实时视频提取第一待检测图像。本实施例所指的烹饪设备可以是煲汤机，电饭煲等等。
可选的，分析第一待检测图像确定食材对应的第一烹饪状态，具体通过以下方式实现：将第一待检测图像输入预先训练好的状态检测模型，得到食材的第一烹饪状态。
图2为本申请实施例提供的状态检测模型的示意图，如图2所示，本实施例所使用的状态检测模型包括：至少一个隐藏层，隐藏层包括：卷积层和长短期记忆卷积层。
可选的，将第一待检测图像输入预先训练好的状态检测模型，得到食材对应的烹饪状态，包括：将第一待检测图像输入卷积层，得到第一特征向量，将第一特征向量输入长短期记忆卷积层，得到食材的第一烹饪状态。
本实施例中，将第一特征向量输入长短期记忆卷积层，得到食材的第一烹饪状态，包括：获取第二烹饪状态，第二烹饪状态为第二待检测图像输入状态检测模型得到的，第二待检测图像为第一待检测图像的前一帧图像，将第一特征向量与第二烹饪状态输入长短期记忆卷积层，得到第一烹饪状态。
作为一个示例，图2中包括t-2，t-1以及t时刻的三张待检测图像，将t-2时刻的待检测图像输入状态检测模型中的卷积层(Conv)得到特征向量A1，将特征向量输入长短期记忆卷积层(Conv LSTM)得到t-2时刻的待检测图像中食材对应的烹饪状态C1，此时将烹饪状态C1与下一帧待检测图像(即t-1时刻的待检测图像)关联。
然后，将t-1时刻的待检测图像输入状态检测模型中的卷积层(Conv)得到特征向量A2，将特征向量A2以及烹饪状态C1输入长短期记忆卷积层(Conv LSTM)得到t-1时刻的待检测图像中食材对应的烹饪状态C2，此时将烹饪状态C2与下一帧待检测图像(即t时刻的待检测图像)关联。
最后，将t时刻的待检测图像输入状态检测模型中的卷积层(Conv)得到特征向量A3，将特征向量A3以及烹饪状态C2输入长短期记忆卷积层(Conv LSTM)得到t时刻的待检测图像中食材对应的烹饪状态C3。
本实施例所采用的模型可以将视频流处理为一系列图像V＝{I0,I1,ΛIn}其中，V为视频，I为每一帧图像。本模型的目的在于从帧级水平进行检测得到视频中的食材信息集合{O0,O1，ΛOn}，其中每个Ok表示对应于图像Ik的边界框和食材信息的列表。
本实施例为了构建此模型，首先采用基于mobile net的SSD框架，将SSD特征层中的所有卷积层替换为可分离的深度卷积；同时删除mobile net的最后一层；将长短期记忆卷积层(Conv LSTM)直接注入到单帧检测器中。对于每一帧图片的检测，卷积层(Conv)和长短期记忆卷积层(Conv LSTM)都进行特征提取，其中每一长短期记忆卷积层(Conv LSTM)会将抽取的特征传到SSD进行计算和预测。在帧与帧之间会通过状态变量ct相关联，将上一帧对应的长短期记忆卷积层(Conv LSTM)的状态传入下一长短期记忆卷积层(Conv LSTM)一同计算，这样使得前后帧间的信息相互传递，以此提高物体检测分类的准确率。
为了使长短期记忆卷积层(Conv LSTM)更高效，本实施例中的长短期记忆卷积层(Conv LSTM)采用的Bottleneck LSTM结构，如图3所示，其中，瓶颈是指长短期记忆卷积层(LSTM)的输出通道比输入通道少得多，为了平衡这一情况，首先计算了一定数量通道的瓶颈特征图，并以这个结果替换其他所有门的输入。这样使得其他门的计算量明显少于标准长短期记忆卷积层(LSTM)。以此，采用Bottleneck LSTM比标准的长短期记忆卷积层(LSTM)效果更优。
本实施例中，第一烹饪状态包括食材的生熟度；根据烹饪状态执行相应的烹饪操作，包括：当生熟度不满足预设条件时，根据生熟度生成烹饪参数，根据烹饪参数控制烹饪设备对食材进行烹饪。
作为一个示例，当用户采用煲汤机煲鸡汤时，第一待检测图像中包括：肉类以及汤汁，将第一待检测图像输入状态检测模型中，由状态检测模型提取肉类的状态信息以及汤汁信息作为特征，并根据提取的特征确定鸡汤的烹饪状态，烹饪状态包括：生熟度，当生熟度没有达到预设阈值时，则根据生熟度生成烹饪参数，例如生熟度为0.6,预设阈值为0.95，则查询生熟度与烹饪参数对应关系，根据对应关系确定生熟度对应的烹饪参数。
本实施例种，肉类的状态信包括：分解状态，凝固状态或冷冻状态。汤汁信息包括：汤汁颜色。烹饪参数包括但不限于：加热温度、加热功率以及加热时间。
或，根据烹饪状态执行相应的烹饪操作，还包括：当生熟度满足预设条件时，生成提示信息。例如：以上述煲汤机为例，当生熟度大于预设阈值时，则对已成熟的食材进行保温，同时生成提示信息，提示信息用于提示用户煲汤已完成。
图4为本申请另一实施例提供的一种图像处理方法的流程图。如图4所示，该方法还包括以下步骤：
步骤S21，获取烹饪设备内食材的样本图像；
步骤S22，获取样本图像中的标注信息，标注信息包括食材信息、汤汁颜色以及食材信息和汤汁颜色对应的第一烹饪状态，食材信息至少包括：食材类型以及食材状态；
步骤S23，采用预设卷积神经网络模型对样本图像及标注信息进行训练，得到状态检测模型。
本实施例中，样本图像包括的食材可以是：肉类，蔬菜类，米类等。以肉类为例：肉类(猪肉，牛肉，羊肉，鸡肉等等)为生肉时候的图像、三成熟时的图像、五成熟时的图像、七成熟时的图像与其全熟图像等。标注信息包括：每个阶段肉类对应的状态，以及汤汁颜色。
本实施例中，采用预设卷积神经网络对样本图像及标注信息进行训练，得到状态检测模型模型，包括：
将样本图像输入预设卷积神经网络模型，得到第二烹饪状态，其中预设卷积神经网络模型包括：至少一个隐藏层，隐藏层包括：卷积层和长短期记忆卷积层；然后根据第二烹饪状态以及第一烹饪状态计算分类损失，当分类损失满足预设条件时，得到状态检测模型。
具体的，根据得到的分类损失对模型进行优化，例如：使用优化器进行训练，初始学习率设置为0.001，并且每迭代20万次除以10，权重衰减设为0.0005，动量大小设为0.9。
图5为本申请实施例提供的一种食材烹饪状态的检测装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示，该装置包括：
获取模块51，用于获取烹饪设备内食材的第一待检测图像；
分析模块52，用于分析第一待检测图像中食材对应的第一烹饪状态；
执行模块53，用于根据第一烹饪状态执行相应的烹饪操作。
图6为本申请实施例提供的一种图像处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，该装置包括：
第一获取模块61，用于获取烹饪设备内食材的样本图像；
第二获取模块62，用于获取样本图像中的标注信息，标注信息包括食材信息、汤汁颜色以及食材信息和汤汁颜色对应的第一烹饪状态，食材信息至少包括：食材类型以及食材状态；
训练模块63，用于采用预设卷积神经网络模型对样本图像及标注信息进行训练，得到状态检测模型。
图7为本申请实施例提供了一种烹饪设备的示意图，如图7所示，该烹饪设备1，包括：摄像装置2，处理器3以及控制器4；
摄像装置2，用于对位于烹饪设备内的食材进行拍摄，得到检测视频，并将检测视频发送至处理器3；
处理器3，用于根据检测视频获取第一待检测图像，分析第一待检测图像中食材对应的第一烹饪状态，根据第一烹饪状态生成控制指令，并将控制指令发送至控制器4；
控制器4，用于根据控制指令控制烹饪设备1执行相应的烹饪操作。
本申请实施例还提供一种电子设备，如图8所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，P C I)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例步骤。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种食材的烹饪控制方法，其特征在于，包括：
获取烹饪设备内食材的第一待检测图像；
分析所述第一待检测图像中所述食材对应的第一烹饪状态；
根据所述第一烹饪状态执行相应的烹饪操作；
所述分析所述第一待检测图像确定所述食材对应的第一烹饪状态，包括：
获取预先训练好的状态检测模型，所述状态检测模型包括：至少一个隐藏层，所述隐藏层包括：卷积层和长短期记忆卷积层；
将所述第一待检测图像输入所述卷积层，得到第一特征向量；
将所述第一特征向量输入所述长短期记忆卷积层，得到所述食材的第一烹饪状态；
所述将所述第一特征向量输入所述长短期记忆卷积层，得到所述食材的第一烹饪状态，包括：
获取第二烹饪状态，所述第二烹饪状态为将第二待检测图像输入所述状态检测模型得到的，所述第二待检测图像为所述第一待检测图像的前一帧图像；
将所述第一特征向量与所述第二烹饪状态输入所述长短期记忆卷积层，得到所述第一烹饪状态；
所述方法还包括：
获取烹饪设备内食材的样本图像；
获取所述样本图像中的标注信息，所述标注信息包括食材信息、汤汁颜色以及所述食材信息和所述汤汁颜色对应的第一烹饪状态，所述食材信息至少包括：食材类型以及食材状态；
采用预设卷积神经网络模型对所述样本图像及所述标注信息进行训练，得到状态检测模型。
2.根据权利要求1所述的方法，其特征在于，所述获取烹饪设备内食材的第一检测图像，包括：
调用设置于所述烹饪设备的摄像装置对所述食材进行拍摄，得到检测视频；
基于所述检测视频提取所述第一待检测图像。
3.根据权利要求1所述的方法，其特征在于，所述第一烹饪状态包括所述食材的生熟度；
所述根据所述烹饪状态执行相应的烹饪操作，包括：
当所述生熟度不满足预设条件时，根据所述生熟度生成烹饪参数；
根据所述烹饪参数控制烹饪设备对所述食材进行烹饪；
或，所述根据所述烹饪状态执行相应的烹饪操作，还包括：
当所述生熟度满足所述预设条件时，控制所述烹饪设备进入保温状态，和/或，生成提示信息。
4.一种食材烹饪状态的检测装置，其特征在于，包括：
获取模块，用于获取烹饪设备内食材的第一待检测图像；
分析模块，用于分析所述第一待检测图像中所述食材对应的第一烹饪状态；所述分析所述第一待检测图像确定所述食材对应的第一烹饪状态，包括：获取预先训练好的状态检测模型，所述状态检测模型包括：至少一个隐藏层，所述隐藏层包括：卷积层和长短期记忆卷积层；将所述第一待检测图像输入所述卷积层，得到第一特征向量；将所述第一特征向量输入所述长短期记忆卷积层，得到所述食材的第一烹饪状态；所述将所述第一特征向量输入所述长短期记忆卷积层，得到所述食材的第一烹饪状态，包括：获取第二烹饪状态，所述第二烹饪状态为将第二待检测图像输入所述状态检测模型得到的，所述第二待检测图像为所述第一待检测图像的前一帧图像；将所述第一特征向量与所述第二烹饪状态输入所述长短期记忆卷积层，得到所述第一烹饪状态；
执行模块，用于根据所述第一烹饪状态执行相应的烹饪操作；
所述装置还包括：
第一获取模块，用于获取烹饪设备内食材的样本图像；
第二获取模块，用于获取所述样本图像中的标注信息，所述标注信息包括食材信息、汤汁颜色以及所述食材信息和所述汤汁颜色对应的第一烹饪状态，所述食材信息至少包括：食材类型以及食材状态；
训练模块，用于采用预设卷积神经网络模型对所述样本图像及所述标注信息进行训练，得到状态检测模型。
5.一种烹饪设备，其特征在于，包括：摄像装置，处理器以及控制器；
所述摄像装置，用于对位于所述烹饪设备内的食材进行拍摄，得到检测视频，并将所述检测视频发送至所述处理器；
所述处理器，用于根据所述检测视频获取第一待检测图像，分析所述第一待检测图像中所述食材对应的第一烹饪状态，根据第一烹饪状态生成控制指令，并将所述控制指令发送至所述控制器；
所述控制器，用于根据所述控制指令控制所述烹饪设备执行相应的烹饪操作；
其中，所述处理器，具体用于获取预先训练好的状态检测模型，所述状态检测模型包括：至少一个隐藏层，所述隐藏层包括：卷积层和长短期记忆卷积层；将所述第一待检测图像输入所述卷积层，得到第一特征向量；将所述第一特征向量输入所述长短期记忆卷积层，得到所述食材的第一烹饪状态；
其中，所述状态检测模型通过以下方式得到：获取烹饪设备内食材的样本图像；获取所述样本图像中的标注信息，所述标注信息包括食材信息、汤汁颜色以及所述食材信息和所述汤汁颜色对应的第一烹饪状态，所述食材信息至少包括：食材类型以及食材状态；采用预设卷积神经网络模型对所述样本图像及所述标注信息进行训练，得到状态检测模型。
CN202010049562.0A 2020-01-16 2020-01-16 食材的烹饪控制方法、图像处理方法、装置及烹饪设备 Active CN111248716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010049562.0A CN111248716B (zh) 2020-01-16 2020-01-16 食材的烹饪控制方法、图像处理方法、装置及烹饪设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010049562.0A CN111248716B (zh) 2020-01-16 2020-01-16 食材的烹饪控制方法、图像处理方法、装置及烹饪设备

Publications (2)

Publication Number Publication Date
CN111248716A CN111248716A (zh) 2020-06-09
CN111248716B true CN111248716B (zh) 2021-09-14

Family

ID=70923747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010049562.0A Active CN111248716B (zh) 2020-01-16 2020-01-16 食材的烹饪控制方法、图像处理方法、装置及烹饪设备

Country Status (1)

Country Link
CN (1) CN111248716B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111990902A (zh) * 2020-09-30 2020-11-27 广东美的厨房电器制造有限公司 一种烹饪控制方法及装置、电子设备及存储介质
CN114903343A (zh) * 2021-02-09 2022-08-16 海信集团控股股份有限公司 一种自动蒸烤的方法、装置及其蒸烤箱

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871118A (zh) * 2017-09-30 2018-04-03 珠海格力电器股份有限公司 烹饪器具的控制方法、装置和系统、存储介质、处理器
CN107909605A (zh) * 2017-10-23 2018-04-13 广东美的厨房电器制造有限公司 烹饪设备的控制方法、装置、存储介质和服务器
CN109480603A (zh) * 2018-10-16 2019-03-19 珠海格力电器股份有限公司 一种烹饪器具的控制方法及烹饪器具
CN110135441A (zh) * 2019-05-17 2019-08-16 北京邮电大学 一种图像的文本描述方法及装置
CN110533053A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 一种事件检测方法、装置及电子设备
CN110664259A (zh) * 2019-11-20 2020-01-10 广东美的厨房电器制造有限公司 烹饪设备及其控制方法、控制系统、计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016216635A1 (en) * 2015-10-23 2017-05-11 Traeger Pellet Grills, Llc Smoke generation cooking system and methods
CN108322493B (zh) * 2017-01-18 2021-08-20 佛山市顺德区美的电热电器制造有限公司 食材识别及烹饪推送方法、系统、服务器及烹饪器具
US10223933B1 (en) * 2017-08-09 2019-03-05 Brava Home, Inc. Multizone cooking utilizing a spectral-configurable cooking instrument
CN107468048B (zh) * 2017-09-30 2020-10-02 广东美的厨房电器制造有限公司 烹饪器具及其控制方法
WO2019128543A1 (en) * 2017-12-30 2019-07-04 Midea Group Co., Ltd. Food preparation method and system based on ingredient recognition
CN110613314B (zh) * 2018-06-20 2022-05-31 佛山市顺德区美的电热电器制造有限公司 一种烹饪提示方法及设备、存储介质
CN110132890A (zh) * 2019-05-20 2019-08-16 梁志鹏 根据食材成分优化无人厨房烹饪操作的方法及装置
CN110448144B (zh) * 2019-06-21 2021-01-12 珠海格力电器股份有限公司 智能蒸煮控制方法、装置、计算机设备及存储介质
CN110448146B (zh) * 2019-07-12 2021-10-08 杭州九阳小家电有限公司 一种谷物烹饪装置的烹饪控制方法和谷物烹饪装置
CN110674736A (zh) * 2019-09-23 2020-01-10 珠海格力电器股份有限公司 一种识别食材新鲜度的方法、装置、服务器及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871118A (zh) * 2017-09-30 2018-04-03 珠海格力电器股份有限公司 烹饪器具的控制方法、装置和系统、存储介质、处理器
CN107909605A (zh) * 2017-10-23 2018-04-13 广东美的厨房电器制造有限公司 烹饪设备的控制方法、装置、存储介质和服务器
CN110533053A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 一种事件检测方法、装置及电子设备
CN109480603A (zh) * 2018-10-16 2019-03-19 珠海格力电器股份有限公司 一种烹饪器具的控制方法及烹饪器具
CN110135441A (zh) * 2019-05-17 2019-08-16 北京邮电大学 一种图像的文本描述方法及装置
CN110664259A (zh) * 2019-11-20 2020-01-10 广东美的厨房电器制造有限公司 烹饪设备及其控制方法、控制系统、计算机可读存储介质

Also Published As

Publication number Publication date
CN111248716A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
KR102329592B1 (ko) 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
CN104461501B (zh) 云智能烹饪方法、云智能烹饪设备和云端服务器
CN111248716B (zh) 食材的烹饪控制方法、图像处理方法、装置及烹饪设备
da Costa Barbon et al. Development of a flexible computer vision system for marbling classification
CN110826574A (zh) 食材成熟度确定的方法、装置、厨电设备及服务器
CN110674736A (zh) 一种识别食材新鲜度的方法、装置、服务器及存储介质
Ghasemi-Varnamkhasti et al. Application of image analysis combined with computational expert approaches for shrimp freshness evaluation
CN114821236A (zh) 智慧家庭环境感知方法、系统、存储介质及电子装置
CN112902406B (zh) 空调和/或风扇参数设置方法、控制设备及可读存储介质
CN110857831A (zh) 控制冰箱温度的方法及装置
US11126898B2 (en) Computer vision classifier using item micromodels
CN115908257A (zh) 缺陷识别模型训练方法及果蔬缺陷识别方法
CN111435541A (zh) 获取米粒的垩白度的方法、装置和烹饪器具
CN112163006A (zh) 一种信息处理方法、装置、电子设备及存储介质
CN111459054A (zh) 食谱推送方法、设备、存储介质和厨房电器
US20170024798A1 (en) Analyzing User Access Of Media For Meal Plans
CN115760724A (zh) 食品质量检测方法和系统
CN114680659A (zh) 烹饪设备控制方法、装置和烹饪设备
CN110974038A (zh) 食材熟度确定方法、装置、烹饪控制设备和可读存储介质
CN111104952A (zh) 识别食物种类的方法、系统及装置、冰箱
CN111159831A (zh) 食材新鲜度的预测方法及装置、家电设备
CN113951734A (zh) 一种基于大数据的加热控制方法、系统和存储介质
CN113963347A (zh) 食材烤焦程度检测方法、装置及烹饪电器和存储介质
CN111666961A (zh) 智能家电及其识别食材类型的方法、装置、电子设备
CN106442339B (zh) 熟肉冷藏时间可视化检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant