CN114092806A - 识别方法及其装置、烹饪设备及其控制方法和存储介质 - Google Patents

识别方法及其装置、烹饪设备及其控制方法和存储介质 Download PDF

Info

Publication number
CN114092806A
CN114092806A CN202111319905.1A CN202111319905A CN114092806A CN 114092806 A CN114092806 A CN 114092806A CN 202111319905 A CN202111319905 A CN 202111319905A CN 114092806 A CN114092806 A CN 114092806A
Authority
CN
China
Prior art keywords
food
detection image
cooking
maturity
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111319905.1A
Other languages
English (en)
Inventor
陈凯璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Guangdong Midea Kitchen Appliances Manufacturing Co Ltd
Original Assignee
Midea Group Co Ltd
Guangdong Midea Kitchen Appliances Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd, Guangdong Midea Kitchen Appliances Manufacturing Co Ltd filed Critical Midea Group Co Ltd
Priority to CN202111319905.1A priority Critical patent/CN114092806A/zh
Publication of CN114092806A publication Critical patent/CN114092806A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00—Cooking-vessels
    • A47J27/04—Cooking-vessels for cooking food in steam; Devices for extracting fruit juice by means of steam ; Vacuum cooking vessels
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J37/00—Baking; Roasting; Grilling; Frying
    • A47J37/06—Roasters; Grills; Sandwich grills
    • A47J37/0623—Small-size cooking ovens, i.e. defining an at least partially closed cooking cavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00—Cooking-vessels
    • A47J27/04—Cooking-vessels for cooking food in steam; Devices for extracting fruit juice by means of steam ; Vacuum cooking vessels
    • A47J2027/043—Cooking-vessels for cooking food in steam; Devices for extracting fruit juice by means of steam ; Vacuum cooking vessels for cooking food in steam

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Food Science & Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Preparation And Processing Of Foods (AREA)

Abstract

本申请公开了一种食物熟度的识别方法及其装置、烹饪设备及其控制方法和存储介质。该识别方法包括：获取初始食物检测图像；获取当前食物检测图像；将初始食物检测图像和当前食物检测图像进行通道组合处理，以得到融合检测图像；将融合食物检测图像输入预设神经网络模型，以识别食物的成熟程度。本申请的食物熟度的识别方法及其装置、烹饪设备及其控制方法和存储介质只需结合初始食材检测图像以及当前食材检测图像，就可以确定当前食材图像的食材熟度，计算成本低，工作速度快。

Description

识别方法及其装置、烹饪设备及其控制方法和存储介质
技术领域
本申请涉及家用电器技术领域，特别涉及一种识别方法及其装置、烹饪设备及其控制方法和存储介质。
背景技术
烹饪过程中的食材熟度的判断十分重要，如果食材没有烹饪完全或者太焦，对于食用的口感以及用户的健康都会造成较大影响。然而，相关技术中通常需要用户依靠经验来进行食材熟度的判断，对于种类丰富多样的食材，食材烹饪到熟的特征也各有不同，对于经验不够丰富的用户来说难度较大。
发明内容
有鉴于此，本发明旨在至少在一定程度上解决相关技术中的问题之一。为此，本申请的目的在于提供一种识别方法及其装置、烹饪设备及其控制方法和存储介质。
本申请提供一种食物熟度的识别方法。所述识别方法包括：获取初始食物检测图像；获取当前食物检测图像；将所述初始食物检测图像和所述当前食物检测图像进行通道组合处理，以得到融合检测图像；将所述融合食物检测图像输入预设神经网络模型，以识别食物的成熟程度。
在某些实施方式中，所述将所述初始食物检测图像和所述当前食物检测图像进行通道组合处理，以得到融合检测图像包括：对所述初始食物检测图像信息和所述当前食物检测图像信息进行归一化处理；将归一化处理后的图像的通道进行组合处理，以得到6通道融合检测图像。
在某些实施方式中，所述预设神经网络模型根据预先采集的食物在烹饪过程中的烹饪时长信息与食物成熟程度之间的对应关系构建的。
在某些实施方式中，所述预设神经网络模型构建的步骤包括：采集食物在烹饪过程中的当前烹饪时长信息；根据烹饪的当前食物的变化图像确定熟度区间；根据当前食物烹饪时长占设定总烹饪时长的占比，及根据所述食物在当前熟度区间的烹饪时长相对于所述熟度区间的总时长的占比，确定所述食物的熟度标签；将所述熟度标签组成训练数据集，利用所述训练数据集，对所述预设神经网络模型进行训练。
在某些实施方式中，所述预设神经网络模型包括多个卷积块、全局池化层和多个全连接层。
在某些实施方式中，每个所述卷积块包括多个卷积层、Add模块、激励函数、注意力机制模块和最大池化层。
本申请还提供一种烹饪设备的控制方法，所述烹饪设备基于上述任意实施方式中任一项所述的识别方法识别食物的成熟程度，所述控制方法包括：若所述食物的成熟程度大于或等于预设阈值，控制所述烹饪设备停止加热。
本申请还提供一种食物熟度的识别装置。所述识别装置包括初始获取模块、当前获取模块、融合模块和识别模块，所述初始获取模块用于获取初始食物检测图像；所述当前获取模块用于获取当前食物检测图像；所述融合模块用于将所述初始食物检测图像和所述当前食物检测图像进行通道组合处理，以得到融合检测图像；所述识别模块用于将所述融合食物检测图像输入预设神经网络模型，以识别食物的成熟程度。
本申请还提供一种烹饪设备。所述烹饪设备基于上述实施方式中任一项所述的识别方法识别食物的成熟程度，并基于上述实施方式所述的控制方法进行加热。
本申请还提供一种包含有计算机程序的非易失性计算机可读存储介质。当所述计算机程序被一个或多个处理器执行时，实现上述实施方式中任一项所述的方法。
本申请的识别方法及其装置、烹饪设备及其控制方法和存储介质只需结合初始食材检测图像以及当前食材检测图像，就可以确定当前食材图像的食材熟度，计算成本低，工作速度快。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的食物熟度的识别方法的流程示意图；
图2是本申请某些实施方式的食物熟度的识别装置的结构示意图；
图3是本申请某些实施方式的食物熟度的识别方法的流程示意图；
图4是本申请某些实施方式的识别装置中融合模块的结构示意图；
图5是本申请某些实施方式的食物熟度的识别方法的流程示意图；
图6是本申请某些实施方式的食物熟度的识别装置的结构示意图；
图7是本申请某些实施方式的卷积神经网络的结构示意图；
图8是本申请某些实施方式的卷积神经网络中卷积块的结构示意图；
图9是本申请某些实施方式的烹饪设备的结构示意图；
图10是本申请某些实施方式的计算机可读存储介质的结构示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，其中，术语“第一”、“第二”仅仅用于描述目的，不能理解为指示或暗示相对重要性，或隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体地限定。
在本申请的描述中，需要说明的是，除另写有明确的规定和限定，其中的术语“安装”、“相连”、“连接”应做广义理解，可以为固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。另外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
有鉴于此，请参阅图1，本申请提供一种食物熟度的识别方法。识别方法包括：
02：获取初始食物检测图像；
04：获取当前食物检测图像；
06：将初始食物检测图像和当前食物检测图像进行通道组合处理，以得到融合检测图像；
08：将融合食物检测图像输入预设神经网络模型，以识别食物的成熟程度。
请结合图2，本申请还提供一种食物熟度的识别装置10。识别装置10包括初始获取模块12、当前获取模块14、融合模块16和识别模块18。初始获取模块12和当前获取模块14可以连接同一个摄像头采集装置获得对应的检测图像，也可以分别连接两个摄像头采集装置获得对应的检测图像，在此不作限制。本申请以初始获取模块12和当前获取模块14连接同一个摄像头采集装置获得对应的检测图像为例进行说明。
步骤12可以由初始获取模块12实现，步骤14可以由当前获取模块14实现，步骤16可以由融合模块16实现，步骤18可以由识别模块18实现。
也即是说，初始获取模块12用于获取初始食物检测图像；当前获取模块14用于获取当前食物检测图像；融合模块16用于将当前食物检测图像和初始食物检测图像进行通道组合处理，以得到融合检测图像；识别模块18用于将融合食物检测图像输入预设神经网络模型，以识别食物的成熟程度。
具体地，在一个示例中，用户将食材放入烹饪设备并关上设备的炉门后，烹饪设备可自动发送指令开启摄像头采集装置，对当前腔体内要进行烹饪的食材进行初始图像信息的采集。即，首先用户将食材放入烹饪设备开启烹饪，开启烹饪后即刻开启烹饪设备中的摄像头采集装置，采集食物的初始食物检测图像，此时初始放入烹饪设备的食物可以是完全不熟、半熟、三分熟状态或全熟但不热的状态，相对应地，摄像头采集装置所采集的食物的初始食物检测图像为完全不熟、半熟、三分熟状态或全熟但不热对应的检测图像。其中，初始放入烹饪设备的食物也可以是其他熟度状态，相对应地，摄像头采集装置所采集的食物的初始食物检测图像也可以是其他检测图像，在此不作限制。初始获取模块12与摄像头采集装置电连接，从而可以获取食物的初始检测图像。
在另一个示例中，用户将食材放入烹饪设备并关上设备炉门后，设置后烹饪设备的火力大小开启烹饪，烹饪设备再自动发送指令开启摄像头采集装置，从而对当前腔体内要进行烹饪的食材进行拍照，获得初始的食材图像信息。
然后，在烹饪的过程中采集食物的当前食物检测图像。在一个示例中，为了能对烹饪设备内的食物进行熟度判断，并控制设备是否停止加热，可以使用摄像头采集装置对食物进行视频录制，然后可以逐帧解析获取当前的食物图像。当前获取模块14与摄像头采集装置电连接，从而可以获取食物的初始检测图像。
在另一个示例中，为了避免不必要的冗杂计算，可对烹饪设备上的摄像头采集装置设置每隔预设时间对腔体内的食物进行拍照，例如可以每隔5秒钟、10秒钟或1分钟对腔体内的食物进行拍照，从而获取当前食物检测图像。其中，预设时间可以是默认设置的数值，也可以是根据用户需求自行设定的数值。上述的烹饪设备可以但不限于微波炉、烤箱、蒸烤箱之类的微蒸烤产品以及其他厨房电器
接着，融合模块16将当前食物检测图像和初始食物检测图像进行通道组合处理，从而得到融合检测图像。最后，识别模块18将融合检测图像传输至预先训练好的卷积神经网络，得到当前食物图像中的食材的成熟程度。在具体实施过程中，需要要求提前建立卷积神经网络的训练集以及做好各种食材所拍摄图像对应的熟度标签以表示食材的成熟程度，例如，图像1对应的熟度标签表示为1分熟，图像2对应的熟度标签表示为2分熟，图像3对应的熟度标签为表示3分熟，图像4对应的熟度标签表示为4分熟，图像5对应的熟度标签表示为5分熟，图像6对应的熟度标签表示为6分熟，图像7对应的熟度标签表示为7分熟，图像8对应的熟度标签表示为8分熟，图像9对应的熟度标签表示为9分熟，图像10对应的熟度标签表示为10分全熟。其中，熟度标签可以为数字或字母。
本申请的识别方法及其装置、烹饪设备及其控制方法和存储介质只需结合初始食材检测图像以及当前食材检测图像，就可以确定当前食材图像的食材熟度，计算成本低，工作速度快。
请参阅图3，在某些实施方式中，步骤06包括：
061：对初始食物检测图像信息和当前食物检测图像信息进行归一化处理；
062：将归一化处理后的图像的通道进行组合处理，以得到6通道融合检测图像。
请结合图4，融合模块16包括归一处理单元161和组合处理单元162。
步骤061可以由归一处理单元161实现，步骤062可以由组合处理单元162实现。也即是说，归一处理单元161用于对初始食物检测图像信息和当前食物检测图像信息进行归一化处理；组合处理单元162用于将归一化处理后的图像的通道进行组合处理，以得到6通道融合检测图像。
可以理解地，图像的归一化处理在计算机视觉当中，很多时候都将归一化处理作为一个预处理进行处理。图像的归一化处理能够保持仿射不变性，图像的归一化还能够提高计算的精度。
图像的通道指的是红(R)、绿(G)、蓝(B)三个颜色通道。由于有两张图像，因此经过通道组合处理后，可以得到具有6个颜色通道的融合检测图像，即形成一个较大的比对图像，从而同时获取到初始食物检测图像信息和当前食物检测图像信息进行比对，为后续判断熟度提供基础。
初始食物检测图像信息包括初始检测图像中食物的形状信息、食物的大小信息和食物的构造信息等。当前食物检测图像信息包括当前检测图像中食物的形状信息、食物的大小信息和食物的构造信息等。因此可以从融合检测图像中特征提取得到图像中食物从初始状态至当前状态的烹饪过程中的形状、大小和构造等变化的信息，从而根据该变化信息判断食物的熟度。
在某些实施方式中，预设神经网络模型根据预先采集的食物在烹饪过程中的烹饪时长信息与食物成熟程度之间的对应关系构建的。
具体地，预先采集的食物可以是同样重量且不同种类的食物，举个例子，不同种类的食物可以分为肉类和蔬菜类，从而在烹饪过程中构建同样重量且不同种类食物的烹饪时长信息与食物成熟程度之间的对应关系。
在一个示例中，预设采集的食物为同样重量的肉类，分别为鸡肉、猪肉和牛肉。所构建的不同种类的食物的烹饪时长信息与食物成熟程度之间的对应关系可以为：
烹饪开始时，鸡肉的烹饪时长为[0，1]分钟时，且采集的鸡肉图像显示为颜色为偏白色，则可以判断鸡肉的成熟程度为生；鸡肉的烹饪时长为[1，2]分钟时，且采集的鸡肉图像显示为颜色为黄白色，则可以判断鸡肉的成熟程度为半熟；鸡肉的烹饪时长为[2，3]分钟时，且采集的鸡肉图像显示为颜色为黄色，则可以判断鸡肉的成熟程度为全熟；鸡肉的烹饪时长为[3，+]分钟时，且采集的鸡肉图像显示为颜色为焦黄色，则可以判断鸡肉的成熟程度为过熟。
烹饪开始时，猪肉的烹饪时长为[0，1]分钟时，且采集的猪肉图像显示为颜色为偏血红色，则可以判断猪肉的烹饪时长为[0，1]分钟时，猪肉的成熟程度为生；猪肉的烹饪时长为[1，3]分钟时，且采集的猪肉图像显示为颜色为黄红色，则可以判断猪肉的成熟程度为半熟；猪肉的烹饪时长为[3，5]分钟时，且采集的猪肉图像显示为颜色为棕黄色，则可以判断猪肉的成熟程度为全熟；猪肉的烹饪时长为[5，+]分钟时，且采集的猪肉图像显示为颜色为焦黄色，则可以判断猪肉的成熟程度为过熟。
烹饪开始时，牛肉的烹饪时长为[0，1]分钟时，且采集的牛肉图像显示为颜色为偏血红色，则可以判断牛肉的成熟程度为生；牛肉的烹饪时长为[1，3]分钟时，且采集的牛肉图像显示为颜色为黄红色，则可以判断猪肉的成熟程度为半熟；猪肉的烹饪时长为[3，4]分钟时，且采集的猪肉图像显示为颜色为棕黄色，则可以判断猪肉的成熟程度为全熟；猪肉的烹饪时长为[4，+]分钟时，且采集的猪肉图像显示为颜色为焦黄色，则可以判断猪肉的成熟程度为过熟。
预先采集的食物也可以是同种食物且不同重量的食物，举个例子，不同重量的食物可以为：0.1kg鸡肉、1kg鸡肉、1.5kg鸡肉、2kg鸡肉和2.5kg鸡肉。从而在烹饪过程中构建同种类食物且不同重量的烹饪时长信息以及食物成熟程度之间的对应关系。
在一个示例中，预设采集的食物为不同重量的鸡肉，分别为0.1kg鸡肉、0.2kg鸡肉、0.3kg鸡肉、0.4kg鸡肉和0.5kg鸡肉。所构建的同种类且不同重量的鸡肉的烹饪时长信息与食物成熟程度之间的对应关系可以为：
0.1kg鸡肉的烹饪时长为[0，0.2]分钟时，且采集的鸡肉图像显示为颜色为偏白色，则可以判断0.1kg鸡肉的成熟程度为生；0.1kg鸡肉的烹饪时长为[0.2，0.5]分钟时，且采集的鸡肉图像显示为颜色为黄白色，则可以判断0.1kg鸡肉的成熟程度为半熟；0.1kg鸡肉的烹饪时长为[0.5，0.7]分钟时，且采集的鸡肉图像显示为颜色为黄色，则可以判断0.1kg鸡肉的成熟程度为全熟；0.1kg鸡肉的烹饪时长为[0.7，+]分钟时，且采集的鸡肉图像显示为颜色为焦黄色，则可以判断0.1kg鸡肉的成熟程度为过熟。
0.2kg鸡肉的烹饪时长为[0，0.4]分钟时，且采集的鸡肉图像显示为颜色为偏白色，则可以判断0.2kg鸡肉的成熟程度为生；0.2kg鸡肉的烹饪时长为[0.4，0.6]分钟时，且采集的鸡肉图像显示为颜色为黄白色，则可以判断0.2kg鸡肉的成熟程度为半熟；0.2kg鸡肉的烹饪时长为[0.6，0.8]分钟时，且采集的鸡肉图像显示为颜色为黄色，则可以判断0.2kg鸡肉的成熟程度为全熟，0.2kg鸡肉的烹饪时长为[0.8，+]分钟时，且采集的鸡肉图像显示为颜色为焦黄色，则可以判断0.2kg鸡肉的成熟程度为过熟。
0.3kg鸡肉的烹饪时长为[0，0.6]分钟时，且采集的鸡肉图像显示为颜色为偏白色，则可以判断0.3kg鸡肉的成熟程度为生；0.3kg鸡肉的烹饪时长为[0.6，0.8]分钟时，且采集的鸡肉图像显示为颜色为黄白色，则可以判断0.3kg鸡肉的成熟程度为半熟；0.3kg鸡肉的烹饪时长为[0.8，1]分钟时，且采集的鸡肉图像显示为颜色为黄色，则可以判断0.3kg鸡肉的成熟程度为全熟；0.3kg鸡肉的烹饪时长为[1，+]分钟时，且采集的鸡肉图像显示为颜色为焦黄色，则可以判断0.3kg鸡肉的成熟程度为过熟。
0.4kg鸡肉的烹饪时长为[0，0.8]分钟时，且采集的鸡肉图像显示为颜色为偏白色，则可以判断0.4kg鸡肉的成熟程度为生；0.4kg鸡肉的烹饪时长为[0.6，0.8]分钟时，且采集的鸡肉图像显示为颜色为黄白色，则可以判断0.4kg鸡肉的成熟程度为半熟；0.4kg鸡肉的烹饪时长为[0.8，1]分钟时，且采集的鸡肉图像显示为颜色为黄色，则可以判断0.4kg鸡肉的成熟程度为全熟，0.4kg鸡肉的烹饪时长为[1，+]分钟时，且采集的鸡肉图像显示为颜色为焦黄色，则可以判断0.4kg鸡肉的成熟程度为过熟。
0.5kg鸡肉的烹饪时长为[0，1]分钟时，且采集的鸡肉图像显示为颜色为偏白色，则可以判断0.5kg鸡肉的成熟程度为生；0.5kg鸡肉的烹饪时长为[1，2]分钟时，且采集的鸡肉图像显示为颜色为黄白色，则可以判断0.5kg鸡肉的成熟程度为半熟；0.5kg鸡肉的烹饪时长为[2，3]分钟时，且采集的鸡肉图像显示为颜色为黄色，则可以判断0.5kg鸡肉的成熟程度为全熟，0.5kg鸡肉的烹饪时长为[3，+]分钟时，且采集的鸡肉图像显示为颜色为焦黄色，则可以判断0.5kg鸡肉的成熟程度为过熟。
需要说明的是，上述利用烹饪时长结合食物图像中食材颜色判断食材是生还是熟仅仅是示例，还可以结合食物图像中食材的形状变化及大小等变化判断食材的成熟程度，在此不作限制。
请参阅图5，预设神经网络模型构建的步骤包括：
001：采集食物在烹饪过程中的当前烹饪时长信息；
002：根据烹饪的当前食物的变化图像确定熟度区间；
003：根据当前食物烹饪时长占设定总烹饪时长的占比，及根据食物在当前熟度区间的烹饪时长相对于熟度区间的总时长的占比，确定食物的熟度标签；
004：将熟度标签组成训练数据集，利用训练数据集，对预设神经网络模型进行训练。
请结合图6，识别装置10还包括构建模块11。
步骤001、步骤002、步骤003和步骤004可以由构建模块11实现，也即是说，构建模块11用于采集食物在烹饪过程中的当前烹饪时长信息；根据烹饪的当前食物的变化图像确定熟度区间；根据当前食物烹饪时长占设定总烹饪时长的占比，及根据食物在当前熟度区间的烹饪时长相对于熟度区间的总时长的占比，确定食物的熟度标签；将熟度标签组成训练数据集，利用训练数据集，对预设神经网络模型进行训练。
具体地，熟度区间是根据食物在烹饪过程中的变化过程进行划分的，因此可以采集烹饪过程中食物的变化图像从而确定熟度区间。如烤蛋挞时：(1)刚开始烹饪，采集的食物图像中显示为：蛋挞皮表面黏糊起酥不明显，蛋挞液液体形状明显，凝固范围低于1/2，此时食物处于生的熟度区间；(2)烹饪一段时间后，采集的食物图像中显示为：挞皮四周大范围起酥，蛋挞液表面凝固1/2以上，此时食物处于半熟的熟度区间。(3)继续烹饪一段时间后，采集的食物图像中显示为：挞皮四周完全起酥，颜色金黄，挞液完全凝固表面呈现斑点焦糖颜色，此时食物处于成熟的熟度区间。(4)烹饪过长时间后，采集的食物图像中显示为：挞皮深褐色，挞心表面焦糖颜色超过1/2以上且不够嫩滑，此时食物处于过熟的熟度区间。
在一个示例中，首先，采集食材的初始食材图像以及烹饪过程中的当前食材图像，根据烹饪的当前食物的变化图像确定熟度区间。例如，某种食材的熟度范围落在0-10之间，划分的熟度区间为[0，3]为生，[3，7]为半熟，[7，8]为熟，[8，10]为过熟。
另外，还需要记录食材从烹饪熟到过焦的时间，对于每一张当前食材图像，通过比较当前已用的烹饪时间占总烹饪时间的占比，再比较当前熟度区间段的烹饪时间占当前熟度区间的时间的占比，得到当前食材图像的熟度，即得到熟度标签。
举个例子，假设当前食材总的烹饪时间为10分钟，即设定总烹饪时长为10分钟，则在第5分10秒拍摄的食材图像，当前烹饪时长即为5分10秒，由于5分10秒占10分钟的比例是介于30％到70％之间，因此此时，食材的熟度区间落在[3，7]，即半熟阶段。
而5分10秒占当前半熟区间段的烹饪时间为2分钟10秒，假设当前半熟区间段的烹饪总时间为4分钟，2分钟10秒占4分钟的占比为(130/240)＝0.5417，因此熟度映射到区间[3，7]之间的熟度标签则为(3+4*0.5417)＝5.17。
如此，通过这样的方法，可以为每张当前图像分配对应的熟度标签，将熟度标签组成训练数据集，从而完成训练数据集的搭建。
在某些实施方式中，预设神经网络模型包括多个卷积块、全局池化层和多个全连接层。每个卷积块包括多个卷积层、Add模块、激励函数、注意力机制模块和最大池化层。
具体地，将两张图像经过归一化后传入至所述预先训练好的卷积神经网络进行卷积运算提取图像特征，通过全连接层整合特征，最终卷积神经网络网络的输出值即为当前食材图像的熟度。
在一示例中，卷积神经网络的结构如图7所示。将初始食材图像和当前食材图像合并成6通道后，经过3个卷积块(Conv Block)→全局池化层(Global Average Pooling)→全连接层-1024(Dense-1024)→全连接层-128(Dense-128)→全连接层-32(Dense-32)→全连接层-1(Dense-1)后输出当前食材图像的熟度结果。
输出的熟度结果还可以进行熟度回归分支，能够分析熟度结果是否合理，以优化熟度结果。
其中，卷积块(Conv Block)的结构如图8所示，卷积块(Conv Block)包括第一个卷积层(Conv2D)→第二个卷积层(Conv2D)→Add模块→激励函数(ReLU)→注意力机制模块(CBAM)→MaxPooling(最大池化层)→output。损失函数可以使用回归模型常用的MAE loss或者MSE loss或者Logcosh。
在另一示例中，卷积层(Conv)、注意力机制模块(CBAM)、全连接层(Dense层)等结构的参数可以有所改变，或者在图7所示的卷积神经网络的基础结构上增加Dropout等的操作或减少网络层数。
在又一示例中，卷积神经网络的基础结构可以是VGG16、ResNet等网络。
此外，本申请还提供一种烹饪设备的控制方法。烹饪设备基于上述任意一项实施方式所述的识别方法识别食物的成熟程度。控制方法包括若食物的成熟程度大于或等于预设阈值，控制烹饪设备停止加热。
具体地，在一个示例中，例如，预设阈值可以为食物的成熟程度(可简称为熟度)为8，8表示8成熟，则当卷积神经网络输出的当前食材图像的熟度刚好等于8时，则认为当前食材已烹饪完成，则烹饪设备控制停止加热。
在另一个示例中，例如，预设阈值可以为食物的成熟程度(可简称为熟度)为8，8表示8成熟，则当卷积神经网络输出的当前食材图像的熟度为8.2大于8时，则认为当前食材已烹饪完成，则烹饪设备控制停止加热。
上述的烹饪设备可以但不限于微波炉、烤箱、蒸烤箱之类的微蒸烤产品以及其他厨房电器。
请参阅图9，本申请还提供一种烹饪设备100。烹饪设备100基于上述任意一项实施方式所述的识别方法识别食物的成熟程度，并基于上述实施方式所述的控制方法进行加热。
烹饪设备100包括识别装置10，烹饪设备100可以但不限于微波炉、烤箱、蒸烤箱之类的微蒸烤产品以及其他厨房电器。
烹饪设备100中包括控制装置20，控制装置20与识别装置10电连接，控制装置20用于根据食物的成熟程度控制烹饪设备自动停止加热，即若食物的成熟程度大于或等于预设阈值，控制装置20可以控制烹饪设备自动停止加热，使得烹饪设备100能够智能化控制烹饪过程中的食物熟度。
本申请的烹饪设备100及其控制方法只需结合初始食材检测图像以及当前食材检测图像，就可以确定当前食材图像的食材熟度，计算成本低，工作速度快。
请参阅图10，本申请还提供一种可读存储介质200，可读存储介质200包括计算机程序210和处理器220。当计算机程序210被一个或多个处理器220执行时，实现上述实施方式中任一项的方法。
本申请的计算机可读存储介质200只需结合初始食材检测图像以及当前食材检测图像，就可以确定当前食材图像的食材熟度，计算成本低，工作速度快。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种食物熟度的识别方法，其特征在于，所述识别方法包括：
获取初始食物检测图像；
获取当前食物检测图像；
将所述初始食物检测图像和所述当前食物检测图像进行通道组合处理，以得到融合检测图像；
将所述融合食物检测图像输入预设神经网络模型，以识别食物的成熟程度。
2.根据权利要求1所述的识别方法，其特征在于，所述将所述初始食物检测图像和所述当前食物检测图像进行通道组合处理，以得到融合检测图像包括：
对所述初始食物检测图像信息和所述当前食物检测图像信息进行归一化处理；
将归一化处理后的图像的通道进行组合处理，以得到6通道融合检测图像。
3.根据权利要求1所述的识别方法，其特征在于，所述预设神经网络模型根据预先采集的食物在烹饪过程中的烹饪时长信息与食物成熟程度之间的对应关系构建的。
4.根据权利要求3所述的识别方法，其特征在于，所述预设神经网络模型构建的步骤包括：
采集食物在烹饪过程中的当前烹饪时长信息；
根据烹饪的当前食物的变化图像确定熟度区间；
根据当前食物烹饪时长占设定总烹饪时长的占比，及根据所述食物在当前熟度区间的烹饪时长相对于所述熟度区间的总时长的占比，确定所述食物的熟度标签；
将所述熟度标签组成训练数据集，利用所述训练数据集，对所述预设神经网络模型进行训练。
5.根据权利要求3所述的识别方法，其特征在于，所述预设神经网络模型包括多个卷积块、全局池化层和多个全连接层。
6.根据权利要求5所述的识别方法，其特征在于，每个所述卷积块包括多个卷积层、Add模块、激励函数、注意力机制模块和最大池化层。
7.一种烹饪设备的控制方法，所述烹饪设备基于权利要求1-6任一项所述的识别方法识别食物的成熟程度，其特征在于，所述控制方法包括：
若所述食物的成熟程度大于或等于预设阈值，控制所述烹饪设备停止加热。
8.一种食物熟度的识别装置，其特征在于，所述识别装置包括：
初始获取模块，所述初始获取模块用于获取初始食物检测图像；
当前获取模块，所述当前获取模块用于获取当前食物检测图像；
融合模块，所述融合模块用于将所述初始食物检测图像和所述当前食物检测图像进行通道组合处理，以得到融合检测图像；
识别模块，所述识别模块用于将所述融合食物检测图像输入预设神经网络模型，以识别食物的成熟程度。
9.一种烹饪设备，其特征在于，所述烹饪设备基于权利要求1至6任一项所述的识别方法识别食物的成熟程度，并基于权利要求7所述的控制方法进行加热。
10.一种包含有计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，实现权利要求1至6中任一项所述的方法。
CN202111319905.1A 2021-11-09 2021-11-09 识别方法及其装置、烹饪设备及其控制方法和存储介质 Pending CN114092806A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111319905.1A CN114092806A (zh) 2021-11-09 2021-11-09 识别方法及其装置、烹饪设备及其控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111319905.1A CN114092806A (zh) 2021-11-09 2021-11-09 识别方法及其装置、烹饪设备及其控制方法和存储介质

Publications (1)

Publication Number Publication Date
CN114092806A true CN114092806A (zh) 2022-02-25

Family

ID=80299530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111319905.1A Pending CN114092806A (zh) 2021-11-09 2021-11-09 识别方法及其装置、烹饪设备及其控制方法和存储介质

Country Status (1)

Country Link
CN (1) CN114092806A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114711644A (zh) * 2022-04-01 2022-07-08 广东美的厨房电器制造有限公司 烹饪装置的控制方法、控制装置、存储介质和烹饪装置
CN114990263A (zh) * 2022-05-17 2022-09-02 珠海格力电器股份有限公司 烹饪设备的发酵控制方法、装置、烹饪设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114711644A (zh) * 2022-04-01 2022-07-08 广东美的厨房电器制造有限公司 烹饪装置的控制方法、控制装置、存储介质和烹饪装置
CN114711644B (zh) * 2022-04-01 2023-09-22 广东美的厨房电器制造有限公司 烹饪装置的控制方法、控制装置、存储介质和烹饪装置
CN114990263A (zh) * 2022-05-17 2022-09-02 珠海格力电器股份有限公司 烹饪设备的发酵控制方法、装置、烹饪设备和存储介质

Similar Documents

Publication Publication Date Title
CN105444222B (zh) 微波炉的烹饪控制方法、系统、云服务器和微波炉
WO2020207293A1 (zh) 一种用于自动烹饪食物的方法和装置
CN110780628B (zh) 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN114092806A (zh) 识别方法及其装置、烹饪设备及其控制方法和存储介质
CN107095120B (zh) 烹饪方法及装置
CN109541985A (zh) 一种烹饪器具的控制方法及烹饪器具
CN109254539A (zh) 一种烹饪器具的控制方法及烹饪器具
CN109349913A (zh) 烹饪控制方法、烹饪器具、云服务器和烹饪控制系统
CN110806699A (zh) 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN110824942B (zh) 烹饪设备及其控制方法、控制系统、计算机可读存储介质
CN109213015B (zh) 一种烹饪器具的控制方法及烹饪器具
CN107991939A (zh) 烹饪控制方法及烹饪控制装置、存储介质和烹饪设备
CN109691855A (zh) 烹饪器具及其检测方法和装置、存储介质、处理器
CN108107762A (zh) 烹饪控制方法及烹饪控制装置、存储介质和烹饪设备
CN109237582A (zh) 基于图像识别的吸油烟机控制方法、控制系统、吸油烟机
CN107692840A (zh) 电器具的显示方法及装置，电器具
CN106773859A (zh) 一种智能烹饪控制方法
CN110826574A (zh) 食材成熟度确定的方法、装置、厨电设备及服务器
CN108937554B (zh) 一种利用终端进行饮食提醒的蒸烤设备及方法
CN111386430B (zh) 用于识别具有烹饪物的烹饪设备的装载过量的方法以及烹饪设备
CN114711644B (zh) 烹饪装置的控制方法、控制装置、存储介质和烹饪装置
CN112426060A (zh) 控制方法、烹饪器具、服务器和可读存储介质
CN109062277B (zh) 食物的加热方法及装置、存储介质、处理器
CN108013733A (zh) 烹饪控制方法、装置及系统
CN111990902A (zh) 一种烹饪控制方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination