CN113436159A - 食材的熟度检测方法和装置、存储介质及电子装置 - Google Patents

食材的熟度检测方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN113436159A
CN113436159A CN202110686895.9A CN202110686895A CN113436159A CN 113436159 A CN113436159 A CN 113436159A CN 202110686895 A CN202110686895 A CN 202110686895A CN 113436159 A CN113436159 A CN 113436159A
Authority
CN
China
Prior art keywords
target
food material
doneness
image
maturity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110686895.9A
Other languages
English (en)
Inventor
刘彦甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202110686895.9A priority Critical patent/CN113436159A/zh
Publication of CN113436159A publication Critical patent/CN113436159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明公开了一种食材的熟度检测方法和装置、存储介质及电子装置，其中，上述方法包括：获取目标食材的食材图像，其中，目标食材为待检测熟度的食材；从食材图像中获取目标食材的目标光学图像特征和目标超声图像特征；对所述目标光学图像特征和所述目标超声图像特征进行特征融合，得到目标融合特征；根据目标融合特征检测目标食材在划分的多个熟度等级中所对应的目标熟度等级。采用上述技术方案，解决了相关技术中，对于食材熟度的检测准确性较低等问题。

Description

食材的熟度检测方法和装置、存储介质及电子装置
技术领域
本发明涉及通信领域，具体而言，涉及一种食材的熟度检测方法和装置、存储介质及电子装置。
背景技术
随着科学技术的进步和人工智能的发展，智能算法也越来越多的应用到日常生活中，比如对于烹饪设备(如烤箱，微波炉，炒菜机，电饭煲，空气炸锅等)而言，作为使用频率较高的日常家电之一，其智能化发展是至关重要的，而智能化的关键问题，就在于为日常生活提供便利，比如对烤箱食材类型的识别及自动烘焙。
现有技术采用探针和温度传感器来对烘焙中的食材进行温度的测定及熟度的判断，仅考虑温度的变化来判定的方式一方面参考信息较为单一，判断准确性较低，另一方面温度探针仅适用于肉类食材的烘焙中，对于面点类的食材探测效果并不理想，并且探针会在检测过程中对食材造成损伤，影响美观，而温度传感器又仅能够检测到食材的表面温度，大大影响了判定的准确性。
针对相关技术中，对于食材熟度的检测准确性较低等问题，尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种食材的熟度检测方法和装置、存储介质及电子装置，以至少解决相关技术中，对于食材熟度的检测准确性较低等问题。
根据本发明实施例的一个实施例，提供了一种食材的熟度检测方法，包括：获取目标食材的食材图像，其中，所述目标食材为待检测熟度的食材；从所述食材图像中获取所述目标食材的目标光学图像特征和目标超声图像特征；对所述目标光学图像特征和所述目标超声图像特征进行特征融合，得到目标融合特征；根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级。
在一个示例性实施例中，根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级，包括：根据所述目标光学图像特征确定所述目标食材类型；确定与所述目标食材类型对应的目标熟度检测模型；将所述目标融合特征输入所述目标熟度检测模型，得到所述目标熟度检测模型输出的所述目标熟度等级，其中，所述目标熟度检测模型根据标注有熟度等级的样本图像对初始熟度检测模型进行训练得到，所述标注有熟度等级的样本图像属于目标食材类型。
在一个示例性实施例中，所述根据所述目标光学图像特征确定所述目标食材类型，包括：将所述目标光学图像特征输入到目标食材分类模型中，得到所述目标食材分类模型输出的所述目标食材类型，其中，所述目标食材分类模型根据标注有食材类型的光学图像对初始食材分类模型进行训练得到。
在一个示例性实施例中，获取所述目标食材的所述食材图像，包括：通过烹饪设备上配置的光学摄像装置拍摄所述目标食材的光学图像；通过所述烹饪设备上配置的超声摄像装置拍摄所述目标食材的超声图像，其中，所述食材图像包括所述光学图像和所述超声图像。
在一个示例性实施例中，从所述食材图像中获取所述目标食材的目标光学图像特征和目标超声图像特征，包括：从所述食材图像所包括的光学图像中提取所述目标光学图像特征，其中，所述目标光学图像特征包括所述目标食材的颜色特征和所述目标食材的形状特征；从所述食材图像所包括的超声图像中提取所述目标超声图像特征，其中，所述目标超声图像特征包括所述目标食材的密度特征和所述目标食材的体积特征。
在一个示例性实施例中，在根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级之后，所述方法还包括：从具有对应关系的食材和操作表中获取所述目标食材对应的目标操作表，其中，所述目标操作表中记录了具有对应关系的熟度等级和食材操作；从所述目标操作表中获取所述目标熟度等级对应的目标食材操作；对所述目标食材执行所述目标食材操作。
在一个示例性实施例中，在根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级之后，所述方法还包括：判断所述目标熟度等级是否达到所述目标食材对应的目标熟度阈值；在判断出所述目标熟度等级达到所述目标熟度阈值的情况下，发送提示信息，其中，所述提示信息用于提示所述目标食材烹饪完成。
根据本发明实施例的另一个实施例，还提供了一种食材的熟度检测装置，包括：第一获取模块，用于获取目标食材的食材图像，其中，所述目标食材为待检测熟度的食材；第二获取模块，用于从所述食材图像中获取所述目标食材的目标光学图像特征和目标超声图像特征；融合模块，用于对所述目标光学图像特征和所述目标超声图像特征进行特征融合，得到目标融合特征；划分模块，用于根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述食材的熟度检测方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的食材的熟度检测方法。
在本发明实施例中，获取目标食材的食材图像，其中，目标食材为待检测熟度的食材；从食材图像中获取目标食材的目标光学图像特征和目标超声图像特征；对目标光学图像特征和目标超声图像特征进行特征融合，得到目标融合特征；根据目标融合特征检测目标食材在划分的多个熟度等级中所对应的目标熟度等级，即利用获取到的目标食材的食材图像对食材的熟度进行检测，避免对食材表面的破坏，保证食材的完整性和美观度。从食材图像中获取到目标食材的目标光学图像特征和目标超声图像特征，结合食材的光学特征和超声特征来确定目标食材对应的目标融合特征，从而使得目标融合特征既能够体现目标食材的化学结构，又能够体现目标食材的物理结构，因此根据该目标融合特征确定的目标熟度等级是参考了多个维度的食材信息而得出的，使得该目标熟度等级更加准确的表现出目标食材的实际熟度。采用上述技术方案，解决了相关技术中，对于食材熟度的检测准确性较低等问题，实现了提高对于食材熟度的检测的准确性的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种食材的熟度检测方法的计算机终端的硬件结构框图；
图2是根据本发明实施例的食材的熟度检测方法的流程图；
图3是根据本发明可选的实施方式的食材的熟度检测方法的示意图；
图4是根据本发明实施例的食材的熟度检测方法的示意图；
图5是根据本发明实施例的一种食材的熟度检测装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例所提供的方法实施例可以在计算机终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种食材的熟度检测方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的食材的熟度检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种食材的熟度检测方法，应用于上述计算机终端，图2是根据本发明实施例的食材的熟度检测方法的流程图，该流程包括如下步骤：
步骤S202，获取目标食材的食材图像，其中，所述目标食材为待检测熟度的食材；
步骤S204，从所述食材图像中获取所述目标食材的目标光学图像特征和目标超声图像特征；
步骤S206，对所述目标光学图像特征和所述目标超声图像特征进行特征融合，得到目标融合特征；
步骤S208，根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级。
通过上述步骤，利用获取到的目标食材的食材图像对食材的熟度进行检测，避免对食材表面的破坏，保证食材的完整性和美观度。从食材图像中获取到目标食材的目标光学图像特征和目标超声图像特征，结合食材的光学特征和超声特征来确定目标食材对应的目标融合特征，从而使得目标融合特征既能够体现目标食材的化学结构，又能够体现目标食材的物理结构，因此根据该目标融合特征确定的目标熟度等级是参考了多个维度的食材信息而得出的，使得该目标熟度等级更加准确的表现出目标食材的实际熟度。采用上述技术方案，解决了相关技术中，对于食材熟度的检测准确性较低等问题，实现了提高对于食材熟度的检测的准确性的技术效果。
可选地，在本实施例中，上述食材的熟度检测方法可以但不限于应用于各种智能烹饪设备上，比如：烘焙设备(烤箱，烤炉，空气炸锅等等)，电饭煲，电磁炉，蒸煮设备，微波炉等等。或者，上述食材的熟度检测方法还可以但不限于应用于各种智能终端设备上，比如：手机，平板电脑，智能穿戴设备等等。
在上述步骤S202提供的技术方案中，目标食材为待检测熟度的食材，比如：肉类(如牛排，烧鸡，猪蹄)，蔬菜(如黄瓜，豆角，土豆，萝卜)，面食(如包子，馒头，饼类，面条)，海鲜(如鱼，虾，蟹，贝类)等等。
可选地，在本实施例中，食材图像可以但不限于包括烹饪过程中拍摄的食材照片，或者，从录制的烹饪视频中提取的视频帧等等。部署了上述食材的熟度检测方法的设备可以但不限于在食材烹饪的过程中连续拍摄食材照片，或者，连续录制烹饪视频，从而持续对食材的熟度进行检测。拍摄食材照片，或者，连续录制烹饪视频的起始时间可以但不限于是烹饪过程开始的时间，或者也可以是烹饪了一段时间后，从而减少设备的计算量，节省计算资源。
在一个示例性实施例中，可以但不限于通过以下方式获取目标食材的食材图像：通过烹饪设备上配置的光学摄像装置拍摄目标食材的光学图像；通过烹饪设备上配置的超声摄像装置拍摄目标食材的超声图像，其中，食材图像包括光学图像和超声图像。
可选地，在本实施例中，烹饪设备上配置了光学摄像装置和超声摄像装置，分别用于拍摄目标食材的光学图像和超声图像。烹饪设备中的光学摄像装置和超声摄像装置的数量均可以但不限于为一个或者多个，当光学摄像装置和超声摄像装置的数量均为多个时，可以从多个不同的角度拍摄目标食材，从而全方位地对目标食材的特征进行提取和分析，使得检测出的目标食材的目标熟度等级更加准确。
可选地，在本实施例中，待检测熟度的目标食材可以但不限于是由用户帐号来指定的，或者，也可以是由部署了上述食材的熟度检测方法的设备来自动识别的，比如：肉菜可以检测肉类食材的熟度，烧菜可以检测主要蔬菜的熟度等等。
在上述步骤S204提供的技术方案中，目标光学图像特征可以但不限于包括用于体现目标食材光学属性的特征，目标超声图像特征可以但不限于包括用于体现目标食材超声属性的特征。
可选地，在本实施例中，获取到的目标食材的食材图像可以但不限于包括一张或者多张图像，比如：可以获取一张既能够提取出光学图像特征，又能够提取出超声图像特征的食材图像进行特征的提取。或者，可以获取多张图像作为食材图像，从多张图像中分别提取出目标食材的目标光学图像特征和目标超声图像特征。
可选地，在本实施例中，目标光学图像特征可以但不限于通过卷积神经网络(CNN)提取到的图像特征，目标超声图像特征也可以但不限于为通过CNN提取到的图像特征。可以但不限于分别通过深度学习网络来获取目标食材的目标光学图像特征和目标超声图像特征，深度学习网络可以但不限于包括：VGG、Resnet、googlenet、densenet等网络模型。用于提取光学图像特征的深度学习网络与用于提取超声图像特征的深度学习网络的种类可以相同也可以不同。
在一个示例性实施例中，可以但不限于通过以下方式从食材图像中获取目标食材的目标光学图像特征和目标超声图像特征：从食材图像所包括的光学图像中提取目标光学图像特征，其中，目标光学图像特征包括目标食材的颜色特征和目标食材的形状特征；从食材图像所包括的超声图像中提取目标超声图像特征，其中，目标超声图像特征包括目标食材的密度特征和目标食材的体积特征。
可选地，在本实施例中，目标光学图像特征可以但不限于是从光学图像中提取的，目标超声图像特征可以但不限于是从超声图像中提取的。从食材图像所包括的多张图像中分别提取对应的特征，能够降低其他特征对所需提取的特征的干扰，从而提取出更加准确的图像特征。
可选地，在本实施例中，目标光学图像特征可以但不限于包括目标食材的颜色特征和目标食材的形状特征，目标超声图像特征可以但不限于包括目标食材的密度特征和目标食材的体积特征。
也就是说，至少从颜色，形状，密度和体积等维度分析目标食材的熟度，从而考虑多方面的因素对食材熟度的影响来判断食材的熟度等级，使得到的目标融合特征更加全面地体现出目标食材的物理结构和化学结构，从而使依据目标融合特征检测出的目标熟度等级更加准确。
在上述步骤S206提供的技术方案中，至少结合得到的目标光学图像特征和目标超声图像特征来确定目标食材的目标融合特征，使得目标融合特征更加准确地体现目标食材的属性。除目标光学图像特征和目标超声图像特征外，还可以结合目标食材的温度，湿度等属性来确定目标食材的目标融合特征，从而进一步提升目标融合特征的准确性。
可选地，在本实施例中，将目标光学图像特征和目标超声图像特征融合为目标融合特征，目标融合特征可以但不限于采用特征图的形式来体现。
在上述步骤S208提供的技术方案中，不同的食材划分熟度等级的方式可以但不限于不同。每种食材可以但不限于对应一套熟度等级的划分，或者，也可以是，一类食材对应一套熟度等级的划分。熟度等级的划分精度可以但不限于是可调的。
在一个示例性实施例中，根据目标融合特征可以但不限于通过以下方式检测目标食材在划分的多个熟度等级中所对应的目标熟度等级：根据所述目标光学图像特征确定所述目标食材类型；确定与所述目标食材类型对应的目标熟度检测模型；将目标融合特征输入目标熟度检测模型，得到目标熟度检测模型输出的目标熟度等级，其中，所述目标熟度检测模型根据标注有熟度等级的样本图像对初始熟度检测模型进行训练得到，所述标注有熟度等级的样本图像属于目标食材类型。
可选地，在本实施例中，可以但不限于从具有对应关系的食材类型和熟度检测模型中获取目标食材类型所对应的目标熟度检测模型。
可选地，在本实施例中，为每种食材类型训练了一个熟度检测模型来对属于该种食材类型的食材进行熟度等级的自动检测。不同食材类型对应的熟度等级的划分方式可以相同，也可以不同。比如：熟度等级的划分方式可以但不限于为各种食材类型均划分为0至12级，10级表示全熟，11和12级表示过熟。或者，对于牛排，猪排等食材熟度等级可以划分为全生，三分熟，五分熟，七分熟和全熟。对于蔬菜类型的食材熟度等级可以划分为全生，半生，断生，全熟和过熟。
可选地，在本实施例中，目标熟度检测模型是根据标注有熟度等级的样本图像对初始熟度检测模型进行训练得到，标注有熟度等级的样本图像属于目标食材类型。初始熟度检测模型可以但不限于采用以下训练过程进行训练：将样本图像输入到初始熟度检测模型中，得到初始熟度检测模型输出的初始熟度等级，根据初始熟度等级和样本图像所标注的熟度等级之间的差别对初始熟度检测模型的模型参数进行调整，直至初始熟度等级和样本图像所标注的熟度等级之间的差别满足预先设定的条件，将使得初始熟度等级和样本图像所标注的熟度等级之间的差别满足预先设定的条件的模型参数确定为目标熟度检测模型使用的模型参数，从而得到目标熟度检测模型。或者，根据初始食材类型和样本图像所标注的熟度等级之间的差别对初始熟度检测模型的模型参数进行调整，直至调整的次数达到预设的调整次数，则停止模型参数的调整，并对停止模型训练的事件进行提示，由技术人员对模型进行调整(比如超参数的调整)之后再进行模型的训练。
在一个示例性实施例中，可以但不限于通过以下方式根据目标光学图像特征确定目标食材类型：将所述目标光学图像特征输入到目标食材分类模型中，得到所述目标食材分类模型输出的所述目标食材类型，其中，所述目标食材分类模型根据标注有食材类型的光学图像对初始食材分类模型进行训练得到。
可选地，在本实施例中，目标食材分类模型是根据标注有食材类型的光学图像对初始食材分类模型进行训练得到。训练过程可以但不限于为将光学图像输入到初始食材分类模型中，得到初始食材分类模型输出的初始食材类型，根据初始食材类型和光学图像所标注的食材类型之间的差别对初始食材分类模型的模型参数进行调整，直至初始食材类型和光学图像所标注的食材类型之间的差别满足预先设定的条件，将使得初始食材类型和光学图像所标注的食材类型之间的差别满足预先设定的条件的模型参数确定为目标食材分类模型使用的模型参数，从而得到目标食材分类模型。或者，根据初始食材类型和光学图像所标注的食材类型之间的差别对初始食材分类模型的模型参数进行调整，直至调整的次数达到预设的调整次数，则停止模型参数的调整，并对停止模型训练的事件进行提示，由技术人员对模型进行调整(比如超参数的调整)之后再进行模型的训练。
可选地，在本实施例中，初始食材分类模型可以但不限于为任意种类的具有分类功能的神经网络模型，比如：Softmax分类模型，Sigmoid分类模型等等。
在一个可选的实施方式中，提供了一种依据食材特征检测食材熟度的过程，图3是根据本发明可选的实施方式的食材的熟度检测方法的示意图，如图3所示，对光学图像进行特征提取，得到目标光学图像特征，并对超声图像进行特征提取，得到目标超声图像特征，对目标光学图像特征进行Softmax分类，并将目标光学图像特征和目标超声图像特征进行特征融合得到融合特征图，结合Softmax分类的分类结果和融合特征图进行特征判断得到食材的熟度输出作为目标熟度等级，从而实现对食材的熟度的检测。
在一个示例性实施例中，在根据目标融合特征检测目标食材在划分的多个熟度等级中所对应的目标熟度等级之后，还可以利用得到的目标熟度等级对目标食材执行不同操作，比如：从具有对应关系的食材和操作表中获取目标食材对应的目标操作表，其中，目标操作表中记录了具有对应关系的熟度等级和食材操作；从目标操作表中获取目标熟度等级对应的目标食材操作；对目标食材执行目标食材操作。
可选地，在本实施例中，为不同的食材配置了不同的操作表，将具有对应关系的食材和操作表存储在烹饪设备上，使得烹饪设备能够依据操作表中记录的操作流程自动对食材进行相应的操作。
可选地，在本实施例中，食材达到不同熟度可以控制烹饪设备对食材执行不同的操作，比如：蔬菜类的食材在熟度等级达到8或9时即可关火，用余温将蔬菜加热到全熟，牛排在熟度达到三分熟时可以执行翻面操作等等，从而通过对食材在不同熟度等级下执行不同精确的操作来烹饪出更加可口的菜肴。
在一个示例性实施例中，在根据目标融合特征检测目标食材在划分的多个熟度等级中所对应的目标熟度等级之后，还可以根据熟度等级判断目标食材是否完成烹饪并对判断结果进行提示，比如：判断目标熟度等级是否达到目标食材对应的目标熟度阈值；在判断出目标熟度等级达到目标熟度阈值的情况下，发送提示信息，其中，提示信息用于提示目标食材烹饪完成。
可选地，在本实施例中，不同的食材可以但不限于对应不同的目标熟度阈值，目标熟度阈值可以但不限于是由用户根据个人喜好来设定的，或者也可以是根据食材的种类自动检测并设定的。比如：用户可以设定牛排对应的目标熟度阈值，如果设定为五分熟，则在判断出牛排达到五分熟时发送提示信息来提示牛排烹饪完成。对于蔬菜类的食材，可以自动判断在食材的熟度等级达到9时发送提示信息来提示食材烹饪完成，从而避免蔬菜类食材过熟而影响口感。
为了更好的理解上述食材的熟度检测方法的过程，以下再结合可选实施例对上述食材的熟度检测过程的实现方法流程进行说明，但不用于限定本发明实施例的技术方案。
在本实施例中提供了一种食材的熟度检测方法，图4是根据本发明实施例的食材的熟度检测方法的示意图，如图4所示，上述食材的熟度检测方法可以但不限于包括如下步骤：
步骤S401：接收到烘焙指令时开始烘焙。
步骤S402：烘焙过程中对食材进行光学和超声图像的成像。
步骤S403：采用上述食材的熟度检测过程对食材的熟度进行检测，得到食材的熟度等级。
步骤S404：在烘焙设备上显示熟度等级。
步骤S405：判断熟度等级是否达到目标熟度阈值，如果已达到，则执行步骤S406，如果未达到，则重复执行步骤S402。
步骤S406：判定烘焙过程已结束，发送提示信息来提示完成了对食材的烘焙。
通过上述过程，利用光学图像和超声图像来判断食材的熟度，从而提高对食材的熟度进行检测的准确性，并且利用图像检测食材的熟度，能够对食材熟度进行无损的检测，从而保证食材的美观度和完整性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
图5是根据本发明实施例的一种食材的熟度检测装置的结构框图；如图5所示，包括：
第一获取模块52，用于获取目标食材的食材图像，其中，所述目标食材为待检测熟度的食材；
第二获取模块54，用于从所述食材图像中获取所述目标食材的目标光学图像特征和目标超声图像特征；
融合模块56，用于对所述目标光学图像特征和所述目标超声图像特征进行特征融合，得到目标融合特征；
划分模块58，用于根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级。
通过上述实施例，利用获取到的目标食材的食材图像对食材的熟度进行检测，避免对食材表面的破坏，保证食材的完整性和美观度。从食材图像中获取到目标食材的目标光学图像特征和目标超声图像特征，结合食材的光学特征和超声特征来确定目标食材对应的目标融合特征，从而使得目标融合特征既能够体现目标食材的化学结构，又能够体现目标食材的物理结构，因此根据该目标融合特征确定的目标熟度等级是参考了多个维度的食材信息而得出的，使得该目标熟度等级更加准确的表现出目标食材的实际熟度。采用上述技术方案，解决了相关技术中，对于食材熟度的检测准确性较低等问题，实现了提高对于食材熟度的检测的准确性的技术效果。
在一个示例性实施例中，所述划分模块，包括：第一确定单元，用于根据所述目标光学图像特征确定所述目标食材类型；第二确定单元，用于确定与所述目标食材类型对应的目标熟度检测模型；输入单元，用于将所述目标融合特征输入所述目标熟度检测模型，得到所述目标熟度检测模型输出的所述目标熟度等级，其中，所述目标熟度检测模型根据标注有熟度等级的样本图像对初始熟度检测模型进行训练得到，所述标注有熟度等级的样本图像属于目标食材类型。
在一个示例性实施例中，第一确定单元，用于：所述根据所述目标光学图像特征确定所述目标食材类型，包括：将所述目标光学图像特征输入到目标食材分类模型中，得到所述目标食材分类模型输出的所述目标食材类型，其中，所述目标食材分类模型根据标注有食材类型的光学图像对初始食材分类模型进行训练得到。
在一个示例性实施例中，所述第一获取模块，包括：第一拍摄单元，用于通过烹饪设备上配置的光学摄像装置拍摄所述目标食材的光学图像；第二拍摄单元，用于通过所述烹饪设备上配置的超声摄像装置拍摄所述目标食材的超声图像，其中，所述食材图像包括所述光学图像和所述超声图像。
在一个示例性实施例中，所述第二获取模块，包括：第一提取单元，用于从所述食材图像所包括的光学图像中提取所述目标光学图像特征，其中，所述目标光学图像特征包括所述目标食材的颜色特征和所述目标食材的形状特征；第二提取单元，用于从所述食材图像所包括的超声图像中提取所述目标超声图像特征，其中，所述目标超声图像特征包括所述目标食材的密度特征和所述目标食材的体积特征。
在一个示例性实施例中，所述装置还包括：第三获取模块，用于在根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级之后，从具有对应关系的食材和操作表中获取所述目标食材对应的目标操作表，其中，所述目标操作表中记录了具有对应关系的熟度等级和食材操作；第四获取模块，用于从所述目标操作表中获取所述目标熟度等级对应的目标食材操作；执行模块，用于对所述目标食材执行所述目标食材操作。
在一个示例性实施例中，所述装置还包括：判断模块，用于在根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级之后，判断所述目标熟度等级是否达到所述目标食材对应的目标熟度阈值；发送模块，用于在判断出所述目标熟度等级达到所述目标熟度阈值的情况下，发送提示信息，其中，所述提示信息用于提示所述目标食材烹饪完成。
本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，获取目标食材的食材图像，其中，所述目标食材为待检测熟度的食材；
S2，从所述食材图像中获取所述目标食材的目标光学图像特征和目标超声图像特征；
S3，对所述目标光学图像特征和所述目标超声图像特征进行特征融合，得到目标融合特征；
S4，根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取目标食材的食材图像，其中，所述目标食材为待检测熟度的食材；
S2，从所述食材图像中获取所述目标食材的目标光学图像特征和目标超声图像特征；
S3，对所述目标光学图像特征和所述目标超声图像特征进行特征融合，得到目标融合特征；
S4，根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种食材的熟度检测方法，其特征在于，包括：
获取目标食材的食材图像，其中，所述目标食材为待检测熟度的食材；
从所述食材图像中获取所述目标食材的目标光学图像特征和目标超声图像特征；
对所述目标光学图像特征和所述目标超声图像特征进行特征融合，得到目标融合特征；
根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级。
2.根据权利要求1所述的食材的熟度检测方法，其特征在于，根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级，包括：
根据所述目标光学图像特征确定所述目标食材类型；
确定与所述目标食材类型对应的目标熟度检测模型；
将所述目标融合特征输入所述目标熟度检测模型，得到所述目标熟度检测模型输出的所述目标熟度等级，其中，所述目标熟度检测模型根据标注有熟度等级的样本图像对初始熟度检测模型进行训练得到，所述标注有熟度等级的样本图像属于目标食材类型。
3.根据权利要求2所述的食材的熟度检测方法，其特征在于，所述根据所述目标光学图像特征确定所述目标食材类型，包括：
将所述目标光学图像特征输入到目标食材分类模型中，得到所述目标食材分类模型输出的所述目标食材类型，其中，所述目标食材分类模型根据标注有食材类型的光学图像对初始食材分类模型进行训练得到。
4.根据权利要求1-3任一项所述的食材的熟度检测方法，其特征在于，获取所述目标食材的所述食材图像，包括：
通过烹饪设备上配置的光学摄像装置拍摄所述目标食材的光学图像；
通过所述烹饪设备上配置的超声摄像装置拍摄所述目标食材的超声图像，其中，所述食材图像包括所述光学图像和所述超声图像。
5.根据权利要求1-4任一项所述的食材的熟度检测方法，其特征在于，从所述食材图像中获取所述目标食材的目标光学图像特征和目标超声图像特征，包括：
从所述食材图像所包括的光学图像中提取所述目标光学图像特征，其中，所述目标光学图像特征包括所述目标食材的颜色特征和所述目标食材的形状特征；
从所述食材图像所包括的超声图像中提取所述目标超声图像特征，其中，所述目标超声图像特征包括所述目标食材的密度特征和所述目标食材的体积特征。
6.根据权利要求1-5任一项所述的食材的熟度检测方法，其特征在于，在根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级之后，所述方法还包括：
从具有对应关系的食材和操作表中获取所述目标食材对应的目标操作表，其中，所述目标操作表中记录了具有对应关系的熟度等级和食材操作；
从所述目标操作表中获取所述目标熟度等级对应的目标食材操作；
对所述目标食材执行所述目标食材操作。
7.根据权利要求1-5任一项所述的食材的熟度检测方法，其特征在于，在根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级之后，所述方法还包括：
判断所述目标熟度等级是否达到所述目标食材对应的目标熟度阈值；
在判断出所述目标熟度等级达到所述目标熟度阈值的情况下，发送提示信息，其中，所述提示信息用于提示所述目标食材烹饪完成。
8.一种食材的熟度检测装置，其特征在于，包括：
第一获取模块，用于获取目标食材的食材图像，其中，所述目标食材为待检测熟度的食材；
第二获取模块，用于从所述食材图像中获取所述目标食材的目标光学图像特征和目标超声图像特征；
融合模块，用于对所述目标光学图像特征和所述目标超声图像特征进行特征融合，得到目标融合特征；
划分模块，用于根据所述目标融合特征检测所述目标食材在划分的多个熟度等级中所对应的目标熟度等级。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN202110686895.9A 2021-06-21 2021-06-21 食材的熟度检测方法和装置、存储介质及电子装置 Pending CN113436159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110686895.9A CN113436159A (zh) 2021-06-21 2021-06-21 食材的熟度检测方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110686895.9A CN113436159A (zh) 2021-06-21 2021-06-21 食材的熟度检测方法和装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN113436159A true CN113436159A (zh) 2021-09-24

Family

ID=77756786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110686895.9A Pending CN113436159A (zh) 2021-06-21 2021-06-21 食材的熟度检测方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN113436159A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102095797A (zh) * 2010-10-29 2011-06-15 华南理工大学 一种基于比较法的超声无损检测水果成熟度的方法与系统
WO2016038039A1 (en) * 2014-09-11 2016-03-17 Koninklijke Philips N.V. Controlling a cooking process of food
US20180088089A1 (en) * 2016-09-28 2018-03-29 International Business Machines Corporation Food doneness monitor
CN110664259A (zh) * 2019-11-20 2020-01-10 广东美的厨房电器制造有限公司 烹饪设备及其控制方法、控制系统、计算机可读存储介质
CN110716483A (zh) * 2019-11-20 2020-01-21 广东美的厨房电器制造有限公司 烹饪设备的控制方法、控制装置、烹饪设备及存储介质
CN110780628A (zh) * 2019-11-20 2020-02-11 广东美的厨房电器制造有限公司 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN110806699A (zh) * 2019-11-20 2020-02-18 广东美的厨房电器制造有限公司 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN110824942A (zh) * 2019-11-20 2020-02-21 广东美的厨房电器制造有限公司 烹饪设备及其控制方法、控制系统、计算机可读存储介质
CN110826574A (zh) * 2019-09-26 2020-02-21 青岛海尔智能技术研发有限公司 食材成熟度确定的方法、装置、厨电设备及服务器
CN112418130A (zh) * 2020-11-30 2021-02-26 华南农业大学 一种基于bp神经网络的香蕉成熟度检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102095797A (zh) * 2010-10-29 2011-06-15 华南理工大学 一种基于比较法的超声无损检测水果成熟度的方法与系统
WO2016038039A1 (en) * 2014-09-11 2016-03-17 Koninklijke Philips N.V. Controlling a cooking process of food
US20180088089A1 (en) * 2016-09-28 2018-03-29 International Business Machines Corporation Food doneness monitor
CN110826574A (zh) * 2019-09-26 2020-02-21 青岛海尔智能技术研发有限公司 食材成熟度确定的方法、装置、厨电设备及服务器
CN110664259A (zh) * 2019-11-20 2020-01-10 广东美的厨房电器制造有限公司 烹饪设备及其控制方法、控制系统、计算机可读存储介质
CN110716483A (zh) * 2019-11-20 2020-01-21 广东美的厨房电器制造有限公司 烹饪设备的控制方法、控制装置、烹饪设备及存储介质
CN110780628A (zh) * 2019-11-20 2020-02-11 广东美的厨房电器制造有限公司 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN110806699A (zh) * 2019-11-20 2020-02-18 广东美的厨房电器制造有限公司 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN110824942A (zh) * 2019-11-20 2020-02-21 广东美的厨房电器制造有限公司 烹饪设备及其控制方法、控制系统、计算机可读存储介质
CN112418130A (zh) * 2020-11-30 2021-02-26 华南农业大学 一种基于bp神经网络的香蕉成熟度检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MD SADMAN SAKIB: "Cooking Object\'s State Identification Without Using Pretrained Model", 《ARXIV》, pages 1 - 5 *
RAHUL PAUL: "Classifying Cooking Object\'s State using a Tuned VGG Convolutional Neural Network", 《ARXIV》, pages 1 - 5 *
钟厦;: "农业智能机器人水果采摘优化控制模型仿真", 《计算机仿真》, vol. 32, no. 04, pages 290 - 294 *

Similar Documents

Publication Publication Date Title
US20220287498A1 (en) Method and device for automatically cooking food
CN110780628B (zh) 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN109254539B (zh) 一种烹饪器具的控制方法及烹饪器具
CN113133682B (zh) 烹饪设备、烹饪曲线的调整方法和调整装置
CN110806699A (zh) 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN108133743A (zh) 一种信息推送的方法、装置和系统
CN110488696B (zh) 一种智能防干烧方法及系统
CN107692840A (zh) 电器具的显示方法及装置，电器具
CN111198529A (zh) 一种烹饪设备、烹饪方法、装置、电子设备及存储介质
CN109124293A (zh) 烹饪器具及其控制方法、系统、服务器
CN112817237A (zh) 一种烹饪控制方法、装置、设备及存储介质
CN110754922A (zh) 烹饪控制方法、装置、存储介质及烹饪器具
CN110989389A (zh) 一种菜谱的调整方法和装置
CN110934508A (zh) 烤箱的控制方法及装置
CN109691864B (zh) 一种烹饪控制方法、装置、烹饪设备及计算机存储介质
CN114092806A (zh) 识别方法及其装置、烹饪设备及其控制方法和存储介质
CN114266959A (zh) 食材的烹饪方法及装置、存储介质、电子装置
CN111248716B (zh) 食材的烹饪控制方法、图像处理方法、装置及烹饪设备
CN111990902A (zh) 一种烹饪控制方法及装置、电子设备及存储介质
CN112394149B (zh) 食材成熟度检测提示的方法及装置、厨电设备
CN113436159A (zh) 食材的熟度检测方法和装置、存储介质及电子装置
CN111103815A (zh) 一种菜谱的制作方法和装置
CN108134809A (zh) 一种信息推送的方法、装置和系统
CN116509205A (zh) 基于智能烹饪设备的自烹饪控制方法及装置
CN114903343A (zh) 一种自动蒸烤的方法、装置及其蒸烤箱

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination