CN113283447A - 食物烘焙方法及装置、存储介质及电子装置 - Google Patents
食物烘焙方法及装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN113283447A CN113283447A CN202110595171.3A CN202110595171A CN113283447A CN 113283447 A CN113283447 A CN 113283447A CN 202110595171 A CN202110595171 A CN 202110595171A CN 113283447 A CN113283447 A CN 113283447A
- Authority
- CN
- China
- Prior art keywords
- feature
- baking
- target food
- food
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 100
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 76
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 description 26
- 238000013135 deep learning Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供了一种食物烘焙方法及装置、存储介质及电子装置，其中，上述食物烘焙方法包括：指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种食物烘焙方法及装置、存储介质及电子装置。
背景技术
随着科学技术的进步和人工智能的发展，智能算法也越来越多的应用到日常生活中，特别是对于烤箱等烘焙设备而言。作为使用频率较高的日常家电之一，烤箱等烘焙设备的智能化发展是至关重要的，而烘焙设备的智能化的最关键问题，在于对烘焙食材生熟程度的识别及自动停止烘焙。现有烘焙设备中已经安装有摄像头，具有自动生成烘焙视频的功能，可以利用现有摄像头拍摄的食材烘焙图像，间隔一定时间抓取一张图片，对这张图片进行识别，从而判断食材的生熟状态。但是，上述技术仅仅是基于深度学习的神经网络特征来判断食材生熟，有时判断结果并不准确，因为食材生熟还要考虑食材的颜色和体积大小。
针对相关技术中，烘焙设备通过智能算法判断食材生熟，判断结果不准确，进而导致无法准确判断停止烘焙操作的时间的问题，尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种食物烘焙方法及装置、存储介质及电子装置，以解决相关技术中，烘焙设备通过智能算法判断食材生熟，判断结果不准确，进而导致无法准确判断停止烘焙操作的时间的问题。
根据本发明的一个实施例，提供了一种食物烘焙方法，包括：指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。
进一步地，提取所述目标食物的颜色特征，包括：将所述烘焙图片转换为YUV图像，并从所述YUV图像中分别获取所述目标食物的明亮度、色彩值和饱和度；根据所述目标食物的明亮度、色彩值和饱和度中的一个或多个图像信息确定所述目标食物的颜色特征。
进一步地，根据所述目标食物的明亮度、色彩值和饱和度中的一个或多个图像信息确定所述目标食物的颜色特征，包括：根据以下公式确定所述目标食物的颜色特征F1＝Y+U-V，其中，F1为所述颜色特征，Y为所述明亮度，U为所述色彩值，V为所述饱和度。
进一步地，提取所述目标食物的体积特征，包括：通过边缘检测算法分别计算所述目标食物在当前时刻的烘焙图片的第一边缘特征图和所述目标食物在所述当前时刻的上N个时刻的烘焙图片的第二边缘特征图，其中，N为正整数；根据所述第一边缘特征图和所述第二边缘特征图确定所述体积特征。
进一步地，提取所述目标食物的卷积神经网络特征，包括：对所述烘焙图片进行多层卷积运算处理，得到卷积特征图；对所述卷积特征图进行欠采样处理，得到所述卷积神经网络特征。
进一步地，对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征，包括：根据以下公式确定所述目标食物的融合特征：F＝a×F1+b×F2+c×F3，其中，F为所述融合特征，F1为所述颜色特征，F2为所述体积特征，F3为所述卷积神经网络特征，a、b和c分别是所述颜色特征、所述体积特征和所述卷积神经网络特征对应的权重系数。
进一步地，对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征之后，所述方法还包括：在所述融合特征不符合所述预设条件的情况下，根据所述融合特征和所述预设条件生成烘焙指令；根据所述烘焙指令指示所述烘焙设备更新所述烘焙操作。
根据本发明的又一个实施例，还提供了种食物烘焙装置，包括：采集模块，用于指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；提取模块，用于从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；运算模块，用于对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；指示模块，用于在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行以上任一项中所述的方法。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行以上任一项中所述的方法。
通过本发明，指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。也就是说，本发明可以通过指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片，从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征；通过对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。因此，采用上述技术方案，解决了相关技术中，烘焙设备通过智能算法判断食材生熟，判断结果不准确，进而导致无法准确判断停止烘焙操作的时间的问题，从而提供一种基于深度学习的多种特征来判断食材生熟的烘焙设备的智能算法。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种食物烘焙方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种食物烘焙方法的流程示意图；
图3是根据本发明实施例的一种食物烘焙方法的示意图；
图4是根据本发明实施例的一种食物烘焙装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在移动终端，或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种食物烘焙方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器(Microprocessor Unit，简称是MPU)或可编程逻辑器件(Programmable logic device，简称是PLD))和用于存储数据的存储器104，在一个示例性实施例中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的食物烘焙方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种食物烘焙方法，应用于上述移动终端，图2是根据本发明实施例的一种食物烘焙方法的流程示意图，该流程包括如下步骤：
步骤S202：指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；
步骤S204：从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；
步骤S206：对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；
步骤S208：在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。
通过本发明，指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。也就是说，本发明可以通过指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片，从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征；通过对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。因此，采用上述技术方案，解决了相关技术中，烘焙设备通过智能算法判断食材生熟，判断结果不准确，进而导致无法准确判断停止烘焙操作的时间的问题，从而提供一种基于深度学习的多种特征来判断食材生熟的烘焙设备的智能算法。
在一个示范性实施例中，提取所述目标食物的颜色特征，包括：将所述烘焙图片转换为YUV图像，并从所述YUV图像中分别获取所述目标食物的明亮度、色彩值和饱和度；根据所述目标食物的明亮度、色彩值和饱和度中的一个或多个图像信息确定所述目标食物的颜色特征。
在提取所述目标食物的颜色特征时，可以从将所述烘焙图片转换为YUV图像中，分别获取所述目标食物的明亮度、色彩值和饱和度。在本发明实施例中，根据所述目标食物的明亮度、色彩值和饱和度中的一个或多个图像信息确定所述目标食物的颜色特征。
在一个示范性实施例中，根据所述目标食物的明亮度、色彩值和饱和度中的一个或多个图像信息确定所述目标食物的颜色特征，包括：根据以下公式确定所述目标食物的颜色特征F1＝Y+U-V，其中，F1为所述颜色特征，Y为所述明亮度，U为所述色彩值，V为所述饱和度。
由于烘焙的食物的生熟程度不同，其对应不同的颜色，所以本发明实施例在判断食材生熟的智能算法中引入了颜色特征。本发明实施例通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片，将获取到的烘焙图片转换为YUV图像，也就是将获取到的烘焙图片转换为以明亮度、色彩值和饱和度为三原色的图像格式。本发明实施例通过颜色特征公式，也就是F1＝Y+U-V来计算颜色特征，其中，F1为所述颜色特征，Y为所述明亮度，U为所述色彩值，V为所述饱和度。
在一个示范性实施例中，提取所述目标食物的体积特征，包括：通过边缘检测算法分别计算所述目标食物在当前时刻的烘焙图片的第一边缘特征图和所述目标食物在所述当前时刻的上N个时刻的烘焙图片的第二边缘特征图，其中，N为正整数；根据所述第一边缘特征图和所述第二边缘特征图确定所述体积特征。
由于烘焙的食物的生熟程度不同，其对应不同的体积大小，所以本发明实施例在判断食材生熟的智能算法中引入了体积特征。本发明实施例通过边缘检测算法分别计算在当前时刻获取的烘焙图片的第一边缘特征图和在所述当前时刻的上N个时刻的烘焙图片的第二边缘特征图，其中，N可以取1、2、3等正整数。需要说明的是，当前时刻的上N个时刻的烘焙图片，可以是当前时刻获取的当前烘焙图片的前N帧的烘焙图片。根据所述第一边缘特征图和所述第二边缘特征图确定所述体积特征，也就是通过公式F2＝|C2-C1|来计算体积特征，其中，F2为体积特征，C2为第二边缘特征图，C1为第一边缘特征图。
在一个示范性实施例中，提取所述目标食物的卷积神经网络特征，包括：对所述烘焙图片进行多层卷积运算处理，得到卷积特征图；对所述卷积特征图进行欠采样处理，得到所述卷积神经网络特征。
本发明实施例提供一种基于深度学习的多种特征来判断食材生熟的烘焙设备的智能算法，智能算法还需要提取烘焙图片的卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系。本发明实施例对所述烘焙图片进行多层卷积运算处理，得到卷积特征图，需要说明的是，卷积运算的层数越多，提取的卷积特征图越理想，使用者可以根据设备运算能力的情况，选择卷积运算的层数；在提取到卷积特征图的情况下，对所述卷积特征图进行欠采样处理，得到所述卷积神经网络特征。需要说明的是，在特殊情况下，也可以不对所述卷积特征图进行欠采样处理，将卷积特征图作为卷积神经网络特征也是可行的，只是，效果较差。
在一个示范性实施例中，对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征，包括：根据以下公式确定所述目标食物的融合特征：F＝a×F1+b×F2+c×F3，其中，F为所述融合特征，F1为所述颜色特征，F2为所述体积特征，F3为所述卷积神经网络特征，a、b和c分别是所述颜色特征、所述体积特征和所述卷积神经网络特征对应的权重系数。
本发明实施例提供一种基于深度学习的多种特征来判断食材生熟的智能算法，其中，多种特征包括从所述烘焙图片中分别提取所述目标食物的所述颜色特征、所述体积特征和所述卷积神经网络特征。本发明实施例通过融合特征运算公式目标食物的融合特征，其中，融合特征运算公式为F＝a×F1+b×F2+c×F3，其中，F为所述融合特征，F1为所述颜色特征，F2为所述体积特征，F3为所述卷积神经网络特征，a、b和c分别是所述颜色特征、所述体积特征和所述卷积神经网络特征对应的权重系数。需要说明的是，a、b和c使用者可以根据具体情况，自行调整最合适的数值。
在一个示范性实施例中，对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征之后，所述方法还包括：在所述融合特征不符合所述预设条件的情况下，根据所述融合特征和所述预设条件生成烘焙指令；根据所述烘焙指令指示所述烘焙设备更新所述烘焙操作。
本发明实施例提供的智能算法除了可以用来判断食材生熟，也可以用来对目标食物进行自动烘焙，也就是，通过智能算法来调整烘焙操作。得到所述目标食物的融合特征后，判断融合特征是否符合预设条件：如果在所述融合特征符合预设条件，指示所述烘焙设备停止烘焙操作，也就是目标食物已熟的情况下，停止烘焙操作；如果所述融合特征不符合所述预设条件，根据所述融合特征和所述预设条件生成烘焙指令，根据所述烘焙指令指示所述烘焙设备更新所述烘焙操作，也就是目标食物还没有熟的情况下，根据目标食物现在的融合特征和预设条件来更新所述烘焙操作。需要说明的是，预设条件可以是目标食物已熟的情况下对应的融合特征。
为了更好的理解上述技术方案，使用以下可选流程图用于解释说明食物烘焙方法的整个流程。
图3是根据本发明实施例的一种食物烘焙方法的示意图，如图3所示：
S302:通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；
S304:从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征；
S306:对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征图；
S308:判断融合特征是否符合预设条件，并输出结果。
通过本发明，指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。也就是说，本发明可以通过指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片，从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征；通过对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。因此，采用上述技术方案，解决了相关技术中，烘焙设备通过智能算法判断食材生熟，判断结果不准确，进而导致无法准确判断停止烘焙操作的时间的问题，从而提供一种基于深度学习的多种特征来判断食材生熟的烘焙设备的智能算法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，移动终端，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种食物烘焙装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的一种食物烘焙装置的结构框图，如图4所示，包括：
采集模块40，用于指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；
提取模块42，用于从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；
运算模块44，用于对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；
指示模块46，用于在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。
通过本发明，指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。也就是说，本发明可以通过指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片，从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征；通过对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。因此，采用上述技术方案，解决了相关技术中，烘焙设备通过智能算法判断食材生熟，判断结果不准确，进而导致无法准确判断停止烘焙操作的时间的问题，从而提供一种基于深度学习的多种特征来判断食材生熟的烘焙设备的智能算法。
可选的，提取模块42还用于提取所述目标食物的颜色特征，包括：将所述烘焙图片转换为YUV图像，并从所述YUV图像中分别获取所述目标食物的明亮度、色彩值和饱和度；根据所述目标食物的明亮度、色彩值和饱和度中的一个或多个图像信息确定所述目标食物的颜色特征。
在提取所述目标食物的颜色特征时，可以从将所述烘焙图片转换为YUV图像中，分别获取所述目标食物的明亮度、色彩值和饱和度。在本发明实施例中，根据所述目标食物的明亮度、色彩值和饱和度中的一个或多个图像信息确定所述目标食物的颜色特征。
可选的，提取模块42还用于根据所述目标食物的明亮度、色彩值和饱和度中的一个或多个图像信息确定所述目标食物的颜色特征，包括：根据以下公式确定所述目标食物的颜色特征F1＝Y+U-V，其中，F1为所述颜色特征，Y为所述明亮度，U为所述色彩值，V为所述饱和度。
由于烘焙的食物的生熟程度不同，其对应不同的颜色，所以本发明实施例在判断食材生熟的智能算法中引入了颜色特征。本发明实施例通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片，将获取到的烘焙图片转换为YUV图像，也就是将获取到的烘焙图片转换为以明亮度、色彩值和饱和度为三原色的图像格式。本发明实施例通过颜色特征公式，也就是F1＝Y+U-V来计算颜色特征，其中，F1为所述颜色特征，Y为所述明亮度，U为所述色彩值，V为所述饱和度。
可选的，提取模块42还用于通过边缘检测算法分别计算所述目标食物在当前时刻的烘焙图片的第一边缘特征图和所述目标食物在所述当前时刻的上N个时刻的烘焙图片的第二边缘特征图，其中，N为正整数；根据所述第一边缘特征图和所述第二边缘特征图确定所述体积特征。
由于烘焙的食物的生熟程度不同，其对应不同的体积大小，所以本发明实施例在判断食材生熟的智能算法中引入了体积特征。本发明实施例通过边缘检测算法分别计算在当前时刻获取的烘焙图片的第一边缘特征图和在所述当前时刻的上N个时刻的烘焙图片的第二边缘特征图，其中，N可以取1、2、3等正整数。需要说明的是，当前时刻的上N个时刻的烘焙图片，可以是当前时刻获取的当前烘焙图片的前N帧的烘焙图片。根据所述第一边缘特征图和所述第二边缘特征图确定所述体积特征，也就是通过公式F2＝|C2-C1|来计算体积特征，其中，F2为体积特征，C2为第二边缘特征图，C1为第一边缘特征图。
可选的，提取模块42还用于对所述烘焙图片进行多层卷积运算处理，得到卷积特征图；对所述卷积特征图进行欠采样处理，得到所述卷积神经网络特征。
本发明实施例提供一种基于深度学习的多种特征来判断食材生熟的烘焙设备的智能算法，智能算法还需要提取烘焙图片的卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系。本发明实施例对所述烘焙图片进行多层卷积运算处理，得到卷积特征图，需要说明的是，卷积运算的层数越多，提取的卷积特征图越理想，使用者可以根据设备运算能力的情况，选择卷积运算的层数；在提取到卷积特征图的情况下，对所述卷积特征图进行欠采样处理，得到所述卷积神经网络特征。需要说明的是，在特殊情况下，也可以不对所述卷积特征图进行欠采样处理，将卷积特征图作为卷积神经网络特征也是可行的，只是，效果较差。
可选的，运算模块44还用于根据以下公式确定所述目标食物的融合特征：F＝a×F1+b×F2+c×F3，其中，F为所述融合特征，F1为所述颜色特征，F2为所述体积特征，F3为所述卷积神经网络特征，a、b和c分别是所述颜色特征、所述体积特征和所述卷积神经网络特征对应的权重系数。
本发明实施例提供一种基于深度学习的多种特征来判断食材生熟的智能算法，其中，多种特征包括从所述烘焙图片中分别提取所述目标食物的所述颜色特征、所述体积特征和所述卷积神经网络特征。本发明实施例通过融合特征运算公式目标食物的融合特征，其中，融合特征运算公式为F＝a×F1+b×F2+c×F3，其中，F为所述融合特征，F1为所述颜色特征，F2为所述体积特征，F3为所述卷积神经网络特征，a、b和c分别是所述颜色特征、所述体积特征和所述卷积神经网络特征对应的权重系数。需要说明的是，a、b和c使用者可以根据具体情况，自行调整最合适的数值。
可选的，运算模块44还用于在所述融合特征不符合所述预设条件的情况下，根据所述融合特征和所述预设条件生成烘焙指令；根据所述烘焙指令指示所述烘焙设备更新所述烘焙操作。
本发明实施例提供的智能算法除了可以用来判断食材生熟，也可以用来对目标食物进行自动烘焙，也就是，通过智能算法来调整烘焙操作。得到所述目标食物的融合特征后，判断融合特征是否符合预设条件：如果在所述融合特征符合预设条件，指示所述烘焙设备停止烘焙操作，也就是目标食物已熟的情况下，停止烘焙操作；如果所述融合特征不符合所述预设条件，根据所述融合特征和所述预设条件生成烘焙指令，根据所述烘焙指令指示所述烘焙设备更新所述烘焙操作，也就是目标食物还没有熟的情况下，根据目标食物现在的融合特征和预设条件来更新所述烘焙操作。需要说明的是，预设条件可以是目标食物已熟的情况下对应的融合特征。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
进一步地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；
S2，从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；
S3，对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；
S4，在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。
进一步地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
进一步地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
进一步地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；
S2，从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；
S3，对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；
S4，在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。
进一步地，在本进一步地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，进一步地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种食物烘焙方法，其特征在于，包括：
通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；
从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；
对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；
在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。
2.根据权利要求1所述的食物烘焙方法，其特征在于，提取所述目标食物的颜色特征，包括：
将所述烘焙图片转换为YUV图像，并从所述YUV图像中分别获取所述目标食物的明亮度、色彩值和饱和度；
根据所述目标食物的明亮度、色彩值和饱和度中的一个或多个图像信息确定所述目标食物的颜色特征。
3.根据权利要求2所述的食物烘焙方法，其特征在于，根据所述目标食物的明亮度、色彩值和饱和度中的一个或多个图像信息确定所述目标食物的颜色特征，包括：
根据以下公式确定所述目标食物的颜色特征：
F1＝Y+U-V，其中，F1为所述颜色特征，Y为所述明亮度，U为所述色彩值，V为所述饱和度。
4.根据权利要求1所述的食物烘焙方法，其特征在于，提取所述目标食物的体积特征，包括：
通过边缘检测算法分别计算所述目标食物在当前时刻的烘焙图片的第一边缘特征图和所述目标食物在所述当前时刻的上N个时刻的烘焙图片的第二边缘特征图，其中，N为正整数；
根据所述第一边缘特征图和所述第二边缘特征图确定所述体积特征。
5.根据权利要求1所述的食物烘焙方法，其特征在于，提取所述目标食物的卷积神经网络特征，包括：
对所述烘焙图片进行多层卷积运算处理，得到卷积特征图；
对所述卷积特征图进行欠采样处理，得到所述卷积神经网络特征。
6.根据权利要求1所述的食物烘焙方法，其特征在于，对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征，包括：
根据以下公式确定所述目标食物的融合特征：
F＝a×F1+b×F2+c×F3，其中，F为所述融合特征，F1为所述颜色特征，F2为所述体积特征，F3为所述卷积神经网络特征，a、b和c分别是所述颜色特征、所述体积特征和所述卷积神经网络特征对应的权重系数。
7.根据权利要求1所述的食物烘焙方法，其特征在于，对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征之后，所述方法还包括：
在所述融合特征不符合所述预设条件的情况下，根据所述融合特征和所述预设条件生成烘焙指令；
根据所述烘焙指令指示所述烘焙设备更新所述烘焙操作。
8.一种食物烘焙装置，其特征在于，包括：
采集模块，用于指示烘焙设备对目标食物进行烘焙操作，并通过所述烘焙设备内置的图像采集装置获取目标食物的烘焙图片；
提取模块，用于从所述烘焙图片中分别提取所述目标食物的颜色特征、体积特征和卷积神经网络特征，其中，所述卷积神经网络特征用于指示所述目标食物与所述烘焙图片的对应关系；
运算模块，用于对所述颜色特征、所述体积特征和所述卷积神经网络特征中的一个或多个特征进行特征融合运算，得到所述目标食物的融合特征；
指示模块，用于在所述融合特征符合预设条件的情况下，指示所述烘焙设备停止烘焙操作。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110595171.3A CN113283447B (zh) | 2021-05-28 | 2021-05-28 | 食物烘焙方法及装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110595171.3A CN113283447B (zh) | 2021-05-28 | 2021-05-28 | 食物烘焙方法及装置、存储介质及电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113283447A true CN113283447A (zh) | 2021-08-20 |
| CN113283447B CN113283447B (zh) | 2023-12-19 |
Family
ID=77282383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110595171.3A Active CN113283447B (zh) | 2021-05-28 | 2021-05-28 | 食物烘焙方法及装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113283447B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116988309A (zh) * | 2023-08-01 | 2023-11-03 | 杭州帝凯工业布有限公司 | 一种防静电阻燃尼龙帘子布及其制备方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019214171A1 (zh) * | 2018-05-08 | 2019-11-14 | 华南理工大学 | 一种烤箱的智能识别烹饪系统 |
| CN110826574A (zh) * | 2019-09-26 | 2020-02-21 | 青岛海尔智能技术研发有限公司 | 食材成熟度确定的方法、装置、厨电设备及服务器 |
| CN112056945A (zh) * | 2020-08-12 | 2020-12-11 | 华帝股份有限公司 | 一种烹饪设备食物烹饪状态的提醒方法 |
| CN112741508A (zh) * | 2021-01-27 | 2021-05-04 | 九阳股份有限公司 | 一种烹饪设备的控制方法及烹饪设备 |
| CN112767647A (zh) * | 2020-12-29 | 2021-05-07 | 深圳力维智联技术有限公司 | 危险预警方法、装置、设备及计算机可读存储介质 |
-
2021
- 2021-05-28 CN CN202110595171.3A patent/CN113283447B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019214171A1 (zh) * | 2018-05-08 | 2019-11-14 | 华南理工大学 | 一种烤箱的智能识别烹饪系统 |
| CN110826574A (zh) * | 2019-09-26 | 2020-02-21 | 青岛海尔智能技术研发有限公司 | 食材成熟度确定的方法、装置、厨电设备及服务器 |
| CN112056945A (zh) * | 2020-08-12 | 2020-12-11 | 华帝股份有限公司 | 一种烹饪设备食物烹饪状态的提醒方法 |
| CN112767647A (zh) * | 2020-12-29 | 2021-05-07 | 深圳力维智联技术有限公司 | 危险预警方法、装置、设备及计算机可读存储介质 |
| CN112741508A (zh) * | 2021-01-27 | 2021-05-04 | 九阳股份有限公司 | 一种烹饪设备的控制方法及烹饪设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116988309A (zh) * | 2023-08-01 | 2023-11-03 | 杭州帝凯工业布有限公司 | 一种防静电阻燃尼龙帘子布及其制备方法 |
| CN116988309B (zh) * | 2023-08-01 | 2024-03-05 | 杭州帝凯工业布有限公司 | 一种防静电阻燃尼龙帘子布及其制备方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113283447B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107991939A (zh) | 烹饪控制方法及烹饪控制装置、存储介质和烹饪设备 | |
| CN108206917B (zh) | 图像处理的方法及装置、存储介质、电子装置 | |
| CN109951627B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109688396B (zh) | 图像的白平衡处理方法、装置和终端设备 | |
| CN107909605A (zh) | 烹饪设备的控制方法、装置、存储介质和服务器 | |
| JP2018528545A (ja) | 食物画像認識を用いた栄養分析のためのシステム及び方法 | |
| CN108107762A (zh) | 烹饪控制方法及烹饪控制装置、存储介质和烹饪设备 | |
| CN110248170B (zh) | 图像色彩调整方法及装置 | |
| US20210006760A1 (en) | Meta-learning for camera adaptive color constancy | |
| CN110599554A (zh) | 人脸肤色的识别方法和装置、存储介质及电子装置 | |
| US20160104270A1 (en) | Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device | |
| CN111630854A (zh) | 用于图像信号处理器调谐的系统和方法 | |
| CN113283447B (zh) | 食物烘焙方法及装置、存储介质及电子装置 | |
| CN114266959A (zh) | 食材的烹饪方法及装置、存储介质、电子装置 | |
| CN110163805A (zh) | 一种图像处理方法、装置和存储介质 | |
| CN110751607A (zh) | 一种肤色的校正方法、装置、存储介质以及电子装置 | |
| WO2019152499A1 (en) | Systems and methods for image signal processor tuning using a reference image | |
| CN113657154A (zh) | 活体检测方法、装置、电子装置和存储介质 | |
| CN110472537B (zh) | 一种自适应识别方法、装置、设备及介质 | |
| CN111263078A (zh) | 摄像模式的确定方法、装置、存储介质及电子装置 | |
| CN113854851A (zh) | 食材加热方法及装置、存储介质及电子装置 | |
| CN106559621B (zh) | 画面亮度的计算方法 | |
| CN114816619A (zh) | 一种信息处理方法及电子设备 | |
| CN113435279A (zh) | 烹饪时长的提醒方法及装置、存储介质及电子装置 | |
| CN113095897A (zh) | 基于菜谱的食材推送方法、冰箱、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |