CN110974038B - 食材熟度确定方法、装置、烹饪控制设备和可读存储介质 - Google Patents

Abstract

本申请涉及一种食材熟度确定方法、装置、烹饪控制设备和存储介质。所述方法包括：采集食材在烹饪过程中产生的食材烹饪信息；将食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的；在食材熟度计量轴上，确定与目标食材熟度标签相适应的目标熟度标签区间；根据预先设定的熟度标签区间与食材熟度的对应关系，获取与目标熟度标签区间相对应的食材熟度，得到食材的食材熟度。采用本方法能够实现烹饪过程中准确确定食材熟度，提高食材的安全性。

Description

食材熟度确定方法、装置、烹饪控制设备和可读存储介质

技术领域

本申请涉及信息处理技术领域，特别是涉及一种食材熟度确定方法、食材熟度确定装置、烹饪控制设备和计算机可读存储介质。

背景技术

随着餐饮行业的发展，人们越来越注重食品安全，食材的安全烹饪过程越来越受到人们的关注。对于烹饪安全来说，烹饪过程中对于食材的熟度的判断更是重中之重，若食材没有完全煮熟，不仅大幅降低食材口感，还有可能影响食客的身体健康。

然而，传统技术的食材烹饪方法，食材是否完全煮熟全靠厨师的经验判断，对于种类多样的食材，难以准确确定食材的熟度，食材的安全性过低。

发明内容

基于此，有必要针对传统技术的烹饪方法难以准确确定食材的熟度的技术问题，提供一种食材熟度确定方法、食材熟度确定装置、烹饪控制设备和计算机可读存储介质。

一种食材熟度确定方法，包括步骤：

采集食材在烹饪过程中产生的食材烹饪信息；

将所述食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，所述神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的；

在食材熟度计量轴上确定与所述目标食材熟度标签相适应的目标熟度标签区间；

根据预先设定的熟度标签区间与食材熟度的对应关系，获取与所述目标熟度标签区间相对应的食材熟度，得到所述食材的食材熟度。

在一个实施例中，所述食材烹饪信息包括：食材声音信息以及食材图像信息；所述神经网络模型包括第一神经网络模型以及第二神经网络模型；所述将所述食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签，包括：将所述食材声音信息输入所述第一神经网络模型，得到第一子食材熟度标签；将所述食材图像信息输入所述第二神经网络模型，得到第二子食材熟度标签；根据第一子食材熟度标签以及第二子食材熟度标签得到目标食材熟度标签。

在一个实施例中，食材熟度确定方法，还包括：若所述第一子食材熟度标签以及所述第二子食材熟度标签都大于预先设定的第一食材熟度标签阈值，则生成用于指示烹饪装置停止对所述食材进行加热的第一控制指令。

在一个实施例中，食材熟度确定方法，还包括：若所述第一子食材熟度标签或者所述第二子食材熟度标签其中之一大于预先设定的第二食材熟度标签阈值，则生成用于指示烹饪装置降低所述食材的加热温度的第二控制指令。

在一个实施例中，食材熟度确定方法，还包括：采集所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息；对所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息进行特征分析；将特征分析得到的特征分析结果组成训练数据集，利用所述训练数据集，对所述神经网络模型进行训练。

在一个实施例中，所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息包括：食材在烹饪过程中不同熟度阶段产生的食材声音信息以及食材在烹饪过程中不同熟度阶段产生的食材图像信息；所述对所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息进行特征分析，包括：对所述食材在烹饪过程中不同熟度阶段产生的食材声音信息进行小波去噪处理；对小波去噪处理后的所述食材在烹饪过程中不同熟度阶段产生的食材声音信息进行时频分析，得到与所述食材在烹饪过程中不同熟度阶段产生的食材声音信息对应的时频图和频域图；对所述食材在烹饪过程中不同熟度阶段产生的食材图像信息进行去噪与归一化处理；所述将特征分析得到的特征分析结果组成训练数据集，包括：获取与所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息相对应的基准标签；将所述时频图和频域图、归一化处理后的所述食材在烹饪过程中不同熟度阶段产生的食材图像信息以及基准标签组成训练数据集。

在一个实施例中，食材熟度确定方法，还包括：获取对应于所述食材熟度的食材的食材反馈信息；根据所述食材反馈信息，对所述神经网络模型进行更新。

一种食材熟度确定装置，所述装置包括：

烹饪信息采集模块，用于采集食材在烹饪过程中产生的食材烹饪信息；

熟度标签获取模块，用于将所述食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，所述神经网络模型根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建；

熟度区间获取模块，用于在食材熟度计量轴上，确定与所述目标食材熟度标签相适应的目标熟度标签区间；

食材熟度确定模块，用于根据预先设定的熟度标签区间与食材熟度的对应关系，获取与所述目标熟度标签区间相对应的食材熟度，得到所述食材的食材熟度。

一种烹饪控制设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：采集食材在烹饪过程中产生的食材烹饪信息；将食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的；在食材熟度计量轴上，确定与目标食材熟度标签相适应的目标熟度标签区间；根据预先设定的熟度标签区间与食材熟度的对应关系，获取与目标熟度标签区间相对应的食材熟度，得到食材的食材熟度。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：采集食材在烹饪过程中产生的食材烹饪信息；将食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的；在食材熟度计量轴上，确定与目标食材熟度标签相适应的目标熟度标签区间；根据预先设定的熟度标签区间与食材熟度的对应关系，获取与目标熟度标签区间相对应的食材熟度，得到食材的食材熟度。

上述食材熟度确定方法、装置、烹饪控制设备和存储介质，采集食材在烹饪过程中产生的食材烹饪信息；将食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的；在食材熟度计量轴上，确定与目标食材熟度标签相适应的目标熟度标签区间；根据预先设定的熟度标签区间与食材熟度的对应关系，获取与目标熟度标签区间相对应的食材熟度，得到食材的食材熟度。本申请通过构建的神经网络模型对食材在烹饪过程中产生的食材烹饪信息得到目标食材熟度标签，并根据目标食材熟度标签得到食材熟度，可以在烹饪过程中准确确定食材熟度，提高食材的安全性。

附图说明

图1为一个实施例中食材熟度确定方法的应用环境图；

图2为一个实施例中食材熟度确定方法的流程示意图；

图3为一个应用示例中食材熟度确定方法的流程示意图；

图4为一个实施例中食材熟度确定装置的结构框图；

图5为一个实施例中烹饪控制设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的食材熟度确定方法，可以应用于如图1所示的应用环境中。其中，信息采集设备101以及烹饪控制设备102可以安装于烹饪装置103上，其中，信息采集设备101可以是麦克风或者摄像头等用于采集食材烹饪信息的设备。烹饪控制设备102则可以包括安装于烹饪装置103中的控制芯片，也可以是小型电脑，烹饪控制设备102可通过获取信号采集设备101采集得到的食材烹饪信息，并根据食材烹饪信息确定食材的熟度，并根据食材熟度对烹饪装置103进行控制。烹饪装置103则可以是各种用于烹饪的设备，例如可以是烧烤架、微波炉、火锅炉等等。

具体的，烹饪控制设备102通过信息采集设备101采集食材在烹饪过程中产生的食材烹饪信息，并将食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签，在食材熟度计量轴上，确定与目标食材熟度标签相适应的目标熟度标签区间，根据预先设定的熟度标签区间与食材熟度的对应关系，获取与目标熟度标签区间相对应的食材熟度，得到食材的食材熟度，根据食材熟度生成相适应的控制指令，对烹饪装置103进行相应控制。

在一个实施例中，如图2所示，提供了一种食材熟度确定方法，以该方法应用于图1中的烹饪控制设备102为例进行说明，包括以下步骤：

步骤S201，采集食材在烹饪过程中产生的食材烹饪信息。

其中，食材烹饪信息可以包括食材烹饪过程中的食材图像、食材烹饪过程发出的声音，具体地，食材烹饪信息的采集可以通过信息采集设备101采集，例如，食材图像可以用信息采集设备101中的摄像头采集，食材声音则可以通过信息采集设备101中的麦克风进行采集。信息采集设备101完成食材烹饪信息的采集后，烹饪控制设备102可以读取信息采集设备101采集得到的食材烹饪信息，从而根据食材烹饪信息确定食材熟度。

步骤S202，将食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的。

其中，目标食材熟度标签是将食材烹饪信息输入至神经网络模型后神经网络模型的输出量，由于该神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建，因此目标食材熟度标签可以用于表示食材的食材熟度。

具体地，在构建神经网络模型时，可以采集食材在烹饪过程中不同熟度阶段的食材烹饪信息，并做好标记分别对应不同熟度，例如全熟可标记为3，中熟可标记为2，以及不熟可标记为1。那么此时就可根据输出得到的目标食材熟度标签判断食材熟度，例如如果目标食材熟度标签输出为2.8，那么此时食材基本熟了，如果目标食材熟度标签输出2.1，那么此时食材基本只熟了一半，而如果目标食材熟度标签输出为1.2，那么此时食材基本是生的。

步骤S203，在食材熟度计量轴上，确定与目标食材熟度标签相适应的目标熟度标签区间。

其中，食材熟度计量轴可以是一段数轴，数轴两端端点分别代表食材全熟以及不熟两种情形，此时可以将食材熟度计量轴分成多个熟度标签区间，并找出与目标食材熟度标签相适应的目标熟度标签区间。

具体地，继续以全熟对应的熟度标签标记为3，不熟对应的熟度标签标记为1为例，那么此时食材熟度计量轴就可以是一段两端端点分别为1和3的一段数轴，那么此时可以根据实际需要，把食材熟度计量轴分成多个熟度标签区间，例如可以将食材熟度计量轴分为(1，1.4]、(1.4，1.8]、(1.8，2.2]、(2.2-2.6]以及(2.6，3)的五个不同范围的熟度标签区间。那么就可以根据输出得到的目标食材熟度标签，找出与之相匹配的目标熟度标签区间，当目标食材熟度标签的输出量为2.8时，相适应的熟度标签区间为(2.6，3)，因此目标熟度标签区间即为(2.6，3)。

步骤S204，根据预先设定的熟度标签区间与食材熟度的对应关系，获取与目标熟度标签区间相对应的食材熟度，得到食材的食材熟度。

具体地，每一个熟度标签区间可以对应于不同阶段的食材熟度，在步骤S203得到目标熟度标签区间，可通过查询预先建立熟度标签区间与食材熟度之间的对应关系表，找出目标熟度标签区间对应的食材熟度，从而确定该食材的食材熟度。例如，多个熟度标签区间可以分别是(1，1.4]、(1.4，1.8]、(1.8，2.2]、(2.2-2.6]以及(2.6，3)五个不同范围，其中(1，1.4]对应的食材熟度为不熟，(1.4，1.8]对应的食材熟度为三分熟，(1.8，2.2]对应的食材熟度为五分熟、(2.2-2.6]对应的食材熟度为七分熟，(2.6，3)对应的食材熟度为全熟，那么此时如果目标食材熟度标签输出为2.8，对应的食材熟度即为全熟，如果目标食材熟度标签输出为2.4那么此时对应的食材熟度为七分熟，以此类推。

上述食材熟度确定方法中，采集食材在烹饪过程中产生的食材烹饪信息；将食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，神经网络模型根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建；从食材熟度计量轴中获取与目标食材熟度标签相适应的目标熟度标签区间；根据预先设定的熟度标签区间与食材熟度的对应关系，选取与目标熟度标签区间相对应的食材熟度，得到食材的食材熟度。本申请通过构建的神经网络模型对食材在烹饪过程中产生的食材烹饪信息得到目标食材熟度标签，并根据目标食材熟度标签得到食材熟度，实现烹饪过程中准确确定食材熟度，提高食材的安全性。

在一个实施例中，食材烹饪信息包括：食材声音信息以及食材图像信息；神经网络模型包括第一神经网络模型以及第二神经网络模型；步骤S202可以包括：将食材声音信息输入第一神经网络模型，得到第一子食材熟度标签；将食材图像信息输入第二神经网络模型，得到第二子食材熟度标签；根据第一子食材熟度标签以及第二子食材熟度标签得到目标食材熟度标签。

其中，食材烹饪信息可以分为食材图像信息以及食材声音信息，神经网络模型可以包括第一神经网络模型以及第二神经网络模型，第一神经网络模型用于输入食材声音信息从而输出第一子食材熟度标签，第二神经网络模型用于输入食材图像信息从而输出第二子食材熟度标签，得到第一子食材熟度标签以及第二子食材熟度标签之后，可以根据实际需要设置第一子食材熟度标签以及第二子食材熟度标签分别对应的权值，则可以根据第一子食材熟度标签以及第二子食材熟度标签得到目标食材熟度标签。

例如，烹饪控制设备102在通过信息采集设备101中的麦克风采集得到食材声音信息之后，将其输入第一神经网络模型，可以得到第一子食材熟度标签输出值2.4。同时，烹饪控制设备102也可以通过信息采集设备101中的摄像头采集得到食材图像信息之后，将其输入第二神经网络模型，可以得到第二子食材熟度标签输出值2.6。此时可以根据实际需要设置权重，例如第一子食材熟度标签以及第二子食材熟度标签所对应的权值都为0.5，那么此时神经网络模型输出的目标食材熟度标签即为2.5。

进一步地，得到第一子食材熟度标签以及第二子食材熟度标签之后，若第一子食材熟度标签以及第二子食材熟度标签都大于预先设定的第一食材熟度标签阈值，则生成用于指示烹饪装置停止对食材进行加热的第一控制指令。

其中，食材熟度标签阈值可以根据实际需要进行设定，用于控制食材烹饪过程中的熟度，例如有的人喜欢吃七分熟的牛排，那么就可以减少食材熟度标签阈值。当烹饪控制设备102得到第一子食材熟度标签以及第二子食材熟度标签之后，若第一子食材熟度标签以及第二子食材熟度标签均大于第一食材熟度标签阈值，那么烹饪控制设备102可以生成第一加热指令，并将第一加热指令发送至烹饪装置103，以指示烹饪装置103停止对食材的进一步加热。

另外，若第一子食材熟度标签或者第二子食材熟度标签其中之一大于预先设定的第二食材熟度标签阈值，则生成用于指示烹饪装置降低对食材进行加热的加热温度的第二控制指令。

具体地，当烹饪控制设备102得到的第一子食材熟度标签大于第二食材熟度标签阈值且第二子食材熟度标签小于第二食材熟度标签阈值，或者第二子食材熟度标签大于第二食材熟度标签阈值且第一子食材熟度标签小于第二食材熟度标签阈值时，烹饪控制设备102可以生成第二加热指令，并将第二加热指令发送至烹饪装置103，以指示烹饪装置103降低对食材的加热温度。

上述实施例通过烹饪控制设备102根据信息采集设备101采集得到的食材声音信息以及食材图像信息，分别获取第一子食材熟度标签以及第二子食材熟度标签，还可以通过预先设定食材熟度标签阈值的方式根据第一子食材熟度标签以及第二子食材熟度标签生成相对应的控制指令对烹饪装置103的加热方式进行控制，从而实现根据食材熟度控制烹饪过程。

在一个实施例中，食材熟度确定方法，还可以包括：采集食材在烹饪过程中不同熟度阶段产生的食材烹饪信息；对食材在烹饪过程中不同熟度阶段产生的食材烹饪信息进行特征分析；将特征分析后的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息组成训练数据集，利用该训练数据集，对神经网络模型进行训练。

上述实施例提供的方法可用于构建神经网络模型，具体地，神经网络模型的构建方法可以包括如下步骤：首先采集一批食材在烹饪不同阶段中所对应的不同熟度的食材烹饪信息，可以是食材的图片或者食材的声音，再对预先采集的食材烹饪信息进行特征分析，将特征分析后的食材烹饪信息组成训练数据集，并利用该数据集对神经网络模型进行训练，构建神经网络模型。

进一步地，上述神经网络模型构建中使用的食材烹饪信息可以包括食材声音信息以及食材图像信息，对食材烹饪信息进行特征分析具体可以包括：对食材声音信息进行小波去噪处理后，再通过时频分析得到时频图，并通过傅里叶变换得到频域图，将频域图和时频图作为一段音频信号的特征。而对食材图像信息则是进行去噪与归一化处理，并获取与食材在烹饪过程中不同熟度阶段产生的食材烹饪信息相对应的基准标签，完成后将得到的声音信息的频域图和时频图、食材图像信息以及基准标签组成训练数据集对神经网络模型进行训练。

上述实施例构建神经网络模型中将预先采集的食材烹饪信息组成训练数据集之前对食材烹饪信息进行特征提取，进一步提高了烹饪控制设备102确定食材熟度的准确性。

在一个实施例中，食材熟度确定方法，还可以包括：获取对应于食材熟度的食材的食材反馈信息；根据食材反馈信息，对神经网络模型进行更新。

其中，食材反馈信息可以是食客对各个食材做成的菜品的反馈，由于不同地方的食客饮食习惯有所不同，烹饪控制设备102可以通过获取食客对食材熟度的反馈信息，例如可以通过餐后评价等方式，得到食客对食材熟度的食材反馈信息，并根据该反馈信息，对构建的神经网络进行进一步训练，对神经网络模型进行更新。

上述实施例可根据食材反馈信息对构建的神经网络模型进行更新，有利于更进一步贴近不同地方食客的饮食习惯。

以下通过一个应用示例来说明上述食材熟度确定方法，如图3所示，具体可以包括如下步骤：

步骤s1，数据集处理：采取一批烧烤成熟过程中不同阶段的语音信号和图像信息，将其标记好，作为需要的数据集。其中应至少设置生、中熟、熟三种不同的标签(标签由人工标注，用来对神经网络进行训练)。具体地，搜集好烧烤食材烤制时的音频，与图像，基准标签，作为数据集。例如[1.0.0]代表熟。[0,1,0]代表半熟，[0,0,1]代表生。

步骤s2，数据输入到网络前进行预处理。具体地，本方案采用两段式处理方式。首先将语音信号通过WVD时频分析得到时频图，通过傅里叶变换得到频域图，将频域图和时频图作为一段音频信号的特征。对每段音频信号做此处理，作为音频的特征。然后将音频处理得到的频域图，时频图和采集到的食物照片归一化处理后，将三个图像作为神经网络的输入。

图像处理网络采用VGG16模型。具体处理过程如下：

Image->conv3-64-->conv3-64-->maxpool-->coonv3-128-->conv3-128-->maxpool-->conv3-256-->conv3-256-->conv3-256-->maxpool-->conv3-512-->conv3-512-->conv3-512-->maxpool-->conv3-512-->conv3-512-->conv3-512-->分支

损失函数采用交叉熵损失。设置好损失函数后采用批随机梯度下降算法更新参数。

由于摄像头采集的图片与训练集中的图片大小不一定相同。为了能在不同分辨率的摄像头上捕获用户表情，因此在最后的全连接层前加入全局平均池化，分支部分为GAP-->FC256-->FC3-->SOFTMAX。

步骤s3，根据VGG16模型在tensorflow中构造模型。按照模型的损失函数设置好训练步骤，在训练阶段成批的获取数据进行前向传播，之后根据损失函数进行梯度下降训练。将训练好的卷积神经网络保存下来，部署在小型电脑中。

在训练阶段，首先对数据库中的数据预处理，对音频采取小波去噪，对图像采取去噪与归一化。通过将音频信号进行SVD进行时频分析，得到语音信号的时频图、频域图作为语音信号的特征图输入神经网络进行分析。对数据集中所有语音与图像进行此变换，得到的语音特征图像与食材图像归一化后放入定义好的神经网络中进行训练。

步骤s4，商家购买带有模型的小型电脑，一并与麦克风与摄像头安装好，将麦克风与摄像头通过无线连接到小型电脑上，通过定时采集烧烤语音与图像信号，通过模型输出标签值预测食材的成熟度，当标签值超过设置的阈值时电脑提示工作人员停止烧烤过程。然后将烧烤食物端给客户。

步骤s5，询问顾客对各个菜品的反馈数据，然后在电脑上为这次烧烤给出评价，包括0-9分，将这次数据记录进入数据库。搜集到足够多数据后对神经网络进行微调。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种食材熟度确定装置，包括：烹饪信息采集模块401、熟度标签获取模块402、熟度区间获取模块403和食材熟度确定模块404，其中：

烹饪信息采集模块401，用于采集食材在烹饪过程中产生的食材烹饪信息；

熟度标签获取模块402，用于将食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的；

熟度区间获取模块403，用于在食材熟度计量轴上，确定与目标食材熟度标签相适应的目标熟度标签区间；

食材熟度确定模块404，用于根据预先设定的熟度标签区间与食材熟度的对应关系，获取与目标熟度标签区间相对应的食材熟度，得到食材的食材熟度。

在一个实施例中，食材烹饪信息包括：食材声音信息以及食材图像信息；神经网络模型包括第一神经网络模型以及第二神经网络模型；熟度标签获取模块402，进一步用于将食材声音信息输入第一神经网络模型，得到第一子食材熟度标签；将食材图像信息输入第二神经网络模型，得到第二子食材熟度标签；根据第一子食材熟度标签以及第二子食材熟度标签得到目标食材熟度标签。

在一个实施例中，食材熟度确定装置，还包括：第一控制指令生成模块，用于若第一子食材熟度标签以及第二子食材熟度标签都大于预先设定的第一食材熟度标签阈值，则生成用于指示烹饪装置停止对所述食材进行加热的第一控制指令。

在一个实施例中，食材熟度确定装置，还包括：第二控制指令生成模块，用于若第一子食材熟度标签或者第二子食材熟度标签其中之一大于预先设定的第二食材熟度标签阈值，则生成用于指示烹饪装置降低对食材进行加热的加热温度的第二控制指令。

在一个实施例中，食材熟度确定装置，还包括：神经网络训练模块，用于采集食材在烹饪过程中不同熟度阶段产生的食材烹饪信息；对食材在烹饪过程中不同熟度阶段产生的食材烹饪信息进行特征分析；将特征分析后的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息组成训练数据集，利用该训练数据集，对神经网络模型进行训练。

在一个实施例中，食材在烹饪过程中不同熟度阶段产生的食材烹饪信息包括：食材在烹饪过程中不同熟度阶段产生的食材声音信息以及食材在烹饪过程中不同熟度阶段产生的食材图像信息；对食材在烹饪过程中不同熟度阶段产生的食材烹饪信息进行特征分析，包括：对食材在烹饪过程中不同熟度阶段产生的食材声音信息进行小波去噪处理；对小波去噪处理后的食材在烹饪过程中不同熟度阶段产生的食材声音信息进行时频分析，得到与食材在烹饪过程中不同熟度阶段产生的食材声音信息对应的时频图和频域图；对所述食材在烹饪过程中不同熟度阶段产生的食材图像信息进行去噪与归一化处理；将特征分析得到的特征分析结果组成训练数据集，包括：获取与食材在烹饪过程中不同熟度阶段产生的食材烹饪信息相对应的基准标签；将时频图和频域图、归一化处理后的食材在烹饪过程中不同熟度阶段产生的食材图像信息以及基准标签组成训练数据集。

在一个实施例中，食材熟度确定装置，还包括：神经网络更新模块，用于获取对应于食材熟度的食材的食材反馈信息；根据食材反馈信息，对神经网络模型进行更新。

关于食材熟度确定装置的具体限定可以参见上文中对于食材熟度确定方法的限定，在此不再赘述。上述食材熟度确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于烹饪控制设备中的处理器中，也可以以软件形式存储于烹饪控制设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种烹饪控制设备，其内部结构图可以如图5所示。该烹饪控制设备包括通过系统总线连接的处理器、存储器、网络接口。其中，该烹饪控制设备的处理器用于提供计算和控制能力。该烹饪控制设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该烹饪控制设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种食材熟度确定方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的烹饪控制设备的限定，具体的烹饪控制设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种烹饪控制设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：采集食材在烹饪过程中产生的食材烹饪信息；将食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的；在食材熟度计量轴上，确定与目标食材熟度标签相适应的目标熟度标签区间；根据预先设定的熟度标签区间与食材熟度的对应关系，获取与目标熟度标签区间相对应的食材熟度，得到食材的食材熟度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将食材声音信息输入第一神经网络模型，得到第一子食材熟度标签；将食材图像信息输入第二神经网络模型，得到第二子食材熟度标签；根据第一子食材熟度标签以及第二子食材熟度标签得到目标食材熟度标签。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：若第一子食材熟度标签以及第二子食材熟度标签都大于预先设定的第一食材熟度标签阈值，则生成用于指示烹饪装置停止对所述食材进行加热的第一控制指令。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：若第一子食材熟度标签或者第二子食材熟度标签其中之一大于预先设定的第二食材熟度标签阈值，则生成用于指示烹饪装置降低对食材进行加热的加热温度的第二控制指令。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：采集食材在烹饪过程中不同熟度阶段产生的食材烹饪信息；对食材在烹饪过程中不同熟度阶段产生的食材烹饪信息进行特征分析；将特征分析后的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息组成训练数据集，利用该训练数据集，对神经网络模型进行训练。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对食材在烹饪过程中不同熟度阶段产生的食材声音信息进行小波去噪处理；对小波去噪处理后的食材在烹饪过程中不同熟度阶段产生的食材声音信息进行时频分析，得到与食材在烹饪过程中不同熟度阶段产生的食材声音信息对应的时频图和频域图；对所述食材在烹饪过程中不同熟度阶段产生的食材图像信息进行去噪与归一化处理；获取与食材在烹饪过程中不同熟度阶段产生的食材烹饪信息相对应的基准标签；将时频图和频域图、归一化处理后的食材在烹饪过程中不同熟度阶段产生的食材图像信息以及基准标签组成训练数据集。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取对应于食材熟度的食材的食材反馈信息；根据食材反馈信息，对神经网络模型进行更新。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：采集食材在烹饪过程中产生的食材烹饪信息；将食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的；在食材熟度计量轴上，确定与目标食材熟度标签相适应的目标熟度标签区间；根据预先设定的熟度标签区间与食材熟度的对应关系，获取与目标熟度标签区间相对应的食材熟度，得到食材的食材熟度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将食材声音信息输入第一神经网络模型，得到第一子食材熟度标签；将食材图像信息输入第二神经网络模型，得到第二子食材熟度标签；根据第一子食材熟度标签以及第二子食材熟度标签得到目标食材熟度标签。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若第一子食材熟度标签以及第二子食材熟度标签都大于预先设定的第一食材熟度标签阈值，则生成用于指示烹饪装置停止对所述食材进行加热的第一控制指令。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若第一子食材熟度标签或者第二子食材熟度标签其中之一大于预先设定的第二食材熟度标签阈值，则生成用于指示烹饪装置降低对食材进行加热的加热温度的第二控制指令。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采集食材在烹饪过程中不同熟度阶段产生的食材烹饪信息；对食材在烹饪过程中不同熟度阶段产生的食材烹饪信息进行特征分析；将特征分析后的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息组成训练数据集，利用该训练数据集，对神经网络模型进行训练。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对食材在烹饪过程中不同熟度阶段产生的食材声音信息进行小波去噪处理；对小波去噪处理后的食材在烹饪过程中不同熟度阶段产生的食材声音信息进行时频分析，得到与食材在烹饪过程中不同熟度阶段产生的食材声音信息对应的时频图和频域图；对所述食材在烹饪过程中不同熟度阶段产生的食材图像信息进行去噪与归一化处理；获取与食材在烹饪过程中不同熟度阶段产生的食材烹饪信息相对应的基准标签；将时频图和频域图、归一化处理后的食材在烹饪过程中不同熟度阶段产生的食材图像信息以及基准标签组成训练数据集。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取对应于食材熟度的食材的食材反馈信息；根据食材反馈信息，对神经网络模型进行更新。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种食材熟度确定方法，其特征在于，包括步骤：

采集食材在烹饪过程中产生的食材烹饪信息；所述食材烹饪信息包括：食材声音信息以及食材图像信息；

将所述食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，所述神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的；所述神经网络模型包括第一神经网络模型以及第二神经网络模型；所述将所述食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签，包括：将所述食材声音信息输入所述第一神经网络模型，得到第一子食材熟度标签；将所述食材图像信息输入所述第二神经网络模型，得到第二子食材熟度标签；根据所述第一子食材熟度标签以及所述第二子食材熟度标签得到目标食材熟度标签；所述方法还包括：若所述第一子食材熟度标签或者所述第二子食材熟度标签其中之一大于预先设定的第二食材熟度标签阈值，则生成用于指示烹饪装置降低所述食材的加热温度的第二控制指令；

在食材熟度计量轴上，确定与所述目标食材熟度标签相适应的目标熟度标签区间；

根据预先设定的熟度标签区间与食材熟度的对应关系，获取与所述目标熟度标签区间相对应的食材熟度，得到所述食材的食材熟度；

所述方法还包括：采集所述食材在烹饪过程中不同熟度阶段产生的食材声音信息；对所述食材声音信息进行时频分析，得到与所述食材在烹饪过程中不同熟度阶段产生的食材声音信息对应的时频图和频域图；利用所述时频图和频域图对所述第一神经网络模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一子食材熟度标签以及所述第二子食材熟度标签都大于预先设定的第一食材熟度标签阈值，则生成用于指示烹饪装置停止对所述食材进行加热的第一控制指令。

3.根据权利要求1所述的方法，其特征在于，还包括：

采集所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息；

对所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息进行特征分析；

将特征分析得到的特征分析结果组成训练数据集，利用所述训练数据集，对所述神经网络模型进行训练。

4.根据权利要求3所述的方法，其特征在于，所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息包括：食材在烹饪过程中不同熟度阶段产生的食材声音信息以及食材在烹饪过程中不同熟度阶段产生的食材图像信息；

所述对所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息进行特征分析，包括：

对所述食材在烹饪过程中不同熟度阶段产生的食材声音信息进行小波去噪处理；

对小波去噪处理后的所述食材在烹饪过程中不同熟度阶段产生的食材声音信息进行时频分析，得到与所述食材在烹饪过程中不同熟度阶段产生的食材声音信息对应的时频图和频域图；

对所述食材在烹饪过程中不同熟度阶段产生的食材图像信息进行去噪与归一化处理；

所述将特征分析得到的特征分析结果组成训练数据集，包括：

获取与所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息相对应的基准标签；

将所述时频图和频域图、归一化处理后的所述食材在烹饪过程中不同熟度阶段产生的食材图像信息以及所述基准标签组成训练数据集。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取对应于所述食材熟度的食材的食材反馈信息；

根据所述食材反馈信息，对所述神经网络模型进行更新。

6.一种食材熟度确定装置，其特征在于，包括：

烹饪信息采集模块，用于采集食材在烹饪过程中产生的食材烹饪信息；所述食材烹饪信息包括：食材声音信息以及食材图像信息；

熟度标签获取模块，用于将所述食材烹饪信息输入预先构建的神经网络模型，得到目标食材熟度标签；其中，所述神经网络模型是根据预先采集的食材在烹饪过程中不同熟度阶段产生的食材烹饪信息以及食材熟度之间的对应关系构建的；所述神经网络模型包括第一神经网络模型以及第二神经网络模型；所述熟度标签获取模块，进一步用于将所述食材声音信息输入所述第一神经网络模型，得到第一子食材熟度标签；将所述食材图像信息输入所述第二神经网络模型，得到第二子食材熟度标签；根据所述第一子食材熟度标签以及所述第二子食材熟度标签得到目标食材熟度标签；所述装置还包括：第二控制指令生成模块，用于若所述第一子食材熟度标签或者所述第二子食材熟度标签其中之一大于预先设定的第二食材熟度标签阈值，则生成用于指示烹饪装置降低所述食材的加热温度的第二控制指令；

熟度区间获取模块，用于在食材熟度计量轴上，确定与所述目标食材熟度标签相适应的目标熟度标签区间；

食材熟度确定模块，用于根据预先设定的熟度标签区间与食材熟度的对应关系，获取与所述目标熟度标签区间相对应的食材熟度，得到所述食材的食材熟度；

所述装置还包括：神经网络训练模块，用于采集所述述食材在烹饪过程中不同熟度阶段产生的食材声音信息；对所述食材声音信息进行时频分析，得到与所述食材在烹饪过程中不同熟度阶段产生的食材声音信息对应的时频图和频域图；利用所述时频图和频域图对所述第一神经网络模型进行训练。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：第一控制指令生成模块，用于若所述第一子食材熟度标签以及所述第二子食材熟度标签都大于预先设定的第一食材熟度标签阈值，则生成用于指示烹饪装置停止对所述食材进行加热的第一控制指令。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：神经网络训练模块，用于采集所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息；对所述食材在烹饪过程中不同熟度阶段产生的食材烹饪信息进行特征分析；将特征分析得到的特征分析结果组成训练数据集，利用所述训练数据集，对所述神经网络模型进行训练。

9.一种烹饪控制设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。

Images