CN116076918A - 烹饪安全检测方法、装置及家用电器 - Google Patents

Abstract

本发明涉及家用电器领域，提供一种烹饪安全检测方法、装置及家用电器，该方法包括：获取目标锅具的实时温度值和目标锅具所处目标灶台的目标灶台图像；对目标灶台图像进行目标检测，得到目标锅具的锅具类别信息；根据目标灶台图像中目标锅具对应的像素区域，裁剪目标灶台图像，得到目标锅具图像；对目标锅具图像进行目标检测，得到目标锅具中食材的食材类别信息；基于实时温度值、锅具类别信息和食材类别信息，确定目标锅具出现异常烹饪的情况下，输出报警信息。该方法通过目标检测分别识别目标锅具的类型和食材的类型，实现目标锅具的烹饪安全检测，提高烹饪的安全性，烹饪过程的安全检测无需人为的参与和选择。

Description

烹饪安全检测方法、装置及家用电器

技术领域

本发明涉及家用电器技术领域，尤其涉及烹饪安全检测方法、装置及家用电器。

背景技术

随着生活水平的提高，人们对食物的要求越来越高，越来越多的人会利用空闲时间进行烹饪以满足美食爱好。

烹饪过程中，常常会发生如锅具干烧或扑锅等异常烹饪的情况，该类异常烹饪的情况不仅会导致锅具损伤，还可能引发燃气泄漏或火灾等安全事故，烹饪过程中的异常情况检测对安全烹饪十分重要。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种烹饪安全检测方法，实现对烹饪过程中异常烹饪情况的检测。

根据本发明第一方面实施例的烹饪安全检测方法，包括：

获取目标锅具的实时温度值和所述目标锅具所处目标灶台的目标灶台图像；

对所述目标灶台图像进行目标检测，得到所述目标锅具的锅具类别信息；

根据所述目标灶台图像中所述目标锅具对应的像素区域，裁剪所述目标灶台图像，得到目标锅具图像；

对所述目标锅具图像进行目标检测，得到所述目标锅具中食材的食材类别信息；

基于所述实时温度值、所述锅具类别信息和所述食材类别信息，确定所述目标锅具出现异常烹饪的情况下，输出报警信息。

根据本发明实施例的烹饪安全检测方法，通过获取目标灶台图像，利用目标检测分别识别目标锅具的类型和食材的类型，实现目标锅具的烹饪安全检测，提升目标锅具异常烹饪判断的准确度，大大降低了用户误选的风险，提高烹饪的安全性，烹饪过程的安全检测无需人为的参与和选择，提升用户的烹饪体验。

根据本发明的一个实施例，所述对所述目标锅具图像进行目标检测，得到所述目标锅具中食材的食材类别信息，包括：

将所述目标锅具图像输入至食材识别模型，获得所述食材识别模型输出的所述食材类别信息；

其中，所述食材识别模型为，以样本图像为样本，以预先确定的与所述样本图像对应的食材类别为样本标签，训练得到。

根据本发明的一个实施例，所述将所述目标锅具图像输入至食材识别模型，获得所述食材识别模型输出的所述食材类别信息，包括：

对所述目标锅具图像进行特征提取和池化处理，得到第一特征向量；

对所述第一特征向量进行分段处理，得到目标特征向量组；

对所述第一特征向量和所述目标特征向量组进行分类处理，得到所述食材类别信息；

其中，所述目标特征向量组包括所述第一特征向量分段处理得到的第一段特征向量和第二段特征向量。

根据本发明的一个实施例，所述对所述第一特征向量进行分段处理，得到目标特征向量组，包括：

将所述第一特征向量进行平均分段处理，得到所述目标特征向量组；

和/或，将所述第一特征向量按多个不同的目标截取比例分别进行分段处理和池化处理，得到多个所述目标特征向量组。

根据本发明的一个实施例，所述对所述目标锅具图像进行特征提取和池化处理，得到第一特征向量，包括：

对所述目标锅具图像进行特征提取，并对提取结果分别进行全局平均池化处理和全局最大池化处理，得到两个所述第一特征向量；

所述对所述第一特征向量进行分段处理，得到目标特征向量组，包括：

对所述两个所述第一特征向量分别进行分段处理，得到两个所述目标特征向量组；

所述对所述第一特征向量和所述目标特征向量组进行分类处理，得到所述食材类别信息，包括：

对所述两个所述第一特征向量和所述两个所述目标特征向量组进行分类处理，得到所述食材类别信息。

根据本发明的一个实施例，所述基于所述实时温度值、所述锅具类别信息和所述食材类别信息，确定所述目标锅具出现异常烹饪的情况下，输出报警信息，包括：

基于所述锅具类别信息和所述食材类别信息，确定目标温度曲线；

在所述实时温度值大于所述目标温度曲线中的预警临界值的情况下，输出报警信息。

根据本发明的一个实施例，在所述对所述目标锅具图像进行目标检测，得到所述目标锅具中食材的食材类别信息之后，所述方法还包括：

基于所述实时温度值、所述锅具类别信息和所述食材类别信息，确定所述锅具出现异常烹饪的情况下，输出用于控制减小所述目标锅具下方灶具火力的控制指令。

根据本发明第二方面实施例的烹饪安全检测装置，包括：

获取模块，用于获取目标锅具的实时温度值和所述目标锅具所处目标灶台的目标灶台图像；

第一处理模块，用于对所述目标灶台图像进行目标检测，得到所述目标锅具的锅具类别信息；

第二处理模块，用于根据所述目标灶台图像中所述目标锅具对应的像素区域，裁剪所述目标灶台图像，得到目标锅具图像；

第三处理模块，用于对所述目标锅具图像进行目标检测，得到所述目标锅具中食材的食材类别信息；

输出模块，用于基于所述实时温度值、所述锅具类别信息和所述食材类别信息，确定所述目标锅具出现异常烹饪的情况下，输出报警信息。

根据本发明第三方面实施例的家用电器，包括：

温度传感器，所述温度传感器用于采集所述目标锅具的实时温度值；

摄像头，所述摄像头用于采集所述目标锅具所处目标灶台的目标灶台图像；

如上述的烹饪安全检测装置，所述烹饪安全检测装置与所述温度传感器和所述摄像头电连接。

根据本发明第四方面实施例的电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述烹饪安全检测方法的步骤。

根据本发明第五方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述烹饪安全检测方法的步骤。

根据本发明第六方面实施例的计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述烹饪安全检测方法的步骤。

本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

通过获取目标灶台图像，利用目标检测分别识别目标锅具的类型和食材的类型，实现目标锅具的烹饪安全检测，提升目标锅具异常烹饪判断的准确度，大大降低了用户误选的风险，提高烹饪的安全性，烹饪过程的安全检测无需人为的参与和选择，提升用户的烹饪体验。

进一步的，先通过目标检测识别目标锅具的类型和对应的像素区域，再利用裁剪后的图像进行食材识别，使得食物类型的检测更专注于目标锅具内的食材，将锅具识别和食材识别分开，提高识别的速度和准确度，进而提高烹饪安全检测的准确度。

更进一步的，通过对特征向量进行分段操作，使得食材识别模型中不再局限于前半部分特征向量的分析，而是综合整体特征向量的信息内容，并对池化信息进行补偿，提升识别准确度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的烹饪安全检测方法的流程示意图；

图2是本发明实施例提供的烹饪安全检测方法中食材识别模型的处理流程示意图之一；

图3是本发明实施例提供的烹饪安全检测方法中食材识别模型的处理流程示意图之二；

图4是本发明实施例提供的烹饪安全检测方法中食材识别模型的处理流程示意图之三；

图5是本发明实施例提供的烹饪安全检测方法中食材识别模型的处理流程示意图之四；

图6是本发明实施例提供的家用电器的结构示意图；

图7是本发明实施例提供的烹饪安全检测装置的结构示意图；

图8是本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。

在本发明实施例的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。

在本发明实施例中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

下面结合图1至图6描述本发明实施例的烹饪安全检测方法，该方法的执行主体，可以为设备端的控制器，或者云端，或者边缘服务器。

如图1所示，本发明的烹饪安全检测方法包括步骤110至步骤150。

步骤110、获取目标锅具的实时温度值和目标锅具所处目标灶台的目标灶台图像。

目标锅具为处于烹饪过程中的锅具，目标锅具下方的灶具处于打开状态，目标锅具内有正在烹饪的食材。

在该实施例中，目标锅具所处灶台为目标灶台，可以通过安装于目标灶台上的温度传感器来实时监测目标锅具的实时温度值，也可以通过目标锅具自带的温度传感器实时监测目标锅具的实时温度值。

可以通过安装于目标灶台上方烟机的摄像头拍摄包括有目标灶台和目标锅具的目标灶台图像。

需要说明的是，获取目标灶台图像的摄像头可以安装于烟机，也可以安装于目标灶台旁的墙壁，保证获取的目标灶台图像包括目标灶台和目标锅具对应的图像即可。

步骤120、对目标灶台图像进行目标检测，得到目标锅具的锅具类别信息。

目标检测(Object Detection)的任务是找出图像中所有感兴趣的目标或对象，确定其所属的类别和位置。

可以理解的是，目标灶台图像中的对象包括目标灶台、目标锅具以及目标灶台上未放置锅具的灶具等对象。

在该步骤中，通过目标检测识别目标灶台图像中目标锅具的类别和位置，得到锅具类别信息和目标锅具在目标灶台图像中对应的像素区域。

在实际执行中，锅具类别信息包括材质类别信息和用途类别信息中的至少一种。

例如，锅具类别信息包括材质类别信息时，识别目标灶台图像得到目标锅具的锅具类别信息可以为铁锅、铝锅、不锈钢锅及砂锅等。

再例如，锅具类别信息包括用途类别信息时，识别目标灶台图像得到目标锅具的锅具类别信息可以为奶锅、压力锅、平底锅、煎锅、炒锅、汤锅及蒸锅等。

在该实施例中，目标灶台图像中目标锅具类别信息的识别，可以通过基于深度学习框架的目标检测算法实现。

在实际执行中，可以通过使用搭载有目标检测算法的目标检测模型来对目标灶台图像进行识别，得到对应的锅具类别信息。

根据使用场景和计算硬件的要求的不同，目标检测模型或目标检测算法可以任意替换以满足现实场景的需求。

例如，目标检测算法可以选取anchor-base的算法，如Yolo、SSD、RetinaNet及FasterRCNN等各个单阶段或双阶段的检测算法。

再例如，目标检测算法也可以是anchor-free的算法，如CornerNet、CenterNet及FCOS等算法。

如果部署在嵌入式芯片中，可以选取轻量级的检测模型，比如mobilenet、shufflenet及ghostnet等模型。

步骤130、根据目标灶台图像中目标锅具对应的像素区域，裁剪目标灶台图像，得到目标锅具图像。

在步骤120中，得到了目标灶台图像中目标锅具的锅具类别信息和对应的像素区域，根据该像素区域对目标灶台图像进行裁剪处理，得到包括目标锅具的目标锅具图像。

可以理解的是，目标锅具图像是将目标灶台图像中的部分目标灶台去除后的图像，目标锅具图像中目标锅具的像素占比相比目标灶台的像素占比高。

在该实施例中，对目标灶台图像的裁剪，能使得到的目标锅具图像在进行检测识别时，消除目标灶台及其他信息的干扰。

在实际执行中，对目标灶台图像进行目标检测后，可以通过矩形框将目标锅具框选出来，再根据矩形框裁剪目标灶台图像。

在该实施例中，目标图像是基于实例分割后得到的目标像素区域对待处理图像进行裁剪得到的，目标图像中包括目标对象所对应的全部像素，目标图像中目标对象的像素占比相比非目标对象的像素占比高。

步骤140、对目标锅具图像进行目标检测，得到目标锅具中食材的食材类别信息。

在该步骤中，通过目标检测识别目标锅具图像中食材的类别，得到食材类别信息。

在实际执行中，识别出的食材类别信息可以为牛奶、炖菜、粥、青菜及肉类等食材类别信息。

可以理解的是，根据目标锅具裁剪出的目标锅具图像进行食材类型的判断时，能够消除目标灶台信息的影响，使得食物类型的检测更专注于目标锅具内的食材，提高目标检测的检测精度。

在该实施例中，目标锅具图像中食材类别信息的识别，可以通过基于深度学习框架的图像分类网络模型实现。

根据使用场景和计算硬件的要求的不同，选择搭载不同算法的图像分类网络可以任意替换以满足现实场景的需求。

例如，可以选择VGG，Resnet50等经典的图像分类网络模型，若部署在嵌入式芯片中，可以选取轻量级的网络模型，比如mobilenet，shufflenet，ghostnet等图像分类网络模型。

步骤150、基于实时温度值、锅具类别信息和食材类别信息，确定目标锅具出现异常烹饪的情况下，输出报警信息。

对于确定类别的目标锅具以及目标锅具中确定类别的食材，可以结合食材类别信息、锅具类别信息和实时温度值，对目标锅具的烹饪是否出现异常情况进行判断。

其中，目标锅具烹饪的异常情况包括但不限于锅具干烧和扑锅等异常情况。

锅具干烧为目标锅具中没有食材，但目标锅具下方的灶具在持续加热，使得目标锅具的温度升高，长时间的锅具干烧不仅会造成锅具损伤还可以引发安全事故。

扑锅是指目标锅具中含有液体，目标锅具下方的灶具加热的温度大大超过目标国剧内液体的沸点，使得目标锅具内的食材过度沸腾翻滚，蔓延或超过目标锅具的边缘，扑灭目标锅具下方灶具的火焰，带来燃气泄漏的风险。

例如，识别得到目标锅具为不锈钢锅，当目标锅具下方灶具加热一段时间后，目标锅具的温度到达了240℃，目标锅具中没有食材，目标锅具出现干烧现象，输出报警信息，提示用户继续加热可能会导致目标锅具的损坏。

再例如，识别得到目标锅具为奶锅，目标锅具内的食材为牛奶，当目标锅具下方灶具加热一段时间后，目标锅具的温度到达了80℃，输出报警信息，提示用户继续加热可能会目标锅具内的牛奶扑锅。

在实际执行中，不同类型的锅具和不同类型的食材对应有不同的发生异常烹饪的温度值，通过确定食材类别信息和锅具类别信息，对实时温度值进行实时监控，在实时温度值到达可能使得目标锅具出现异常烹饪的温度值时，输出报警信息。

在该实施例中，可以通过控制家用电器如烟机或灶具输出报警信息，也可以控制单独设置的报警器进行报警，以提示用户目标锅具发生异常烹饪情况。

在该步骤中，输出报警信息可以表现为显示屏显示报警信息、报警灯光、和报警蜂鸣等形式。

相关技术中，通过手动输入锅的类型和要烹饪的食材类型，查找对应的防干烧温度曲线，来实现锅具的干烧检测，但用户自行选择锅的种类和食材类型，不仅操作繁琐，还可能出现人为操作或人为判定失误，导致温度计曲线的误判，进而无法准确判断干烧或扑锅等异常烹饪。

本发明通过获取目标灶台图像，利用目标检测识别锅具和食材的类型，实现目标锅具的烹饪安全检测，提升目标锅具异常烹饪判断的准确度，大大降低了用户误选的风险，整个烹饪过程的安全检测无需人为的参与和选择，提升用户的烹饪体验。

相关技术中，还出现了一些对烹饪过程的图像进行图像识别的安全预警技术，但该类技术通常是同时对食材和锅具进行识别，识别时间较长、准确度较低，并且该类技术需要同时监控灶台的火焰状态，再进行安全预警，在锅具遮挡时，安全预警效果较差。

本发明先通过目标检测识别目标锅具的类型和对应的像素区域，再利用裁剪后的图像进行食材识别，使得食物类型的检测更专注于目标锅具内的食材，将锅具识别和食材识别分开，提高识别的速度和准确度，保证烹饪安全检测的准确度，提高烹饪过程的安全性。

根据本发明提供的烹饪安全检测方法，通过获取目标灶台图像，利用目标检测分别识别目标锅具的类型和食材的类型，实现目标锅具的烹饪安全检测，提升目标锅具异常烹饪判断的准确度，大大降低了用户误选的风险，提高烹饪的安全性，烹饪过程的安全检测无需人为的参与和选择。

在一些实施例中，步骤140获取食材类别信息可以通过食材识别模型实现。

在该实施例中，食材识别模型的输入为目标锅具图像，食材识别模型的输出为食材类别信息。

食材识别模型属于图像分类网络模型，食材识别模型包括但不限于VGG、Resnet50及Inception等经典分类网络模型和mobilenet、shufflenet及ghostnet等轻量级的网络模型。

通过样本图像对食材识别模型进行训练，食材识别模型的训练的过程中，以样本图像为样本，以与样本图像对应的食材类别为样本标签。

在实际执行中，可以通过迁移学习提高食材识别模型的训练精度，食材识别模型可以为由预训练好的基于imagenet数据集的分类网络迁移学习而得到的。

其中，样本图像对应的食材类别可以通过人工标注的形式预先确定。

在一些实施例中，步骤120获取锅具类别信息可以通过锅具识别模型实现。

在该实施例中，锅具识别模型的输入为目标造谣图像，锅具识别模型的输出为锅具类别信息。

在实际执行中，锅具识别模型训练使用的样本灶台图像是通过调整不同的光线、灶台、烟机高度以及摄像机在烟机的位置，不断采集得到的样本灶台图像。

其中，样本灶台图像对应的锅具类别可以通过人工标注的形式预先确定，同时标注锅具所在位置的矩形框。

需要说明的是，样本灶台图像需要采集空锅和有食材的各种情况下的图像，以供后续进行干烧或扑锅的安全检测。

在实际执行中，样本灶台图像标注矩形框进行裁剪后的图像可以作为食材识别模型的样本图像。

在一些实施例中，食材识别模型通过对目标锅具图像的特征提取和池化处理，得到第一特征向量，再将第一特征向量分段处理得到的第一段特征向量和第二段特征向量，第一段特征向量和第二段特征向量称为目标特征向量组。

再通过食材识别模型对目标特征向量组和第一特征向量进行分类处理，能够得到目标锅具图像对应的食材类别信息。

在该实施例中，通过对目标锅具图像进行卷积处理实现特征提取，通过池化层处理去除冗余信息，对卷积提取的特征进行压缩，简化模型的复杂度，减小计算量和内存消耗。

在该实施例中，池化处理可以为全局平均池化(Global Average Pooling，Avgpool)，全局平均池化将特征图所有像素值相加求平均值。

池化处理也可以为全局最大池化(Global Max Pooling，max pool)，全局最大池化将池化大小设置为等于输入大小，以便将整个输入的都计算为输出值，可以减少某些卷积层输出的特征图的维数。

在得到第一特征向量后，将第一特征向量分段为前后两个部分，第一段特征向量和第二段特征向量。

得到目标特征向量组后，再经过批归一化(Batch Normalization，BN)、激活函数(Relu)以及全连接(Fully Connected，FC)扩维来丰富特征的表达。

然后，再将全连接得到的向量进行平均求和，最终输出分类结果(Outputs)食材类别信息。

下面介绍一个具体的实施例。

将分割出来的目标锅具图像作为输入，输入到backbone网络中，backbone网络是对图像进行特征提取的处理层。

经过层层卷积池化操作以后，最终会得到输出维度为CxWxH的特征tensor，在这里C指的是输出的channel，W指的是特征的宽度，H指的是特征的高度。

经过一个全局平均池化得到一个Cx1x1的第一特征向量，在很多经典的网络模型中，C的值通常为2048，也就是说第一特征向量的维度大小为2048x1x1。

如图2所示，将池化以后得到的2048x1x1的第一特征向量分成前后两个部分，第一段特征向量1024x1x1和第二段特征向量1024x1x1，然后再经过批归一化、激活函数和全连接丰富特征的表达。

通过对第一特征向量进行分段操作，使得食材识别模型中不再局限于前部分特征向量的分析，而是综合整体特征向量的信息内容，对池化信息进行补偿，提升识别准确度。

在一些实施例中，对第一特征向量的分段处理可以为平均分段处理也可以为按目标截取比例进行的分段处理。

可以理解的是，对一个第一特征向量进行分段处理，可以得到第一段特征向量和第二段特征向量组成的目标特征向量组，对一个第一特征向量进行多次分段处理，每次分段处理的截取比例不同，可以得到多个不同的目标特征向量组。

如图2所示，将池化以后得到的2048x1x1的第一特征向量分成前后两个部分，第一段特征向量1024x1x1和第二段特征向量1024x1x1，然后再经过批归一化、激活函数和全连接丰富特征的表达。

如图3所示，将池化以后得到的2048x1x1的第一特征向量按照1/4、1/2和3/4的目标截取比例进行截取，得到3个目标特征向量组。

其中，第一个目标特征向量组中第一段特征向量的维度为512x1x1，第二段特征向量的维度为1536x1x1。

第二个目标特征向量组中第一段特征向量的维度为1024x1x1，第二段特征向量的维度为1024x1x1。

第三个目标特征向量组中第一段特征向量的维度为1536x1x1，第二段特征向量的维度为512x1x1。

通过不同目标截取比例的分段处理，对食材识别模型的池化信息实现不同维度的补偿，特征空间被极大的丰富，食材识别模型的识别精度得以提高。

在一些实施例中，对目标锅具图像进行特征提取，得到特征提取结果，对特征提取结果进行全局最大池化处理得到一个第一特征向量，同时对特征提取结果进行全局平均池化处理得到另一个第一特征向量。

对全局平均池化处理和全局最大池化处理得到的两个第一特征向量分别进行分段处理，得到不同的两个目标特征向量组。

两个目标特征向量组再经过批归一化、激活函数以及全连接扩维来丰富特征的表达后，将得到的向量进行平均求和，最终输出食材类别信息。

在该实施例中，通过不同池化操作，实现进行池化信息的融合，进一步提升食材识别模型的识别精度。

下面介绍两个具体的实施例。

一、将第一特征向量进行平均分段处理。

如图4所示，将全局最大池化处理得到后得到的2048x1x1的第一特征向量分成前后两个部分，1024x1x1维度大小的第一段特征向量和1024x1x1维度大小的第二段特征向量，然后再经过批归一化、激活函数和全连接丰富特征的表达，得到多个向量。

同时，将全局平均池化处理得到后得到的2048x1x1的第一特征向量分成前后两个部分，1024x1x1维度大小的第一段特征向量和1024x1x1维度大小的第二段特征向量，然后再经过批归一化、激活函数和全连接丰富特征的表达，得到多个向量。

其中，目标特征向量组的第一段特征向量和第二段特征向量分别经过批归一化(BN)和激活函数(Relu)后，分别经过全连接FC1和全连接FC2来丰富特征的表达。

如图4所示，将两条分支得到的多个向量进行平均求和(Avg)，最终输出食材类别信息。

二、将第一特征向量进行按目标截取比例的分段处理。

如图5所示，将全局最大池化处理得到的2048x1x1维度大小的第一特征向量按照1/4、1/2和3/4的目标截取比例进行截取，得到3个目标特征向量组。

其中，第一个目标特征向量组中第一段特征向量的维度为512x1x1，第二段特征向量的维度为1536x1x1。

第二个目标特征向量组中第一段特征向量的维度为1024x1x1，第二段特征向量的维度为1024x1x1。

第三个目标特征向量组中第一段特征向量的维度为1536x1x1，第二段特征向量的维度为512x1x1。

全局最大池化处理得到的第一特征向量和对应的3个目标特征向量组再经过批归一化、激活函数和全连接丰富特征的表达，得到多个向量。

同时，将全局平均池化处理得到的2048x1x1维度大小的第一特征向量按照1/4、1/2和3/4的目标截取比例进行截取，得到3个目标特征向量组。

其中，第一个目标特征向量组中第一段特征向量的维度为512x1x1，第二段特征向量的维度为1536x1x1。

第二个目标特征向量组中第一段特征向量的维度为1024x1x1，第二段特征向量的维度为1024x1x1。

第三个目标特征向量组中第一段特征向量的维度为1536x1x1，第二段特征向量的维度为512x1x1。

全局平均池化处理得到第一特征向量和对应的3个目标特征向量组再经过批归一化、激活函数和全连接丰富特征的表达，得到多个向量。

如图5所示，将两条分支得到的多个向量进行平均求和，最终输出食材类别信息。

在该实施例中，通过池化信息补偿，能极大丰富高维的特征表示，从而对食材识别模型分类结果的准确度有较大的提升，同时这样的设计不会破坏原有的经典网络的设计，实现了即插即用的功能，大大增强了网络的适配性和移植性。

在一些实施例中，通过食材类别信息和锅具类别信息，查询用于判断目标锅具是否出现异常烹饪的目标温度曲线。

在该实施例中，目标温度曲线与目标锅具可能出现的异常烹饪情况相对应，目标温度曲线包括扑锅检测的温度曲线和干烧检测的温度曲线。

在实际执行中，将食材类别信息和锅具类别信息作为输入，查找预先存储的扑锅和干烧的目标温度曲线，再判断实时温度值是否超过了预警临界值，在超过的情况下，输出报警信息。

可以理解的是，通过食材类别信息和锅具类别信息确定的目标温度曲线，可以表征使用该种锅具烹饪该种食材时烹饪过程的温度变化曲线，当温度达到某一值时，若锅具内出现扑锅或干烧的情况，确定该温度值为预警临界值。

在一些实施例中，基于食材类别信息和锅具类别信息对实时温度值进行检测的过程中，当检测到目标锅具出现异常烹饪的情况，可以输出控制指令，该控制指令用于减小目标锅具下方的灶具的火力，从而达到目标锅具的降温作用。

例如，识别得到目标锅具为不锈钢锅，目标锅具的温度到达了240℃，目标锅具中没有食材，目标锅具出现干烧现象，输出控制指令，减小灶具火力，避免继续加热导致锅具损伤。

再例如，识别得到目标锅具为奶锅，目标锅具内的食材为牛奶，目标锅具的温度到达了80℃，输出控制指令，减小灶具火力，避免牛奶扑锅带来的安全隐患。

在目标锅具发生异常烹饪时，控制目标锅具下方的灶具减小火力，降低锅具损伤、燃气泄露或引发火灾的风险，大大提高了烹饪过程的安全性和智能性。

下面对本发明实施例提供的烹饪安全检测装置进行描述，下文描述的烹饪安全检测装置与上文描述的烹饪安全检测方法可相互对应参照。

如图7所示，本发明提供的烹饪安全检测装置包括：

获取模块710，用于获取目标锅具的实时温度值和目标锅具所处目标灶台的目标灶台图像；

第一处理模块720，用于对目标灶台图像进行目标检测，得到目标锅具的锅具类别信息；

第二处理模块730，用于根据目标灶台图像中目标锅具对应的像素区域，裁剪目标灶台图像，得到目标锅具图像；

第三处理模块740，用于对目标锅具图像进行目标检测，得到目标锅具中食材的食材类别信息；

输出模块750，用于基于实时温度值、锅具类别信息和食材类别信息，确定目标锅具出现异常烹饪的情况下，输出报警信息。

根据本发明提供的烹饪安全检测装置，通过获取目标灶台图像，利用目标检测分别识别目标锅具的类型和食材的类型，实现目标锅具的烹饪安全检测，提升目标锅具异常烹饪判断的准确度，大大降低了用户误选的风险，提高烹饪的安全性，烹饪过程的安全检测无需人为的参与和选择，提升用户的烹饪体验。

在一些实施例中，第三处理模块740用于将目标锅具图像输入至食材识别模型，获得食材识别模型输出的食材类别信息；

其中，食材识别模型为，以样本图像为样本，以预先确定的与样本图像对应的食材类别为样本标签，训练得到。

在一些实施例中，第三处理模块740用于对目标锅具图像进行特征提取和池化处理，得到第一特征向量；

对第一特征向量进行分段处理，得到目标特征向量组；

对第一特征向量和目标特征向量组进行分类处理，得到食材类别信息；

其中，目标特征向量组包括第一特征向量分段处理得到的第一段特征向量和第二段特征向量。

在一些实施例中，第三处理模块740用于将第一特征向量进行平均分段处理，得到目标特征向量组；

和/或，将第一特征向量按多个不同的目标截取比例分别进行分段处理和池化处理，得到多个目标特征向量组。

在一些实施例中，第三处理模块740用于对目标锅具图像进行特征提取，并对提取结果分别进行全局平均池化处理和全局最大池化处理，得到两个第一特征向量；

对两个第一特征向量分别进行分段处理，得到两个目标特征向量组；

对两个第一特征向量和两个目标特征向量组进行分类处理，得到食材类别信息。

在一些实施例中，输出模块750用于基于锅具类别信息和食材类别信息，确定目标温度曲线；

在实时温度值大于目标温度曲线中的预警临界值的情况下，输出报警信息。

在一些实施例中，输出模块750还用于基于实时温度值、锅具类别信息和食材类别信息，确定锅具出现异常烹饪的情况下，输出用于控制减小目标锅具下方灶具火力的控制指令。

本发明还提供一种家用电器。

家用电器包括摄像头、温度传感器和如上文描述的烹饪安全检测装置，摄像头和温度传感器与烹饪安全检测装置电连接。

其中，温度传感器可以采集目标锅具的实时温度值，摄像头可以采集目标灶台图像，目标灶台图像包括目标灶台和目标灶台上的目标锅具。

如图6所示，摄像头61可以安装于目标灶台62上方烟机63的出风口，拍摄目标灶台图像，目标灶台图像包括放置于灶具64上的目标锅具。

根据本发明提供的家用电器，通过获取目标灶台图像，利用目标检测分别识别目标锅具的类型和食材的类型，实现目标锅具的烹饪安全检测，提升目标锅具异常烹饪判断的准确度，大大降低了用户误选的风险，提高烹饪的安全性，烹饪过程的安全检测无需人为的参与和选择，提升用户的烹饪体验。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行烹饪安全检测方法，该方法包括：获取目标锅具的实时温度值和目标锅具所处目标灶台的目标灶台图像；对目标灶台图像进行目标检测，得到目标锅具的锅具类别信息；根据目标灶台图像中目标锅具对应的像素区域，裁剪目标灶台图像，得到目标锅具图像；对目标锅具图像进行目标检测，得到目标锅具中食材的食材类别信息；基于实时温度值、锅具类别信息和食材类别信息，确定目标锅具出现异常烹饪的情况下，输出报警信息。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

进一步地，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的烹饪安全检测方法，该方法包括：获取目标锅具的实时温度值和目标锅具所处目标灶台的目标灶台图像；对目标灶台图像进行目标检测，得到目标锅具的锅具类别信息；根据目标灶台图像中目标锅具对应的像素区域，裁剪目标灶台图像，得到目标锅具图像；对目标锅具图像进行目标检测，得到目标锅具中食材的食材类别信息；基于实时温度值、锅具类别信息和食材类别信息，确定目标锅具出现异常烹饪的情况下，输出报警信息。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的烹饪安全检测方法，该方法包括：获取目标锅具的实时温度值和目标锅具所处目标灶台的目标灶台图像；对目标灶台图像进行目标检测，得到目标锅具的锅具类别信息；根据目标灶台图像中目标锅具对应的像素区域，裁剪目标灶台图像，得到目标锅具图像；对目标锅具图像进行目标检测，得到目标锅具中食材的食材类别信息；基于实时温度值、锅具类别信息和食材类别信息，确定目标锅具出现异常烹饪的情况下，输出报警信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。

Claims (12)

1.一种烹饪安全检测方法，其特征在于，包括：

获取目标锅具的实时温度值和所述目标锅具所处目标灶台的目标灶台图像；

对所述目标灶台图像进行目标检测，得到所述目标锅具的锅具类别信息；

根据所述目标灶台图像中所述目标锅具对应的像素区域，裁剪所述目标灶台图像，得到目标锅具图像；

对所述目标锅具图像进行目标检测，得到所述目标锅具中食材的食材类别信息；

基于所述实时温度值、所述锅具类别信息和所述食材类别信息，确定所述目标锅具出现异常烹饪的情况下，输出报警信息。

2.根据权利要求1所述的烹饪安全检测方法，其特征在于，所述对所述目标锅具图像进行目标检测，得到所述目标锅具中食材的食材类别信息，包括：

将所述目标锅具图像输入至食材识别模型，获得所述食材识别模型输出的所述食材类别信息；

其中，所述食材识别模型为，以样本图像为样本，以预先确定的与所述样本图像对应的食材类别为样本标签，训练得到。

3.根据权利要求2所述的烹饪安全检测方法，其特征在于，所述将所述目标锅具图像输入至食材识别模型，获得所述食材识别模型输出的所述食材类别信息，包括：

对所述目标锅具图像进行特征提取和池化处理，得到第一特征向量；

对所述第一特征向量进行分段处理，得到目标特征向量组；

对所述第一特征向量和所述目标特征向量组进行分类处理，得到所述食材类别信息；

其中，所述目标特征向量组包括所述第一特征向量分段处理得到的第一段特征向量和第二段特征向量。

4.根据权利要求3所述的烹饪安全检测方法，其特征在于，所述对所述第一特征向量进行分段处理，得到目标特征向量组，包括：

将所述第一特征向量进行平均分段处理，得到所述目标特征向量组；

和/或，将所述第一特征向量按多个不同的目标截取比例分别进行分段处理和池化处理，得到多个所述目标特征向量组。

5.根据权利要求3所述的烹饪安全检测方法，其特征在于，所述对所述目标锅具图像进行特征提取和池化处理，得到第一特征向量，包括：

对所述目标锅具图像进行特征提取，并对提取结果分别进行全局平均池化处理和全局最大池化处理，得到两个所述第一特征向量；

所述对所述第一特征向量进行分段处理，得到目标特征向量组，包括：

对所述两个所述第一特征向量分别进行分段处理，得到两个所述目标特征向量组；

所述对所述第一特征向量和所述目标特征向量组进行分类处理，得到所述食材类别信息，包括：

对所述两个所述第一特征向量和所述两个所述目标特征向量组进行分类处理，得到所述食材类别信息。

6.根据权利要求1-5任一项所述的烹饪安全检测方法，其特征在于，所述基于所述实时温度值、所述锅具类别信息和所述食材类别信息，确定所述目标锅具出现异常烹饪的情况下，输出报警信息，包括：

基于所述锅具类别信息和所述食材类别信息，确定目标温度曲线；

在所述实时温度值大于所述目标温度曲线中的预警临界值的情况下，输出报警信息。

7.根据权利要求1-5任一项所述的烹饪安全检测方法，其特征在于，在所述对所述目标锅具图像进行目标检测，得到所述目标锅具中食材的食材类别信息之后，所述方法还包括：

基于所述实时温度值、所述锅具类别信息和所述食材类别信息，确定所述锅具出现异常烹饪的情况下，输出用于控制减小所述目标锅具下方灶具火力的控制指令。

8.一种烹饪安全检测装置，其特征在于，包括：

获取模块，用于获取目标锅具的实时温度值和所述目标锅具所处目标灶台的目标灶台图像；

第一处理模块，用于对所述目标灶台图像进行目标检测，得到所述目标锅具的锅具类别信息；

第二处理模块，用于根据所述目标灶台图像中所述目标锅具对应的像素区域，裁剪所述目标灶台图像，得到目标锅具图像；

第三处理模块，用于对所述目标锅具图像进行目标检测，得到所述目标锅具中食材的食材类别信息；

输出模块，用于基于所述实时温度值、所述锅具类别信息和所述食材类别信息，确定所述目标锅具出现异常烹饪的情况下，输出报警信息。

9.一种家用电器，其特征在于，包括：

温度传感器，所述温度传感器用于采集所述目标锅具的实时温度值；

摄像头，所述摄像头用于采集所述目标锅具所处目标灶台的目标灶台图像；

如权利要求8所述的烹饪安全检测装置，所述烹饪安全检测装置与所述温度传感器和所述摄像头电连接。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述烹饪安全检测方法的步骤。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述烹饪安全检测方法的步骤。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述烹饪安全检测方法的步骤。

Images