CN111345699A - 一种烹饪设备的控制方法和烹饪设备 - Google Patents

Abstract

一种烹饪设备的控制方法和烹饪设备。所述方法包括：获取烹饪腔内待烹饪食材的图像信息；提取所述图像信息中的特征信息，并将提取的所述特征信息与预存的烹饪料包中食材的特征信息进行比对；当确定所述待烹饪食材与预存的烹饪料包中的食材匹配时，按照所述烹饪料包中的食材对应的烹饪工作参数进行烹饪，本申请能够可以本地进行食材识别，实现智能设备离线工作，不依赖于云端以及网络，使得设备稳定性、实时性更高。

Description

一种烹饪设备的控制方法和烹饪设备

技术领域

本发明涉及智能家电技术领域，尤其涉及一种烹饪设备的控制方法和烹饪设备。

背景技术

随着智能化的升级，越来越多的家电设备增加了摄像头，对应增加了智能化应用，如烟雾识别、豆类识别、食材识别等。由于智能化应用需要耗费大量硬件资源，大部分的应用都部署在云端服务器上，可以很好的使用如GPU加速等资源，从而达到实时反馈的效果。此项部署对带宽以及网络稳定性要求比较严格，一旦出现网络不稳定，将导致智能应用无法使用，使得对应设备无法启动相应功能。从而目前部分智能设备开始本地化部署，但是应用相对受限，只能进行部分的检测及识别，如针对封装好的料包进行检测识别，此类识别基本是基于包装进行，不对具体料包内的食物进行拆包检测，不符合用户的使用习惯。

发明内容

本申请旨在至少解决相关技术中的技术问题之一。

本申请提供一种烹饪设备的控制方法和烹饪设备，至少实现对具体料包内的食物进行拆包检测。

本申请采用如下技术方案。

第一方面，本发明提供一种烹饪设备的控制方法，包括：

获取烹饪腔内待烹饪食材的图像信息；

提取所述图像信息中的特征信息，并将提取的所述特征信息与预存的烹饪料包中食材的特征信息进行比对；

当确定所述待烹饪食材与预存的烹饪料包中的食材匹配时，按照所述烹饪料包中的食材对应的烹饪工作参数进行烹饪。

优选地，所述的方法还包括：

当确定所述待烹饪食材与预存的烹饪料包中的食材不匹配时；将提取的所述特征信息输入识别模型进行模式识别获得所述待烹饪食材的种类信息；

根据所述种类信息以及用户的烹饪方式确定烹饪工作参数。

优选地，所述特征信息包括以下的一项或者多项：

颜色比例特征、纹理特征、光泽度特征、边缘特征、形状特征。

优选地，提取所述图像信息中的特征信息之前还包括：

根据所述图像信息确定液面特征信息；

根据所述液面特征信息确定图像提取程序。

优选地，根据所述液面特征信息确定所述待烹饪食材未放置于水中时，对所述图像信息进行色彩和明暗度处理提取程序；

根据所述液面特征信息确定所述待烹饪食材放置于水中时，对所述图像信息进行色彩和明暗度处理提取程序和水下图像增强处理提取程序。

优选地，对所述图像信息进行色彩和明暗度处理提取程序的步骤包括：

利用预先通过标准色卡获得的调整图像参数的加权系数对获得的所述图像信息进行色彩矫正；

对所述图像信息进行标准颜色分离处理；

根据标准颜色分离后的连通区域的对应关系，确定反光点信息；

根据所述反光点信息对明暗度进行调节。

优选地，对所述图像信息进行水下图像增强处理提取程序的步骤包括：

对所述图像信息分别进行白平衡处理和滤波处理；

对进行滤波处理后的图像进行局部直方图增强处理；

将白平衡处理和局部直方图增强处理后的图像信息进行小波变换融合。

优选地，所述方法还包括：

根据所述水特征信息确定所述待烹饪食材放置于水中时，检测液位高度，当所述液位高度超过最大警戒线时，发出告警信息。

优选地，通过标准色卡获得的调整图像参数的加权系数的步骤包括：

采集白色色卡的图像，计算所述白色色卡图像的标准颜色的均值，计算所述均值与标准值的偏差，调整图像加权系数，记录当所述偏差最小时对应的图像加权系数；

分别采集标准颜色色卡的图像，计算每个标准颜色通道的均值与标准值的偏差，记录所述偏差达到阈值时对应的图像加权系数。

第二方面，本申请还提供一种烹饪设备，包括：图像采集装置、烹饪腔和设置在主机内的控制器，

所述图像采集装置，设置为获取烹饪腔内待烹饪食材的图像信息；

所述控制器，设置为提取所述图像信息中的特征信息，并将提取的所述特征信息与预存的烹饪料包中食材的特征信息进行比对；当确定所述待烹饪食材为预存的烹饪料包中的食材时，按照所述烹饪料包中的食材对应的烹饪工作参数进行烹饪。

本申请包括以下优点：

(1)本申请不仅可以将获取的图像信息或者提取的特征信息传输至云端服务器进行食材识别，更优地，可以本地进行食材识别，实现智能设备离线工作，不依赖于云端以及网络，使得设备稳定性、实时性更高；

(2)本申请使用图像采集装置，获取烹饪腔内待烹饪食材的图像信息，在拍摄时，不论是否已经加水，均可实现对食材进行识别，不需要用户额外外的操作或者注意加水的时机，符合用户使用习惯；

(3)本申请对图像信息的处理和特征信息的识别进行食材识别时，对于杯体中图像反光、过曝问题，通过实时进行图像质量评估，调节光线亮度及摄像头参数进行实时处理；

(4)本申请检测当前烹饪食物的类型，并提供烹饪工作参数，实现针对现有的料包进行拆包检测识别，并针对常见的食物组合进行判断；

(5)本申请能够监控杯体内烹饪状态，防止溢锅，防止烧糊，液面过高警示等。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有优点。

附图说明

图1为实施例的烹饪设备的控制方法的流程图；

图2为实施例的不同处理流程示意图；

图3为实施例的不同处理流程的流程图；

图4为实施例的水下图像增强处理的流程图；

图5为实施例的烹饪设备的结构示意图；

图6为实施例的液位高度检测的流程图。

具体实施方式

下面将结合附图及实施例对本申请的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本申请实施例以及实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，本发明实施例提供一种烹饪设备的控制方法，包括：

S101、获取烹饪腔内待烹饪食材的图像信息；

S102、提取所述图像信息中的特征信息，并将提取的所述特征信息与预存的烹饪料包中食材的特征信息进行比对；

S103、当确定所述待烹饪食材与预存的烹饪料包中的食材匹配时，按照所述烹饪料包中的食材对应的烹饪工作参数进行烹饪。

目前常见的智能设备应用存在的问题，如针对封装好的料包进行检测识别，此类识别基本是基于包装进行，不对具体料包内的食物进行拆包检测，本发明实施例基于豆浆机、料理机、电饭煲等烹饪设备进行本地化智能应用设计，实现本地化的检测以及监控处理。本发明实施例中，对于料包的检测识别，是针对拆包的料包以及还未开发的料包(用户DIY的食材)进行识别，完成食材的识别功能，并提供对应的烹饪工作参数。

本发明实施例中，所述的方法还包括：

S104、当确定所述待烹饪食材与预存的烹饪料包中的食材不匹配时；将提取的所述特征信息输入识别模型进行模式识别获得所述待烹饪食材的种类信息；

根据所述种类信息以及用户的烹饪方式确定烹饪工作参数。

本发明实施例中对于非料包的组合食物需要进行相应检测识别，判断烹饪食物的种类信息，主要是通过特征信息进行比对，实现对应种类的判别。

本发明实施例中，所述特征信息包括以下的一项或者多项：

颜色比例特征、纹理特征、光泽度特征、边缘特征、形状特征。

本发明实施例中，提取所述图像信息中的特征信息之前还包括：

根据所述图像信息确定液面特征信息；

根据所述液面特征信息确定图像提取程序。

由于不同设备的烹饪方式不同，有部分设备是自动加食材以及水的，另一类的设备是手动加食材和水的，此种设备在进行识别时，一般都是已经加水的食材，此场景由于食材放置于水中，会出现清晰度较低、噪声比较大、颜色失真等现象，因此，需要预先识别液面特征信息，确定后续的图像提取程序，其中，液面特征信息可以包括水纹信息、液位信息等有助于判断是否有水的信息。

如图2所示，本发明实施例中，根据所述液面特征信息确定所述待烹饪食材未放置于水中时，对所述图像信息进行色彩和明暗度处理提取程序；

根据所述液面特征信息确定所述待烹饪食材放置于水中时，对所述图像信息进行色彩和明暗度处理提取程序和水下图像增强处理提取程序。

如图3所示，本发明实施例对于自动加食材以及水的情况，只需要对采集的图像信息(步骤1)进行色彩矫正(步骤2)和图像明暗度调节(步骤3)，即可进行后续的特征提取及识别；

对于手动加食材和水的情况，需要对色彩矫正(步骤2)和图像明暗度调节(步骤3)的图像再进行水下图像增强处理(步骤4，图3中虚线表示)之后才能进行特征提取及识别操作。

对于上述情况，在获得处理后的图像信息时，进行图像信息中的特征信息提取(步骤5)；将提取的特征信息输入神经网络进行学习(步骤7)获得所述待烹饪食材的种类信息(步骤7)；根据食材的种类信息确定烹饪工作参数(步骤8)。

图像预处理完成以后，将进行用于食物类型的特征提取。本发明实施例中，由于本地资源的限制，预存了已知烹饪料包中的食材的特征信息，并收集了足够常见的烹饪设备使用的食材特征信息，本发明实施例对识别模型进行精简处理，在保证识别率的情况下，占用最少资源。

对于精简的识别模型，主要通过算法提取食材的有效特征信息，输入到神经网络，进行训练得到一组参数文件，此文件将存储在ARM内存中，后期料包食材品种增加，后台将生成新的升级文件，通过远程更新的方式更新到出厂的设备，使其可以适应新的料包

本发明实施例中，对所述图像信息进行色彩和明暗度处理提取程序的步骤包括：

利用预先通过标准色卡获得的调整图像参数的加权系数对获得的所述图像信息进行色彩矫正；

对所述图像信息进行标准颜色分离处理；

根据标准颜色分离后的连通区域的对应关系，确定反光点信息；

根据所述反光点信息对明暗度进行调节。

本发明实施例中，由于密闭环境存在图像色彩失真现象，而本发明实施例中颜色特征是比较关键的一个特征，所以需要对图像信息进行色彩矫正处理。对于同等光照条件下，不同食材的情形下，反光程度不同，导致图像拍摄出来的明暗程度存在差异，所以需要对图像信息进行明暗度调节处理。

具体的，通过标准色卡获得的调整图像参数的加权系数的步骤包括：

采集白色色卡的图像，计算所述白色色卡图像的标准颜色的均值，计算所述均值与标准值的偏差，调整图像加权系数，记录当所述偏差最小时对应的图像加权系数；

分别采集标准颜色色卡的图像，计算每个标准颜色通道的均值与标准值的偏差，记录所述偏差达到阈值时对应的图像加权系数。

如图4所示，本发明实施例中，对所述图像信息进行水下图像增强处理提取程序的步骤包括：

对所述图像信息分别进行白平衡处理和滤波处理；

对进行滤波处理后的图像进行局部直方图增强处理；

将白平衡处理和局部直方图增强处理后的图像信息进行小波变换融合。

本发明实施例中，由于此场景下都是食材和水都是在一起的，而水在一定程度会导致图像颜色失真、清晰度下降，同时噪声增加，因此需要进行水下图像增强处理流程。

如图3所示，本发明实施例中，所述方法还包括：

根据所述水特征信息确定所述待烹饪食材放置于水中时，检测液位高度，当所述液位高度超过最大警戒线时，发出告警信息。

本发明实施例中，由于图像采集装置可以完成杯体内的液位检测(步骤9)、烹饪状态检测(步骤10)等。

如图5所示，本发明实施例还提供一种烹饪设备，包括：图像采集装置、烹饪腔和设置在主机内的控制器，其特征在于：

所述图像采集装置，设置为获取烹饪腔内待烹饪食材的图像信息；

所述控制器，设置为提取所述图像信息中的特征信息，并将提取的所述特征信息与预存的烹饪料包中食材的特征信息进行比对；当确定所述待烹饪食材为预存的烹饪料包中的食材时，按照所述烹饪料包中的食材对应的烹饪工作参数进行烹饪。

实施例一

本实施例说明对图像信息进行色彩和明暗度处理的主要流程，如下：

一、设备通电，用户按下自动烹饪按钮，设备内的摄像头开始采集图像信息；

二、利用矫正参数对所述图像信息进行色彩矫正，出厂设备均在ARM板内存储了相应矫正参数，具体颜色校对逻辑如下：

由于摄像头在不同色温的补光灯下，采集的图像色彩不同。本实施例的矫正采用四种颜色的色卡进行，分别是白色、红色、绿色以及蓝色。处理流程：

1、摄像头在对应补光灯情形下，采集拍摄白色色卡的图像，计算三通道的均值，计算与标准的偏差，调整图像加权系数，使得偏差值达到最小，记录下对应的加权系数；

2、摄像头在对应补光灯情形下，分别采集拍摄红色、绿色及蓝色色卡的图像，对应计算对应通道的偏差值，达到阈值则说明颜色矫正完成，反之继续调节步骤1，直到此项验证完成，保存下加权系数，用于后期的颜色矫正。

对于图像明暗度调节：

1、对图像色彩矫正的图像信息，分别计算三通道的灰度均值，如出现三通道灰度均值均超过预设阈值，说明图像过曝；

2、出现过曝现象，对应下调摄像头亮度参数，重新进行评估，直到三通道灰度均值均满足预设阈值；

3对满足步骤1和2的图像进行三通道分离处理，分别进行二值化计算，得到三幅二值图，再分别进行连通区域搜索；

4、对步骤3获取的连通区域序列，建立三通道的连通区域的对应关系，出现三通道同一位置出现连通区域的，判定为反光点，并进行记录区域信息，同时计算该区域的面积；

5、依次判断反光点序列的面积是否在阈值范围内，超出阈值，将发出指令，对补光灯亮度进行调节，直到达到要求；

上述五步均达到要求，则说明图像已完成明暗度调节。

实施例二

如图4所示，本实施例说明对图像信息进行水下图像增强处理的主要流程，如下：

1、经过实施例一调整的图像信息，进行复制两份，其中一份图像，进行白平衡处理，使得整体趋向于标准色调；

2、由于水下图像噪声过大，对第二份图像，进行噪声滤除处理。为滤除图像数据中的噪声信息，同时还要保留图像的边缘、纹理等信息，此处采用保边去噪的滤波器来完成，因为噪声信息和边缘纹理都属于高频，使用高斯滤波、中值滤波等都会导致边缘模糊，此处使用双边滤波器来完成该项工作；

3、滤波处理后的图像，进行局部直方图增强处理，可以更好的突出边缘、纹理等信息；

4、将经过白平衡处理的图像以及局部对比度增强的图像，进行多尺度的融合。此处基于小波变换的方式来实现多尺度的图像融合。使用小波变换将两幅图像分别分解成高频、低频图像序列，然后按照对应关系进行加权融合，高频部分考虑图像的边缘特征以及内部能量特征，低频部分直接采用区域能量进行融合，最后得到一幅加权的小波分解图，再使用小波逆变换将其转换成融合的图像信息。

实施例三

本实施例说明对图像信息进行特征信息识别的主要流程，如下：

本实施例通过算法提取食材的有效特征信息，输入到神经网络，进行训练得到一组参数文件，此文件将存储在ARM内存中，后期料包食材品种增加，后台将生成新的升级文件，通过远程更新的方式更新到设备，使其可以适应新的料包。

特征提取主要选用颜色比例、形状、光泽度、纹理信息、边缘信息等，拼接合成一维特征向量，该特征向量有1024N(N＝1,2,……)个特征值。

(1)颜色比例特征，由于是豆浆机、料理机中的食物原料，种类基本固定，而且颗粒度都相对较大。食材加入杯体中，可以较均匀的分布。经过了前期的色彩和明暗度调节，可直接对采集的图像进行颜色特征提取。根据彩色直方图进行颜色统计，提取颜色的不同比例，组合成256N个特征值；

(2)纹理特征，对于采集的图像信息，提取三幅分量灰度图像，分别进行纹理特征提取，合成一组纹理特征，特征长度256N；

(3)光泽度特征，食材的特殊性，有些食材在颜色形态等方面相似度很高，唯一的差异可能就只是食材表面的光泽不同。表现在图像上，可以描述成反光度。对三幅分量灰度图像进行全图统计，分别提取前200个灰度值满足阈值的小区域，再综合判断是否三组数据同时满足要求，保留满足要求的小区域，对小区域进行再次处理，对应生成一组均方差值，组成光泽度特征，长度为200N；

(4)边缘特征，三幅分量图像进行边缘信息提取，得到三幅边缘灰度图像，分别进行二值化处理，再将三幅二值图像进行逻辑与运算，生成一幅新的边缘二值图，对该图进行信息提取，生成长度为200N的边缘特征；

(5)形状特征，对图像进行形状描述，提取其有效的区域的尺寸信息(长度、宽度、面积等)，矩形度、圆形度以及多尺度的不变矩信息，合成长度32N的形状描述子特征。

将原始样本数据分别进行特征提取，这些特征作为神经网络的输入，经过前向反馈式神经网络的学习，最终迭代生成一份参数模型，用于后期的食材识别。

对于已知品种的料包，基本只需要选择颜色比例、形状、光泽度、纹理信息、边缘信息五种中的部分参与即可完成，可以有效节约计算资源。如九阳轻养料包红豆薏米料包，包含赤小豆、薏米、花生、核桃以及燕麦，主要颜色特征偏向于红色且偏暗，黄精芝麻料包主要包含黑豆、黑芝麻、黑精、桑椹、黄豆及燕麦，主要颜色特征偏向于黑色，这两款使用颜色比例特征即可完成识别(颜色的主要特征：红豆薏米中红色占比70.23％，白色占比25.31％,黄色占比4.46％，黄精芝麻料包中黑色占比86.7％，白色占比7.86％，白色占比5.44％)；又如核桃杏仁料包(包含杏仁、核桃、黄豆以及燕麦)与果仁芝麻料包(包含白芝麻、松子仁、黄瓜子、黄豆及燕麦)这两款料包颜色上基本接近，但形态特征上有明显差异。不同料包的各种成分不同，且按照严格的配比，形成的特征信息基本是在一定区间固定不变的，使用相应的一到两种特征，都可以准确的识别出来。

同时为有效的适配用户DIY的食材，增加对食材适应性较高的特征组合，可以达到本地实时识别功能。

经过相关预处理，得到一幅当前设备杯体内的图像，对有效区域进行检测并裁剪，使用步骤4的特征提取方法，对该图进行特征提取，生成一组特征向量，输入到保存的参数模型进行识别，得到食材的相应类别。

将步骤5识别的食材类型转换成机器能识别的机器码指令，调用相应的烹饪工艺，启动设备。

实施例四

如图6所示，本实施例说明对杯体中的液位高度进行检测的主要流程，如下：

1、由于液位在图像信息中不是特别明显，需要进行对比度增强处理，经过处理后液面的纹理及边缘更佳清晰明了；

2、使用边缘检测算子对增强后的图像进行计算，生成边缘图；边缘图上会有很多无效边缘信息，如液面中间会有小波纹、杯壁上有一定的食材碎片等，都需要去除。将边缘图进行二值化，然后提取相关的连通区域，根据区域的大小、弯曲程度等信息进行剔除处理，将剩下的连通区域的外轮廓坐标序保存下来；

3、对步骤2保存的外轮廓坐标序进行圆形拟合，拟合出圆形以及半径等参数；对图像进行裁剪处理，定位杯体在图像上的完整区域轮廓，然后根据步骤2的结果，还原液位在图像杯体上的位置；

4、摄像头与杯体的几何关系在设计时已经固定，在实验室环境下对摄像头及杯体进行标定，建立空间几何对应关系，生成图像空间与实际空间的对应参数；

5、根据步骤3和步骤4，生成液位的实际位置；

6、根据不同烹饪设备，进行不同的处理方式，如豆浆机在检测完液位需要及时的反馈，防止出现液位超出最大警戒线，溢出发生危险；而料理机由于前期可能是水果堆积在一起，打碎以后会升高液位，此时如果用户进行加热处理，此时才需要进行液位警示处理。

实施例五

烹饪状态检测，主要是防止用户初期调整了自动程序的烹饪时间，比如料理机进行水果汁处理只需要1分钟，用户调整成10分钟，此时摄像头将会进去监控状态，当杯体内无明显的大颗粒，同时时间已经超过常规设定，将会启动通知。另一种模式则是豆浆机中进行婴儿粥烹饪，前期已经识别了食材类型，进行了智能时间把控，但用户误操作增加了时长，当粥体达到设定的颜色等特征、同时时间超出过多，将会启动通知。

当然，本申请还可有其他多种实施例，在不背离本申请精神及其实质的情况下，熟悉本领域的技术人员当可根据本申请作出各种相应的改变和变形，但这些相应的改变和变形都应属于本申请的权利要求的保护范围。

Claims (10)

1.一种烹饪设备的控制方法，其特征在于，包括：

获取烹饪腔内待烹饪食材的图像信息；

提取所述图像信息中的特征信息，并将提取的所述特征信息与预存的烹饪料包中食材的特征信息进行比对；

当确定所述待烹饪食材与预存的烹饪料包中的食材匹配时，按照所述烹饪料包中的食材对应的烹饪工作参数进行烹饪。

2.如权利要求1所述的方法，其特征在于，还包括：

当确定所述待烹饪食材与预存的烹饪料包中的食材不匹配时；将提取的所述特征信息输入识别模型进行模式识别获得所述待烹饪食材的种类信息；

根据所述种类信息以及用户的烹饪方式确定烹饪工作参数。

3.如权利要求1所述的方法，其特征在于，所述特征信息包括以下的一项或者多项：

颜色比例特征、纹理特征、光泽度特征、边缘特征、形状特征。

4.如权利要求1所述的方法，其特征在于，提取所述图像信息中的特征信息之前还包括：

根据所述图像信息确定液面特征信息；

根据所述液面特征信息确定图像提取程序。

5.如权利要求4所述的方法，其特征在于，

根据所述液面特征信息确定所述待烹饪食材未放置于水中时，对所述图像信息进行色彩和明暗度处理提取程序；

根据所述液面特征信息确定所述待烹饪食材放置于水中时，对所述图像信息进行色彩和明暗度处理提取程序和水下图像增强处理提取程序。

6.如权利要求5所述的方法，其特征在于，对所述图像信息进行色彩和明暗度处理提取程序的步骤包括：

利用预先通过标准色卡获得的调整图像参数的加权系数对获得的所述图像信息进行色彩矫正；

对所述图像信息进行标准颜色分离处理；

根据标准颜色分离后的连通区域的对应关系，确定反光点信息；

根据所述反光点信息对明暗度进行调节。

7.如权利要求5所述的方法，其特征在于，对所述图像信息进行水下图像增强处理提取程序的步骤包括：

对所述图像信息分别进行白平衡处理和滤波处理；

对进行滤波处理后的图像进行局部直方图增强处理；

将白平衡处理和局部直方图增强处理后的图像信息进行小波变换融合。

8.如权利要求5所述的方法，其特征在于：所述方法还包括：

根据所述水特征信息确定所述待烹饪食材放置于水中时，检测液位高度，当所述液位高度超过最大警戒线时，发出告警信息。

9.如权利要求6所述的方法，其特征在于，通过标准色卡获得的调整图像参数的加权系数的步骤包括：

采集白色色卡的图像，计算所述白色色卡图像的标准颜色的均值，计算所述均值与标准值的偏差，调整图像加权系数，记录当所述偏差最小时对应的图像加权系数；

分别采集标准颜色色卡的图像，计算每个标准颜色通道的均值与标准值的偏差，记录所述偏差达到阈值时对应的图像加权系数。

10.一种烹饪设备，包括：图像采集装置、烹饪腔和设置在主机内的控制器，其特征在于：

所述图像采集装置，设置为获取烹饪腔内待烹饪食材的图像信息；

所述控制器，设置为提取所述图像信息中的特征信息，并将提取的所述特征信息与预存的烹饪料包中食材的特征信息进行比对；当确定所述待烹饪食材为预存的烹饪料包中的食材时，按照所述烹饪料包中的食材对应的烹饪工作参数进行烹饪。

Images