CN110123149B - 一种烹饪设备的烹饪控制方法以及烹饪设备 - Google Patents

Abstract

本发明揭示了一种烹饪设备的烹饪控制方法，包括：提取至少一帧食材图像中食材的特征信息；根据特征信息调整烹饪设备的烹饪控制程序。本发明所揭示的方法，能够根据食材的特征信息自动调整烹饪设备的烹饪控制程序，尤其是当烹饪过程处于特定烹饪阶段时，相应的烹饪控制程序能够与当前的烹饪阶段相适应，从而提升了烹饪效果。本发明同时还揭示了一种烹饪设备，该烹饪设备能够对食材的变化情况进行监控，当食材处于不同的烹饪阶段时，烹饪设备能够自行调整烹饪控制程序，从而实现自动烹饪。

Description

一种烹饪设备的烹饪控制方法以及烹饪设备

技术领域

本发明智能家电领域，更具体地说，涉及一种烹饪设备的烹饪控制方法。本发明同时还揭示了一种烹饪设备。

背景技术

随着图像识别技术的日臻成熟，越来越多的家电设备开始搭载摄像头，实现多样的智能化工作场景。比较典型地，如越来越多的烹饪设备能够依靠机器视觉技术对食材图片、视频的拍摄，从而满足用户远程监控烹饪过程的需求，以及通过互联网渠道分享烹饪乐趣的需求。

然而目前的烹饪设备对于视觉技术的开发并不完善，仅停留在对烹饪过程简单拍摄的阶段，不仅图片、视频的拍摄质量差强人意，而且无法帮助用户精准判断烹饪阶段。以上这些不利因素，不仅影响用户体验，而且降低了厂商为家电产品配置视觉技术的意愿，从而对家电智能化的趋势形成了阻碍。

发明内容

本发明为解决上述现有技术中存在的技术问题，提供了一种烹饪设备的烹饪控制方法，该方法不仅能够智能判断当前的烹饪阶段，而且能够为对应的烹饪阶段建立起里程碑图像，相应的里程碑图像为烹饪短视频的制作提供了素材和依据，能够帮助用户快速、精准地掌握整个烹饪进程。本发明同时还揭示了一种烹饪设备，该烹饪设备能够通过视觉图像技术对食材变化过程进行监控，并以短视频的形式将烹饪过程反馈给用户供其查看、观赏以及分享。

为达到上述目的，本发明采用的技术方案如下：

一种烹饪设备的烹饪控制方法，包括：提取至少一帧食材图像中食材的特征信息；根据特征信息调整烹饪设备的烹饪控制程序。

进一步地，方法还包括：根据特征信息确定烹饪过程中的烹饪阶段。

进一步地，特征信息包括食材颜色信息和/或食材体积信息。

进一步地，根据特征信息确定烹饪过程中的烹饪阶段的步骤还包括：根据特征信息与先验特征信息之间的第一相似度确定烹饪阶段的起始帧图像；根据起始帧图像中食材的特征信息与在后图像中食材的特征信息之间的第二相似度确定里程碑图像，在后图像为相应烹饪阶段内位于起始帧图像之后的图像序列中的食材图像。

进一步地，根据特征信息与先验特征信息之间的第一相似度确定烹饪阶段的起始帧图像的步骤还包括：根据起始帧图像中所获取的食材体积信息调整烹饪控制程序中的时长参数和/或火力参数；或者，根据起始帧图像中所获取的食材体积信息发出食材切分提醒。

进一步地，根据起始帧图像中食材的特征信息与在后图像中食材的特征信息之间的第二相似度确定里程碑图像的步骤还包括：根据里程碑图像中所获取的食材颜色信息和/或食材体积信息确定烹饪控制程序的切换时机。

进一步地，提取至少一帧食材图像中食材的特征信息的步骤包括：提取至少一帧食材图像中食材的颜色直方图信息；对颜色直方图信息进行量化处理以获取相应食材图像中各区域的目标颜色特征向量；根据目标颜色特征向量表征食材颜色信息。

进一步地，提取至少一帧食材图像中食材的特征信息的步骤包括：提取至少一帧食材图像中食材的轮廓点序列信息；基于轮廓点序列信息生成食材形态特征向量；根据食材形态特征向量表征食材体积信息。

进一步地，方法还包括：根据食材颜色信息对里程碑图像进行压缩生成烹饪过程的烹饪短视频。

本发明同时还揭示了一种烹饪设备：

一种烹饪设备，包括：提取模块，用于提取至少一帧食材图像中食材的特征信息；处理模块，用于根据特征信息调整烹饪设备的烹饪控制程序。

本发明技术方案的有益效果如下：

本发明所揭示的一种烹饪设备的烹饪控制方法，能够将整个烹饪过程进行分段，精准确定烹饪阶段并建立里程碑图像，相应的里程碑图像最终可以形成烹饪短视频，在满足用户查看、分享等需求的同时，也大大节省了流量和带宽资源，符合当下V-Blog(视频网志)的流行趋势。本发明同时还揭示了一种烹饪设备，该烹饪设备能够向用户实时反馈食材当前所处的烹饪阶段，增加了烹饪过程的交互性和乐趣。

附图说明

图1涉及本发明所述方法其中一实施例的流程示意图；

图2涉及本发明所述方法其中一实施例中图像分析处理的流程示意图；

图3涉及本发明所述方法其中一实施例中短视频压缩的流程示意图；

图4涉及本发明实施例一的步骤框图；

图5涉及本发明所述方法其中一实施例中食材颜色信息提取的示意图；

图6涉及本发明所述烹饪设备的其中一实施例；

图7涉及本发明实施例二的步骤框图；

图8涉及本发明方法其中一实施例的烹饪设备；

图9涉及本发明所述烹饪设备其中一实施例的结构示意图；

图10涉及本发明所述烹饪设备其中一实施例的模块架构图。

具体实施方式

以下通过附图和具体实施例对本发明所提供的技术方案做更加详细的描述：

如图1-图3所示，涉及本发明所述方法的其中一实施例。以下将对该实施例展开说明。

图1涉及本发明所述方法其中一实施例的流程示意图。该实施例中的烹饪设备包括但不限于烤箱、微波炉、饭煲等。其中，以烤箱为例，该实施例中对烤箱的烤制过程进行了动态监控，实时进行图像采集，上传至服务端进行视频处理，视频处理具体涉及到食材颜色的检测、食材体积的检测、食材种类的检测以及视频压缩及生成。

如图1所示的，烹饪设备启动后开始通过摄像头采集烹饪过程的图像信息，所采集的图像信息上传至云端平台进行分析，主要包括识别食材类型，并对食材的颜色、体积等进行检测，分析处理完成后将所获得的信息进行记录，分析结果可以用于对所采集的图像信息进行压缩以生成烹饪相关的短视频，亦可用于生成控制指令，对烹饪设备进行控制或者用户终端的APP进行交互相关的调整。在本实施例中，如果烹饪设备自身的处理能力足够，则对图像信息进行分析处理的任务也可以交由烹饪设备自身的处理模块完成。

如图2所示的，涉及本发明所述方法其中一实施例中图像分析处理的流程示意图。该实施例中，对烹饪设备所拍摄的图像或视频进行分析处理，例如，对一系列图像进行特征提取，根据所提取的特征信息进行特征对比，根据相似度情况确定烹饪阶段的起始帧图像以及与烹饪阶段相对应的里程碑图像，从而为烹饪过程中的烹饪阶段划分提供依据，且相应的里程碑图像也将用于烹饪短视频的生成。

如图3所示的，涉及本发明所述方法其中一实施例中短视频压缩的流程示意图。该实施例中，特征对比完成以后，对反映烹饪过程的图像序列进行节选和压缩形成烹饪短视频，根据短视频用途的不同，相应的压缩流程和压缩标准会存在差异。例如，当相应的烹饪短视频主要用于烹饪数据的积累以及食材识别模型的训练等用途时，则对视频文件的大小以及烹饪数据的完整性要求较高；而当相应的烹饪短视频主要是用于用户观赏和分享等用途时，则需要考虑短视频的美化效果以及短视频的播放时长等因素。基于上述不同的需求，该实施例中的烹饪设备能够智能分辨并执行对应的压缩流程和标准，一方面提升了食材识别以及烹饪阶段判断的准确性，另一方面也提升了用于分享的短视频的品质和体验。

以下通过更多的实施例对本发明所述的方法以及烹饪设备进行说明。

实施例一：

如图4所示的，涉及本发明实施例一的步骤框图，该实施例中揭示了一种烹饪设备的食材图像获取方法，包括：

步骤4001，提取至少一帧食材图像中食材的特征信息；

步骤4002，根据特征信息确定烹饪过程中的烹饪阶段并在至少一帧食材图像中筛选确定与烹饪阶段相对应的里程碑图像；

步骤4003，根据里程碑图像生成烹饪过程的烹饪短视频。

该实施例中，对所拍摄的食材图像进行特征提取以获得食材的特征信息，根据特征信息能够确定当前图像所对应的烹饪阶段，并能够进一步从所拍摄的食材图像中筛选出里程碑图像，里程碑图像对应于图像采集时刻所处的烹饪阶段，且能够反映食材在该烹饪阶段中的关键变化，将这些里程碑图像进行编排和处理即可获得烹饪过程相关的烹饪短视频。该实施例中所述的方法，能够建立里程碑图像与烹饪阶段相对应的关系模型，并基于该关系模型将烹饪设备所拍摄的完整烹饪过程的图像提炼生成烹饪短视频，从而大大减轻了模型训练的数据压力，同时也有助于用户根据烹饪短视频快速掌握烹饪进程。在对烹饪过程进行烹饪时，由于食材在一段时间之内的反映在图像上的变化并不明显，因而会产生大量冗余图像数据。而在采用本实施例所揭示的方法后，会根据食材的特征信息区分具体的烹饪阶段，并确定相应烹饪阶段中具有代表性的里程碑图像用于生成烹饪过程的烹饪短视频，由此使得厂商以及用户能够获得其真正关注的、足以反映烹饪过程全貌的短视频数据，而对冗余图像数据形成了有效地过滤。

作为本发明所述方法的其中一实施例，所述根据所述特征信息确定烹饪过程中的烹饪阶段并在所述至少一帧食材图像中筛选确定与所述烹饪阶段相对应的里程碑图像的步骤包括：

根据所述特征信息与先验特征信息之间的第一相似度确定所述烹饪阶段的起始帧图像；

根据所述起始帧图像中食材的特征信息与在后图像中食材的特征信息之间的第二相似度确定所述里程碑图像，所述在后图像为相应烹饪阶段内位于所述起始帧图像之后的图像序列中的食材图像。

该实施例中为了区分烹饪过程中的具体烹饪阶段，采用特征比对方式对起始帧图像和里程碑图像进行了确定。其中，将所提取的特征信息与预先已经获知的先验特征信息进行比对以获取第一相似度，然后将第一相似度符合条件的图像确定为相应烹饪阶段的起始帧图像；在确定了起始帧图像之后，将起始帧图像中食材的特征信息与在后图像中食材的特征信息进行对比以获取第二相似度，选取第二相似度满足条件的图像作为该烹饪阶段对应的里程碑图像，其中在后图像为与起始帧图像处于同一烹饪阶段但采集时间晚于起始帧图像的图像序列中的食材图像。该实施例中，若第一相似度高于第一阈值，则将相应的食材图像判定为起始帧图像；若第二相似度低于第二阈值，则将相应的的食材图像确定为里程碑图像。其中第一阈值的取值范围为60％～100％，第二阈值的取值范围为20％～80％。例如，以微波炉加热鸡翅为例，厂商已经通过烹饪实验和大数据手段获知了鸡翅在加热过程中各个阶段的特征信息数据并形成了相应的先验特征信息数据库，那么当用户自行利用微波炉对鸡翅进行加热时，将各帧图像所反映的鸡翅特征信息的变化与先验特征信息进行对比，若某帧图像中鸡翅的特征信息与先验特征信息的第一相似度为70％，超过了所设定的第一阈值(如60％)，则认为该帧图像为当前烹饪阶段的起始帧图像；进一步地，若在后图像与起始帧图像的第二相似度为50％，低于第二阈值(如80％)，则认为该帧图像相较当前烹饪阶段的起始阶段已经发生了较大的变化，可以作为里程碑图像来反映食材的关键变化，从而将该帧图像确定为里程碑图像。相应烹饪阶段的里程碑图像可以为一张或多张。

在本发明所述方法的其中一实施例，所述特征信息包括食材颜色信息，所述提取至少一帧食材图像中食材的特征信息的步骤包括：

提取所述至少一帧食材图像中食材的颜色直方图信息；

对所述颜色直方图信息进行量化处理以获取相应食材图像中各区域的目标颜色特征向量；

根据所述目标颜色特征向量表征所述食材颜色信息。

该实施例中，通过颜色直方图信息来获取食材图像中各区域的目标颜色特征向量，从而根据目标颜色特征向量来表征食材颜色信息。采用该实施例中的方法，能够使食材图像中的食材颜色信息得以量化提取，从而为烹饪阶段的判断以及压缩生成烹饪短视频提供了可处理的数据样本，大大提升了烹饪阶段判断的准确性，同时也使得压缩过程中图像数据的取舍更加明确。

如图5所示的，揭示了本发明所述方法其中一实施例中食材颜色信息提取的示意图。在对食材图像进行前景背景分离后获得包含有食材的、如图5所示的目标区域5001，对目标区域5001进行非均匀分块处理，形成1-9共9个子区域，分别对每个子区域进行颜色直方图特征提取，灰度等级按照32进行划分，从而每个子区域生成一组颜色特征

对该组特征进行均值计算，生成各子区域的颜色均值

其中，目标颜色特征向量为：

为正态分布函数，

Disi为第i个子区域的中心位置到第一个子区域中心位置的距离。同步将图像从RGB颜色空间转换到HSV颜色空间，按照上述计算方式生成HSV空间的颜色特征F_hsv，然后拼接成一个3*18的特征数组，可以有效的表示出目标区域的食材颜色。

在本发明所述方法的其中一实施例中，所述特征信息包括食材体积信息，所述提取至少一帧食材图像中食材的特征信息的步骤包括：

提取所述至少一帧食材图像中食材的轮廓点序列信息；

基于所述轮廓点序列信息生成食材形态特征向量；

根据所述食材形态特征向量表征所述食材体积信息。

该实施例中，也可以通过食材体积的变化来确定烹饪阶段，且食材体积信息和食材颜色信息在用于做烹饪阶段的判断时，可以相互结合、相互印证。在本发明所述方法的其中一实施例中，为了全面描述食材体积信息，需要选取相对稳定的食材体积特征来标记食材的形态。

具体地，包括以下步骤：

1、需要提取食材的轮廓点序列信息{Points}，并基于食材的轮廓点序列信息确定轮廓点序所构成的多边形的面积信息Area；

2、基于{Points}数据和Area数据衍生出目标食材外轮廓的圆形度信息Fcircle，以及通过轮廓点序拟合的几何形状信息Fshape；

3、基于轮廓点序列信息{Points}量化提取角点特征序列{Corners}；

4、对轮廓点序列所围成的区域进行食材纹理特征的提取，使用Gabor变换对图像进行处理，使所提取的食材纹理特征不受光线及阴影影响，生成一组Gabor特征序列{Fgabor}；

5、将上述五组特征进行组合，生成食材形态特征向量对食材体积信息进行表征，其中食材形态特征向量Ffood＝{{Points}，Area，Fcircle，Fshape，{Corners}，{Fgabor}}，该食材形态特征向量Ffood可以有效描述食材的体积和形态，避免仅对食材的局部形态特征进行描述，且使得烹饪设备对于食材形态和体积变化的感知与人的感官判断趋于一致。

上述实施例中，食材颜色信息和食材体积信息均可量化提取，因而相应地，上述数据可以由厂商预先通过实验、大数据统计等方式获取和积累，从而形成先验特征信息，用于进行特征信息和先验特征信息之间的对比，以确定食材图像所对应的烹饪阶段。

在本发明所述方法的其中一实施例中，所述方法还包括：根据所述食材颜色信息对所述里程碑图像进行压缩生成所述烹饪短视频。

该实施例中，食材颜色信息一方面可以作为烹饪阶段判断的依据，另一方面也用于对里程碑图像进行压缩，以实现图像数据的取舍，生成烹饪短视频，并节省图像处理、存储以及传输的数据量压力。

该实施例中，一方面可以根据起始帧图像中食材颜色信息与在后图像中食材颜色信息之间的第二相似度在食材图像中筛选确定里程碑图像，另一方面可以剔除部分里程碑图像中食材颜色信息的冗余数据以将里程碑图像压缩生成烹饪短视频。

在本发明所述方法的其中一实施例中，所述根据所述食材颜色信息对所述里程碑图像进行压缩生成所述烹饪短视频的步骤还包括：

根据食材种类信息以及烹饪设备的设备类型信息对所述里程碑图像进行处理并确定相应的压缩标准，所述压缩标准为MPEG标准。

该实施例中，基于食材图像还可以对食材种类进行识别，获取相应的食材种类信息。在本实施例中，烹饪短视频主要用于模型训练数据的积累，通过收集用户烹饪产生的烹饪短视频，能够提升食材识别的准确性以及烹饪阶段判断的准确性。该实施例中的烹饪短视频用于模型训练数据的积累，主要关心食材种类的多样性，以及不同类型的设备中受产品结构、光线、阴影等导致的视频图像的差异等，并且希望所获得的烹饪短视频尽可能真实地反映烹饪设备中食材的变化情况。基于以上原因，该实施例中主要依据食材种类信息以及烹饪设备的设备类型信息对里程碑图像进行处理，并选取MPEG标准作为压缩标准，从而使获得的烹饪短视频内容能够满足模型数据积累的需求，并减少了由于图像压缩而导致的图像质量的下降和失真。

在本发明所述方法的其中一实施例中，所述根据所述食材颜色信息对所述里程碑图像进行压缩生成所述烹饪短视频的步骤还包括：

根据烹饪短视频的时长信息以及烹饪设备的设备ID对所述里程碑图像进行处理并确定相应的压缩标准，所述压缩标准为H264标准。

该实施例中，烹饪短视频用于用户的观赏和分享，主要关心烹饪设备与用户(主要是用户的智能终端)之间的绑定关系，以及视频的大小、时长等约束，旨在帮助用户快速掌握烹饪过程中食材的关键变化，以享受烹饪带来的乐趣。在此情况下，该实施例中根据烹饪短视频的时长信息以及烹饪设备的设备ID对里程碑图像进行了处理，从而使烹饪短视频的时长尽可能地满足一些短视频应用程序的要求(例如短视频的时长不超过15s)，以及根据烹饪设备的设备ID确定其所绑定的智能终端，并使里程碑图像在经过处理后在分辨率、画质方面与用户的智能终端相匹配，以及对里程碑图像进行滤镜、美颜等处理，从而使生成的烹饪短视频更适宜于用户观赏和分享，增加用户烹饪的趣味性。同时，该实施例中的烹饪短视频涉及到存储和分享，且对于食材变化过程的真实反映需求没有那么强烈，因而压缩生成的烹饪短视频所占的数据空间应该尽可能小，较为适宜地，应该选取H264标准对处理后的里程碑图像进行压缩。

在本发明所述方法的其中一实施例中，所述方法还包括：对所述食材图像中的食材进行识别。在本发明所述方法的其中一实施例中，所述方法还包括：通过背景帧差方法将所述食材图像中的食材和盛放器皿进行分割。该实施例中，提取食材图像中的特征信息能够判断出食材的种类，从而能够根据不同的食材选取不同的先验特征信息。而在烹饪设备中，食材往往盛放于器皿之中，因而为了准确识别食材，避免器皿干扰，需要通过前景背景分离技术对食材图像中的食材和盛放器皿分割开来，以提升识别准确率。

如图6所示的，是本发明所述烹饪设备的其中一实施例。该实施例中揭示了一种烹饪设备6000，包括：

提取模块6001，用于提取至少一帧食材图像中食材的特征信息；

处理模块6002，用于根据特征信息确定烹饪过程中的烹饪阶段并在至少一帧食材图像中筛选确定与烹饪阶段相对应的里程碑图像；

生成模块6003，用于根据里程碑图像生成烹饪过程的烹饪短视频。

该实施例中的烹饪设备，能够获取食材图像，并根据食材图像中所提取的特征信息准确判断出当前所处的烹饪阶段。该实施例中的烹饪设备还能够在判断出烹饪阶段的基础上筛选出能够反映食材关键变化的里程碑图像，并将里程碑图像整合生成烹饪短视频，相应的烹饪短视频既可以用于模型训练，又可以用于用户观赏或分享，大大提升了烹饪设备与用户之间的黏性。

实施例二：

如图7所示的，涉及本发明实施例二的步骤框图。该实施例中揭示了一种烹饪设备的烹饪控制方法，包括：

步骤7001，提取至少一帧食材图像中食材的特征信息；

步骤7002，根据特征信息调整烹饪设备的烹饪控制程序。

该实施例中的烹饪设备能够获取烹饪过程中的食材图像，从中提取出食材的特征信息，并根据特征信息调整自身的烹饪控制程序，从而实现自动烹饪。该实施例中的烹饪设备运用图像识别相关的智能技术，实时掌控烹饪进程，并根据烹饪进程的需求调整烹饪控制程序，从而使得烹饪效果得到了很大的提升。

在本发明所述方法的其中一实施例中，所述方法还包括：根据所述特征信息确定烹饪过程中的烹饪阶段。该实施例中，基于食材图像所提取出的食材的特征信息还可以进一步判断出烹饪过程中的具体烹饪阶段，从而使得烹饪控制程序的调整更加准确，也更加有针对性。例如，使用智能饭煲对杂粮饭进行烹饪时，可以基于食材图像中特征信息的变化将整个烹饪过程划分为吸水阶段、加热阶段、沸腾阶段、焖饭阶段等，当智能饭煲智能判断出当前为加热阶段(需要启用猛火模式迅速加热)时，则自动调整烹饪控制程序，将火力加大以迅速提升饭煲内的温度。

在本发明所述方法的其中一实施例中，所述特征信息包括食材颜色信息和/或食材体积信息。该实施例中，特征信息主要包括从食材图像中所提取的食材颜色信息和/或食材体积信息，相应的食材颜色信息和/或食材体积信息可以单独作为烹饪阶段判断和烹饪控制程序调整的依据，也可二者相结合，在进行烹饪阶段判断和烹饪控制程序调整时相互印证。

在本发明所述方法的其中一实施例中，所述根据所述特征信息确定烹饪过程中的烹饪阶段的步骤还包括：

根据所述特征信息与先验特征信息之间的第一相似度确定所述烹饪阶段的起始帧图像；

根据所述起始帧图像中食材的特征信息与在后图像中食材的特征信息之间的第二相似度确定所述里程碑图像，所述在后图像为相应烹饪阶段内位于所述起始帧图像之后的图像序列中的食材图像。

该实施例中，为了对烹饪阶段进行准确划分，需要确定烹饪阶段的起始帧图像。同时，由于烹饪过程中食材可能在很长一段时间内变化地并不明显，因而所拍摄的大多数食材图像存在冗余情况，部分食材图像并不能反映食材的明显变化，为此在食材图像中筛选确定里程碑图像以减轻图像处理压力，并节约用户查阅烹饪相关图像视频的精力。该实施例中，先验特征信息可以预存于烹饪设备的数据存储单元，也可以由烹饪设备通过网络从云端平台获取。

在进行起始帧图像的判断时，将当前帧图像中所提取的特征信息与先验特征信息进行对比，计算相似度。例如以烤箱烤茄子为例，厂商通过实验以及获知烤箱烤茄子时分为小火阶段、大火阶段、均匀加热阶段三个阶段，并已建立了各个阶段食材图像的先验特征信息数据库，那么当用户自己在烤茄子时，不断拍摄烤茄子时的食材图像，如果某一时刻的食材图像中所提取的特征信息与小火阶段的先验特征信息的相似度超过80％，此时则认为该张图像为小火阶段的起始帧图像，从而将该时刻的食材图像作为烹饪阶段划分的一个节点进行标记确认，位于该起始帧图像之后但仍处于小火阶段内的图像属于该起始帧图像的在后图像；当烹饪过程继续进行至另一时刻，该时刻的食材图像中所提取的特征信息与大火阶段的先验特征信息的相似度超过了80％，此时则认为该张图像为大火阶段的起始帧图像。

在进行里程碑图像的筛选时，将某一烹饪阶段的起始帧图像中的特征信息与该烹饪阶段内的在后图像中的特征信息进行对比，若起始帧图像与在后图像的相似度低于65％，则说明该帧在后图像与起始帧图像相比，食材已经发生了较大的变化，因而可以将该帧图像筛选确定为里程碑图像。该实施例中，里程碑图像可以为多张，同一烹饪阶段内，位于越靠后时刻的里程碑图像与起始帧图像的相似度越低。

在本发明所述方法其中一实施例中，所述根据所述特征信息与先验特征信息之间的第一相似度确定所述烹饪阶段的起始帧图像的步骤还包括：

根据起始帧图像中所获取的食材体积信息调整所述烹饪控制程序中的时长参数和/或火力参数；或者，

根据起始帧图像中所获取的食材体积信息发出食材切分提醒。

该实施例中，对相同的食材进行烹饪，如果食材的初始体积不同，其烹饪过程中所需要的烹饪参数是不相同的。食材在烹饪过程中，由于水分蒸发等因素的影响，会导致食材的体积发生变化，因此要想为不同体积的食材设置合适的烹饪参数，有必要在烹饪初始时确定食材的体积，从而为烹饪控制程序的调整提供依据。基于此，在该实施例中，根据起始帧图像中所获取的食材体积信息调整所述烹饪控制程序中的时长参数和/或火力参数；或者，当食材体积过大的情况下，烹饪设备还会通知用户对食材进行切分，从而确保食材能够获得充分、均匀地加热。

在本发明所述方法的其中一实施例中，所述根据所述起始帧图像中食材的特征信息与在后图像中食材的特征信息之间的第二相似度确定所述里程碑图像的步骤还包括：

根据所述里程碑图像中所获取的食材颜色信息和/或食材体积信息确定所述烹饪控制程序的切换时机。

该实施例中，能够根据食材颜色信息和/或食材体积信息确定当前所处的烹饪阶段，因而在每一烹饪阶段开始时，可以对烹饪控制程序进行切换，以使烹饪控制程序与当前的烹饪阶段相匹配。采用该实施例中的方法，能够准确使烹饪设备准确把握烹饪控制程序的切换时机，从而有助于改善烹饪效果，并提升烹饪设备的智能化程度。

在本发明所述方法其中一实施例中，所述提取至少一帧食材图像中食材的特征信息的步骤包括：

提取所述至少一帧食材图像中食材的颜色直方图信息；

对所述颜色直方图信息进行量化处理以获取相应食材图像中各区域的目标颜色特征向量；

根据所述目标颜色特征向量表征所述食材颜色信息。

该实施例中，通过颜色直方图信息来获取食材图像中各区域的目标颜色特征向量，从而根据目标颜色特征向量来表征食材颜色信息。采用该实施例中的方法，能够使食材图像中的食材颜色信息得以量化提取，从而为烹饪阶段的判断以及压缩生成烹饪短视频提供了可处理的数据样本，大大提升了烹饪阶段判断的准确性，同时也使得压缩过程中图像数据的取舍更加明确。

如图5所示的，揭示了本发明所述方法其中一实施例中食材颜色信息提取的示意图。在对食材图像进行前景背景分离后获得包含有食材的、如图5所示的目标区域5001，对目标区域5001进行非均匀分块处理，形成1-9共9个子区域，分别对每个子区域进行颜色直方图特征提取，灰度等级按照32进行划分，从而每个子区域生成一组颜色特征

对该组特征进行均值计算，生成各子区域的颜色均值

其中，目标颜色特征向量为：

为正态分布函数，

Disi为第i个子区域的中心位置到第一个子区域中心位置的距离。同步将图像从RGB颜色空间转换到HSV颜色空间，按照上述计算方式生成HSV空间的颜色特征F_hsv，然后拼接成一个3*18的特征数组，可以有效的表示出目标区域的食材颜色。

在本发明所述方法的其中一实施例中，所述提取至少一帧食材图像中食材的特征信息的步骤包括：

提取所述至少一帧食材图像中食材的轮廓点序列信息；

基于所述轮廓点序列信息生成食材形态特征向量；

根据所述食材形态特征向量表征所述食材体积信息。

该实施例中，也可以通过食材体积的变化来确定烹饪阶段，且食材体积信息和食材颜色信息在用于做烹饪阶段的判断时，可以相互结合、相互印证。在本发明所述方法的其中一实施例中，为了全面描述食材体积信息，需要选取相对稳定的食材体积特征来标记食材的形态。

具体地，包括以下步骤：

1、需要提取食材的轮廓点序列信息{Points}，并基于食材的轮廓点序列信息确定轮廓点序所构成的多边形的面积信息Area；

2、基于{Points}数据和Area数据衍生出目标食材外轮廓的圆形度信息Fcircle，以及通过轮廓点序拟合的几何形状信息Fshape；

3、基于轮廓点序列信息{Points}量化提取角点特征序列{Corners}；

4、对轮廓点序列所围成的区域进行食材纹理特征的提取，使用Gabor变换对图像进行处理，使所提取的食材纹理特征不受光线及阴影影响，生成一组Gabor特征序列{Fgabor}；

5、将上述五组特征进行组合，生成食材形态特征向量对食材体积信息进行表征，其中食材形态特征向量Ffood＝{{Points}，Area，Fcircle，Fshape，{Corners}，{Fgabor}}，该食材形态特征向量Ffood可以有效描述食材的体积和形态，避免仅对食材的局部形态特征进行描述，且使得烹饪设备对于食材形态和体积变化的感知与人的感官判断趋于一致。

上述实施例中，食材颜色信息和食材体积信息均可量化提取，因而相应地，上述数据可以由厂商预先通过实验、大数据统计等方式获取和积累，从而形成先验特征信息，用于进行特征信息和先验特征信息之间的对比，以确定食材图像所对应的烹饪阶段。

在本发明所述方法的其中一实施例中，所述方法还包括：根据所述食材颜色信息对所述里程碑图像进行压缩生成所述烹饪过程的烹饪短视频。

该实施例中，食材颜色信息一方面可以作为烹饪阶段判断的依据，另一方面也用于对里程碑图像进行压缩，以实现图像数据的取舍，生成烹饪短视频，并节省图像处理、存储以及传输的数据量压力。

如图8所示的，涉及本发明方法其中一实施例的烹饪设备。该实施例中的烹饪设备8000，包括：

提取模块8001，用于提取至少一帧食材图像中食材的特征信息；

处理模块8002，用于根据特征信息调整烹饪设备的烹饪控制程序。

该实施例中的烹饪设备8000，能够获取食材图像，并提取出食材的特征信息，其处理模块8002能够根据特征信息调整烹饪设备8000的烹饪控制程序，从而实现了自动烹饪的目的。其中，食材图像可以由烹饪设备8000拍摄获取，或者由其他设备转发至烹饪设备8000。食材的特征信息包括但不限于食材颜色信息和/或食材体积信息。

实施例三：

图9和图10涉及本发明烹饪设备的其中一实施例。其中图9为本发明所述烹饪设备其中一实施例的结构示意图，图10为本发明所述烹饪设备其中一实施例的模块架构图。该实施例揭示了一种具有短视频获取功能的烹饪设备9000，包括加热单元9001、盛放食材的烹饪空间9002、获取烹饪过程中食材变化情况的摄像头9003、控制系统9004，控制系统包括驱动加热单元9001工作的驱动电路9005、视频处理单元9006，摄像头9003用于拍摄食材变化相关的视频，视频处理单元9006用于通过摄像头9003获取食材在所处烹饪阶段中的里程碑图像，并根据里程碑图像节选食材变化相关的视频来生成烹饪过程的短视频。

该实施例中的烹饪设备9000能够拍摄食材的变化情况，并智能筛选食材在所处烹饪阶段中的里程碑图像，根据里程碑图像对食材变化相关的视频进行节选来生成烹饪过程的短视频。该实施例中将烹饪过程以短视频的形式进行展现，不仅有助于用户快速掌握烹饪情况，而且能够删减大量的冗余图像数据，一方面节省了用户精力，另一方面也节约了网络传输以及数据存储资源。

在本发明所述烹饪设备的其中一实施例中，所述烹饪设备设置有通信单元，所述控制系统根据标准选择信息确定压缩标准并对所述短视频进行压缩，压缩后的短视频通过所述通信单元发出。

该实施例中，烹饪设备9000还设置有通信单元9007，烹饪设备9000所拍摄的短视频可以供通过自己的智能终端进行查看、观赏，也可以供用户通过社交软件进行分享；另外，相应的短视频还可以用于厂商对烹饪视频数据的收集以及食材识别模型的训练。该实施例中的烹饪设备9000配置有通信单元9007，能够满足上述需求，将压缩后的短视频通过通信单元9007发送至用户的智能终端，或者上传至厂商的云端平台。其中，对应于不同的用途，控制系统9004会根据所接收到的标准选择信息来确定不同的压缩标准，对短视频进行压缩。

在本发明所述烹饪设备的其中一实施例中，所述标准选择信息包括所述食材的种类信息以及所述烹饪设备的设备类型信息，所述控制系统根据该标准选择信息选取MPEG标准作为压缩标准对所述短视频进行压缩，压缩后的短视频通过所述通信单元发往云端平台。

该实施例中，基于食材图像还可以对食材种类进行识别，获取相应的食材种类信息。在本实施例中，烹饪短视频主要用于模型训练数据的积累，通过收集用户烹饪产生的烹饪短视频，能够提升食材识别的准确性以及烹饪阶段判断的准确性。该实施例中的烹饪短视频用于模型训练数据的积累，主要关心食材种类的多样性，以及不同类型的设备中受产品结构、光线、阴影等导致的视频图像的差异等，并且希望所获得的烹饪短视频尽可能真实地反映烹饪设备中食材的变化情况。基于以上原因，该实施例中主要依据食材种类信息以及烹饪设备的设备类型信息对里程碑图像进行处理，并选取MPEG标准作为压缩标准，从而使获得的烹饪短视频内容能够满足模型数据积累的需求，并减少了由于图像压缩而导致的图像质量的下降和失真。

在本发明所述烹饪设备的其中一实施例中，所述标准选择信息包括所述短视频的时长信息以及所述烹饪设备的唯一标识信息，所述控制系统根据该标准选择信息选取H264标准作为压缩标准对所述短视频进行压缩，压缩后的短视频通过所述通信单元发往用户终端。

该实施例中，烹饪短视频用于用户的观赏和分享，主要关心烹饪设备与用户(主要是用户的智能终端)之间的绑定关系，以及视频的大小、时长等约束，旨在帮助用户快速掌握烹饪过程中食材的关键变化，以享受烹饪带来的乐趣。在此情况下，该实施例中根据烹饪短视频的时长信息以及烹饪设备的设备ID对里程碑图像进行了处理，从而使烹饪短视频的时长尽可能地满足一些短视频应用程序的要求(例如短视频的时长不超过15s)，以及根据烹饪设备的设备ID确定其所绑定的智能终端，并使里程碑图像在经过处理后在分辨率、画质方面与用户的智能终端相匹配，以及对里程碑图像进行滤镜、美颜等处理，从而使生成的烹饪短视频更适宜于用户观赏和分享，增加用户烹饪的趣味性。同时，该实施例中的烹饪短视频涉及到存储和分享，且对于食材变化过程的真实反映需求没有那么强烈，因而压缩生成的烹饪短视频所占的数据空间应该尽可能小，较为适宜地，应该选取H264标准对处理后的里程碑图像进行压缩。

在本发明所述烹饪设备的其中一实施例中，所述视频处理单元还用于对食材进行识别，并提取相应食材的特征信息。在本发明所述烹饪设备的其中一实施例中，所述特征信息包括相应食材的颜色信息和/或体积信息。该实施例中，视频处理单元9006能够识别所获取的图像中食材的种类，并提取相应食材的特征信息，这些特征信息包括但不限于相应食材的颜色信息和/或体积信息。

在本发明所述烹饪设备的其中一实施例中，所述视频处理单元根据所述特征信息确定烹饪过程中的烹饪阶段，并在所述食材变化相关的视频中筛选确定与所述烹饪阶段相对应的里程碑图像。在本发明所述烹饪设备的其中一实施例中，所述视频处理单元根据所述特征信息与先验特征信息之间的第一相似度确定所述烹饪阶段的起始帧图像，并根据所述起始帧图像中食材的特征信息与在后图像中食材的特征信息之间的第二相似度确定所述里程碑图像，所述在后图像为相应烹饪阶段内位于所述起始帧图像之后的图像序列中的食材图像。

该实施例中，视频处理单元9006将所获取的特征信息与先验特征信息进行对比并确定第一相似度，从而确定出对应烹饪阶段的起始帧图像；进一步地，视频处理单元9006还将在后图像与起始帧图像进行对比并确定第二相似度，从而确定出对应烹饪阶段的里程碑图像。通过该特征对比和相似度阈值比较的方案，为烹饪阶段的划分提供了依据，也为节选食材变化相关的视频确定了节点。

在本发明所述烹饪设备的其中一实施例中，所述视频处理单元执行如下操作以表征所述颜色信息：

提取所述食材变化相关的视频中至少一帧图像的颜色直方图信息；

对所述颜色直方图信息进行量化处理以获取相应图像中各区域的目标颜色特征向量；

根据所述目标颜色特征向量表征所述颜色信息。

在本发明所述烹饪设备的其中一实施例中，所述视频处理单元执行如下操作以表征所述体积信息：

提取所述食材变化相关的视频中至少一帧图像的轮廓点序列信息；

基于所述轮廓点序列信息生成食材形态特征向量；

根据所述食材形态特征向量表征所述体积信息。

该实施例中，视频处理单元9006通过目标颜色特征向量来表征食材的颜色信息，通过食材形态特征向量来表征食材的体积信息。

上述具体实施方式只是用于说明本发明的设计方法，并不能用来限定本发明的保护范围。对于在本发明技术方案的思想指导下的变形和转换，都应该归于本发明保护范围以内。

Claims (8)

1.一种烹饪设备的烹饪控制方法，其特征在于，包括：

提取至少一帧食材图像中食材的特征信息；

根据所述特征信息确定烹饪过程中的烹饪阶段，并调整所述烹饪设备的烹饪控制程序；其中，根据所述特征信息确定烹饪过程中的烹饪阶段的步骤包括：

根据所述特征信息与先验特征信息之间的第一相似度确定所述烹饪阶段的起始帧图像；

根据所述起始帧图像中食材的特征信息与在后图像中食材的特征信息之间的第二相似度确定里程碑图像，所述在后图像为相应烹饪阶段内位于所述起始帧图像之后的图像序列中的食材图像，所述里程碑图像对应于图像采集时刻所处的烹饪阶段，且能反映食材在该烹饪阶段中的关键变化。

2.根据权利要求1所述的方法，其特征在于，所述特征信息包括食材颜色信息和/或食材体积信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述特征信息与先验特征信息之间的第一相似度确定所述烹饪阶段的起始帧图像的步骤还包括：

根据起始帧图像中所获取的食材体积信息调整所述烹饪控制程序中的时长参数和/或火力参数；或者，

根据起始帧图像中所获取的食材体积信息发出食材切分提醒。

4.根据权利要求1所述的方法，其特征在于，所述根据所述起始帧图像中食材的特征信息与在后图像中食材的特征信息之间的第二相似度确定所述里程碑图像的步骤还包括：

根据所述里程碑图像中所获取的食材颜色信息和/或食材体积信息确定所述烹饪控制程序的切换时机。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述提取至少一帧食材图像中食材的特征信息的步骤包括：

提取所述至少一帧食材图像中食材的颜色直方图信息；

对所述颜色直方图信息进行量化处理以获取相应食材图像中各区域的目标颜色特征向量；

根据所述目标颜色特征向量表征食材颜色信息。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述提取至少一帧食材图像中食材的特征信息的步骤包括：

提取所述至少一帧食材图像中食材的轮廓点序列信息；

基于所述轮廓点序列信息生成食材形态特征向量；

根据所述食材形态特征向量表征食材体积信息。

7.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：根据食材颜色信息对所述里程碑图像进行压缩生成所述烹饪过程的烹饪短视频。

8.一种烹饪设备，其特征在于，包括：

提取模块，用于提取至少一帧食材图像中食材的特征信息；

处理模块，用于根据所述特征信息确定烹饪过程中的烹饪阶段，并调整所述烹饪设备的烹饪控制程序；其中，根据所述特征信息确定烹饪过程中的烹饪阶段的步骤包括：

根据所述特征信息与先验特征信息之间的第一相似度确定所述烹饪阶段的起始帧图像；

根据所述起始帧图像中食材的特征信息与在后图像中食材的特征信息之间的第二相似度确定里程碑图像，所述在后图像为相应烹饪阶段内位于所述起始帧图像之后的图像序列中的食材图像，所述里程碑图像对应于图像采集时刻所处的烹饪阶段，且能反映食材在该烹饪阶段中的关键变化。

Images