CN110658118B - 一种烹饪烟雾的检测方法以及烟机 - Google Patents

Abstract

本发明揭示了一种烹饪烟雾的图像检测方法，包括：采集预设的烹饪区域内的图像序列；根据图像序列确定烹饪区域内气流相对于烹饪区域的水平投影面的运动方向；根据运动方向确定用于进行烟雾浓度量化的目标区域图像；提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度。采用本发明所述的方法，能够判断烹饪过程中是否有风，并区分有风和无风状态，采用不同的算法对烟雾浓度进行计算。本发明同时还揭示了一种烟机，能够根据风向和烟雾浓度智能调节吸风口以及风机转速，大大提升了烟机产品的用户体验。

Description

一种烹饪烟雾的检测方法以及烟机

技术领域

本发明涉及厨房烹饪领域，更具体地说，涉及一种烹饪烟雾的检测方法。本发明同时还揭示了一种烟机。

背景技术

目前基于图像的烟雾检测的方法主要有几种：

1、通过颜色判断，烟雾的R(红)、G(绿)、B(蓝)分量比较集中，趋于一致；YUV代表一种图像格式，Y代表明亮度，U、V代表色度；HIS也代表一种图像格式，I为强度，Y分量变化基本与R，G，B形同，但U，V分量会减少；烟雾是图片颜色变浅，所以饱和度S会减少，I分量是R，G，B的线性组合，所以变化情况基本是：如果烟雾呈现黑色特性，I分量会向像素小的方向移动，如果烟雾呈现灰白色特性，则I分量会向像素增大的方向移动。所以通过分析烟雾颜色空间里各分量的性质，可以将提取的烟雾颜色分量作为表征烟雾的特征。但是这个只适合应用于大烟雾的场景，对于烹饪过程，时常出现的小烟雾，不稳定烟雾，基本无法实现。

2、通过提取画面的特征强度进行判断，例如烟雾条件小，画面模糊，特性明显下降，但是这种方法首先需要确定一个基准的背景特征。但是对于不同的家庭环境，不同的光照条件，烹饪过程，器皿摆放都会影响背景特征的提取。因而很难提供一个稳定的背景特征。所以该方法只适用于强烟雾条件。在强烟雾条件下，画面特征基本完全消失。通过这个方式进行单一强烟雾判断，这对于烟机调整来说用途并不大，因为烹饪过程种出现这种情况的，一般只出现在焖锅之后，突然掀开锅盖才会出现。

3、采用光流检测方法判断，光流检测方法应用烟雾的扩散特性和运动特性，但是这个方法在烹饪过程中进行应用时存在诸多困难需要克服，难以对烟雾的浓度进行判断，因为烹饪过程中，人的运动幅度特性远远高于烟雾，而且弱烟雾的运动特性会被图像形成的噪声干扰。这些噪声可能来源于灯光、阴影，电子噪声等。

除此之外，目前的烟雾图像检测方法通常是在理想环境下进行，没有考虑实际厨房场景下空气流动的影响，不同的风向以及风力会对烟雾图像造成扰动，从而大大影响目前的烟雾图像检测方法的准确度和可靠性。

发明内容

本发明为解决上述现有技术中存在的技术问题，提供了一种烹饪烟雾的图像检测方法，该方法能够在烟雾检测过程中，确定出厨房环境内风力的有无以及风向，并根据有风和无风情况分别采用对应的算法计算烟雾浓度，从而节约了运算资源，并提升了烟雾图像识别的准确性和可靠性。本发明同时还揭示了一种烟机，能够实施所述方法，根据风向以及烟雾浓度智能调节吸风角度以及风机转速。

为达到上述目的，本发明采用的技术方案如下：

一种烹饪烟雾的图像检测方法，包括：采集预设的烹饪区域内的图像序列；根据图像序列确定烹饪区域内气流相对于烹饪区域的水平投影面的运动方向；根据运动方向确定用于进行烟雾浓度量化的目标区域图像；提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度。

进一步地，根据图像序列确定烹饪区域内气流相对于烹饪区域的水平投影面的运动方向的步骤包括：采用光流法确定图像序列中各图像的光流矢量场并计算每张图像中所有像素点在水平投影面内所形成的运动合矢量f(x,y)；根据运动合矢量f(x,y)确定该矢量的运动幅度|f(x,y)|；根据预设的最大运动幅度值|f(x，y)|max对各图像中的光流矢量场进行归零处理以排除烹饪动作所形成的运动干扰；重新确定图像序列中各图像的光流矢量场并计算每张图像中所有像素点在水平投影面内所形成的x方向的运动分量fx以及y方向的运动分量fy；将运动分量fx的运动幅度|fx|、合成运动fx+fy的运动幅度|fx+fy|分别与预设方向上的运动幅度阈值|ft|进行比较，以将烹饪过程区分为有风状态和无风状态，并确定有风状态下相应的风向。

进一步地，烹饪过程为无风状态，根据运动方向确定用于进行烟雾浓度量化的目标区域图像的步骤包括：获取烟机的设备信息以及当前烹饪锅具的锅具信息；根据设备信息、锅具信息以及预设的烟雾区域预测模型对当前烟雾的聚集区域进行预测以获取目标区域图像；其中，烟雾的聚集区域位于以当前烹饪锅具的中心为圆心的相应位置的扇形区域内，设备信息至少包括烟机类型，锅具信息至少包括锅具类型。

进一步地，提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤包括：通过帧间差分法对图像序列中的变化区域进行剔除，以获取当前烹饪环境的背景图像；对背景图像进行滤波处理，并使用边缘检测算子进行边缘检测，通过轮廓提取方式提取若干个包含有规则几何图形的最小外接图框，并按照图形尺寸进行排除以确定疑似锅具区域和/或疑似灶头区域；按照所预测的烟雾的聚集区域对疑似锅具区域进行截取以提取目标区域图像。

进一步地，提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤还包括：使用小波分解算子对平滑后的目标区域图像进行多次地小波高低频分解，以获取高频分量图和低频分量图对烟雾图像进行表征；计算各高频分量图中相应region区域的高频分量的累加和Hen，其中

计算各低频分量图中相应region区域的低频分量的累加和Len，其中

根据高频分量的累加和Hen以及低频分量的累加和Len计算烟雾浓度α，其中

α＝lg(Len/Hen)*100，

HL、LH、HH为高频分量图，LL为低频分量图，region区域为烟雾图像所在区域。

进一步地，烹饪过程为有风状态，提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤包括：通过帧间差分法对图像序列中的变化区域进行剔除，以获取当前烹饪环境的背景图像；对背景图像进行滤波处理，并使用边缘检测算子进行边缘检测，通过轮廓提取方式提取若干个包含有规则几何图形的最小外接图框，并按照图形尺寸进行排除以确定疑似锅具区域和/或疑似灶头区域；截取包含有疑似锅具区域和/或疑似灶头区域的整个灶台区域作为目标区域图像。

进一步地，提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤还包括：对目标区域图像进行分割形成若干个局域图像；使用小波分解算子分别对平滑后的各个局域图像进行多次地小波高低频分解，以分别获取各个局域图像的高频分量图和低频分量图对烟雾图像进行表征；分别计算第i个局域图像的高频分量图中相应region区域的高频分量的累加和heni，以及第i个局域图像的低频分量图中相应region区域的低频分量的累加和leni；根据高频分量的累加和heni以及低频分量的累加和leni计算烟雾浓度α，其中α＝Max{lg(leni/heni)*100}。

进一步地，采集预设的烹饪区域内的图像序列的步骤包括：采用摄像头在预览模式下获取图像序列，并对图像序列进行灰阶处理、二值化处理以及膨胀处理。

进一步地，方法还包括：根据运动方向和/或烟雾浓度对烟机的吸风角度和/或转速进行调节。

本发明同时还揭示了一种烟机：

一种用于实施所述方法的烟机，包括摄像头、处理器、风机以及吸风口调节装置，其中：摄像头用于采集预设的烹饪区域内的图像序列；处理器用于确定烹饪区域内气流相对于烹饪区域的水平投影面的运动方向并按照预设算法计算烟雾浓度；处理器还用于根据运动方向对吸风口调节装置进行控制以改变吸风口的角度，和/或根据烟雾浓度对风机进行控制以改变风机的转速。

本发明技术方案的有益效果如下：

本发明所揭示一种烹饪烟雾的图像检测方法，能够排除烹饪动作干扰，区分有风烹饪状态和无风烹饪状态，对烹饪烟雾的浓度进行精准量化，在厨电智能化方面具有极高的应用场景。本发明还揭示了一种烟机，采用了图像识别技术，能够智能调节烟机吸风的方向以及功率。

附图说明

图1是本发明所述方法其中一实施例的步骤框图；

图2是本发明所述方法其中一实施例的场景示意图；

图3是本发明所述方法其中一实施例的无风状态下的流程示意图；

图4a-图4c是本发明所述方法其中一实施例中烟机类型示意图；

图5a-图5c是本发明所述方法其中一实施例的无风状态下的目标区域图像的示意图；

图6是本发明所述方法其中一实施例的无风状态下的实物场景图；

图7是本发明所述方法其中一实施例中无风状态下对烟雾进行表征的示意图；

图8是本发明所述方法其中一实施例中有风状态下的流程示意图；

图9是本发明所述方法其中一实施例中有风状态下的目标区域图像的示意图；

图10是本发明所述方法其中一实施例中有风状态下对烟雾进行表征的示意图；

图11是本发明所述烟机的硬件架构图。

具体实施方式

以下通过附图和具体实施例对本发明所提供的技术方案做更加详细的描述：

附图1揭示了本发明所述方法的具体实施例。如图1所示的，是本发明所述方法其中一实施例的步骤框图，该实施例中揭示了一种烹饪烟雾的图像检测方法，包括：

步骤101，采集预设的烹饪区域内的图像序列；

步骤102，根据图像序列确定烹饪区域内气流相对于烹饪区域的水平投影面的运动方向；

步骤103，根据运动方向确定用于进行烟雾浓度量化的目标区域图像；

步骤104，提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度。

该实施例中，使用图像技术对实际烹饪场景中的烟雾进行检测，一方面能够判断当前烹饪状态是否有风并确定风向，另一方面能够量化烟雾的浓度，从而为烟机等厨房家电的自动化工作提供了控制依据。该实施例中，考虑了实际烹饪场景中空气对流对烟雾的图像检测所带来的影响，在对烟雾图像进行表征和识别之前，首先确定了气流相对于烹饪区域的水平投影面的运动方向，从而能够判断出当前属于有风状态还是无风状态，方便后续分情况地选择目标区域图像和算法，以降低算法难度、数据处理量以及硬件门槛。

该实施例中，所采集的图像序列可以实时地反映烟雾运动以及烟雾浓度的变化状态，从而使烟机等厨电设备的控制调节更具即时性。而对于步骤102中气流运动方向的判断，一方面可以确定风力的有无以及方向以供烟机调整吸风角度，另一方面也作为后续目标区域图像以及算法的选择依据，从而在增加风向判断功能的同时，还有助于降低图像数据处理对软件算法以及硬件设备的要求。该实施例中根据所述运动方向确定目标区域图像，使得目标区域图像的选择更加精准，避免了每次检测都使用整个烹饪区域的图像进行处理，大大节省了算法及硬件成本。所选取的目标区域图像是每张图像中最能表征当前烟雾状态的区域，从而大大提高了烟雾浓度计算的可靠性和准确性。

该实施例中，烟雾图像难以直接进行识别，但本发明巧妙地采用高低频分量对烟雾图像进行表征，从而间接地识别和反映了烹饪过程中的烟雾浓度情况。本领域人员可以理解的，本发明中的烹饪区域涉及厨房环境，主要集中于灶台以及烟机之间的烹饪工作区域，根据设备情况的不同，该相应区域可能适当变动。相应地，所述水平投影面通常与灶台上表面所在的平面重合。

如图2所示的，是本发明所述方法其中一实施例场景示意图。该实施例中，包括烟机201和灶台203，烟机201上设置有摄像头202对烟机201下方的烹饪区域进行拍摄，灶台203上设置有左灶头205a和右灶头205b，其中灶台203上表面所在的平面即为烹饪区域的水平投影面204。作为本发明所述方法的其中一实施例，所述根据所述图像序列确定烹饪区域内气流相对于所述烹饪区域的水平投影面的运动方向的步骤包括：

采用光流法确定所述图像序列中各图像的光流矢量场并计算在所述水平投影面内所形成的运动合矢量f(x,y)；

根据所述运动合矢量f(x,y)确定该矢量的运动幅度|f(x,y)|；

根据预设的最大运动幅度值|f(x，y)|max对各图像中的光流矢量场进行归零处理以排除烹饪动作所形成的运动干扰；

重新确定所述图像序列中各图像的光流矢量场并计算在所述水平投影面内所形成的x方向的运动分量fx以及y方向的运动分量fy；

将运动分量fx的运动幅度|fx|、合成运动fx+fy的运动幅度|fx+fy|分别与预设的运动幅度阈值|ft|进行比较，将烹饪过程区分为有风状态和无风状态，并确定有风状态下相应的风向。

该实施例中，通过光流法计算获得每张图像的光流矢量场，并根据每张图像中所有像素点的运动矢量情况计算出在水平投影面内的运动合矢量f(x,y)及其幅度|f(x,y)|，同时通过最大运动幅度值|f(x，y)|max与|f(x,y)|进行比较以实现归零处理，从而排除了烹饪动作所形成的运动干扰。采用归零处理的原理在于，如果光流图像的变化是由烟雾所致，则相应的运动幅度通常远远小于预设的最大运动幅度值；相反，如果光流图像的变化是由烹饪动作所致，则相应的运动幅度一般会超出最大运动幅度值，因而可以将超出最大运动幅度值的运动对象加以排除，从而消除烹饪动作所形成的运动干扰。另外，在排除烹饪动作的干扰后，重新对每张图像进行计算，此时所获得的光流矢量场中，运动基本都是由烹饪烟雾的飘散所导致的，因而可以根据每张图像中所有像素点在水平投影面内所形成的x方向的运动分量fx以及y方向的运动分量fy区分烹饪过程，并确定有风状态下的风向。该实施例中，没有通过光流法直接对烟雾图像进行识别，而是利用光流法进行有风无风以及有风风向的判断，因而即使存在明暗变化、电子噪声等，也并不会对判断结果造成严重的影响。

厨房环境由于需要将油烟排出室内，一般都设置有窗户，因而厨房环境中的风主要是由空气通过窗户形成室内和室外的对流产生。而在烹饪过程中，如图2所示的，对流产生的风主要从灶台203的左右方向经过，目前的烟机等一般不考虑烟雾具体的集中区域，只设置有开关和档位，统一以固定的吸风角度、相同的吸力无差别地对灶台203上方的烟雾进行抽吸，而实际烹饪情况下，用户可能仅使用其中某一个灶头，该种情况下烟雾通常仅集中于灶台203的某一侧，因而科学的抽吸方法应该是调整两侧吸力的大小和角度，集中对用户所使用的灶头上方的区域进行抽吸，而不用在另一侧也使用相同的吸力抽吸；另外，如果用户开着窗户进行烹饪，则有可能用户虽然使用左灶头205a进行烹饪，但由于风力的作用烟雾已大量飘散至右灶头205b上方区域附近，此时则应该将吸风角度偏向右侧并加大烟机右侧方向的吸力，然而由于烹饪烟雾具有随机性和即时性，目前的烟机产品无法准确判断烟雾的集中区域，因而无法实现该即时调节的功能。而采用该实施例中的方案，则可以准确获知烹饪过程是否有风，并确定风的方向，而且不管用户是单独使用一侧的灶头还是两侧的灶头同时使用，都能够采用该实施例中的方法进行判断。在无风情况下，可以采用本发明所述的方法分别对左、右灶头上的锅具提取目标区域图像进行烟雾浓度的计算；在有风情况下，则以整个灶台203区域作为目标区域图像进行烟雾浓度的计算，而不用将左、右灶台分别进行处理。

作为本发明所述方法的其中一实施例，以灶台203上表面中从左到右的方向为x轴的正方向，以灶台203上表面中从后向前的方向为y轴正方向。该实施例中，不管f(x,y)的方向如何，只要运动合矢量|f(x,y)|＞|f(x，y)|max，则可以确定该运动由烹饪动作所导致，对相应的运动对象进行排除后，再重新确定光流矢量场。作为本发明所述的其中一实施例，所述预设方向为x轴的正方向：

若fx与ft同向，|fx|＞|ft|，且|fx+fy|＞|ft|，则确定风向为从左到右的方向；

若fx与ft反向，|fx|＞|ft|，且|fx+fy|＞|ft|，则确定风向为从右到左的方向；

若|fx|＜|ft|，且|fx+fy|＜|ft|，则确定为无风状态。

该实施例中，由于灶台203的前方通常为墙壁，后方通常有用户阻挡，因而在前后方向上通常难以形成较强的空气对流，在本发明所述方法中前后方向的风对烟雾聚集区域的影响可基本忽略，而重点考虑左右方向的风所造成的影响。

作为本发明所述方法的其中一实施例，所述烹饪过程为无风状态，所述根据所述运动方向确定用于进行烟雾浓度量化的目标区域图像的步骤包括：

获取烟机的设备信息以及当前烹饪锅具的锅具信息；

根据所述设备信息、所述锅具信息以及预设的烟雾区域预测模型对当前烟雾的聚集区域进行预测以获取所述目标区域图像；

其中，烟雾的聚集区域位于以当前烹饪锅具的中心为圆心的相应位置的扇形区域内，所述设备信息至少包括烟机类型，所述锅具信息至少包括锅具类型。

该实施例中，在判断出当前为无风状态时，可以根据设备信息、锅具信息以及烟雾区域预测模型对当前烟雾的聚集区域进行预测，从而将相应的区域确定为目标区域图像直接进行截取，而无需将整个烹饪区域的图像进行截取和处理，从而大大降低了对图像数据的运算量。其中的设备信息至少包括烟机类型，锅具信息至少包括锅具类型。该实施例中的烟机，作为智能产品，能够储存自身的设备信息，用以判断烟机类型，例如，烟机类型包括目前主流的直吸式烟机、侧吸式烟机以及隐形烟机(烟机设置于墙体内)。本领域人员可以理解地，设备信息涉及内容非常广泛，相应的设备信息越详尽，越有利于本方法中对烟雾的聚集区域进行预测。对于锅具信息，至少包括锅具类型，例如，锅具类型包括目前主流的煎锅、炒锅、炖锅、蒸锅等，上述不同类型的锅具，其锅具的深度依次增高(一般地，煎锅深3～5cm，炒锅深9～12cm，炖锅/蒸锅深13～16cm)，会对烟雾的聚集区域造成影响，因而需要根据锅具类型确定相应锅具的深度信息，以更加准确地预测烟雾的聚集区域。其中，锅具类型可以通过摄像头所获取的锅具的口径信息加以判断，这样做的优势是算法简单；也可以通过图像识别和大数据训练的方式加以判断，这样做的优势是判断结果较为准确，但所需的运算量较大，且通常需要在云端进行识别。所述锅具信息还可以通过其他方式获取，尤其地，若锅具为智能锅具，则其能够直接获知自身的锅具信息，并进行反馈。

图3-图7涉及本发明所述方法的无风状态下的具体实施例。图3是本发明所述方法其中一实施例的无风状态下的流程示意图。该实施例中，包括：

步骤301，识别是否有空气对流：判断为有风状态还是无风状态，以确定后续的算法；

步骤302，若是，则按有风状态处理；

步骤303，若否，则识别用户本次烹饪所用灶头：确定用户在哪一侧进行烹饪；

步骤304，获取设备信息：确定烟机类型，用于后续对烟雾聚集区域进行预测；

步骤305，确定锅具类型：确定锅具为煎锅、炒锅还是炖锅/蒸锅，用于后续对烟雾聚集区域进行预测；

步骤306，预测烟雾的聚集区域并提取图像：仅截取目标区域图像用于烟雾浓度的计算，大大降低运算量；

步骤307，计算烟雾浓度：按照预设算法对烟雾浓度进行计算。

该实施例中，采用预设的烟雾区域预测模型对当前烟雾的聚集区域进行预测以获取所述目标区域图像，烟雾区域预测模型可以由厂商预先训练，视硬件能力部署于烟机本地或者云端服务器。在对烟雾的聚集区域进行预测时，烟机类型以及锅具类型的不同，会输出不同的预测结果，以作为截取目标区域图像的依据。图4a-图4c涉及本发明所述方法其中一实施例烟机类型示意图，而图5涉及本发明所述方法其中一实施例的无风状态下的目标区域图像的示意图。如图4所示的，其中图4a涉及直吸式烟机401，图4b涉及侧吸式烟机402，图4c涉及隐形烟机403，相应烟机上可以设置摄像头，视角范围覆盖烹饪区域，以拍摄锅具404以及灶台405周边区域的烟雾图像，用于判断风向并进行烟雾浓度的计算。

图5a-图5c则给出了不同烟机类型、不同锅具类型下，预测获取的目标区域图像的示意图。如图5a所示的，涉及侧吸式烟机402，图5a中的锅具从左至右依次为煎锅501、炒锅502以及炖锅503，相应锅具的深度依次递增，以左灶头为例进行说明，其中黑色区域为烟雾区域预测模型所预测的烟雾聚集区域，白色区域为无明显烟雾区域，可以看到，无风状态下采用侧吸式烟机402、煎锅501在左侧灶头进行烹饪，烟雾聚集区域主要为煎锅501的左上1/4圆的扇形面积区域内；无风状态下采用侧吸式烟机402、炒锅502在左侧灶头进行烹饪，烟雾聚集区域主要为炒锅502的左侧偏上1/3圆的扇形面积区域内；无风状态下采用侧吸式烟机402、炖锅503在左侧灶头进行烹饪，烟雾聚集区域主要为炖锅503左侧1/2圆的扇形面积区域内，因此会将相应烟雾聚集区域截取为目标区域图像进行后续运算，而无需截取整锅或整锅灶台进行后续运算，从而能够降低图像数据运算的量级以及难度。烟雾会按照上述规律进行聚集的原因在于，烟机工作原理为电机转动抽走周围空气从而形成相对灶台的一个负压区，风口越小，其负压值越大因而形成的吸力越大，为了增大负压，同时考虑油烟发生点距离负压点有一定距离，油烟产生后将自然向四周扩散，所以必须增大负压区的覆盖面积，目前通常的做法是在电机的前面保持一定距离设置一块拢烟板，这样在拢烟板四周将产生一个近似矩形的负压区，越靠近拢烟板四周边沿的吸力越大，因此当烹饪区域无空气对流情况下，由于左边灶头上的锅具其左半圆区域距离矩形负压区左下边沿最近，因而左下边沿对其的吸力也最大，因此左边灶头上产生的油烟主要集中于其上放置锅具的左半圆区域；同理，右边灶头上产生的油烟主要集中于其上放置锅具的右半圆区域。而烟雾聚集区域之所以会形成煎锅、炒锅、炖锅相应的不同形态，是因为锅具侧壁本身会产生一定的聚烟效应，而不同类型的锅具其深度是不一样的，随着高度的增加，其聚烟效果也会增加，其中煎锅深度最浅，烟雾还未来得及聚拢，就已经被负压区的左下边沿所捕获，沿着左前方向被抽走；炒锅的聚拢效果次之；而炖锅由于深度较深，烟雾在锅内就已很好地聚拢，聚拢后再被负压区的左下边沿所捕获，同时由于烟雾已经聚拢，部分烟雾也会被负压区的左上边沿所捕获，因而整体向左侧方向移动，形成了左侧半圆形态的烟雾聚集区域。

而如图5b所示的，涉及直吸式烟机401，当烟机为直吸式烟机401时，以使用左侧灶头进行烹饪为例，烟雾区域预测模型所预测的烟雾聚集区域如图5b所示，主要集中于左侧1/2圆的扇形区域内，而与锅具的类型以及深度关系不大，原因在于烟机负压主要来自左侧，而左前和左后方向的负压均匀，因而不管锅具504的深度如何，烟雾基本整体向左侧方向运动，从而形成了如图5b所示的烟雾聚集区域。

而如图5c所示的，涉及隐形烟机403，当烟机隐形烟机403时，以使用左侧灶头进行烹饪为例，烟雾区域预测模型所预测的烟雾聚集区域如图5b所示，主要集中于前侧1/2圆的扇形区域内，而与锅具的类型以及深度关系不大，原因在于烟机负压主要来自前侧的墙体内，而后方无负压，因而不管锅具505的深度如何，烟雾基本整体向前侧方向运动，从而形成了如图5c所示的烟雾聚集区域。

本发明的申请人通过大量实验对上述烟雾聚集的规律进行了总结，并揭示了其中的原理，然而市面上仍然有各类不同的烟机以及锅具难以穷尽，但总体上只要结合具体产品训练出合适的烟雾区域预测模型，即可采用本发明所述的方法对烟雾聚集区域进行预测，以获取相应的目标区域图像，实现降低运算量级和难度的目的。

图6涉及本发明所述方法无风状态下的实物场景图。如图6所示，无风状态下，以侧吸式烟机402、炒锅为例在左侧灶头进行烹饪，当有烟雾产生是，其烟雾的聚集区域如图6中黑色线框所示，可以看到，烟雾基本集中于炒锅左侧偏上1/3圆的扇形面积区域内，与本发明所述方法中所总结的规律一致。

在本发明所述方法的其中一实施例，所述提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤包括：

通过帧间差分法对所述图像序列中的变化区域进行剔除，以获取当前烹饪环境的背景图像；

对所述背景图像进行滤波处理，并使用边缘检测算子进行边缘检测，通过轮廓提取方式提取若干个包含有规则几何图形的最小外接图框，并按照图形尺寸进行排除以确定疑似锅具区域和/或疑似灶头区域；

按照所预测的烟雾的聚集区域对所述疑似锅具区域进行截取以提取所述目标区域图像。

该实施例中，在预测出烟雾的聚集区域之后，即可按照相应的区域对目标区域图像进行截取。具体地，首先对变化区域进行剔除以获取稳定的背景图像，然后提取包含有规则几何图形的最小外接图框，并按照图形尺寸进行排除以确定疑似锅具区域和/或疑似灶头区域。灶台表面可能存在的规则物体主要为锅具或灶头，因而相应的规则集合图形通常为圆形，锅具所对应的圆形符合一定的锅具制造标准，通常为一个完整的大圆；而灶头所对应的为一圈小圆规则排布而围成的一个圆，且灶头所对应的圆通常小于锅具的制造标准的尺寸。由此，可以确定疑似锅具区域和/或疑似灶头区域，在图像中定位出当前烹饪锅具所在的位置。进一步地，在定位完成后，即可按照预测模型对相应的目标区域图像进行提取，例如，已经找到了煎锅所在的位置，并且获知用户使用侧吸式烟机在左灶头进行烹饪，那么就可以在图像中煎锅所在位置处的左上1/4圆的扇形区域进行截取，以获取相应的目标区域图像。由此，精确地截取目标区域图像，从而减少数据运算量和运算难度。

如图7所示的，是本发明所述方法其中一实施例中无风状态下对烟雾进行表征的示意图。作为本发明所述方法的其中一实施例，所述提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤还包括：

使用小波分解算子对平滑后的所述目标区域图像进行多次地小波高低频分解，以获取高频分量图和低频分量图对所述烟雾图像进行表征；

计算各高频分量图中相应region区域的高频分量的累加和Hen，其中

计算各低频分量图中相应region区域的低频分量的累加和Len，其中

根据所述高频分量的累加和Hen以及低频分量的累加和Len计算烟雾浓度α，其中

α＝lg(Len/Hen)*100，

HL、LH、HH为高频分量图，LL为低频分量图，region区域为所述烟雾图像所在区域。

如图7所示的，通过小波分解算子对图像序列的每张图像中所提取出的目标区域图像进行小波高低频分解，能够获得图7所示的高频分量图和低频分量图，相应的高频分量图和低频分量图可以用来表征烟雾浓度的大小，从而间接实现烟雾图像识别的目的。通常一张目标区域图像通过小波变换后能够展开为一张低频分量图LL701以及三张高频分量图HL702、LH703、HH704。低频分量图和高频分量图均对应于同一目标区域图像的相应region区域，相应的region区域主要为所截取的锅具的扇形区域部分的图像。其中，低频分量能够代表图像中亮度或者灰度值变化缓慢的区域，也就是图像中的大片平坦区域，主要用于描述图像的主要对象；而高频分量能够代表图像变化剧烈的部分，也就是图像的边缘、轮廓、噪声等，主要用于描述图像的细节。烟雾浓度越大，则图像中的高频分量越小，因而能够根据低频分量和高频分量建立与烟雾浓度的关系，对烹饪过程中的烟雾浓度进行计算。其中，高频分量在三张高频分量图相应的region区域中均有分布，因而需要对三张高频分量图中的高频分量进行累加，得到Hen；而低频分量仅需统计低频分量图LL701中相应region区域的即可，从而得到Len。最后，通过公式

α＝lg(Len/Hen)*100

进行计算，即可获得相应的烟雾浓度，从而为控制烟机转速提供依据。

图8-图10涉及本发明所述方法其中一实施例中有风状态下的具体实施例，有风状态下由于将整个灶台区域截取为目标区域图像，因而无需考虑烟机类型、锅具深度、用户所使用的灶头等因素，统一按照预设算法进行计算即可。作为本发明所述方法的其中一实施例，所述烹饪过程为有风状态，所述提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤包括：

通过帧间差分法对所述图像序列中的变化区域进行剔除，以获取当前烹饪环境的背景图像；

对所述背景图像进行滤波处理，并使用边缘检测算子进行边缘检测，通过轮廓提取方式提取若干个包含有规则几何图形的最小外接图框，并按照图形尺寸进行排除以确定疑似锅具区域和/或疑似灶头区域；

截取包含有所述疑似锅具区域和/或疑似灶头区域的整个灶台区域作为目标区域图像。

作为本发明所述方法的其中一实施例，所述提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤还包括：

对所述目标区域图像进行分割形成若干个局域图像；

使用小波分解算子分别对平滑后的各个局域图像进行多次地小波高低频分解，以分别获取各个局域图像的高频分量图和低频分量图对所述烟雾图像进行表征；

分别计算第i个局域图像的高频分量图中相应region区域的高频分量的累加和heni，以及第i个局域图像的低频分量图中相应region区域的低频分量的累加和leni；

根据所述高频分量的累加和heni以及所述低频分量的累加和leni计算烟雾浓度α，其中

α＝Max{lg(leni/heni)*100}。

其中图8涉及本发明所述方法其中一实施例中有风状态下的流程示意图，包括：

步骤801，识别是否有空气对流：确定是有风状态还是无风状态；

步骤802，若否，则按无风状态处理；

步骤803，获取背景图像：通过帧间差分法获取稳定的背景图像；

步骤804，确定疑似锅具区域和/或疑似灶头区域：对锅具和灶头进行定位；

步骤805，截取整个灶台区域作为目标区域图像：以整个灶台作为目标区域图像进行后续处理；

步骤806，对目标区域图像进行分割分别计算heni和leni：将目标区域图像分割为若干块局域图像，分别进行小波变换并计算第i块局域图像对应的高频分量累加和heni和低频分量累加和leni；

步骤807，计算烟雾浓度：按照公式计算烟雾浓度，取i块局域图像换算得到的最大的烟雾浓度值作为最终的烟雾浓度检测结果。

如图9所示的，涉及本发明所述方法其中一实施例中有风状态下的目标区域图像的示意图，该实施例中，灶台901上设置有锅具902以及灶头903，左侧的锅具902放置与左灶头上，而右侧灶头903上未放置锅具。其中，锅具902呈一完整的大圆，而灶头903由若干个小圆围成一个圆形，小圆的面积远小于锅具902所形成的大圆，因而根据图形尺寸可以明显地判断和确定出相应的疑似锅具区域和/或疑似灶头区域。该实施例中，截取整个灶台901区域作为目标区域图像进行后续的处理。

如图10所述的，是本发明所述方法其中一实施例中有风状态下对烟雾进行表征的示意图。该实施例中，目标区域图像被分割为了9块局域图像，每个局域图像经过小波变换后，同样具有一个低频分量图和三个高频分量图，针对每个局域图像分别计算相应region区域的高频分量的累加和heni以及相应region区域的低频分量的累加和leni，然后按照公式α＝Max{lg(leni/heni)*100}进行计算，即可获得最终的烟雾浓度。其中，相应region区域主要为9块局域图像中包含有烟雾图像的部分。

在本发明所述方法的其中一实施例中，所述采集预设的烹饪区域内的图像序列的步骤包括：

采用摄像头在预览模式下获取所述图像序列，并对所述图像序列进行灰阶处理、二值化处理以及膨胀处理。

摄像头获取的图像数据一般有三种模式，包括拍照、录像和预览，预览模式相较于拍照模式实时性较高，而相较于视频模式图像数据量大大降低，而且在本发明所述的实施例中，预览模式下的图片已经能够满足烟雾检测的需要，因而本发明其中一实施例中，选取预览模式下的图片进行烟雾浓度的检测，从而达到降低图像数据量的目的。作为本发明所述方法的其中一实施例，也可以按照预览模式的格式参数，在拍摄之前即对摄像头的拍摄参数进行调节，从而获取相应预览模式下的图像序列，达到实时性和数据量的要求。

在本发明所述方法的其中一实施例中，，所述方法还包括：

根据所述运动方向和/或所述烟雾浓度对所述烟机的吸风角度和/或转速进行调节。在确定了风向以及烟雾浓度后，可以实时地对烟机的吸风角度和/或转速进行调节，从而实现烟机智能化自动工作的目的。

本发明所述的方法，由于最大限度地降低了图像数据的数据量和处理难度，同时也降低了硬件门槛，因而既可以通过云端技术加以实现，也可以在烟机本地加以实现，部署灵活，反映灵敏，能够实时对烹饪烟雾进行检测。

本发明同时还揭示了一种用于实施方法的烟机1101，包括摄像头1102、处理器1103、风机1104以及吸风口调节装置1105，其中：

摄像头1102用于采集预设的烹饪区域内的图像序列；

处理器1103用于确定烹饪区域内气流相对于烹饪区域的水平投影面的运动方向并按照预设算法计算烟雾浓度；

处理器1103还用于根据运动方向对吸风口调节装置1105进行控制以改变吸风口的角度，和/或根据烟雾浓度对风机1104进行控制以改变风机1104的转速。

该实施例中的烟机1101设置有摄像头1102，能够采用本发明所述的方法通过图像检测烹饪过程中的风向以及烟雾浓度，从而为实时调节风机1104和吸风口调节装置1105提供了控制依据，大大提升了烟机产品的智能化程度。作为本发明所述烟机的其中一实施例，所述烟机可以是直吸式烟机、侧吸式烟机以及隐形烟机，而对于摄像头的设置可以结合具体产品设置于烟机的相应位置，只要能够覆盖烹饪区域即可。

上述具体实施方式只是用于说明本发明的设计方法，并不能用来限定本发明的保护范围。对于在本发明技术方案的思想指导下的变形和转换，都应该归于本发明保护范围以内。

Claims (10)

1.一种烹饪烟雾的图像检测方法，其特征在于，包括：

采集预设的烹饪区域内的图像序列；

根据所述图像序列确定烹饪区域内气流相对于所述烹饪区域的水平投影面的运动方向；

根据所述运动方向确定用于进行烟雾浓度量化的目标区域图像；

提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度；

所述根据所述运动方向确定用于进行烟雾浓度量化的目标区域图像的步骤包括：获取烟机的设备信息以及当前烹饪锅具的锅具信息；

根据所述设备信息、所述锅具信息以及预设的烟雾区域预测模型对当前烟雾的聚集区域进行预测以获取所述目标区域图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像序列确定烹饪区域内气流相对于所述烹饪区域的水平投影面的运动方向的步骤包括：

采用光流法确定所述图像序列中各图像的光流矢量场并计算每张图像中所有像素点在所述水平投影面内所形成的运动合矢量f(x,y)；

根据所述运动合矢量f(x,y)确定该矢量的运动幅度|f(x,y)|；

根据预设的最大运动幅度值|f(x，y)|max对各图像中的光流矢量场进行归零处理以排除烹饪动作所形成的运动干扰；

重新确定所述图像序列中各图像的光流矢量场并计算每张图像中所有像素点在所述水平投影面内所形成的x方向的运动分量fx以及y方向的运动分量fy；将运动分量fx的运动幅度|fx|、合成运动fx+fy的运动幅度|fx+fy|分别与预设方向上的运动幅度阈值|ft|进行比较，以将烹饪过程区分为有风状态和无风状态，并确定有风状态下相应的风向。

3.根据权利要求2所述的方法，其特征在于，所述烹饪过程为无风状态，其中，烟雾的聚集区域位于以当前烹饪锅具的中心为圆心的相应位置的扇形区域内，所述设备信息至少包括烟机类型，所述锅具信息至少包括锅具类型。

4.根据权利要求3所述的方法，其特征在于，所述提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤包括：通过帧间差分法对所述图像序列中的变化区域进行剔除，以获取当前烹饪环境的背景图像；

对所述背景图像进行滤波处理，并使用边缘检测算子进行边缘检测，通过轮廓提取方式提取若干个包含有规则几何图形的最小外接图框，并按照图形尺寸进行排除以确定疑似锅具区域和/或疑似灶头区域；

按照所预测的烟雾的聚集区域对所述疑似锅具区域进行截取以提取所述目标区域图像。

5.根据权利要求4所述的方法，其特征在于，所述提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤还包括：

使用小波分解算子对平滑后的所述目标区域图像进行多次地小波高低频分解，以获取高频分量图和低频分量图对所述烟雾图像进行表征；

计算各高频分量图中相应region区域的高频分量的累加和Hen，其中

计算各低频分量图中相应region区域的低频分量的累加和Len，其中

根据所述高频分量的累加和Hen以及低频分量的累加和Len计算烟雾浓度α，其中

α＝lg(Len/Hen)*100，

HL、LH、HH为高频分量图，LL为低频分量图，region区域为所述烟雾图像所在区域。

6.根据权利要求2所述的方法，其特征在于，所述烹饪过程为有风状态，所述提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤包括：

通过帧间差分法对所述图像序列中的变化区域进行剔除，以获取当前烹饪环境的背景图像；

对所述背景图像进行滤波处理，并使用边缘检测算子进行边缘检测，通过轮廓提取方式提取若干个包含有规则几何图形的最小外接图框，并按照图形尺寸进行排除以确定疑似锅具区域和/或疑似灶头区域；

截取包含有所述疑似锅具区域和/或疑似灶头区域的整个灶台区域作为目标区域图像。

7.根据权利要求6所述的方法，其特征在于，所述提取目标区域图像对其中的烟雾图像进行识别并按照预设算法计算烟雾浓度的步骤还包括：

对所述目标区域图像进行分割形成若干个局域图像；

使用小波分解算子分别对平滑后的各个局域图像进行多次地小波高低频分解，以分别获取各个局域图像的高频分量图和低频分量图对所述烟雾图像进行表征；

分别计算第i个局域图像的高频分量图中相应region区域的高频分量的累加和heni，以及第i个局域图像的低频分量图中相应region区域的低频分量的累加和leni；

根据所述高频分量的累加和heni以及所述低频分量的累加和leni计算烟雾浓度α，其中

α＝Max{lg(leni/heni)*100}。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述采集预设的烹饪区域内的图像序列的步骤包括：

采用摄像头在预览模式下获取所述图像序列，并对所述图像序列进行灰阶处理、二值化处理以及膨胀处理。

9.根据权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：

根据所述运动方向和/或所述烟雾浓度对所述烟机的吸风角度和/或转速进行调节。

10.一种用于实施权利要求1-9中任一项所述方法的烟机，其特征在于，包括摄像头、处理器、风机以及吸风口调节装置，其中：

所述摄像头用于采集预设的烹饪区域内的图像序列；

所述处理器用于确定烹饪区域内气流相对于所述烹饪区域的水平投影面的运动方向并按照预设算法计算烟雾浓度；

所述处理器还用于根据所述运动方向对所述吸风口调节装置进行控制以改变吸风口的角度，和/或根据所述烟雾浓度对所述风机进行控制以改变所述风机的转速。

Images