CN112800818B - 一种吸油烟机及其烟雾识别方法 - Google Patents

一种吸油烟机及其烟雾识别方法 Download PDF

Info

Publication number
CN112800818B
CN112800818B CN201911112462.1A CN201911112462A CN112800818B CN 112800818 B CN112800818 B CN 112800818B CN 201911112462 A CN201911112462 A CN 201911112462A CN 112800818 B CN112800818 B CN 112800818B
Authority
CN
China
Prior art keywords
smoke
image
suspected
range hood
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911112462.1A
Other languages
English (en)
Other versions
CN112800818A (zh
Inventor
朱泽春
白椿山
孙金彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Joyoung Household Electrical Appliances Co Ltd
Original Assignee
Hangzhou Joyoung Household Electrical Appliances Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Joyoung Household Electrical Appliances Co Ltd filed Critical Hangzhou Joyoung Household Electrical Appliances Co Ltd
Priority to CN201911112462.1A priority Critical patent/CN112800818B/zh
Publication of CN112800818A publication Critical patent/CN112800818A/zh
Application granted granted Critical
Publication of CN112800818B publication Critical patent/CN112800818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种吸油烟机及其烟雾识别方法，该吸油烟机包括摄像头，该方法包括：获取摄像头采集的视频流；根据视频流获得环境空间的建模背景；根据建模背景获取疑似烟雾区域图像；根据疑似烟雾区域图像获取最终烟雾区域图像；对最终烟雾区域图像进行分析和处理获取烟雾量信息，作为吸油烟机的转速调节依据。该实施例方案能够在吸油烟机本地端实施，且保证了油烟识别准确性，降低了烟机噪声，节省了电力，提高了用户体验，保证了吸油烟机能自动在合适的档位及时排除油烟。

Description

一种吸油烟机及其烟雾识别方法
技术领域
本发明实施例涉及吸油烟机控制技术，尤指一种吸油烟机及其烟雾识别方法。
背景技术
我国饮食文化讲究煎、炒、烹、炸，而这些烹调方式会产生大量油烟。油烟机就是针对厨房主要油烟生成源吸取排除油烟的装置，但是当前油烟机吸烟调节档位固定，或者需要人为调节，这就会造成很多情况下档位调节不便，比如烧水壶只有水开了才会产生大量烟雾，人不会一直守在旁边，导致烟雾大量外泄，污染厨房，产生有害物质，危害人体健康。而且油烟机恒定最高转速，会产生大量噪声，造成电力能源的浪费也是亟待解决的。这就需要通过识别烟雾量来进行烟机转速调节，解决困境。
厨房中烟机的油烟量识别一般采用基于PM2.5的烟雾传感器来实现，但是基于PM2.5的烟雾传感器受限于安装位置，只能测量一小片区域的烟雾量，不能很好的反映炊具产生的油烟环境，并且长时间使用烟雾传感器的灵敏度和精确度会大大降低。
随着数字图像处理的发展，视觉因为其直观便于人们理解，低成本便于大量使用的特点，在烟雾识别中可以担任重要的位置。所以通过视觉识别烟雾来进行油烟机转速调节将会成为一种更好的方式。
当前有一部分烟机厂商利用基于深度学习的烟雾识别方案来调节烟机转速，但由于深度学习算法运行需要较高的存储容量和计算资源，这就导致产品成本大量增加，若在云端进行基于深度学习的烟雾量识别，那么图像和结果来回传输会大量消耗时间，无法及时根据烟雾量进行烟机转速调节。
也有烟机厂商考虑到深度学习的缺点，利用帧差算法进行烟雾量识别，但是因为帧差只考虑视频流中运动区域，无法针对运动区域进行很好地区分，这就导致人手挥动时会对烟雾错误识别。
所以需要有一种计算资源消耗低，可以在本地端实时运行的基于图像处理的可以准确识别烟雾并排除人手挥动干扰的算法，调节烟机转速，保证油烟识别准确性，降低烟机噪声，节省电力，提高用户体验。
发明内容
本发明实施例提供了一种吸油烟机及其烟雾识别方法，能够在吸油烟机本地端实施，且保证油烟识别准确性，降低烟机噪声，节省电力，提高用户体验，保证吸油烟机能自动在合适的档位及时排除油烟。
为了达到本发明实施例目的，本发明实施例提供了一种吸油烟机的烟雾识别方法，所述吸油烟机包括摄像头，所述方法可以包括：
获取摄像头采集的视频流；
根据所述视频流获得环境空间的建模背景；
根据所述建模背景获取疑似烟雾区域图像；
根据所述疑似烟雾区域图像获取最终烟雾区域图像；
对所述最终烟雾区域图像进行分析和处理获取烟雾量信息，作为吸油烟机的转速调节依据。
在本发明的示例性实施例中，所述根据所述视频流获得环境空间的建模背景可以包括：
提取所述视频流中的YUV_NV12格式的视频帧；
对所述视频帧进行红绿蓝RGB通道转换和/或分辨率缩放处理；
将经过所述RGB通道转换和/或分辨率缩放处理的视频帧中的初始视频帧作为建模初始背景，并将所述建模初始背景作为所述建模背景；其中，以所述建模初始背景为更新基准，通过RGB通道的视频帧更新所述建模初始背景。
在本发明的示例性实施例中，所述根据所述建模背景获取疑似烟雾区域图像可以包括：
将所述视频流中的视频帧和所述建模背景相减获取所述环境空间的前景图像；
通过多个不同的分析算法对所述前景图像分别进行分析，并分别获取多个相应的疑似烟雾区域图像。
在本发明的示例性实施例中，所述通过多个不同的分析算法对所述前景图像分别进行分析，并分别获取多个相应的疑似烟雾区域图像可以包括：
对所述前景图像进行多颜色空间分析获取第一疑似烟雾区域图像；以及，
对所述前景图像进行小波分析获取第二疑似烟雾区域图像。
在本发明的示例性实施例中，所述对所述前景图像进行多颜色空间分析获取第一疑似烟雾区域图像可以包括：
根据烟雾的色彩特征、亮度特征以及相应的特征阈值，在RGB、色调强度饱和度HIS以及明亮度色度YUV组合的多颜色空间中对所述前景图像进行疑似烟雾区域划分，获取一张疑似烟雾区域像素值为255，非烟雾区域像素值为0的第一疑似烟雾区域图像。
在本发明的示例性实施例中，所述对所述前景图像进行小波分析获取第二疑似烟雾区域图像可以包括：
对所述前景图像进行小波变换，划分为LL、HL、LH、HH四个区域，其中，LL区域表示所述前景图像的低频部分，HL区域,LH区域和HH区域分别包含水平方向、垂直方向和对角方向的边缘信息，表示所述前景图像的高频部分；
将四个区域中大于或等于预设的像素阈值的区域的像素值置为0，将小于所述像素阈值的区域的像素值置为255，获取所述第二疑似烟雾区域图像。
在本发明的示例性实施例中，所述根据所述疑似烟雾区域图像获取最终烟雾区域图像可以包括：
对多个所述疑似烟雾区域图像分别进行腐蚀膨胀，并进行区域融合，获取融合烟雾区域图像；
从所述融合烟雾区域图像中过滤掉非感兴趣区域ROI区域，获取所述最终烟雾区域图像。
在本发明的示例性实施例中，对多个所述疑似烟雾区域图像进行区域融合，获取融合烟雾区域图像可以包括：
将多个所述疑似烟雾区域图像中的像素值都为255的点赋值为255，否则赋值为0，获取的所述融合烟雾区域图像。
在本发明的示例性实施例中，所述对所述最终烟雾区域图像进行分析和处理获取烟雾量信息可以包括：
对所述最终烟雾区域图像中的烟雾区域个数Count进行统计，对烟雾区域个数Count进行烟雾量映射，得到烟雾百分量Percent；
对烟雾百分量Percent进行均值滤波，得到最终烟雾百分量Level；；
将所述最终烟雾百分量Level作为实时的烟雾量信息进行输出。
为了达到本发明实施例目的，本发明实施例提供了一种吸油烟机，可以包括摄像头、处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述任意一项所述的吸油烟机的烟雾识别方法。
与现有技术相比，本发明实施例包括：所述吸油烟机包括摄像头，所述方法可以包括：获取摄像头采集的视频流；根据所述视频流获得环境空间的建模背景；根据所述建模背景获取疑似烟雾区域图像；根据所述疑似烟雾区域图像获取最终烟雾区域图像；对所述最终烟雾区域图像进行分析和处理获取烟雾量信息，作为吸油烟机的转速调节依据。该实施例方案能够在吸油烟机本地端实施，且保证了油烟识别准确性，降低了烟机噪声，节省了电力，提高了用户体验，保证了吸油烟机能自动在合适的档位及时排除油烟。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例的吸油烟机的烟雾识别方法流程图；
图2为本发明实施例的吸油烟机的烟雾识别方法示意图；
图3为本发明实施例的根据所述视频流获得环境空间的建模背景的方法流程图；
图4为本发明实施例的根据所述建模背景获取疑似烟雾区域图像的方法流程图；
图5为本发明实施例的LL、HL、LH、HH四个区域示意图；
图6为本发明实施例的根据所述疑似烟雾区域图像获取最终烟雾区域图像的方法流程图；
图7为本发明实施例的对所述最终烟雾区域图像进行分析和处理获取烟雾量信息的方法流程图；
图8为本发明实施例的吸油烟机组成框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
为了达到本发明实施例目的，本发明实施例提供了一种吸油烟机的烟雾识别方法，所述吸油烟机包括摄像头，如图1、图2所示，所述方法可以包括S101-S105：
S101、获取摄像头采集的视频流。
在本发明的示例性实施例中，可以将采集信号为YUV_NV12的可见光摄像头获取的视频流I输入本地端计算设备中。其中，采集信号为YUV_NV12为可见光摄像头输出的视频格式。
S102、根据所述视频流获得环境空间的建模背景。
在本发明的示例性实施例中，可以提取上述步骤中的视频流I的视频帧In,对视频帧In进行RGB通道和分辨率转换的预处理，然后建模初始背景B0。
在本发明的示例性实施例中，如图3所示，所述根据所述视频流获得环境空间的建模背景可以包括S201-S203：
S201、提取所述视频流中的YUV_NV12格式的视频帧。
在本发明的示例性实施例中，提取视频流I的视频帧In,视频流I为传输的序列的视频数据，所以需要提取出视频帧In，以便后续计算。
S202、对所述视频帧进行红绿蓝RGB通道转换和/或分辨率缩放处理。
在本发明的示例性实施例中，对视频帧In进行RGB通道和分辨率转换的预处理，得到处理后的视频帧Inresize。
在本发明的示例性实施例中，因为可见光摄像头输出的原始视频格式为YUV_NV12，而后续做烟雾识别需要对多颜色空间进行判别，所以需要把视频帧In转换成RGB通道，其中，对视频帧In进行RGB通道转换计算示例关系式(1)可以如下：
其中，Y，U，V分别为视频格式为YUV_NV12的视频的三个通道，R，G，B分别为视频格式为RGB的视频的三个通道。
在本发明的示例性实施例中，由于针对烟雾识别需要在本地端计算设备实时运行，所以可以对视频帧进行分辨率缩放处理，通常所用可见光摄像头输出视频分辨率为1280*960，为了方便计算，可以把输出视频长宽分别缩放4倍，为320*240。
在本发明的示例性实施例中，可以对预处理后的视频帧In中的初始视频帧Iori进行建模初始背景B0，并由建模初始背景B0得到建模背景Bn。
在本发明的示例性实施例中，把经过转换RGB通道和分辨率缩放的预处理后的视频帧In中的初始视频帧Iori，作为建模初始背景B0，得到建模背景Bn。转换关系式(2)可以如下：
S203、将经过所述RGB通道转换和/或分辨率缩放处理的视频帧中的初始视频帧作为建模初始背景，并将所述建模初始背景作为所述建模背景；其中，以所述建模初始背景为更新基准，通过RGB通道的视频帧更新所述建模初始背景。
在本发明的示例性实施例中，可以做多帧均值建模背景，以初始建模背景B0为背景更新基准，通过RGB通道的视频帧In，更新建模背景Bn。
在本发明的示例性实施例中，由于传统算法容易产生突变干扰，导致突然出现在图像中的人手或异物干扰，导致烟雾量的误识别，所以引入多帧均值加权的方式进行背景建模，平滑信息，有利于在图像序列中进行背景提取，提高背景的准确性，排除意外干扰。
在本发明的示例性实施例中，油烟视频的多帧均值背景建模，主要用来得到更稳定的建模背景Bn以使得视频帧In和建模背景Bn相减后的前景图像Fn更加稳定。通常传统的帧差算法两帧之间直接做差，容易产生突变干扰，本发明实施例这样处理的好处是不断对建模背景Bn进行加权更新，视频帧In中未变化的部分保持稳定，而变化的部分会逐渐更新，保持总背景稳定便于前景提取，变化部分趋于平缓有利于烟雾量平缓上升和下降，而且对于不必要突然产生的干扰物也会过滤，比如短暂晃动的人手、人影等异物干扰。
在本发明的示例性实施例中，首先，把经过转换RGB通道和分辨率缩放的预处理后的视频帧In中的初始视频帧Iori，作为建模初始背景B0，得到建模背景Bn。转换公式可见上述关系式(2)，如下：
因为实际场景中背景是需要不断更新的，但是又因为视频中场景变化是连续的，所以需要通过多帧均值背景建模，保持背景的可靠性和准确性，降低其他干扰。通过以初始背景B0为背景更新基准，得到建模背景Bn，计算实例关系式式(6)可以如下：Bn＝alpha*B0(1-alpha)*In，alpha＝0.02；其中，alpha设置但不限于0.02。最后，通过视频帧In和建模背景Bn相减得到前景图像Fn，进行后续计算。
在本发明的示例性实施例中，上述实施例方案通过多帧均值背景建模得到建模背景，同理，也可以针对上述方案采用高斯背景建模的方式得到更稳定清晰的背景图，可以得到相同的效果。
S103、根据所述建模背景获取疑似烟雾区域图像。
在本发明的示例性实施例中，通过视频帧In和建模背景Bn相减得到前景图像Fn，前景图像Fn通过多颜色空间分析和小波分析分别检测出疑似烟雾区域A0和A1，经过腐蚀膨胀并进行区域融合，得到融合烟雾区域Afusion，过滤掉预先设置的非ROI区域，生成识别的最终烟雾区域Asmoke，这样做可以消除非烟雾物体的干扰，使得烟雾区域检测更为准确。
在本发明的示例性实施例中，如图4所示，所述根据所述建模背景获取疑似烟雾区域图像可以包括S301-S302：
S301、将所述视频流中的视频帧和所述建模背景相减获取所述环境空间的前景图像。
在本发明的示例性实施例中，得到建模背景Bn后，可以把视频帧In和建模背景Bn相减得到前景图像Fn，用于后续计算，转换计算式(3)可以如下所示：Fn＝abs(In-Bn)；其中，abs为取绝对值。
S302、通过多个不同的分析算法对所述前景图像分别进行分析，并分别获取多个相应的疑似烟雾区域图像。
在本发明的示例性实施例中，所述通过多个不同的分析算法对所述前景图像分别进行分析，并分别获取多个相应的疑似烟雾区域图像可以包括：
对所述前景图像进行多颜色空间分析获取第一疑似烟雾区域图像；以及，
对所述前景图像进行小波分析获取第二疑似烟雾区域图像。
在本发明的示例性实施例中，所述对所述前景图像进行多颜色空间分析获取第一疑似烟雾区域图像可以包括：
根据烟雾的色彩特征、亮度特征以及相应的特征阈值，在RGB、色调强度饱和度HIS以及明亮度色度YUV组合的多颜色空间中对所述前景图像进行疑似烟雾区域划分，获取一张疑似烟雾区域像素值为255，非烟雾区域像素值为0的第一疑似烟雾区域图像。
在本发明的示例性实施例中，前景图像Fn通过多颜色空间分析可以检测出疑似烟雾区域A0(即第一疑似烟雾区域图像)。
在本发明的示例性实施例中，可以根据颜色空间中灰烟、青烟、亮度特征和实验所得的特征阈值，在RGB、HIS、YUV组合多颜色空间中进行疑似烟雾区域划分，最终得到一张疑似烟雾区域像素值为255，非烟雾区域像素值为0的疑似烟雾区域A0。
在本发明的示例性实施例中，油烟视频的多颜色空间分析主要用来粗略检测油烟视频中的烟雾区域，在实际场景中移动的人手、来回倒菜的盘子等会形成不必要的干扰，导致油烟机对烟雾区域检测不准确，甚至导致误检。通常传统的油烟检测只利用灰度图像等单通道信息，这就导致了信息单一，容易把干扰物和烟雾区域混淆。所以本部分把RGB、HIS、YUV三个颜色空间进行综合分析，符合人眼对烟雾识别的特性。
在本发明的示例性实施例中，可以首先计算出RGB通道的视频帧In中R、G、B三个通道中的最小值minI和最大值maxI。然后根据RGB通道的视频帧In计算出HSI的分量I，计算示例关系式(4)如下：I＝(R+G+B)/3。再把前述步骤中的Y、U、V分量代入，RGB通道最小值minI、最大值maxI和分量I进行判断，如果符合判断条件，则该点像素值赋值为255，不符合判断条件的像素值赋值为0，判断条件的示例关系式(5)可以如下所示：
其中，15,20,25,80,128，240等数值根据颜色空间中灰烟、青烟、亮度特征和实验所得。
在本发明的示例性实施例中，最终得到一张疑似烟雾区域像素值为255，非烟雾区域像素值为0的疑似烟雾区域A0。
在本发明的示例性实施例中，所述对所述前景图像进行小波分析获取第二疑似烟雾区域图像可以包括：
对所述前景图像进行小波变换，划分为LL、HL、LH、HH四个区域，其中，LL区域表示所述前景图像的低频部分，HL区域,LH区域和HH区域分别包含水平方向、垂直方向和对角方向的边缘信息，表示所述前景图像的高频部分；
将四个区域中大于或等于预设的像素阈值的区域的像素值置为0，将小于所述像素阈值的区域的像素值置为255，获取所述第二疑似烟雾区域图像。
在本发明的示例性实施例中，前景图像Fn通过小波分析可以检测出疑似烟雾区域A1(即第二疑似烟雾区域图像)。
在本发明的示例性实施例中，为了弥补多颜色空间分析无法直接去除与烟雾颜色相近的非烟雾物体的不足，可以对前景图像Fn进行小波分析。首先，对前景图像Fn进行小波变换，分为LL、HL、LH、HH四个区域，如图5所示，其中，LL区表示图像的低频部分，HL、LH、HH区域分别包含水平方向、垂直方向和对角方向的边缘信息，表示图像的高频部分。
在本发明的示例性实施例中，由于前景图像Fn中的非烟雾区域在HL和LH区域的值通常比烟雾区域的值大，所以可以设定阈值为0.7，将大于阈值的区域像素值置为0，将小于阈值的区域像素值置为255。其中，阈值0.7为经验值，包括但不限于0.7。
在本发明的示例性实施例中，经过上述处理可以得到疑似烟雾区域A1。
S104、根据所述疑似烟雾区域图像获取最终烟雾区域图像。
在本发明的示例性实施例中，如图6所示，所述根据所述疑似烟雾区域图像获取最终烟雾区域图像可以包括S401-S402：
S401、对多个所述疑似烟雾区域图像分别进行腐蚀膨胀，并进行区域融合，获取融合烟雾区域图像。
在本发明的示例性实施例中，对多个所述疑似烟雾区域图像进行区域融合，获取融合烟雾区域图像可以包括：将多个所述疑似烟雾区域图像中的像素值都为255的点赋值为255，否则赋值为0，获取的所述融合烟雾区域图像。
在本发明的示例性实施例中，可以把疑似烟雾区域A0和A1分别经过腐蚀膨胀并进行区域融合，得到融合烟雾区域Afusion。
在本发明的示例性实施例中，把疑似烟雾区域A0和A1做腐蚀膨胀，以便去除图像中的噪点，并把疑似烟雾区域A0和A1做并集，即，将疑似烟雾区域A0和A1中的像素值都为255的点赋值为255，将像素值不是255的点赋值为0，得到融合烟雾区域Afusion。
S402、从所述融合烟雾区域图像中过滤掉非感兴趣区域ROI区域，获取所述最终烟雾区域图像。
在本发明的示例性实施例中，可以把融合烟雾区域Afusion，过滤掉预先设置的非ROI区域，生成识别的最终烟雾区域Asmoke。
在本发明的示例性实施例中，为了进一步排除干扰，适应实际环境，根据摄像头所照范围，可以初始设定ROI区域，把非ROI区域的像素值赋值为0。计算融合烟雾区域Afusion的宽高可以为cols和rows，其中，ROI区域的矩形区域左上角和右下角坐标可以分别为(6,6)，(cols-6，rows-6)。
S105、对所述最终烟雾区域图像进行分析和处理获取烟雾量信息，作为吸油烟机的转速调节依据。
在本发明的示例性实施例中，可以把前述步骤生成的最终烟雾区域Asmoke进行烟雾量统计，得到烟雾区域个数Count，然后对烟雾区域个数Count进行烟雾量映射，得到烟雾百分量Percent，最后对烟雾百分量Percent进行均值滤波，得到最终烟雾百分量Level，输出实时烟雾量信息即烟雾百分量Level，达到烟机转速调节的目的。
在本发明的示例性实施例中，如图7所示，所述对所述最终烟雾区域图像进行分析和处理获取烟雾量信息可以包括S501-S503：
S501、对所述最终烟雾区域图像中的烟雾区域个数Count进行统计，对烟雾区域个数Count进行烟雾量映射，得到烟雾百分量Percent。
在本发明的示例性实施例中，可以把生成的最终烟雾区域Asmoke进行烟雾量统计，计算最终烟雾区域Asmoke的个数Count，统计最终烟雾区域Asmoke中像素值为255的像素点个数，得到烟雾区域个数Count。
在本发明的示例性实施例中，可以对烟雾区域个数Count进行烟雾量映射，得到烟雾百分量Percent。由于算法需要针对烟雾区域进行输出，以便有效的进行烟机转速调节，所以对烟雾区域个数Count进行烟雾量映射，得到烟雾百分量Percent。
S502、对烟雾百分量Percent进行均值滤波，得到最终烟雾百分量Level。
在本发明的示例性实施例中，可以对烟雾百分量Percent进行均值滤波，得到最终烟雾百分量Level。由于烟雾百分量Percent用来调节烟机转速，为了满足烟雾量大时烟机不跑烟，同时烟雾量下降时趋于平缓，符合人体对烟机转速调节效果的良好感知，有利于提升用户体验。
在本发明的示例性实施例中，由于图像检测出的烟雾量和实际烟机转速调节时人的体验不相似，所以需要通过函数变换进行人感官体验的拟合，这就需要进行烟雾量的映射；而且由于实际场景烟雾检测过程中因意外干扰会存在烟雾量的突变，这样有损油烟机的电机，不符合用户体验，所以需要对映射后的烟雾量进行均值滤波，保证输出的烟雾量数值稳定，符合人对烟机转速调节的体验，即烟雾量大时烟机不跑烟，而且烟雾量突然变小时烟机转速匀速下降。
在本发明的示例性实施例中，对烟雾区域个数Count进行烟雾量映射，得到烟雾百分量Percent，计算实例关系式(7)可以如下所示：
在本发明的示例性实施例中，由于烟雾百分量Percent用来调节烟机转速，为了满足烟雾量大时烟机不跑烟，而且烟雾量突然变小时烟机转速匀速下降，所以可以对烟雾百分量Percent进行均值滤波，例如，当Percent比之前值P大30的时候，Percent保持不变，当Percent比之前值P小30的时候，Percent赋值为(P-30)；如果Percent小于0的时候，赋值为0。
S503、将所述最终烟雾百分量Level作为实时的烟雾量信息进行输出。
综合以上内容可知，本发明实施例方案包括：将采集信号为YUV_NV12的可见光摄像头获取的视频流输入，然后进行RGB通道和分辨率转换，建模初始背景，再通过多颜色空间分析和小波分析分别检测出疑似烟雾区域，并进行区域融合，过滤掉预先设置的非ROI区域，生成识别的烟雾区域，最后根据烟雾量统计，均值滤波，烟雾量映射等量化计算，输出实时烟雾量信息，达到烟机转速调节的目的，实现快速准确排出油烟而且降低噪声和电力的效果。
为了达到本发明实施例目的，本发明实施例提供了一种吸油烟机1，如图8所示，可以包括摄像头11、处理器12和计算机可读存储介质13，所述计算机可读存储介质13中存储有指令，当所述指令被所述处理器12执行时，实现上述任意一项所述的吸油烟机的烟雾识别方法。
本发明实施例方案至少具有以下优势：
1、通过烟雾图像处理，实现烟机转速调节，保证了油烟机能自动在合适的档位及时排除油烟；并且相较于基于深度学习的油烟识别方案，达到了在本地端运行的效果，计算资源消耗低，产品成本低，适用性比较广泛。
2、本实施例方案加入油烟视频的多颜色空间分析，可以根据人眼主动感知的颜色空间中灰烟、青烟、亮度特征，进行油烟区域提取，有利于准确定位烟雾区域，排除实际场景中诸多干扰。
3、本实施例方案加入油烟视频的多帧均值背景建模，平滑信息，有利于在图像序列中进行背景提取，提高背景的准确性，排除人手或异物等意外干扰，降低误识别。
4、本实施例方案加入油烟量的映射及均值滤波，因为实际场景会存在突然无烟或图像无运动的情况，加入渐进烟雾量映射及均值滤波，烟雾量大时烟机不跑烟，同时烟雾量下降时烟机逐渐减速，符合人体对烟机转速调节效果的良好感知
5、本实施例方案在油烟识别准确的基础上，降低了烟机噪声，提高用户体验。
6、本实施例方案由于烟机转速实时调节，节省了油烟机的电力，达到节能环保的目的。
7、本实施例方案相比传统颗粒物传感器类油烟检测，本文算法可以感受的烟雾区域更广泛直观，能很好的反映炊具产生的油烟环境，从全局上提升烟雾识别的准确性。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (8)

1.一种吸油烟机的烟雾识别方法，其特征在于，所述吸油烟机包括摄像头，所述方法包括：
获取摄像头采集的视频流；
根据所述视频流获得环境空间的建模背景；
根据所述建模背景获取疑似烟雾区域图像：将所述视频流中的视频帧和所述建模背景相减获取所述环境空间的前景图像，通过多个不同的分析算法对所述前景图像分别进行分析，并分别获取多个相应的疑似烟雾区域图像，其中包括对所述前景图像进行多颜色空间分析获取第一疑似烟雾区域图像，根据烟雾的色彩特征、亮度特征以及相应的特征阈值，在RGB、色调强度饱和度HIS以及明亮度色度YUV组合的多颜色空间中对所述前景图像进行疑似烟雾区域划分；
首先计算出RGB通道的视频帧In中R、G、B三个通道中的最小值minI和最大值maxI，然后根据RGB通道的视频帧In计算出HSI的分量I，计算示例关系式为：I＝(R+G+B)/3，再把YUV通道中的Y、U、V分量代入，RGB通道最小值minI、最大值maxI和分量I进行判断，如果符合判断条件，则该点像素值赋值为255，不符合判断条件的像素值赋值为0，从而获取一张疑似烟雾区域像素值为255，非烟雾区域像素值为0的第一疑似烟雾区域图像；
根据所述疑似烟雾区域图像获取最终烟雾区域图像；
对所述最终烟雾区域图像进行分析和处理获取烟雾量信息，作为吸油烟机的转速调节依据。
2.根据权利要求1所述的吸油烟机的烟雾识别方法，其特征在于，所述根据所述视频流获得环境空间的建模背景包括：
提取所述视频流中的YUV_NV12格式的视频帧；
对所述视频帧进行红绿蓝RGB通道转换和/或分辨率缩放处理；
将经过所述RGB通道转换和/或分辨率缩放处理的视频帧中的初始视频帧作为建模初始背景，并将所述建模初始背景作为所述建模背景；其中，以所述建模初始背景为更新基准，通过RGB通道的视频帧更新所述建模初始背景。
3.根据权利要求1所述的吸油烟机的烟雾识别方法，其特征在于，所述通过多个不同的分析算法对所述前景图像分别进行分析，并分别获取多个相应的疑似烟雾区域图像包括：
对所述前景图像进行多颜色空间分析获取第一疑似烟雾区域图像，根据烟雾的色彩特征、亮度特征以及相应的特征阈值，在RGB、色调强度饱和度HIS以及明亮度色度YUV组合的多颜色空间中对所述前景图像进行疑似烟雾区域划分，获取一张疑似烟雾区域像素值为255，非烟雾区域像素值为0的第一疑似烟雾区域图像；以及，
对所述前景图像进行小波分析获取第二疑似烟雾区域图像。
4.根据权利要求3所述的吸油烟机的烟雾识别方法，其特征在于，所述对所述前景图像进行小波分析获取第二疑似烟雾区域图像包括：
对所述前景图像进行小波变换，划分为LL、HL、LH、HH四个区域，其中，LL区域表示所述前景图像的低频部分，HL区域,LH区域和HH区域分别包含水平方向、垂直方向和对角方向的边缘信息，表示所述前景图像的高频部分；
将四个区域中大于或等于预设的像素阈值的区域的像素值置为0，将小于所述像素阈值的区域的像素值置为255，获取所述第二疑似烟雾区域图像。
5.根据权利要求1所述的吸油烟机的烟雾识别方法，其特征在于，所述根据所述疑似烟雾区域图像获取最终烟雾区域图像包括：
对多个所述疑似烟雾区域图像分别进行腐蚀膨胀，并进行区域融合，获取融合烟雾区域图像；
从所述融合烟雾区域图像中过滤掉非感兴趣区域ROI区域，获取所述最终烟雾区域图像。
6.根据权利要求5所述的吸油烟机的烟雾识别方法，其特征在于，对多个所述疑似烟雾区域图像进行区域融合，获取融合烟雾区域图像包括：
将多个所述疑似烟雾区域图像中的像素值都为255的点赋值为255，否则赋值为0，获取的所述融合烟雾区域图像。
7.根据权利要求1所述的吸油烟机的烟雾识别方法，其特征在于，所述对所述最终烟雾区域图像进行分析和处理获取烟雾量信息包括：
对所述最终烟雾区域图像中的烟雾区域个数Count进行统计，对烟雾区域个数Count进行烟雾量映射，得到烟雾百分量Percent；
当Percent比之前值P大30的时候，Percent保持不变；当Percent比之前值P小30的时候，Percent赋值为(P-30)；如果Percent小于0的时候，赋值为0；
将所述最终烟雾百分量Level作为实时的烟雾量信息进行输出。
8.一种吸油烟机，包括摄像头、处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令被所述处理器执行时，实现如权利要求1-7任意一项所述的吸油烟机的烟雾识别方法。
CN201911112462.1A 2019-11-14 2019-11-14 一种吸油烟机及其烟雾识别方法 Active CN112800818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911112462.1A CN112800818B (zh) 2019-11-14 2019-11-14 一种吸油烟机及其烟雾识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911112462.1A CN112800818B (zh) 2019-11-14 2019-11-14 一种吸油烟机及其烟雾识别方法

Publications (2)

Publication Number Publication Date
CN112800818A CN112800818A (zh) 2021-05-14
CN112800818B true CN112800818B (zh) 2023-12-05

Family

ID=75803887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911112462.1A Active CN112800818B (zh) 2019-11-14 2019-11-14 一种吸油烟机及其烟雾识别方法

Country Status (1)

Country Link
CN (1) CN112800818B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102121906A (zh) * 2011-01-31 2011-07-13 无锡中星微电子有限公司 烟雾检测系统、油烟机智能控制系统及油烟机智能控制方法
CN108280409A (zh) * 2018-01-09 2018-07-13 浙江工业大学 一种基于多特征融合的大空间视频烟雾检测方法
CN108548199A (zh) * 2018-03-08 2018-09-18 佛山市云米电器科技有限公司 一种智能抽油烟机风速调级方法及装置
CN109028226A (zh) * 2018-09-29 2018-12-18 佛山市云米电器科技有限公司 基于双区域图像采集进行油烟浓度判断的油烟机
CN109883907A (zh) * 2017-12-06 2019-06-14 九阳股份有限公司 一种基于图像的烹饪烟雾检测方法和智能烟机
CN110296448A (zh) * 2019-06-26 2019-10-01 杭州九阳小家电有限公司 一种油烟机的烟雾识别效果修正方法、系统和油烟机
CN110307571A (zh) * 2019-06-26 2019-10-08 杭州九阳小家电有限公司 一种油烟机的烟雾识别效果交互方法、系统和油烟机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102121906A (zh) * 2011-01-31 2011-07-13 无锡中星微电子有限公司 烟雾检测系统、油烟机智能控制系统及油烟机智能控制方法
CN109883907A (zh) * 2017-12-06 2019-06-14 九阳股份有限公司 一种基于图像的烹饪烟雾检测方法和智能烟机
CN108280409A (zh) * 2018-01-09 2018-07-13 浙江工业大学 一种基于多特征融合的大空间视频烟雾检测方法
CN108548199A (zh) * 2018-03-08 2018-09-18 佛山市云米电器科技有限公司 一种智能抽油烟机风速调级方法及装置
CN109028226A (zh) * 2018-09-29 2018-12-18 佛山市云米电器科技有限公司 基于双区域图像采集进行油烟浓度判断的油烟机
CN110296448A (zh) * 2019-06-26 2019-10-01 杭州九阳小家电有限公司 一种油烟机的烟雾识别效果修正方法、系统和油烟机
CN110307571A (zh) * 2019-06-26 2019-10-08 杭州九阳小家电有限公司 一种油烟机的烟雾识别效果交互方法、系统和油烟机

Also Published As

Publication number Publication date
CN112800818A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN107330979B (zh) 建筑户型的矢量图生成方法、装置及终端
JP3862140B2 (ja) ピクセル化されたイメージをセグメント化する方法および装置、並びに記録媒体、プログラム、イメージキャプチャデバイス
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
KR101554403B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체
CN111062293B (zh) 一种基于深度学习的无人机森林火焰识别方法
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
JP2008523454A (ja) 背景領域および前景領域をモデリングする方法
WO2021004245A1 (en) Depth image processing method and apparatus, and electronic device
CN104966266B (zh) 自动模糊身体部位的方法及系统
CN107635099B (zh) 一种人体感应双光网络摄像机及安防监控系统
CN114627561B (zh) 动态手势识别方法、装置、可读存储介质及电子设备
US11044409B2 (en) Method and device for estimating cast shadow regions and/or highlight regions in images
CN112288780B (zh) 多特征动态加权的目标跟踪算法
CN111368785B (zh) 一种摄像头遮挡判断方法、装置、设备及存储介质
US20150312481A1 (en) Vision systems and methods for analysing images taken by image sensors
CN107424134B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN112800818B (zh) 一种吸油烟机及其烟雾识别方法
CN111192332B (zh) 一种基于烟雾检测的烟机控制方法以及烟机
CN112887513B (zh) 图像降噪方法及摄像机
CN111428714B (zh) 一种吸油烟机转速调节方法和装置
JP2002312787A (ja) 画像処理装置および画像処理方法、記録媒体、並びにプログラム
CN111383242B (zh) 一种图像透雾处理方法及装置
TWI684955B (zh) 前景影像的提取方法與電子裝置
CN117237939B (zh) 一种基于图像数据的煲仔炉食品成熟度检测方法及装置
CN110555351B (zh) 前景影像的提取方法与电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant