CN109357977B - 基于时间联系的烟雾子区域空间复检方法 - Google Patents

Abstract

一种基于时间联系的烟雾子区域空间复检方法，对已经判断为烟雾的子区域进行处理，其特征在于：将待进行烟雾子区域复检的成像图片中的每个烟雾子区域作为复检目标子区域进行干扰判定，将复检目标子区域构成的联通区域进行是否存在位置偏移判断，将存在位置偏移的联通区域作为干扰排除，剩余的联通区域作为烟雾区域保留。本发明能够排除非烟雾干扰，提高烟雾检测的准确性。

Description

基于时间联系的烟雾子区域空间复检方法

技术领域

本发明涉及厨房油烟处理技术领域，特别是涉及一种基于时间联系的烟雾子区域空间复检方法。

背景技术

厨房是居家必备的配置之一，厨房油烟处理的效果直接影响人们的生活品质。随着科技的不断发展，对厨房油烟的监控及处理手段也越来越多。继传统的抽油烟机设置几个抽吸档位后，还出现了对厨房油烟浓度进行检测等技术。

现有技术中，针对厨房油烟浓度的检测，主要有红外投射法和物理检测法。红外投射法通过一端发射红外光，另一端进行接收，通过接收到的红外光强度来判断油烟浓度大小。但是，由于油烟飘散具有不确定性，实际中还会存在人手遮挡等干扰，故，需在不同位置安装多个红外发射器才能保证油烟检测的相对准确，成本较高，对安装位置要求也较高。物理检测法类似于烟雾报警器的原理，通过检测空气中漂浮颗粒数来判断油烟浓度，但此法有两个缺点，一是必须当油烟接触到报警器时才能进行检测，不能实现远距离检测；二是当空气中飘浮的不是油烟而是水雾时就无法检测。

因此，申请人通过对油烟图像进行检测判断油烟区域，再对图像进行处理后得到油烟子区域，但是，此判断方法仍然不能满足申请人对烟雾区域更高程度精确划分的要求，故研发出了一种基于时间联系的烟雾子区域空间复检方法对初步判断得到的烟雾子区域进行复检，排非烟雾区域干扰。

发明内容

本发明的目的在于避免现有技术的不足之处而提供一种基于时间联系的烟雾子区域空间复检方法，以对初步判断得到的烟雾子区域进行复检，排除非烟雾区域。

本发明的目的通过以下技术措施实现。

提供一种基于时间联系的烟雾子区域空间复检方法，对已经判断为烟雾的子区域进行处理，将待进行烟雾子区域复检的成像图片中的每个烟雾子区域作为复检目标子区域，将复检目标子区域构成的联通区域进行是否存在位置偏移判断，将存在位置偏移的联通区域作为干扰排除，剩余的联通区域作为烟雾区域保留。

进一步的，油烟设备的视觉成像模块对灶台目标区域S进行连续成像，并将成像图片发送至处理模块，处理模块将所接收的成像图片按照成像时刻和帧序进行标记，第y帧成像图片P对应的成像时刻是T_y、对应的帧序是y，y为自然数；

待进行烟雾子区域复检的当前成像图片P_η对应的帧序是η，帧序是η-1的成像图片为前帧成像图片P_(η-1)，η大于等于2；

干扰排除的具体过程：

a.根据当前成像图片P_η的复检目标子区域信息，按照面积大小，选择面积排在前T个的联通区域ζ，记为联通区域ζ_{β，β＝1、2、......、T}，T为自然数；

b.计算联通区域ζ_β的中心位置Φ_β(x_β,y_β)；

c.根据式(1)计算联通区域ζ_β的中心位置间距Δ_β:

Δ_β＝|Φ_β-Γ_β|......式(1)；

联通区域ζ_β与前帧成像图片P_(η-1)中对应的联通区域为联通区域￠_β，Γ_β(x_β,y_β)是联通区域￠_β的中心位置，|Φ_β-Γ_β|表示Φ_β(x_β,y_β)与Γ_β(x_β,y_β)之间距离；

d.判断中心位置间距Δ_β是否大于阈值θ，如果是，则判定联通区域ζ_β为非烟雾区域进行排除；如果否，则判定联通区域ζ_β为油烟区域进行保留。

进一步的，成像设备采集的含有烟雾信息的初始图像为对应灶台目标区域S的成像，将初始图像分割成W*U个子区域§，W、U均为自然数，初始图像中第w行、第u列对应子区域§_w,u,1≤w≤W，1≤u≤U；

所述联通区域内的任意一个复检目标子区域§_λ，γ，其周围存在复检目标子区域§_λ+1，γ或复检目标子区域§_λ-1，γ或复检目标子区域§_λ，γ+1或复检目标子区域§_λ，γ-1中的至少一个，且复检目标子区域§_λ，γ的像素灰度值与存在于其周围的复检目标子区域的像素灰度值之差的绝对值满足灰度阈值，λ、γ均为自然数，且

进一步的，灰度阈值大于等于10小于等于100。

进一步的，T大于等于2小于等于6。

优选的，T等于3。

进一步的，联通区域ζ_β含有δ个子像素，x_β等于δ个子像素的横坐标之和与δ相除得到的商，y_β等于δ个子像素的纵坐标之和与δ相除得到的商；

联通区域￠_β的中心位置坐标的计算方式与联通区域ζ_β的计算方式相同。

优选的，阈值θ的取值范围大于等5mm小于等于30mm。

优选的，阈值θ的取值范围大于等于8mm小于等于20mm。

优选的，阈值θ的取值范围等于10mm。

本发明的基于时间联系的烟雾子区域空间复检方法，对初步判断得到的烟雾子区域进行复检，能够排除非烟雾区域干扰，提高烟雾检测的准确性。

具体实施方式

结合以下实施例对本发明作进一步说明。

实施例1。

一种基于时间联系的烟雾子区域空间复检方法，对已经判断为烟雾的子区域进行处理，将待进行烟雾子区域复检的成像图片中的每个烟雾子区域作为复检目标子区域，将复检目标子区域构成的联通区域进行是否存在位置偏移判断，将存在位置偏移的联通区域作为干扰排除，剩余的联通区域作为烟雾区域保留。

具体的，油烟设备的视觉成像模块对灶台目标区域S进行连续成像，并将成像图片发送至处理模块，处理模块将所接收的成像图片按照成像时刻和帧序进行标记，第y帧成像图片P对应的成像时刻是T_y、对应的帧序是y，y为自然数。

待进行烟雾子区域复检的当前成像图片P_η对应的帧序是η，帧序是η-1的成像图片为前帧成像图片P_(η-1)，η大于等于2。

干扰排除的具体过程：

a.根据当前成像图片P_η的复检目标子区域信息，按照面积大小，选择面积排在前T个的联通区域ζ，记为联通区域ζ_{β，β＝1、2、......、T}，T为自然数。T大于等于2小于等于6，优选的，T等于3。需要说明的是，T可以根据实际需要灵活设置。

具体的，成像设备采集的含有烟雾信息的初始图像为对应灶台目标区域S的成像，将初始图像分割成W*U个子区域§，W、U均为自然数，初始图像中第w行、第u列对应子区域§_w,u,1≤w≤W，1≤u≤U；

所述联通区域内的任意一个复检目标子区域§_λ，γ，其周围存在复检目标子区域§_λ+1，γ或复检目标子区域§_λ-1，γ或复检目标子区域§_λ，γ+1或复检目标子区域§_λ，γ-1中的至少一个，且复检目标子区域§_λ，γ的像素灰度值与存在于其周围的复检目标子区域的像素灰度值之差的绝对值满足灰度阈值，λ、γ均为自然数，且

灰度阈值通常大于等于10小于等于100，具体可以根据实际需要灵活设置。

b.计算联通区域ζ_β的中心位置Φ_β(x_β,y_β)。

具体的，联通区域ζ_β含有δ个子像素，x_β等于δ个子像素的横坐标之和与δ相除得到的商，y_β等于δ个子像素的纵坐标之和与δ相除得到的商；联通区域￠_β的中心位置坐标的计算方式与联通区域ζ_β的计算方式相同，在此不再赘述。

c.根据式(1)计算联通区域ζ_β的中心位置间距Δ_β:

Δ_β＝|Φ_β-Γ_β|......式(1)；

联通区域ζ_β与前帧成像图片P_(η-1)中对应的联通区域为联通区域￠_β，Γ_β(x_β,y_β)是联通区域￠_β的中心位置，|Φ_β-Γ_β|表示Φ_β(x_β,y_β)与Γ_β(x_β,y_β)之间距离。

d.判断中心位置间距Δ_β是否大于阈值θ，如果是，则判定联通区域ζ_β为非烟雾区域进行排除；如果否，则判定联通区域ζ_β为油烟区域进行保留。阈值θ的取值范围大于等5mm小于等于30mm，优选大于等于8mm小于等于20mm。

本发明的基于时间联系的烟雾子区域空间复检方法，对初步判断得到的烟雾子区域进行复检，根据烟雾子区域不同时间的变化进行判断，能够排除非烟雾区域干扰，提高烟雾检测的准确性。

实施例2。

一种基于时间联系的烟雾子区域空间复检方法，其他特征与实施例1相同，不同之处在于：阈值θ的取值范围等于10mm。。通过本发明的基于时间联系的烟雾子区域空间复检方法，可对初步判断得到的烟雾子区域进行复检，能够排除小物体干扰，提高烟雾检测的准确性。

实施例3。

本实施例提供作为本发明基于时间联系的烟雾子区域空间复检方法的已经判断为烟雾的子区域的一种获取的过程方法。

图像处理单元以成像设备采集的初始图像作为基础进行处理，初始图像为灰度图，所采集的初始图像被序列化，依次通过后帧的初始图像与前帧的初始图像进行处理，得到各个后帧初始图像的烟雾区域。

每次通过后帧的初始图像与前帧的初始图像进行处理，得到后帧初始图像所处时刻的烟雾区域的步骤过程如下：

(1)将后帧的初始图像与前帧的初始图像进行帧差处理得到帧差图像；

(1)对采集到的初始图像进行帧差处理得到帧差图像；

(2)以开运算方式对帧差图像进行去噪处理，得到去噪图像；

(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域；

(4)对初始感兴趣区域进行灰度均值计算和区域平滑度计算，将同时满足灰度均值和平滑度要求的区域作为烟雾区域，其它的区域作为干扰排除。

步骤(1)中，对采集到的初始图像进行帧差操作得到帧差图像具体是：图像处理单元根据接收到的初始图像的先后顺序，将后一帧图像与前一帧图像做差，得到动态区域高亮的帧差图像。由于前后两帧图像中静态区域是不变的，动态区域(例如烟雾飘散，人手挥动等)是变化的，所以帧差后静态区域呈现黑色，动态区域帧差后表现为边缘模糊的高亮区域，故通过帧差可以得到动态区域高亮的帧差图像。

成像设备采集的目标区域以区域S表示，任意一帧初始图像为对应区域S的成像；初始图像由m*n个像素构成。

后帧初始图像A的像素的灰度值以矩阵AH表示，AH＝{ah_i,j}，ah_i,j代表后帧初始图像A中第i行、第j列像素对应的灰度值，i为像素所在的行，j为像素所在的列，1≤i≤m，1≤j≤n；后帧初始图像A中第i行、第j列像素所在的子区域为AS_i,j。

前帧初始图像B的像素的灰度值以矩阵BH表示，BH＝{bh_i,j}，bh_i,j代表前帧初始图像B中第i行、第j列像素对应的灰度值，前帧初始图像B中第i行、第j列像素所在的子区域为BS_i,j。

帧差图像D的像素灰度值以矩阵DH表示，DH＝{dh_i,j}＝{|ah_i,j-bh_i,j|}，dh_i,j代表帧差图像D中第i行、第j列像素对应的灰度值，帧差图像D中第i行、第j列像素所在的子区域为DS_i,j；

在帧差图像中，|dh_i,j|＝0的区域，呈黑色；|dh_i,j|≠0的区域呈高亮显示。

帧差操作后，进入步骤(2)。对帧差图像采用开运算进行去噪处理，得到去噪图像，具体通过如下方式进行：先对帧差图像进行腐蚀操作，以消除图像中的噪点和细小尖刺，断开窄小的连接；再对腐蚀后的图像进行膨胀操作，恢复原帧差图像中的明显特征。

步骤(2)中对帧差图像进行腐蚀操作，具体包括如下步骤：

2-11，任意定义一个卷积核α；

2-12，将卷积核α与帧差图像进行卷积；在卷积核α遍历帧差图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最小值p以及与卷积核中心重合的像素点C；

像素点C的灰度通过矩阵CH＝{c_k,q}表示，k、q为像素点C的行序号和列序号，

获得在卷积核α遍历帧差图像过程中得到的卷积结果最小值像素点矩阵P，最小值像素点矩阵P的灰度通过矩阵PH＝{p_k,q}表示；

2-13将像素点矩阵P的灰度对应覆予像素点C，得到腐蚀图像。

步骤(2)中对腐蚀图像进行膨胀操作，具体包括如下步骤：

2-21，任意定义一个卷积核β；

2-22，将卷积核β与腐蚀图像进行卷积；在卷积核β遍历腐蚀图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最大值o以及与卷积核中心重合的像素点R；

像素点R的灰度通过矩阵RH＝{r_l,v}表示，l、v为像素点R的行序号和列序号，

获得在卷积核β遍历腐蚀图像过程中得到的卷积结果最大值像素点矩阵O，最大值像素点矩阵O的灰度通过矩阵OH＝{o_l,v}表示；

2-13将最大值像素点矩阵O的灰度对应覆予像素点R，得到膨胀图像，得到的膨胀图像即为去噪图像。

利用开运算可以消除图像噪点，在纤细点处分离物体，平滑较大的物体边界，同时也可保证原来图像中高亮区域的面积基本不变，保证后续检测的准确性不受影响。

步骤(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域，具体是：利用小波变换，检测帧差图像高亮区域的边缘并进行标记，将标记出的区域作为初始感兴趣区域。

由于图像边缘的灰度值与相邻像素点的灰度值会产生较大的灰度值梯度，根据边缘的这一特征，设定一个滤波器，用该滤波器遍历帧差图像。步骤(3)通过如下步骤进行：

3-1，定义一个滤波器Y，滤波器为t*t矩阵，t为奇数。滤波器选择奇数矩阵，以确保只有一个中心点，优选3*3矩阵，具有计算量小的特点。

3-2，使滤波器Y遍历去噪图像，计算滤波器在每一位置处的中心像素点所在的去噪图像的灰度值以及中心像素点邻域内其它像素点的灰度值，并根据公式(Ⅰ)计算滤波器在每一位置处的中心像素点的边缘检测值X_z，z为滤波器Y遍历去噪图像时的标记，

f、g为为像素点的矩阵序号，1≤f≤t，1≤g≤t，e为滤波器在每一位置处的像素点所在的去噪图像的灰度值；α为权重系数，与滤波器位置相对应。

3-3，将滤波器在每一位置处的中心像素点边缘检测值X_z与中心像素点邻域的其它像素点的灰度值相减，并判断差值的绝对值是否大于阈值Δ；

统计大于阈值的数量，如果数量超过

判定滤波器所处位置的中心像素点对应的去噪图像的像素点位置为边缘点，并进行标记；

3-4，滤波器遍历完整个去噪图像，得到所有标记的边缘点，获得初步感兴趣区域。

因为人在做菜操作时，手会一直在挥动，帧差完之后的图像中会包含烟雾和人手操作等运动物体的干扰区域，在进行烟雾浓度识别之前需要排除干扰区域的影响，这也是本发明专利的难点所在。

但是烟雾的运动方向具有随机性，人手，锅铲的运动方向相对明确，且特征相差较大，从而：

1)帧差后的图像上烟雾运动区域比人手、锅铲运动区域的亮度低，所以相应的烟雾区域的灰度值均值也低于人手、锅铲运动区域的灰度均值；

2)帧差后的图像上烟雾运动区域的灰度值分布较集中，而人手、锅铲的运动区域边界的灰度值较区域的中心区域跳跃较大，所以该区域的图像不够平滑，对应的灰度值的方差较大。

利用这两个特性，步骤(4)具体是对每个初始感兴趣区域进行灰度均值、区域平滑度计算，得到每个初始感兴趣区域对应的灰度均值和灰度平滑度，将同时满足计算得到的灰度均值小于灰度阈值、灰度平滑度小于灰度平滑度阈值的初始感兴趣区域作为感兴趣区域，即烟雾区域，将其它初始感兴趣区域判定为干扰区域。

步骤(4)中，灰度阈值优选为5-70，灰度平滑度阈值为0.05。需要说明的是，灰度阈值、灰度平滑度阈值的量值可以根据具体需要灵活设置，在此不再赘述。步骤(4)完成烟雾区域的识别和干扰区域的排除。本发明的方法能够将干扰区域有效排除，该方法几乎不受检测距离的影响，通过算法对图像进行处理，排除人手及锅铲运动的干扰，得到准确的烟雾区域。

再通过本发明的方法对初步获得的烟雾区域中的子区域进行干扰判断排除，能够去除其中的噪声干扰，提高烟雾图像的准确性。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (9)

1.基于时间联系的烟雾子区域空间复检方法，对已经判断为烟雾的子区域进行处理，其特征在于：将待进行烟雾子区域复检的成像图片中的每个烟雾子区域作为复检目标子区域，将复检目标子区域构成的联通区域进行是否存在位置偏移判断，将存在位置偏移的联通区域作为干扰排除，剩余的联通区域作为烟雾区域保留；

油烟设备的视觉成像模块对灶台目标区域S进行连续成像，并将成像图片发送至处理模块，处理模块将所接收的成像图片按照成像时刻和帧序进行标记，第y帧成像图片P对应的成像时刻是T_y、对应的帧序是y，y为自然数；

待进行烟雾子区域复检的当前成像图片P_η对应的帧序是η，帧序是η-1的成像图片为前帧成像图片P_(η-1)，η大于等于2；

干扰排除的具体过程：

a.根据当前成像图片P_η的复检目标子区域信息，按照面积从大到小，选择面积排在前T个的联通区域ζ，记为联通区域ζ_{β，β＝1、2、......、T}，T为自然数；

b.计算联通区域ζ_β的中心位置Φ_β(x_β,y_β)；

c.根据式(1)计算联通区域ζ_β的中心位置间距Δ_β:

Δ_β＝|Φ_β-Γ_β|......式(1)；

联通区域ζ_β与前帧成像图片P_(η-1)中对应的联通区域为联通区域￠_β，Γ_β(x_β,y_β)是联通区域￠_β的中心位置，|Φ_β-Γ_β|表示Φ_β(x_β,y_β)与Γ_β(x_β,y_β)之间距离；

d.判断中心位置间距Δ_β是否大于阈值θ，如果是，则判定联通区域ζ_β为非烟雾区域进行排除；如果否，则判定联通区域ζ_β为烟雾区域进行保留。

2.根据权利要求1所述的基于时间联系的烟雾子区域空间复检方法，其特征在于：

成像设备采集的含有烟雾信息的初始图像为对应灶台目标区域S的成像，将初始图像分割成W*U个子区域§，W、U均为自然数，初始图像中第w行、第u列对应子区域§_w,u,1≤w≤W，1≤u≤U；

所述联通区域内的任意一个复检目标子区域§_λ，γ，其周围存在复检目标子区域§_λ+1，γ或复检目标子区域§_λ-1，γ或复检目标子区域§_λ，γ+1或复检目标子区域§_λ，γ-1中的至少一个，且复检目标子区域§_λ，γ的像素灰度值与存在于其周围的复检目标子区域的像素灰度值之差的绝对值满足灰度阈值，λ、γ均为自然数，且

3.根据权利要求2所述的基于时间联系的烟雾子区域空间复检方法，其特征在于：灰度阈值大于等于10小于等于100。

4.根据权利要求3所述的基于时间联系的烟雾子区域空间复检方法，其特征在于：T大于等于2小于等于6。

5.根据权利要求4所述的基于时间联系的烟雾子区域空间复检方法，其特征在于：T等于3。

6.根据权利要求2至5任意一项所述的基于时间联系的烟雾子区域空间复检方法，其特征在于：

联通区域ζ_β含有δ个子像素，x_β等于δ个子像素的横坐标之和与δ相除得到的商，y_β等于δ个子像素的纵坐标之和与δ相除得到的商；

联通区域￠_β的中心位置坐标的计算方式与联通区域ζ_β的计算方式相同。

7.根据权利要求6所述的基于时间联系的烟雾子区域空间复检方法，其特征在于：阈值θ的取值范围大于等5mm小于等于30mm。

8.根据权利要求7所述的基于时间联系的烟雾子区域空间复检方法，其特征在于：阈值θ的取值范围大于等于8mm小于等于20mm。

9.根据权利要求8所述的基于时间联系的烟雾子区域空间复检方法，其特征在于：阈值θ的取值范围等于10mm。