CN109493361B - 一种火灾烟雾图像分割方法 - Google Patents

Abstract

本发明提出了一种火灾烟雾图像分割方法，利用烟雾引起背景在明度上的变化现象，在V通道中采用背景减法将火灾烟雾图像二值化，然后智能选取二值图像中的某一像素点作为种子点，在该二值图像中以改进后的区域生长规则进行区域生长，最后对区域生长图进行形态学处理得到最终烟雾分割图像。本发明烟雾分割效果好，能有效解决传统区域生长分割方法难以将烟雾分割出来的问题；与传统的烟雾分割方法相比，本发明的烟雾分割效果更佳。

Description

一种火灾烟雾图像分割方法

技术领域

本发明涉及一种火灾烟雾图像分割方法。

背景技术

火灾图像识别技术在近十几年来得到大力的发展，与传统火灾探测技术相比，具有在大型 空间建筑仍有很强实用性的优点^[1]-[3]，其可分为火灾火焰识别和火灾烟雾识别。在火灾图像识 别中，提取的火灾图像特征是火灾能否正确识别的关键。对于火灾烟雾识别来说，其特征提取 一般通过两种方式进行。一是直接从图像中提取特征，如纹理特征等；二是遵循传统图像特征 提取方法，首先将烟雾分割出来，然后对烟雾部分进行特征提取，如面积变化等。第二种方式 较为简单，且提取的图像特征在烟雾识别中十分有效，在许多烟雾识别研究中受到广泛的使用， 而烟雾分割的好坏同样影响特征的提取，因此对烟雾分割技术进行研究是有必要的。

烟雾通常表现为白色、灰色或黑色的运动物体，具有其特定的颜色特征，同时烟雾具有扩 张性，随时间不断蔓延，表现出强烈的运动特征。与火焰图像分割方法相似，传统的烟雾图像 分割方法可分基于颜色模型的烟雾分割方法和基于运动检测的烟雾分割方法。Thou-Ho Chen 等^[4]在RGB颜色空间模型中设定了一套具体的烟雾检测规则，首先求解每一像素点三分量的平 均值和三分量中最大值与最小值之差，对得到的两个数值分别设定阈值范围，当像素点满足阈 值要求时，则被划分为烟雾像素点，从而实现烟雾的分割，该方法对烟雾的分割效果较好，但 需要处理大量数据来获取经验阈值，且常常将与烟雾颜色相似的干扰物也分割出来。张静^[5]提出背景减除与帧间相与的烟雾分割方法，首先求解当前帧及前一帧分别与背景减除后的差分 图像，再对两差分图像进行与操作，得到最终的烟雾分割图像，该方法在烟雾浓度较高时分割 效果好，但当烟雾浓度较低时分割不理想。

基于区域生长的图像分割方法具有分割方式简单、分割目标完整的优点，其在许多图像处 理领域中得到广泛的应用。但由于烟雾的颜色、灰度梯度等^[6]图像特征不明显，传统的基于区 域生长的图像分割方法难以将烟雾分割出来，烟雾分割不理想。

因此，有必要设计一种分割方式简单、分割效果好的烟雾分割方法。

发明内容

本发明所解决的技术问题是，针对现有技术的不足，提供一种火灾烟雾图像分割方法，烟 雾分割效果好，能有效解决传统区域生长分割方法难以将烟雾分割出来的问题；与传统的烟雾 分割方法相比，本发明的烟雾分割效果更佳。

本发明所提供的技术方案为：

一种火灾烟雾图像分割方法，包括以下步骤：

步骤1、将从火灾烟雾视频中获取的火灾烟雾图像从RGB颜色空间转换到HSV颜色空间；

步骤2、在V通道中采用背景减法对火灾烟雾图像进行二值化处理，得到二值图像；

步骤3、选取二值图像中的某一像素点作为种子点，在该二值图像中以该种子点进行区域 生长，得到区域生长图；

步骤4、对区域生长图进行形态学处理得到最终烟雾分割图像。

进一步地，所述步骤1中，将火灾烟雾图像从RGB颜色空间转换到HSV颜色空间的公式为：

其中，R、G和B为火灾烟雾图像在RGB颜色空间中的三个分量，分别为红色分量、绿色 分量和蓝色分量；H、S和V为火灾烟雾图像在HSV颜色空间中的三个分量，分别为色调、饱和度和明度。

进一步地，所述步骤2具体包括以下步骤：

步骤21、选定无火灾情况下图的图像作为背景图像，背景图像上像素点(x，y)处的明度记 为B(x，y)；令当前帧的帧序号j＝1；

步骤22、对于第j帧火灾烟雾图像，根据其在V通道相对于背景图像变化的最大值h选择 对火灾烟雾图像进行二值化处理的方式：

1)当h≤T时，按公式(4)对火灾烟雾图像进行二值化处理：

其中，V_j(x，y)表示第j帧火灾烟雾图像上像素点(x，y)处的明度；Z_j(x，y)表示二值化处理后 第j帧火灾烟雾图像上像素点(x，y)处的像素值；T和T₁为阈值；

2)当h＞T时，按公式(5)对火灾烟雾图像进行二值化处理：

其中，T₂为阈值；阈值T、T₁和T₂均为经验参数；

步骤23、采用式(6)来进行背景图像的更新：

其中，α为更新系数(经验参数，本发明实施例中由实验获得α的取值为0.7)，其取值 范围为0～1；

步骤24、令j＝j+1，返回步骤22；对下一帧火灾烟雾图像进行二值化处理。

进一步地，所述步骤3中通过智能择优法自动选取种子点，步骤如下：

首先将二值图像均匀分成m₁×n₁小块，统计每小块上像素值为1的像素点个数，找到个 数最多的小块，如有个数相等的小块则取其一；然后再将该小块均匀分成m₂×n₂小块，统计 每小块上像素值为1的像素点个数，找到个数最多的小块，如有个数相等的小块则取其一；最 后将该小块上像素值为1的一点作为种子点，种子点的位置如式(7)-(8)：

其中，(x，y)为以二值图像的左下角像素点为原点，宽方向为x轴，高方向为y轴建立的坐 标系中像素点的坐标；M和N分别为二值图像的宽度和高度；x₁和y₁为图像初次均匀划分为 m₁×n₁小块时,像素值为1的像素点个数最多的小块B₁在二值图像上所处的行和列，x₂和y₂为 小块B₁再次均匀划分为m₂×n₂小块时,像素值为1的像素点个数最多的小块B₂在B₁上所处的 行和列，x₃和y₃为以一个像素为单位对B₂进行划分时，种子点在B₂上所处的行和列。

进一步地，所述步骤3中区域生长的步骤如下：

1)通过智能择优法获得种子点；

2)以该种子点作为w₁×w₂的窗口的中心像素点，将窗口内其余像素点值置1，以防止种 子点周围存在空洞，区域生长不成功；其中w₁和w₂均为奇数；

3)比较种子点像素值与其4邻域内像素点像素值的大小关系，将其4邻域内像素值等于 种子点像素值的像素点合并至种子点区域；

4)从种子点区域的边界点像素出发，以这些边界点作为新的种子点，返回步骤3)，继 续进行合并操作，直至不能再合并。

有益效果：

本发明提出的烟雾分割算法分割效果好，有效解决传统区域生长分割方法难以将烟雾分割 出来的问题。与传统的烟雾分割方法相比，该算法的烟雾分割效果更佳。

附图说明

图1为本发明流程图；

图2为本发明烟雾分割过程，图2(a)为烟雾图像二值化，图2(b)为区域生长；(c)形态学处理后的烟雾分割结果；

图3为视频3实验结果；图3(a)为传统区域生长法得到的区域生长图，图3(b)为本发明进行二值化处理后的烟雾图像，图3(c)为本发明改进后的区域生长法得到的区域生长图；

图4为视频5实验结果；图4(a)为传统区域生长法得到的区域生长图，图4(b)为本发明进行二值化处理后的烟雾图像，图4(c)为本发明改进后的区域生长法得到的区域生长图；

图5为视频11实验结果；图5(a)为传统区域生长法得到的区域生长图，图5(b)为本发明进行二值化处理后的烟雾图像，图5(c)为本发明改进后的区域生长法得到的区域生长图；

图6为视频12实验结果；图6(a)为传统区域生长法得到的区域生长图，图6(b)为本发明进行二值化处理后的烟雾图像，图6(c)为本发明改进后的区域生长法得到的区域生长图。

具体实施方式

以下结合附图和具体实施方式对本发明进行进一步具体说明。

如图1所示，本发明提供了一种火灾烟雾图像分割方法，首先对从火灾烟雾视频中获取的 火灾烟雾图像进行去噪，将其从RGB颜色空间转换到HSV颜色空间；然后在V通道中采用背景 减法对火灾烟雾图像进行二值化处理，得到二值图像；再选取二值图像中的某一像素点作为种 子点，在该二值图像中以该种子点进行区域生长，得到区域生长图；最后对区域生长图进行形 态学处理得到最终烟雾分割图像。以下通过实施例对各步骤进行具体说明：

1图像预处理

1.1 HSV颜色空间转换

由摄像机采集到的火灾烟雾图像为RGB图像，烟雾在RGB颜色空间模型中表现出R、G、B 三分量近似相等的图像特征，这一特征使得烟雾分割在单分量上进行分析尤为困难，因此需要 将采集到的初始火灾烟雾图像转换到其他颜色空间上。本发明提出的烟雾分割算法是建立在烟 雾引起背景发生明度变化的现象上，利用的是明度信息，为了将明度信息单独分离出来进行烟 雾分割，将采集到的火灾烟雾图像由RGB颜色空间模型转换到HSV颜色空间模型,然后在V通 道上进行单独分析。

在HSV颜色空间模型中，H代表的是色调，表示颜色的种类，S代表的是饱和度，表示颜 色的深浅，V代表的是明度，表示明亮程度。HSV颜色空间模型更符合人类的视觉感知，将颜 色信息和明度信息分离开来，这对于利用明度信息来进行烟雾分割十分有利，由RGB颜色空间 模型转换到HSV颜色空间模型可用公式(9)-(11)表示^[7]。

1.2图像二值化

区域生长法作为图像分割领域中的常用分割方法之一，有着分割方法简单、目标分割完整、 目标边界明显等优点，但不是在所有的图像目标分割中都适用，其对图像也有着严格的要求。 首先。分割的目标要与背景有明显的差异性，如果目标边缘与背景区分不明显，目标分割将出 现过分割的现象；其次，分割目标的内部要具有均匀性，目标内部各个部分差异性小，如果目 标内部出现差异性明显的不同部分，目标分割将出现欠分割现象，只能分割出目标的一部分， 分割不完整。

一般来说，在烟雾图像中，烟雾的颜色等图像特征不明显，其与背景区分并不明显，特别 是当烟雾浓度较低时，表现得尤为明显。无论是将烟雾图像转换为灰度图像，还是转换到其他 颜色通道如R通道、G通道、B通道等，与背景区分不明显的问题仍然存在，因此直接在烟雾 图像上进行区域生长是不可行的，需对采集到的烟雾图像进行特殊处理，以满足区域生长的要 求。

通过观察可以发现，当烟雾出现时，会引起背景在明度上的变化，利用该现象，在HSV 颜色空间模型的V通道上以背景减法将烟雾图像二值化，提取可疑目标区域，具体如公式(12) -(13)所示。背景图像也在缓慢变化的，采用式(14)来进行背景图像的更新^[8]-[9]。

选择何种方式进行烟雾图像的二值化取决于h值的大小，依据本次实验结果，当h＞0.3时， 应以公式(5)进行二值化处理，当h≤0.3时，应以公式(4)进行二值化处理。公式(12)和(13)中的 阈值T₁和T₂均为经验参数，依据本次实验结果，T₁＝0.03，T₂＝0.1h。

2自动种子区域生长

2.1种子点自动选取

将采集到的RGB彩色烟雾图像进行一系列的图像预处理之后，得到的是仅由0和1表示的 二值图像，其中0表示的像素点呈现黑色，1表示的像素点呈现白色。在二值烟雾图像中，烟 雾区域呈现大片白色，背景区域呈现零散的黑白点，烟雾区域与背景区域有较好的差异性。虽 然经过预处理后的烟雾图像基本具备了区域生长法所需要的图像特征，但并不表明区域生长法 可以顺利进行，其还对种子点的选取有着严格的要求。种子点选取是否合适，决定了区域生长 法分割效果的优劣。优秀的种子点可以将烟雾较好的分割出来，劣质的种子点则正好相反，分 割的效果极差。因此，有必要对种子点的选取进行讨论。

二值烟雾图像仅由0和1表示，烟雾区域由大量像素值为1的像素点和少量像素值为0 的像素点组成，利用该性质，本发明在烟雾种子点选取上提出了智能择优法。本实施例中，首 先将二值烟雾图像均匀分成100小块，统计每小块像素值为1的像素点个数，找到个数最多的 小块，如有个数相等的小块则取其一；然后在对该小块进行16等分，分成16小块，统计每小 块像素值为1的像素点个数，找到个数最多的小块，如有个数相等的小块则取其一；最后取该 小块上像素值为1的一点作为种子点，种子点选取如式(15)-(16)。

其中，M和N分别为二值图像的宽度和高度；x₁和y₁为图像初次均匀划分为100小块时, 像素值为1的像素点个数最多的小块B₁在二值图像上所处的行和列，x₂和y₂为小块B₁再次均匀 划分为16小块时,像素值为1的像素点个数最多的小块B₂在B₁上所处的行和列，x₃和y₃为以一 个像素为单位对B₂进行划分时，种子点在B₂上所处的行和列。

2.2区域生长

区域生长的基本思想是将具有相似性质的像素集合起来构成区域。具体先对每个需要分割 的区域寻找一个种子点像素作为生长的起点，然后将种子点周围邻域中与种子点像素有相同或 相似性质的像素(根据某些预先确定的生长或相似准则判定)合并到种子点所在的区域中。将 这些像素当做新的种子点继续进行上面的过程，直到再没有满足条件的像素被包括进来，最终 形成一个区域^[10]。

区域生长法计算方式简单，生长准则选取自由，可操作性强。传统的区域生长法在灰度图 像上进行，通过比较像素点与种子点区域的灰度差异性，决定是否将像素点合并到种子点区域。 由于生长准则采取了迭代方式，计算量大，区域生长法相对于其他图像分割方法来说更为耗时， 这在彩色图像的区域生长分割表现更为突出，因此，尽可能将待处理图像简单化，对于减少区 域生长时间十分有效。本发明将烟雾图像二值化，使待处理图像简单化，在一定程度上加快了 区域生长速度。通过智能择优法自动选取种子点，使用改进后的生长准则进行区域生长，具体 区域生长步骤如下：

1)通过智能择优法获得种子点；

2)以该种子点作为5×5的窗口的中心像素(坐标)点，将窗口内其余24个像素点值置 1，以防止种子点周围存在空洞，区域生长不成功；其中w₁和w₂均为奇数；

3)比较种子点像素值与其4邻域内像素点像素值的大小关系，将其4邻域内像素值等于 种子点像素值的像素点合并至种子点区域；

4)从种子点区域的边界点像素出发，以这些边界点作为新的种子点，返回步骤3)，继 续进行合并操作，直至不能再合并。

由于环境复杂多变及图像噪点的存在，在烟雾图像二值化时，难免导致烟雾区域存在零散 的黑点，经过区域生长法得到的烟雾分割图像内部存在空洞，因此需要将分割后的烟雾图像进 行形态学处理，以消除空洞，得到最终的烟雾分割图像。

实验验证

本发明提出的火灾烟雾图像分割方法(称为improved automatic seed regiongrowing， IASRG算法)运用了背景减法，研究的是从无烟到有烟的早期火灾场景下的烟雾分割问题，实 验视频使用自制的火灾烟雾视频^[11]，总共使用13个烟雾视频，其中4个实验视频(视频3、4、 11、12)的实验结果如图3～图6所示，可以看出本发明改进后的区域生长法烟雾分割能力得 到明显提升。

为了证明IASRG算法的有效性，分别统计烟雾分割结果的重叠率和溢出率，其具体计算公 式如公式(9)-(10)所示，同时与传统烟雾分割方法进行比较，对比算法选取灰度背景差分 法(背景减法)^[12](根据实验结果本次实验阈值取10)和颜色分割(采用由Prema CE等^[13]人提出的基于YUV颜色空间模型的烟雾分割方法)。

重叠率：

溢出率：

其中A指实际烟雾区域(手动选取)，B指由算法得到的烟雾区域。重叠率指算法得到的 烟雾区域包含的有效烟雾区域与实际烟雾区域面积比，溢出率指算法得到的烟雾区域包含的非 有效烟雾区域与实际烟雾区域面积比。重叠率描述算法的有效烟雾分割能力，溢出率描述的是 烟雾的过分割现象。

表1重叠率实验统计结果

表2溢出率实验统计结果

由表1-2可以看出，相对于传统的灰度背景差分法和颜色分割法，其重叠率高，溢出率低， 烟雾分割效果更佳，有效解决烟雾的欠分割和过分割问题。

实验结果表明该算法的烟雾分割效果好，种子点的选择均能精确地选择到烟雾部分。算法 结合了烟雾的动态信息，能适应更为复杂的火灾环境。

参考文献：

[1]方维.火灾图像分割技术的研究[D].西安建筑科技大学,2010.

[2]徐仕玲.野外火灾的图像识别方法研究[D].南京航空航天大学,2008.

[3]薛节.图像型火灾探测及火源定位系统的研究与实现[D].东华大学,2015.

[4]Chen T H,Yin Y H,Huang S F,et al.The Smoke Detection for EarlyFire-Alarming System Base on Video Processing[C]//International Conference onIntelligent Information Hiding and Multimedia Signal Processing,2006.Iih-Msp.IEEE,2006:427-430.

[5]张静.嵌入式图像型火灾检测系统的实现[D]:大连理工大学,2013.

[6]于春雨.基于光流法火灾烟雾视频图像识别及多信息融合探测算法研究[D].中国科学技术大 学,2010.

[7]丁伟雄.MATLAB R2015a数字图像处理[M].清华大学出版社,2016:58-59

[8]Nguyen T P T,Nguyen H.Image Processing for Smoke Detection Basedon Embedded System[M]//AETA2015:Recent Advances in Electrical Engineering andRelated Sciences.Springer International Publishing,2016.

[9]周忠,赵亚琴,唐于维一,等.基于时空特征的林火视频烟雾区域提取[J].中国农机化学报, 2016,37(2):196-199.

[10]MATLAB技术联盟,张岩.MATLAB图像处理超级学习手册[M].北京:人民邮电出版社, 2014:286-28.

[11]Ko B C,Cheong K H,Nam J Y.Early fire detection algorithm based onirregular patterns of flames and hierarchical Bayesian Networks[J].FireSafety Journal,2010,45(4):262-270.

[12]曹希锋,梅真硕,张曦,等.一种基于模糊特征的火灾烟雾实时识别算法[J].消防科学与技 术,2014,33(6):670-673.

[13]Prema C E,Vinsley S S,Suresh S.Multi Feature Analysis of Smoke inYUV Color Space for Early Forest Fire Detection[J].Fire Technology,2016,52(5):1319-1342.

Claims (5)

1.一种火灾烟雾图像分割方法，其特征在于，包括以下步骤：

步骤1、将从火灾烟雾视频中获取的火灾烟雾图像从RGB颜色空间转换到HSV颜色空间；

步骤2、在V通道中采用背景减法对火灾烟雾图像进行二值化处理，得到二值图像；

步骤3、选取二值图像中的某一像素点作为种子点，在该二值图像中以该种子点进行区域生长，得到区域生长图；

所述步骤3中通过智能择优法自动选取种子点，步骤如下：

首先将二值图像均匀分成m₁×n₁小块，统计每小块上像素值为1的像素点个数，找到个数最多的小块，如有个数相等的小块则取其一；然后再将该小块均匀分成m₂×n₂小块，统计每小块上像素值为1的像素点个数，找到个数最多的小块，如有个数相等的小块则取其一；最后将该小块上像素值为1的一点作为种子点，种子点的位置如式(7)-(8)：

其中，(x，y)为以二值图像的左下角像素点为原点，宽度方向为x轴，高度方向为y轴建立的坐标系中像素点的坐标；M和N分别为二值图像的宽度和高度；x₁和y₁为图像初次均匀划分为m₁×n₁小块时，像素值为1的像素点个数最多的小块B₁在二值图像上所处的行和列，x₂和y₂为小块B₁再次均匀划分为m₂×n₂小块时，像素值为1的像素点个数最多的小块B₂在B₁上所处的行和列，x₃和y₃为以一个像素为单位对B₂进行划分时，种子点在B₂上所处的行和列；

步骤4、对区域生长图进行形态学处理得到最终烟雾分割图像。

2.根据权利要求1所述的火灾烟雾图像分割方法，其特征在于，所述步骤1中，将火灾烟雾图像从RGB颜色空间转换到HSV颜色空间的公式为：

其中，R、G和B为火灾烟雾图像在RGB颜色空间中的三个分量，分别为红色分量、绿色分量和蓝色分量；H、S和V为火灾烟雾图像在HSV颜色空间中的三个分量，分别为色调、饱和度和明度。

3.根据权利要求1所述的火灾烟雾图像分割方法，其特征在于，所述步骤2具体包括以下步骤：

步骤21、选定无火灾情况下图的图像作为背景图像，背景图像上像素点(x，y)处的明度记为B(x，y)；令当前帧的帧序号j＝1；

步骤22、对于第j帧火灾烟雾图像，根据其在V通道相对于背景图像变化的最大值h选择对火灾烟雾图像进行二值化处理的方式：

1)当h≤T时，按公式(4)对火灾烟雾图像进行二值化处理：

其中，V_j(x，y)表示第j帧火灾烟雾图像上像素点(x，y)处的明度；Z_j(x，y)表示二值化处理后第j帧火灾烟雾图像上像素点(x，y)处的像素值；T和T₁为阈值；

2)当h＞T时，按公式(5)对火灾烟雾图像进行二值化处理：

其中，T₂为阈值；

步骤23、采用式(6)来进行背景图像的更新：

其中，α为更新系数，其取值范围为0～1；

步骤24、令j＝j+1，返回步骤22；对下一帧火灾烟雾图像进行二值化处理。

4.根据权利要求3所述的火灾烟雾图像分割方法，其特征在于，所述T＝0.3，T₁＝0.03，T₂＝0.1h。

5.根据权利要求1所述的火灾烟雾图像分割方法，其特征在于，所述步骤3中区域生长的步骤如下：

1)通过智能择优法获得种子点；

2)以该种子点作为w₁×w₂的窗口的中心像素点，将窗口内其余像素点值置1，以防止种子点周围存在空洞，区域生长不成功；其中w₁和w₂均为奇数；

3)比较种子点像素值与其4邻域内像素点像素值的大小关系，将其4邻域内像素值等于种子点像素值的像素点合并至种子点区域；

4)从种子点区域的边界点像素出发，以这些边界点作为新的种子点，返回步骤3)，继续进行合并操作，直至不能再合并。

Images