CN102609710A - 针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法 - Google Patents

针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法 Download PDF

Info

Publication number
CN102609710A
CN102609710A CN2012100402369A CN201210040236A CN102609710A CN 102609710 A CN102609710 A CN 102609710A CN 2012100402369 A CN2012100402369 A CN 2012100402369A CN 201210040236 A CN201210040236 A CN 201210040236A CN 102609710 A CN102609710 A CN 102609710A
Authority
CN
China
Prior art keywords
transmitance
pixel
color
fire
shelter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100402369A
Other languages
English (en)
Other versions
CN102609710B (zh
Inventor
赵俭辉
龙成江
章登义
袁志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN 201210040236 priority Critical patent/CN102609710B/zh
Publication of CN102609710A publication Critical patent/CN102609710A/zh
Application granted granted Critical
Publication of CN102609710B publication Critical patent/CN102609710B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法，使用透过率模型表征烟火共存的视觉场景；计算透过率并与阈值比较，判断每个像素点是否属于有烟区域；基于透过率模型恢复并绘制遮挡物及被遮挡物的相关细节。本发明以透过率为本质特征，在有效分割的同时，能够获取遮挡物与被遮挡物的更多细节。对单帧图像，先基于图像分块粗略估算透过率，再对每个像素的透过率进行精确计算，除恢复被遮挡物颜色外，还能得到遮挡物的浓度分布；对有参考帧的视频图像，借助与参考帧的比较计算遮挡物的透过率与颜色值，并把遮挡物颜色限制放宽至火灾烟雾常见的颜色范围，还通过硬件与软件方法处理精度和无唯一解问题，能够同时获取遮挡物的浓度与颜色信息。

Description

针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法
技术领域
本发明涉及火灾的自动视频监控和数字图像处理技术领域，尤其涉及一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法。
背景技术
在针对火灾的自动视频监控系统中，烟火目标的分割精度是影响最终识别结果的关键因素。烟火的自动分割方法大致分为阈值分割、边缘检测分割、区域特性分割、特征空间聚类分割等。阈值分割法主要包括直方图阈值、最大类间方差（Otsu）阈值、二维最大熵值、模糊阈值、共生矩阵阈值等；边缘检测法主要包括Sobel算子、Canny算子、Laplacan算子、Roberts算子、Prewitt算子等；区域分割法主要包括区域增长、区域分开合并等；空间聚类法主要包括K均值、模糊C均值、Mean-Shift等。具体而言，烟火目标获取最常使用的方法是借助于颜色特征的分割，如火的彩色范围与烟的灰度范围，常用颜色模型包括RGB、HSI、YCbCr等；而颜色范围的确定通常基于样本数据的分析与学习，如经验阈值、直方图、样本分布曲线拟合、核密度估计等。
然而，现有的烟火识别方法往往只处理烟或只处理火，极少的同时识别烟火的系统也只是把烟识别算法与火识别算法封装于同一个程序。但在实际的火灾图像视频中，烟火通常是共存的，火焰常被浓度不均匀、颜色不单一、形状不规则且持续变化的半透明烟雾笼罩。前景中烟的存在会严重影响火的识别精度，即烟的遮挡使火的细节变模糊而造成火焰分割、特征提取、匹配跟踪等出现误差；反之，背景中火的存在也会改变前景中烟的外观，从而造成烟的判断与定位出现错误。另外，仅仅判断出图像视频中烟火的存在与位置是不够的，只有获取更多的烟与火的细节才能提供更充分的火灾信息。针对这个问题目前尚无专门的处理方法，虽有相关文献对遮挡物或被遮挡物的单独分割展开研究，但仍无法做到对烟雾笼罩场景中烟雾与火焰的有效分割与细节恢复。
针对遮挡物的分割，已有方法认为烟雾扩散使得图像中背景的纹理和边缘变得模糊，而纹理和边缘对应着图像中的高频信息，与之关联的是小波子图像能量值的减少，这样通过监控视频中图像分块的小波系数变化情况来检测相应区域是否有烟雾出现；另有方法除了提出高通滤波半透明遮挡快速模型用于表征烟雾的模糊性外，还提出了基于运动累积量和主运动方向的烟雾特征，进而判断各图像分块是否为烟雾。这些方法虽能判断遮挡物烟雾的存在与位置，但难以得到浓度与颜色等细节，同时无法恢复被遮挡物的信息。
针对被遮挡物的分割，已有的图像去雾算法估算局部雾气浓度与环境光，再根据物理学中雾的形成公式在一定程度上去除笼罩的薄雾，还原被遮挡物的细节，但算法处理对象仅局限于相对均匀的白雾。与雾相比，火灾中烟的浓度、颜色、形状等均处于动态变化中，去雾算法无法应用于均匀白烟之外的场合。此外，去雾算法在恢复被遮挡物的同时，难以获取遮挡物详情，而在火灾识别中除烟的位置、形状、运动方向外，其浓度分布、颜色变化等细节往往是更有价值的火灾信息。
发明内容
针对上述存在的技术问题，本发明的目的是提供一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法，以实现烟雾笼罩情况下烟雾与火焰的有效分割与细节恢复。
为达到上述目的，本发明采用如下的技术方案：
一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法，包括以下步骤：
步骤1，使用透过率模型表征烟雾笼罩的火灾视觉场景，所述透过率模型的公式如下
Figure 2012100402369100002DEST_PATH_IMAGE001
其中
Figure 151722DEST_PATH_IMAGE002
为图像中任意像素，
Figure 2012100402369100002DEST_PATH_IMAGE003
表示
Figure 30685DEST_PATH_IMAGE002
对应的被遮挡物颜色，表示
Figure 802999DEST_PATH_IMAGE002
对应的遮挡物颜色，
Figure 2012100402369100002DEST_PATH_IMAGE005
表示
Figure 29581DEST_PATH_IMAGE002
对应的遮挡后的图像颜色，
Figure 271207DEST_PATH_IMAGE006
表示对应的遮挡物的透过率，遮挡物是指火灾场景中的烟雾；
步骤2，针对火灾图像视频中的当前帧，计算每个像素的透过率；
步骤3，通过比较步骤2计算所得透过率与预设的透过率阈值，判断每个像素是否属于有烟区域；所述判断方式为，若某像素的透过率小于所设透过率阈值，则该像素属于有烟区域，否则为无烟区域；
步骤4，恢复被遮挡物的细节信息以及遮挡物的细节信息。
而且，在当前帧是没有参考帧的单帧图像时，步骤2包括以下子步骤，
步骤2.11，在遮挡物颜色已知的前提下，以图像分块为单位进行透过率的粗略估算，计算公式如下
Figure 2012100402369100002DEST_PATH_IMAGE007
其中
Figure 314435DEST_PATH_IMAGE008
为根据图像分块粗略估算的像素
Figure 39815DEST_PATH_IMAGE002
的透过率值，
Figure 503157DEST_PATH_IMAGE009
为以像素
Figure 912797DEST_PATH_IMAGE002
为中心的图像分块，
Figure 145195DEST_PATH_IMAGE010
为图像分块
Figure 979159DEST_PATH_IMAGE009
中的像素，
Figure 2012100402369100002DEST_PATH_IMAGE011
为像素
Figure 179065DEST_PATH_IMAGE010
在颜色空间
Figure 61571DEST_PATH_IMAGE012
通道的颜色值，
Figure 476371DEST_PATH_IMAGE012
的取值范围为
Figure 2012100402369100002DEST_PATH_IMAGE013
，
Figure 540624DEST_PATH_IMAGE013
分别代表红色、绿色、蓝色，
Figure 978558DEST_PATH_IMAGE014
为已知的遮挡物颜色；
步骤2.12，基于所得透过率粗略估算结果，采用图像抠图技术以像素为单位进行透过率的精确计算，得到当前帧每个像素的透过率，计算公式如下
Figure 2012100402369100002DEST_PATH_IMAGE015
其中为以像素为单位精确计算的像素的透过率值，
Figure 2012100402369100002DEST_PATH_IMAGE017
为规则化参数，
Figure 234462DEST_PATH_IMAGE018
为拉普拉斯抠图矩阵，
Figure 2012100402369100002DEST_PATH_IMAGE019
为与
Figure 222010DEST_PATH_IMAGE018
同规模的单位矩阵。
而且，在当前帧是没有参考帧的单帧图像时，步骤4具体实现如下，
根据步骤2.12所得当前帧每个像素的透过率和步骤1所得透过率模型的公式，恢复并绘制被遮挡物的颜色细节；
通过透过率的映射恢复并绘制遮挡物烟的浓度分布，映射公式如下
Figure 508635DEST_PATH_IMAGE020
其中
Figure 2012100402369100002DEST_PATH_IMAGE021
为图像透过率映射后的灰度图，
Figure 898028DEST_PATH_IMAGE022
和分别为透过率的阈值和最小值，
Figure 982046DEST_PATH_IMAGE016
为步骤2.12所得当前帧中像素
Figure 394573DEST_PATH_IMAGE002
的透过率值。
而且，在当前帧是有参考帧的视频图像时，步骤2包括以下子步骤，
步骤2.21，选择视频序列中无烟场景的帧作为参考帧；
步骤2.22，基于步骤1的透过率模型，根据不同颜色通道透过率公式建立联立方程组如下
Figure 484888DEST_PATH_IMAGE024
其中
Figure 2012100402369100002DEST_PATH_IMAGE025
、、
Figure 2012100402369100002DEST_PATH_IMAGE027
为像素
Figure 308674DEST_PATH_IMAGE002
处当前帧的三通道颜色，
Figure 942917DEST_PATH_IMAGE028
、
Figure 2012100402369100002DEST_PATH_IMAGE029
、为像素
Figure 935330DEST_PATH_IMAGE002
处参考帧的三通道颜色，
Figure 2012100402369100002DEST_PATH_IMAGE031
、
Figure 623800DEST_PATH_IMAGE032
、
Figure 2012100402369100002DEST_PATH_IMAGE033
为像素
Figure 804727DEST_PATH_IMAGE002
处遮挡物的三通道颜色；
步骤2.23，增加步骤2.22所得方程组的未知数，把对遮挡物颜色的限制放宽至火灾烟雾常见的颜色范围，所得方程组如下
Figure 236846DEST_PATH_IMAGE034
其中
Figure 2012100402369100002DEST_PATH_IMAGE035
，
Figure 455337DEST_PATH_IMAGE036
，
Figure 2012100402369100002DEST_PATH_IMAGE037
，且满足
Figure 252392DEST_PATH_IMAGE038
，即允许遮挡物颜色在常见的火灾烟雾颜色范围内变化，常见的火灾烟雾颜色为灰色或蓝色或黄色；
步骤2.24，求解步骤2.23所得方程组，得到当前帧每个像素的透过率与遮挡物的颜色值。
而且，在当前帧是有参考帧的视频图像时，步骤4具体实现如下，
    通过透过率值的映射恢复并绘制遮挡物烟的浓度分布，映射公式如下
Figure 923545DEST_PATH_IMAGE020
其中
Figure 831458DEST_PATH_IMAGE021
为图像透过率映射后的灰度图，
Figure 842139DEST_PATH_IMAGE022
和
Figure 872412DEST_PATH_IMAGE023
分别为透过率的阈值和最小值，
Figure 968544DEST_PATH_IMAGE016
为步骤2.24所得当前帧中像素
Figure 742465DEST_PATH_IMAGE002
的透过率值；
根据步骤2.24所得当前帧每个像素的透过率和步骤2.23所得方程组，恢复并绘制遮挡物烟的颜色细节。
而且，当根据步骤2.23所得方程组求解像素
Figure 607653DEST_PATH_IMAGE002
的透过率与遮挡物的颜色值无唯一解时，根据像素
Figure 746510DEST_PATH_IMAGE002
周围像素求解出的透过率与颜色值间接计算。
而且，使用高位高精度CCD工业相机获取火灾图像视频。
本发明具有以下优点和积极效果：
(1) 本发明提出了模拟人类视觉感知的遮挡物透过率模型，为火灾图像视频中烟雾笼罩场景的烟火目标分割提供了理论依据；
(2) 针对单帧图像，本发明能够获取被遮挡物火的颜色信息，以及已知颜色的遮挡物烟的浓度分布；
(3) 针对有参考帧的视频图像，本发明能够同时获取在火灾烟雾常见颜色范围内变化的遮挡物烟的浓度与颜色信息；
(4) 通过使用高位高精度相机的硬件方法与借助参考帧中周围像素的软件方法，本发明有效解决了视频图像透过率的精度问题和无唯一解问题；
(5) 基于透过率计算及阈值比较与映射处理，本发明能够恢复并绘制火灾图像视频中的烟雾与火焰信息，实现遮挡物与被遮挡物的更有效分割与细节获取。
具体实施方式
从人类视觉的客观事实看，即使受到动态的不均匀半透明烟的遮挡，仍然能够分辨出火的大部分细节，同时还能分辨出烟的颜色与浓度分布情况。因此，本发明提出基于透过率的烟火分割模型，用于仿真人类认知此类遮挡的有效机制，或者说反映该类图像视频中蕴含着的基本物理规律，以实现遮挡物与被遮挡物的更有效分割与细节获取。
下面以具体实施例对本发明作进一步说明，实施例包括以下步骤：
步骤1，使用透过率模型表征烟雾笼罩的火灾视觉场景。
人类在感知火灾图像视频中的烟雾笼罩的烟火场景时，对目标分割与细节获取贡献最大的不是颜色、形状、纹理等普通视觉特征，而是遮挡物的透过率。透过率直接反映了遮挡物烟雾的位置、形状、浓度等细节信息，并直接决定了被遮挡物的细节恢复的程度。针对烟雾笼罩的火灾视觉场景，本发明实施例使用下式表达透过率模型：
Figure 392255DEST_PATH_IMAGE001
                                                （1）
其中
Figure 907550DEST_PATH_IMAGE002
为图像中任意像素，
Figure 689562DEST_PATH_IMAGE003
表示
Figure 999320DEST_PATH_IMAGE002
对应的被遮挡物颜色，
Figure 70044DEST_PATH_IMAGE004
表示
Figure 188698DEST_PATH_IMAGE002
对应的遮挡物颜色，
Figure 28478DEST_PATH_IMAGE005
表示对应的遮挡后的图像颜色，
Figure 129475DEST_PATH_IMAGE006
表示
Figure 783310DEST_PATH_IMAGE002
对应的遮挡物的透过率。
公式（1）表达了遮挡物、被遮挡物、遮挡后图像之间的关系，并且以透过率为联系三者的本质特征，为烟火场景中烟雾遮挡的处理提供了理论依据。与现有去雾算法的基本公式相比，由变量
Figure 477596DEST_PATH_IMAGE004
取代了环境光常量
Figure DEST_PATH_IMAGE039
，从而使颜色变化的遮挡物处理成为可能。
步骤2，针对火灾图像视频中的当前帧，计算每个像素的透过率。
考虑到实际可能出现的两种情况，实施例提出分别采用不同的具体计算方式。
一、针对单帧图像的透过率计算方式如下：
单帧图像遮挡处理的前提是：已知遮挡物颜色，且与被遮挡物颜色不同。以火灾场景中的烟火为例，烟多为白色，且与火的颜色有明显区别。
步骤2.11，在遮挡物颜色已知的前提下，以图像分块为单位进行透过率的粗略估算。
在遮挡物颜色已知的前提下进行单帧图像透过率的粗略估算时，以图像分块（例如15*15像素）为单位，计算块内像素与遮挡物的颜色差别，差别越明显则遮挡程度越小，即透过率越大，实施例采用的估算公式为：
Figure 457054DEST_PATH_IMAGE007
                                       （2）
其中
Figure 236791DEST_PATH_IMAGE008
为根据图像分块
Figure 694317DEST_PATH_IMAGE009
粗略估算的像素
Figure 508689DEST_PATH_IMAGE002
的透过率值，为以像素
Figure 722819DEST_PATH_IMAGE002
为中心的图像分块，
Figure 921719DEST_PATH_IMAGE010
为图像分块
Figure 652915DEST_PATH_IMAGE009
中的像素，
Figure 646279DEST_PATH_IMAGE011
为像素
Figure 400608DEST_PATH_IMAGE010
在颜色空间
Figure 220444DEST_PATH_IMAGE012
通道的颜色值，
Figure 806147DEST_PATH_IMAGE012
的取值范围为，
Figure 539933DEST_PATH_IMAGE013
分别代表红色、绿色、蓝色，
Figure 815057DEST_PATH_IMAGE014
为已知的遮挡物颜色。
本发明以RGB颜色空间为例进行说明，但颜色空间并不局限于单一的RGB模型。根据数字图像处理的基础知识，其它类型的颜色模型都可以转换至RGB颜色空间。
步骤2.12，基于所得透过率粗略估算结果，采用图像抠图技术以像素为单位进行透过率的精确计算，得到当前帧每个像素的透过率。
基于像素
Figure 458528DEST_PATH_IMAGE002
的透过率粗略估算值
Figure 856011DEST_PATH_IMAGE008
，为了进一步获取像素
Figure 584933DEST_PATH_IMAGE002
的更加精确的透过率值，本发明借助现有的图像抠图的相关技术，通过预处理共轭梯度算法（PCG）求解大规模稀疏矩阵，获得以像素为单位的精确计算的透过率值，计算公式为：
Figure 726064DEST_PATH_IMAGE015
                                                       （3）
其中为以像素为单位精确计算的像素
Figure 58005DEST_PATH_IMAGE002
的透过率值，
Figure 8644DEST_PATH_IMAGE017
为规则化参数（具体实施时可设为较小值以保证结果更加精确），为拉普拉斯抠图矩阵（Matting Laplacian Matrix），
Figure 310815DEST_PATH_IMAGE019
为与
Figure 748750DEST_PATH_IMAGE018
同规模的单位矩阵。
矩阵
Figure DEST_PATH_IMAGE041
中的任何一个元素，可表示为：
Figure 234613DEST_PATH_IMAGE042
                                     （4）
其中
Figure DEST_PATH_IMAGE043
表示当前单帧图像
Figure 769500DEST_PATH_IMAGE044
中以像素
Figure DEST_PATH_IMAGE045
为中心的小窗口
Figure 945266DEST_PATH_IMAGE046
内第
Figure 870497DEST_PATH_IMAGE048
个像素和第个像素；
Figure 157122DEST_PATH_IMAGE050
和
Figure DEST_PATH_IMAGE051
分别为像素
Figure 280935DEST_PATH_IMAGE048
和像素
Figure 565286DEST_PATH_IMAGE049
的颜色向量；
Figure 977813DEST_PATH_IMAGE052
为克罗内克（Kronecker）符号，当与相等时大小为1，否则为0；
Figure DEST_PATH_IMAGE053
和
Figure 501701DEST_PATH_IMAGE054
分别为小窗口
Figure 401524DEST_PATH_IMAGE046
内像素颜色的3*1均值向量与3*3协方差矩阵；
Figure DEST_PATH_IMAGE055
为3*3的单位矩阵；
Figure 29952DEST_PATH_IMAGE056
为规则化参数（具体实施时可设为较小值0.01以保证结果更加精确）；
Figure DEST_PATH_IMAGE057
表示窗口
Figure 391007DEST_PATH_IMAGE046
中的像素个数（例如当
Figure 751581DEST_PATH_IMAGE046
为3*3像素窗口时，
Figure 201017DEST_PATH_IMAGE057
为9）。
以求解的透过率
Figure 570819DEST_PATH_IMAGE016
为本质特征可以进行遮挡的有效分割与细节获取，在、
Figure 320786DEST_PATH_IMAGE004
均已知的情况下基于公式（1）可以得到被遮挡物的逐像素的颜色信息
Figure 929622DEST_PATH_IMAGE003
：
                                                     （5）
单帧图像遮挡处理的局限是遮挡物颜色即
Figure 176112DEST_PATH_IMAGE014
已知且单一，否则公式（2）无法求解，这就限制了透过率模型的使用范围，用于简单的图像去雾没有问题，但火灾图像中的烟并非单一的白色，而往往在从白到黑的灰度范围内变化。
针对颜色变化的遮挡物，本发明提出了下述借助视频参考帧的方法，把对遮挡物颜色的限制放宽至从白到黑的灰度范围，然后进一步放宽至火灾烟雾常见的颜色范围。
二、针对有参考帧的视频图像的透过率计算方式如下：
步骤2.21，选择视频序列中无烟场景的帧作为参考帧。
视频序列中参考帧的指定与使用是常见方法，借助与无烟场景参考帧的比较，可以放宽透过率模型对遮挡物颜色的限制。例如火灾视频中烟的遮挡，若与无烟场景帧对比，可以处理在整个灰度范围内乃至火灾烟雾常见颜色范围内变化的烟，而不仅仅是白色的烟。
步骤2.22，基于步骤1的透过率模型，根据不同颜色通道透过率公式建立联立方程组。
以RGB颜色空间（其它颜色模型可以先转换至RGB颜色空间）为例，公式（1）在不同颜色通道中的表达可以联立方程组：
Figure 206385DEST_PATH_IMAGE024
                                            （6）
其中
Figure 302517DEST_PATH_IMAGE002
为图像中任意像素，
Figure 14121DEST_PATH_IMAGE025
、、为像素处当前帧的三通道颜色，
Figure 975944DEST_PATH_IMAGE028
、
Figure 961218DEST_PATH_IMAGE029
、
Figure 333293DEST_PATH_IMAGE030
为像素
Figure 404017DEST_PATH_IMAGE002
处参考帧的三通道颜色，
Figure 457424DEST_PATH_IMAGE031
、、
Figure 843110DEST_PATH_IMAGE033
为像素处遮挡物的三通道颜色。若允许遮挡物颜色在从白到黑的整个灰度范围内变化，则需满足以下条件：
Figure DEST_PATH_IMAGE059
                                                       （7）
若令
Figure 54966DEST_PATH_IMAGE035
，
Figure 811569DEST_PATH_IMAGE060
，在当前帧与参考帧对应像素
Figure 463131DEST_PATH_IMAGE002
的颜色值因遮挡而不同时，可得方程组：
Figure DEST_PATH_IMAGE061
                                                        （8）
方程组（8）只有、
Figure DEST_PATH_IMAGE063
两个未知数，故当且仅当
Figure 28290DEST_PATH_IMAGE064
（即参考帧中像素
Figure 577083DEST_PATH_IMAGE002
也为灰色）时，三个方程等价于同一个方程，该情况下方程组不存在唯一解。此外，均可求解出
Figure 727442DEST_PATH_IMAGE062
、
Figure 994475DEST_PATH_IMAGE063
，进而求出遮挡物的透过率
Figure 193375DEST_PATH_IMAGE006
（即）和颜色值：
Figure 980251DEST_PATH_IMAGE066
                                                 （9）
在求解方程组（8）的过程中，理论上讲只要选择其中任何两个不同的方程式进行求解即可。但为了尽量减少由于计算产生的误差，本发明从R、G和B三通道选取在参考帧图像中差别最大的两个通道进行求解，从而将方程组（8）简化为：
Figure DEST_PATH_IMAGE067
                                                   （10）
其中，
Figure 734581DEST_PATH_IMAGE068
                          （11）
Figure DEST_PATH_IMAGE069
                          （12）
如果图像中的像素颜色值为过于离散的整数，会影响方程组（8）的求解精度。在硬件方面，本发明使用尽可能高位（如12位）的高精度CCD工业相机，获得更多位数的颜色数据输出，以区分更多的灰阶层次。
具体而言，普通8位（彩色24位）相机仅划分灰色为256个层次，10位（彩色30位）相机可以划分灰色为1024层，12位（彩色36位）相机则划分灰色多达4096层。高位高精度CCD工业相机能够更加准确地表达像素颜色值，反映出颜色近似像素间的细微差别，从而提高方程组（8）的求解精度。
当
Figure 530980DEST_PATH_IMAGE064
，即参考帧中像素为灰色时，方程组（8）没有唯一解。上述高位高精度相机的使用可以大大减少
Figure 546526DEST_PATH_IMAGE064
出现的概率，但不能完全避免。在软件方面，本发明利用参考帧中灰色像素
Figure 584889DEST_PATH_IMAGE002
周围的非灰色像素求解出的透过率与颜色值，间接计算出像素
Figure 125592DEST_PATH_IMAGE002
对应的解。
具体求解方法可以为：在灰色像素周围（如5*5像素）的范围内，找到所有的非灰色像素并计算出各自的透过率与颜色值，基于非灰色像素的解，通过均值滤波或中值滤波算法获取灰色像素的透过率与颜色值，这样可以避免将参考帧中灰色像素
Figure 895468DEST_PATH_IMAGE002
直接代入方程组（8）。
步骤2.23，增加步骤2.22所得方程组的未知数，把对遮挡物颜色的限制放宽至火灾烟雾常见的颜色范围。
方程组（8）中三个方程只对应着两个未知数，从求解的角度考虑可以再增加一个未知数，本发明将公式（7）中对遮挡物颜色只能在从白到黑的灰度范围内变化的限制进一步放宽。火灾烟雾的色彩特征可以根据燃烧材料的不同而有所不同，常见的有白烟、黑烟、蓝烟和黄烟几种。若允许遮挡物颜色在所有常见的火灾烟雾颜色（即灰色、蓝色或黄色）范围内变化，只需满足以下条件：
Figure 974283DEST_PATH_IMAGE038
                                                             （13）
若令
Figure 534577DEST_PATH_IMAGE035
，
Figure 40645DEST_PATH_IMAGE036
，
Figure 319179DEST_PATH_IMAGE037
，在当前帧与参考帧对应像素
Figure 201684DEST_PATH_IMAGE002
的颜色值因遮挡而不同时，可得方程组：
Figure 616485DEST_PATH_IMAGE034
                                                       （14）
步骤2.24，求解步骤2.23所得方程组，得到当前帧每个像素的透过率与遮挡物的颜色值。
方程组（14）有
Figure 559034DEST_PATH_IMAGE062
、
Figure 996968DEST_PATH_IMAGE063
、
Figure DEST_PATH_IMAGE071
三个未知数，故当且仅当（即参考帧中像素也为灰色、蓝色、或黄色）时，方程组（14）中前两个方程等价于同一个方程，该情况下方程组不存在唯一解。此外，均可求解出
Figure 865589DEST_PATH_IMAGE062
、
Figure 790819DEST_PATH_IMAGE063
、，进而求出遮挡物的透过率（即
Figure 751188DEST_PATH_IMAGE062
）和颜色值
Figure 163715DEST_PATH_IMAGE065
（即（
Figure DEST_PATH_IMAGE073
，，
Figure 232351DEST_PATH_IMAGE074
））。
同理，针对求解精度问题和时无唯一解问题，可采用与灰色遮挡物情况类似的硬件（使用高位高精度相机）与软件（借助参考帧中周围像素）的方法进行处理。
步骤3，通过比较步骤2计算所得透过率与预设的透过率阈值，判断每个像素是否属于有烟区域；所述判断方式为，若某像素的透过率小于所设透过率阈值，则该像素属于有烟区域，否则为无烟区域。
对于单帧图像和有参考帧的视频图像，基于求解出的透过率值以及“烟浓度越小则透过率越大，烟浓度越大则透过率越小”的客观规律，实施例将每一个像素点对应的透过率与通过实验获取的透过率阈值进行比较，若某像素的透过率小于所设的阈值，则该像素点属于有烟区域，反之则为无烟区域。通过阈值判断，能够获得以像素为单位的烟的位置与形状，且其精度高于现有的烟分割算法以图像分块为单位的结果。
步骤4，恢复被遮挡物的细节信息以及遮挡物的细节信息。
在处理单帧图像时，可以计算被遮挡物颜色与遮挡物浓度；在处理有参考帧图像时，借助与参考帧的比较，可以同时获得遮挡物浓度与颜色。对于单帧图像和有参考帧的视频图像两种情况，恢复的细节具体如下：
(1) 对于单帧图像，基于火灾图像中以像素为单位的透过率和步骤1所得透过率模型的公式（1）计算，可以恢复并绘制被遮挡物火的颜色细节。即通过将步骤2.12所得当前帧每个像素的透过率代入公式（5），获取
Figure 649743DEST_PATH_IMAGE003
。当然，在处理单帧图像时，能够恢复颜色细节的被遮挡物可能不仅仅是火。
(2) 对于单帧图像和有参考帧的视频图像，通过透过率值的映射，可以恢复并绘制遮挡物烟的浓度分布。假设某图像的透过率的阈值和最小值分别为
Figure 215853DEST_PATH_IMAGE022
和，为了获取有烟区域的遮挡物浓度分布，本发明将每个像素点的透过率映射为灰度值，即将有烟区域透过率的范围线性地转换为灰度范围
Figure 940413DEST_PATH_IMAGE076
，从而得到该图像的浓度分布图，映射公式为：
Figure 389849DEST_PATH_IMAGE020
                                               （15）
对于单帧图像，
Figure 494071DEST_PATH_IMAGE016
为步骤2.12所得当前帧中像素
Figure 709633DEST_PATH_IMAGE002
的透过率值；对于有参考帧的视频图像，
Figure 569004DEST_PATH_IMAGE016
为步骤2.24所得当前帧中像素的透过率值。
从公式（15）可以发现：透过率越小，烟浓度越大，映射后的灰度值越大即像素越趋近白色；透过率越大，烟浓度越小，映射后的灰度值越小即像素越趋近黑色。因此，从映射后的灰度图颜色可以推断出烟的浓度分布情况：颜色越白的像素对应位置的烟越浓，颜色越黑的像素对应位置的烟越薄。
(3) 对于有参考帧的视频图像，基于对比无烟场景参考帧的视频图像透过率计算，可以恢复并绘制遮挡物烟的颜色细节，即通过方程组（8）（可处理灰色烟）或方程组（14）（可处理灰色、蓝色、黄色烟）获取的遮挡物颜色值。
实验结果表明：(1) 普通视觉特征如颜色、形状、纹理在处理烟雾笼罩的火灾图像视频时，遮挡物/被遮挡物的特征会因被遮挡物/遮挡物的存在而弱化，容易导致分割错误；而我们的模型以透过率为本质特征，在有效分割的同时，能够获取遮挡物与被遮挡物更多的细节信息。(2) 透过率模型在处理单帧图像时，除了与去雾算法一样恢复被遮挡物颜色外，还能基于透过率值对遮挡物进行浓度分布的细节分析；在处理有参考帧的视频图像时，除了求解遮挡物的浓度信息外，还能计算遮挡物在火灾烟雾常见颜色范围内变化的颜色值，从而为遮挡物的细节描述与行为分析提供了可能。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法，其特征在于，包括以下步骤：
步骤1，使用透过率模型表征烟雾笼罩的火灾视觉场景，所述透过率模型的公式如下
其中
Figure 635795DEST_PATH_IMAGE002
为图像中任意像素，
Figure 2012100402369100001DEST_PATH_IMAGE003
表示
Figure 811561DEST_PATH_IMAGE002
对应的被遮挡物颜色，
Figure 736792DEST_PATH_IMAGE004
表示对应的遮挡物颜色，
Figure 2012100402369100001DEST_PATH_IMAGE005
表示
Figure 409880DEST_PATH_IMAGE002
对应的遮挡后的图像颜色，
Figure 694231DEST_PATH_IMAGE006
表示
Figure 841178DEST_PATH_IMAGE002
对应的遮挡物的透过率，遮挡物是指火灾场景中的烟雾；
步骤2，针对火灾图像视频中的当前帧，计算每个像素的透过率；
步骤3，通过比较步骤2计算所得透过率与预设的透过率阈值，判断每个像素是否属于有烟区域；所述判断方式为，若某像素的透过率小于所设透过率阈值，则该像素属于有烟区域，否则为无烟区域；
步骤4，恢复被遮挡物的细节信息以及遮挡物的细节信息。
2.根据权利要求1所述的一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法，其特征在于：在当前帧是没有参考帧的单帧图像时，步骤2包括以下子步骤，
步骤2.11，在遮挡物颜色已知的前提下，以图像分块为单位进行透过率的粗略估算，计算公式如下
Figure 2012100402369100001DEST_PATH_IMAGE007
其中为根据图像分块
Figure 2012100402369100001DEST_PATH_IMAGE009
粗略估算的像素
Figure 175394DEST_PATH_IMAGE002
的透过率值，
Figure 692963DEST_PATH_IMAGE009
为以像素
Figure 592785DEST_PATH_IMAGE002
为中心的图像分块，
Figure 158896DEST_PATH_IMAGE010
为图像分块
Figure 257302DEST_PATH_IMAGE009
中的像素，
Figure DEST_PATH_IMAGE011
为像素在颜色空间
Figure 67312DEST_PATH_IMAGE012
通道的颜色值，
Figure 437114DEST_PATH_IMAGE012
的取值范围为
Figure DEST_PATH_IMAGE013
，
Figure 655605DEST_PATH_IMAGE013
分别代表红色、绿色、蓝色，
Figure 517907DEST_PATH_IMAGE014
为已知的遮挡物颜色；
步骤2.12，基于所得透过率粗略估算结果，采用图像抠图技术以像素为单位进行透过率的精确计算，得到当前帧每个像素的透过率，计算公式如下
Figure DEST_PATH_IMAGE015
其中
Figure 189059DEST_PATH_IMAGE016
为以像素为单位精确计算的像素的透过率值，
Figure DEST_PATH_IMAGE017
为规则化参数，为拉普拉斯抠图矩阵，
Figure DEST_PATH_IMAGE019
为与
Figure 200244DEST_PATH_IMAGE018
同规模的单位矩阵。
3.根据权利要求2所述的一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法，其特征在于：在当前帧是没有参考帧的单帧图像时，步骤4具体实现如下，
根据步骤2.12所得当前帧每个像素的透过率和步骤1所得透过率模型的公式，恢复并绘制被遮挡物的颜色细节；
通过透过率的映射恢复并绘制遮挡物烟的浓度分布，映射公式如下
Figure 296376DEST_PATH_IMAGE020
其中为图像透过率映射后的灰度图，
Figure 70297DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
分别为透过率的阈值和最小值，
Figure 201064DEST_PATH_IMAGE016
为步骤2.12所得当前帧中像素
Figure 402238DEST_PATH_IMAGE002
的透过率值。
4.根据权利要求1所述的一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法，其特征在于：在当前帧是有参考帧的视频图像时，步骤2包括以下子步骤，
步骤2.21，选择视频序列中无烟场景的帧作为参考帧；
步骤2.22，基于步骤1的透过率模型，根据不同颜色通道透过率公式建立联立方程组如下
其中
Figure DEST_PATH_IMAGE025
、
Figure 297698DEST_PATH_IMAGE026
、
Figure DEST_PATH_IMAGE027
为像素处当前帧的三通道颜色，
Figure 655048DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE029
、
Figure 519580DEST_PATH_IMAGE030
为像素
Figure 635303DEST_PATH_IMAGE002
处参考帧的三通道颜色，
Figure DEST_PATH_IMAGE031
、、
Figure DEST_PATH_IMAGE033
为像素
Figure 80377DEST_PATH_IMAGE002
处遮挡物的三通道颜色；
步骤2.23，增加步骤2.22所得方程组的未知数，把对遮挡物颜色的限制放宽至火灾烟雾常见的颜色范围，所得方程组如下
Figure 638397DEST_PATH_IMAGE034
其中
Figure DEST_PATH_IMAGE035
，
Figure 292233DEST_PATH_IMAGE036
，
Figure DEST_PATH_IMAGE037
，且满足
Figure 314415DEST_PATH_IMAGE038
，即允许遮挡物颜色在常见的火灾烟雾颜色范围内变化，常见的火灾烟雾颜色为灰色或蓝色或黄色；
步骤2.24，求解步骤2.23所得方程组，得到当前帧每个像素的透过率与遮挡物的颜色值。
5.根据权利要求4所述的一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法，其特征在于：在当前帧是有参考帧的视频图像时，步骤4具体实现如下，
    通过透过率值的映射恢复并绘制遮挡物烟的浓度分布，映射公式如下
Figure 965976DEST_PATH_IMAGE020
其中
Figure 745714DEST_PATH_IMAGE021
为图像透过率映射后的灰度图，
Figure 203240DEST_PATH_IMAGE022
和
Figure 17612DEST_PATH_IMAGE023
分别为透过率的阈值和最小值，
Figure 902391DEST_PATH_IMAGE016
为步骤2.24所得当前帧中像素
Figure 169425DEST_PATH_IMAGE002
的透过率值；
根据步骤2.24所得当前帧每个像素的透过率和步骤2.23所得方程组，恢复并绘制遮挡物烟的颜色细节。
6.根据权利要求4所述的一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法，其特征在于：当根据步骤2.23所得方程组求解像素的透过率与遮挡物的颜色值无唯一解时，根据像素
Figure 102450DEST_PATH_IMAGE002
周围像素求解出的透过率与颜色值间接计算。
7.根据权利要求1或2或3或4或5或6所述的一种针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法，其特征在于：使用高位高精度CCD工业相机获取火灾图像视频。
CN 201210040236 2012-02-22 2012-02-22 针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法 Expired - Fee Related CN102609710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201210040236 CN102609710B (zh) 2012-02-22 2012-02-22 针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201210040236 CN102609710B (zh) 2012-02-22 2012-02-22 针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法

Publications (2)

Publication Number Publication Date
CN102609710A true CN102609710A (zh) 2012-07-25
CN102609710B CN102609710B (zh) 2013-07-24

Family

ID=46527069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201210040236 Expired - Fee Related CN102609710B (zh) 2012-02-22 2012-02-22 针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法

Country Status (1)

Country Link
CN (1) CN102609710B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141901A (zh) * 2015-08-12 2015-12-09 青岛中星微电子有限公司 一种视频处理方法和装置
CN108648409A (zh) * 2018-04-28 2018-10-12 北京环境特性研究所 一种烟雾检测方法及装置
CN109089042A (zh) * 2018-08-30 2018-12-25 Oppo广东移动通信有限公司 图像处理方式识别方法、装置、存储介质及移动终端
CN114155439A (zh) * 2021-12-07 2022-03-08 河南鑫安利安全科技股份有限公司 基于视觉感知的化工企业安全风险预警方法与系统
CN117058161A (zh) * 2023-10-12 2023-11-14 深圳市五轮科技股份有限公司 基于图像处理的电子烟雾化烟雾图像分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060115154A1 (en) * 2004-11-16 2006-06-01 Chao-Ho Chen Fire detection and smoke detection method and system based on image processing
CN101493980A (zh) * 2009-03-05 2009-07-29 中国科学技术大学 一种基于多特征融合的快速视频火焰探测方法
CN101625789A (zh) * 2008-07-07 2010-01-13 北京东方泰坦科技有限公司 基于烟火智能识别的森林火灾实时监测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060115154A1 (en) * 2004-11-16 2006-06-01 Chao-Ho Chen Fire detection and smoke detection method and system based on image processing
CN101625789A (zh) * 2008-07-07 2010-01-13 北京东方泰坦科技有限公司 基于烟火智能识别的森林火灾实时监测方法
CN101493980A (zh) * 2009-03-05 2009-07-29 中国科学技术大学 一种基于多特征融合的快速视频火焰探测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141901A (zh) * 2015-08-12 2015-12-09 青岛中星微电子有限公司 一种视频处理方法和装置
CN108648409A (zh) * 2018-04-28 2018-10-12 北京环境特性研究所 一种烟雾检测方法及装置
CN108648409B (zh) * 2018-04-28 2020-07-24 北京环境特性研究所 一种烟雾检测方法及装置
CN109089042A (zh) * 2018-08-30 2018-12-25 Oppo广东移动通信有限公司 图像处理方式识别方法、装置、存储介质及移动终端
CN114155439A (zh) * 2021-12-07 2022-03-08 河南鑫安利安全科技股份有限公司 基于视觉感知的化工企业安全风险预警方法与系统
CN117058161A (zh) * 2023-10-12 2023-11-14 深圳市五轮科技股份有限公司 基于图像处理的电子烟雾化烟雾图像分割方法
CN117058161B (zh) * 2023-10-12 2024-02-20 深圳市五轮科技股份有限公司 基于图像处理的电子烟雾化烟雾图像分割方法

Also Published As

Publication number Publication date
CN102609710B (zh) 2013-07-24

Similar Documents

Publication Publication Date Title
CN110246108B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN107578418B (zh) 一种融合色彩和深度信息的室内场景轮廓检测方法
CN108596849B (zh) 一种基于天空区域分割的单幅图像去雾方法
CN106022209B (zh) 一种基于人脸检测的距离估算和处理的方法及装置
CN105654436B (zh) 一种基于前景背景分离的背光图像增强去噪方法
CN107025652B (zh) 一种基于运动特性和颜色时空信息的火焰检测方法
Ganesan et al. Segmentation and edge detection of color images using CIELAB color space and edge detectors
CN105404847B (zh) 一种遗留物实时检测方法
CN103186904B (zh) 图片轮廓提取方法及装置
CN110322522B (zh) 一种基于目标识别区域截取的车辆颜色识别方法
CN103914708B (zh) 基于机器视觉的食品品种检测方法及系统
CN107358585B (zh) 基于分数阶微分及暗原色先验的雾天图像增强方法
CN104318262A (zh) 通过人脸照片更换皮肤的方法及系统
CN106951869B (zh) 一种活体验证方法及设备
CN109460764A (zh) 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法
CN103714345B (zh) 一种双目立体视觉检测手指指尖空间位置的方法与系统
CN109918971B (zh) 监控视频中人数检测方法及装置
Sanchez-Cuevas et al. A comparison of color models for color face segmentation
CN102760230B (zh) 一种基于多维时域特征的火焰检测方法
CN102609710A (zh) 针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法
CN103942812B (zh) 基于混合高斯与边缘检测的运动目标检测方法
CN114596329A (zh) 一种气体图像增强及气体泄露检测方法和系统
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
CN110874572B (zh) 一种信息检测方法及装置、存储介质
CN110298893A (zh) 一种行人衣着颜色识别模型的生成方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130724

Termination date: 20180222

CF01 Termination of patent right due to non-payment of annual fee