发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一 种低照度林火图像分割方法,其方法步骤简单,实现方便,火焰分割的准 确性高,效率高,分割效果好,具有很强的抗干扰性,实用性强,使用效 果好,便于推广使用。
为解决上述技术问题,本发明采用的技术方案是:一种低照度林火图像 分割方法,其特征在于,该方法包括以下步骤:
步骤一、将通过摄像机采集的低照度林火图像导入图像处理器中;
步骤二、图像处理器采用改进的直方图均衡化算法对低照度林火图像 进行图像增强处理,具体过程为:
步骤201、将低照度林火图像R(x,y)表示为灰度直方图;
步骤202、首先,确定分段灰度变换的参数x1、x2、y1和y2,其中,x1为背景与火焰区域的分界点,y1为背景与火焰区域的分界点处的灰度值, x2为火焰区域的代表点,y2为火焰区域的代表点处的灰度值;然后,采用 由参数x1、x2、y1和y2作为系数的分段线性变换函数对步骤201得到的灰 度直方图进行分段灰度变换,得到分段灰度变换图;
步骤203、得到分段灰度变换图的直方图并统计其灰度级rk和各灰度 级像素数nk,其中,k为经过步骤202变换后的图像中的第k个灰度级,且 k的取值为0,1,2,…,L-1;L为灰度级的总数;
步骤204、根据公式pk=nk/N计算分段灰度变换图的各灰度级像素数 的概率pk,其中,N为灰度图像的像素点总数;
步骤205、根据公式计算分段灰度变换图中各灰度级的累计概 率sk;
步骤206、对sk取整得到新的灰度变换图的累计概率 Sk=int{(L-1)sk+0.5};
步骤207、将步骤206中的Sk与步骤203中的rk相对应,建立rk与Sk的 映射关系,绘制累计直方图,并统计在rk与Sk的映射关系下新灰度变换图 中各灰度级的概率p'k;
步骤208、统计新灰度变换图的各灰度级像素n′k;
步骤209、绘制出新灰度变换图;
步骤三、图像处理器采用中值滤波的方法对步骤二得到的新灰度变换 图进行中值滤波处理;
步骤四、图像处理器根据其构建的YCbCr颜色空间火焰像素判定规则 对经过步骤三处理得到的图像进行图像分割处理,得到基于YCbCr颜色空 间分割的火焰二值化图像;其中,图像处理器构建火焰像素判定规则的方 法为:
步骤401、构建RGB颜色空间的火焰像素识别规则:将满足 R(i,j)>G(i,j)的像素点判断为火焰像素点;其中,R(i,j)为R通道上位置(i,j) 处的像素值,G(i,j)为G通道上位置(i,j)处的像素值;
步骤402、根据C.A.Poynton转换矩阵,将RGB颜色空间的火焰像素 识别规则转换到YCbCr颜色空间,得到YCbCr颜色空间的第一个火焰像素 识别规则:Cb(i,j)>-6.20Cr(i,j)+921;其中,Cb(i,j)为Cb通道上位置(i,j)处 的像素值,Cr(i,j)为Cr通道上位置(i,j)处的像素值;
步骤403、构建YCbCr颜色空间的第二至四个火焰像素识别规则:其中,Y(i,j)为Y通道上位置(i,j)处的像素值,Ymean为Y通 道上的平均像素值,Cbmean为Cb通道上的平均像素值,Crmean为Cr通道上的 平均像素值;
步骤404、将步骤402中的YCbCr颜色空间的第一个火焰像素识别规 则与步骤403中的YCbCr颜色空间的第二至四个火焰像素识别规则进行综 合,将同时满足YCbCr颜色空间的第一至四个火焰像素识别规则的像素判 断为火焰像素;
步骤五、图像处理器采用改进的区域生长分割算法对经过步骤三处理 得到的图像进行图像分割处理,并采用形态学的方法对分割得到的图像进 行修复和完善,得到基于区域生长分割算法分割的火焰二值化图像;具体 过程为:
步骤501、对经过步骤三处理得到的图像进行二值化处理,得到二值 图像;
步骤502、标注步骤501得到的二值图像中的连通分量;
步骤503、从步骤502中标注的连通分量中,找出最大的连通分量;
步骤504、计算并标记出最大的连通分量的中心;
步骤505、以所标记的最大的连通分量的中心为种子点进行8邻域的 区域生长,得到区域分割图像;
步骤506、对区域内部的大空洞进行区域填充,并对区域内部的小空 洞和区域边界的毛刺部分进行膨胀或开运算操作;
步骤六、图像处理器对步骤四处理得到的基于YCbCr颜色空间分割的 火焰二值化图像和步骤五处理得到的基于区域生长分割算法分割的火焰 二值化图像进行异或操作,得到最终的低照度林火图像分割图像。
上述的一种低照度林火图像分割方法,其特征在于:步骤202中将最 左侧波峰后的波谷的最低点作为背景与火焰区域的分界点x1,将最右侧的 波峰点作为火焰区域的代表点x2;步骤202中采用的分段线性变换函数为 二分段线性变换函数,用公式表示为:
其中,x为二分段线性变换函数的自变量。
上述的一种低照度林火图像分割方法,其特征在于:定义分段灰度变 换后的x1不变,y1=0,y2=x2;将二分段线性变换函数,用公式表示为:
上述的一种低照度林火图像分割方法,其特征在于:步骤503中所述 步骤502中标注的连通分量中,找出最大的连通分量的具体过程为:对步 骤502中标注的各个连通分量中的像素进行计数,然后找到像素最大的连 通分量,即为最大的连通分量。
上述的一种低照度林火图像分割方法,其特征在于:步骤506中所述 大空洞为像素区域大于7×7的空洞,所述小空洞为像素区域小于等于7 ×7的空洞。
上述的一种低照度林火图像分割方法,其特征在于:所述图像处理器 为计算机。
本发明与现有技术相比具有以下优点:
1、本发明的方法步骤简单,实现方便,在提高了低照度林火图像分 割精确度的前提下,并没有降低速度,低照度林火图像分割效率高。
2、本发明首先采用改进的直方图均衡化算法对低照度林火图像进行 图像增强处理,再采用中值滤波的方法进行中值滤波处理,提高了低照度 林火图像的对比度;然后分别采用YCbCr颜色空间的火焰像素判定规则和 改进的区域生长分割算法对图像进行分割,再对两种分割结果进行综合, 得到最后的分割图像,火焰分割的准确性高,分割效果好,具有很强的抗 干扰性。
3、本发明在采用YCbCr颜色空间的火焰像素判定规则时,将RGB颜 色空间的火焰像素识别规则转换到了YCbCr颜色空间,使得方法步骤更加 简单,且综合性更强。
4、本发明提出了改进的直方图均衡化算法对低照度林火图像进行图 像增强处理,消除传统的直方图均衡化在数据处理方面的盲目性,保证直 方图均衡化处理最大力度地应用到火焰区域的对比度增强中,再与中值滤 波方法相结合,能够得到很好的低照度林火图像增强效果。
5、本发明提出了改进的区域生长法,能够弥补传统区域生长算法的 缺陷,尽可能高精度地分割出火焰区域,再与采用YCbCr颜色空间的火焰 像素判定规则的图像分割结果进行异或操作,能够得到准确的低照度林火 图像分割结果。
6、将本发明的方法应用于基于计算机视觉的林火检测中,能够更好 更及时地实现林火检测,降低林火发生却未被发现而带来的损失,本发明 的实用性强,使用效果好,便于推广使用。
综上所述,本发明的方法步骤简单,实现方便,火焰分割的准确性高, 效率高,分割效果好,具有很强的抗干扰性,实用性强,使用效果好,便 于推广使用。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
具体实施方式
如图1和图2所示,本发明的低照度林火图像分割方法,包括以下步 骤:
步骤一、将通过摄像机1采集的低照度林火图像导入图像处理器2中;
本实施例中,所述图像处理器2为计算机。
步骤二、图像处理器2采用改进的直方图均衡化算法对低照度林火图 像进行图像增强处理,具体过程为:
步骤201、将低照度林火图像R(x,y)表示为灰度直方图;低照度林火 图像R(x,y)如图3A所示;图3A所示的低照度林火图像的亮度值如图3B所 示。
步骤202、首先,确定分段灰度变换的参数x1、x2、y1和y2,其中,x1为背景与火焰区域的分界点,y1为背景与火焰区域的分界点处的灰度值, x2为火焰区域的代表点,y2为火焰区域的代表点处的灰度值;然后,采用 由参数x1、x2、y1和y2作为系数的分段线性变换函数对步骤201得到的灰 度直方图进行分段灰度变换,得到分段灰度变换图;
本实施例中,步骤202中将最左侧波峰后的波谷的最低点作为背景与 火焰区域的分界点x1,将最右侧的波峰点作为火焰区域的代表点x2;步骤 202中采用的分段线性变换函数为二分段线性变换函数,用公式表示为:
其中,x为二分段线性变换函数的自变量。
由于低照度林火图像分割时只需要区分背景和火焰区域,分段函数的 分段个数即为变换后灰度等级个数,因此,本发明选用了二分段线性变换 函数作为分段线性变换函数。二分段线性变换函数中的参数x1、x2、y1和y2选取不同的值时,二分段线性变换的范围也是不一样的,而且变换的方式 也不同;本发明中参数x1、x2、y1和y2的选取是在充分分析了低照度林火 图像的灰度直方图的情况下给出的。灰度直方图反映了各个灰度级出现的 频率,并且从左往右的灰度级是依次从低到高增长的。通常情况下图像背 景区域灰度普遍低于目标区域,所以图中最左侧的第一个波峰必然属于背 景区域,同理最右侧的波峰一定属于目标区域。本发明中,为了避免将部 分背景区域和目标区域(即火焰区域)混淆,将最左侧波峰后的波谷的最 低点作为背景与火焰区域的分界点x1,将最右侧的波峰点作为火焰区域的 代表点x2。二分段线性变换前的灰度映射图如图4A所示,二分段线性变 换后的灰度映射图如图4B所示。
从图4A和图4B能够看出,变换前x1=y1,x2=y2,变换后x1变小、y1变 大,这使得第一段区域的灰度区间被拉伸,相反第二段区域被压缩,这意 味着低灰度区域对比度增大、中高灰度区域的对比度减小。这样就压缩了 背景区域的灰度级范围,拉伸了目标区域(即火焰区域)的灰度级,进而 降低了背景对比度,增大了目标区域(即火焰区域)的对比度。
具体而言,本实施例中,定义分段灰度变换后的x1不变,y1=0,y2=x2; 将二分段线性变换函数,用公式表示为:
为了最大化地拉伸火焰区域的灰度范围,压缩背景区域的灰度范围, 同时又可以减少涉及参数的个数,同时降低变换复杂度,本发明定义分段 灰度变换后的x1和x2不变,y1=0,y2=x2。此时变换后的灰度映射图如图 4C所示。
从图4C的纵轴可以看出,由于y1=0,所以导致低灰度级的背景区域 灰度范围被压缩为0,由于x1和x2值不变,所以整体区域的灰度范围不变, 因此,原有的背景区域就被火焰区域所填补,至此火焰区域的灰度得到了 大幅度的拉伸,对比度大大提高。
通过上述的分段线性变换将背景区域的灰度范围压缩为0,并拉伸火 焰区域的灰度级进而填补原有的背景区域,最终最大范围地扩大火焰区域 的灰度范围,这就可以避免直方图均衡化处理数据的盲目性。
步骤203、得到分段灰度变换图的直方图并统计其灰度级rk和各灰度 级像素数nk,其中,k为经过步骤202变换后的图像中的第k个灰度级,且 k的取值为0,1,2,…,L-1;L为灰度级的总数;
步骤204、根据公式pk=nk/N计算分段灰度变换图的各灰度级像素数 的概率pk,其中,N为灰度图像的像素点总数;
步骤205、根据公式计算分段灰度变换图中各灰度级的累计概 率sk;
步骤206、对sk取整得到新的灰度变换图的累计概率 Sk=int{(L-1)sk+0.5};
步骤207、将步骤206中的Sk与步骤203中的rk相对应,建立rk与Sk的 映射关系,绘制累计直方图,并统计在rk与Sk的映射关系下新灰度变换图 中各灰度级的概率p'k;
步骤208、统计新灰度变换图的各灰度级像素n′k;
步骤209、绘制出新灰度变换图;
直方图均衡化算法是基于灰度直方图的修正技术,是目前实用性很高 的一种对比度增强技术。而对比度是图像质量优劣的一大重要指标,对比 度高意味着目标更加突出。直方图均衡化又称灰度均衡化,是指通过某种 灰度映射使输入图像转换为在每一灰度级上都有近似相同的像素点数的 输出图像(即输出的直方图是均匀的)。在经过均衡化处理后的图像中, 像素将占有尽可能多的灰度级并且分布均匀。因此,这样的图像将具有较高的对比度和较大的动态范围。直方图均衡化不改变灰度出现的次数,改 变的是出现次数所对应的灰度级,以避免改变图像的信息结构。直方图均 衡化力图使等长区间内出现的像素数接近相等。从人眼视觉特性来考虑, 一幅图像的直方图如果是均匀分布的,该图像色调给人的感觉比较协调。 因此将原图像直方图调整为均匀分布的直方图,这样修正后的图像能满足 人眼视觉要求。但是,传统的直方图均衡化算法对处理的数据不加选择, 对于低照度林火图像而言,很有可能增加背景噪声的对比度并且降低火焰 区域的对比度;变换后的图像的灰度级减少,某些细节消失;某些图像(直 方图有高峰),经处理后对比度不自然的过分增强。传统的直方图均衡化 并不是理想的方法。
本发明为了消除传统的直方图均衡化在数据处理方面的盲目性,保证 直方图均衡化处理最大力度地应用到火焰区域的对比度增强中,提出了改 进的直方图均衡化算法,该算法采用分段线性变换函数实现了有选择性的 区间灰度拉伸,减小了背景区域的灰度级范围,同时相应的增大了火焰区 域的灰度级范围。
步骤三、图像处理器2采用中值滤波的方法对步骤二得到的新灰度变 换图进行中值滤波处理;通过中值滤波处理能够在步骤二的基础上进一步 去处噪声点,提高图像的对比度;
本实施例中,图3A所示的低照度林火图像经过步骤二和步骤三处理 后的图像如图5A所示,图5A所示的图像的亮度值如图5B所示。
对照图5A和图3A,以及图5B和图3B可见,图3A所示的低照度林火 图像的整体亮度值较低,经过步骤二和步骤三处理后的图像,对比度明显 提高,视觉效果也更加明显,满足后续图像处理的需求。
步骤四、图像处理器2根据其构建的YCbCr颜色空间火焰像素判定规 则对经过步骤三处理得到的图像进行图像分割处理,得到基于YCbCr颜色 空间分割的火焰二值化图像;其中,图像处理器2构建火焰像素判定规则 的方法为:
步骤401、构建RGB颜色空间的火焰像素识别规则:将满足 R(i,j)>G(i,j)的像素点判断为火焰像素点;其中,R(i,j)为R通道上位置(i,j) 处的像素值,G(i,j)为G通道上位置(i,j)处的像素值;火焰的色彩特征较 为明显,一般在红色到黄色范围内变动,通过人眼对火焰的直观认识,以 及对上千幅低照度林火图像进行研究发现,火焰像素的红色(R)分量大于 其绿色(G)分量,因此,将R(i,j)>G(i,j)定义为RGB颜色空间的火焰像素识 别规则;
步骤402、根据C.A.Poynton转换矩阵,将RGB颜色空间的火焰像素 识别规则转换到YCbCr颜色空间,得到YCbCr颜色空间的第一个火焰像素 识别规则:Cb(i,j)>-6.20Cr(i,j)+921;其中,Cb(i,j)为Cb通道上位置(i,j)处 的像素值,Cr(i,j)为Cr通道上位置(i,j)处的像素值;
YCbCr模型是一种欧洲电视系统所采用的颜色编码方法,其中Y表示 亮度信号,取值在[16,235]之间;Cb和Cr分别表示蓝色和红色色度分量, 取值在[16,240]之间。该模型最大的特点是将亮度信号Y和色度信号 Cb,Cr分离开来,如果只有Y分量而没有色度分量,这样表示的就是黑白 灰度图像。YCbCr颜色模型与RGB模型之间具有线性关系。具体实施时, 根据C.A.Poynton转换矩阵得到的YCbCr颜色模型与RGB模型之间的转换 关系为:则推导得到由YCbCr 颜色空间到RGB空间变换的关系式为: 再将R(i,j)>G(i,j)带入由YCbCr 颜色空间到RGB空间变换的关系式,得到Cb(i,j)>-6.20Cr(i,j)+921。
步骤403、构建YCbCr颜色空间的第二至四个火焰像素识别规则:其中,Y(i,j)为Y通道上位置(i,j)处的像素值,Ymean为Y通 道上的平均像素值,Cbmean为Cb通道上的平均像素值,Crmean为Cr通道上的 平均像素值;其中,第二个火焰像素识别规则Y(i,j)>Ymean是根据在亮度分 量Y通道,火焰区域的像素值较整幅图像明显大制定的;第三个火焰像素 识别规则Cb(i,j)<Cbmean是根据在蓝色分量Cb通道,火焰区域的像素值较整 幅图像要小一些制定的;第三个火焰像素识别规则Cr(i,j)>Crmean是根据红 色分量Cr通道,火焰区域的像素值较整幅图像要大一些制定的。
步骤404、将步骤402中的YCbCr颜色空间的第一个火焰像素识别规 则与步骤403中的YCbCr颜色空间的第二至四个火焰像素识别规则进行综 合,将同时满足YCbCr颜色空间的第一至四个火焰像素识别规则的像素判 断为火焰像素;
本实施例中,图5A的图像经过步骤四处理后,得到的基于YCbCr颜 色空间分割的火焰二值化图像如图6所示。
步骤五、图像处理器2采用改进的区域生长分割算法对经过步骤三处 理得到的图像进行图像分割处理,并采用形态学的方法对分割得到的图像 进行修复和完善,得到基于区域生长分割算法分割的火焰二值化图像;具 体过程为:
步骤501、对经过步骤三处理得到的图像进行二值化处理,得到二值 图像;
步骤502、标注步骤501得到的二值图像中的连通分量;
步骤503、从步骤502中标注的连通分量中,找出最大的连通分量;
本实施例中,步骤503中所述步骤502中标注的连通分量中,找出最 大的连通分量的具体过程为:对步骤502中标注的各个连通分量中的像素 进行计数,然后找到像素最大的连通分量,即为最大的连通分量。
步骤504、计算并标记出最大的连通分量的中心;
步骤505、以所标记的最大的连通分量的中心为种子点进行8邻域的 区域生长,得到区域分割图像;
步骤506、对区域内部的大空洞进行区域填充,并对区域内部的小空 洞和区域边界的毛刺部分进行膨胀或开运算操作;步骤506是针对区域分 割遗留下的区域细节问题,采用形态学的方法进行修复和完善。
本实施例中,步骤506中所述大空洞为像素区域大于7×7的空洞, 所述小空洞为像素区域小于等于7×7的空洞。
为了弥补传统区域生长算法的缺陷,尽可能高精度地分割出火焰区 域,需要对初始生长点建立一定的选取规则。通过区域分析中的连通分量 提取来区分火焰主体部分和其他干扰目标,然后将主体区域的中心标记出 来,以此为初始生长点来进行区域生长,然后对于分割后的图像进行基于 形态学的区域修复,使得区域内空洞得到填充、区域边缘得到圆滑。本发 明就是基于这样的思路得到了改进的区域生长法。
本实施例中,图5A的图像经过步骤五处理后,得到的基于区域生长 分割算法分割的火焰二值化图像如图7所示。
步骤六、图像处理器2对步骤四处理得到的基于YCbCr颜色空间分割 的火焰二值化图像和步骤五处理得到的基于区域生长分割算法分割的火 焰二值化图像进行异或操作,得到最终的低照度林火图像分割图像。
本实施例中,对图6和图7进行异或操作,得到的最终的低照度林火 图像分割图像如图8所示。
为了验证本发明图像分割算法的优越性,还对如图9A~图9D所示的 各幅低照度林火图像进行了以上步骤一至步骤六的处理,得到的最终的低 照度林火图像分割图像分别对应如图10A~图10D所示。
采用MCC和F1-score两个参数对图8以及图10A~图10D中的结果进 行分析,并与Celik等人在2007年第18期第2卷期刊《Journal of Visual Communication&ImageRepresentation》上第176~185页发表的论文 《Fire detection using statisticalcolor model in video sequences》 中提出的火焰分割方法,以及陈天炎等人在2011年第30期第10卷期刊 《传感器与微系统》上第62~64页发表的论文《基于YCbCr颜色空间的 火焰图像分割方法》中提出的火焰分割方法进行比较;具体比较情况如下:
马修斯相关系数(MCC)是由马修斯提出,常用作二分类结果检测,目 的在于验证结果的平衡性。该参数基于PRAS参数对结果的评价表现的更 加平衡,具有更加准确的精度比。现假设有如图11的预测结果,图11中, P表示阳性,F表示阴性,TP、FP、TN、FN分别表示真阳性、假阳性、真 阴性、假阴性,每个值的含义如下:
TP:原值为真,判断亦为真的值;
FP:原值为真,判断为假的值;
TN:原值为假,判断为真的值;
FN:原值为假,判断亦为假的值。
马修斯相关系数(MCC)的计算公式如式为:
图8以及图10A~图10D中分割结果的MCC评价指数如表1所示:
表1图8以及图10A~图10D中分割结果的MCC评价指数表
由表1数据可知,本发明低照度林火图像分割算法的平均准确率为 91.28%,与其他学者的算法相比,提高了火焰分割的准确性。
F1-score评价指数主要应用于信息检索,同样也适用于图像分割。它 是一个兼顾了查准率和查全率的评估指标,通常F1-score就是指查准率 和查全率的调和平均数,即其中, 图8以及图10A~图10D中分割结果的F1-score评价指数 如表2所示:
表2图8以及图10A~图10D中分割结果的F1-score评价指数表
由表2数据可知,本发明低照度林火图像分割算法的平均准确率为 91.15%,与其他学者的算法相比,误检率大大降低。
综上所述,本发明首先采用改进的直方图均衡化算法对低照度林火图 像进行图像增强处理,再采用中值滤波的方法进行中值滤波处理,提高了 低照度林火图像的对比度;然后分别采用YCbCr颜色空间的火焰像素判定 规则和改进的区域生长分割算法对图像进行分割,再对两种分割结果进行 综合,得到最后的分割图像,且在采用YCbCr颜色空间的火焰像素判定规 则时,将RGB颜色空间的火焰像素识别规则转换到了YCbCr颜色空间,使得方法步骤更加简单,且综合性更强;本发明火焰分割的准确性高,分割 效果好,具有很强的抗干扰性。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡 是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效 结构变化,均仍属于本发明技术方案的保护范围内。