CN113112423A - 一种综合算法增强与光学增强的火场去火焰图像处理方法 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种综合算法增强与光学增强的火场去火焰图像处理方法，将照明设备和摄像头设置在对准被观测对象的同一侧，照明设备的光线方向与摄像头的观测方向一致，被观测对象位于被观测火场的环境中，摄像头的镜头前端加载有滤光片；通过摄像头获取火场采集视频图像；采用序列图像的低值滤波法对火场采集视频图像进行图像增强处理，得到增强图像。本发明能够解决现有技术中火灾现场图像中的火焰遮挡无法有效去除的问题，能够大幅增强去除火焰图像的清晰度。

Description

一种综合算法增强与光学增强的火场去火焰图像处理方法

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种综合算法增强与光学增强的火场去火焰图像处理方法。

背景技术

在过去，火灾研究者和消防员不得不在建筑烧毁之前和之后进行测量，以确定大火迅速发展的不同方式，以及导致建筑物的倒塌的原因。但是大多数工具和传感器在大火时都不起作用。即使从远处看，摄像头也无法正常工作：因为火焰遮蔽、淹没了图像的大部分。研究者无法看到火灾内部，因为一切都看起来都是红色的。虽然使用高强度照明可以增强现场光线，但这还不足以获得清晰的视野。

计算机专业的专家一般在采集图像后，通过对图像进行去噪，增强，去烟雾等计算机算法处理，来对模糊图像，遮盖图像进行图像增强以及图像信息处理。但是这些方法不能从根本上增强图像清晰度，作用有限，而且很少有方法适用于火场及高温工业场景的图像观测与采集。基于光照能够对图像观测有一定的提升清晰度的效果，但效果并不明显。计算机方法也能够去除高温厂的部分烟雾模糊，但是对于火焰的遮挡也很难有效果。因为这些图像都是对已受到高温辐射场污染的图像进行处理，图像本身已受到影响，再去除影响的效果不是很好。而采用探照灯进行光照增强的方法也不能有效去除火焰的遮挡。总的来说，不管是计算机图像处理方法还是光学照明方法都不能够从原理上消除火焰高温辐射等对于观测现场的遮盖影响。

发明内容

本发明通过提供一种综合算法增强与光学增强的火场去火焰图像处理方法，解决了现有技术中火灾现场图像中的火焰遮挡无法有效去除的问题。

本发明提供一种综合算法增强与光学增强的火场去火焰图像处理方法，包括以下步骤：

步骤1、将照明设备和摄像头设置在对准被观测对象的同一侧，所述照明设备的光线方向与所述摄像头的观测方向一致，所述被观测对象位于被观测火场的环境中，所述摄像头的镜头前端加载有滤光片；通过所述摄像头获取火场采集视频图像；

步骤2、采用序列图像的低值滤波法对所述火场采集视频图像进行图像增强处理，得到增强图像。

优选的，所述滤光片采用带通范围为400纳米至600纳米的带通滤光片。

优选的，所述滤光片包括第一滤光片和第二滤光片，所述第一滤光片的中心波长为470纳米，所述第二滤光片的中心波长为440纳米。

优选的，所述照明设备采用蓝光LED。

优选的，所述序列图像的低值滤波法为：

对所述火场采集视频图像中的多帧图像进行时间序列上的低灰度值滤波，针对多帧图像对应的同一像素点位置，获得每帧图像在该像素点位置上的像素值；针对每帧图像，若所述像素值高于第一像素值，则滤除此帧图像在该像素点位置上的像素值，否则保留此帧图像在该像素点位置上的像素值；

针对多帧图像对应的每个像素点位置，采用上述方法进行低灰度值滤波处理，得到所述增强图像。

优选的，针对每一个像素点位置，保留时间序列上该像素点位置对应的像素值最小值。

优选的，每帧图像I包括被观测目标图像L和火焰图像Lf，所述火场采集视频图像表示为：

I_t＝L_t+Lf_t

式中，I_t表示t时刻对应的采集图像，L_t表示t时刻对应的被观测目标图像，Lf_t表示t时刻对应的火焰图像，t＝1,2，……，n；

假设Lf_t的分布区间为[a,b]，且服从(μ，σ²)的正态分布；

对多帧图像进行最小值滤波，有：

I_min＝min{L₁+Lf₁,L₂+Lf₂,KL_n+Lf_n}＝L+min{Lf₁,Lf₂,KLf_n}＝L+a

式中，I_min为进行最小值滤波后得到的增强图像。

优选的，所述摄像头与计算机连接，通过所述计算机存储所述火场采集图像；通过所述计算机对所述火场采集图像进行图像增强处理。

优选的，所述照明设备和所述摄像头上包装有锡箔纸，以防止高温损害。

本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在发明中，将照明设备和摄像头设置在对准被观测对象的同一侧，照明设备的光线方向与摄像头的观测方向一致，被观测对象位于被观测火场的环境中，摄像头的镜头前端加载有滤光片，首先通过摄像头获取火场采集视频图像，然后采用序列图像的低值滤波法对火场采集视频图像进行图像增强处理，得到增强图像。本发明结合光学方法和图像处理方法，在图像观测前就采用光学方法使得光线中的火焰成分被滤除，其他波段成分的光线图像被完整的记录下来，从采集上大大减少了高温火场图像中的火焰，然后对采集到的图像进行图像增强，能够去除残留火焰信号，大幅增强去除火焰图像的清晰度。

附图说明

图1为本发明实施例提供的一种综合算法增强与光学增强的火场去火焰图像处理方法对应的高温火场观测系统的示意图；

图2为标准火焰辐射的光谱图；

图3为一般CCD接收外界光线的波段范围示意图；

图4为高温火场观测系统的火场实验效果示意图；

图5为利用图像增强算法去除视频图像中的火焰信号的前后对比图；其中，上排图像为原视频图像；下排图像为上排图像的增强图像，方框区域对应火焰信号被抑制区域的图像对比。

其中，1-计算机、2-摄像头、3-照明设备、4-滤光片、5-被观测火场、6-被观测目标。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本实施例提供了一种综合算法增强与光学增强的火场去火焰图像处理方法，包括以下步骤：

步骤1、将照明设备和摄像头设置在对准被观测对象的同一侧，所述照明设备的光线方向与所述摄像头的观测方向一致，所述被观测对象位于被观测火场的环境中，所述摄像头的镜头前端加载有滤光片；通过所述摄像头获取火场采集视频图像；

步骤2、采用序列图像的低值滤波法对所述火场采集视频图像进行图像增强处理，得到增强图像。

其中，所述滤光片采用带通范围为400纳米至600纳米的带通滤光片。所述照明设备采用蓝光LED。例如，所述滤光片包括第一滤光片和第二滤光片，所述第一滤光片的中心波长为470纳米，所述第二滤光片的中心波长为440纳米。

其中，所述序列图像的低值滤波法为：对所述火场采集视频图像中的多帧图像进行时间序列上的低灰度值滤波，针对多帧图像对应的同一像素点位置，获得每帧图像在该像素点位置上的像素值；针对每帧图像，若所述像素值高于第一像素值，则滤除此帧图像在该像素点位置上的像素值，否则保留此帧图像在该像素点位置上的像素值；针对多帧图像对应的每个像素点位置，采用上述方法进行低灰度值滤波处理，得到所述增强图像。

具体的，可以针对每一个像素点位置，保留时间序列上该像素点位置对应的像素值最小值。

每帧图像I包括被观测目标图像L和火焰图像Lf，所述火场采集视频图像表示为：

I_t＝L_t+Lf_t

式中，I_t表示t时刻对应的采集图像，L_t表示t时刻对应的被观测目标图像，Lf_t表示t时刻对应的火焰图像，t＝1,2，……，n。假设Lf_t的分布区间为[a,b]，且服从(μ，σ²)的正态分布；对多帧图像进行最小值滤波，有：

I_min＝min{L₁+Lf₁,L₂+Lf₂,KL_n+Lf_n}＝L+min{Lf₁,Lf₂,KLf_n}＝L+a

式中，I_min为进行最小值滤波后得到的增强图像。

此外，所述摄像头与计算机连接，通过所述计算机存储所述火场采集图像；通过所述计算机对所述火场采集图像进行图像增强处理。所述照明设备和所述摄像头上包装有锡箔纸，以防止高温损害。

下面对本发明做进一步的说明。

以消防安全领域的火灾现场火焰、高温工业生产火焰遮蔽图像为对象，本发明提出一种综合算法增强与光学增强的火场去火焰图像处理方法。

火灾现场图像中包含被观测目标和火焰两部分。由于火焰图像与被观测目标图像相比具有跳动性和高亮度的特点，针对这一特点，可以对火灾现场图像进行增强，以去除火焰信号。但对于某些火焰信号太强的火灾现场图像，图像增强处理方法难以去除部分过强的火焰信号。这个时候可以采用光学系统来减弱进入摄像机的火焰信号，使得采集到的图像便于增强处理。对于以上经过光学处理和图像处理后的火灾现场图像，会去除绝大部分图像中的火焰遮挡，得到清晰、少遮挡的现场目标图像。

本发明分为两个部分：通过在图像采集和观测的过程中滤除火焰波长的光线，增强非火焰波长波段的光线强度；然后采用图像增强算法去除图像中的火焰信号，使得被观测现场图像的清晰度、透视度有极大的提升。下面对两个部分分别进行说明。

(1)光学增强。

本发明采用的观测设备组合方案包括：光学滤镜滤光片选择；现场照明设备设计；集成光学滤光片、照明设备、摄像头，组成高温火场观测系统。

如图1所示，高温火场观测系统主要包括摄像头2、照明设备3、滤光片4。其中，所述滤光片4加载于所述摄像头2的镜头前端，以对进入所述摄像头2的镜头的光线进行滤波。所述照明设备3位于所述摄像头2的旁边，所述照明设备3的光线方向与所述摄像头2的观测方向一致，对准被观测火场5和被观测目标6，以保证所述照明设备3发出的光线反射后尽量多的进入所述摄像头2。所述计算机1用于实时对所述摄像头2拍摄的视频图像进行增强处理。

其中，采集图像时，可以使用摄像机来代替所述摄像头2，现场图像可以存储于摄像机中；或者使用所述摄像头2连接所述计算机1，将采集图像存于所述计算机1中。为防止采集设备被火场高温所侵蚀，可以在采集设备上包装锡箔纸，以防止高温对设备损害。

在所述摄像头2的镜头前端加载所述滤光片4是为了使火焰光线波段内光线尽可能少地进入所述摄像头2，而非火焰波段光线尽可能多地进入所述摄像头2，这样就能够使所述摄像头2采集到的照片中，火焰的图像减到最少。

可燃物在燃烧的过程中，其燃烧火焰光谱的分布情况、氧化剂的供给情况、火焰中烟雾的含量以及燃烧生成物之间具有非常密切的关系。火焰光谱是火焰在所有波段范围中辐射强度的一种分布情况，其主要是波长的函数如图2所示，火焰发射光谱所跨越的波段范围非常广，主要包括了紫外光、可见光以及红外光等具有电磁辐射的波段。可燃物燃烧之后所产生的高温分子会释放出电磁辐射。而在火焰反应区外的H₂0、C0₂、C0、O₂以及N₂等分子产物所发出的电磁辐射通常位于红外波段，肉眼不可见。我们可以对红外光波长中的4.4微米位置周围对火焰光谱的峰值进行观察，可以明显发现这就是C0₂原子团的发光光谱，这也是火焰所具备的特性之一，同时和其他光谱比起来，它拥有更大的强度。因此，在以4.4微米作为中心波段的火焰信号首先被考虑去除。

图像采集设备(例如摄像头)中的关键感光器件是CCD，CCD对于外界光线接收的光谱波段范围决定火焰图像中哪些部分会在CCD成像过程中被采集并在人们眼中呈现。如图3为一般CCD接收外界光线的波段范围：可以看出CCD接受外相光谱波段范围一般在330纳米到1000纳米之间，并在510-580纳米之间形成顶峰。

为了消除火焰对现场的遮挡，在所述摄像头2的镜头前端加载所述滤光片4时，应该是选择滤光屏蔽范围遍及整个火焰光谱的滤光片。但通过比较标准火焰辐射光谱图和CCD的接收光线光谱图，可以看出，火焰的光谱范围已经遍及了整个CCD的光谱接收范围。因此要在CCD的光谱接受范围内屏蔽所有的火焰遮蔽是不可能的，这样只会导致CCD进光能量趋于0。因此在选择所述滤光片4来遮蔽火焰光谱范围时，应该选择屏蔽火焰光谱较强的波段，通过火焰光谱较弱的波段，因此我们在选择所述滤光片4的时候，应该选择带通滤光片，且带通滤光片的带通范围即为火焰光谱较弱的波段。通过观察标准火焰辐射光谱图可以看出，火焰在0.4微米左右和0.29微米以下有两个能量辐射的低谷。因此在选择所述滤光片4时，所述滤光片4的光线通过范围应该在0.4微米左右和0.29微米左右两个波段。实际我们选择所述滤光片4的时候，只选择了0.4微米左右波段，而舍弃了0.29微米以下波段。这是因为0.29微米以下波段，自然光和火焰辐射能量都较为微弱，对于所述摄像机2成像来说，贡献的信息较少。另一个原因是0.29微米以下波段的光线会对人眼视力造成伤害；且这一段波段的照明灯在市场上难以采购。因此最终我们选择所述滤光片4时，具体选择的是可以通过0.4到0.6微米波段的带通滤光器滤光片。

使用所述滤光片4有助于去除部分火焰波长的光线，但这还不足以获得清晰的视野。这样接收到的图像看起来只是蓝色和非常暗的，因为它只能吸收较窄波段的低能量反射光。所以为了增加信号，我们加入了更多的光线。

加入光线的方法是在观测现场采用所述照明设备3，所述照明设备3与所述滤光片4设置在同一侧，并对准所述被观测目标6，所述照明设备3用于对现场进行照明。所述照明设备3发出光线的光谱范围应该在带通滤光片的带通范围内，否则所述照明设备3的绝大部分光线都会被所述滤光片4滤除。因此我们选择的所述照明设备3的光线范围在所述滤光片4的带通范围0.4微米到0.6微米之间。这一波段的所述照明设备3一般使用的是蓝光LED，我们使用总功率为100瓦的LED发光二极管阵列制作蓝光灯源。当要采集图像时，就把蓝光灯源打开，以增强所述摄像头2在带通范围内接收光线的强度。这样就可以使接收到的图像较为清晰明亮。

参见图1，我们设计了实验装置及环境。通过燃烧器提供天然气火焰，钢板(305mm×305mm×6mm)通过金属支架悬挂在燃烧器上方0.75m。钢板(靶)由两个100瓦的LED蓝色剧场灯照亮。光源偏离所述摄像头2方向9度，以对准火源。所述照明设备3与所述被观测目标6的高度大致相同，距离3.5m稍微偏移(距中心线0.75m)，以消除可能导致图像中出现不需要的亮点。所述摄像机2位于距离所述被观测目标6大约3.5m处，并位于板块高度的中心。所述摄像头2装有两个带通滤光片。本装置带通滤光片被标记为第一滤光片(中西部光学系统bp470)和第二滤光片(hoya公司B-440)。所述摄像头2的传输响应从320纳米到1000纳米。使用了两个叠层滤光片，能够提供低成本以及期望440±40纳米频率下的有效带通滤波。此外，一个相同频谱的滤光片也可以在使用中达到相同效果。

图4显示了实验效果，图4包含三个同一小型天然气火焰在不同光照和滤波处理下的应用效果。图4左边的图像没有使用过滤器，被观测目标6仅由室内环境照明照亮，被观测目标6被火焰遮挡。图4中间的图像对应添加了一个100W 450nm的LED光源的情况，通过增加光源有效提高了被观测目标6的可见性；图4右边的图像对应加载了一个带通光学滤光片和添加光源的情况，能够挡住来自火焰的光线遮挡，目标清晰可见。

(2)算法增强。

根据火场图像中火焰的形态和目标的形态的动态差异，来进行图像增强。观察火场视频发现，当所述摄像头2固定时，视频中的目标图像在长时间内基本保持不变，而火焰图像则以毫秒的速度不断的改变和晃动。所以在火场视频图像中，目标图像和火焰图像的差别是非常大的，体现在目标图像维持长时间固定不动，而火焰信号迅速跳动。所以如果对火场视频短时间，如5秒内的图像进行平均的话，可以大大削弱视频中的火焰信号而保留目标图像信号不变。这一均值滤波方法可以有效的抑制视频中的火焰。但这一方法，并不是最优的图像增强方法。我们通过观察序列图像发现，由于火焰信号的亮度较高，所以图像中亮度高的地方一般都是火焰信号，而亮度较低的像素一般都是目标图像。

设火灾现场采集到的图像为I，图像I由两部分叠加而成：被观测目标图像L和火焰图像Lf。火灾现场采集图像可以表示为：

I＝L+Lf (1)

当采集火灾现场视频时，视频由多帧图像顺序排列而成：

I_t＝L_t+Lf_t，t＝1,2,3,4……； (2)

其中，火焰图像Lf_t随着时间t的变化迅速跳动；而被观测目标图像L_t则变化缓慢。假设Lf_t为大致分布区间为[a,b]，且服从(μ，σ²)的正态分布。则n帧图像均值的结果为：

由以上分析，被观测目标图像L_t则变化缓慢，即n帧L_t基本保持不变，则有：

而火焰图像Lf_t随着时间变化迅速跳动且服从正态分布，则

服从(μ，σ²/n)的正态分布。则有：

对比公式(2)和(5)，发现经均值滤波后的火灾现场图像中目标图像强度保持不变，但火焰噪声的方差变为滤波前的1/n。因此，使用多帧图像均值滤波可以有效降低火灾现场图像的火焰噪声干扰。

进一步分析，由于Lf_t为大致分布区间为[a,b]中。如对I_t进行n帧最小值滤波结果为：

I_min＝min{L₁+Lf₁,L₂+Lf₂,KL_n+Lf_n}＝L+min{Lf₁,Lf₂,KLf_n}＝L+a (6)

由于a最小可以为0，则

I_min＝L+e (7)

其中，e趋于0：e→0。

比较公式(7)和(5)，使用多帧图像最小值滤波可以得到比均值滤波更有效的抑制火焰噪声输出。

本发明采用的是序列图像中的最小值滤波方法。例如，对一段时长为5秒，帧数总共为30帧的火场视频，将这一视频中的序列图像进行时间序列上的低灰度值滤波，滤除序列图像中同一像素点上某时刻的高像素值，保留时间序列上这一像素点上的低像素值，这样去除的即为跳动的火焰信号，而保留的低亮度值即为目标图像信号，能够有效的去除视频中的火焰信号。

图5为利用图像增强算法去除视频图像中的火焰信号的前后对比图，其中图5的上排图像为原视频图像，下排图像为上排图像的增强图像，方框区域对应火焰信号被抑制区域的图像对比，可以看出，经过本发明滤波算法的图像大大降低了火焰信号对目标视觉上的干扰，大大提高了火灾现场可视化程度。

综上，本发明提供的一种综合算法增强与光学增强的火场去火焰图像处理方法能够去除残留火焰信号，大幅增强去除火焰图像的清晰度。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种综合算法增强与光学增强的火场去火焰图像处理方法，其特征在于，包括以下步骤：

步骤1、将照明设备和摄像头设置在对准被观测对象的同一侧，所述照明设备的光线方向与所述摄像头的观测方向一致，所述被观测对象位于被观测火场的环境中，所述摄像头的镜头前端加载有滤光片；通过所述摄像头获取火场采集视频图像；

步骤2、采用序列图像的低值滤波法对所述火场采集视频图像进行图像增强处理，得到增强图像。

2.根据权利要求1所述的综合算法增强与光学增强的火场去火焰图像处理方法，其特征在于，所述滤光片采用带通范围为400纳米至600纳米的带通滤光片。

3.根据权利要求1所述的综合算法增强与光学增强的火场去火焰图像处理方法，其特征在于，所述滤光片包括第一滤光片和第二滤光片，所述第一滤光片的中心波长为470纳米，所述第二滤光片的中心波长为440纳米。

4.根据权利要求1所述的综合算法增强与光学增强的火场去火焰图像处理方法，其特征在于，所述照明设备采用蓝光LED。

5.根据权利要求1所述的综合算法增强与光学增强的火场去火焰图像处理方法，其特征在于，所述序列图像的低值滤波法为：

对所述火场采集视频图像中的多帧图像进行时间序列上的低灰度值滤波，针对多帧图像对应的同一像素点位置，获得每帧图像在该像素点位置上的像素值；针对每帧图像，若所述像素值高于第一像素值，则滤除此帧图像在该像素点位置上的像素值，否则保留此帧图像在该像素点位置上的像素值；

针对多帧图像对应的每个像素点位置，采用上述方法进行低灰度值滤波处理，得到所述增强图像。

6.根据权利要求5所述的综合算法增强与光学增强的火场去火焰图像处理方法，其特征在于，针对每一个像素点位置，保留时间序列上该像素点位置对应的像素值最小值。

7.根据权利要求6所述的综合算法增强与光学增强的火场去火焰图像处理方法，其特征在于，每帧图像I包括被观测目标图像L和火焰图像Lf，所述火场采集视频图像表示为：

I_t＝L_t+Lf_t

式中，I_t表示t时刻对应的采集图像，L_t表示t时刻对应的被观测目标图像，Lf_t表示t时刻对应的火焰图像，t＝1,2，……，n；

假设Lf_t的分布区间为[a,b]，且服从(μ，σ²)的正态分布；

对多帧图像进行最小值滤波，有：

I_min＝min{L₁+Lf₁,L₂+Lf₂,KL_n+Lf_n}＝L+min{Lf₁,Lf₂,KLf_n}＝L+a

式中，I_min为进行最小值滤波后得到的增强图像。

8.根据权利要求1所述的综合算法增强与光学增强的火场去火焰图像处理方法，其特征在于，所述摄像头与计算机连接，通过所述计算机存储所述火场采集图像；通过所述计算机对所述火场采集图像进行图像增强处理。

9.根据权利要求1所述的综合算法增强与光学增强的火场去火焰图像处理方法，其特征在于，所述照明设备和所述摄像头上包装有锡箔纸，以防止高温损害。

Images