CN105046869B - 一种基于双波段融合理论的森林防火监控系统 - Google Patents

Abstract

本发明提供一种基于双波段融合理论的森林防火监控系统包括监控中心和多个监控点，每个监控点包括：可见光相机a1和红外相机a2、自然感彩色图像融合模块b、视频编码模块c；基站包括：无线传输模块d、中央处理器e和屏幕显示墙f；本发明充分利用可见光相机和红外相机各自的优点，结合双波段融合理论，实现对森林覆盖区域全天候、实时、高效的监控。

Description

一种基于双波段融合理论的森林防火监控系统

技术领域

本发明属于森林防火监控领域，尤其涉及一种基于双波段融合理论的森林防火监控系统。

背景技术

森林火灾是地球上重要的灾害之一,每年都有一定数量的发生,森林火灾不只是烧毁成片的森林，伤害林内的动物，而且还降低森林的更新能力，引起土壤的贫瘠和破坏森林涵养水源，甚至导致生态环境失去平衡。森林火灾具有突发性、短时间内能造成巨大损失的特点。因此，世界各国都非常重视有效的森林防火监控系统的研究。

传统的森林防火系统使用烟雾传感器,这种传感器探测到树木燃烧的烟雾后,将信号传到监控中心,监控中心的人员再去灭火。因为烟雾传感器需要探测树木燃烧后的烟雾，而这个过程需要一定的时间，难以在火情刚发生时探测到,并且不能快速了解火情的具体情况，因此导致森林火灾的损失增大。

近年来,人们逐渐将视频摄像机应用于监控领域,大大增加了森林火灾的发现率。目前,国内发表的大多数有关森林防火监控的专利中,有些用到可见光相机,有些用到红外相机，相比于传统的监控方法，这些方法在火情的早期发现上得到了大大提高。但单独使用这两种系统都有其固有的缺陷，对于可见光森林防火监控系统,虽然可见光摄像机在白天可以看清楚,但是如果监控点的光线变暗,可见光相机就观察不清森林情况，尤其是在晚上。由于森林较密,即使在白天可以看清楚,也有可能由于树叶等东西遮挡,使可见光相机不能观察到较小的火情。对于红外相机,虽然具有全天候探测能力,但红外相机不具有细节分辨能力,若有火灾发生,不能明确的知道火灾情况。

发明内容

为解决上述问题，本发明提供一种基于双波段融合理论的森林防火监控系统，其包括：多个监控点和监控中心；

每个监控点包括：可见光相机(a1)、红外相机(a2)、自然感彩色图像融合模块(b)、视频编码器(c)；

监控中心包括：无线传输模块(d)、中央处理器(e)和屏幕显示墙(f)；

可见光相机(a1)监控森林情况产生可见光模拟视频信号，红外相机(a2)监控森林情况产生红外模拟视频信号，可见光模拟视频信号和红外模拟视频信号经过自然感彩色图像融合模块(b)的融合处理，输出融合数字视频信号到视频编码器(c)，视频编码器(c)将模拟视频信号转换成网络视频信号，以无线方式传输到无线传输模块(d)；无线传输模块(d)接收到无线网络信号将其转换成有线网络信号，再由中央处理器(e)解码后在屏幕显示墙(f)上显示，供人眼观察；

其中，自然感彩色图像融合模块(b)的工作内容包括：

步骤一:对输入的可见光模拟视频信号和红外模拟视频信号均进行AD转换，分别获得红外数字视频信号和可见光数字视频信号；

步骤二：分别提取红外数字视频信号和可见光数字视频信号中的亮度部分，得到红外数字视频亮度信号和可见光数字视频亮度信号；

步骤三:对红外数字视频亮度信号和可见光数字视频亮度信号分别在两个同步动态随机存取存储器SDRAM内进行图像缓冲，并对缓冲的红外数字视频亮度信号进行引导滤波处理，滤波后再进行双线性插值放大处理后获得1080P红外数字视频亮度信号；

步骤四:利用式(1)-(3)对缓冲的1080P红外数字视频亮度信号和可见光数字视频亮度信号进行融合处理获得融合数字视频信号：

Y_fus＝a₁·IR+b₁·VIS (1)

U_fus＝a₂·VIS-b₂·IR (2)

V_fus＝a₃·IR-b₃·VIS (3)

其中，IR为1080P红外数字视频亮度信号，VIS为可见光数字视频亮度信号，a_i，b_i(i＝1,2,3)为融合系数，Y_fus、U_fus、V_fus分别为融合后图像的Y、U、V分量；

步骤五:利用式(4)-(6)对融合数字视频信号进行色彩传递，获得与设定的参考图像色彩一致的融合数字视频信号：

其中，stdY_ref、stdU_ref、stdV_ref为设定的参考图像Y、U、V分量的标准差，μY_ref、μU_ref、μV_ref为参考图像Y、U、V分量的均值，stdY_fus、stdU_fus、stdV_fus为融合数字视频信号Y、U、V分量的标准差，μY_fus、μU_fus、μV_fus为融合数字视频信号的Y、U、V分量的均值，Y_tran、U_tran、V_tran分别为色彩传递后融合数字视频信号的Y、U、V分量；

步骤六:利用式(7)对色彩传递后的融合数字视频信号进行V通道增强获得最终的融合数字视频信号，然后将该融合数字视频信号经DA转换后输出：

上式中，k为增强系数，根据所需要增强的强度来选取，V_enhan为增强后融合数字视频信号的V分量。

进一步的，可见光相机采用1080P透雾CCD相机。

进一步的，红外相机采用非制冷焦平面探测器，其像元数为336*256,响应波段为8～12um。

进一步的，自然感彩色图像融合模块(b)，是以FPGA为核心的高速数字信号处理系统。

进一步的，使用过程中,根据可见光相机的焦距,调节红外图像,使其与可见光图像的视场和像元数一样。

有益效果：

本发明充分利用可见光相机和红外相机各自的优点，实现对森林覆盖区域全天候、实时、高效的监控。

附图说明

图1为本发明的森林防火监控系统原理框图。

图2为本发明的自然感彩色图像融合模块的具体实施示意图。

具体实施方式

如图1所示，为本发明的一种基于双波段融合理论的森林防火监控系统原理框图,包括监控中心和多个监控点。每个监控点包括：可见光相机a1和红外相机a2、自然感彩色图像融合模块b、视频编码模块c；监控中心包括：无线传输模块d、中央处理器e和屏幕显示墙f。

(1)采集模块a1和a2监控森林情况，并将监控信息发送至自然感彩色图像融合模块b；其中，监控信息包括：可见光相机a1输出的可见光模拟视频信号，红外相机a2输出的红外模拟视频信号，

效果较好的，可见光相机为高清透雾CCD相机，其输出视频标准为帕尔制PAL，其像元数为1920*1080。红外相机采用非制冷焦平面探测器，其输出视频标准也为帕尔制PAL，其像元数为336*256,响应波段为8～12um。为了提高火情的探测率,可见光相机和红外相机同时对森林情况进行监控。

(2)自然感彩色图像融合模块b将可见光模拟视频信号和红外模拟视频信号两路信号进行处理，获得一路模拟视频信号；

效果较好的，自然感彩色图像融合模块b，是以FPGA(型号Virtex-5)为核心的高速数字信号处理系统，分别实现以下功能：对分辨率为336*256的红外图像进行滤波和插值处理，产生分辨率为1920*1080的高清图像；对可见光图像和红外图像实时融合，产生分辨率为1920*1080的自然感彩色图像，输出制式为视频图形阵列VGA。

如图2所示，为本发明的自然感彩色图像融合的具体实施方案，实现步骤如下：

步骤一:对输入的可见光模拟视频信号和红外模拟视频信号分别进行AD转换，获得红外数字视频信号和可见光数字视频信号。

步骤二：提取红外数字视频信号和可见光数字视频信号中的亮度部分，得到红外数字视频亮度信号和可见光数字视频亮度信号。

步骤三:将红外数字视频亮度信号和可见光数字视频亮度信号分别在两个同步动态随机存取存储器SDRAM内缓冲，目的是让两路数字视频亮度信号同步，或者是缓冲计算压力。

步骤四:对红外数字视频亮度信号进行滤波和插值放大处理，获得1080P红外数字视频亮度信号，对1080P红外数字视频亮度信号进行报警设置处理，

作为步骤四的一种方案，所述步骤四中进行引导滤波处理，其计算方法如式(1)所示，

式(1)中，I为引导图像，i为以i为中心的窗口，I_out为输出的红外图像，|ω|为窗口内的像素个数。a_k，b_k是以i为中心像素的窗口的线性系数，a_k计算方法如式(2),b_k计算方法如式(3)，

式(2)和式(3)中，μ_k和是引导图像I在窗口内的均值和方差，p为输入的红外图像，为窗口中p的均值。

作为步骤四的一种方案，所述步骤四中对红外数字视频亮度信号进行插值放大处理，其方法如下:

红外数字视频亮度信号的插值放大系数由可见光的焦距决定。在对红外数字视频亮度信号插值放大之前，需要预先在可见光相机的多个焦点上对红外相机的图像进行标定处理，得到对应可见光焦距的红外插值放大系数，将此放大系数存储在FPGA中。在使用时，可见光相机在监控过程中可能需要变焦，根据可见光相机的焦距，选择红外数字视频亮度信号的插值放大系数，然后对插值放大后的红外数字视频亮度信号进行裁剪，使其红外数字视频亮度信号的分辨率保持在1920*1080的同时，与可见光相机视场大小一致。

作为步骤四的一种方案，所述步骤四中对1080P红外数字视频亮度信号进行报警设置处理，其方法如下:

设定一个阈值，当红外数字视频信号中灰度的最大值和最小值之差超过该阈值时，发出报警指令到FPGA串口。

步骤五:如果仅使用红外相机或可见光相机，则直接对1080P红外或可见光数字视频亮度信号进行DA转换，输出相应的模拟视频信号和串口指令至视频编码模块c。

如果同时使用红外相机或可见光相机则执行步骤六至步骤九；

步骤六：对1080P红外和可见光数字视频亮度信号进行融合，获得一路融合数字视频信号。

作为步骤六的一种方案，进行视频信号融合的计算方法如式(4)-(6)所示，

Y_fus＝a₁·IR+b₁·VIS (4)

U_fus＝a₂·VIS-b₂·IR (5)

V_fus＝a₃·IR-b₃·VIS (6)

式(4)-(6)中，IR为1080P红外数字视频亮度信号，VIS为可见光数字视频亮度信号，a_i，b_i(i＝1,2,3)为融合系数，为经验值；Y_fus,U_fus,V_fus分别为融合后数字视频信号的Y，U，V分量。

步骤七:对融合后的数字视频信号进行色彩传递，获得和参考图像色彩一致的数字视频信号。

作为一种步骤七的一种方案，进行色彩传递的计算方法如式(7)-(9)所示，

式(7)-(9)中，stdY_ref，stdU_ref，stdV_ref为预存的参考图像Y，U，V分量的标准差，μY_ref，μU_ref，μV_ref为参考图像Y，U，V分量的均值，stdY_fus，stdU_fus，stdV_fus为融合数字视频信号Y，U，V分量的标准差，μY_fus，μU_fus，μV_fus为融合数字视频信号Y，U，V分量的均值，Y_tran,U_tran,V_tran分别为色彩传递后融合数字视频信号的Y，U，V分量。

步骤八:对色彩传递后的融合数字视频信号中的V分量进行增强。

作为步骤八的一种方案，所述步骤八中进行V通道增强的计算方法如式(10)所示，

式(10)中，k为增强系数，根据所需要增强的强度来选取，V_enhan为增强后的V分量。

步骤九：对增强后的融合数字视频信号进行DA准换，输出融合模拟视频信号和串口指令至视频编码模块c。

(3)视频编码模块c将单路模拟视频信号或融合模拟视频信号转换成网络视频信号，网络视频信号和串口指令以无线方式传输到监控中心；

(4)无线传输模块d接收网络视频信号和串口指令，并将其转换成有线网络视频信号，并发送至中央处理器e，由中央处理器e解码网络视频信号并在屏幕显示墙f上显示，供人眼观察，中央处理器e同时接收串口指令以报警。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种基于双波段融合理论的森林防火监控系统，其特征在于，包括：多个监控点和监控中心；

每个监控点包括：可见光相机(a1)、红外相机(a2)、自然感彩色图像融合模块(b)、视频编码器(c)；

监控中心包括：无线传输模块(d)、中央处理器(e)和屏幕显示墙(f)；

可见光相机(a1)监控森林情况产生可见光模拟视频信号，红外相机(a2)监控森林情况产生红外模拟视频信号，可见光模拟视频信号和红外模拟视频信号经过自然感彩色图像融合模块(b)的融合处理，输出融合数字视频信号到视频编码器(c)，视频编码器(c)将模拟视频信号转换成网络视频信号，以无线方式传输到无线传输模块(d)；无线传输模块(d)接收到无线网络信号将其转换成有线网络信号，再由中央处理器(e)解码后在屏幕显示墙(f)上显示，供人眼观察；

其中，自然感彩色图像融合模块(b)的工作内容包括：

步骤一:对输入的可见光模拟视频信号和红外模拟视频信号均进行AD转换，分别获得红外数字视频信号和可见光数字视频信号；

步骤二：分别提取红外数字视频信号和可见光数字视频信号中的亮度部分，得到红外数字视频亮度信号和可见光数字视频亮度信号；

步骤三:对红外数字视频亮度信号和可见光数字视频亮度信号分别在两个同步动态随机存取存储器SDRAM内进行图像缓冲，并对缓冲的红外数字视频亮度信号进行引导滤波处理，滤波后再进行双线性插值放大处理后获得1080P红外数字视频亮度信号；

步骤四:利用式(1)-(3)对缓冲的1080P红外数字视频亮度信号和可见光数字视频亮度信号进行融合处理获得融合数字视频信号：

Y_fus＝a₁·IR+b₁·VIS (1)

U_fus＝a₂·VIS-b₂·IR (2)

V_fus＝a₃·IR-b₃·VIS (3)

其中，IR为1080P红外数字视频亮度信号，VIS为可见光数字视频亮度信号，a_i，b_i(i＝1,2,3)为融合系数，Y_fus、U_fus、V_fus分别为融合后图像的Y、U、V分量；

步骤五:利用式(4)-(6)对融合数字视频信号进行色彩传递，获得与设定的参考图像色彩一致的融合数字视频信号：

$Y_{tran}=\frac{{\mathrm{stdY}}_{ref}}{{\mathrm{stdY}}_{fus}}(Y_{fus}-{\mathrm{\μY}}_{fus})+{\mathrm{\μY}}_{ref}---\left(4\right)$

$U_{tran}=\frac{{\mathrm{stdU}}_{ref}}{{\mathrm{stdU}}_{fus}}(U_{fus}-{\mathrm{\μU}}_{fus})+{\mathrm{\μU}}_{ref}---\left(5\right)$

$V_{tran}=\frac{{\mathrm{stdV}}_{ref}}{{\mathrm{stdV}}_{fus}}(V_{fus}-{\mathrm{\μV}}_{fus})+{\mathrm{\μV}}_{ref}---\left(6\right)$

其中，stdY_ref、stdU_ref、stdV_ref为设定的参考图像Y、U、V分量的标准差，μY_ref、μU_ref、μV_ref为参考图像Y、U、V分量的均值，stdY_fus、stdU_fus、stdV_fus为融合数字视频信号Y、U、V分量的标准差，μY_fus、μU_fus、μV_fus为融合数字视频信号的Y、U、V分量的均值，Y_tran、U_tran、V_tran分别为色彩传递后融合数字视频信号的Y、U、V分量；

步骤六:利用式(7)对色彩传递后的融合数字视频信号进行V通道增强获得最终的融合数字视频信号，然后将该融合数字视频信号经DA转换后输出：

$V_{enhan}=k\frac{{\mathrm{stdV}}_{ref}}{{\mathrm{stdV}}_{fus}}(V_{tran}-{\mathrm{\μV}}_{fus})+{\mathrm{\μV}}_{ref}---\left(7\right)$

上式中，k为增强系数，根据所需要增强的强度来选取，V_enhan为增强后融合数字视频信号的V分量。

2.如权利要求1所述的基于双波段融合理论的森林防火监控系统，其特征在于，

可见光相机采用1080P透雾CCD相机。

3.如权利要求1所述的基于双波段融合理论的森林防火监控系统，其特征在于，

红外相机采用非制冷焦平面探测器，其像元数为336*256,响应波段为8～12um。

4.如权利要求1所述的基于双波段融合理论的森林防火监控系统，其特征在于，

自然感彩色图像融合模块(b)，是以FPGA为核心的高速数字信号处理系统。

5.如权利要求1所述的基于双波段融合理论的森林防火监控系统，其特征在于，

使用过程中,根据可见光相机的焦距,调节红外图像,使其与可见光图像的视场和像元数一样。