CN101873440B - 基于Surfacelet变换的红外与可见光视频图像融合方法 - Google Patents

Abstract

本发明公开了一种基于Surfacelet变换的红外与可见光视频图像融合方法，主要解决现有技术中融合视频图像时间一致性和稳定性差的问题。其过程为：首先，采用Surfacelet变换对输入视频图像进行多尺度、多方向分解得到不同频域子带系数；然后，通过基于3维局部空-时区域能量匹配的“选择”和“加权平均”相结合的融合方法和通过基于3维局部空-时区域能量和方向向量标准方差相结合的融合方法，分别对输入视频图像的低频子带系数和带通方向子带系数进行组合，得到融合视频图像的低频子带系数和带通方向子带系数；最后，对组合得到的各子带系数进行Surfacelet逆变换得到融合视频图像。本发明具有融合效果好，时间一致性和稳定性高，噪声敏感度低的优点，可用于场景安全监控。

Description

基于Surfacelet变换的红外与可见光视频图像融合方法

技术领域

本发明涉及视频图像处理领域，具体的说是一种视频图像融合方法，该方法能够有效解决视频图像融合中存在的时间一致性和稳定性问题，可用于对红外与可见光视频图像进行融合。

背景技术

可见光成像传感器主要根据物体的光谱反射特性成像的，而红外成像传感器主要根据物体的热辐射特性成像的。通常情况下，可见光图像能够很好地描述场景中的环境信息，而红外图像能够很好地给出目标的存在特性和位置特性。这两种图像的融合能够将红外图像中的目标存在特性和可见光图像中的背景信息有机地结合在一起，从而进一步提高对目标的侦测和对环境的释义能力，已经被广泛应用于场景监控等领域。

小波变换作为一种图像多尺度分析工具，不仅具有良好的空域-频域局部分析特性，在提取图像低频信息的同时，还可以获得图像水平、垂直以及对角三个方向的高频细节信息，已被广泛应用于红外与可见光图像融合技术中，例如G.Pajares，J.M.de la Cruz，“Awavelet-based image fusion tutorial”，Pattern Recognition，vol.37，No.9，2004，pp.1855-1872.及J.Lewis，R.O.’Callaghan，S.Nikolov，D.Bull，N.Canagarajah，“Pixel-andRegion-based image fusion with complex wavelets”，Information Fusion，vol.8No.2.，2007，pp.119-130.两篇文献公开的技术均属于基于小波变换的图像融合方法。由于采用小波对图像进行分析的过程与计算机视觉和人眼视觉系统中由粗到细认识事物的过程十分相似，因此，与传统的图像融合方法相比，基于小波变换的图像融合方法能够明显改善系统的融合性能。但采用小波变换对二维图像进行分析时不能够充分利用图像数据本身所特有的几何特征，挖掘图像中方向边缘信息，也不能够对图像中的直线或曲线稀疏表示，使得融合后的图像容易引入一定的“人为”效应或高频噪声，从而在一定程度上降低了融合图像的质量。

针对小波变换在图像处理中的缺陷，先后出现了Ridgelet变换、Curvelet变换、Contourlet变换等图像多尺度几何分析工具(Multiscale Geometric Analysis，MGA)。相对于小波变换，此类变换具有“各向异性”，能够有效表示图像中的边缘，具有多尺度、空域局部特性以及多方向性特性。上述MGA工具也已经能够成功应用于图像融合领域中，例如张强，郭宝龙，“一种基于非采用Contourlet变换红外图像与可见光图像融合算法”，红外与毫米波学报，Vol.26，No.6，2007，pp：476-480.实验结果表明此类算法大都能够获得比基于小波变换图像融合算法更好的主客观指标。但目前存在的绝大数MGA工具运算复杂度较高，基于MGA的图像融合算法只能适合离线状态下的单帧图像融合，而在视频图像融合中的应用还需要进一步提高运算效率。

尽管国内外学者对基于小波变换和图像MGA工具的红外与可见光图像融合方法进行了大量的研究工作，但目前绝大数图像融合技术都是针对静止图像融合而设计的，而有关多传感器视频图像融合研究较少。在安全监视环境下的目标检测及识别等实际应用中，往往需要对来自多个多传感器视频图像进行实时融合处理。目前，存在的多源视频图像融合技术主要包括两大类。第一类视频图像融合技术为基于单帧图像融合的视频图像融合技术，即采用上述静止图像融合技术对视频图像逐帧进行融合，例如O.Rockinger，“Image sequence fusion using a shift invariant wavelet transform”，IEEE Transactions onImage Processing，Vol.3，1997，pp：288-291.文献采用基于小波变换的图像融合技术对视频图像逐帧进行融合。此类方法由于仅仅考虑了视频图像中单帧图像之间的空间细节信息，而没有考虑视频图像帧间时间运动信息，使得融合后的视频图像容易缺少时间一致性和稳定性。第二类视频图像融合技术为基于运动目标检测的视频图像融合技术。此类技术首先采用运动目标检测技术将视频图像中各帧图像分成运动目标区域和背景区域，然后针对每帧图像的背景区域和目标区域采用不同的融合规则分别融合，得到融合视频图像，例如Z.H.Wang，Z.Qin，“A framework of region-based dynamic image fusion”，Journal of Zhejiang University Science A，Vol.8，No.1，2007，pp：56-62.此类融合技术能够有效解决第一类视频图像融合技术中的时间一致性和稳定性问题，但必需采用运动目标检测技术作为预处理步骤，而运动目标检测技术在视频图像处理领域中也是比较困难的一项技术，其检测精度容易受到光照等环境因素的影响，这也在一定程度上增加了此类视频图像融合技术的实现难度。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于Surfacelet变换的红外与可见光视频图像融合方法，以实现在空间细节信息提取和保留方面能够将红外图像中的目标存在特性和位置特性以及可见光图像中的背景信息有机地结合在一起，提高融合视频图像的时间一致性和稳定性。

实现本发明目的的关键技术是将多帧输入视频信号看作一种特殊的3维信号，即2维空间信号+1维时间信号，采用Surfacelet变换整体进行多尺度、多方向分解，以提取输入视频图像中的空间细节信息和时间运动信息；并根据红外与可见光图像物理特征以及噪声与视频图像中的显著空-时特征在Surfacelet域中的分布差异，制定了有效的融合规则。其具体实现步骤包括如下：

(1)对已经经过严格空间和时间配准的红外视频图像Vir(x，y，t)和可见光视频图像Vvi(x，y，t)分别进行Surfacelet变换，得到各自的变换系数

和

$\{Y_{\mathrm{Vvi}}^{(S+1)}(x,y,t),Y_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t)\},$

其中，

和

分别表示红外视频图像和可见光视频图像在最粗糙尺度S下的低频子带系数，

和

分别表示红外视频图像和可见光视频图像在尺度s(s＝1，2，...，S)、方向(j，k)及空-时位置(x，y，t)处的带通方向子带系数，其中

j＝1，2，3，S表示尺度分解级数，该级数取3～5，j值对应于Surfacelet变换中3个沙漏滤波器的支持方向分别沿频率轴ω₁，ω₂，ω₃方向，l_j1、l_j2表示每一尺度下经第j个沙漏滤波器滤波后进一步采用两个二维方向滤波器组进行方向分解的级数，该级数取1～3；

(2)对变换系数中的低频子带系数

和利用基于3维局部空-时区域能量匹配的“选择”和“加权平均”相结合的低频子带系数融合方法进行组合，得到融合视频图像Vf的低频子带系数

为：

$Y_{\mathrm{Vf}}^{(S+1)}(x,y,t)$

其中，E_Vir(x，y，t)和E_Vvi(x，y，t)分别表示低频子带系数

和的局部空-时区域能量，S(x，y，t)为E_Vir(x，y，t)和E_Vvi(x，y，t)之间的匹配度，α为能量匹配度阈值，ω_min和ω_max为权值系数，分别定义为：

ω_max(x，y，t)＝1-ω_min；

(3)对变换系数中的各带通方向子带系数

和

利用基于3维局部空-时区域能量和方向向量方差相结合的带通方向子带系数融合方法进行组合，得到融合视频图像Vf在尺度s、方向(j，k)及空-时位置(x，y，t)处的带通方向子带系数为：

$Y_{\mathrm{Vf}}^{(s,j,k)}(x,y,t)=\{\begin{array}{cc}{Y}_{\mathrm{Vir}}^{(s,j,k)}(x,y,t),& {\mathrm{\γ}}_{\mathrm{Vir}}^{(s,j,k)}(x,y,t)>{\mathrm{\γ}}_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t)\\ Y_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t),& {\mathrm{\γ}}_{\mathrm{Vir}}^{(s,j,k)}(x,y,t)\≤{\mathrm{\γ}}_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t)\end{array}$

其中，

和

分别为红外输入视频图像的带通方向子带系数

和可见光输入视频图像的带通方向子带系数

在尺度s、方向(j，k)及空-时位置(x，y，t)处的显著性度量因子；

(4)对组合后的低频子带系数和带通方向子带系数

进行Surfacelet逆变换，得到融合视频图像Vf。

本发明具有如下效果：

1)融合后视频图像具有良好的时间一致性和稳定性。

本发明由于将多帧输入视频图像看作一种特殊的3维信号，采用Surfacelet变换对红外和可见光视频中多帧图像整体进行多尺度、多方向分解和融合；同时，Surfacelet变换对视频图像分析时具有运动选择特性，能够将视频图像中的运动信息分解到不同方向子带中，不需要运动估计算法仅仅通过变换系数就可以获取视频图像中的时间运动信息，从而使得采用本发明获取的融合视频图像具有很好的时间一致性和稳定性；

2)能够将红外视频图像中的目标存在特性及位置特性和可见光视频图像中的背景信息有机地结合在一起，有效减少融合视频图像对比度降低或存在“虚影”等现象。

本发明针对低频子带系数，根据红外与可见光视频图像物理特征，采用了一种基于3维局部空-时区域能量匹配的低频子带系数融合方法，根据输入视频图像相应局部空-时区域之间的相似程度，分别对输入视频信号的低频子带系数进行“选择”或“加权平均”，从而能够将红外视频图像中的目标存在特性及位置特性和可见光视频图像中的背景信息有机地结合在一起，有效减少融合视频图像对比度降低或存在“虚影”等现象；

3)能够最大可能地提取输入视频图像中的有用空-时特征的同时，有效避免将噪声传输到融合视频图像中，降低了融合方法对噪声的敏感度。

本发明针对带通方向子带系数，根据噪声和视频图像中显著空-时特征在Surfacelet域中的分布差异，采用了一种基于3维局部空-时区域能量和方向向量方差相结合的系数融合方法，使得本发明所提出的融合方法不仅能够最大可能地提取输入视频图像中的空间几何信息和时间运动信息，还能够很好地区分噪声和视频图像中显著空-时特征，有效避免将噪声传输到融合视频图像中。

附图说明

图1为本发明的视频图像融合方法过程图；

图2为本发明第一组仿真结果图；

图3为图2中当前帧图像与前一帧图像之间的帧差图像；

图4为本发明第二组仿真结果图；

图5为图4中当前帧图像与前一帧图像之间的帧差图像。

具体实施方式

以下结合附图对本发明作进一步详细的描述。

参照图1，本发明包括以下步骤：

第一步：采用Surfacelet变换对输入视频图像进行多尺度、多方向分解。

对已经经过严格空间和时间配准的红外视频图像Vir(x，y，t)和可见光视频图像Vvi(x，y，t)分别进行Surfacelet变换，得到各自的变换系数

和

其中，

和

分别表示红外输入视频图像和可见光输入视频图像在最粗糙尺度S下的低频子带系数，

和

分别表示红外视频图像和可见光视频图像在尺度s(s＝1，2，...，S)、方向(j，k)(其中，j＝1，2，3；

)及空-时位置(x，y，t)处的带通方向子带系数，S表示尺度分解级数(一般取3～5)，本发明中S＝3，j值对应于Surfacelet变换中3个沙漏滤波器的支持方向分别沿频率轴ω₁，ω₂，ω₃方向，l_j1、l_j2表示每一尺度下经第j个沙漏滤波器滤波后进一步采用两个二维方向滤波器组进行方向分解的级数(一般取1～3)，本发明中由最粗糙尺度到最精细尺度(l_j1，l_j2)分别取(1，1)，(2，2)，(3，3)，即相应尺度下分别有3×2×2＝12、3×2²×2²＝48和3×2³×2³＝192个方向。

第二步：对变换系数中的低频子带系数

和

利用基于3维局部空-时区域能量匹配的“选择”和“加权平均”相结合的低频子带系数融合方法进行组合，得到融合视频图像Vf的低频子带系数

视频图像经Surfacelet变换分解后得到的低频子带系数包含了视频图像的主要能量，决定了视频图像中各帧图像的轮廓。由于红外成像传感器和可见光成像传感器成像机理不同，所获取的红外视频图像和可见光视频图像中各帧图像局部区域内容易出现极性相反的情况。因此，对低频子带系数若采用简单的“平均法”，容易在一定程度上降低融合视频图像的对比度。同时，若视频图像中包含有剧烈运动目标时，采用“平均法”还容易造成融合视频图像引入“虚影”，从而也在一定程度上降低了融合视频图像的质量。本发明将已有静止图像融合技术所采用的基于2维局部空间区域能量匹配的“选择”和“加权平均”相结合的系数选择方案扩展到3维空间，制定了一种基于3维局部空-时区域能量匹配的“选择”和“加权平均”相结合的系数选择方案，并应用于组合低频子带系数。计算过程如下：

(2.1)计算输入视频图像低频子带系数Y^(S+1)(x，y，t)在3维局部空-时区域M₁×N₁×T₁内的局部区域能量E(x，y，t)：

$E(x,y,t)=\underset{m=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{n=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\underset{\mathrm{\τ}=-(T_1-1)/2}{\overset{(T_1-1)/2}{\mathrm{\Σ}}}{\left|T^{(S+1)}(x+m,y+n,t+\mathrm{\τ})\right|}^2$

其中，M₁＝N₁＝T₁＝3；

(2.2)计算红外输入视频图像低频子带系数

和可见光输入视频子带系数

的局部空-时区域能量E_Vir(x，y，t)和E_Vvi(x，y，t)之间的匹配度S(x，y，t)：

$S(x,y,t)=\frac{\underset{m=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{n=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\underset{\mathrm{\τ}=-(T_1-1)/2}{\overset{(T_1-1)/2}{\mathrm{\Σ}}}\left|Y_{\mathrm{Vir}}^{(S+1)}(x+m,y+n,t+\mathrm{\τ})Y_{\mathrm{Vvi}}^{(S+1)}(x+m,y+n,t+\mathrm{\τ})\right|}{E_{\mathrm{Iir}}(x,y,t)+E_{\mathrm{Ivi}}(x,y,t)};$

(2.3)根据红外和可见光输入视频图像低频子带系数的局部空-时区域能量E_Vir(x，y，t)和E_Vvi(x，y，t)以及它们之间的匹配度S(x，y，t)确定融合视频图像Vf的低频子带系数

如果S(x，y，t)满足S(x，y，t)＜α，表明在该局部空-时区域内输入视频图像之间存在较大差异，则根据局部空-时区域能量E_Vir(x，y，t)和E_Vvi(x，y，t)对输入视频图像的低频子带系数进行“选择”，以提取源视频图像中显著信息，否则，即S(x，y，t)≥α，表示在该局部空-时区域内源视频图像之间比较相似，则对输入视频图像低频子带系数进行“加权平均”，得到融合视频图像Vf的低频子带系数为：

$Y_{\mathrm{Vf}}^{(S+1)}(x,y,t)$

其中，α为能量匹配度阈值，权值系数ω_min(x，y，t)和ω_max(x，y，t)分别定义为：

ω_max(x，y，t)＝1-ω_min。

第三步：对变换系数中的各带通方向子带系数

和

利用基于3维局部空-时区域能量和方向向量方差相结合的带通方向子带系数融合方法进行组合，得到融合视频图像Vf的带通方向子带系数

经Surfacelet变换分解得到的带通方向子带系数中模值较大的变换系数，在一定程度上对应于视频图像在该空-时区域内具有显著的空间几何特征和时间运动信息。但红外视频图像对比度较低，容易带有一定的噪声，若采用简单的“模值取大”的系数选择方案容易引入“虚假”信息或噪声。为了避免将红外视频图像中的噪声作为有用信息提取并注入得到融合视频图像中，必须将有意义的视频图像空-时特征信息与噪声区分开。局部区域内有意义的视频图像空-时特征往往表现出多尺度性和较强的方向性，在Surfacelet域中表现为只在少数方向上具有较大的能量。而噪声点虽然也有局部能量极大值特点，但缺少方向性，在Surfacelet域中表现为局部能量平坦分布在所有方向上。本发明在Surfacelet域中提出了一种方向向量方差的概念以区分视频图像空-时特征信息与噪声，并在此基础上，结合3维局部空-时区域能量，制定了一种带通方向子带系数选择方案。具体过程如下：

(3.1)在尺度s、子方向j处定义维方向向量V^(s，i，k)(x，y，t)：

$V^{(s,j)}(x,y,t)={\left(\right|Y^{(s,j,1)}(x,y,t)|,|Y^{(s,j,2)}(x,y,t)|,...,|Y^{(s,j,K_j)}(x,y,t)\left|\right)}^T$

其中，Y^(s，j，k)(x，y，t)为输入视频图像尺度s、方向(j，k)及空-时位置(x，y，t)处的带通方向子带系数，l_j1、l_j2表示每一尺度下经第j个沙漏滤波器滤波后进一步采用两个二维方向滤波器组进行方向分解的级数，|□|表示模值；

(3.2)计算向量V^(s，i，k)(x，y，t)的标准方差Dσ^(s，j)(x，y，t)：

${\mathrm{D\σ}}^{(s,j)}(x,y,t)=\sqrt{\frac{1}{K_j}\underset{k=1}{\overset{K_j}{\mathrm{\Σ}}}{\left[\right|Y^{(s,j,k)}(x,y,t)|-{\stackrel{\‾}{V}}^{(s,j)}(x,y,t)]}^2}$

其中，为向量V^(s，i，k)(x，y，t)的均值，

(3.3)计算输入视频图像带通方向子带系数Y^(s，j，k)(x，y，t)在3维局部空-时区域M₁×N₁×T₁内的局部区域能量E^(s，j，k)(x，y，t)：

$E^{(s,j,k)}(x,y,t)=\underset{m=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{n=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\underset{\mathrm{\τ}=-(T_1-1)/2}{\overset{(T_1-1)/2}{\mathrm{\Σ}}}{\left|Y^{(s,j,k)}(x+m,y+n,t+\mathrm{\τ})\right|}^2$

其中，M₁＝N₁＝T₁＝3；

(3.4)在尺度s、方向(j，k)以及空-时位置(x，y，t)处定义显著性因子γ^(s，j，k)(x，y，t)：

γ^(s，j，k)(x，y，t)＝E^(s，j，k)(x，y，t)·Dσ^(s，j)(x，y，t)

显著性因子γ^(s，j，k)(x，y，t)表明，如果视频图像在尺度j、方向(j，k)下，位置(x，y，t)处的E^(s，j，k)(x，y，t)值和Dσ^(s，j)(x，y，t)值均较大，即视频图像在该位置处具有较大的能量，同时能量在各方向上分布较为剧烈，表示在该位置处具有较明显的视频图像空-时特征，如果视频图像在相应位置处的E^(s，j，k)(x，y，t)值和Dσ^(s，j)(x，y，t)值均较小，即在该位置处具有较小的能量，同时能量在各方向上分布较为均匀，表示在该位置处信号趋于噪声；

(3.5)根据步骤(3.4)中的显著性因子，对红外输入视频图像和可见光输入视频图像的带通方向子带系数进行组合，得到融合视频图像Vf在尺度s、方向(j，k)及空-时位置(x，y，t)处的带通方向子带系数

$Y_{\mathrm{Vf}}^{(s,j,k)}(x,y,t)=\{\begin{array}{cc}{Y}_{\mathrm{Vir}}^{(s,j,k)}(x,y,t),& {\mathrm{\γ}}_{\mathrm{Vir}}^{(s,j,k)}(x,y,t)>{\mathrm{\γ}}_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t)\\ Y_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t),& {\mathrm{\γ}}_{\mathrm{Vir}}^{(s,j,k)}(x,y,t)\≤{\mathrm{\γ}}_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t)\end{array}$

其中，

和

分别表示红外输入视频图像的带通方向子带系数

和可见光输入视频图像的带通方向子带系数

在尺度s、方向(j，k)及空-时位置(x，y，t)处的显著性因子。

第四步：对组合后的低频子带系数和带通方向子带系数进行Surfacelet逆变换，得到融合视频图像Vf。

为验证本发明的有效性和正确性，采用了两组红外与可见光视频图像进行融合仿真实验。所有仿真实验均在Windows XP操作系统下采用Matlab 2009软件实现的。

仿真1

仿真1为一组具有较好对比度的红外与可见光视频图像融合实验，所采用的视频图像大小为224×224×224。为了更好地比较，本仿真采用了其它三种融合方法进行融合比较。前两种融合方法分别采用离散小波变换DWT、Contourlet变换CNT作为图像的多尺度分解和重构工具，对视频图像逐帧进行融合，第三种融合方法采用Surfacelet变换ST作为视频图像的多尺度分解和重构工具，对视频图像整体进行分析和融合，这三种融合方法均采用简单的低频系数取平均，高频系数模值取大的融合规则，分别简记为DWT_AVE，CNT_AVE，ST_AVE方法。第四种方法为本发明所提出的融合方法，简记为ST_PRO方法。

图2给出了第一组红外与可见光输入视频图像以及采用上述四种融合方法得到的融合视频图像的某一帧图像，其中，图2(a)为可见光输入视频图像中单帧图像，图2(b)为红外输入视频图像中对应帧图像，图2(c)为DWT_AVE方法融合视频图像中对应帧图像，图2(d)为CNT_AVE方法融合视频图像中对应帧图像，图2(e)为ST_AVE方法融视频图像中对应帧图像，图2(f)为本发明ST_PRO方法融合视频图像中对应帧图像。

从图2可以看出，采用DWT_AVE和CNT_AVE方法得到的融合图像图2(c)和图2(d)存在比较明显的“波纹”和虚假边缘信息，而采用ST_AVE和本发明提出的ST_PRO融合方法得到的融合图像图2(e)和图2(f)能够很好地减少这种虚假信息，具有很好的视觉效果。相对于图2(e)，图2(f)具有更好的视觉效果，能够更好地将红外图像中的目标特性和可见光图像中的背景信息有机地结合在一起，如图中目标区域更为明显，从而说明本发明提出的融合方法在空间质量方面具有更好的融合效果。

图3给出了图2中输入视频图像以及各融合视频图像中当前帧图像与前一帧图像之间的帧差图像，以验证本发明在时间一致性和稳定性方面的融合性能，其中，图3(a)～图3(f)分别对应于图2(a)～图2(f)中当前帧图像与前一帧图像之间的帧差图像。

从图3可以看出，图3(c)和图3(d)出现了图3(a)和图3(b)都无法解释的帧差信息，而图3(e)和图3(f)中的信息基本上都可以用图3(a)和图3(b)解释，从而表明，相对DWT_AVE和CNT_AVE融合方法，ST_AVE融合方法和本发明提出的ST_PRO融合方法具有更高的时间一致性和稳定性。

采用基于空间梯度信息保留和时间梯度信息保留的动态图像融合性能评价因子DQ以及帧差图像之间互信息熵IFD_MI因子对融合结果进行客观评价，评价结果如表1所示。

表1第一组视频图像融合性能比较数据

表1中，DQ(Vvi，Vir，Vf)表示融合视频图像Vf与可见光视频图像Vvi和红外视频图像Vir之间的DQ值，其值越高，表明融合视频图像相对于输入视频图像信息保留度越高，融合性能越好；IFD_MI(Vvi，Vf)表示融合视频图像Vf与可见光视频图像Vvi之间的IFD_MI值，IFD_MI(Vir，Vf)表示融合视频图像Vf与红外视频图像Vir之间的IFD_MI值，IFD_MI(Vvi，Vir，Vf)表示融合视频图像Vf与可见光视频图像Vvi和红外视频图像Vir之间的IFD_MI值。

从表1中的数据可以看出，本发明所提出的ST_PRO融合方法在信息提取和保留方面以及时间一致性和稳定性方面都具有最高的融合性能。

仿真2

仿真2为一组具有较低对比度的红外与可见光视频图像融合实验。所采用的视频图像大小为192×240×224，并将融合结果与采用DWT_AVE、CNT_AVE、和ST_AVE融合方法进行比较。图4给出了第二组红外与可见光输入视频图像以及采用上述四种融合方法得到的融合视频图像的某一帧图像，其中，图4(a)为可见光输入视频图像中单帧图像，图4(b)为红外输入视频图像中对应帧图像，图4(c)为DWT_AVE方法融合视频图像中对应帧图像，图4(d)为CNT_AVE方法融合视频图像中对应帧图像，图4(e)为ST_AVE方法融视频图像中对应帧图像，图4(f)为本发明ST_PRO方法融合视频图像中对应帧图像。图5给出了图4中输入视频图像以及各融合视频图像中当前帧图像与前一帧图像之间的帧差图像，其中，图5(a)～图5(f)分别对应于图4(a)～图4(f)中当前帧图像与前一帧图像之间的帧差图像。

采用基于空间梯度信息保留和时间梯度信息保留的动态图像融合性能评价因子DQ以帧差图像之间互信息熵IFD_MI因子对融合结果进行客观评价，评价结果如表2所示。

从图4、图5和表2，可以得出与仿真1相似的结论，即本发明所提出的融合方法在信息提取和保留方面以及时间一致性和稳定性方面具有最高的融合性能。额外，根据表2中的数据可以看出，针对低对比度视频图像，本发明的融合性能更为明显，从而表明本发明能够更好地区分视频图像中的噪声和有用空-时信息，避免将噪声引入融合视频图像中。

表2第二组视频图像融合性能比较数据

Claims (3)

1.一种基于Surfacelet变换的红外与可见光视频图像融合方法，包括如下步骤：

(1)对已经经过严格空间和时间配准的红外视频图像Vir(x，y，t)和可见光视频图像Vvi(x，y，t)分别进行Surfacelet变换，得到各自的变换系数

和 $\{Y_{\mathrm{Vvi}}^{(S+1)}(x,y,t),Y_{\mathrm{Vvi}}^{(s,j,t)}(x,y,t)\},$

其中，

和

分别表示红外视频图像和可见光视频图像在最粗糙尺度S下的低频子带系数，

和

分别表示红外视频图像和可见光视频图像在尺度s(s＝1，2，...，S)、方向(j，k)及空-时位置(x，y，t)处的带通方向子带系数，其中

j＝1，2，3，S表示尺度分解级数，该级数取3～5，j值对应于Surfacelet变换中3个沙漏滤波器的支持方向分别沿频率轴ω₁，ω₂，ω₃方向，l_j1、l_j2表示每一尺度下经第j个沙漏滤波器滤波后进一步采用两个二维方向滤波器组进行方向分解的级数，该级数取1～3；

(2)对变换系数中的低频子带系数

和利用基于3维局部空-时区域能量匹配的“选择”和“加权平均”相结合的低频子带系数融合方法进行组合，得到融合视频图像Vf的低频子带系数

为：

其中，E_Vir(x，y，t)和E_Vvi(x，y，t)分别表示低频子带系数

和

的局部空-时区域能量，S(x，y，t)为E_Vir(x，y，t)和E_Vvi(x，y，t)之间的匹配度，α为能量匹配度阈值，ω_min和ω_max为权值系数，分别定义为：

${\mathrm{\ω}}_{\min }(x,y,t)=\frac{1}{2}-\frac{1}{2}\left[\frac{1-S(x,y,t)}{1-\mathrm{\α}}\right],$ ω_max(x，y，t)＝1-ω_min；

(3)对变换系数中的各带通方向子带系数

和

利用基于3维局部空-时区域能量和方向向量方差相结合的带通方向子带系数融合方法进行组合，得到融合视频图像Vf在尺度s、方向(j，k)及空-时位置(x，y，t)处的带通方向子带系数 $Y_{\mathrm{Vf}}^{(s,j,k)}(x,y,t)$ 为：

$Y_{\mathrm{Vf}}^{(s,j,k)}(x,y,t)=\left\{\begin{array}{cc}{Y}_{\mathrm{Vir}}^{(s,j,k)}(x,y,t),& {\mathrm{\γ}}_{\mathrm{Vir}}^{(s,j,k)}(x,y,t)>{\mathrm{\γ}}_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t)\\ Y_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t),& {\mathrm{\γ}}_{\mathrm{Vir}}^{(s,j,k)}(x,y,t)\≤{\mathrm{\γ}}_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t)\end{array}\right.$

其中，

和分别为红外输入视频图像的带通方向子带系数

和可见光输入视频图像的带通方向子带系数

在尺度s、方向(j，k)及空-时位置(x，y，t)处的显著性度量因子；

(4)对组合后的低频子带系数

和带通方向子带系数

进行Surfacelet逆变换，得到融合视频图像Vf。

2.根据权利要求1所述的视频图像融合方法，其特征在于步骤(2)中所述的基于3维局部空-时区域能量匹配的“选择”和“加权平均”相结合的低频子带系数选择方法，包括如下步骤：

(2a)计算输入视频图像低频子带系数Y^(S+1)(x，y，t)在3维局部空-时区域M₁×N₁×T₁内的局部区域能量E(x，y，t)：

$E(x,y,t)=\underset{m=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{n=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\underset{\mathrm{\τ}=-(T_1-1)/2}{\overset{(T_1-1)/2}{\mathrm{\Σ}}}{\left|Y^{(S+1)}(x+m,y+n,t+\mathrm{\τ})\right|}^2$

其中，M₁＝N₁＝T₁＝3；

(2b)计算红外输入视频图像低频子带系数

和可见光输入视频子带系数

的局部空-时区域能量E_Vir(x，y，t)和E_Vvi(x，y，t)之间的匹配度S(x，y，t)：

$S(x,y,t)=2\frac{\underset{m=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{n=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\underset{\mathrm{\τ}=-(T_1-1)/2}{\overset{(T_1-1)/2}{\mathrm{\Σ}}}\left|Y_{\mathrm{Vir}}^{(S+1)}(x+m,y+n,t+\mathrm{\τ})Y_{\mathrm{Vvi}}^{(S+1)}(x+m,y+n,t+\mathrm{\τ})\right|}{E_{\mathrm{Vir}}(x,y,t)+E_{\mathrm{Vvi}}(x,y,t)};$

(2c)如果步骤(2b)中的S(x，y，t)满足S(x，y，t)＜α，表明在该局部空-时区域内输入视频图像之间存在较大差异，则根据局部空-时区域能量E_Vir(x，y，t)和E_Vvi(x，y，t)对输入视频图像的低频子带系数进行“选择”，以提取源视频图像中显著信息，否则，即S(x，y，t)≥α，表示在该局部空-时区域内源视频图像之间比较相似，则对输入视频图像低频子带系数进行“加权平均”，得到融合视频图像Vf的低频子带系数

3.根据权利要求1所述的图像融合方法，其特征在于步骤(3)所述的基于局部空-时区域能量和方向向量方差相结合的带通方向子带系数选择方法，包括如下步骤：

(3a)在尺度s、子方向j处定义

维方向向量V^(s，j)(x，y，t)：

$V^{(s,j)}(x,y,t)={\left(\right|Y^{(s,j,1)}(x,y,t)|,|Y^{(s,j,2)}(x,y,t)|,\·\·\·,|Y^{(s,j,K_j)}(x,y,t)\left|\right)}^T$

其中，Y^(s，j，k)(x，y，t)为输入视频图像尺度s、方向(j，k)及空-时位置(x，y，t)处的带通方向子带系数，l_j1、l_j2表示每一尺度下经第j个沙漏滤波器滤波后进一步采用两个二维方向滤波器组进行方向分解的级数，|·|表示模值；

(3b)计算向量V^(s，j)(x，y，t)的标准方差Dσ^(s，j)(x，y，t)：

${\mathrm{D\σ}}^{(s,j)}(x,y,t)=\sqrt{\frac{1}{K_j}\underset{k=1}{\overset{K_j}{\mathrm{\Σ}}}{\left[\right|Y^{(s,j,t)}(x,y,t)|-{\stackrel{\‾}{V}}^{(s,j)}(x,j,t)]}^2}$

其中，

为向量V^(s，j)(x，y，t)中各分量|Y^(s，j，k)(x，y，t)|的平均值，即：

${\stackrel{\‾}{V}}^{(s,j)}(x,y,t)=\frac{1}{K_j}\underset{k=1}{\overset{K_j}{\mathrm{\Σ}}}\left|Y^{(s,j,k)}(x,y,t)\right|;$

(3c)计算输入视频图像带通方向子带系数Y^(s，j，k)(x，y，t)在3维局部空-时区域M₁×N₁×T₁内的局部区域能量E^(s，j，k)(x，y，t)：

$E^{(s,j,k)}(x,y,t)=\underset{m=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{n=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\underset{\mathrm{\τ}=-(T_1-1)/2}{\overset{(T_1-1)/2}{\mathrm{\Σ}}}{\left|Y^{(s,j,k)}(x+m,y+n,t+\mathrm{\τ})\right|}^2$

其中，M₁＝N₁＝T₁＝3；

(3d)在尺度s、方向(j，k)以及空-时位置(x，y，t)处定义显著性因子γ^(s，j，k)(x，y，t)：

γ^(s，j，k)(x，y，t)＝E^(s，j，k)(x，y，t)·Dσ^(s，j)(x，y，t)；

(3e)根据步骤(3d)中的显著性因子，对红外输入视频图像的带通方向子带系数

和可见光输入视频图像的带通方向子带系数

进行组合，得到融合视频图像Vf在尺度s、方向(j，k)及空-时位置(x，y，t)处的带通方向子带系数

Images