CN103530862A - 基于nsct的邻域特性区域化的红外与微光图像融合方法 - Google Patents

Abstract

本发明针对微光环境下的同一场景红外与微光图像融合问题提出了一种利用邻域特性区域化处理的非下采样Contourlet变换融合方法。首先对红外和微光源图像进行多尺度、多方向分解；然后对低频系数采用一种邻域能量上改进的区域化能量加权融合规则，高频系数采用基于邻域能量区域化匹配的系数选择方案与邻域方差改进的区域方差取大融合规则；最后利用NSCT逆变换进行重构得到融合图像。本发明将像素级融合与特征级融合的优点有效结合起来，本发明不仅克服了传统图像融合产生的虚假轮廓现象，而且具有鲜明的红外目标指示特性及较好细节表现力。

Description

基于NSCT的邻域特性区域化的红外与微光图像融合方法

技术领域

本发明涉及多源图像融合领域，具体涉及一种改进的邻域特性区域化处理的NSCT域红外与微光图像融合方法，用于实现微光环境下的图像融合。

技术背景

图像融合是以图像为研究对象的信息融合，它把对同一目标或场景的用不同传感器获得的不同图像，或用同种传感器以不同成像方式或在不同成像时间获得的不同图像，融合成一幅图像，在这一副图像中能反映多重原始图像的信息，以达到对目标和场景的综合描述，使之更适合视觉感知或计算机处理。从20世纪80年代初至今，多源图像融合已引发了世界范围的研究热潮，它在计算机视觉、遥感、机器人、医学图像处理及军事等领域有着广泛的应用前景。多源图像融合技术在国内所进行的研究相对于国际上的研究工作起步较晚，目前处于落后状态，迫切需要开展广泛深入的理论研究和工程技术研究工作。

红外和微光图像融合是多源图像融合的一种，其目的在于融合来自红外与微光图像中的互补信息。互补信息主要体现在红外图像中的高温物体具备高亮特征，而微光图像中物体的亮度仅与物体自身反射的外界光程度有关。融合得到的图像将红外图像的目标指示性与微光图像的细节表现力有效结合起来。

非下采样Contourlet变换(nonsubsampledContourlettransform，简称NSCT)不仅具有多尺度、时频局部特性，还具有多方向特性，能够有效捕捉图像中的几何特征，并且能为图像进行稀疏表示，变换后能量更加集中，为图像融合提供更多的有用信息。因此，基于NSCT变换的红外与微光图像融合方法在图像融合领域取得了很好的效果。将图像经NSCT进行多尺度、多方向分解，会产生一个低频子带和多个高频方向子带。分别针对图像的低频系数和高频系数采用不同的融合规则进行融合，因此融合规则的选取对融合图像的质量影响也至关重要。

然而，传统的融合规则主要是低频部分针对像素点进行加权平均、高频部分绝对值取大，这虽然在一定程度上实现融合，但是融合图像会产生虚假轮廓。低频部分用图像的清晰部分去弥补图像的模糊部分，降低了图像的对比度，损失了清晰部分重要信息；高频部分绝对值取大，虽然能较好的提取图像的轮廓，但是也增强了非边缘信息。

为了克服这些缺陷，近年来国内外很多研究人员有针对性的对融合规则进行了相应的改进，力求寻找一种更有效的方式，即能消除图像融合中产生的虚影，又能较好的体现红外图像的目标指示性与微光图像的细节表现力。他们的研究主要集中在低频部分的改进或者高频部分的改进，主要方法一般为基于邻域特征、区域特征或者学习机制的寻优方式寻找最佳加权值。这类改进虽然能一定程度上对融合图像质量有所改善。但是，基于邻域特征的融合规则虽然考虑了单个像素点的灰度值，以及该像素邻域内各像素点之间的相关性，但会出现单个像素点参与融合而导致其代表的物理意义割裂的情况。而基于区域特征的融合将图像中每个像素都视作区域或边缘的一部分，并用区域量测指标来指导融合选取。这种方式有效克服了像素级融合存在的问题，但是它未考虑区域边缘像素点与外围之间的关联，在融合过程中，容易产生区域块效应。学习机制寻找最优加权值，虽然能达到很好的效果，但是它运算量大，而且参数的设置同样需要不同的尝试，这样不便于快速实施融合。

近几年的研究表明：将NSCT用于图像融合，能取得不错的效果，可以有效去除其他多尺度方法带来的混频现象，如Contourlet变换。融合规则的改进能进一步改善了图像融合的效果。而且，规则的选择对融合图像质量的影响至关重要。本发明在传统研究的基础上，结合了像素级融合与特征级融合的优点，提出了一种基于邻域特性区域化处理的红外与微光图像融合方法，该方法分别对低频部分与高频部分做了相应的处理，针对低频部分提出了一种基于邻域能量的区域化能量加权选择规则；高频部分两部分处理，最高尺度采用基于邻域方差区域化的方差取大，其余尺度采用一种邻域能量区域化的匹配系数选择方案。该方法有效消除了传统融合方法产生的虚假轮廓，而且更好的融入源图像的重要信息及边缘轮廓信息。

发明内容

本发明所要解决的技术问题是：针对现有技术的上述不足，提出了一种基于邻域特性区域化处理的NSCT域红外与微光图像融合方法。消除了传统融合方法产生的虚假轮廓现象，较好的结合了像素级融合与特征级融合的优点，有效克服了像素级产生的模糊效应、对噪声敏感效应以及特征级融合容易产生的块效应。本发明针对微光环境下的红外与微光图像融合能够取得较好的视觉效果，具有良好的目标指示性与细节表现力。

本发明提出的方法包括对低频部分和高频部分融合规则的改进。提出一种基于邻域特性区域化的NSCT域红外与微光图像融合方法，一种基于邻域特性区域化的NSCT域红外与微光图像融合方法，其特征在于，将源图像的红外图像与微光图像进行非下采样NSCT变换，得到不同尺度、方向子带系数；计算红外和微光图像邻域能量；针对低频子带中的像素点，根据相邻两个像素点特性能量矩阵，进行加权融合得到的低频子带系数；对图像邻域方差矩阵进行区域化处理，对特性方差取大选择高频子带系数；将低频子带系数和高频子带系数进行NSCT反变换，得到融合后的图像。

所述不同尺度、方向低频子带系数包括：微光图像低频子带系数C_VI(x,y)、微光图像高频第j层l方向下子带系数

、红外图像低频子带系数C_IR(x,y)、红外图像高频第j层l方向下子带系数

。所述得到的低频子带系数具体包括：选取以低频子带里的每个像素点为中心的8邻域，求解邻域能量；将相应邻域能量矩阵划分成若干大小相同、相互独立的方形子区域矩阵，计算所有方形子区域矩阵的平均能量值，作为每个区域的特性区域能量；对特性区域能量进行加权融合得到的低频子带系数。所述得到高频子带系数具体包括：采用邻域方差区域化的方差取大原则进行融合获得最高尺度方向子带；针对最高尺度方向子带，求解每个像素点的邻域方差，作为特性区域方差，选取较大特性区域方差；对于其余的方向子带，获取每个区域的特性区域能量，进行匹配度分子系数区域化处理得到匹配度系数；当匹配度系数小于设定阈值时，按照特性能量矩阵系数取大原则融合获取高频子带系数；当匹配度系数大于阈值时，采取加权计算系数融合获取高频子带系数。

根据公式： $E_I^{\′}(x,y)=\frac{1}{M\×N}\underset{m=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{n=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{C}_I^2(x+m,y+n)$ 计算以像素点(x,y)为中心的M×N邻域的红外和微光图像邻域能量，式中，C_I(x,y)表示图像I在像素点(x,y)处的低频分解系数，(x,y)表示像素点的坐标位置，M×N是(x,y)为中心的邻域区域长、宽大小，m表示像素点的横坐标移动位置，n表示像素点的纵坐标移动位置。根据图像I的第i个微光或第i个红外图像的邻域能量区域化后的能量特征值E_VI,i、E_IR,i根据公式：w_VI,i＝E_VI,i/(E_VI,i+E_IR,i)，w_IR,i＝E_IR,i/(E_VI,i+E_IR,i)计算微光图像、红外图像低频第i个子块基于邻域能量区域化的融合权值，根据融合权值w_VI,i和w_IR,i调用公式：

C_F,i(x,y)＝w_VI,i(x,y)C_VI,i(x,y)+w_IR,i(x,y)C_IR,i(x,y)计算第i个子块融合后得到的低频子带系数C_F,i(x,y)，其中，C_VI,i(x,y)、C_IR,i(x,y)分别为微光、红外图像第i个子块对应像素点(x,y)的像素点值的大小。当匹配度系数S_j,l(x,y)＜α，根据公式： $C_{j,l}^F(x,y)=\left\{\begin{array}{cc}{C}_{j,l}^{\mathrm{VI}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)\&GreaterEqual;E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\\ C_{j,l}^{\mathrm{IR}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)<E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\end{array}\right.$ 计算高频子带系数当S_j，l(x,y)≥α，根据公式：

$C_{j,l}^F(x,y)=\left\{\begin{array}{cc}{w}_{j,l}^{\left(1\right)}(x,y)C_{j,l}^{\mathrm{VI}}(x,y)+w_{j,l}^{\left(2\right)}(x,y)C_{j,l}^{\mathrm{IR}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)\&GreaterEqual;E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\\ w_{j,l}^{\left(2\right)}(x,y)C_{j,l}^{\mathrm{VI}}(x,y)+w_{j,l}^{\left(1\right)}(x,y)C_{j,l}^{\mathrm{IR}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)<E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\end{array}\right.$ 计算高频子带系数

本发明结合了传统的邻域特性与区域特性进行融合，充分考虑了单个像素点的邻域特性，也考虑了图像的区域特性及区域之间的特性。比传统和已有的基于邻域特性或区域特性融合的方法具有更好的视觉效果，本发明提供了一种高效率的红外与微光图像融合方法。

附图说明

图1 基于NSCT的图像融合框架；

图2 基于区域特征的子带系数融合过程；

图3 低频子带系数融合流程图；

图4 高频子带系数融合流程图。

具体实施方式

本发明中的图像融合方法是针对微光环境下的传统红外与微光图像在融合过程容易产生虚假轮廓这个问题提出的。其中，改进的低频部分的融合规则能较好的保留源图像的大部分信息，获得最优近似图像；高频部分的融合规则能较好的保留源图像的边缘轮廓信息，融合后图像具有更好的细节表现力，将低频部分与高频部分分别进行改进，从而得到最优的融合图像。

利用NSCT变换将红外与微光图像多尺度多方向分解，得到低频子带系数与高频子带系数。

1.采用改进的邻域能量选择加权融合规则对红外与微光图像的低频部分进行融合，有效的保留了两种源图像的重要信息，所述低频改进规则包括：

1.1邻域能量求解：针对低频子带系数里的每个像素点，以每个点为中心的8邻域，进行邻域能量求解，这样将每点与周围像素点关联起来，充分考虑了像素点的邻域相关性。

1.2邻域能量矩阵区域化：将得到的邻域能量进行大小一致的独立区域化处理，对每个区域取平均，代表该区域的特性区域能量。这样在邻域特性的基础上，充分考虑了区域特性，较好的将每个像素的邻域特性与图像的区域特性结合起来。

1.3特性区域能量加权融合：针对得到的两个区域特性能量矩阵，进行加权融合。

2.高频系数采用基于邻域能量区域化匹配的系数选择方案与邻域方差改进的区域方差取大融合规则，有效保留源图像的边缘信息，所述高频改进部分如下：

2.1最高尺度方向子带：采用邻域方差区域化的方差取大原则进行融合。

2.1.1邻域方差求解：针对最高尺度方向子带，求解每个像素点的邻域方差。

2.1.2邻域方差区域化：将得到的邻域能量进行大小一致的独立区域化处理，对每个区域进行求均值，每个独立区域会产生一个特征值，利用这个值代表每个区域的特性区域方差。

2.1.3特性区域方差取大：按照得到的特性区域方差取大原则，进行融合系数的选择。

2.2其余的方向子带：采用基于邻域能量区域化匹配的系数选择方案。

2.2.1邻域能量区域化：按照上述1.1和1.2中所述方法，求解每个区域的特性区域能量。

2.2.2匹配度分子系数区域化处理：将尺度、方向对应的子带系数的绝对值相乘，得到系数矩阵，先邻域化处理，后区域化处理，得到匹配度分子部分；

2.2.3匹配度系数：根据红外与微光图像分别求解得到的特性区域能量矩阵以及2.2.2部分得到的匹配度分子部分求解两幅图像的匹配度系数矩阵。

2.2.4阈值设定进行融合：根据实验效果设定阈值，当匹配度系数小于阈值时，按照特性能量矩阵系数取大进行融合；当匹配度系数大于阈值时，进行选择与加权相结合的系数融合规则。

最后，将融合后得到的低频子带系数与高频子带系数进行NSCT反变换，这样就能得到融合图像。

图像融合规则是图像融合的核心，规则的好坏直接影响到图像融合质量。本发明红外与微光图像融合方法的流程图如图1所示，其具体实施步骤如下：

1.将源图像红外与微光图像进行非下采样变换(NSCT变换），得到不同尺度、方向子带系数 $\{C_{\mathrm{VI}}(x,y),C_{j,l}^{\mathrm{VI}}(x,y)\},\{C_{\mathrm{IR}}(x,y),C_{j,l}^{\mathrm{IR}}(x,y)\}.$ 其中下标VI和IR分别表示微光与红外图像，C_VI(x,y)、

分别表示微光图像低频子带系数、高频第j层l方向下子带系数，C_IR(x,y)、分别表示红外图像低频子带系数、高频第j层l方向下子带系数。本发明基于邻域特性处理，再区域化处理，子带系数融合过程流程图如图2所示。

2.低频子带系数融合

低频子带包含图像的大部分能量信息，是源图像的近似图像，采用改进的邻域能量选择加权融合规则。其具体流程图如图3所示，实现步骤如下：

1)邻域能量计算。由公式(1)分别计算红外或微光图像邻域能量。

$E_I^{\&prime;}(x,y)=\frac{1}{M\&times;N}\underset{m=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\&Sigma;}}}{C}_I^2(x+m,y+n)---\left(1\right)$

其中，(x,y)表示像素点的位置，其中x为横坐标，y为纵坐标，C_I(x,y)表示图像I在(x,y)处的低频子带系数，m与n分别表示像素点的移动，通过像素点的移动实现周围邻域的表示，m表示横坐标移动，n表示纵坐标移动，M×N是(x,y)为中心的邻域区域大小，一般取3×3。E_I′(x,y)为图像I以像素点(x,y)为中心的M×N邻域的平均能量。通过这种方式就可以得到每一个点的邻域能量，构成了邻域能量矩阵，如果是微光图像脚标I为VI，如果是红外图像脚标I为IR。

2)邻域能量矩阵区域化。将相应邻域能量矩阵划分成若干大小为M×N相互独立的方形子区域对小块的取平均，代表相应区域每个点的能量值。将单个像素点的特性与相邻像素的相关性联系起来，更加有效抑制噪声点的干扰，减小系数的错误选择，保证图像良好的局部特性，融合效果得到提高。

$E_{I,i}=\frac{1}{M\&times;N}\underset{m=(M-1)/2}{\overset{(M+1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\&Sigma;}}}{E}_I^{\&prime;}(x,y)---\left(2\right)$

式(2)中，E_I,i为图像I的第i个子块进行邻域能量区域化后的能量特征值，根据微光或红外图像分别对应为微光或红外图像的邻域能量区域化后的能量特征值，即微光能量特征值E_VI,i或红外能量特征值E_IR,i。

3)加权系数求解。

w_VI,i＝E_VI,i/(E_VI,i+E_IR,i)   (3)

w_IR,i＝E_IR,i/(E_VI,i+E_IR,i)   (4)

式中，E_VI,i、E_IR,i分别为得到的图像I的第i个微光或第i个红外图像的邻域能量区域化后的能量特征值，根据E_VI,i与E_IR,i计算融合权值，w_VI,i和w_IR,i分别为微光图像和红外图像低频第i个子块基于邻域能量区域化的融合权值。

4)求解低频融合系数。

根据融合权值w_VI,i和w_IR,i调用公式：

C_F,i(x,y)＝w_VI,i(x,y)C_VI,i(x,y)+w_IR,i(x,y)C_IR,i(x,y)(5)

计算第i个子块融合后得到的低频系数C_F,i(x,y)，其中，w_VI,i和w_IR,i是微光图像和红外图像低频第i个子块基于邻域能量区域化的融合权值，C_VI,i(x,y)与C_IR,i(x,y)分别为微光与红外图像第i个子块对应点(x,y)的像素点值的大小。

3.高频子带系数融合

高频反映了图像的边缘或亮度突变特征，含有丰富的纹理特征和边缘等细节信息。本发明采用基于邻域能量上改进的区域化能量加权融合系数选择与邻域方差区域化的特征方差取大相结合的融合方法，具体流程图如图4所示，实现步骤如下：

3.1最高尺度采用基于邻域方差区域化的特征方差取大法：高频子带个数增加，在一定范围内突出图像边缘信息，但随着高频子带个数继续增加，非边缘信息也会加强。方差越大，说明区域内各像素的差别越大，该区域包含的信息越多，也就极有可能是图像目标的边缘或者是感兴趣的图像内容。

1)由式(6)计算均值，代入式(7)计算邻域方差。

$\stackrel{\&OverBar;}{C_{j,l}^I(x,y)}=\frac{1}{M\&times;N}\underset{m=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\&Sigma;}}}{C}_{j,l}^I(x+m,y+n)---\left(6\right)$

$D_{j,l}^I(x,y)=\frac{1}{M\&times;N}\underset{m=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\&Sigma;}}}{(C_{j,l}^I(x+m,y+n)-\stackrel{\&OverBar;}{C_{j,l}^I(x,y)})}^2---\left(7\right)$

其中，

表示点(x,y)第j层l方向下子带系数，其中图像I分别代表微光图像VI与红外图像IR，m与n分别表示像素点的移动，M×N是以(x,y)为中心的邻域区域大小，一般取3×3。

以(x,y)为中心的邻域均值,

以(x,y)为中心的邻域方差。

2)邻域方差矩阵进行区域化处理，分成(M*N)的互不重叠的分块。由式(8)对每小块进行求均值，

表示每一小块的特性方差。

$D_{j,l}^{I^{\&prime;}}=\frac{1}{M\&times;N}\underset{m=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\&Sigma;}}}{D}_{j,l}^I(x,y)---\left(8\right)$

3)最后由式(9)进行特性方差取大选择高频子带系数。

$C_{j,l}^F(x,y)=\left\{\begin{array}{cc}{C}_{j,l}^{\mathrm{VI}}(x,y),& D_{j,l}^{{\mathrm{VI}}^{\&prime;}}\&GreaterEqual;D_{j,l}^{{\mathrm{IR}}^{\&prime;}}\\ C_{j,l}^{\mathrm{IR}}(x,y),& D_{j,l}^{{\mathrm{VI}}^{\&prime;}}<D_{j,l}^{{\mathrm{IR}}^{\&prime;}}\end{array}\right.---\left(9\right)$

3.2其余尺度采用基于改进的邻域能量匹配的加权系数选择方法，实现步骤如下：

1)首先利用低频部分中邻域能量区域化处理的方法式(1)、(2)计算两幅图像相应的邻域能量区域化后的能量值

和

。

2)匹配度分子系数区域化处理。计算红外与微光图像对应的高频子带系数的绝对值之积（式（10）），将其邻域化处理（式(11)），再划分为大小为(M*N)的互不重叠的小块由式(12)取平均，代表每一区域的匹配度分子系数。

$P_{j,l}(x,y)=|C_{j,l}^{\mathrm{VI}}(x,y)\&times;C_{j,l}^{\mathrm{IR}}(x,y)|---\left(10\right)$

$Q_{j,l}(x,y)=\frac{1}{M\&times;N}\underset{m=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\&Sigma;}}}{P}_{j,l}(x,y)---\left(11\right)$

$Q_{j,l}^{\&prime;}(x,y)=\frac{1}{M\&times;N}\underset{m=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\&Sigma;}}}{Q}_{j,l}(x,y)---\left(12\right)$

3)计算两幅图像对应区域的匹配度系数S_j,l(x,y)：

$S_{j,l}(x,y)=\frac{2Q_{j,l}^{\&prime;}(x,y)}{E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)+E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)}\left(13\right)$

S_j,l(x,y)表示以(x,y)为中心的匹配度系数。

4)按照匹配度进行选择与加权融合。当两幅图像相关性较强时，采用加权平均的方法；当两幅图像的相关性较弱时候，就选取局部能量较大的系数。

即，当S_j,l(x,y)＜α，

$C_{i,l}^F(x,y)=\left\{\begin{array}{cc}{C}_{j,l}^{\mathrm{VI}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)\&GreaterEqual;E_{i,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\\ C_{j,l}^{\mathrm{IR}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)<E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\end{array}\right.---\left(14\right)$

当S_j,l(x,y)≥α

$C_{j,l}^F(x,y)=\left\{\begin{array}{cc}{w}_{j,l}^{\left(1\right)}(x,y)C_{j,l}^{\mathrm{VI}}(x,y)+w_{j,l}^{\left(2\right)}(x,y)C_{j,l}^{\mathrm{IR}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)\&GreaterEqual;E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\\ w_{j,l}^{\left(2\right)}(x,y)C_{j,l}^{\mathrm{VI}}(x,y)+w_{j,l}^{\left(1\right)}(x,y)C_{j,l}^{\mathrm{IR}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)<E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\end{array}\right.---\left(15\right)$

其中加权系数设置如下，匹配度阈值α取值最优一般为0.5～1;

$w_{j,l}^{\left(1\right)}=\frac{1}{2}+\frac{1}{2}\left[\frac{1-S_{j,l}(x,y)}{1-\mathrm{\&alpha;}}\right]---\left(16\right)$

$w_{j,l}^{\left(2\right)}(x,y)=1-w_{j,l}^{\left(1\right)}(x,y)---\left(17\right)$

式(14)与(15)为高频其余子带(除最高尺度以外)的判决条件，由S_j,l(x,y)与α进行判决得到高频其余子带系数，即

与由式(1)(2)得到，分别表示为微光图像VI与红外图像IR在(x,y)点的第j层l方向邻域能量区域化后的能量特征值。

与

分别表示微光图像VI与红外图像IR在第j层l方向的子带系数。式中

分别表示第j层l方向的不同加权系数，公式中上标(1)与(2)用来区分不同的权值。

最后，将得到的低频子带系数和高频子带系数进行NSCT反变换。得到的一系列系数分别乘以255，然后进行判定，像素点的值小于0即将该点的像素点取为0，大于255的像素点即取255，然后将每个像素点四舍五入，转化为0到255个像素级内，即得到融合后的图像。

综上所述，本发明首先采用邻域能量上改进的区域化能量加权融合规则对低频子带系数进行融合，有效保留了源图像的大部分信息；再采用基于邻域能量区域化匹配的系数选择方案与邻域方差改进的区域方差取大融合规则对高频子带系数进行融合，有效提取源图像的轮廓信息。从而通过分别对低频子带系数和高频子带系数进行融合，得到更好视觉效果图像。

以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。其可扩展应用为所有图像融合的应用领域，凡采用同等变化或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。本发明未详细阐述的部分属于本领域公知技术

Claims (7)

1.一种基于邻域特性区域化的NSCT域红外与微光图像融合方法，其特征在于，将源图像的红外图像与微光图像进行非下采样NSCT变换，得到不同尺度、方向子带系数；计算红外和微光图像邻域能量；针对低频子带中的像素点，根据相邻两个像素点特性能量矩阵，进行加权融合得到的低频子带系数；对图像邻域方差矩阵进行区域化处理，对特性方差取大选择高频子带系数；将低频子带系数和高频子带系数进行NSCT反变换，得到融合后的图像。

2.根据权利要求1所述方法，其特征在于，所述不同尺度、方向低频子带系数包括：微光图像低频子带系数C_VI(x,y)、微光图像高频第j层l方向下子带系数

红外图像低频子带系数C_IR(x,y)、红外图像高频第j层l方向下子带系数。

3.根据权利要求1所述方法，其特征在于，所述得到的低频子带系数具体包括：选取以低频子带里的每个像素点为中心的8邻域，求解邻域能量；将相应邻域能量矩阵划分成若干大小相同、相互独立的方形子区域矩阵，计算所有方形子区域矩阵的平均能量值，作为每个区域的特性区域能量；对特性区域能量进行加权融合得到的低频子带系数。

4.根据权利要求1所述方法，其特征在于，所述得到高频子带系数具体包括：采用邻域方差区域化的方差取大原则进行融合获得最高尺度方向子带；针对最高尺度方向子带，求解每个像素点的邻域方差，作为特性区域方差，选取最大特性区域方差；对于其余的方向子带的，获取每个区域的特性区域能量，进行匹配度分子系数区域化处理得到匹配度系数；当匹配度系数小于设定阈值时，按照特性能量矩阵系数取大原则融合获取高频子带系数；当匹配度系数大于阈值时，采取加权计算系数融合获取高频子带系数。

5.根据权利要求1或3所述的方法，其特征在于，根据公式： $E_I^{\&prime;}(x,y)=\frac{1}{M\&times;N}\underset{m=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\&Sigma;}}}{C}_I^2(x+m,y+n)$ 计算以像素点(x,y)为中心的M×N邻域的红外和微光图像邻域能量，式中，C_I(x,y)表示图像I在像素点(x,y)处的低频分解系数，(x,y)表示像素点的坐标位置，M×N是(x,y)为中心的邻域区域大小，m表示像素点的横坐标移动位置，n表示像素点的纵坐标移动位置。

6.根据权利要求1或3所述的方法，其特征在于，根据图像I的第i个微光或第i个红外图像的邻域能量区域化后的能量特征值E_VI,i、E_IR,i根据公式：w_VI,i＝E_VI,i/(E_VI,i+E_IR,i)，w_IR,i＝E_IR,i/(E_VI,i+E_IR,i)计算微光图像、红外图像低频第i个子块基于邻域能量区域化的融合权值，根据融合权值w_VI,i和w_IR,i调用公式：C_F,i(x,y)＝w_VI,i(x,y)C_VI,i(x,y)+w_IR,i(x,y)C_IR,i(x,y)计算第i个子块融合后得到的低频子带系数C_F,i(x,y)，其中，C_VI,i(x,y)、C_IR,i(x,y)分别为微光、红外图像第i个子块对应像素点(x,y)的像素点值的大小。

7.根据权利要求1或4所述的方法，其特征在于，当S_j,l(x,y)＜α，根据公式： $C_{j,l}^F(x,y)=\left\{\begin{array}{cc}{C}_{j,l}^{\mathrm{VI}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)\&GreaterEqual;E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\\ C_{j,l}^{\mathrm{IR}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)<E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\end{array}\right.$ 计算高频子带系数

；当S_j,_l(x,y)≥α，根据公式： $C_{j,l}^F(x,y)=\left\{\begin{array}{cc}{w}_{j,l}^{\left(1\right)}(x,y)C_{j,l}^{\mathrm{VI}}(x,y)+w_{j,l}^{\left(2\right)}(x,y)C_{j,l}^{\mathrm{IR}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)\&GreaterEqual;E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\\ w_{j,l}^{\left(2\right)}(x,y)C_{j,l}^{\mathrm{VI}}(x,y)+w_{j,l}^{\left(1\right)}(x,y)C_{j,l}^{\mathrm{IR}}(x,y),& E_{j,l}^{{\mathrm{VI}}^{\&prime;}}(x,y)<E_{j,l}^{{\mathrm{IR}}^{\&prime;}}(x,y)\end{array}\right.$ 计算高频子带系数

其中,

分别表示微光图像VI、红外图像IR在第j层l方向的子带系数，

分别表示为图像I在像素点(x,y)的邻域能量区域化后的能量特征值，S_j,l(x,y)表示以(x,y)为中心的匹配度系数，与分别表示第j层l方向的不同加权系数。

Images