CN100555325C - 一种基于非子采样轮廓波变换的图像融合方法 - Google Patents

Abstract

本发明提出一种基于非子采样轮廓波变换的图像融合方法，包括以下步骤：①使用非子采样轮廓波变换对图像进行多尺度分解，得到高频子图像系列和低频子图像；②对高频子图像，采用基于清晰度选择的融合方法进行融合；③对低频子图像，用可分割条件进行判断，根据判断结果选择采用四区域关联或者二区域关联方法对低频子图像分割，分割后的区域采用相应像素灰度值选择规则进行融合；④对高频子图像的融合结果与低频子图像的融合结果采用非子采样轮廓波逆变换，得到最终的融合结果。本发明可以有效保留源图像中的边缘信息，增大目标背景对比度，突出图像目标特征，融合结果适合进行视觉分析和目标检测等进一步的处理。

Description

一种基于非子采样轮廓波变换的图像融合方法

技术领域

本发明涉及图像融合领域，特别涉及一种基于非子采样轮廓波变换NSCT(Nonsubsampled Contourlet Transform)的图像融合方法。

背景技术

所谓图像融合是指综合两个或多个源图像的信息，以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。图像融合充分利用了多个待融合图像中包含的冗余信息和互补信息。该融合图像应更符合人或机器的视觉特性，以利于对图像的进一步分析、目标的检测、识别或跟踪。

图像融合由低到高也分为三个层次：像素级融合、特征级融合和决策级融合。像素级融合是在图像严格配准的条件下，直接进行像素关联融合处理。特征级融合是在像素级融合的基础上，使用模式相关、统计分析的方法进行目标识别、特征提取，并得到融合结果。决策级融合则是在上述两种处理的基础上，采用大型数据库和专家决策系统，模拟人的分析、推理过程，以增加判决的智能化和可靠性。从上面可以看出，像素级的图像融合，无论作为直接观察，还是作为进一步处理的输入，都是最基本的处理手段。因此，在图像融合研究中像素级图像融合是最活跃，同时研究成果也是最丰富的。本发明属于像素级图像融合，下面的讨论也围绕像素级图像融合展开。

常用的像素平均法和像素加权平均法等单尺度像素级融合算法，具有实现简单、计算量小的优点，但存在融合后图像对比度下降显著，细节模糊，信息损失大等缺点，不利于应用到目标识别中。基于多尺度分解的图像融合方法由于其融合过程是在不同尺度、不同空间分辨率、不同分解层上分别进行的，因此，与单尺度图像融合方法相比，基于多尺度分解的多分辨率图像融合方法可以获得明显改善的融合效果。

基于多尺度分解的融合方法主要从尺度分解方法和融合规则两方面开展研究。

(1)在多尺度分解方面，从拉普拉斯金字塔(参考Burt P.J.，Andelson E.H.The Laplacian pyramid as a compact image code.IEEE Trans.OnCommunication，Vol.31(4)：532-540，1983.)，比率低通金字塔(参考Toet A.，Image fusion by a ratio of low-pass pyramid，Pattern Recognition Letters，Vol.9，No.4，pp.245-253，1989)等发展到得已广泛应用的小波变换法(参考I.Daubechies，Ten Lectures on Wavelets.CBMSNSF Series in AppliedMathematics，SIAM Publications，Philadelphia，1992.)。小波变换虽然可以较好捕获边缘中的不连续点，却对轮廓上的平滑区域提取不理想，同时小波变换仅能提取有限的方向信息，无法应对多方向的边缘提取，小波重构时产生的吉伯斯现象也影响融合质量。最近提出的轮廓波变换ContourletTransform(参考文献Minh N.Do，Martin Vetterli.The Contourlet Transform：An Efficient Directional Multi-resolution Image Representation.IEEETransactions On Image Processing 2004)因其方向滤波器可以准确得到任意方向的边缘信息，而被引入到图像融合中，取得了优于小波融合法的结果。

(2)在融合规则方面，目前的方法大多是直接对像素进行处理，包括对单个像素或者窗口邻域内的像素。此类方法具有结构简单，易实现等特点，但是对于目标的描述往往不是单个像素或者单个窗口领域内的像素所能达到的，所以基于像素的融合方法对于突出目标具有一定的局限性。

发明内容

本发明的目的是提供一种基于非子采样轮廓波变换的图像融合方法，使融合结果既能保留原图像明显边缘特征，又能增大目标与背景的对比度，从而大大提高融合后的图像质量。

本发明按照以下步骤完成：

(1)将源图像A和B分别进行非子采样轮廓波变换，得到低频子图像Y₀ ^A，Y₀ ^B和一系列高频子图像Y_k ^A，Y_k ^B，k＝1，2，...，N，N为高频子图像的个数，由非子采样轮廓波变换中金字塔分解的级数和方向滤波分解的方向数决定；

(2)对一系列高频子图像Y_k ^A，Y_k ^B，k＝1，2，…，N和低频子图像Y₀ ^A，Y₀ ^B进行融合：

(a)按照以下步骤对一系列高频子图像Y_k ^A，Y_k ^B，k＝1，2，...，N进行融合：

(a1)将Y₁ ^A和Y₁ ^B对应，在Y₁ ^A选取一个窗口Ai，在Y₁ ^B选取一个窗口Bi，Ai与Bi表示大小相同的同一区域；

(a2)计算并比较Ai和Bi对应区域的图像平均梯度大小，选择平均梯度大的窗口对应区域图像作为融合后该区域的图像；

(a3)Ai和Bi采用单像素的移动速度，按照步骤(a2)的方式，逐行逐列遍历Y₁ ^A和Y₁ ^B，得到Y₁ ^A和Y₁ ^B的融合结果Y₁ ^F；

(a4)按照步骤(a1)-(a3)的方式，对Y₂ ^A和Y₂ ^B，Y₃ ^A和Y₃ ^B，...，Y_N ^A和Y_N ^B进行融合，得到系列高频子图像融合结果Y₂ ^F，Y₃ ^F，...，Y_N ^F；

(b)按照以下步骤对低频子图像进行融合：

在Y₀ ^A选取一个窗口Aj，在Y₀ ^B选取一个窗口Bj，Aj与Bj表示大小相同的同一区域，

(b1)将Aj对应的区域图像e_j，Bj对应的区域图像f_j的方差和梯度分别与预定的临界方差和临界梯度做比较，判断e_j，f_j是否满足可分割条件；

(b2)根据步骤(b1)的判断结果对e_j与f_j进行融合：

(I)若e_j和f_j均满足可分割条件：将e_j和f_j分别分割为两个区域，将分割后的e_j和f_j关联得到c_j，c_j包括四个区域，依照c_j的区域划分方式分别将e_j和f_j划分为相同的四个区域，分别用00、01、10、11表示，将e_j和f_j的区域对应，根据区域类型，选择像素灰度值大或者小的像素点作为融合后相应区域的相应像素点；

(II)若e_j和f_j中的一个满足可分割条件：设e_j满足可分割条件，f_j不满足可分割条件，将e_j分割为两个区域，f_j作为一个区域，将分割后的e_j与f_j关联，得到关联图像c_j，c_j包含两个区域，依照c_j的区域划分方式分别将e_j和f_j划分为两个区域，将e_j和f_j的区域对应，比较对应区域内对应像素点的像素灰度值大小，根据区域类型，选择像素灰度值大或者小的像素点作为融合后相应区域的相应像素点；

(III)若e_j和f_j均不满足：将Y₀ ^A与Y₀ ^B分别分割为两个区域，将分割后的Y₀ ^A与Y₀ ^B关联得到G，G包括四个区域，计算e_j，f_j的平均像素灰度值，将其分别与Y₀ ^A和Y₀ ^B的分割阈值比较，确定e_j，f_j属于G的哪一个区域类型，比较e_j，f_j对应像素点的像素灰度值大小，根据e_j，f_j的区域类型，选择像素灰度值大或者小的像素点作为融合后相应区域的相应像素点；

(b3)Aj和Bj采用单像素的移动速度，按照步骤(b2)的方式，逐行逐列遍历Y₀ ^A和Y₀ ^B，得到低频子图像融合结果Y₀ ^F。

(3)对Y₁ ^F，Y₂ ^F，Y₃ ^F，...，Y_N ^F与Y₀ ^F进行非子采样轮廓波逆变换，得到最终融合结果F。

所述步骤(b1)和(b2)具体如下：

(b1)判断e_j和f_j是否满足可分割条件：将e_j的方差Dev_a和梯度Grad_a分别与预定的临界方差Dev₀和临界梯度Grad₀做比较，若Dev_a＞Dev₀且Grad_a＞Grad₀，e_j满足可分割条件，否则，不满足；f_j的判断方式同e_j；

(b2)根据步骤(b1)的判断结果对e_j和f_j进行融合：

a)若e_j和f_j均满足可分割条件：将e_j和f_j分别分割为两个区域，将分割后的e_j和f_j关联得到c_j，c_j包括四个区域，依照c_j的区域划分方式分别将e_j和f_j划分为相同的四个区域，分别用00、01、10、11表示，将e_j和f_j的区域对应，比较对应区域内对应像素点的像素灰度值大小：

(I)对于00区域，采取像素灰度值选小规则；

(II)对于01、10和11区域，采取像素灰度值选大规则；

b)若e_j和f_j中的一个满足可分割条件：设e_j满足可分割条件，f_j不满足可分割条件，将e_j分割为两个区域，f_j作为一个区域，将分割后的e_j与f_j关联，得到关联图像c_j，c_j包含两个区域，依照c_j的区域划分方式分别将e_j和f_j划分为两个区域，分别用00，11表示，将e_j和f_j的区域对应，比较对应区域内对应像素点的像素灰度值大小：

(I)对于00区域，采取像素灰度值选小规则；

(II)对于11区域，采取像素灰度值选大规则；

c)若e_j和f_j均不满足：对Y₀ ^A与Y₀ ^B进行四区域关联，得到包含四个区域的关联图像G，计算e_j与f_j的平均像素灰度值M(e_j)，M(f_j)，将其分别与Y₀ ^A与Y₀ ^B的分割阈值thresh(A)、thresh(B)比较：

(I)如果M(e_j)＜thresh(A)，M(f_j)＜thresh(B)，则e_j，f_j属于G的00区域类型，比较Aj，Bj对应像素点的像素灰度值大小，采取像素灰度值选小规则；

(II)如果M(e_j)＜thresh(A)，M(f_j)＞thresh(B)，则e_j，f_j属于G的01区域类型，比较Aj，Bj对应像素点的像素灰度值大小，采取像素灰度值选大规则；

(III)如果M(e_j)＞thresh(A)，M(f_j)＜thresh(B)，则e_j，f_j属于G的10区域类型，比较Aj，Bj对应像素点的像素灰度值大小，采取像素灰度值选大规则；

(IV)如果M(e_j)＞thresh(A)，M(f_j)＞thresh(B)，则e_j，f_j属于G的11区域类型，比较e_j，f_j对应像素点的像素灰度值大小，采取像素灰度值选大规则。

本发明的有益效果：在多尺度分解方面，本发明采用非子采样轮廓波变换NSCT对图像进行多尺度分解；在融合规则方面，高频子图像部分基于清晰度的融合方法，有效提取特征明显的边缘，低频子图像部分采取基于局部区域分割的融合方法，有效突出目标与背景的对比度。两种方法的叠加可以得到边缘信息与目标光谱信息俱佳的融合结果。

附图说明

图1为本发明的流程示意图；

图2为非子采样轮廓波变换图像分解的一个例子，其中，图2(a)为原图像，图2(b)为低频子图像，图2(c)-图2(q)为系列高频子图像；

图3为高频子图像基于清晰度的融合方法示意图；

图4为低频子图像基于区域对比度增强的融合方法示意图；

图5为图像分割四区域关联示意图；

图6为图像分割二区域关联示意图；

图7为本发明图像融合的两个例子，其中，图7(a)为可见光图像，图7(b)为红外图像，图7(c)为采用本发明的融合结果，图7(d)为采用像素平均融合法的融合结果，图7(e)为采用塔形变换融合法的融合结果，图7(f)为采用小波融合法的结果；

图8为非子采样轮廓波变换(NSCT)的结构示意图，其中，图8(a)为非子采样滤波器组，图8(b)为图像频率分割结果；

图9为非子采样金字塔(NSP)分解图像示意图，其中图9(a)为金字塔分解结构，图9(b)为图像频率分割结果；

图10为非子采样金字塔分解图像的一个例子，其中，图10(a)为原图，图10(b)为低频子图像，图10(c)为高频子图像；

图11为非子采样方向滤波器(NSDFB)分解图像示意图，其中，图11(a)为方向滤波器结构，图11(b)为图像频率分割结果；

图12为非子采样方向滤波器(NSDFB)分解图像的一个例子，其中，图12(a)为原图，图12(b)为方向滤波结果；

具体实施方式

本发明使用非子采样轮廓波变换NSCT(Nonsubsampled ContourletTransform)对图像进行多尺度分解，然后在不同的频段上进行不同的融合操作，处理流程如图1所示：

(1)源图像A，B分别经非子采样轮廓波变换，分解为低频子图像Y₀ ^A，Y₀ ^B和一系列高频子图像Y_k ^A，Y_k ^B，k＝1，2，...，N，其中，N为高频子图像的个数。

高频部分代表图像的细节分量，包含源图像的边缘细节信息，高频子图像的个数N，由非子采样轮廓波变换中金字塔分解的级数和方向滤波分解的方向数决定；低频部分代表图像的近似分量，包含源图像的光谱信息。非子采样轮廓波变换(NSCT)在结构上分为非子采样金字塔NSP(Nonsubsampled Pyramid)和非子采样方向滤波器NSDFB(NonsubsampledDirectional Filter Bank)两部分，我们在稍后详细介绍。本发明中，金字塔分解层数可设为3到6层，对应于第i层的方向滤波个数为2^i-1。例如，金字塔分解层数设为4层，第一层到第四层的方向滤波个数依次为1、2、4、8。综合考虑效果和效率，层数设为4层最佳。图2为本发明分解层数为4时使用非子采样轮廓波变换(NSCT)分解图像的一个例子。

(2)对高频子图像Y_k ^A，Y_k ^B，k＝1，2，...，N，提出一种基于清晰度选择的融合方法，示意图见图3。清晰度，即平均梯度

反映了图像的清晰程度，同时还反映出图像中的细节反差和纹理变换特征，表达式如下：

$\▿\stackrel{\‾}{G}=\frac{1}{N}\mathrm{\Σ\Σ}{(\mathrm{\Δxf}{(i,j)}^2+\mathrm{\Δyf}{(i,j)}^2)}^{\frac{1}{2}}$

其中N为总像素个数，Δxf(i，j)，Δyf(i，j)分别在横坐标，纵坐标方向上的一阶差分，(i，j)为第i行，第j列的像素点。

将Y₁ ^A和Y₁ ^B一一对应，在Y₁ ^A选取一个窗口Ai，在Y₁ ^B选取一个窗口Bi，Ai与Bi表示大小相同的同一区域。计算Ai与Bi对应区域图像的平均梯度

选择平均梯度大的窗口图像区域作为融合后相应图像区域，用Fi表示：

Ai与Bi在原图像上逐行逐列遍历Y₁ ^A与Y₁ ^B，按照基于清晰度选择的融合方法，得到高频子图像融合结果Y₁ ^F。需要注意的是，为了避免使融合结果产生明显的分块效果，窗口在原图像上采取单像素的平移速度；高频部分中的系数有正有负，所以在计算中取绝对值。

按照Y₁ ^A与Y₁ ^B融合的方式，对Y₂ ^A和Y₂ ^B，Y₃ ^A和Y₃ ^B，...，Y_N ^A和Y_N ^B进行融合，得到高频子图像融合结果Y₂ ^F，Y₃ ^F，...，Y_N ^F；

本发明中，窗口大小一般为5*5-10*10，具体依图像大小而定。

(3)图像的低频部分Y₀ ^A、Y₀ ^B可以看作源图像降低分辨率的结果，包含源图像的灰度光谱信息。要增强目标背景对比度使之有利于进一步分析，低频图像的融合至关重要。原有的基于单个像素的融合方法难以达到要求，本文提出一种基于区域对比度增强的融合方法，示意图见图4。图像经过分割可以将目标与背景分离，在目标区域与背景区域内部再实施不同的融合操作可以增大目标背景对比度，使得目标更加明显。

考虑对应低频图像中表示同一区域的两个等大的窗口，提出相关概念如下：

(A)可分割条件窗口内图像内只有目标与背景间有明显界限才可以分割，否则认为图像是目标或者背景的内部区域不可分割。这里提出临界方差Dev₀和临界梯度Grad₀的指标，对于窗口图像a来说：

(B)四区域关联如果两个窗口图像a、b均满足可分割条件，将其分别分割，a，b分别被分割为两个区域，分别用0，1表示。然后将分割后的a，b关联得到c，c包括四个区域，分别用00、01、10、11表示。如图5所示，其中黑色区域为00，白色区域为11，灰色区域为01和10。

(C)二区域关联如果两个窗口图像a和b之间的一个满足可分割条件，另一个不满足，假设a满足而b不满足，将a分割为两个区域，分别用0，1表示，而b不分割，则关联图像c与图像a分割后结果相同，如图6所示，图中黑色区域为00，白色区域为11，与四区域关联相比没有灰色区域。

本发明中的分割方法，使用文献N.Otsu.A Threshold Selection Methodfrom Gray-Level Histograms[J].IEEE Transactions on Systems，Man，andCybernetics，Vol.9，No.1，1979，pp.62-66.中的大津灰度阈值分割法。这并不是说明该分割方法效果最好，也可以采用其它的二值分割方法。

设两幅低频子图像Y₀ ^A与Y₀ ^B的融合结果为Y₀ ^F，在Y₀ ^A选取一个窗口Aj，在Y₀ ^B选取一个窗口Bj，Aj与Bj表示大小相同的同一区域。将Aj对应的区域图像e_j，Bj对应的区域图像f_j的方差和梯度分别与预定的临界方差和临界梯度做比较，判断e_j，f_j是否满足可分割条件。临界方差Dev₀和临界梯度Grad₀取值范围一般为10-30，具体视图像而定。

按照以下步骤对低频子图像进行融合。

(3.1)判断e_j，f_j是否满足可分割条件。

将e_j的方差Dev_a和梯度Grad_a分别与预定的临界方差Dev₀和临界梯度Grad₀做比较，若Dev_a＞Dev₀且Grad_a＞Grad₀，认为e_j满足可分割条件，否则不满足；f_j的方差Dev_b和梯度Grad_b分别与Dev₀和Grad₀做比较，若Dev_b＞Dev₀且Grad_b＞Grad₀，认为f_j满足可分割条件，否则不满足。

(3.2)根据步骤(3.1)的判断结果对e_j与f_j进行融合。

a)若e_j与f_j均满足可分割条件：对e_j与f_j采用四区域关联，得到包含四个区域的关联图像c_j，依照c_j的区域划分方式分别将e_j和f_j划分为四个区域，分别用00、01、10、11表示，将e_j和f_j的区域对应，比较区域内对应像素点的像素灰度值大小：

(I)对于00区域，采取像素灰度值选小规则；

(II)对于11区域，采取像素灰度值选大规则；

(III)对于01和10区域，采取像素灰度值选大规则；

b)若e_j和f_j中的一个满足可分割条件：对e_j和f_j采用二区域关联，得到包含两个区域的关联图像c_j，分别用00，11表示，依照c_j的区域划分方式分别将e_j和f_j划分为两个区域，将e_j和f_j的区域对应，比较区域内对应像素点的像素灰度值大小：

(I)对于00区域，采取像素灰度值选小规则；

(II)对于11区域，采取像素灰度值选大规则；

c)若e_j和f_j均不满足可分割条件：对Y₀ ^A与Y₀ ^B进行四区域关联，得到包含四个区域的关联图像G，计算e_j和f_j的平均像素灰度值M(e_j)，M(f_j)，将其分别与Y₀ ^A与Y₀ ^B的分割阈值thresh(A)、thresh(B)比较：

(I)如果M(e_j)＜thresh(A)，M(f_j)＜thresh(B)，则e_j和f_j在G的00区域，比较e_j和f_j对应像素点的像素灰度值大小，采取像素灰度值选小规则；

(II)如果M(e_j)＜thresh(A)，M(f_j)＞thresh(B)，则e_j和f_j在G的01区域，比较e_j和f_j对应像素点的像素灰度值大小，采取像素灰度值选大规则；

(III)如果M(e_j)＞thresh(A)，M(f_j)＜thresh(B)，则e_j和f_j在G的10区域，比较e_j和f_j对应像素点的像素灰度值大小，采取像素灰度值选大规则；

(IV)如果M(e_j)＞thresh(A)，M(f_j)＞thresh(B)，则e_j和f_j在G的11区域，比较e_j和f_j对应像素点的像素灰度值大小，采取像素灰度值选大规则。

上述采取像素灰度值选小规则，是指选择像素灰度值小的像素点作为融合后相应区域的相应像素点；采取像素灰度值选大规则，是指选择像素灰度值大的像素点作为融合后相应区域的相应像素点；

(3.3)e_j和f_j采用单像素的移动速度，按照步骤(3.2)的方式，逐行逐列遍历Y₀ ^A和Y₀ ^B，得到低频子图像融合结果Y₀ ^F。

本融合方法对于两幅图像中均较暗的区域采取像素灰度值选小，这有利于突出目标与背景的对比度；对于其他区域采取像素灰度值选大，有利于使融合图像综合所有的亮区域目标。

(4)对系列高频子图像的融合结果Y₁ ^F，Y₂ ^F，Y₃ ^F，...，Y_N ^F与低频子图像的融合结果Y₀ ^F，采用非子采样轮廓波逆变换，得到最终的融合结果。

图7给出本方法融合的一个例子。源图像是同一场景的可见光与红外图像，可以发现可见光图像具有丰富的细节信息如树木，栅栏，房屋边缘等，道路和植被间及房子和植被间的对比明显；红外图像中光谱信息丰富，具有明显的人形目标，却缺少前者的细节。观察结果发现，融合图像既保留了源图像中的细节信息，又突出了人形目标等与背景的对比度。选择像素平均融合法，塔形变换融合法和小波变换融合法作为对比。其中塔形变换融合法和小波融合法的融合步骤如下：首先对图像进行变换，然后在高频子图像融合采取像素绝对值选大规则，在低频子图像融合采取像素灰度值平均规则，最后应用逆变换得到融合结果。塔形变换采用拉普拉斯塔形变换，分解层数为4层；小波变换采用哈尔(Haar)小波，小波分解层数为3层。

表1给出了图7的评价指标对比，选取熵衡量图像信息量，平均梯度衡量图像细节信息，标准方差衡量图像对比度。观察发现融合结果的熵、平均梯度和标准方差与其他的融合结果相比都有较大提高，所以本融合法可以有效提取源图像的边缘信息并提高图像的对比度，突出目标。

表1(黑体表示本行最佳)

	(c)	(d)	(e)	(f)
					熵	7.0245	6.2007	6.3526	6.2455
平均梯度	53.5528	30.6962	33.2598	32.3673
					标准方差	34.1616	22.3824	23.5878	22.7503

本发明所依据的非子采样轮廓波变换原理如下：

非子采样轮廓波变换将多分辨分析与多方向分析分开进行，在结构上可以分为非子采样金字塔分解和非子采样方向滤波两部分。图8显示了变换的结构示意图。图像首先经过非子采样金字塔滤波器分解为一个高频图像金字塔序列和一幅低频图像，然后对金字塔序列的各个高频图像分别采用非子采样方向滤波，得到多组方向滤波图像序列。

(1)非子采样金字塔NSP(Nonsubsampled Pyramid)

NSP类似于拉氏金字塔，对图像进行多级分解。图像经过第一级滤波得到一幅低频图像和一幅高频图像，以后的多级滤波在低频图像上迭代进行。下一级频率分解的滤波器由上一级滤波器升采样得到，这就在完成多级分解的同时避免了新滤波器的设计。NSP可以看成拉氏金字塔去掉降采样和升采样过程，并将相应的滤波器升采样处理得到。非子采样保证了NSP的平移不变性。图9为3级分解的NSP结构示意图，其中H₀(z)为低通滤波器，H₁(z)为高通滤波器。图10为NSP分解的一个例子。

(2)非子采样方向滤波器NSDFB(Nonsubsampled Directional FilterBank)

文献R.H.Bamberger，M.J.Smith，A filter bank for the directionaldecomposition of images：Teory and design，IEEE Trans.Signal Process.Vol.40，No.4，Apr.1992中提出的方向滤波器组DFB(Directional Filter Bank)由双通道扇形滤波器组和重采样操作构成，滤波结果为将不同方向性的边缘分解到各层中。类似非子采样金字塔NSP的构造，非子采样方向滤波器NSDFB通过去除方向滤波器组DFB的降采样和升采样，并将相应的方向滤波器升采样得到。非子采样同样保证了NSDFB的平移不变性。图11是一个方向滤波器结构示意图，其中整个非子采样方向滤波器组的树型结构是由基本的扇形滤波器U₀(z)升采样得到的，U₀(z^Q)为U₀(z)升采样得到。图12为方向滤波器分解的一个例子。

金字塔滤波器和方向滤波器的非子采样保证了非子采样轮廓波NSCT变换的平移不变性。与小波变换相比，NSCT具有任意角度的方向性，更能“捕捉”图像中“沿”边缘信息，比小波对图像几何特征的表达能力更强。

Claims (2)

1.一种基于非子采样轮廓波变换的图像融合方法，包括以下步骤：

(1)将源图像A和B分别进行非子采样轮廓波变换，得到低频子图像Y₀ ^A，Y₀ ^B和一系列高频子图像Y_k ^A，Y_k ^B，k＝1，2，…，N，N为高频子图像的个数，由非子采样轮廓波变换中金字塔分解的级数和方向滤波分解的方向数决定；

(2)对一系列高频子图像Y_k ^A，Y_k ^B，k＝1，2，…，N和低频子图像Y₀ ^A，Y₀ ^B进行融合：

(a)按照以下步骤对一系列高频子图像Y_k ^A，y_k ^B，k＝1，2，…，N进行融合：

(a1)将Y₁ ^A和Y₁ ^B对应，在Y₁ ^A选取一个窗口Ai，在Y₁ ^B选取一个窗口Bi，Ai与Bi表示大小相同的同一区域；

(a2)计算并比较Ai和Bi对应区域的图像平均梯度大小，选择平均梯度大的窗口对应区域图像作为融合后该区域的图像；

(a3)Ai和Bi采用单像素的移动速度，按照步骤(a2)的方式，逐行逐列遍历Y₁ ^A和Y₁ ^B，得到Y₁ ^A和T₁ ^B的融合结果Y₁ ^F；

(a4)按照步骤(a1)-(a3)的方式，对Y₂ ^A和Y₂ ^B，Y₃ ^A和Y₃ ^B，…，Y_N ^A和Y_N ^B进行融合，得到系列高频子图像融合结果Y₂ ^F，Y₃ ^F，…，Y_N ^F；

(b)按照以下步骤对低频子图像进行融合：

在Y₀ ^A选取一个窗口Aj，在Y₀ ^B选取一个窗口Bj，Aj与Bj表示大小相同的同一区域，

(b1)设Aj对应的区域图像为e_j，Bj对应的区域图像为f_j，将e_j和f_j的方差与梯度分别与预定的临界方差和临界梯度做比较，判断e_j，f_j是否满足可分割条件；

(b2)根据步骤(b1)的判断结果对e_j与f_j进行融合：

(I)若e_j和f_j均满足可分割条件：将e_j和f_j分别分割为两个区域，将分割后的e_j和f_j关联得到c_j，c_j包括四个区域，依照c_j的区域划分方式分别将e_j和f_j划分为相同的四个区域，分别用00、01、10、11表示，将e_j和f_j的区域对应，根据区域类型，选择像素灰度值大或者小的像素点作为融合后相应区域的相应像素点；

(II)若e_j和f_j中的一个满足可分割条件：设e_j满足可分割条件，f_j不满足可分割条件，将e_j分割为两个区域，f_j作为一个区域，将分割后的e_j与f_j关联，得到关联图像c_j，c_j包含两个区域，依照c_j的区域划分方式分别将e_j和f_j划分为两个区域，将e_j和f_j的区域对应，比较对应区域内对应像素点的像素灰度值大小，根据区域类型，选择像素灰度值大或者小的像素点作为融合后相应区域的相应像素点；

(III)若e_j和f_j均不满足：将Y₀ ^A与Y₀ ^B分别分割为两个区域，将分割后的Y₀ ^A与Y₀ ^B关联得到G，G包括四个区域，计算e_j，f_j的平均像素灰度值，将其分别与Y₀ ^A和Y₀ ^B的分割阈值比较，确定e_j，f_j属于G的哪一个区域类型，比较e_j，f_j对应像素点的像素灰度值大小，根据e_j，f_j的区域类型，选择像素灰度值大或者小的像素点作为融合后相应区域的相应像素点；

(b3)Aj和Bj采用单像素的移动速度，按照步骤(b2)的方式，逐行逐列遍历Y₀ ^A和Y₀ ^B，得到低频子图像融合结果Y₀ ^F；

(3)对Y₁ ^F，Y₂ ^F，Y₃ ^F，…，Y_N ^F与Y₀ ^F进行非子采样轮廓波逆变换，得到最终融合结果F。

2.根据权利要求1所述的一种基于非子采样轮廓波变换的图像融合方法，其特征在于，所述步骤(b1)和(b2)具体如下：

(b1)判断e_j和f_j是否满足可分割条件：将e_j的方差Dev_a和梯度Grad_a分别与预定的临界方差Dev₀和临界梯度Grad₀做比较，若Dev_a＞Dev₀且Grad_a＞Grad₀，e_j满足可分割条件，否则，不满足；f_j的判断方式同e_j；

(b2)根据步骤(b1)的判断结果对e_j和f_j进行融合：

b21)若e_j和f_j均满足可分割条件：将e_j和f_j分别分割为两个区域，将分割后的e_j和f_j关联得到c_j，c_j包括四个区域，依照c_j的区域划分方式分别将e_j和f_j划分为相同的四个区域，分别用00、01、10、11表示，将e_j和f_j的区域对应，比较对应区域内对应像素点的像素灰度值大小：

(i)对于00区域，采取像素灰度值选小规则；

(ii)对于01、10和11区域，采取像素灰度值选大规则；

b22)若e_j和f_j中的一个满足可分割条件：设e_j满足可分割条件，f_j不满足可分割条件，将e_j分割为两个区域，f_j作为一个区域，将分割后的e_j与f_j关联，得到关联图像c_j，c_j包含两个区域，依照c_j的区域划分方式分别将e_j和f_j划分为两个区域，分别用00，11表示，将e_j和f_j的区域对应，比较对应区域内对应像素点的像素灰度值大小：

(i)对于00区域，采取像素灰度值选小规则；

(ii)对于11区域，采取像素灰度值选大规则；

b23)若e_j和f_j均不满足：对Y₀ ^A与Y_0B进行四区域关联，得到包含四个区域的关联图像G，计算e_j与f_j的平均像素灰度值M(e_j)，M(f_j)，将其分别与Y₀ ^A与Y₀ ^N的分割阈值thresh(A)、thresh(B)比较：

(i)如果M(e_j)＜thresh(A)，M(f_j)＜thresh(B)，则e_j，f_j属于G的00区域类型，比较Aj，Bj对应像素点的像素灰度值大小，采取像素灰度值选小规则；

(ii)如果M(e_j)＜thresh(A)，M(f_j)＞thresh(B)，则e_j，f_j属于G的01区域类型，比较Aj，Bj对应像素点的像素灰度值大小，采取像素灰度值选大规则；

(iii)如果M(e_j)＞thresh(A)，M(f_j))＜thresh(B)，则e_j，f_j属于G的10区域类型，比较Aj，Bj对应像素点的像素灰度值大小，采取像素灰度值选大规则；

(iv)如果M(e_j)＞thresh(A)，M(f_j)＞thresh(B)，则e_j，f_j属于G的11区域类型，比较e_j，f_j对应像素点的像素灰度值大小，采取像素灰度值选大规则。

Images