CN107194904B - 基于增补机制和pcnn的nsct域图像融合方法 - Google Patents
基于增补机制和pcnn的nsct域图像融合方法 Download PDFInfo
- Publication number
- CN107194904B CN107194904B CN201710322516.1A CN201710322516A CN107194904B CN 107194904 B CN107194904 B CN 107194904B CN 201710322516 A CN201710322516 A CN 201710322516A CN 107194904 B CN107194904 B CN 107194904B
- Authority
- CN
- China
- Prior art keywords
- image
- nsct
- coefficient
- fusion
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 29
- 230000007246 mechanism Effects 0.000 title claims abstract description 25
- 239000013589 supplement Substances 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000009466 transformation Effects 0.000 claims abstract description 40
- 230000000694 effects Effects 0.000 claims abstract description 12
- 210000002569 neuron Anatomy 0.000 claims description 41
- 238000002156 mixing Methods 0.000 claims description 23
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000010304 firing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 abstract description 12
- 230000007812 deficiency Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
本发明公开了一种基于增补机制和PCNN的NSCT域图像融合方法,用于解决现有NSCT域图像融合方法存在图像失真现象的技术问题。技术方案是采用增补的小波变换对NSCT分解的低频子带进行融合处理,以便尽可能多的保留图像背景的细节信息;利用改进的高斯加权SML的方法进行融合来增强图像细节;利用边缘梯度信息激励PCNN的方法进行融合来增强图像边缘信息;实验证明本发明方法与现有的图像融合方法相比具有更好的融合效果,在对克服图像的纹理细节缺失、失真不足的同时,目标显著性得到很大的提高,进一步提高了图像质量。
Description
技术领域
本发明涉及一种NSCT域图像融合方法,特别涉及一种基于增补机制和PCNN的NSCT域图像融合方法。
背景技术
由于成像机理和技术限制,单一成像传感器获取的图像并不能反映被观测对象的所有特征,因此需要对不同传感器图像中的有用信息进行提取,并融合成一副具备更完整信息,并有助于人类观察和处理的图像。
图像融合技术可以综合两种不同类型图像的互补信息,它不是简单地对不同类型图像进行叠加处理,通过融合得到的图像具备两种图像各自的优点,克服了单一传感器在应用环境、使用范围以及特定目标获取上存在的局限性,同时还能够提高图像的空间分辨率和清晰度,便于图像的理解和识别,有效地提高图像数据的利用率。图像融合技术不仅能够去除多传感器图像数据间的冗余信息,减少传输量,减轻观察者的观测压力,还能够获得关于同一场景或目标全面而精确的地理空间信息,因此在军事或民用领域的应用中,图像融合具有非常重要的研究价值。
近年来,针对图像的融合,已经有大量的图像融合算法被相继提出,其中基于多尺度分析的图像融合算法从多尺度金字塔变换开始,经由小波变换,Ridgelet变换,Curvelet变换等一系列算法发展,已取得了良好的融合效果。2006年,Minh.N.Do等人提出非下采样轮廓波变换(NonsubSampled Contourlet,NSCT),NSCT是在Contourlet变换的基础上引入非下采样思想,保证了分解过程中的平移不变性,解决了传统算法在图像分解时的信号频谱混叠问题,获得了渐进最优的图像分析结果。在此基础上,国内外学者们相继提出了不少行之有效的新算法,但大多数融合图像纹理细节缺失、失真和目标显著性等问题难点仍然没有得到完全解决。
文献“基于补偿机制的NSCT域红外与可见光图像融合,仪器仪表学报,2016,37(4):861-870”公开了一种基于补偿机制的NSCT域红外与可见光图像融合方法,该方法采用NSCT变换对红外与可见光图像分别进行分解,得到低频子带和高频子带,对低频子带进行小波变换,利用合适的融合规则对对小波变换的子带进行融合,将其变换得到的子带重构作为NSCT重构的低频子带,接着将NSCT变换的高频子带的最高层利用绝对值取大方法,其它层利用PCNN方法进行融合,然后将得到的低频子带和高频子带进行NSCT重构获得融合后的图像。文献所述方法得到融合后图像对比度较低,可将光图像的背景细节信息丢失,无法体现源图像的纹理信息,并且融合图像部分区域存在一定的扭曲与失真现象。
发明内容
为了克服现有NSCT域图像融合方法存在图像失真现象的不足,本发明提供一种基于增补机制和PCNN的NSCT域图像融合方法。该方法采用增补的小波变换对NSCT分解的低频子带进行融合处理,以便尽可能多的保留图像背景的细节信息;利用改进的高斯加权SML的方法进行融合来增强图像细节;利用边缘梯度信息激励PCNN的方法进行融合来增强图像边缘信息;实验证明本发明方法与现有的图像融合方法相比具有更好的融合效果,在对克服图像的纹理细节缺失、失真不足的同时,目标显著性得到很大的提高,进一步提高了图像质量。
本发明解决其技术问题所采用的技术方案:一种基于增补机制和PCNN的NSCT域图像融合方法,其特点是包括以下步骤:
步骤一、对已配准的待融合图像A和B分别进行NSCT分解,得到各自的NSCT系数和其中为A图像第j尺度下第k个方向的NSCT高频子带系数,LA为A图像的NSCT低频系数,为B图像第j尺度下第k个方向的NSCT高频子带系数,LB为B图像的NSCT低频系数,j表示NSCT分解尺度,j=1,2,Λ,J,其中J为最大分解尺度,k表示分解尺度j下的分解方向数,满足k=2j。
步骤二、按融合规则对步骤一得到的图像A和B各自的NSCT系数和进行融合,得到融合后的NSCT系数,融合规则为:
a.NSCT低频子带系数融合策略。
对NSCT分解的低频子带进行增补机制的小波变换分解的低频部分采用局部加权区域能量进行融合。计算以像素点(i,j)为中心,大小为3×3窗口区域局部加权能量定义如下式:
式中SL(i,j)表示低频图像点(i,j)的灰度,ωL(x,y)为局部区域窗口,表示卷积,L表示待融合图像,步骤一中A=VI,B=IR,VI是可见光图像,IR是红外图像。图像中的目标物体在红外图像中的局部邻域能量比其在可见光图像中的局部邻域能量大,低频子带融合规则如下式所示:
式中,
式中,分别是第l层第k个方向对应低频子带融合系数、红外图像和可见光图像的低频子带系数,分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量,分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量的平均值。ω1为权重系数,为图像信息熵,M为图像总的灰度级数,pi=mi/m为图像中像素灰度值为i的概率,k1,k2为图像权重系数,取k1=5,k2=1.6。
由于拉普拉斯分量绝对和SML能够较好的反映图像边缘、纹理等细节信息并且能表示图像的锐化度和清晰度,利用改进的高斯加权SML对增补小波变换分解后的三个方向子带系数分别进行融合。
设经过二维小波变换分解后第l层第k个方向的方向子带系数为Hl,k,SML定义如下:
MLl,k(i,j)=-Hl,k(i-1,j-1)-4Hl,k(i-1,j)-Hl,k(i-1,j+1)
-4Hl,k(i,j-1)+20Hl,k(i,j)-4Hl,k(i,j+1)
-Hl,k(i+1,j-1)-4Hl,k(i+1,j)-Hl,k(i+1,j+1) (8)
式中采用3×3窗口,采用式(7)计算的SML认为窗口内所有点对SML的贡献一致,无法突出中心的的重要性。采用高斯函数对ML加权求和,高斯函数满足强调中心像素以及距离中心像素越近的像素权值越大的要求,归一化后权值之和为1。高斯函数计算公式如下式所示:
其中σ表示方差。
改进的高斯加权SML如下所示:
其中,权值函数是按式(9)取值,表示卷积。
引入图像区域锐化度比率,定义如下:
其中,
式中:j=VI,IR,m×n表示图像的区域大小,RRSVI,IR表示待融合图像VI和IR的区域锐化度比率,MEANj表示图像的均值,STDj表示图像的方差。
结合不同谱段源图像的方向子带细节信息,利用加权组合的方式融合方向子带系数。设源图像的方向子带系数为则融合后的系数为及权值分别如式(14)、式(15)
b.NSCT高频子带系数融合策略。
对NSCT高频子带最高层融合:
在图像最高层尺度N上采用改进的高斯加权SML。
对NSCT高频子带其它层融合:
对NSCT高频子带其它层采用改进的脉冲神经网络PCNN的图像融合规则。设改进的PCNN的迭代次数为N,随着迭代次数的增加,各PCNN中外部刺激输入较大的神经元点火次数将会明显增加。完成N次迭代后统计各NSCT变换分解子图像每个像素的点火次数,根据点火次数的大小来选择融合图像系数,然后经过NSCT逆变换得到融合图像。而人眼对边缘信息更敏感,边缘梯度信息能更好地代表图像特征。边缘梯度信息为
式中,D是以位置(i,j)为中心的周围邻域窗为3×3,对每个子带以滑动窗口为单位计算边缘梯度系数。C(i,j)是像素经过NSCT变换后对应点(i,j)的系数。
在PCNN中,其数学表达式如下:
Fij(n)=Sij (17)
Uij(n)=Fij(n)(1+βLij(n)) (19)
Tij=Tij(n-1)+Yij(n) (22)
式中:Fij表示第(i,j)个神经元的反馈输入,Lij表示第(i,j)个神经元的连接输入项,β为突触之间的连接强度,θij为第(i,j)个神经元的动态门限阈值,Uij为第(i,j)个神经元的内部活动项。Yij为第(i,j)个神经元的脉冲输出,Tij为迭代之后第(i,j)个神经元的点火总次数,Yij,pq为第(i,j)个神经元的邻域神经元(p,q)的脉冲输出,n为迭代次数,Sij为第(i,j)个神经元的外部输入刺激信号,Wij,pq为第(i,j)个神经元的连接矩阵中第p行q列元素,αL、αθ分别为连接输入衰减系数和阈值衰减系数,VL、Vθ分别为连接幅值和阈值幅值。
由式(17)~(22)得出,改进型PCNN模型有4个参数β、αθ、Vθ、W。其中W表示的是两个像素间距离平方的导数,神经元ij和神经元pq的连接权重为:
改进的PCNN图像融合过程如下:
[1].利用NSCT变换对红外和可见光图像进行分解,得到尺度N以外的其它层带通子带的系数和
[2].用式(16)计算边缘梯度信息,得到图像系数的边缘梯度信息特征系数和用和激励PCNN,根据式(17)~(22)流程分别得到点火次数矩阵和并采取以下融合规则对系数和进行融合处理。
步骤三、图像重构。
对融合图像的各子带系数进行NSCT逆变换,得到最终的融合图像。
本发明的有益效果是:该方法采用增补的小波变换对NSCT分解的低频子带进行融合处理,以便尽可能多的保留图像背景的细节信息;利用改进的高斯加权SML的方法进行融合来增强图像细节;利用边缘梯度信息激励PCNN的方法进行融合来增强图像边缘信息;实验证明本发明方法与现有的图像融合方法相比具有更好的融合效果,在对克服图像的纹理细节缺失、失真不足的同时,目标显著性得到很大的提高,进一步提高了图像质量。
下面结合附图和具体实施方式对本发明作详细说明。
附图说明
图1是本发明基于增补机制和PCNN的NSCT域图像融合方法的流程图。
图2是本发明方法构建的PCNN神经元模型图。
图3是本发明方法实施例中实验图像数据集图。
图4是红外光与可见光图像集融合后图像的对比图。
具体实施方式
参照图1-4。本发明基于增补机制和PCNN的NSCT域图像融合方法具体步骤如下:
用于实施的硬件环境是:实验环境为CPU Intel Core i5-5200U@2.20GHz,内存为4GB,采用MATLAB R2014a编程。本发明采用“UN Camp”图像集(320×240)、“Octec”图像集(640×480)、“Quad”图像集(256×256)和“Seascape”图像集(256×256)4组红外与可见光图像集。
步骤一:对已配准的待融合图像A和B分别进行NSCT分解,得到各自的NSCT系数和其中为A图像第j尺度下第k个方向的NSCT高频子带系数,LA为A图像的NSCT低频系数,为B图像第j尺度下第k个方向的NSCT高频子带系数,LB为B图像的NSCT低频系数,所述的j表示NSCT分解尺度,j=1,2,Λ,J,J为最大分解尺度,k表示分解尺度j下的分解方向数,满足k=2j。
步骤二:按融合规则对步骤1得到的图像A和B各自的NSCT系数和进行融合,得到融合后的NSCT系数。
融合规则为:
a.NSCT低频子带系数融合策略。
图像经NSCT分解后得到的低频子带是源图像的近似描述,包含了图像中的大部分能力特征。本发明采用基于增补小波的NSCT低频融合规则,在一定程度上能更好的表征图像的边缘纹理等细节信息。
对NSCT分解的低频子带进行增补机制的小波变换分解,得到1个低频子带和3个方向子带。对低频子带采用局部加权区域能量进行融合,对3个方向子带分别采用改进的高斯加权SML对三个方向子带系数进行融合,然后进行小波重构得到用于NSCT重构的低频子带。
对增补机制的小波变换分解的低频部分采用局部加权区域能量进行融合。计算以像素点(i,j)为中心,大小为3×3窗口区域局部加权能量定义如下式(1):
式中SL(i,j)表示低频图像点(i,j)的灰度,ωL(x,y)为局部区域窗口,表示卷积,L表示待融合图像,以红外和可见光为例,步骤1中A=VI,B=IR,VI是可见光图像,IR是红外图像。由于图像中的目标物体在红外图像中的局部邻域能量比其在可见光图像中的局部邻域能量大,因此为了更好地突显出红外图像中的目标物体与可见光图像中的背景信息,本发明的低频子带融合规则如下式所示:
式中:
式中:分别是第l层第k个方向对应低频子带融合系数、红外图像和可见光图像的低频子带系数,分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量,分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量的平均值。ω1为权重系数,为图像信息熵,M为图像总的灰度级数,pi=mi/m为图像中像素灰度值为i的概率,k1,k2为图像权重系数,为了突出融合后图像的质量效果,本发明中k1=5,k2=1.6。经过二维小波变换分解后的三个方向子带系数表示源图像的细节信息。
由于拉普拉斯分量绝对和SML能够较好的反映图像边缘、纹理等细节信息并且能表示图像的锐化度和清晰度,本发明采用改进的高斯加权SML对三个方向子带系数分别进行融合。
设经过二维小波变换分解后第l层第k个方向的方向子带系数为Hl,k,SML定义如下
采用3×3窗口,采用式(7)计算的SML认为窗口内所有点对SML的贡献一致,无法突出中心的的重要性。本发明采用高斯函数对ML加权求和,高斯函数满足强调中心像素以及距离中心像素越近的像素权值越大的要求,归一化后权值之和为1。高斯函数计算公式如下式所示:
其中σ表示方差。
改进的高斯加权SML如下所示:
其中,权值函数是按式(9)取值,表示卷积。
为了尽可能多的突出图像的细节信息和图像的清晰度,使融合后图像的质量效果达到最佳,本发明引入图像区域锐化度比率,定义如下:
其中:
式中:j=VI,IR,m×n表示图像的区域大小,RRSVI,IR表示待融合图像VI和IR的区域锐化度比率,MEANj表示图像的均值,STDj表示图像的方差。
结合不同谱段源图像的方向子带细节信息,本发明采用加权组合的方式融合方向子带系数。设源图像的方向子带系数为则融合后的系数为及权值分别如式(14)、(15)
b.NSCT高频子带系数融合策略
在NSCT分解所得的高频子带中,高频系数的值表示图像细节的变化情况,直接反映图像中边缘信息和纹理细节分布。为了更多的反映图像边缘、纹理等细节信息表示的图像锐化度和清晰度,对NSCT分解所得的高频子带分为其它层和最高层融合。
对NSCT高频子带最高层融合。
在图像最高层尺度N上采用改进的高斯加权SML,这种方法与低频部分的小波变换分解的三个方向子带的融合方法相同,这里不再叙述。
对NSCT高频子带其它层融合
为了更好的提取待融合图像的细节等信息,提高融合图像的质量,本发明在除最高层N以外的其它层带通子带,采用改进的脉冲神经网络PCNN的图像融合规则。在改进的PCNN图像融合算法中,点火次数较大的神经元所对应的像素点对应于图像中的显著特征,因而可以根据神经元的点火次数来选择融合图像的NSCT系数。设PCNN的迭代次数为N,随着迭代次数的增加,各PCNN中外部刺激输入较大的神经元点火次数将会明显增加。完成N次迭代后统计各NSCT变换分解子图像每个像素的点火次数,根据点火次数的大小来选择融合图像系数,然后经过NSCT逆变换得到融合图像。而人眼对边缘信息更敏感,边缘梯度信息能更好地代表图像特征。边缘梯度信息为
式中,D是以位置(i,j)为中心的周围邻域窗为3×3,对每个子带以滑动窗口为单位计算边缘梯度系数。C(i,j)是像素经过NSCT变换后对应点(i,j)的系数。
在PCNN中,每个神经元均由接收部分、调制部分和脉冲产生部分3个部分组成,其数学表达式如下:
Fij(n)=Sij (17)
Uij(n)=Fij(n)(1+βLij(n)) (19)
Tij=Tij(n-1)+Yij(n) (22)
式中:Fij表示第(i,j)个神经元的反馈输入,Lij表示第(i,j)个神经元的连接输入项,β为突触之间的连接强度,θij为第(i,j)个神经元的动态门限阈值,Uij为第(i,j)个神经元的内部活动项。Yij为第(i,j)个神经元的脉冲输出,Tij为迭代之后第(i,j)个神经元的点火总次数,Yij,pq为第(i,j)个神经元的邻域神经元(p,q)的脉冲输出,n为迭代次数,Sij为第(i,j)个神经元的外部输入刺激信号,Wij,pq为第(i,j)个神经元的连接矩阵中第p行q列元素,αL、αθ分别为连接输入衰减系数和阈值衰减系数,VL、Vθ分别为连接幅值和阈值幅值。
由式(17)~(22)可以看出,改进型PCNN模型主要由4个参数β、αθ、Vθ、W。其中W表示的是两个像素间距离平方的导数,神经元ij和神经元pq的连接权重为:
改进的PCNN图像融合过程如下:
[1].利用NSCT变换对红外和可见光图像进行分解,得到尺度N以外的其它N-1层带通子带的系数和
[2].用式(16)计算边缘梯度信息,得到图像系数的边缘梯度信息特征系数和用和激励PCNN,根据式(17)~(22)流程分别得到点火次数矩阵和并采取以下融合规则对系数和进行融合处理。
步骤三:图像重构。
对融合图像的各子带系数进行NSCT逆变换从而得到最终的融合图像。
下面结合附图3和附图4对本发明的效果作进一步的描述。
附图3是4组红外与可见光图像集。其中附图3(a)是“UN Camp”图像集(320×240),附图3(b)是“Octec”图像集(640×480),附图3(c)是“Quad”图像集(256×256),附图3(d)是“Seascape”图像集(256×256)。
1.实验条件。
实验环境为CPU Intel Core i5-5200U@2.20GHz,内存为4GB,采用MATLAB R2014a编程。本发明采用“UN Camp”图像集(320×240)、“Octec”图像集(640×480)、“Quad”图像集(256×256)和“Seascape”图像集(256×256)4组红外与可见光图像集。
2.实验内容。
附图4是4组红外与可见光图像集融合后图像的对比图。
实验1,用本发明的方法和现有的四种融合方法对附图3中4组红外与可见光图像集进行融合实验,附图4(a)融合结果从左及右依次是,文章《一种基于小波变换的图像融合算法》,电子学报,2004,32(5):750-753.文章《Image fusion based on a new contourletpacket》,Information Fusion,2010,11(2):78-84.文章《High-quality fusion forvisible and infrared images based on the double NSCT》,IEEE 7th InternationalCongress on Image and Signal Processing,2014:223-227.文章《基于补偿机制的NSCT域红外与可见光图像融合》,仪器仪表学报,2016,37(4):861-870.和本发明的图像融合结果图。
从附图4(a)可得,本发明的融合方法与现有的四种融合方法相比,在灰度范围和整体亮度上与源图像较为匹配,视觉效果更高,目标和场景更清晰。文章《一种基于小波变换的图像融合算法》,电子学报,2004,32(5):750-753、文章《Image fusion based on anew contourlet packet》,Information Fusion,2010,11(2):78-84、文章《High-qualityfusion for visible and infrared images based on the double NSCT》,IEEE 7thInternational Congress on Image and Signal Processing,2014:223-227和文章《基于补偿机制的NSCT域红外与可见光图像融合》,仪器仪表学报,2016,37(4):861-870.的融合方法的融合结果和本发明方法相比对比度较低,可将光图像的背景细节信息丢失,无法体现源图像的纹理信息,并且融合图像部分区域存在一定的扭曲与失真现象。
实验2,用本发明的方法和现有的四种融合方法对附图3中4组红外与可见光图像集进行融合实验,附图4(b)融合结果从左及右依次是,文章《一种基于小波变换的图像融合算法》,电子学报,2004,32(5):750-753.文章《Image fusion based on a new contourletpacket》,Information Fusion,2010,11(2):78-84.文章《High-quality fusion forvisible and infrared images based on the double NSCT》,IEEE 7th InternationalCongress on Image and Signal Processing,2014:223-227.文章《基于补偿机制的NSCT域红外与可见光图像融合》,仪器仪表学报,2016,37(4):861-870.和本发明的图像融合结果图。
从附图4(b)可得,本发明的融合方法与现有的四种融合方法相比,在灰度范围和整体亮度上与源图像较为匹配,视觉效果更高,目标和场景更清晰。文章《一种基于小波变换的图像融合算法》,电子学报,2004,32(5):750-753、文章《Image fusion based on anew contourlet packet》,Information Fusion,2010,11(2):78-84、文章《High-qualityfusion for visible and infrared images based on the double NSCT》,IEEE 7thInternational Congress on Image and Signal Processing,2014:223-227和文章《基于补偿机制的NSCT域红外与可见光图像融合》,仪器仪表学报,2016,37(4):861-870.的融合方法的融合结果和本发明方法相比对比度较低,可将光图像的背景细节信息丢失,无法体现源图像的纹理信息,并且融合图像部分区域存在一定的扭曲与失真现象。
实验3,用本发明的方法和现有的四种融合方法对附图3中4组红外与可见光图像集进行融合实验,附图4(c)融合结果从左及右依次是,文章《一种基于小波变换的图像融合算法》,电子学报,2004,32(5):750-753.文章《Image fusion based on a new contourletpacket》,Information Fusion,2010,11(2):78-84.文章《High-quality fusion forvisible and infrared images based on the double NSCT》,IEEE 7th InternationalCongress on Image and Signal Processing,2014:223-227.文章《基于补偿机制的NSCT域红外与可见光图像融合》,仪器仪表学报,2016,37(4):861-870.和本发明的图像融合结果图。
从附图4(c)可得,本发明的融合方法与现有的四种融合方法相比,在灰度范围和整体亮度上与源图像较为匹配,视觉效果更高,目标和场景更清晰。文章《一种基于小波变换的图像融合算法》,电子学报,2004,32(5):750-753、文章《Image fusion based on anew contourlet packet》,Information Fusion,2010,11(2):78-84、文章《High-qualityfusion for visible and infrared images based on the double NSCT》,IEEE 7thInternational Congress on Image and Signal Processing,2014:223-227和文章《基于补偿机制的NSCT域红外与可见光图像融合》,仪器仪表学报,2016,37(4):861-870.的融合方法的融合结果和本发明方法相比对比度较低,可将光图像的背景细节信息丢失,无法体现源图像的纹理信息,并且融合图像部分区域存在一定的扭曲与失真现象。
实验4,用本发明的方法和现有的四种融合方法对附图3中4组红外与可见光图像集进行融合实验,附图4(d)融合结果从左及右依次是,文章《一种基于小波变换的图像融合算法》,电子学报,2004,32(5):750-753.文章《Image fusion based on a new contourletpacket》,Information Fusion,2010,11(2):78-84.文章《High-quality fusion forvisible and infrared images based on the double NSCT》,IEEE 7th InternationalCongress on Image and Signal Processing,2014:223-227.文章《基于补偿机制的NSCT域红外与可见光图像融合》,仪器仪表学报,2016,37(4):861-870.和本发明的图像融合结果图。
从附图4(d)可得,本发明的融合方法与现有的四种融合方法相比,在灰度范围和整体亮度上与源图像较为匹配,视觉效果更高,目标和场景更清晰。文章《一种基于小波变换的图像融合算法》,电子学报,2004,32(5):750-753、文章《Image fusion based on anew contourlet packet》,Information Fusion,2010,11(2):78-84、文章《High-qualityfusion for visible and infrared images based on the double NSCT》,IEEE 7thInternational Congress on Image and Signal Processing,2014:223-227和文章《基于补偿机制的NSCT域红外与可见光图像融合》,仪器仪表学报,2016,37(4):861-870.的融合方法的融合结果和本发明方法相比对比度较低,可将光图像的背景细节信息丢失,无法体现源图像的纹理信息,并且融合图像部分区域存在一定的扭曲与失真现象。
将本发明的融合方法与文章1《一种基于小波变换的图像融合算法》,电子学报,2004,32(5):750-753.文章2《Image fusion based on a new contourlet packet》,Information Fusion,2010,11(2):78-84.文章3《High-quality fusion for visible andinfrared images based on the double NSCT》,IEEE 7th International Congress onImage and Signal Processing,2014:223-227.文章4《基于补偿机制的NSCT域红外与可见光图像融合》,仪器仪表学报,2016,37(4):861-870.的融合方法在4种图像质量评价指标上进行比较,来客观评价本发明的效果。5种融合方法的融合客观评价指标如下表:
表1“UN Camp”图像集融合质量评价指标对比
表2“Octec”图像集融合质量评价指标对比
表3“Quad”图像集融合质量评价指标对比
表4“Seascape”图像集融合质量评价指标对比
IE表示信息熵,IE最大,表明本发明方法融合结果所包含的信息量最丰富;SSIM表示信息结构相似度,SSIM最大,表明本发明方法融合图像与源图像的相似程度最大,所包含源图像的纹理等细节信息最丰富;SD表示标准差,SD最大,则融合图像灰度分布离散程度最大,对比度更高,且视觉效果更好;PSNR表示峰值信噪比,PSNR最大,反映了融合图像失真程度最小,更加可以凸显红外目标,保留源图像的更多纹理细节信息。
由以上表1~4分析可得,本发明方法融合图像对比度高,目标信息突出,边缘纹理等细节信息更丰富,从主客观评价看,具有更好的融合性能,融合图像质量达到最佳,符合人眼视觉效果,表明了本发明所提方法的有效性。
Claims (1)
1.一种基于增补机制和PCNN的NSCT域图像融合方法,其特征在于包括以下步骤:
步骤一、对已配准的待融合图像A和B分别进行NSCT分解,得到各自的NSCT系数和其中为A图像第j尺度下第k个方向的NSCT高频子带系数,LA为A图像的NSCT低频系数,为B图像第j尺度下第k个方向的NSCT高频子带系数,LB为B图像的NSCT低频系数,j表示NSCT分解尺度,j=1,2,…,J,其中J为最大分解尺度,k表示分解尺度j下的分解方向数,满足k=2j;
步骤二、按融合规则对步骤一得到的图像A和B各自的NSCT系数和进行融合,得到融合后的NSCT系数,融合规则为:
a.NSCT低频子带系数融合策略;
对NSCT分解的低频子带进行增补机制的小波变换分解的低频部分采用局部加权区域能量进行融合;计算以像素点(i,j)为中心,大小为3×3窗口区域局部加权能量定义如下式:
式中SL(i,j)表示低频图像点(i,j)的灰度,ωL(x,y)为局部区域窗口,表示卷积,L表示待融合图像,步骤一中A=VI,B=IR,VI是可见光图像,IR是红外图像;图像中的目标物体在红外图像中的局部邻域能量比其在可见光图像中的局部邻域能量大,低频子带融合规则如下式所示:
式中,
式中,分别是第l层第k个方向对应低频子带融合系数、红外图像和可见光图像的低频子带系数,分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量,分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量的平均值;ω1为权重系数,为图像信息熵,M为图像总的灰度级数,pi=mi/m为图像中像素灰度值为i的概率,k1,k2为图像权重系数,取k1=5,k2=1.6;
由于拉普拉斯分量绝对和SML能够反映图像边缘、纹理细节信息并且能表示图像的锐化度和清晰度,利用改进的高斯加权SML对增补小波变换分解后的三个方向子带系数分别进行融合;
设经过二维小波变换分解后第l层第k个方向的方向子带系数为Hl,k,SML定义如下:
MLl,k(i,j)=-Hl,k(i-1,j-1)-4Hl,k(i-1,j)-Hl,k(i-1,j+1)-4Hl,k(i,j-1)+20Hl,k(i,j)-4Hl,k(i,j+1)-Hl,k(i+1,j-1)-4Hl,k(i+1,j)-Hl,k(i+1,j+1) (8)
式中采用3×3窗口,采用式(7)计算的SML认为窗口内所有点对SML的贡献一致,无法突出中心的重要性;采用高斯函数对ML加权求和,高斯函数满足强调中心像素以及距离中心像素越近的像素权值越大的要求,归一化后权值之和为1;高斯函数计算公式如下式所示:
其中σ表示方差;
改进的高斯加权SML如下所示:
其中,权值函数是按式(9)取值,表示卷积;
引入图像区域锐化度比率,定义如下:
其中,
式中:j=VI,IR,m×n表示图像的区域大小,RRSVI,IR表示待融合图像VI和IR的区域锐化度比率,MEANj表示图像的均值,STDj表示图像的方差;
结合不同谱段源图像的方向子带细节信息,利用加权组合的方式融合方向子带系数;设源图像的方向子带系数则融合后的系数为及权值分别如式(14)、式(15)
b.NSCT高频子带系数融合策略;
对NSCT高频子带最高层融合:
在图像最高层尺度N上采用改进的高斯加权SML;
对NSCT高频子带其它层融合:
对NSCT高频子带其它层采用改进的脉冲神经网络PCNN的图像融合规则;设改进的PCNN的迭代次数为N,随着迭代次数的增加,各PCNN中外部刺激输入较大的神经元点火次数将会增加;完成N次迭代后统计各NSCT变换分解子图像每个像素的点火次数,根据点火次数的大小来选择融合图像系数,然后经过NSCT逆变换得到融合图像;而人眼对边缘信息更敏感,边缘梯度信息能更好地代表图像特征;边缘梯度信息为
式中,D是以位置(i,j)为中心的周围邻域窗为3×3,对每个子带以滑动窗口为单位计算边缘梯度系数;C(i,j)是像素经过NSCT变换后对应点(i,j)的系数;
在PCNN中,其数学表达式如下:
Fij(n)=Sij (17)
Uij(n)=Fij(n)(1+βLij(n)) (19)
Tij=Tij(n-1)+Yij(n) (22)
式中:Fij表示第(i,j)个神经元的反馈输入,Lij表示第(i,j)个神经元的连接输入项,β为突触之间的连接强度,θij为第(i,j)个神经元的动态门限阈值,Uij为第(i,j)个神经元的内部活动项;Yij为第(i,j)个神经元的脉冲输出,Tij为迭代之后第(i,j)个神经元的点火总次数,Yij,pq为第(i,j)个神经元的邻域神经元(p,q)的脉冲输出,n为迭代次数,Sij为第(i,j)个神经元的外部输入刺激信号,Wij,pq为第(i,j)个神经元的连接矩阵中第p行q列元素,αL、αθ分别为连接输入衰减系数和阈值衰减系数,VL、Vθ分别为连接幅值和阈值幅值;
由式(17)~(22)得出,改进型PCNN模型有4个参数β、αθ、Vθ、W;其中W表示的是两个像素间距离平方的导数,神经元ij和神经元pq的连接权重为:
改进的PCNN图像融合过程如下:
[1].利用NSCT变换对红外和可见光图像进行分解,得到尺度N以外的其它层带通子带的系数和
[2].用式(16)计算边缘梯度信息,得到图像系数的边缘梯度信息特征系数和用和激励PCNN,根据式(17)~(22)流程分别得到点火次数矩阵和并采取以下融合规则对系数和进行融合处理;
步骤三、图像重构;
对融合图像的各子带系数进行NSCT逆变换,得到最终的融合图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710322516.1A CN107194904B (zh) | 2017-05-09 | 2017-05-09 | 基于增补机制和pcnn的nsct域图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710322516.1A CN107194904B (zh) | 2017-05-09 | 2017-05-09 | 基于增补机制和pcnn的nsct域图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107194904A CN107194904A (zh) | 2017-09-22 |
CN107194904B true CN107194904B (zh) | 2019-07-19 |
Family
ID=59873640
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710322516.1A Active CN107194904B (zh) | 2017-05-09 | 2017-05-09 | 基于增补机制和pcnn的nsct域图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107194904B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886488A (zh) * | 2017-12-04 | 2018-04-06 | 国网山东省电力公司电力科学研究院 | 基于改进pcnn补偿的auv图像融合方法、处理器及系统 |
CN108230260B (zh) * | 2017-12-06 | 2021-03-30 | 天津津航计算技术研究所 | 一种红外图像与微光图像的融合方法 |
CN108399611B (zh) * | 2018-01-31 | 2021-10-26 | 西北工业大学 | 基于梯度正则化的多聚焦图像融合方法 |
CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
CN108648174A (zh) * | 2018-04-04 | 2018-10-12 | 上海交通大学 | 一种基于自动对焦技术的多层图像融合方法及系统 |
CN108921809B (zh) * | 2018-06-11 | 2022-02-18 | 上海海洋大学 | 整体原则下基于空间频率的多光谱和全色图像融合方法 |
CN109063729A (zh) * | 2018-06-20 | 2018-12-21 | 上海电力学院 | 一种基于pso-nsct的多传感器图像融合方法 |
CN109242888B (zh) * | 2018-09-03 | 2021-12-03 | 中国科学院光电技术研究所 | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 |
CN109242813A (zh) * | 2018-09-11 | 2019-01-18 | 中国科学院长春光学精密机械与物理研究所 | 基于潜在低秩表示与nsst的图像融合方法及装置 |
CN109242812A (zh) * | 2018-09-11 | 2019-01-18 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性检测与奇异值分解的图像融合方法及装置 |
CN109509164B (zh) * | 2018-09-28 | 2023-03-28 | 洛阳师范学院 | 一种基于gdgf的多传感器图像融合方法及系统 |
CN109360179B (zh) * | 2018-10-18 | 2022-09-02 | 上海海事大学 | 一种图像融合方法、装置及可读存储介质 |
CN109584192B (zh) * | 2018-10-19 | 2021-05-25 | 中国人民解放军海军工程大学 | 基于多光谱融合的目标特征增强方法、装置与电子设备 |
CN109801248A (zh) * | 2018-12-18 | 2019-05-24 | 重庆邮电大学 | 一个基于非下采样剪切变换的新型图像融合方法 |
CN109978802B (zh) * | 2019-02-13 | 2023-01-17 | 中山大学 | 基于nsct和pcnn的压缩感知域内的高动态范围图像融合方法 |
CN111951200B (zh) * | 2019-05-15 | 2023-11-14 | 杭州海康威视数字技术股份有限公司 | 摄像设备、图像融合方法、装置和存储介质 |
CN110298807A (zh) * | 2019-07-05 | 2019-10-01 | 福州大学 | 基于改进Retinex及量子菌群算法的NSCT域红外图像增强方法 |
CN110874581B (zh) * | 2019-11-18 | 2023-08-01 | 长春理工大学 | 细胞工厂生物反应器图像融合方法 |
WO2021102644A1 (zh) * | 2019-11-25 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 图像增强方法、装置及终端设备 |
CN113240616A (zh) * | 2021-05-27 | 2021-08-10 | 云南大学 | 一种脑部医学图像融合方法及系统 |
CN113269704B (zh) * | 2021-06-29 | 2022-07-29 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
CN113822833B (zh) * | 2021-09-26 | 2024-01-16 | 沈阳航空航天大学 | 基于卷积神经网络和区域能量的红外与可见光图像频域融合方法 |
CN116091882B (zh) * | 2023-03-28 | 2023-12-22 | 中国科学院光电技术研究所 | 一种基于自适应双通道pcnn的偏振图像融合方法 |
CN117252794B (zh) * | 2023-09-25 | 2024-04-16 | 徐州医科大学 | 一种在频域内多波长透射图像融合装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103985105A (zh) * | 2014-02-20 | 2014-08-13 | 江南大学 | 基于统计建模的Contourlet域多模态医学图像融合方法 |
CN104616252A (zh) * | 2015-01-09 | 2015-05-13 | 安徽师范大学 | 基于nsct和pcnn的数字图像增强方法 |
CN105551010A (zh) * | 2016-01-20 | 2016-05-04 | 中国矿业大学 | 基于nsct及深度信息激励pcnn的多聚焦图像融合方法 |
CN106327459A (zh) * | 2016-09-06 | 2017-01-11 | 四川大学 | 基于udct和pcnn的可见光与红外图像融合算法 |
-
2017
- 2017-05-09 CN CN201710322516.1A patent/CN107194904B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103985105A (zh) * | 2014-02-20 | 2014-08-13 | 江南大学 | 基于统计建模的Contourlet域多模态医学图像融合方法 |
CN104616252A (zh) * | 2015-01-09 | 2015-05-13 | 安徽师范大学 | 基于nsct和pcnn的数字图像增强方法 |
CN105551010A (zh) * | 2016-01-20 | 2016-05-04 | 中国矿业大学 | 基于nsct及深度信息激励pcnn的多聚焦图像融合方法 |
CN106327459A (zh) * | 2016-09-06 | 2017-01-11 | 四川大学 | 基于udct和pcnn的可见光与红外图像融合算法 |
Non-Patent Citations (4)
Title |
---|
A novel medical image fusion scheme employing sparse representation and dual PCNN in the NSCT domain;Anisha Mohammed等;《Region 10 Conference (TENCON), 2016 IEEE》;20170209;第2147-2151页 |
A novel multi-focus image fusion method using PCNN in nonsubsampled contourlet transform domain;Jingjing Wang等;《Optik》;20151031;第126卷(第20期);第2508-2511页 |
基于NSST和高斯混合模型的医学图像融合算法;刘帅奇等;《视频应用与工程》;20151229;第39卷(第23期);第116-121页 |
基于补偿机制的NSCT域红外与可见光图像融合;陈震等;《视觉测量与图像处理》;20160430;第37卷(第4期);第860-870页 |
Also Published As
Publication number | Publication date |
---|---|
CN107194904A (zh) | 2017-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107194904B (zh) | 基于增补机制和pcnn的nsct域图像融合方法 | |
CN111709902A (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
CN107341786B (zh) | 小波变换与联合稀疏表示的红外与可见光图像融合方法 | |
CN104318569B (zh) | 基于深度变分模型的空间显著性区域提取方法 | |
CN106327459A (zh) | 基于udct和pcnn的可见光与红外图像融合算法 | |
CN105719263B (zh) | 基于nsct域底层视觉特征的可见光和红外图像融合方法 | |
CN109784242A (zh) | 基于一维残差卷积神经网络的脑电信号去噪方法 | |
CN108389158A (zh) | 一种红外和可见光的图像融合方法 | |
CN103020933B (zh) | 一种基于仿生视觉机理的多源图像融合方法 | |
CN106504222A (zh) | 一种基于仿生视觉机理的水下偏振图像融合系统 | |
CN107909109A (zh) | 基于显著性和多尺度深度网络模型的sar图像分类方法 | |
CN109886908B (zh) | 红外图像与可见光图像融合方法 | |
CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
CN109242812A (zh) | 基于显著性检测与奇异值分解的图像融合方法及装置 | |
CN107886488A (zh) | 基于改进pcnn补偿的auv图像融合方法、处理器及系统 | |
CN109410157A (zh) | 基于低秩稀疏分解和pcnn的图像融合方法 | |
CN112950518A (zh) | 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 | |
CN109272477A (zh) | 一种基于nsst与自适应双通道pcnn的融合方法以及融合处理器 | |
CN109242813A (zh) | 基于潜在低秩表示与nsst的图像融合方法及装置 | |
CN108648174A (zh) | 一种基于自动对焦技术的多层图像融合方法及系统 | |
CN112215787B (zh) | 基于显著度分析及自适应滤波器的红外和可见光图像融合方法 | |
Pan et al. | DenseNetFuse: A study of deep unsupervised DenseNet to infrared and visual image fusion | |
CN109345495B (zh) | 基于能量最小化和梯度正则化的图像融合方法及装置 | |
CN104616252A (zh) | 基于nsct和pcnn的数字图像增强方法 | |
CN106485684A (zh) | 一种基于双树复小波变换的单幅图像去云雾方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |