CN107194904A - 基于增补机制和pcnn的nsct域图像融合方法 - Google Patents

基于增补机制和pcnn的nsct域图像融合方法 Download PDF

Info

Publication number
CN107194904A
CN107194904A CN201710322516.1A CN201710322516A CN107194904A CN 107194904 A CN107194904 A CN 107194904A CN 201710322516 A CN201710322516 A CN 201710322516A CN 107194904 A CN107194904 A CN 107194904A
Authority
CN
China
Prior art keywords
mrow
msubsup
msub
mtd
msup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710322516.1A
Other languages
English (en)
Other versions
CN107194904B (zh
Inventor
王健
张修飞
任萍
院文乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Xian Aisheng Technology Group Co Ltd
Original Assignee
Northwestern Polytechnical University
Xian Aisheng Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University, Xian Aisheng Technology Group Co Ltd filed Critical Northwestern Polytechnical University
Priority to CN201710322516.1A priority Critical patent/CN107194904B/zh
Publication of CN107194904A publication Critical patent/CN107194904A/zh
Application granted granted Critical
Publication of CN107194904B publication Critical patent/CN107194904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明公开了一种基于增补机制和PCNN的NSCT域图像融合方法，用于解决现有NSCT域图像融合方法存在图像失真现象的技术问题。技术方案是采用增补的小波变换对NSCT分解的低频子带进行融合处理，以便尽可能多的保留图像背景的细节信息；利用改进的高斯加权SML的方法进行融合来增强图像细节；利用边缘梯度信息激励PCNN的方法进行融合来增强图像边缘信息；实验证明本发明方法与现有的图像融合方法相比具有更好的融合效果，在对克服图像的纹理细节缺失、失真不足的同时，目标显著性得到很大的提高，进一步提高了图像质量。

Description

基于增补机制和PCNN的NSCT域图像融合方法
技术领域
本发明涉及一种NSCT域图像融合方法，特别涉及一种基于增补机制和PCNN的NSCT域图像融合方法。
背景技术
由于成像机理和技术限制，单一成像传感器获取的图像并不能反映被观测对象的所有特征，因此需要对不同传感器图像中的有用信息进行提取，并融合成一副具备更完整信息，并有助于人类观察和处理的图像。
图像融合技术可以综合两种不同类型图像的互补信息，它不是简单地对不同类型图像进行叠加处理，通过融合得到的图像具备两种图像各自的优点，克服了单一传感器在应用环境、使用范围以及特定目标获取上存在的局限性，同时还能够提高图像的空间分辨率和清晰度，便于图像的理解和识别，有效地提高图像数据的利用率。图像融合技术不仅能够去除多传感器图像数据间的冗余信息，减少传输量，减轻观察者的观测压力，还能够获得关于同一场景或目标全面而精确的地理空间信息，因此在军事或民用领域的应用中，图像融合具有非常重要的研究价值。
近年来，针对图像的融合，已经有大量的图像融合算法被相继提出，其中基于多尺度分析的图像融合算法从多尺度金字塔变换开始，经由小波变换，Ridgelet变换，Curvelet变换等一系列算法发展，已取得了良好的融合效果。2006年，Minh.N.Do等人提出非下采样轮廓波变换(NonsubSampled Contourlet，NSCT)，NSCT是在Contourlet变换的基础上引入非下采样思想，保证了分解过程中的平移不变性，解决了传统算法在图像分解时的信号频谱混叠问题，获得了渐进最优的图像分析结果。在此基础上，国内外学者们相继提出了不少行之有效的新算法，但大多数融合图像纹理细节缺失、失真和目标显著性等问题难点仍然没有得到完全解决。
文献“基于补偿机制的NSCT域红外与可见光图像融合，仪器仪表学报,2016,37(4):861-870”公开了一种基于补偿机制的NSCT域红外与可见光图像融合方法，该方法采用NSCT变换对红外与可见光图像分别进行分解，得到低频子带和高频子带，对低频子带进行小波变换，利用合适的融合规则对对小波变换的子带进行融合，将其变换得到的子带重构作为NSCT重构的低频子带，接着将NSCT变换的高频子带的最高层利用绝对值取大方法，其它层利用PCNN方法进行融合，然后将得到的低频子带和高频子带进行NSCT重构获得融合后的图像。文献所述方法得到融合后图像对比度较低，可将光图像的背景细节信息丢失，无法体现源图像的纹理信息，并且融合图像部分区域存在一定的扭曲与失真现象。
发明内容
为了克服现有NSCT域图像融合方法存在图像失真现象的不足，本发明提供一种基于增补机制和PCNN的NSCT域图像融合方法。该方法采用增补的小波变换对NSCT分解的低频子带进行融合处理，以便尽可能多的保留图像背景的细节信息；利用改进的高斯加权SML的方法进行融合来增强图像细节；利用边缘梯度信息激励PCNN的方法进行融合来增强图像边缘信息；实验证明本发明方法与现有的图像融合方法相比具有更好的融合效果，在对克服图像的纹理细节缺失、失真不足的同时，目标显著性得到很大的提高，进一步提高了图像质量。
本发明解决其技术问题所采用的技术方案：一种基于增补机制和PCNN的NSCT域图像融合方法，其特点是包括以下步骤：
步骤一、对已配准的待融合图像A和B分别进行NSCT分解，得到各自的NSCT系数和其中为A图像第j尺度下第k个方向的NSCT高频子带系数，LA为A图像的NSCT低频系数，为B图像第j尺度下第k个方向的NSCT高频子带系数，LB为B图像的NSCT低频系数，j表示NSCT分解尺度，j＝1，2，Λ，J，其中J为最大分解尺度，k表示分解尺度j下的分解方向数，满足k＝2j。
步骤二、按融合规则对步骤一得到的图像A和B各自的NSCT系数和进行融合，得到融合后的NSCT系数，融合规则为：
a.NSCT低频子带系数融合策略。
对NSCT分解的低频子带进行增补机制的小波变换分解的低频部分采用局部加权区域能量进行融合。计算以像素点(i,j)为中心，大小为3×3窗口区域局部加权能量定义如下式：
式中SL(i,j)表示低频图像点(i,j)的灰度，ωL(x,y)为局部区域窗口，表示卷积，L表示待融合图像，步骤一中A＝VI,B＝IR,VI是可见光图像，IR是红外图像。图像中的目标物体在红外图像中的局部邻域能量比其在可见光图像中的局部邻域能量大，低频子带融合规则如下式所示：
式中，
式中，分别是第l层第k个方向对应低频子带融合系数、红外图像和可见光图像的低频子带系数，分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量，分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量的平均值。ω1为权重系数，为图像信息熵，M为图像总的灰度级数，pi＝mi/m为图像中像素灰度值为i的概率，k1，k2为图像权重系数，取k1＝5，k2＝1.6。
由于拉普拉斯分量绝对和SML能够较好的反映图像边缘、纹理等细节信息并且能表示图像的锐化度和清晰度，利用改进的高斯加权SML对增补小波变换分解后的三个方向子带系数分别进行融合。
设经过二维小波变换分解后第l层第k个方向的方向子带系数为Hl,k，SML定义如下：
MLl,k(i,j)＝-Hl,k(i-1,j-1)-4Hl,k(i-1,j)-Hl,k(i-1,j+1)
-4Hl,k(i,j-1)+20Hl,k(i,j)-4Hl,k(i,j+1)
-Hl,k(i+1,j-1)-4Hl,k(i+1,j)-Hl,k(i+1,j+1) (8)
式中采用3×3窗口，采用式(7)计算的SML认为窗口内所有点对SML的贡献一致，无法突出中心的的重要性。采用高斯函数对ML加权求和，高斯函数满足强调中心像素以及距离中心像素越近的像素权值越大的要求，归一化后权值之和为1。高斯函数计算公式如下式所示：
其中σ表示方差。
改进的高斯加权SML如下所示：
其中，权值函数是按式(9)取值，表示卷积。
引入图像区域锐化度比率，定义如下：
其中,
式中：j＝VI,IR，m×n表示图像的区域大小，RRSVI,IR表示待融合图像VI和IR的区域锐化度比率，MEANj表示图像的均值，STDj表示图像的方差。
结合不同谱段源图像的方向子带细节信息，利用加权组合的方式融合方向子带系数。设源图像的方向子带系数为则融合后的系数为及权值分别如式(14)、式(15)
b.NSCT高频子带系数融合策略。
对NSCT高频子带最高层融合：
在图像最高层尺度N上采用改进的高斯加权SML。
对NSCT高频子带其它层融合：
对NSCT高频子带其它层采用改进的脉冲神经网络PCNN的图像融合规则。设改进的PCNN的迭代次数为N，随着迭代次数的增加，各PCNN中外部刺激输入较大的神经元点火次数将会明显增加。完成N次迭代后统计各NSCT变换分解子图像每个像素的点火次数，根据点火次数的大小来选择融合图像系数，然后经过NSCT逆变换得到融合图像。而人眼对边缘信息更敏感，边缘梯度信息能更好地代表图像特征。边缘梯度信息为
式中，D是以位置(i,j)为中心的周围邻域窗为3×3，对每个子带以滑动窗口为单位计算边缘梯度系数。C(i,j)是像素经过NSCT变换后对应点(i,j)的系数。
在PCNN中，其数学表达式如下：
Fij(n)＝Sij (17)
Uij(n)＝Fij(n)(1+βLij(n)) (19)
Tij＝Tij(n-1)+Yij(n) (22)
式中：Fij表示第(i,j)个神经元的反馈输入，Lij表示第(i,j)个神经元的连接输入项，β为突触之间的连接强度，θij为第(i,j)个神经元的动态门限阈值，Uij为第(i,j)个神经元的内部活动项。Yij为第(i,j)个神经元的脉冲输出，Tij为迭代之后第(i,j)个神经元的点火总次数，Yij,pq为第(i,j)个神经元的邻域神经元(p,q)的脉冲输出，n为迭代次数，Sij为第(i,j)个神经元的外部输入刺激信号，Wij,pq为第(i,j)个神经元的连接矩阵中第p行q列元素，αL、αθ分别为连接输入衰减系数和阈值衰减系数，VL、Vθ分别为连接幅值和阈值幅值。
由式(17)～(22)得出，改进型PCNN模型有4个参数β、αθ、Vθ、W。其中W表示的是两个像素间距离平方的导数，神经元ij和神经元pq的连接权重为：
改进的PCNN图像融合过程如下：
[1].利用NSCT变换对红外和可见光图像进行分解，得到尺度N以外的其它层带通子带的系数和
[2].用式(16)计算边缘梯度信息，得到图像系数的边缘梯度信息特征系数和用和激励PCNN，根据式(17)～(22)流程分别得到点火次数矩阵和并采取以下融合规则对系数和进行融合处理。
步骤三、图像重构。
对融合图像的各子带系数进行NSCT逆变换，得到最终的融合图像。
本发明的有益效果是：该方法采用增补的小波变换对NSCT分解的低频子带进行融合处理，以便尽可能多的保留图像背景的细节信息；利用改进的高斯加权SML的方法进行融合来增强图像细节；利用边缘梯度信息激励PCNN的方法进行融合来增强图像边缘信息；实验证明本发明方法与现有的图像融合方法相比具有更好的融合效果，在对克服图像的纹理细节缺失、失真不足的同时，目标显著性得到很大的提高，进一步提高了图像质量。
下面结合附图和具体实施方式对本发明作详细说明。
附图说明
图1是本发明基于增补机制和PCNN的NSCT域图像融合方法的流程图。
图2是本发明方法构建的PCNN神经元模型图。
图3是本发明方法实施例中实验图像数据集图。
图4是红外光与可见光图像集融合后图像的对比图。
具体实施方式
参照图1-4。本发明基于增补机制和PCNN的NSCT域图像融合方法具体步骤如下：
用于实施的硬件环境是：实验环境为CPU Intel Core i5-5200U@2.20GHz，内存为4GB，采用MATLAB R2014a编程。本发明采用“UN Camp”图像集(320×240)、“Octec”图像集(640×480)、“Quad”图像集(256×256)和“Seascape”图像集(256×256)4组红外与可见光图像集。
步骤一：对已配准的待融合图像A和B分别进行NSCT分解，得到各自的NSCT系数和其中为A图像第j尺度下第k个方向的NSCT高频子带系数，LA为A图像的NSCT低频系数，为B图像第j尺度下第k个方向的NSCT高频子带系数，LB为B图像的NSCT低频系数，所述的j表示NSCT分解尺度，j＝1，2，Λ，J，J为最大分解尺度，k表示分解尺度j下的分解方向数，满足k＝2j。
步骤二：按融合规则对步骤1得到的图像A和B各自的NSCT系数和进行融合，得到融合后的NSCT系数。
融合规则为：
a.NSCT低频子带系数融合策略。
图像经NSCT分解后得到的低频子带是源图像的近似描述，包含了图像中的大部分能力特征。本发明采用基于增补小波的NSCT低频融合规则，在一定程度上能更好的表征图像的边缘纹理等细节信息。
对NSCT分解的低频子带进行增补机制的小波变换分解，得到1个低频子带和3个方向子带。对低频子带采用局部加权区域能量进行融合，对3个方向子带分别采用改进的高斯加权SML对三个方向子带系数进行融合，然后进行小波重构得到用于NSCT重构的低频子带。
对增补机制的小波变换分解的低频部分采用局部加权区域能量进行融合。计算以像素点(i,j)为中心，大小为3×3窗口区域局部加权能量定义如下式(1)：
式中SL(i,j)表示低频图像点(i,j)的灰度，ωL(x,y)为局部区域窗口，表示卷积，L表示待融合图像，以红外和可见光为例，步骤1中A＝VI,B＝IR,VI是可见光图像，IR是红外图像。由于图像中的目标物体在红外图像中的局部邻域能量比其在可见光图像中的局部邻域能量大，因此为了更好地突显出红外图像中的目标物体与可见光图像中的背景信息，本发明的低频子带融合规则如下式所示：
式中：
式中：分别是第l层第k个方向对应低频子带融合系数、红外图像和可见光图像的低频子带系数，分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量，分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量的平均值。ω1为权重系数，为图像信息熵，M为图像总的灰度级数，pi＝mi/m为图像中像素灰度值为i的概率，k1，k2为图像权重系数，为了突出融合后图像的质量效果，本发明中k1＝5，k2＝1.6。经过二维小波变换分解后的三个方向子带系数表示源图像的细节信息。
由于拉普拉斯分量绝对和SML能够较好的反映图像边缘、纹理等细节信息并且能表示图像的锐化度和清晰度，本发明采用改进的高斯加权SML对三个方向子带系数分别进行融合。
设经过二维小波变换分解后第l层第k个方向的方向子带系数为Hl,k，SML定义如下
采用3×3窗口，采用式(7)计算的SML认为窗口内所有点对SML的贡献一致，无法突出中心的的重要性。本发明采用高斯函数对ML加权求和，高斯函数满足强调中心像素以及距离中心像素越近的像素权值越大的要求，归一化后权值之和为1。高斯函数计算公式如下式所示：
其中σ表示方差。
改进的高斯加权SML如下所示：
其中，权值函数是按式(9)取值，表示卷积。
为了尽可能多的突出图像的细节信息和图像的清晰度，使融合后图像的质量效果达到最佳，本发明引入图像区域锐化度比率，定义如下：
其中：
式中：j＝VI,IR，m×n表示图像的区域大小，RRSVI,IR表示待融合图像VI和IR的区域锐化度比率，MEANj表示图像的均值，STDj表示图像的方差。
结合不同谱段源图像的方向子带细节信息，本发明采用加权组合的方式融合方向子带系数。设源图像的方向子带系数为则融合后的系数为及权值分别如式(14)、(15)
b.NSCT高频子带系数融合策略
在NSCT分解所得的高频子带中，高频系数的值表示图像细节的变化情况，直接反映图像中边缘信息和纹理细节分布。为了更多的反映图像边缘、纹理等细节信息表示的图像锐化度和清晰度，对NSCT分解所得的高频子带分为其它层和最高层融合。
对NSCT高频子带最高层融合。
在图像最高层尺度N上采用改进的高斯加权SML，这种方法与低频部分的小波变换分解的三个方向子带的融合方法相同，这里不再叙述。
对NSCT高频子带其它层融合
为了更好的提取待融合图像的细节等信息，提高融合图像的质量，本发明在除最高层N以外的其它层带通子带，采用改进的脉冲神经网络PCNN的图像融合规则。在改进的PCNN图像融合算法中，点火次数较大的神经元所对应的像素点对应于图像中的显著特征，因而可以根据神经元的点火次数来选择融合图像的NSCT系数。设PCNN的迭代次数为N，随着迭代次数的增加，各PCNN中外部刺激输入较大的神经元点火次数将会明显增加。完成N次迭代后统计各NSCT变换分解子图像每个像素的点火次数，根据点火次数的大小来选择融合图像系数，然后经过NSCT逆变换得到融合图像。而人眼对边缘信息更敏感，边缘梯度信息能更好地代表图像特征。边缘梯度信息为
式中，D是以位置(i,j)为中心的周围邻域窗为3×3，对每个子带以滑动窗口为单位计算边缘梯度系数。C(i,j)是像素经过NSCT变换后对应点(i,j)的系数。
在PCNN中，每个神经元均由接收部分、调制部分和脉冲产生部分3个部分组成，其数学表达式如下：
Fij(n)＝Sij (17)
Uij(n)＝Fij(n)(1+βLij(n)) (19)
Tij＝Tij(n-1)+Yij(n) (22)
式中：Fij表示第(i,j)个神经元的反馈输入，Lij表示第(i,j)个神经元的连接输入项，β为突触之间的连接强度，θij为第(i,j)个神经元的动态门限阈值，Uij为第(i,j)个神经元的内部活动项。Yij为第(i,j)个神经元的脉冲输出，Tij为迭代之后第(i,j)个神经元的点火总次数，Yij,pq为第(i,j)个神经元的邻域神经元(p,q)的脉冲输出，n为迭代次数，Sij为第(i,j)个神经元的外部输入刺激信号，Wij,pq为第(i,j)个神经元的连接矩阵中第p行q列元素，αL、αθ分别为连接输入衰减系数和阈值衰减系数，VL、Vθ分别为连接幅值和阈值幅值。
由式(17)～(22)可以看出，改进型PCNN模型主要由4个参数β、αθ、Vθ、W。其中W表示的是两个像素间距离平方的导数，神经元ij和神经元pq的连接权重为：
改进的PCNN图像融合过程如下：
[1].利用NSCT变换对红外和可见光图像进行分解，得到尺度N以外的其它N-1层带通子带的系数和
[2].用式(16)计算边缘梯度信息，得到图像系数的边缘梯度信息特征系数和用和激励PCNN，根据式(17)～(22)流程分别得到点火次数矩阵和并采取以下融合规则对系数和进行融合处理。
步骤三：图像重构。
对融合图像的各子带系数进行NSCT逆变换从而得到最终的融合图像。
下面结合附图3和附图4对本发明的效果作进一步的描述。
附图3是4组红外与可见光图像集。其中附图3(a)是“UN Camp”图像集(320×240)，附图3(b)是“Octec”图像集(640×480)，附图3(c)是“Quad”图像集(256×256)，附图3(d)是“Seascape”图像集(256×256)。
1.实验条件。
实验环境为CPU Intel Core i5-5200U@2.20GHz，内存为4GB，采用MATLAB R2014a编程。本发明采用“UN Camp”图像集(320×240)、“Octec”图像集(640×480)、“Quad”图像集(256×256)和“Seascape”图像集(256×256)4组红外与可见光图像集。
2.实验内容。
附图4是4组红外与可见光图像集融合后图像的对比图。
实验1，用本发明的方法和现有的四种融合方法对附图3中4组红外与可见光图像集进行融合实验，附图4(a)融合结果从左及右依次是，文章《一种基于小波变换的图像融合算法》，电子学报，2004,32(5):750-753.文章《Image fusion based on a new contourletpacket》，Information Fusion,2010,11(2):78-84.文章《High-quality fusion forvisible and infrared images based on the double NSCT》，IEEE 7th InternationalCongress on Image and Signal Processing,2014:223-227.文章《基于补偿机制的NSCT域红外与可见光图像融合》，仪器仪表学报,2016,37(4):861-870.和本发明的图像融合结果图。
从附图4(a)可得，本发明的融合方法与现有的四种融合方法相比，在灰度范围和整体亮度上与源图像较为匹配，视觉效果更高，目标和场景更清晰。文章《一种基于小波变换的图像融合算法》，电子学报，2004,32(5):750-753、文章《Image fusion based on anew contourlet packet》，Information Fusion,2010,11(2):78-84、文章《High-qualityfusion for visible and infrared images based on the double NSCT》，IEEE 7thInternational Congress on Image and Signal Processing,2014:223-227和文章《基于补偿机制的NSCT域红外与可见光图像融合》，仪器仪表学报,2016,37(4):861-870.的融合方法的融合结果和本发明方法相比对比度较低，可将光图像的背景细节信息丢失，无法体现源图像的纹理信息，并且融合图像部分区域存在一定的扭曲与失真现象。
实验2，用本发明的方法和现有的四种融合方法对附图3中4组红外与可见光图像集进行融合实验，附图4(b)融合结果从左及右依次是，文章《一种基于小波变换的图像融合算法》，电子学报，2004,32(5):750-753.文章《Image fusion based on a new contourletpacket》，Information Fusion,2010,11(2):78-84.文章《High-quality fusion forvisible and infrared images based on the double NSCT》，IEEE 7th InternationalCongress on Image and Signal Processing,2014:223-227.文章《基于补偿机制的NSCT域红外与可见光图像融合》，仪器仪表学报,2016,37(4):861-870.和本发明的图像融合结果图。
从附图4(b)可得，本发明的融合方法与现有的四种融合方法相比，在灰度范围和整体亮度上与源图像较为匹配，视觉效果更高，目标和场景更清晰。文章《一种基于小波变换的图像融合算法》，电子学报，2004,32(5):750-753、文章《Image fusion based on anew contourlet packet》，Information Fusion,2010,11(2):78-84、文章《High-qualityfusion for visible and infrared images based on the double NSCT》，IEEE 7thInternational Congress on Image and Signal Processing,2014:223-227和文章《基于补偿机制的NSCT域红外与可见光图像融合》，仪器仪表学报,2016,37(4):861-870.的融合方法的融合结果和本发明方法相比对比度较低，可将光图像的背景细节信息丢失，无法体现源图像的纹理信息，并且融合图像部分区域存在一定的扭曲与失真现象。
实验3，用本发明的方法和现有的四种融合方法对附图3中4组红外与可见光图像集进行融合实验，附图4(c)融合结果从左及右依次是，文章《一种基于小波变换的图像融合算法》，电子学报，2004,32(5):750-753.文章《Image fusion based on a new contourletpacket》，Information Fusion,2010,11(2):78-84.文章《High-quality fusion forvisible and infrared images based on the double NSCT》，IEEE 7th InternationalCongress on Image and Signal Processing,2014:223-227.文章《基于补偿机制的NSCT域红外与可见光图像融合》，仪器仪表学报,2016,37(4):861-870.和本发明的图像融合结果图。
从附图4(c)可得，本发明的融合方法与现有的四种融合方法相比，在灰度范围和整体亮度上与源图像较为匹配，视觉效果更高，目标和场景更清晰。文章《一种基于小波变换的图像融合算法》，电子学报，2004,32(5):750-753、文章《Image fusion based on anew contourlet packet》，Information Fusion,2010,11(2):78-84、文章《High-qualityfusion for visible and infrared images based on the double NSCT》，IEEE 7thInternational Congress on Image and Signal Processing,2014:223-227和文章《基于补偿机制的NSCT域红外与可见光图像融合》，仪器仪表学报,2016,37(4):861-870.的融合方法的融合结果和本发明方法相比对比度较低，可将光图像的背景细节信息丢失，无法体现源图像的纹理信息，并且融合图像部分区域存在一定的扭曲与失真现象。
实验4，用本发明的方法和现有的四种融合方法对附图3中4组红外与可见光图像集进行融合实验，附图4(d)融合结果从左及右依次是，文章《一种基于小波变换的图像融合算法》，电子学报，2004,32(5):750-753.文章《Image fusion based on a new contourletpacket》，Information Fusion,2010,11(2):78-84.文章《High-quality fusion forvisible and infrared images based on the double NSCT》，IEEE 7th InternationalCongress on Image and Signal Processing,2014:223-227.文章《基于补偿机制的NSCT域红外与可见光图像融合》，仪器仪表学报,2016,37(4):861-870.和本发明的图像融合结果图。
从附图4(d)可得，本发明的融合方法与现有的四种融合方法相比，在灰度范围和整体亮度上与源图像较为匹配，视觉效果更高，目标和场景更清晰。文章《一种基于小波变换的图像融合算法》，电子学报，2004,32(5):750-753、文章《Image fusion based on anew contourlet packet》，Information Fusion,2010,11(2):78-84、文章《High-qualityfusion for visible and infrared images based on the double NSCT》，IEEE 7thInternational Congress on Image and Signal Processing,2014:223-227和文章《基于补偿机制的NSCT域红外与可见光图像融合》，仪器仪表学报,2016,37(4):861-870.的融合方法的融合结果和本发明方法相比对比度较低，可将光图像的背景细节信息丢失，无法体现源图像的纹理信息，并且融合图像部分区域存在一定的扭曲与失真现象。
将本发明的融合方法与文章1《一种基于小波变换的图像融合算法》，电子学报，2004，32(5)：750-753.文章2《Image fusion based on a new contourlet packet》，Information Fusion，2010，11(2)：78-84.文章3《High-quality fusion for visible andinfrared images based on the double NSCT》，IEEE 7th International Congress onImage and Signal Processing,2014:223-227.文章4《基于补偿机制的NSCT域红外与可见光图像融合》，仪器仪表学报,2016,37(4):861-870.的融合方法在4种图像质量评价指标上进行比较，来客观评价本发明的效果。5种融合方法的融合客观评价指标如下表：
表1“UN Camp”图像集融合质量评价指标对比
表2“Octec”图像集融合质量评价指标对比
表3“Quad”图像集融合质量评价指标对比
表4“Seascape”图像集融合质量评价指标对比
IE表示信息熵，IE最大，表明本发明方法融合结果所包含的信息量最丰富；SSIM表示信息结构相似度，SSIM最大，表明本发明方法融合图像与源图像的相似程度最大，所包含源图像的纹理等细节信息最丰富；SD表示标准差，SD最大，则融合图像灰度分布离散程度最大，对比度更高，且视觉效果更好；PSNR表示峰值信噪比，PSNR最大，反映了融合图像失真程度最小，更加可以凸显红外目标，保留源图像的更多纹理细节信息。
由以上表1～4分析可得，本发明方法融合图像对比度高，目标信息突出，边缘纹理等细节信息更丰富，从主客观评价看，具有更好的融合性能，融合图像质量达到最佳，符合人眼视觉效果，表明了本发明所提方法的有效性。

Claims (1)

1.一种基于增补机制和PCNN的NSCT域图像融合方法，其特征在于包括以下步骤：
步骤一、对已配准的待融合图像A和B分别进行NSCT分解，得到各自的NSCT系数和其中为A图像第j尺度下第k个方向的NSCT高频子带系数，LA为A图像的NSCT低频系数，为B图像第j尺度下第k个方向的NSCT高频子带系数，LB为B图像的NSCT低频系数，j表示NSCT分解尺度，j＝1，2，Λ，J，其中J为最大分解尺度，k表示分解尺度j下的分解方向数，满足k＝2j；
步骤二、按融合规则对步骤一得到的图像A和B各自的NSCT系数和进行融合，得到融合后的NSCT系数，融合规则为：
a.NSCT低频子带系数融合策略；
对NSCT分解的低频子带进行增补机制的小波变换分解的低频部分采用局部加权区域能量进行融合；计算以像素点(i,j)为中心，大小为3×3窗口区域局部加权能量定义如下式：
<mrow> <msub> <mi>E</mi> <mi>L</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> <mn>1</mn> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>y</mi> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> <mn>1</mn> </munderover> <msub> <mi>&amp;omega;</mi> <mi>L</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>L</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>+</mo> <mi>x</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;omega;</mi> <mi>L</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>15</mn> </mfrac> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>2</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> <mtr> <mtd> <mn>2</mn> </mtd> <mtd> <mn>3</mn> </mtd> <mtd> <mn>2</mn> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>2</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
式中SL(i,j)表示低频图像点(i,j)的灰度，ωL(x,y)为局部区域窗口，表示卷积，L表示待融合图像，步骤一中A＝VI,B＝IR,VI是可见光图像，IR是红外图像；图像中的目标物体在红外图像中的局部邻域能量比其在可见光图像中的局部邻域能量大，低频子带融合规则如下式所示：
<mrow> <msubsup> <mi>C</mi> <mi>F</mi> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>C</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;GreaterEqual;</mo> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;omega;</mi> <mn>1</mn> </msub> <mo>*</mo> <msubsup> <mi>C</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>&amp;omega;</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>C</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;GreaterEqual;</mo> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>C</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;omega;</mi> <mn>1</mn> </msub> <mo>*</mo> <msubsup> <mi>C</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>&amp;omega;</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>C</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mo>&amp;le;</mo> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
式中，
<mrow> <msub> <mi>&amp;omega;</mi> <mn>1</mn> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mfrac> <mrow> <mi>k</mi> <mn>1</mn> <mo>*</mo> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>(</mo> <mi>k</mi> <mn>1</mn> <mo>*</mo> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>+</mo> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mfrac> </mtd> <mtd> <mrow> <msubsup> <mi>H</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <msubsup> <mi>H</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mfrac> <mrow> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>(</mo> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>+</mo> <mi>k</mi> <mn>1</mn> <mo>*</mo> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mfrac> </mtd> <mtd> <mrow> <msubsup> <mi>H</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msubsup> <mi>H</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <mo>=</mo> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>A</mi> <mi>v</mi> <mi>e</mi> <mi>r</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>+</mo> <mrow> <mo>(</mo> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>A</mi> <mi>v</mi> <mi>e</mi> <mi>r</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>/</mo> <mi>k</mi> <mn>2</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <mo>=</mo> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>A</mi> <mi>v</mi> <mi>e</mi> <mi>r</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msubsup> <mi>H</mi> <mi>L</mi> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>M</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msub> <mi>p</mi> <mi>i</mi> </msub> <msub> <mi>logp</mi> <mi>i</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
式中，分别是第l层第k个方向对应低频子带融合系数、红外图像和可见光图像的低频子带系数，分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量，分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量的平均值；ω1为权重系数，为图像信息熵，M为图像总的灰度级数，pi＝mi/m为图像中像素灰度值为i的概率，k1，k2为图像权重系数，取k1＝5，k2＝1.6；
由于拉普拉斯分量绝对和SML能够较好的反映图像边缘、纹理等细节信息并且能表示图像的锐化度和清晰度，利用改进的高斯加权SML对增补小波变换分解后的三个方向子带系数分别进行融合；
设经过二维小波变换分解后第l层第k个方向的方向子带系数为Hl,k，SML定义如下：
<mrow> <msup> <mi>SML</mi> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> <mn>1</mn> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> <mn>1</mn> </munderover> <msup> <mrow> <mo>(</mo> <msup> <mi>ML</mi> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msup> <mo>(</mo> <mrow> <mi>i</mi> <mo>+</mo> <mi>m</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>n</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
MLl,k(i,j)＝-Hl,k(i-1,j-1)-4Hl,k(i-1,j)-Hl,k(i-1,j+1)
-4Hl,k(i,j-1)+20Hl,k(i,j)-4Hl,k(i,j+1)
-Hl,k(i+1,j-1)-4Hl,k(i+1,j)-Hl,k(i+1,j+1)(8)
式中采用3×3窗口，采用式(7)计算的SML认为窗口内所有点对SML的贡献一致，无法突出中心的的重要性；采用高斯函数对ML加权求和，高斯函数满足强调中心像素以及距离中心像素越近的像素权值越大的要求，归一化后权值之和为1；高斯函数计算公式如下式所示：
<mrow> <mi>&amp;omega;</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>(</mo> <mo>-</mo> <mfrac> <mrow> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> </mrow> <mrow> <mn>2</mn> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中σ表示方差；
改进的高斯加权SML如下所示：
<mrow> <msup> <mi>NSML</mi> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> <mn>1</mn> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> <mn>1</mn> </munderover> <mi>&amp;omega;</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>ML</mi> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msup> <mo>(</mo> <mrow> <mi>i</mi> <mo>+</mo> <mi>m</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>n</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中，权值函数是按式(9)取值，表示卷积；
引入图像区域锐化度比率，定义如下：
<mrow> <msup> <mi>RRS</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <msup> <mi>STD</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msup> <mo>/</mo> <msup> <mi>MEAN</mi> <mrow> <mi>I</mi> <mi>V</mi> </mrow> </msup> </mrow> <mrow> <msup> <mi>STD</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msup> <mo>/</mo> <msup> <mi>MEAN</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msup> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
其中,
<mrow> <msup> <mi>MEAN</mi> <mi>j</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>m</mi> <mo>&amp;times;</mo> <mi>n</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>a</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>b</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>f</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>STD</mi> <mi>j</mi> </msup> <mo>=</mo> <msqrt> <mrow> <mfrac> <mn>1</mn> <mrow> <mi>m</mi> <mo>&amp;times;</mo> <mi>n</mi> </mrow> </mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mi>j</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>-</mo> <msup> <mi>MEAN</mi> <mi>j</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
式中：j＝VI,IR，m×n表示图像的区域大小，RRSVI,IR表示待融合图像VI和IR的区域锐化度比率，MEANj表示图像的均值，STDj表示图像的方差；
结合不同谱段源图像的方向子带细节信息，利用加权组合的方式融合方向子带系数；设源图像的方向子带系数为则融合后的系数为及权值分别如式(14)、式(15)
<mrow> <msubsup> <mi>H</mi> <mi>F</mi> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>w</mi> <mn>1</mn> <mo>*</mo> <msubsup> <mi>H</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>+</mo> <mi>w</mi> <mn>2</mn> <mo>*</mo> <msubsup> <mi>H</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <msup> <mi>RRS</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> </msup> <mo>&gt;</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>w</mi> <mn>2</mn> <mo>*</mo> <msubsup> <mi>H</mi> <mrow> <mi>I</mi> <mover> <mi>R</mi> <mo>&amp;CenterDot;</mo> </mover> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>+</mo> <mi>w</mi> <mn>1</mn> <mo>*</mo> <msubsup> <mi>H</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <msup> <mi>RRS</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> </msup> <mo>&amp;le;</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow> 2
<mrow> <mi>w</mi> <mn>1</mn> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>NSML</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> </mrow> <mrow> <msubsup> <mi>NSML</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>NSML</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>k</mi> </mrow> </msubsup> </mrow> </mfrac> <mo>,</mo> <mi>w</mi> <mn>2</mn> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mi>w</mi> <mn>1</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
b.NSCT高频子带系数融合策略；
对NSCT高频子带最高层融合：
在图像最高层尺度N上采用改进的高斯加权SML；
对NSCT高频子带其它层融合：
对NSCT高频子带其它层采用改进的脉冲神经网络PCNN的图像融合规则；设改进的PCNN的迭代次数为N，随着迭代次数的增加，各PCNN中外部刺激输入较大的神经元点火次数将会明显增加；完成N次迭代后统计各NSCT变换分解子图像每个像素的点火次数，根据点火次数的大小来选择融合图像系数，然后经过NSCT逆变换得到融合图像；而人眼对边缘信息更敏感，边缘梯度信息能更好地代表图像特征；边缘梯度信息为
<mrow> <msub> <mi>S</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>D</mi> </mrow> </munder> <msup> <mrow> <mo>{</mo> <msup> <mrow> <mo>&amp;lsqb;</mo> <mi>C</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>C</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>&amp;lsqb;</mo> <mi>C</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>C</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>}</mo> </mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> </mrow>
式中，D是以位置(i,j)为中心的周围邻域窗为3×3，对每个子带以滑动窗口为单位计算边缘梯度系数；C(i,j)是像素经过NSCT变换后对应点(i,j)的系数；
在PCNN中，其数学表达式如下：
Fij(n)＝Sij (17)
<mrow> <msub> <mi>L</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>L</mi> </msub> </mrow> </msup> <msub> <mi>L</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>V</mi> <mi>L</mi> </msub> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <msub> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>p</mi> <mi>q</mi> </mrow> </msub> <msub> <mi>Y</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>18</mn> <mo>)</mo> </mrow> </mrow>
Uij(n)＝Fij(n)(1+βLij(n)) (19)
<mrow> <msub> <mi>&amp;theta;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>&amp;theta;</mi> </msub> </mrow> </msup> <msub> <mi>&amp;theta;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>V</mi> <mi>&amp;theta;</mi> </msub> <msub> <mi>Y</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>20</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>Y</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <msub> <mi>U</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <msub> <mi>&amp;theta;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <msub> <mi>U</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msub> <mi>&amp;theta;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>21</mn> <mo>)</mo> </mrow> </mrow>
Tij＝Tij(n-1)+Yij(n) (22)
式中：Fij表示第(i,j)个神经元的反馈输入，Lij表示第(i,j)个神经元的连接输入项，β为突触之间的连接强度，θij为第(i,j)个神经元的动态门限阈值，Uij为第(i,j)个神经元的内部活动项；Yij为第(i,j)个神经元的脉冲输出，Tij为迭代之后第(i,j)个神经元的点火总次数，Yij,pq为第(i,j)个神经元的邻域神经元(p,q)的脉冲输出，n为迭代次数，Sij为第(i,j)个神经元的外部输入刺激信号，Wij,pq为第(i,j)个神经元的连接矩阵中第p行q列元素，αL、αθ分别为连接输入衰减系数和阈值衰减系数，VL、Vθ分别为连接幅值和阈值幅值；
由式(17)～(22)得出，改进型PCNN模型有4个参数β、αθ、Vθ、W；其中W表示的是两个像素间距离平方的导数，神经元ij和神经元pq的连接权重为：
<mrow> <msub> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <mi>p</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>j</mi> <mo>-</mo> <mi>q</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>23</mn> <mo>)</mo> </mrow> </mrow>
改进的PCNN图像融合过程如下：
[1].利用NSCT变换对红外和可见光图像进行分解，得到尺度N以外的其它层带通子带的系数和
[2].用式(16)计算边缘梯度信息，得到图像系数的边缘梯度信息特征系数和用和激励PCNN，根据式(17)～(22)流程分别得到点火次数矩阵和并采取以下融合规则对系数和进行融合处理；
<mrow> <msubsup> <mi>C</mi> <mi>F</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>C</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>T</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <msubsup> <mi>T</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>C</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>T</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <msubsup> <mi>T</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>24</mn> <mo>)</mo> </mrow> </mrow>
步骤三、图像重构；
对融合图像的各子带系数进行NSCT逆变换，得到最终的融合图像。
CN201710322516.1A 2017-05-09 2017-05-09 基于增补机制和pcnn的nsct域图像融合方法 Active CN107194904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710322516.1A CN107194904B (zh) 2017-05-09 2017-05-09 基于增补机制和pcnn的nsct域图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710322516.1A CN107194904B (zh) 2017-05-09 2017-05-09 基于增补机制和pcnn的nsct域图像融合方法

Publications (2)

Publication Number Publication Date
CN107194904A true CN107194904A (zh) 2017-09-22
CN107194904B CN107194904B (zh) 2019-07-19

Family

ID=59873640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710322516.1A Active CN107194904B (zh) 2017-05-09 2017-05-09 基于增补机制和pcnn的nsct域图像融合方法

Country Status (1)

Country Link
CN (1) CN107194904B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886488A (zh) * 2017-12-04 2018-04-06 国网山东省电力公司电力科学研究院 基于改进pcnn补偿的auv图像融合方法、处理器及系统
CN108230260A (zh) * 2017-12-06 2018-06-29 天津津航计算技术研究所 一种新型红外图像与微光图像的融合方法
CN108389158A (zh) * 2018-02-12 2018-08-10 河北大学 一种红外和可见光的图像融合方法
CN108399611A (zh) * 2018-01-31 2018-08-14 西北工业大学 基于梯度正则化的多聚焦图像融合方法
CN108648174A (zh) * 2018-04-04 2018-10-12 上海交通大学 一种基于自动对焦技术的多层图像融合方法及系统
CN108921809A (zh) * 2018-06-11 2018-11-30 上海海洋大学 整体原则下基于空间频率的多光谱和全色图像融合方法
CN109063729A (zh) * 2018-06-20 2018-12-21 上海电力学院 一种基于pso-nsct的多传感器图像融合方法
CN109242812A (zh) * 2018-09-11 2019-01-18 中国科学院长春光学精密机械与物理研究所 基于显著性检测与奇异值分解的图像融合方法及装置
CN109242813A (zh) * 2018-09-11 2019-01-18 中国科学院长春光学精密机械与物理研究所 基于潜在低秩表示与nsst的图像融合方法及装置
CN109242888A (zh) * 2018-09-03 2019-01-18 中国科学院光电技术研究所 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法
CN109360179A (zh) * 2018-10-18 2019-02-19 上海海事大学 一种图像融合方法、装置及可读存储介质
CN109509164A (zh) * 2018-09-28 2019-03-22 洛阳师范学院 一种基于gdgf的多传感器图像融合方法及系统
CN109584192A (zh) * 2018-10-19 2019-04-05 中国人民解放军海军工程大学 基于多光谱融合的目标特征增强方法、装置与电子设备
CN109801248A (zh) * 2018-12-18 2019-05-24 重庆邮电大学 一个基于非下采样剪切变换的新型图像融合方法
CN109978802A (zh) * 2019-02-13 2019-07-05 中山大学 基于nsct和pcnn的压缩感知域内的高动态范围图像融合方法
CN110298807A (zh) * 2019-07-05 2019-10-01 福州大学 基于改进Retinex及量子菌群算法的NSCT域红外图像增强方法
CN110874581A (zh) * 2019-11-18 2020-03-10 长春理工大学 细胞工厂生物反应器图像融合方法
CN111951200A (zh) * 2019-05-15 2020-11-17 杭州海康威视数字技术股份有限公司 摄像设备、图像融合方法、装置和存储介质
WO2021102644A1 (zh) * 2019-11-25 2021-06-03 中国科学院深圳先进技术研究院 图像增强方法、装置及终端设备
CN113240616A (zh) * 2021-05-27 2021-08-10 云南大学 一种脑部医学图像融合方法及系统
CN113269704A (zh) * 2021-06-29 2021-08-17 南昌航空大学 一种红外与可见光图像融合方法
CN113822833A (zh) * 2021-09-26 2021-12-21 沈阳航空航天大学 基于卷积神经网络和区域能量的红外与可见光图像频域融合方法
CN116091882A (zh) * 2023-03-28 2023-05-09 中国科学院光电技术研究所 一种基于自适应双通道pcnn的偏振图像融合方法
CN117252794A (zh) * 2023-09-25 2023-12-19 徐州医科大学 一种在频域内多波长透射图像融合装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985105A (zh) * 2014-02-20 2014-08-13 江南大学 基于统计建模的Contourlet域多模态医学图像融合方法
CN104616252A (zh) * 2015-01-09 2015-05-13 安徽师范大学 基于nsct和pcnn的数字图像增强方法
CN105551010A (zh) * 2016-01-20 2016-05-04 中国矿业大学 基于nsct及深度信息激励pcnn的多聚焦图像融合方法
CN106327459A (zh) * 2016-09-06 2017-01-11 四川大学 基于udct和pcnn的可见光与红外图像融合算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985105A (zh) * 2014-02-20 2014-08-13 江南大学 基于统计建模的Contourlet域多模态医学图像融合方法
CN104616252A (zh) * 2015-01-09 2015-05-13 安徽师范大学 基于nsct和pcnn的数字图像增强方法
CN105551010A (zh) * 2016-01-20 2016-05-04 中国矿业大学 基于nsct及深度信息激励pcnn的多聚焦图像融合方法
CN106327459A (zh) * 2016-09-06 2017-01-11 四川大学 基于udct和pcnn的可见光与红外图像融合算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANISHA MOHAMMED等: "A novel medical image fusion scheme employing sparse representation and dual PCNN in the NSCT domain", 《REGION 10 CONFERENCE (TENCON), 2016 IEEE》 *
JINGJING WANG等: "A novel multi-focus image fusion method using PCNN in nonsubsampled contourlet transform domain", 《OPTIK》 *
刘帅奇等: "基于NSST和高斯混合模型的医学图像融合算法", 《视频应用与工程》 *
陈震等: "基于补偿机制的NSCT域红外与可见光图像融合", 《视觉测量与图像处理》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886488A (zh) * 2017-12-04 2018-04-06 国网山东省电力公司电力科学研究院 基于改进pcnn补偿的auv图像融合方法、处理器及系统
CN108230260A (zh) * 2017-12-06 2018-06-29 天津津航计算技术研究所 一种新型红外图像与微光图像的融合方法
CN108230260B (zh) * 2017-12-06 2021-03-30 天津津航计算技术研究所 一种红外图像与微光图像的融合方法
CN108399611B (zh) * 2018-01-31 2021-10-26 西北工业大学 基于梯度正则化的多聚焦图像融合方法
CN108399611A (zh) * 2018-01-31 2018-08-14 西北工业大学 基于梯度正则化的多聚焦图像融合方法
CN108389158A (zh) * 2018-02-12 2018-08-10 河北大学 一种红外和可见光的图像融合方法
CN108648174A (zh) * 2018-04-04 2018-10-12 上海交通大学 一种基于自动对焦技术的多层图像融合方法及系统
CN108921809B (zh) * 2018-06-11 2022-02-18 上海海洋大学 整体原则下基于空间频率的多光谱和全色图像融合方法
CN108921809A (zh) * 2018-06-11 2018-11-30 上海海洋大学 整体原则下基于空间频率的多光谱和全色图像融合方法
CN109063729A (zh) * 2018-06-20 2018-12-21 上海电力学院 一种基于pso-nsct的多传感器图像融合方法
CN109242888A (zh) * 2018-09-03 2019-01-18 中国科学院光电技术研究所 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法
CN109242888B (zh) * 2018-09-03 2021-12-03 中国科学院光电技术研究所 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法
CN109242812A (zh) * 2018-09-11 2019-01-18 中国科学院长春光学精密机械与物理研究所 基于显著性检测与奇异值分解的图像融合方法及装置
CN109242813A (zh) * 2018-09-11 2019-01-18 中国科学院长春光学精密机械与物理研究所 基于潜在低秩表示与nsst的图像融合方法及装置
CN109509164A (zh) * 2018-09-28 2019-03-22 洛阳师范学院 一种基于gdgf的多传感器图像融合方法及系统
CN109509164B (zh) * 2018-09-28 2023-03-28 洛阳师范学院 一种基于gdgf的多传感器图像融合方法及系统
CN109360179A (zh) * 2018-10-18 2019-02-19 上海海事大学 一种图像融合方法、装置及可读存储介质
CN109584192A (zh) * 2018-10-19 2019-04-05 中国人民解放军海军工程大学 基于多光谱融合的目标特征增强方法、装置与电子设备
CN109801248A (zh) * 2018-12-18 2019-05-24 重庆邮电大学 一个基于非下采样剪切变换的新型图像融合方法
CN109978802A (zh) * 2019-02-13 2019-07-05 中山大学 基于nsct和pcnn的压缩感知域内的高动态范围图像融合方法
CN111951200A (zh) * 2019-05-15 2020-11-17 杭州海康威视数字技术股份有限公司 摄像设备、图像融合方法、装置和存储介质
CN111951200B (zh) * 2019-05-15 2023-11-14 杭州海康威视数字技术股份有限公司 摄像设备、图像融合方法、装置和存储介质
CN110298807A (zh) * 2019-07-05 2019-10-01 福州大学 基于改进Retinex及量子菌群算法的NSCT域红外图像增强方法
CN110874581A (zh) * 2019-11-18 2020-03-10 长春理工大学 细胞工厂生物反应器图像融合方法
WO2021102644A1 (zh) * 2019-11-25 2021-06-03 中国科学院深圳先进技术研究院 图像增强方法、装置及终端设备
CN113240616A (zh) * 2021-05-27 2021-08-10 云南大学 一种脑部医学图像融合方法及系统
CN113269704A (zh) * 2021-06-29 2021-08-17 南昌航空大学 一种红外与可见光图像融合方法
CN113822833A (zh) * 2021-09-26 2021-12-21 沈阳航空航天大学 基于卷积神经网络和区域能量的红外与可见光图像频域融合方法
CN113822833B (zh) * 2021-09-26 2024-01-16 沈阳航空航天大学 基于卷积神经网络和区域能量的红外与可见光图像频域融合方法
CN116091882A (zh) * 2023-03-28 2023-05-09 中国科学院光电技术研究所 一种基于自适应双通道pcnn的偏振图像融合方法
CN116091882B (zh) * 2023-03-28 2023-12-22 中国科学院光电技术研究所 一种基于自适应双通道pcnn的偏振图像融合方法
CN117252794A (zh) * 2023-09-25 2023-12-19 徐州医科大学 一种在频域内多波长透射图像融合装置
CN117252794B (zh) * 2023-09-25 2024-04-16 徐州医科大学 一种在频域内多波长透射图像融合装置

Also Published As

Publication number Publication date
CN107194904B (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN107194904A (zh) 基于增补机制和pcnn的nsct域图像融合方法
CN109784242A (zh) 基于一维残差卷积神经网络的脑电信号去噪方法
CN106327459A (zh) 基于udct和pcnn的可见光与红外图像融合算法
CN103985105B (zh) 基于统计建模的Contourlet域多模态医学图像融合方法
CN104616261B (zh) 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法
CN105551010A (zh) 基于nsct及深度信息激励pcnn的多聚焦图像融合方法
CN107909109A (zh) 基于显著性和多尺度深度网络模型的sar图像分类方法
CN109102485A (zh) 基于nsst和自适应双通道pcnn的图像融合方法及装置
CN107424145A (zh) 基于三维全卷积神经网络的核磁共振图像的分割方法
CN110473142A (zh) 基于深度学习的单幅图像超分辨率重建方法
CN103295201A (zh) 一种基于nsst域iicm的多传感器图像融合方法
CN112785539B (zh) 基于图像自适应分解及参数自适应的多聚焦图像融合方法
CN109410157A (zh) 基于低秩稀疏分解和pcnn的图像融合方法
CN109242812A (zh) 基于显著性检测与奇异值分解的图像融合方法及装置
CN107886488A (zh) 基于改进pcnn补偿的auv图像融合方法、处理器及系统
CN109410149A (zh) 一种基于并行特征提取的cnn去噪方法
CN109816630A (zh) 基于迁移学习的fMRI视觉编码模型构建方法
CN110660063A (zh) 多图像融合的肿瘤三维位置精准定位系统
CN109272477A (zh) 一种基于nsst与自适应双通道pcnn的融合方法以及融合处理器
CN106981059A (zh) 结合pcnn和压缩感知的二维经验模态分解图像融合方法
CN103632341A (zh) 一种塔式分解和字典学习的带噪cs-mri重构方法
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN104616252A (zh) 基于nsct和pcnn的数字图像增强方法
CN106485684A (zh) 一种基于双树复小波变换的单幅图像去云雾方法
CN106254720A (zh) 一种基于联合正则化的视频超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant