CN114897757A - 一种基于nsst和参数自适应pcnn的遥感图像融合方法 - Google Patents
一种基于nsst和参数自适应pcnn的遥感图像融合方法 Download PDFInfo
- Publication number
- CN114897757A CN114897757A CN202210656552.2A CN202210656552A CN114897757A CN 114897757 A CN114897757 A CN 114897757A CN 202210656552 A CN202210656552 A CN 202210656552A CN 114897757 A CN114897757 A CN 114897757A
- Authority
- CN
- China
- Prior art keywords
- fusion
- image
- gradient
- representing
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000003595 spectral effect Effects 0.000 claims abstract description 38
- 230000003044 adaptive effect Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 11
- 238000001228 spectrum Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 241001347978 Major minor Species 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 16
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000000717 retained effect Effects 0.000 abstract description 3
- 238000000513 principal component analysis Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000014759 maintenance of location Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于NSST和参数自适应PCNN的遥感图像融合方法，属于多光谱和全色遥感图像融合技术领域，包括以下步骤：自适应加权平均计算多光谱强度分量、光谱估计、NSST分解、低频系数融合、高频系数融合、对融合后的系数进行NSST逆变换、图像重构。本发明采用上述一种基于NSST和参数自适应PCNN的遥感图像融合方法，解决了融合图像空间失真和光谱失真的问题，在主观视觉效果和客观评价方面都取得较好的结果，在增强空间细节表现能力和提升空间分辨率的同时有效的保留了多光谱图像的光谱信息。
Description
技术领域
本发明涉及多光谱和全色遥感图像融合技术领域，尤其是涉及一种基于NSST和参数自适应PCNN的遥感图像融合方法。
背景技术
遥感图像可以从不同的卫星上获得，但是由于卫星内置光学传感器的限制，只能获得具有高空间分辨率但光谱分辨率低的全色图像和具有互补特性的多光谱图像，阻碍对图像的进一步理解。所以，有必要应用全色锐化方法融合多光谱和全色图像，得到高空间分辨率和光谱分辨率的融合图像。
到目前为止，已经提出了许多全色锐化方法。基于替代(ComponentSubstitution，CS)的方法，如主成分分析方法、强度-色调-饱和度(Intensity-Hue-Saturation，IHS)方法，但是这些方法会造成严重的光谱失真。Khan等联合Brovey和Laplacian滤波器进行全色锐化。Yu等应用多凸优化框架解决全色锐化问题。Zhang等联合显著性分析和改进IHS进行全色锐化。Chen等将全色锐化问题转化为多目标优化问题进行求解。全色锐化也被描述为一种压缩感知重建问题，但是计算复杂度高。
基于多尺度分析(Multi Resolution Analysis，MRA)的方法在全色锐化领域引起了人们的兴趣，其从全色图像中提取空间细节信息，然后注入到多光谱图像的每个频带。与CS方法相比，MRA方法可以保留图像的光谱特征，但存在空间失真问题，如振铃或阶梯现象等。
为了克服MRA和CS方法的局限性，尝试联合CS和MRA方法融合多光谱和全色图像。Cheng等人联合IHS和小波变换进行融合,改善了融合图像的光谱信息。Dong等人将IHS变换与Curvelet变换结合进行融合。Ourabia等人利用增强的主成分分析和非下采样轮廓波变换进行融合。
近些年来，结合深度学习技术的融合算法得到了发展。Zhou等利用深度学习技术增强对比度，合成全色图像，以在保持空间细节的同时减少光谱失真。Xiong等设计适用于全色锐化的损失函数和能够提取原始图像光谱和空间特征的四层卷积神经网络。Xiong等采用深度卷积神经网络学习全色图像和全色图像的光谱信息，并用光谱角控制光谱损失。Xu等提出基于模型的深度全色锐化方法。Xing等提出一种双协同融合模型。
虽然现有的融合算法在许多方面表现良好，但仍有一些方面需要改进。例如基于深度学习的方法为了让模型达到较好的效果，往往需要非常多的训练数据，但是规范的遥感数据很少。不同的遥感卫星获取的数据类型也不一样，无法同时训练。此外，模型训练需要大量的时间，实验环境配置要求更高，网络调整的实时性较差。其他方法很难同时增强空间细节和光谱信息，会发生一定程度上的空间失真和光谱失真。
发明内容
本发明的目的是提供一种基于NSST和参数自适应PCNN的遥感图像融合方法，解决了融合图像空间失真和光谱失真的问题，在主观视觉效果和客观评价方面都取得较好的结果，在增强空间细节表现能力和提升空间分辨率的同时有效的保留了多光谱图像的光谱信息。
为实现上述目的，本发明提供了一种基于NSST和参数自适应PCNN的遥感图像融合方法，包括以下步骤：
S1、自适应加权平均计算多光谱强度分量：采用基于加权拉普拉斯能量和的自适应加权平均方法，用于多光谱图像各波段融合生成强度分量I，加权拉普拉斯能量和利用水平、垂直以及主副对角线方向的八邻域内多个像素点，依据距离中心像素距离赋予恰当的权重，加权之后参与计算，加权拉普拉斯能量和作为空间域的清晰度、边缘特征信息指标，能量和较大的像素被认为是权重更大的信息，在融合过程中赋予更大的权重，根据加权拉普拉斯能量和设计自适应加权平均的系数ωi：
其中n是多光谱图像的波段，WSMLi表示多光谱图像第i个波段的加权拉普拉斯能量和；
S2、光谱估计：
将I作为初始α通道，根据如下公式计算前景图像F和背景图像B，F和B包含光谱信息，后续步骤是通过融合从全色图像中获得空间细节信息：
其中i是第i颜色通道，
αix和αiy值是光谱前景Fk、光谱背景Bk和α的水平和垂直导数；
S3、NSST分解：
对I和全色图像分别进行NSST分解，得到相应的不同尺度和方向的子带系数,后续根据低频子带系数和各高频子带系数特点，实施不同的融合策略；
S4、低频系数融合：
将加权拉普能量和以及局部多向梯度结合起来的融合规则，融合规则表示如下：
C＝wIM+wPP (4)
M和LMGI，SMLI，wI分别表示I的低频系数、局部多方向梯度值、加权的拉普拉斯能量和、融合权重，P和LMGP，SMLP，wP表示全色图像的低频系数、局部多方向梯度值、加权的拉普拉斯能量和、融合权重，C为融合结果；
采用局部多向梯度和加权拉普拉斯能量和结合的自适应加权平均融合规则，对低频系数进行融合，得到低频融合系数
和
其中
和
为低频子带系数，
和
表示第j个尺度，第n个方向高频子带系数；
S5、高频系数融合：
将参数自适应脉冲耦合神经网络(PA-PCNN)模型引入到图像融合过程，采用局部多方向梯度激励的参数自适应脉冲耦合神经网络作为融合规则融合高频系数，将每个高频系数的局部多方向梯度值作为PCNN的输入，PCNN模型中有5个自由参数：αf，β，VL，VE，αe，用λ＝βVL表示加权的连接强度，模型中的自由参数根据输入信息进行自适应计算，以下公式为具体计算方法：
其中σ(S)为范围[0,1]的输入图像S的标准差，S'和Smax分别表示归一化后的最大类间方差法阈值和输入图像的最大强度，当达到最大迭代次数时，迭代停止，得到I和全色图像的各个高频系数的点火次数总和
和
采用点火次数取大进行融合，得到高频系数的融合结果
融合规则如下：
式中，j、n分别是图像的分解级数和方向数，
代表像素点(x,y)处融合后的高频系数值，
代表I中像素点(x,y)处的高频系数值，
代表全色图像中像素点(x,y)处的高频系数值；
S6、对融合后的系数进行NSST逆变换：将高频系数和低频系数的融合结果，进行NSST逆变换，得到变换结果Fused，作为最终参与重构的α'；
S7、图像重构:根据如下公式，通过组合α'、F和B来重构得到最终的融合结果:
Ii＝αiFi+(1-αi)Bi (12)
其中Fi是第i个像素的前景颜色，Bi是第i个像素的背景颜色，Ii第i个像素的颜色。
优选的，所述步骤S4中加权拉普能量和具体为加权拉普拉斯能量和(WSML)算法增加了正副对角线方向，在水平、垂直和主副对角线共八邻域方向上计算每个像素点的变步长拉普拉斯能量值，八个方向中，距离中心像素点越近，对拉普拉斯能量值贡献越大，距离中心像素点越远，对拉普拉斯能量值贡献越小，距离的远近根据欧几里得距离进行评判，WSML设定水平和垂直方向对拉普拉斯能量值贡献权值为
主副对角线方向的拉普拉斯能量值贡献权值设为1，
ωk表示以像素k为中心的局部位置，步长为1，(i,j)表示像素位置，WSML在像素(i,j)上的定义如下：
优选的，所述步骤S3中局部多方向梯度具体为局部多方向梯度(LMG)反映水平、垂直方向像素点梯度和正副对角线方向像素点梯度，对原图周边补充常数0值填充像素，进行扩展，根据距离中心像素距离确定位置加权系数，构造水平、垂直以及主副对角线多方向梯度滤波算子，从原图的矩阵左上角开始平移，利用多方向梯度滤波算子在该矩阵上进行计算，对应元素相乘后求和，得到一个数值，即可作为中心像素梯度值，分别计算水平、垂直以及主副对角线方向的梯度值，将各个方向梯度取绝对值之后求和，即为中心像素的局部多方向梯度值，hx为水平方向梯度滤波算子，hy为垂直方向梯度滤波算子，hm为主对角线方向梯度滤波算子，hn为副对角线方向梯度滤波算子，
将各个方向的梯度值取绝对值之后求和，即为中心像素的局部多方向梯度值：
LMGij＝|Gx|+|Gy|+|Gm|+|Gn| (17)
其中Gx表示水平方向梯度值，Gy表示垂直方向梯度值，Gm表示主对角线方向梯度值，Gn表示副对角线方向梯度值。
因此，本发明采用上述一种基于NSST和参数自适应PCNN的遥感图像融合方法，具备以下有益效果：
(1)本发明受图像抠图模型良好性能的启发，将该模型引入到多光谱图像与全色图像的融合中，但是在遥感成像过程中，由于信噪比不同，全色图像和多光谱图像的特征并不完全相同，直接使用全色图像代替原α通道可能会导致光谱畸变。所以，本发明将全色图像与多光谱强度分量I分量进行融合，融合后的图像可以作为新的α通道，根据图像抠图模型，将光谱前景图像和光谱背景图像线性组合，获得高分辨率的多光谱图像。
(2)本发明在对原图像进行NSST分解的基础上，根据高低频系数信息的不同特点，设计针对其特点的融合规则，在高频系数融合中引入了PA-PCNN模型，将每个高频系数的局部多方向梯度值作为输入，采用点火次数取最大的融合规则。PCNN模型中的所有自由参数都能根据输入信息进行自适应计算，且具有较快的收敛速度。
(3)本发明结合局部多方向梯度和加权拉普拉斯能量和设计低频系数融合策略，同时解决了图像融合中的两个关键问题，即能量保存和细节提取。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的融合流程图；
图2为局部多方向梯度计算简化流程图；
图3为MS和PAN图像的三个图像对；
图4为十种不同方法在第一组图像上的融合结果：(1)BT；(2)GSA；(3)GF；(4)IHS；(5)CT；(6)PCA；(7)PRACS；(8)NSST-SR；(9)BDSD-PC；(10)WT；(11)本发明的方法；(12)参考的多光谱图像；
图5为十种不同方法在第二组图像上的融合结果：(1)BT；(2)GSA；(3)GF；(4)IHS；(5)CT；(6)PCA；(7)PRACS；(8)NSST-SR；(9)BDSD-PC；(10)WT；(11)本发明的方法；(12)参考的多光谱图像；
图6为十种不同方法在第三组图像上的融合结果：(1)BT；(2)GSA；(3)GF；(4)IHS；(5)CT；(6)PCA；(7)PRACS；(8)NSST-SR；(9)BDSD-PC；(10)WT；(11)本发明的方法；(12)参考的多光谱图像。
具体实施方式
本发明提供了一种基于NSST和参数自适应PCNN的遥感图像融合方法，包括如下步骤：
(1)自适应加权平均计算多光谱强度分量：
如果采用简单的平均规则，会降低融合图像的对比度，丢失原图像的一些细节、纹理、轮廓等重要信息，所以有必要采用加权平均的方法进行融合。加权系数的准确选择决定了融合图像的质量，本发明采用基于加权拉普拉斯能量和的自适应加权平均方法，用于多光谱图像各波段融合生成强度分量I。
图像的邻近像素之间存在较大的相关性，任何单个像素都无法准确表达局部的区域特征，加权拉普拉斯能量和充分利用局部区域包括水平、垂直以及主副对角线方向的八邻域内多个像素点，依据距离中心像素距离赋予恰当的权重，加权之后参与计算，加权拉普拉斯能量和可以作为空间域的清晰度、边缘特征信息指标，能量和较大的像素被认为是权重更大的信息，如边缘或更清晰的区域信息，在融合过程中赋予更大的权重。因此，本发明根据加权拉普拉斯能量和设计自适应加权平均的系数ωi。
其中n是多光谱图像的波段，WSMLi表示多光谱图像第i个波段的加权拉普拉斯能量和。
(2)光谱估计：
将I作为初始α通道，根据如下公式计算前景图像F和背景图像B，方便后续利用F、B进行图像重构。F和B包含丰富的光谱信息，但不包含空间信息，后续步骤的主要目的是通过融合从全色图像中获得空间细节信息。
Ii＝αiFi+(1-αi)Bi (3)
(3)NSST分解：
对I和全色图像分别进行NSST分解，得到相应的不同尺度和方向的子带系数,后续根据低频子带系数和各高频子带系数特点，实施不同的融合策略。
(4)低频系数融合
为了从低频分量图像中提取细节特征和保存结构化信息，本发明提出将加权拉普能量和以及局部多向梯度结合起来的融合规则，联合度量低频系数的结构信息和细节信息，能更详细、更结构化地提取源图像的信息。该融合规则可以更好地保留低频能量，保留源图像更多的细节信息、边缘信息、重要轮廓等，也可以显著提高融合图像的视觉效果。
M和LMGI，SMLI，wI分别表示I的低频系数、局部多方向梯度值、加权的拉普拉斯能量和、融合权重，P和LMGP，SMLP，wP表示全色图像的低频系数、局部多方向梯度值、加权的拉普拉斯能量和、融合权重，C为融合结果。融合规则可以表示如下。
C＝wIM+wPP (4)
其中：
采用局部多向梯度和加权拉普拉斯能量和结合的自适应加权平均融合规则，对低频系数进行融合，得到低频融合系数
和
其中
和
为低频子带系数，
和
表示第j个尺度，第n个方向高频子带系数。
(5)高频系数融合：
将参数自适应脉冲耦合神经网络(Parameter Adaptive Pulse Coupled NeuralNetwork，PA-PCNN)模型引入到图像融合过程，采用局部多方向梯度激励的参数自适应脉冲耦合神经网络作为融合规则融合高频系数，将每个高频系数的局部多方向梯度值作为PCNN的输入。PCNN模型中有5个自由参数：αf，β，VL，VE，αe，用λ＝βVL表示加权的连接强度，因此实际上有四个参数，以下公式为具体计算方法。模型中的所有自由参数都能根据输入信息进行自适应计算，解决了传统PCNN模型中设置自由参数困难。
其中σ(S)为范围[0,1]的输入图像S的标准差。S'和Smax分别表示归一化后的最大类间方差法阈值和输入图像的最大强度。
当达到最大迭代次数时，迭代停止，得到I和全色图像的各个高频系数的点火次数总和
和
采用点火次数取大进行融合，得到高频系数的融合结果
融合规则如下：
式中，j、n分别是图像的分解级数和方向数，
代表像素点(x,y)处融合后的高频系数值，
代表I中像素点(x,y)处的高频系数值，
代表全色图像中像素点(x,y)处的高频系数值。
(6)对融合后的系数进行NSST逆变换：
将高频系数和低频系数的融合结果，进行NSST逆变换，得到变换结果Fused，作为最终参与重构的α'。
(7)图像重构：
根据如下公式，通过组合α'、F和B来重构得到最终的融合结果。
Ii＝αiFi+(1-αi)Bi (12)
经过上面步骤之后，便能得到最终的融合结果，本发明的流程图如图1。
补充说明：
1.加权拉普拉斯能量和
传统拉普拉斯能量和(Sum of Modified Laplacian,SML)算法只在水平和垂直方向上计算每个像素点的变步长拉普拉斯能量值，而加权拉普拉斯能量和(Weighted Sum ofModified Laplacian，WSML)算法增加了正副对角线方向，在水平、垂直和主副对角线共八邻域方向上计算每个像素点的变步长拉普拉斯能量值。八个方向中，距离中心像素点越近，对拉普拉斯能量值贡献越大，距离中心像素点越远，对拉普拉斯能量值贡献越小，距离的远近根据欧几里得距离进行评判。因此，WSML设定水平和垂直方向对拉普拉斯能量值贡献权值为
由于主副对角线方向离中心像素点的距离比水平和垂直方向更远，贡献较小，相应的拉普拉斯能量值贡献权值设为1。
ωk表示以像素k为中心的局部位置，本次步长选为1，(i,j)表示像素位置，因此WSML在像素(i,j)上的定义如下：
2.局部多方向梯度
图像的边缘部分、纹理变化、微小的细节反差，其灰度值变化较大，梯度值也较大。局部多方向梯度(Local Multi-orientation Gradient，LMG)不仅可以反映水平、垂直方向像素点梯度，还可以反映正副对角线方向像素点梯度，能全面反映图像中边缘部分、纹理部分等细节信息。
首先对原图周边补充常数0值填充像素，进行扩展，方便处理边界。根据距离中心像素距离确定位置加权系数，构造水平、垂直以及主副对角线多方向梯度滤波算子，从原图的矩阵左上角开始平移，利用多方向梯度滤波算子在该矩阵上进行计算，对应元素相乘后求和，得到一个数值，即可作为中心像素梯度值，分别计算水平、垂直以及主副对角线方向的梯度值，将各个方向梯度取绝对值之后求和，即为中心像素的局部多方向梯度值。hx为水平方向梯度滤波算子，hy为垂直方向梯度滤波算子，hm为主对角线方向梯度滤波算子，hn为副对角线方向梯度滤波算子。
图2展示了填充像素扩展以及多方向滤波的简化过程。
水平方向梯度值简化计算过程：
垂直方向梯度值简化计算过程：
主对角线方向梯度值简化计算过程：
副对角线方向梯度值简化计算过程：
将各个方向的梯度值取绝对值之后求和，即为中心像素的局部多方向梯度值：
LMGij＝|Gx|+|Gy|+|Gm|+|Gn| (21)
以下通过附图和实施例对本发明的技术方案作进一步说明。
实施例
为了说明本发明的有效性，特进行如下实验论证：
本发明使用了一个包含27组图像的数据集进行实验，这些图像是由LANDSAT 7ETM+拍摄的。数据集的图像大小为400×400像素，在6个波段(红、绿、蓝、近红外、中红外和短波红外)工作。多光谱图像的空间分辨率为30m，全色图像的空间分辨率为15m。由于数据集中没有高分辨率的MS图像作为参考图像，所以我们先将原始的多光谱图像进行上采样，得到像素大小为400×400的多光谱图像。接着，将像素大小为400×400的多光谱图像和全色图像进行下采样，得到像素大小为200×200的多光谱图像和全色图像作为实验图像。随机选择三组不同场景的数据进行对照实验。最后，将原始MS图像作为参考图像，与各方法融合后的图像进行比较。图3展示了三组MS和PAN图像，随后将用于实验分析。
本发明将十种具有代表性的融合方法：(1)BT(Brovey Transform-basedmethod)；(2)GSA(Gram Schmidt Adaptive-based method)；(3)GF(Guided Filter-basedmethod)；(4)IHS(Intensity-Hue-Saturation-based method)；(5)CT(CurveletTransform-based method)；(6)PCA(Principal Component Analysis-based method)；(7)PRACS(Partial Replacement Adaptive Component Substitution-based method)；(8)NSST-SR(NSST and Sparse Representation-based method)；(9)BDSD-PC(Banddependent Spatial-detail with Physical Constrains-based method)；(10)WT(Wavelet Transform-based method)和本发明的融合方法进行比较。
通常可以通过主观评价和客观评价来衡量一种遥感图像融合方法的性能。在进行主观评价时，通常会考虑目标的清晰度以及融合图像与原始多光谱图像光谱的接近程度。然而，仅凭主观评价难以对融合质量进行准确比较。为了对图像融合方法进行定量评价，采用若干指标来评价不同融合方法的性能。在对照实验中，使用六个众所周知的客观评价指标，并详细介绍如下。
(1)相关系数(Correlation Coefficient，CC)计算参考图像和融合结果之间的相关性。该值越大，表示融合结果越接近参考图像，理想值是1。
(2)光谱角制图(Spectral Angle Mapper，SAM)反映融合图像和参考图像之间的光谱失真。SAM值越小，融合图像中的光谱失真越小。
(3)光谱信息散度(Spectral Information Divergence，SID)评测光谱之间的差异，理想值为0。
(4)无参考质量评价指标(Quality with No Reference，QNR)可以在没有参考图像的情况下评估融合图像的质量，由光谱失真指数Dλ、空间失真指数DS和全局QNR值三部分组成。对于全局QNR，值越大则融合效果越好，理想值为1。
(5)Dλ是QNR的亚度量，可以测量光谱失真。其值越小，融合效果越好，理想值为0。
(6)DS是QNR的亚度量，可以测量空间畸变。其值越小，融合效果越好，理想值为0。
图4、5、6中的(1)-(11)分别给出第一组图像、第二组图像、第三组图像分别经(1)BT；(2)GSA；(3)GF；(4)IHS；(5)CT；(6)PCA；(7)PRACS；(8)NSST-SR；(9)BDSD-PC；(10)WT方法与本发明的方法得到的融合结果，并与参考的多光谱图像(12)作对比。为了更加直观地比较融合结果之间的差异，还对融合结果细节进行局部放大，放大图像置于图像中右下角。表1、2、3分别列出三组图像融合结果的六种包含光谱和空间质量评价的客观指标数值，对于所有的融合质量评价标准，最好的结果以红色粗体显示。
表1 第一组图像融合结果的客观评价
表2 第二组图像融合结果的客观评价
表3 第三组图像融合结果的客观评价
从图4、图5、图6中可以看出，BT、GSA、GF、PCA方法的融合图像空间细节比较清晰，比较完整的保留了全色图像的空间细节信息，但是在整体区域出现光谱失真，和参考多光谱图像相比颜色发生改变，在局部放大区域比较明显。WT方法的融合图像空间细节较其他方法失真较为严重。其余方法保持了较好的光谱特性，但是局部放大部分空间细节比较模糊。从主观视觉角度分析，本发明的空间细节更加清晰，在改善空间细节的同时具有很好的光谱保持特性。
从表1、2、3中可以看出，本发明在六个评价指标中的CC、SID、DS、QNR上表现最好，尤其是QNR值，在所有方法中遥遥领先，比较接近最优值1。Dλ和SAM值也都较小，和最优方法相比差别不大。从客观评价指标角度分析，本发明具有良好的空间细节保持特性和光谱保持特性，整体效果较好。
综合本发明在第一、二、三组图像融合结果的客观评价指标数值、整体以及局部放大视觉效果，本发明在六个评价指标中的CC、SID、DS、QNR上表现较好，空间细节更加清晰且没有光谱失真，具有良好的空间细节保持特性和光谱保持特性，证明本发明在视觉感知和客观评价方面都能达到较好的效果，能够在保留多光谱图像更多光谱信息的同时，从全色图像中获得更多的空间细节，验证了本发明的有效性。
因此，本发明采用上述一种基于NSST和参数自适应PCNN的遥感图像融合方法，解决了融合图像空间失真和光谱失真的问题，在主观视觉效果和客观评价方面都取得较好的结果，在增强空间细节表现能力和提升空间分辨率的同时有效的保留了多光谱图像的光谱信息。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (3)
1.一种基于NSST和参数自适应PCNN的遥感图像融合方法，其特征在于，包括以下步骤：
S1、自适应加权平均计算多光谱强度分量：采用基于加权拉普拉斯能量和的自适应加权平均方法，用于多光谱图像各波段融合生成强度分量I，加权拉普拉斯能量和利用水平、垂直以及主副对角线方向的八邻域内多个像素点，依据距离中心像素距离赋予恰当的权重，加权之后参与计算，加权拉普拉斯能量和作为空间域的清晰度、边缘特征信息指标，能量和较大的像素被认为是权重更大的信息，在融合过程中赋予更大的权重，根据加权拉普拉斯能量和设计自适应加权平均的系数ωi：
其中n是多光谱图像的波段，WSMLi表示多光谱图像第i个波段的加权拉普拉斯能量和；
S2、光谱估计：
将I作为初始α通道，根据如下公式计算前景图像F和背景图像B，F和B包含光谱信息，后续步骤是通过融合从全色图像中获得空间细节信息：
其中i是第i颜色通道，
αix和αiy值是光谱前景Fk、光谱背景Bk和α的水平和垂直导数；
S3、NSST分解：
对I和全色图像分别进行NSST分解，得到相应的不同尺度和方向的子带系数,后续根据低频子带系数和各高频子带系数特点，实施不同的融合策略；
S4、低频系数融合：
将加权拉普能量和以及局部多向梯度结合起来的融合规则，融合规则表示如下：
C＝wIM+wPP (4)
M和LMGI，SMLI，wI分别表示I的低频系数、局部多方向梯度值、加权的拉普拉斯能量和、融合权重，P和LMGP，SMLP，wP表示全色图像的低频系数、局部多方向梯度值、加权的拉普拉斯能量和、融合权重，C为融合结果；
采用局部多向梯度和加权拉普拉斯能量和结合的自适应加权平均融合规则，对低频系数进行融合，得到低频融合系数
和
其中
和
为低频子带系数，
和
表示第j个尺度，第n个方向高频子带系数；
S5、高频系数融合：
将参数自适应脉冲耦合神经网络(PA-PCNN)模型引入到图像融合过程，采用局部多方向梯度激励的参数自适应脉冲耦合神经网络作为融合规则融合高频系数，将每个高频系数的局部多方向梯度值作为PCNN的输入，PCNN模型中有5个自由参数：αf，β，VL，VE，αe，用λ＝βVL表示加权的连接强度，模型中的自由参数根据输入信息进行自适应计算，以下公式为具体计算方法：
其中σ(S)为范围[0,1]的输入图像S的标准差，S'和Smax分别表示归一化后的最大类间方差法阈值和输入图像的最大强度，当达到最大迭代次数时，迭代停止，得到I和全色图像的各个高频系数的点火次数总和
和
采用点火次数取大进行融合，得到高频系数的融合结果
融合规则如下：
式中，j、n分别是图像的分解级数和方向数，
代表像素点(x,y)处融合后的高频系数值，
代表I中像素点(x,y)处的高频系数值，
代表全色图像中像素点(x,y)处的高频系数值；
S6、对融合后的系数进行NSST逆变换：将高频系数和低频系数的融合结果，进行NSST逆变换，得到变换结果Fused，作为最终参与重构的α'；
S7、图像重构:根据如下公式，通过组合α'、F和B来重构得到最终的融合结果:
Ii＝αiFi+(1-αi)Bi (12)
其中Fi是第i个像素的前景颜色，Bi是第i个像素的背景颜色，Ii第i个像素的颜色。
2.根据权利要求1所述的一种基于NSST和参数自适应PCNN的遥感图像融合方法，其特征在于：所述步骤S4中加权拉普能量和具体为加权拉普拉斯能量和(WSML)算法增加了正副对角线方向，在水平、垂直和主副对角线共八邻域方向上计算每个像素点的变步长拉普拉斯能量值，八个方向中，距离中心像素点越近，对拉普拉斯能量值贡献越大，距离中心像素点越远，对拉普拉斯能量值贡献越小，距离的远近根据欧几里得距离进行评判，WSML设定水平和垂直方向对拉普拉斯能量值贡献权值为
主副对角线方向的拉普拉斯能量值贡献权值设为1，
ωk表示以像素k为中心的局部位置，步长为1，(i,j)表示像素位置，WSML在像素(i,j)上的定义如下：
3.根据权利要求1所述的一种基于NSST和参数自适应PCNN的遥感图像融合方法，其特征在于：所述步骤S3中局部多方向梯度具体为局部多方向梯度(LMG)反映水平、垂直方向像素点梯度和正副对角线方向像素点梯度，对原图周边补充常数0值填充像素，进行扩展，根据距离中心像素距离确定位置加权系数，构造水平、垂直以及主副对角线多方向梯度滤波算子，从原图的矩阵左上角开始平移，利用多方向梯度滤波算子在该矩阵上进行计算，对应元素相乘后求和，得到一个数值，即可作为中心像素梯度值，分别计算水平、垂直以及主副对角线方向的梯度值，将各个方向梯度取绝对值之后求和，即为中心像素的局部多方向梯度值，hx为水平方向梯度滤波算子，hy为垂直方向梯度滤波算子，hm为主对角线方向梯度滤波算子，hn为副对角线方向梯度滤波算子，
将各个方向的梯度值取绝对值之后求和，即为中心像素的局部多方向梯度值：
LMGij＝|Gx|+|Gy|+|Gm|+|Gn| (17)
其中Gx表示水平方向梯度值，Gy表示垂直方向梯度值，Gm表示主对角线方向梯度值，Gn表示副对角线方向梯度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210656552.2A CN114897757A (zh) | 2022-06-10 | 2022-06-10 | 一种基于nsst和参数自适应pcnn的遥感图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210656552.2A CN114897757A (zh) | 2022-06-10 | 2022-06-10 | 一种基于nsst和参数自适应pcnn的遥感图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114897757A true CN114897757A (zh) | 2022-08-12 |
Family
ID=82728801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210656552.2A Pending CN114897757A (zh) | 2022-06-10 | 2022-06-10 | 一种基于nsst和参数自适应pcnn的遥感图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897757A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115410096A (zh) * | 2022-11-03 | 2022-11-29 | 成都国星宇航科技股份有限公司 | 卫星遥感影像多尺度融合变化检测方法、介质及电子装置 |
-
2022
- 2022-06-10 CN CN202210656552.2A patent/CN114897757A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115410096A (zh) * | 2022-11-03 | 2022-11-29 | 成都国星宇航科技股份有限公司 | 卫星遥感影像多尺度融合变化检测方法、介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN104318569B (zh) | 基于深度变分模型的空间显著性区域提取方法 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN102737382B (zh) | 一种前列腺超声图像自动精确分割方法 | |
| CN102982517B (zh) | 基于光谱与空间局部相关的遥感影像融合方法 | |
| CN105550989B (zh) | 基于非局部高斯过程回归的图像超分辨方法 | |
| CN110866882B (zh) | 基于深度置信度的分层联合双边滤波深度图修复方法 | |
| CN113313702A (zh) | 基于边界约束与颜色校正的航拍图像去雾方法 | |
| CN113592018B (zh) | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 | |
| CN111462002B (zh) | 一种基于卷积神经网络的水下图像增强与复原方法 | |
| CN114897882B (zh) | 一种基于加权平均曲率滤波分解的遥感图像融合方法 | |
| CN116645569A (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN107944497A (zh) | 基于主成分分析的图像块相似性度量方法 | |
| CN114897757A (zh) | 一种基于nsst和参数自适应pcnn的遥感图像融合方法 | |
| CN109064402A (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| CN115457359A (zh) | 基于自适应对抗生成网络的pet-mri图像融合方法 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
| CN109166088B (zh) | 基于非降采样小波变换的双波段灰度熔池图像融合方法 | |
| Li et al. | Adaptive weighted multiscale retinex for underwater image enhancement | |
| CN111476739B (zh) | 水下图像增强方法、系统及存储介质 | |
| CN111563866B (zh) | 一种多源遥感图像融合方法 | |
| CN110084774B (zh) | 一种增强的梯度传递和总变差最小化融合图像的方法 | |
| CN114926452A (zh) | 一种基于NSST和β散度非负矩阵分解的遥感图像融合方法 | |
| CN116309435A (zh) | 医学图像镜面反射修复方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |