CN113793289B - 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 - Google Patents
基于cnn和nsct的多光谱图像和全色图像模糊融合方法 Download PDFInfo
- Publication number
- CN113793289B CN113793289B CN202111063980.6A CN202111063980A CN113793289B CN 113793289 B CN113793289 B CN 113793289B CN 202111063980 A CN202111063980 A CN 202111063980A CN 113793289 B CN113793289 B CN 113793289B
- Authority
- CN
- China
- Prior art keywords
- image
- mlpan
- dums
- frequency
- detail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 238000002347 injection Methods 0.000 claims abstract description 27
- 239000007924 injection Substances 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 28
- 238000004088 simulation Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000008014 freezing Effects 0.000 claims description 4
- 238000007710 freezing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 abstract description 11
- 230000002265 prevention Effects 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract 1
- 108010020076 Cytochrome P-450 CYP2B1 Proteins 0.000 description 26
- 239000010410 layer Substances 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于CNN和NSCT的多光谱图像和全色图像模糊融合方法，所述方法使用NSCT分别提取DUMS和MLPAN图像的多尺度多方向的低频子带图像和高频方向子带图像，再使用ResNet中残差模块及非线性特性构建浅层的细节提取网络以提取更丰富的细节信息，并使用模糊融合规则将提取的细节信息和MLPAN的第一层高频子带进行融合得到注入细节，最后利用ResNet模块的非线性构建细节注入网络，以注入细节和DUMS图像为输入，MS图像为输出，对其进行训练，得到最终的融合图像。本发明的融合模型设计的网络结构简单，容易训练，防止过拟合，泛化能力强，能够在保留光谱信息的同时提高空间分辨率，从而获得同时具有高空间分辨率和高光谱分辨率的图像。
Description
技术领域
本发明涉及遥感图像处理技术领域，尤其涉及一种基于CNN和NSCT的多光谱图像和全色图像模糊融合方法。
背景技术
遥感图像广泛地应用于产量预测、林业病虫害检测、森林自然灾害预测、地质探测、国家安防、土地利用、环境变化检测等，但是受到卫星传感器技术发展的限制，目前还不能获得同时具有高空间分辨率和高光谱分辨率的图像，只能获得高空间分辨率低光谱分辨率的全色图像(PAN图像)和低空间分辨率高光谱分辨率的多光谱图像(MS图像)，无法满足人们的需求，从而研究出了利用PAN图像和MS图像的冗余和互补信息，获得高空间分辨率高光谱分辨率的图像，一般可以通过图像增强、超分辨率重建、图像融合等技术实现，图像融合技术是指将多源图像通过一定方法生成一个质量更高、信息更丰富的图像，符合人们的视觉感知、以便决策人员可以通过更清晰的图像做出更精确的决策。
MS图像和PAN图像融合(全色锐化)是遥感图像处理领域研究的热门、重点之一。融合方法可以归纳为成分替换方法、多分辨率分析法、变分方法、深度学习。成分替换方法，像IHS、GIHS、AIHS、PCA、Brovey、GS等，虽然这些方法能够提高空间分辨率，但是普遍存在光谱信息不同程度的失真。多分辨率分析法像小波(wavelet)变换、拉普拉斯金字塔分解(Laplacian Pyramid，LP)、轮廓波(contourlet)变换、曲波(curvelet)变换、非下采样轮廓波变换(NSCT)等虽然在一定程度上减少了光谱失真，但是空间分辨率比较低，还可能出现伪影问题。深度学习在计算机视觉领域的快速发展，使得各种网络开始应用在遥感图像融合方向，像PNN、DRPNN、PanNet、PanGAN等网络的提出用于全色锐化取得了一定的效果，但是还是会存在光谱失真、空间分辨率低、融合质量不高、过拟合、训练时间过长的问题。
发明内容
鉴于此，本发明的目的在于提供一种基于CNN和NSCT的多光谱图像和全色图像模糊融合方法，以解决现有技术所存在的上述问题。
为实现上述发明目的，本发明提供一种基于CNN和NSCT的多光谱图像和全色图像模糊融合方法，包括以下步骤：
获取原始卫星遥感图像，对原始卫星遥感图像进行预处理，获得配准的多光谱图像和全色图像；
基于多光谱图像和全色图像构建仿真训练集和测试集，所述仿真训练集和测试集包括DUMS图像、LPAN图像和MS图像；
对仿真训练集中的DUMS图像进行RGB-IHS变换，将DUMS图像分解为强度分量、色度分量和饱和度分量，使用强度分量将对应的LPAN图像进行直方图均衡化处理，得到MLPAN图像；
对强度分量和MLPAN图像提取多尺度多方向的低频特征和高频特征；
将强度分量和MLPAN图像的低频特征和高频特征、DUMS图像和MLPAN图像作为输入，将DUMS图像与MS图像之间相差的细节作为输出，以ResNet残差模块为基础构建浅层的多尺度特征提取网络MTENet,对MTENet进行训练得到更丰富的细节特征图像PROD；
将细节特征图像PROD和MLPAN第一层高频子带图像使用模糊融合规则进行融合，得到注入细节图像InD，将注入细节图像InD和DUMS图像作为输入，MS图像作为输出，以ResNet残差模块为基础构建浅层的细节注入网络，对其进行充分训练，得到最终的融合图像。
进一步的，所述对原始卫星遥感图像进行预处理具体为：对原始卫星遥感图像进行大气校正和空间配准。
进一步的，所述基于多光谱图像和全色图像构建仿真训练集和测试集，具体包括以下步骤：
根据Wald准则以及全色图像和多光谱图像之间的空间分辨率之比，对全色图像和多光谱图像使用双三次插值方法进行下采样，得到的图像分别记为LPAN图像和DMS图像；
根据Wald准则对下采样后的DMS图像使用双三次插值方法进行上采样，得到的图像记为DUMS图像；
根据Wald准则对MS图像使用双三次插值方法进行上采样，得到的图像记作UMS图像。
进一步的，所述对强度分量和MLPAN图像提取多尺度多方向的低频特征和高频特征，具体包括：
通过非下采样金字塔滤波器组将DUMS图像和MLPAN图像进行分解，得到多层对应的DUMS低频子带和DUMS高频子带，MLPAN低频子带和MLPAN高频子带；
通过非下采样方向滤波器组对DUMS高频子带和MLPAN高频子带进行滤波，得到各个方向上的高频方向滤波图像。
进一步的，所述将强度分量和MLPAN图像的低频特征和高频特征、DUMS图像和MLPAN图像作为输入，将DUMS图像与MS图像之间的细节作为输出，以ResNet残差模块为基础构建浅层的多尺度特征提取网络MTENet，对MTENet进行训练得到更丰富的细节特征图像PROD，具体包括：
将强度分量和MLPAN图像的低频子带图像、高频方向滤波图像，DUMS图像和MLPAN图像作为MTENet的输入；
将DUMS图像与MS图像之间相差的细节作为标签；
对MTENet进行训练使得损失函数最小，冻结训练参数，得到最优模型，进而得到更丰富的细节特征，记作PROD。
进一步的，所述将细节特征图像PROD和MLPAN第一层高频子带图像使用模糊融合规则进行融合，得到注入细节图像InD，具体包括以下步骤：
在高频子带引入对比度和匹配度作为度量参数，分别获取归一化的MLPAN图像第一尺度高频子带H1,1和PROD细节特征图像的对比度以及H1,1和PROD之间的匹配度；
将度量参数对比度和匹配度量化到模糊论域，并建立模糊论域的隶属度函数和模糊规则；
根据最大隶属度原则，使用模糊规则对H1,1和PROD细节特征图像各自的权值进行模糊决策，根据得到的加权项进行融合获得注入细节图像InD。
与现有技术相比，本发明的有益效果是：
本发明提供的基于CNN与NSCT的多光谱图像和全色图像模糊融合方法，提取DUMS和MLPAN图像各自的多尺度多方向的低频子带图像和高频子带图像，再使用ResNet中残差模块及非线性特性构建浅层的细节提取网络MTENet以提取更丰富的细节信息，构建的浅层网络，具有便于训练，可防止出现过拟合现象的特点。由于在MTENet提取细节特征时，MLPAN图像的高频被DUMS图像的高频所替换，细节的分辨率会降低，所以利用模糊融合规则将由MTENet提取的特征和MLPAN的第一层高频子带进行融合得到最终的注入细节。由于MS图像波段和PAN图像波段之间是非线性关系，利用浅层的卷积神经网络的非线性将注入细节和DUMS图像进行训练，得到最终的融合结果。本发明的融合模型设计的网络结构简单，容易训练，防止过拟合，泛化能力强，能够在保留光谱信息的同时提高空间分辨率，从而获得同时具有高空间分辨率和高光谱分辨率的图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于CNN和NSCT的多光谱图像和全色图像模糊融合方法整体流程示意图。
图2是本发明实施例提供的构建仿真训练集和测试集整体流程示意图。
图3是本发明实施例提供的提取低频特征和高频特征整体流程示意图。
图4是本发明实施例提供的生成细节特征图像PROD流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所列举实施例只用于解释本发明，并非用于限定本发明的范围。
参照图1，本实施例提供一种基于CNN和NSCT的多光谱图像和全色图像模糊融合方法，所述方法包括以下步骤：
S101、获取原始卫星遥感图像，对原始卫星遥感图像进行预处理，获得配准的多光谱图像和全色图像。
示例性地，本实施例中获取Landsat-8、Landsat-7、Quickbird、GF-2四个卫星的原始卫星遥感图像。对原始卫星遥感图像进行预处理，具体为根据采集到的上述四个卫星数据级别，对原始卫星遥感图像进行大气校正和空间配准。
S102、基于多光谱图像和全色图像构建仿真训练集和测试集，所述仿真训练集和测试集包括DUMS图像、LPAN图像和MS图像。
示例性地，本实施例中采用Landsat-8卫星根据Wald准则生成数据集，随机抽取DUMS图像、LPAN图像和MS图像作为仿真训练集和测试集，根据Wald准则生成的UMS图像和PAN图像作为全分辨率测试集。为了验证本发明提出融合方法的泛化能力，对Landsat-7、Quickbird、GF-2卫星数据生成的仿真测试集和全分辨率测试集进行测试。
S103、对仿真训练集中的DUMS图像进行RGB-IHS变换，将DUMS图像分解为强度(I)分量、色度(H)分量和饱和度(S)分量，使用强度(I)分量将对应的LPAN图像进行直方图均衡化处理，得到MLPAN图像。
示例性地，所述I分量的表达式为：
S104、对强度分量和MLPAN图像提取多尺度多方向的低频特征和高频特征。
S105、将强度分量和MLPAN图像的低频特征和高频特征、DUMS图像和MLPAN图像作为输入，将DUMS图像与MS图像之间相差的细节作为输出，以ResNet残差模块为基础构建浅层的多尺度提取网络MTENet，对MTENet进行训练得到更丰富的细节特征图像PROD。
S106、将细节特征图像PROD和MLPAN第一层高频子带图像使用模糊融合规则进行融合，得到注入细节图像InD，将注入细节图像InD和DUMS图像作为输入，MS图像作为输出，以ResNet残差模块为基础构建浅层的细节注入网络，对其进行充分训练，得到最终的融合图像。
作为一种可选的实施方式，参照图2，步骤S102中，所述基于多光谱图像和全色图像构建仿真训练集和测试集，具体包括以下步骤：
S201、根据Wald准则以及全色图像和多光谱图像之间的空间分辨率之比，对全色图像和多光谱图像使用双三次插值方法进行下采样，得到的图像分别记为LPAN图像和DMS图像。
S202、根据Wald准则对下采样后的DMS图像使用双三次插值方法进行上采样，得到的图像记为DUMS图像。
S203、根据Wald准则对MS图像使用双三次插值方法进行上采样，得到的图像记作UMS图像。
作为一种可选的实施方式，参照图3，步骤S104中，所述对强度分量和MLPAN图像提取多尺度多方向的低频特征和高频特征，具体为通过使用NSCT方法对其进行分解获得多尺度多方向的低频子带和高频方向子带，包括以下步骤：
S301、通过非下采样金字塔滤波器组将DUMS图像和MLPAN图像进行分解，得到多层对应的DUMS低频子带和DUMS高频子带，MLPAN低频子带和MLPAN高频子带。
S302、通过非下采样方向滤波器组对DUMS高频子带和MLPAN高频子带进行滤波，得到各个方向上的高频方向滤波图像。
示例性地，所述非下采样金字塔滤波器组的低通滤波器包括低通分解滤波器和低通重构滤波器{L0(X),L1(X)}；所述非下采样金字塔滤波器组的高通滤波器包括高通分解滤波器和高通重构滤波器{H0(X),H1(X)}，非下采样金字塔滤波器组满足Bezout恒等式1D多项式函数：
L0 1D(X)L1 1D(X)+H0 1D(X)H1 1D(X)＝1。
所述非下采样方向滤波器组的扇形滤波器包括扇形分解滤波器和扇形重构滤波器，{S0(X),S1(X)}，非下采样方向滤波器组的棋盘滤波器包括棋盘分解滤波器和棋盘重构滤波器{Q0(X),Q1(X)}，非下采样方向滤波器组满足Bezout恒等式1D多项式函数：
S0 1D(X)S1 1D(X)+Q0 1D(X)Q1 1D(X)＝1。
作为一种可选的实施方式，参照图4，所述步骤S105，具体包括以下步骤：
S401、将强度分量和MLPAN图像的低频子带图像、高频方向滤波图像，DUMS图像和MLPAN图像作为MTENet的输入。
S402、将DUMS图像与MS图像之间相差的细节作为标签。
S403、对MTENet进行训练使得损失函数最小，冻结训练参数，得到最优模型，进而得到更丰富的细节特征，记作PROD。
作为一种可选的实施方式，步骤S106中，所述将细节特征图像PROD和MLPAN第一层高频子带图像使用模糊融合规则进行融合，具体包括以下步骤：
H1,1表示MLPAN图像第1层分解后第1尺度下高频子带系数，L1为第一层第一尺度下的对应低频子带系数，根据人眼的局部对比度敏感性，在高频子带引入对比度DS,1,1(i,j)作为度量参数，其表达为：
其中，w1,1(p,q)为窗口掩模，HS,1,1(i,j)表示坐标(i，j)处MLPAN图像第1层分解得到的第1尺度下的高频子带图像或细节特征图像PROD；LS,1(i,j)表示相对应尺度下的低频子带图像。
H1,1,PROD图像之间的局部相似性使用区域匹配度ML,P,1,1(i,j)进行表示，其表达式为：
分别得到归一化的MLPAN图像高频子带H1,1和细节特征图像PROD的对比度DMLPAN,1,1(i,j)和DPROD,1,1(i,j)以及H1,1与PROD之间的匹配度MS,1,1(i,j)度量参数。
再将取值范围是[0,1]区间的DMLPAN,1,1(i,j)、DPROD,1,1(i,j)和MS,1,1(i,j)进行量化为值域为[0，1]的模糊论域X、Y、Z、W；对于X，建立模糊集X＝{MLPAN图像高频子带特征占优势}；对于Y，建立模糊集Y＝{细节特征图像PROD占优势}；对于Z，建立模糊集Z＝{MLPAN图像高频子带特征与细节特征图像PROD匹配}；对于W，建立模糊集W＝{MLPAN图像高频子带特征与细节特征图像PROD不匹配}。X和Y的隶属度函数为：
Z和W的隶属度函数为：/>
使用Mamdani极小化的原理设计4种模糊融合规则，包括：
1)如果MLPAN图像高频子带的区域特征占优，且区域特征不匹配，那么规则G1定义为：
G1：如果μL(x)≥μP(y)和μum(w)≥μm(z)，则μG1＝μL(x)∧μum(w)。
2)如果细节特征图像PROD的区域特征占优，且区域特征不匹配，那么规则G2定义为：
G2：如果μL(x)<μP(y)和μum(w)≥μm(z)，则μG2＝μP(y)∧μum(w)。
3)如果MLPAN图像高频子带的区域特征占优，且区域特征匹配，那么规则G3定义为：
G3：如果μL(x)≥μP(y)和μum(w)<μm(z)，则
4)如果细节特征图像PROD的区域特征占优，且区域特征匹配，那么规则G4定义为：
G4：如果μL(x)<μP(y)和μum(w)<μm(z)，则
根据最大隶属度原则，使用上面所述4种模糊融合规则对各自的权值进行模糊决策，即：
其中∨表示取最大值，∧表示取最小值，则对应的MLPAN图像高频子带和细节特征图像PROD的加权项分别为：
根据得到的加权项，可以得到融合后的图像为：
InD＝wL(x,y)H1,1+wP(x,y)PROD。
最后将得到的注入细节图像InD和DUMS图像作为输入，MS图像作为输出，以ResNet残差模块为基础构建浅层的细节注入网络，对其进行充分训练,使得损失函数最小，冻结网络参数，得到最优模型,生成最终的融合图像。
本实施例中，所采用的卷积神经网络结构由一个ResNet残差模块和一个单层卷积层构成，所述单个ResNet残差模块结构具体为：残差部分的2个卷积层使用的卷积核为3×3×32，直接连接部分使用的卷积核为1×1×32；一个单层卷积层结构具体为1×1×n，n表示输出MS图像的通道数，本实施例中使用R、G、B三个通道，所以n＝3。细节注入网络可以表示为MS＝D(concat(DUMS,InD),WD)，其中WD是注入细节网络的超参数，DUMS是上采样后的低分辨率MS图像，InD是注入细节。
在采用上述实施例所述方法进行的一个实验中，采用Quickbird卫星传感器获取的遥感图像进行测试。其中多光谱图像空间分辨率是2.8米，像素大小是510×510；对应的全色图像分辨率是0.7米，像素大小是2040×2040。按照Wald准则对空间分辨率0.7米全色图像和空间分辨率2.8米多光谱图像以4倍因子进行下采样操作获得2.8米全色和11.2米多光谱仿真图像。分别使用Indusion、NSCT、SFIM、MTF_GLP、PNN、DRPNN和PanNet融合方法与本发明基于CNN与NSCT的多光谱图像和全色图像模糊融合方法进行对比实验，无论是降分辨率还是全分辨率下的实验结果，本发明提出的方法的融合效果相对于其他图像融合方法都更优。
本发明提出的基于CNN与NSCT的多光谱图像和全色图像模糊融合方法能更大程度提高分辨率的同时保留光谱信息，使用简单的网络减少训练时间，提高融合性能。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于CNN和NSCT的多光谱图像和全色图像模糊融合方法，其特征在于，所述方法包括以下步骤：
获取原始卫星遥感图像，对原始卫星遥感图像进行预处理，获得配准的多光谱图像和全色图像；
基于多光谱图像和全色图像构建仿真训练集和测试集，所述仿真训练集和测试集包括DUMS图像、LPAN图像和MS图像；
对仿真训练集中的DUMS图像进行RGB-IHS变换，将DUMS图像分解为强度分量、色度分量和饱和度分量，使用强度分量将对应的LPAN图像进行直方图均衡化处理，得到MLPAN图像；
对强度分量和MLPAN图像提取多尺度多方向的低频特征和高频特征；
将强度分量和MLPAN图像的低频特征和高频特征、DUMS图像、MLPAN图像作为输入，将DUMS图像与MS图像之间相差的细节作为输出，以ResNet残差模块为基础构建浅层的多尺度特征提取网络MTENet,对MTENet进行训练得到更丰富的细节特征图像PROD；
将细节特征图像PROD和MLPAN第一层高频子带图像使用模糊融合规则进行融合，得到注入细节图像InD，将注入细节图像InD和DUMS图像作为输入，MS图像作为输出，以ResNet残差模块为基础构建浅层的细节注入网络，对其进行充分训练，得到最终的融合图像；
所述将细节特征图像PROD和MLPAN第一层高频子带图像使用模糊融合规则进行融合，得到注入细节图像InD，具体包括以下步骤：
在高频子带引入对比度和匹配度作为度量参数，分别获取归一化的MLPAN图像第一尺度高频子带H1,1和细节特征图像PROD的对比度以及H1,1和PROD之间的匹配度，H1,1,PROD图像之间的局部相似性使用区域匹配度ML,P,1,1(i,j)进行表示，其表达式为：
其中，w1,1(p,q)为窗口掩模，S＝MLPAN,PROD，HS,1,1(i,j)表示坐标(i，j)处MLPAN图像第1层分解得到的第1尺度下的高频子带图像或细节特征图像PROD；
将度量参数对比度DS,1,1(i,j)和匹配度MS,1,1(i,j)量化到模糊论域，并建立模糊论域的隶属度函数和模糊规则；
根据最大隶属度原则，使用模糊规则对H1,1和PROD细节特征图像各自的权值进行模糊决策，根据得到的加权项进行融合获得注入细节图像InD。
2.根据权利要求1所述的一种基于CNN和NSCT的多光谱图像和全色图像模糊融合方法，其特征在于，所述对原始卫星遥感图像进行预处理具体为：对原始卫星遥感图像进行大气校正和空间配准。
3.根据权利要求1所述的一种基于CNN和NSCT的多光谱图像和全色图像模糊融合方法，其特征在于，所述基于多光谱图像和全色图像构建仿真训练集和测试集，具体包括以下步骤：
根据Wald准则以及全色图像和多光谱图像之间的空间分辨率之比，对全色图像和多光谱图像使用双三次插值方法进行下采样，得到的图像分别记为LPAN图像和DMS图像；
根据Wald准则对下采样后的DMS图像使用双三次插值方法进行上采样，得到的图像记为DUMS图像；
根据Wald准则对MS图像使用双三次插值方法进行上采样，得到的图像记作UMS图像。
4.根据权利要求1所述的一种基于CNN和NSCT的多光谱图像和全色图像模糊融合方法，其特征在于，所述对强度分量和MLPAN图像提取多尺度多方向的低频特征和高频特征，具体包括：
通过非下采样金字塔滤波器组将DUMS图像和MLPAN图像进行分解，得到多层对应的DUMS低频子带和DUMS高频子带，MLPAN低频子带和MLPAN高频子带；
通过非下采样方向滤波器组对DUMS高频子带和MLPAN高频子带进行滤波，得到各个方向上的高频方向滤波图像。
5.根据权利要求4所述的一种基于CNN和NSCT的多光谱图像和全色图像模糊融合方法，其特征在于，所述将强度分量和MLPAN图像的低频特征和高频特征、DUMS图像和MLPAN图像作为输入，将DUMS图像与MS图像之间相差的细节作为输出，以ResNet残差模块为基础构建浅层的多尺度特征提取网络MTENet，对MTENet进行训练得到更丰富的细节特征图像PROD，具体包括：
将强度分量和MLPAN图像的低频子带图像、高频方向滤波图像，DUMS图像和MLPAN图像作为MTENet的输入；
将DUMS图像与MS图像之间相差的细节作为标签；
对MTENet进行训练使得损失函数最小，冻结训练参数，得到最优模型，进而得到更丰富的细节特征图像，记作PROD。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111063980.6A CN113793289B (zh) | 2021-09-10 | 2021-09-10 | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111063980.6A CN113793289B (zh) | 2021-09-10 | 2021-09-10 | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113793289A CN113793289A (zh) | 2021-12-14 |
| CN113793289B true CN113793289B (zh) | 2023-06-20 |
Family
ID=79183162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111063980.6A Active CN113793289B (zh) | 2021-09-10 | 2021-09-10 | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113793289B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663301B (zh) * | 2022-03-05 | 2024-03-08 | 西北工业大学 | 一种基于小波层的卷积神经网络全色锐化方法 |
| CN114821261B (zh) * | 2022-05-20 | 2024-08-20 | 合肥工业大学 | 一种图像融合的方法 |
| CN115240072B (zh) * | 2022-08-04 | 2024-03-12 | 南京审计大学 | 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法 |
| CN115564692B (zh) * | 2022-09-07 | 2023-12-05 | 宁波大学 | 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272010A (zh) * | 2018-07-27 | 2019-01-25 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
| CN109886870A (zh) * | 2018-12-29 | 2019-06-14 | 西北大学 | 基于双通道神经网络的遥感图像融合方法 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
| CN112669249A (zh) * | 2021-01-15 | 2021-04-16 | 西安中科立德红外科技有限公司 | 结合改进nsct变换和深度学习的红外与可见光图像融合方法 |
| CN113222835A (zh) * | 2021-04-22 | 2021-08-06 | 海南大学 | 基于残差网络的遥感全色和多光谱图像分布式融合方法 |
-
2021
- 2021-09-10 CN CN202111063980.6A patent/CN113793289B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272010A (zh) * | 2018-07-27 | 2019-01-25 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
| CN109886870A (zh) * | 2018-12-29 | 2019-06-14 | 西北大学 | 基于双通道神经网络的遥感图像融合方法 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
| CN112669249A (zh) * | 2021-01-15 | 2021-04-16 | 西安中科立德红外科技有限公司 | 结合改进nsct变换和深度学习的红外与可见光图像融合方法 |
| CN113222835A (zh) * | 2021-04-22 | 2021-08-06 | 海南大学 | 基于残差网络的遥感全色和多光谱图像分布式融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113793289A (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113793289B (zh) | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 | |
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| Zhong et al. | Remote sensing image fusion with convolutional neural network | |
| CN113643197B (zh) | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 | |
| Dong et al. | Deep spatial–spectral representation learning for hyperspectral image denoising | |
| Shao et al. | Remote sensing image fusion with deep convolutional neural network | |
| CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| Zhou et al. | Pyramid fully convolutional network for hyperspectral and multispectral image fusion | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN107194904B (zh) | 基于增补机制和pcnn的nsct域图像融合方法 | |
| CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| CN112507997A (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN112419155B (zh) | 一种全极化合成孔径雷达影像超分辨率重建方法 | |
| Turnes et al. | Atrous cGAN for SAR to optical image translation | |
| CN102542549A (zh) | 基于压缩感知的多光谱与全色图像超分辨融合方法 | |
| Yan et al. | Md³net: Integrating model-driven and data-driven approaches for pansharpening | |
| CN114511470B (zh) | 一种基于注意力机制的双分支全色锐化方法 | |
| CN115100075A (zh) | 基于光谱约束和残差注意力网络的高光谱全色锐化方法 | |
| CN111383203A (zh) | 基于分区域拟合的全色与多光谱遥感图像融合方法 | |
| CN113284067A (zh) | 基于深度细节注入网络的高光谱全色锐化方法 | |
| CN117557475A (zh) | 一种两阶段的遥感图像全色锐化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |