CN113643197B - 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 - Google Patents
一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 Download PDFInfo
- Publication number
- CN113643197B CN113643197B CN202110814955.0A CN202110814955A CN113643197B CN 113643197 B CN113643197 B CN 113643197B CN 202110814955 A CN202110814955 A CN 202110814955A CN 113643197 B CN113643197 B CN 113643197B
- Authority
- CN
- China
- Prior art keywords
- image
- mlpan
- network
- filtering
- dums
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000002347 injection Methods 0.000 claims abstract description 14
- 239000007924 injection Substances 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 31
- 238000004088 simulation Methods 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 20
- 230000008014 freezing Effects 0.000 claims description 9
- 238000007710 freezing Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 abstract description 4
- 229920002239 polyacrylonitrile Polymers 0.000 description 16
- 201000006292 polyarteritis nodosa Diseases 0.000 description 16
- 230000004927 fusion Effects 0.000 description 9
- 239000010410 layer Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，将引导滤波保留更好的边缘、细节信息和NSCT多尺度多方向的分解优势，与CNN相结合搭建两阶轻量型网络模型对MS图像和PAN图像进行融合，其中引导滤波对直方图匹配后的全色图像MLPAN进行滤波得到多尺度的高频分量以及低频分量，NSCT对从MS图像中提取的I分量图像进行滤波得到多尺度多方向的高频方向子带图像以及低频子带图像，再利用残差模块的优势构建细节提取网络ResCNN以提取注入细节In‑details，最后将In‑details和DUMS图像作为输入构建非线性模型NLCNN，对NLCNN网络充分训练，得到最优模型，该方法能更大程度提高空间分辨率的同时保留光谱信息，网络结构简单，减少了训练时间，防止出现过拟合现象，提高融合性能。
Description
技术领域
本发明涉及遥感图像处理技术领域，特别涉及一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法。
背景技术
遥感图像广泛的应用在各行各业，像产量预测、林业病虫害检测、森林自然灾害预测、地质探测、国家安防、土地利用、环境变化检测等等，但是受到卫星传感器技术的限制，不能获得同时具有高空间分辨率和高光谱分辨率的图像，只能够获得高空间分辨率低光谱分辨率的全色图像(PAN)和低空间分辨率高光谱分辨率的多光谱图像(MS)，然而在实际应用中往往需要既具有高空间分辨率又具有高光谱分辨率的图像，甚至要求具有高时间分辨率的图像，目前常用的方式是利用PAN和MS图像的冗余和互补信息，获得高空间分辨率高光谱分辨率的图像(HSHM)，一般可以通过下列技术实现：图像增强、超分辨率重建、图像融合等等，其中主流的研究技术是图像融合技术，它是指将多源图像通过一定方法生成一个质量更高、信息更丰富的图像，符合人们的视觉感知、以便决策人员可以通过更清晰的图像做出更精确的决策。
MS图像和PAN图像的融合又称为全色锐化，是遥感图像处理领域研究的热门、重点之一，融合方法可以归纳为成分替换方法、多分辨率分析法、变分方法、深度学习。成分替换方法，像IHS、GIHS、AIHS、PCA、Brovey、GS等，虽然这些方法能够提高空间分辨率，但是普遍存在光谱信息不同程度的失真；多分辨率分析法像小波(wavelet)变换、拉普拉斯金字塔分解(Laplacian Pyramid，LP)、轮廓波(contourlet)变换、曲波(curvelet)变换、非下采样轮廓波变换(NSCT)(如公开号为CN103632353A的基于NSCT的多聚焦图像融合算法)等虽然在一定程度上减少了光谱失真，但是空间分辨率比较低，还可能出现伪影问题；深度学习在计算机视觉领域的快速发展，使得各种网络开始应用在遥感图像融合方向，像PNN、PCNN(如公开号为CN112184646A的基于梯度域导向滤波和改进PCNN的图像融合方法)、DRPNN、PanNet、PanGAN等网络的提出用于全色锐化取得了一定的效果，但是还是会存在光谱失真、空间分辨率低、融合质量不高、过拟合、训练时间过长的问题。
发明内容
鉴以此，本发明提出一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，在提高空间分辨率的同时保留光谱信息，融合质量较高，并且两阶轻量型网络简单，训练时间短，防止过拟合现象。
本发明是通过以下技术方案实现的：
一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，包括以下步骤：
步骤S1、获取卫星遥感图像，对遥感图像中的MS图像和PAN图像进行预处理；
步骤S2、根据Wald准则对预处理后的MS图像和PAN图像进行降分辨率处理，并构建仿真训练集、仿真测试集以及真实测试集，其中仿真训练集和仿真测试集包括DUMS图像、LPAN图像以及MS图像，真实测试集包括UMS图像和PAN图像；
步骤S3、对仿真训练集中的DUMS图像使用AIHS变换得到亮度I分量图像，并使用I分量图像对LPAN图像进行直方图均衡化处理，得到MLPAN图像；
步骤S4、采用引导滤波器对MLPAN图像进行滤波，得到多尺度的高频分量MLPANHn以及低频分量MLPANLn；
步骤S5、采用NSCT对I分量图像进行滤波，得到多尺度多方向的高频方向子带图像IHn以及低频子带图像ILn；
步骤S6、根据DUMS图像、MLPAN图像、高频分量MLPANHn、低频分量MLPANLn、高频方向子带图像IHn以及低频子带图像ILn构建细节提取网络ResCNN，并获得注入细节In-details；
步骤S7、将注入细节In-details和DUMS图像作为浅层CNN网络的输入，MS图像作为输出，建立非线性模型NLCNN网络，对NLCNN网络进行充分训练，获得最优非线性模型，对最优非线性模型的参数进行冻结，使用最优非线性模型获得全色锐化图像。
优选的，所述步骤S1中的预处理包括：大气校正和空间配准。
优选的，所述步骤S2的具体步骤包括：
步骤S21、根据Wald准则及全色图像和多光谱图像之间的空间分辨率之比对MS图像和PAN图像使用双三次插值方法进行下采样，并获得降分辨率的LPAN图像以及DMS图像；
步骤S22、根据Wald准则对DMS图像使用双三次插值方法进行上采样，并获得DUMS图像；
步骤S23、根据Wald准则对MS图像使用双三次插值方法进行上采样，并获得UMS图像；
步骤S24、由DUMS图像、LPAN图像以及MS图像构建仿真训练集和仿真测试集，由UMS图像和PAN图像构建真实测试集。
优选的，所述步骤S3中的AIHS变换获取I分量图像的表达式为：
其中i为第i个通道，ai为自适应系数，N为通道的总数。
优选的，所述步骤S4的具体步骤为：使用引导滤波器对MLPAN图像进行滤波，引导滤波器的输入图像为MLPAN图像，引导图像为I分量图像，进行滤波后得到低频分量MLPANi＝GF(MLPANi-1,I)，其中GF为引导滤波器，MLPANi-1是第i-1次滤波的输出图像，当i＝1时，即是MLPAN图像，则第i个低频分量MLPANLi＝MLPANi，第i个高频分量MLPANHi＝MLPANLi-1-MLPANLi，在进行n次滤波后得到n个高频分量MLPANHn以及n个低频分量MLPANLn。
优选的，所述步骤S5的NSCT包括非下采样金字塔滤波器组NSPFB和非下采样方向滤波器组NSDFB。
优选的，所述步骤S5的具体步骤包括：
步骤S51、采用NSPFB对I分量图像进行分解，获得低频子带图像ILi和高频子带图像IHi；
步骤S52、采用NSPFB对低频子带图像进行分解，并获得下一层的低频子带图像和高频子带图像；
步骤S53、采用NSDFB分别对每一层的高频子带图像进行滤波，获得每一层的高频方向子带图像。
优选的，所述步骤S6的具体步骤包括：
步骤S61、以DUMS图像、MLPAN图像、高频分量MLPANHn、低频分量MLPANLn、高频方向子带图像IHn以及低频子带图像ILn作为ResCNN网络的输入；
步骤S62、将DUMS图像和MS图像之间相差的细节作为标签；
步骤S63、对ResCNN网络进行训练，并使损失函数最小后，冻结训练参数，得到最优模型；
步骤S64、根据最优模型获得注入细节In-details。
优选的，所述步骤S7的具体步骤包括：
步骤S71、将注入细节In-details、DUMS图像作为非线性模型NLCNN网络的输入；
步骤S72、将MS图像作为标签；
步骤S73、对上述网络进行训练，并使损失函数最小后，冻结训练参数，得到最优非线性模型；
步骤S74、使用最优非线性模型获得全色锐化图像。
与现有技术相比，本发明的有益效果是：
本发明提供了一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，将引导滤波和NSCT有效地结合，其中使用引导滤波提取MLPAN图像的多尺度高频分量以及低频分量，能够保持边缘特征；使用NSCT提取I分量图像多尺度多方向的高频方向子带图像以及低频子带图像，再使用ResCNN的残差特性及非线性特性提取更丰富的细节信息，构建浅层的网络，便于训练，防止出现过拟合的现象；由于DUMS图像和LPAN图像之间是非线性关系，利用浅层的CNN网络的非线性将注入细节和DUMS图像进行训练，得到最终的融合结果。本发明所设计的网络由两阶轻量型网络构成，网络比较简单，容易训练，防止过拟合，泛化能力强，在提高空间分辨率的同时保留光谱信息。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法的流程图；
图2为本发明的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法的NSCT滤波示意图；
图3为本发明的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法ResCNN结构示意图。
具体实施方式
为了更好理解本发明技术内容，下面提供一个具体实施例，并结合附图对本发明做进一步的说明。
参见图1，本发明提供的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，包括以下步骤：
步骤S1、获取Landsat-8、Landsat-7、Quickbird、GF-2卫星遥感原始图像，遥感原始图像中包含MS图像和PAN图像，对遥感图像中的MS图像和PAN图像进行预处理，预处理包括大气校正和空间配准。
步骤S2、根据Wald准则对预处理后的MS图像和PAN图像进行降分辨率处理，并构建仿真训练集、仿真测试集以及真实测试集，其中仿真训练集和仿真测试集包括降分辨率上采样的多光谱图像DUMS、降分辨率全色图像LPAN以及多光谱图像MS，真实测试集包括上采样的多光谱图像UMS图像和全色图像PAN图像，具体步骤包括：
步骤S21、根据Wald准则及全色图像和多光谱图像之间的空间分辨率之比对MS图像和PAN图像使用双三次插值方法进行下采样，并获得降分辨率的LPAN图像以及DMS图像；
步骤S22、根据Wald准则对DMS图像使用双三次插值方法进行上采样，并获得DUMS图像，其中DUMS图像的尺寸和LPAN图像的尺寸相同；
步骤S23、根据Wald准则对MS图像使用双三次插值方法进行上采样，并获得UMS图像，UMS图像的尺寸和PAN图像的尺寸相同；
步骤S24、由DUMS图像、LPAN图像以及MS图像构建仿真训练集和仿真测试集，由UMS图像和PAN图像构建真实测试集。
本发明使用Landsat-8卫星的DUMS图像、LPAN图像、MS图像作为仿真训练集，为了更好地验证本发明的性能，使用Landsat-8、Landsat-7、Quickbird以及GF-2四个卫星的DUMS图像、LPAN图像、MS图像作为仿真测试集，MS图像和PAN图像作为真实测试集。
步骤S3、对仿真训练集中的DUMS图像使用AIHS变换得到亮度I分量图像，并使用I分量图像对LPAN图像进行直方图均衡化处理，得到MLPAN图像，其中AIHS变换获取I分量图像的表达式为：
其中i为第i个通道，ai为自适应系数，N为通道的总数。
步骤S4、采用引导滤波器对MLPAN图像进行滤波，得到多尺度的高频分量MLPANHn以及低频分量MLPANLn，具体步骤为：
使用引导滤波器对MLPAN图像进行滤波，引导滤波器的输入图像为MLPAN图像，引导图像为I分量图像，进行滤波后得到低频分量MLPANi＝GF(MLPANi-1,I)，其中GF为引导滤波器，MLPANi-1是第i-1次滤波的输出图像，当i＝1时，MLPANi-1为MLPAN，则第i个低频分量MLPANLi＝MLPANi，第i个高频分量MLPANHi＝MLPANLi-1-MLPANLi，在进行n次滤波后得到n个高频分量MLPANHn以及n个低频分量MLPANLn。
步骤S5、采用NSCT对I分量图像进行滤波，得到多尺度多方向的高频方向子带图像IHn以及低频子带图像ILn，其中NSCT包括非下采样金字塔滤波器组NSPFB和非下采样方向滤波器组NSDFB，如图2所示，NSPFB的低通滤波器包括低通分解滤波器和低通重构滤波器{D0(X),D1(X)}，NSDFB的高通滤波器包括高通分解滤波器和高通重构滤波器{G0(X),G1(X)}，NSPFB满足Bezout恒等式1D多项式函数：
所述NSDFB的扇形滤波器包括扇形分解滤波器和扇形重构滤波器{C0(X),C1(X)}，NSDFB的棋盘滤波器包括棋盘分解滤波器和棋盘重构滤波器{Q0(X),Q1(X)}，NSDFB满足Bezout恒等式1D多项式函数：
步骤S5的具体步骤包括：
步骤S51、采用NSPFB对I分量图像进行分解，获得低频子带图像ILi和高频子带图像IHi；
步骤S52、采用NSPFB对低频子带图像进行分解，并获得下一层的低频子带图像和高频子带图像；
步骤S53、采用NSDFB分别对每一层的高频子带图像进行滤波，获得每一层的高频方向子带图像。
步骤S6、根据DUMS图像、MLPAN图像、高频分量MLPANHn、低频分量MLPANLn、高频方向子带图像IHn以及低频子带图像ILn构建细节提取网络ResCNN，并获得注入细节In-details，具体步骤包括：
步骤S61、以DUMS图像、MLPAN图像、高频分量MLPANHn、低频分量MLPANLn、高频方向子带图像IHn以及低频子带图像ILn作为ResCNN网络的输入，如图3所示，ResCNN网络由2层卷积构成，每一层都是先归一化BN操作，再使用ReLu函数进行非线性激活，再进行卷积操作，卷积核大小为3×3，直连部分的卷积大小为1×1；
步骤S62、将DUMS图像和MS图像之间相差的细节作为标签；
步骤S63、对ResCNN网络进行训练，并使损失函数最小后，冻结训练参数，得到最优模型；
步骤S64、根据最优模型进而得到更丰富的细节特征，即注入细节In-details。
步骤S7、将注入细节In-details和DUMS图像作为浅层CNN网络的输入，MS图像作为输出，建立非线性模型NLCNN网络，对NLCNN网络进行充分训练，获得最优非线性模型，对最优非线性模型的参数进行冻结，使用最优非线性模型获得全色锐化图像。在本实施例中，NLCNN网络由单层CNN组成，先进行卷积操作，再进行BN处理，最后使用ReLu激活函数进行激活，其中使用1×1×n卷积核，n是输出MS图像的通道数，本实施例中使用3个通道，其卷积核为1×1×3，1×1是卷积核的尺寸。
其中NLCNN网络卷积层表示为：
MS＝max(0,Wi*(DUMS,InD)+Bi)；
其中Wi为卷积核，InD为注入细节，Bi为偏差。
步骤S7的具体步骤包括：
步骤S71、将注入细节In-details、DUMS图像作为非线性模型NLCNN网络的输入；
步骤S72、将MS图像作为标签；
步骤S73、对上述网络进行训练，并使损失函数最小后，冻结训练参数，得到最优非线性模型；
步骤S74、使用最优非线性模型获得全色锐化图像。
本发明提供一个实施例来论述有效性，采用Landsat-8卫星传感器获取的遥感图像，其中多光谱图像空间分辨率是30米，像素大小是600×600；对应的全色图像分辨率是15米，像素大小是1200×1200，按照Wald准则对空间分辨率15米全色图像和空间分辨率30米多光谱图像以2倍因子进行下采样操作获得30米全色和60米多光谱仿真图像，分别使用7种方法(Indusion、NSCT、SFIM、MTF_GLP、PNN、DRPNN、PanNet)与本发明一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法进行对比，无论是降分辨率还是全分辨率下的实验结果均可以表明本发明提出的方法的融合效果更优。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，其特征在于，包括以下步骤：
步骤S1、获取卫星遥感图像，对遥感图像中的MS图像和PAN图像进行预处理；
步骤S2、根据Wald准则对预处理后的MS图像和PAN图像进行降分辨率处理，并构建仿真训练集、仿真测试集以及真实测试集，其中仿真训练集和仿真测试集包括DUMS图像、LPAN图像以及MS图像，真实测试集包括UMS图像和PAN图像；
步骤S3、对仿真训练集中的DUMS图像使用AIHS变换得到亮度I分量图像，并使用I分量图像对LPAN图像进行直方图均衡化处理，得到MLPAN图像；
步骤S4、采用引导滤波器对MLPAN图像进行滤波，得到多尺度的高频分量MLPANHn以及低频分量MLPANLn；
步骤S5、采用NSCT对I分量图像进行滤波，得到多尺度多方向的高频方向子带图像IHn以及低频子带图像ILn；
步骤S6、根据DUMS图像、MLPAN图像、高频分量MLPANHn、低频分量MLPANLn、高频方向子带图像IHn以及低频子带图像ILn构建细节提取网络ResCNN，并获得注入细节In-details；
步骤S7、将注入细节In-details和DUMS图像作为浅层CNN网络的输入，MS图像作为输出，建立非线性模型NLCNN网络，对NLCNN网络进行充分训练，获得最优非线性模型，对最优非线性模型的参数进行冻结，使用最优非线性模型获得全色锐化图像；
所述步骤S3中的AIHS变换获取I分量图像的表达式为：
其中i为第i个通道，ai为自适应系数，N为通道的总数；
所述步骤S4的具体步骤为：使用引导滤波器对MLPAN图像进行滤波，引导滤波器的输入图像为MLPAN图像，引导图像为I分量图像，进行滤波后得到低频分量MLPANi＝GF(MLPANi-1,I)，其中GF为引导滤波器，MLPANi-1是第i-1次滤波的输出图像，当i＝1时，即是MLPAN图像，则第i个低频分量MLPANLi＝MLPANi，第i个高频分量MLPANHi＝MLPANLi-1-MLPANLi，在进行n次滤波后得到n个高频分量MLPANHn以及n个低频分量MLPANLn；
所述步骤S5的NSCT包括非下采样金字塔滤波器组NSPFB和非下采样方向滤波器组NSDFB；
所述步骤S5的具体步骤包括：
步骤S51、采用NSPFB对I分量图像进行分解，获得低频子带图像ILi和高频子带图像IHi；
步骤S52、采用NSPFB对低频子带图像进行分解，并获得下一层的低频子带图像和高频子带图像；
步骤S53、采用NSDFB分别对每一层的高频子带图像进行滤波，获得每一层的高频方向子带图像。
2.根据权利要求1所述的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，其特征在于，所述步骤S1中的预处理包括：大气校正和空间配准。
3.根据权利要求1所述的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，其特征在于，所述步骤S2的具体步骤包括：
步骤S21、根据Wald准则及全色图像和多光谱图像之间的空间分辨率之比对MS图像和PAN图像使用双三次插值方法进行下采样，并获得降分辨率的LPAN图像以及DMS图像；
步骤S22、根据Wald准则对DMS图像使用双三次插值方法进行上采样，并获得DUMS图像；
步骤S23、根据Wald准则对MS图像使用双三次插值方法进行上采样，并获得UMS图像；
步骤S24、由DUMS图像、LPAN图像以及MS图像构建仿真训练集和仿真测试集，由UMS图像和PAN图像构建真实测试集。
4.根据权利要求1所述的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，其特征在于，所述步骤S6的具体步骤包括：
步骤S61、以DUMS图像、MLPAN图像、高频分量MLPANHn、低频分量MLPANLn、高频方向子带图像IHn以及低频子带图像ILn作为ResCNN网络的输入；
步骤S62、将DUMS图像和MS图像之间相差的细节作为标签；
步骤S63、对ResCNN网络进行训练，并使损失函数最小后，冻结训练参数，得到最优模型；
步骤S64、根据最优模型获得注入细节In-details。
5.根据权利要求1所述的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，其特征在于，所述步骤S7的具体步骤包括：
步骤S71、将注入细节In-details、DUMS图像作为非线性模型NLCNN网络的输入；
步骤S72、将MS图像作为标签；
步骤S73、对上述网络进行训练，并使损失函数最小后，冻结训练参数，得到最优非线性模型；
步骤S74、使用最优非线性模型获得全色锐化图像。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110814955.0A CN113643197B (zh) | 2021-07-19 | 2021-07-19 | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 |
| PCT/CN2021/122464 WO2023000505A1 (zh) | 2021-07-19 | 2021-09-30 | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110814955.0A CN113643197B (zh) | 2021-07-19 | 2021-07-19 | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113643197A CN113643197A (zh) | 2021-11-12 |
| CN113643197B true CN113643197B (zh) | 2023-06-20 |
Family
ID=78417698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110814955.0A Active CN113643197B (zh) | 2021-07-19 | 2021-07-19 | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113643197B (zh) |
| WO (1) | WO2023000505A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115564644B (zh) * | 2022-01-10 | 2023-07-25 | 荣耀终端有限公司 | 图像数据的处理方法、相关设备以及计算机存储介质 |
| CN114663301B (zh) * | 2022-03-05 | 2024-03-08 | 西北工业大学 | 一种基于小波层的卷积神经网络全色锐化方法 |
| CN115861083B (zh) * | 2023-03-03 | 2023-05-16 | 吉林大学 | 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 |
| CN117132468B (zh) * | 2023-07-11 | 2024-05-24 | 汕头大学 | 一种基于Curvelet系数预测的精密测量图像超分辨率重建方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318527A (zh) * | 2014-10-21 | 2015-01-28 | 浙江工业大学 | 基于小波变换和引导滤波器的医学超声图像去噪方法 |
| CN107610049A (zh) * | 2017-08-21 | 2018-01-19 | 华侨大学 | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 |
| CN110428387A (zh) * | 2018-11-16 | 2019-11-08 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
| CN110930339A (zh) * | 2019-12-05 | 2020-03-27 | 福州大学 | 基于nsct域的航空及遥感图像去雾方法 |
| CN113129247A (zh) * | 2021-04-21 | 2021-07-16 | 重庆邮电大学 | 基于自适应多尺度残差卷积的遥感图像融合方法及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510535B (zh) * | 2018-03-14 | 2020-04-24 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
-
2021
- 2021-07-19 CN CN202110814955.0A patent/CN113643197B/zh active Active
- 2021-09-30 WO PCT/CN2021/122464 patent/WO2023000505A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318527A (zh) * | 2014-10-21 | 2015-01-28 | 浙江工业大学 | 基于小波变换和引导滤波器的医学超声图像去噪方法 |
| CN107610049A (zh) * | 2017-08-21 | 2018-01-19 | 华侨大学 | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 |
| CN110428387A (zh) * | 2018-11-16 | 2019-11-08 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
| CN110930339A (zh) * | 2019-12-05 | 2020-03-27 | 福州大学 | 基于nsct域的航空及遥感图像去雾方法 |
| CN113129247A (zh) * | 2021-04-21 | 2021-07-16 | 重庆邮电大学 | 基于自适应多尺度残差卷积的遥感图像融合方法及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023000505A1 (zh) | 2023-01-26 |
| CN113643197A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113643197B (zh) | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 | |
| Dong et al. | Deep spatial–spectral representation learning for hyperspectral image denoising | |
| Cai et al. | Super-resolution-guided progressive pansharpening based on a deep convolutional neural network | |
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| Cao et al. | PanCSC-Net: A model-driven deep unfolding method for pansharpening | |
| Xie et al. | HPGAN: Hyperspectral pansharpening using 3-D generative adversarial networks | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN113793289B (zh) | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| Li et al. | DDLPS: Detail-based deep Laplacian pansharpening for hyperspectral imagery | |
| Yang et al. | SAR-to-optical image translation based on improved CGAN | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| Gastineau et al. | Generative adversarial network for pansharpening with spectral and spatial discriminators | |
| CN113284051B (zh) | 一种基于频率分解多注意力机制的人脸超分辨方法 | |
| CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| Singh et al. | Sub-band energy constraints for self-similarity based super-resolution | |
| Benzenati et al. | Two stages pan-sharpening details injection approach based on very deep residual networks | |
| Li et al. | RGB-induced feature modulation network for hyperspectral image super-resolution | |
| Pan et al. | FDPPGAN: remote sensing image fusion based on deep perceptual patchGAN | |
| Pan et al. | Structure–color preserving network for hyperspectral image super-resolution | |
| Zhong et al. | Attention_FPNet: Two-branch remote sensing image pansharpening network based on attention feature fusion | |
| Gong et al. | Learning deep resonant prior for hyperspectral image super-resolution | |
| Zhan et al. | A novel cross-scale octave network for hyperspectral and multispectral image fusion | |
| CN115861749A (zh) | 一种基于窗口交叉注意力的遥感图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |