CN114663301B - 一种基于小波层的卷积神经网络全色锐化方法 - Google Patents
一种基于小波层的卷积神经网络全色锐化方法 Download PDFInfo
- Publication number
- CN114663301B CN114663301B CN202210211459.0A CN202210211459A CN114663301B CN 114663301 B CN114663301 B CN 114663301B CN 202210211459 A CN202210211459 A CN 202210211459A CN 114663301 B CN114663301 B CN 114663301B
- Authority
- CN
- China
- Prior art keywords
- layer
- low
- frequency
- image
- pan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 65
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 30
- 101000894590 Homo sapiens Uncharacterized protein C20orf85 Proteins 0.000 claims description 15
- 102100021442 Uncharacterized protein C20orf85 Human genes 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 15
- 230000010354 integration Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 9
- 238000000605 extraction Methods 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 abstract 2
- 230000006870 function Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种基于小波层的卷积神经网络全色锐化方法，以离散小波变换层和其逆变换层取代CNNs中上采样、下采样层。将MS与PAN分别送入不同的分支网络，先经过DWT层分解为低频、高频部分，再通过卷积层进行特征提取，重复两次，将得到的低频部分加权融合之后，经过卷积层得到的低频部分特征图，与相应高频部分经卷积层所得的特征图，一起输入IDWT层，再重复两次，最后一次反小波层输入的低频部分是上一层卷积的结果加上MS第一次通过小波层所得低频部分，如此可充分融合MS与PAN的高低频部分信息，最后经过一次卷积后得到融合结果。本发明的网络模型具有体积小、信息损失少的特点；同时提高了融合效率，保证了最终融合图像的高质量。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种图像全色锐化方法。
背景技术
在遥感系统中，卫星可以获得两种完全不同的图像，即多光谱图像(MS)和全色图像(PAN)。受物理因素的限制，多光谱图像具有高光谱分辨率，低空间分辨率；全色图像具有高空间分辨率，低光谱分辨率。在实际应用中，往往需要高空间分辨率、高光谱分辨率的图像。这就需要全色锐化技术，全色锐化旨在将在同一区域同时获得的多光谱图和全色图融合，形成具有高空间分辨率特点的MS图(High-Resolution MultiSpectral,HRMS)。
传统的全色锐化方法，如成分替换(CS)、多分辨率分析(MRA)、基于优化的方法(MBO)都存在一定的缺点：CS类方法原理简单，易于实现，但是由于PAN与MS图像之间的不匹配会导致光谱失真；MRA类方法可以提取出更精细的细节信息，但在融合后的图像中会产生诸如振铃和混叠等空间伪影；MBO类方法的主要思想是根据MS图像、PAN图像和所需HRMS图像之间的关系建立模型。因此其融合效果会更好一些，但是它高度依赖于正则化项，有时解不稳定，此外其时间复杂度远远高于其他许多算法。
近来，深度学习方法被引入到遥感图像处理任务领域，对于性能的提升显示出巨大的潜力：卷积神经网络(CNN)的高度非线性使得它能够很好地应用于全色锐化，打破了传统方法总是人为设计融合规则的瓶颈；且在训练阶段之后，通过学习的非线性映射可以快速有效的预测出融合结果图像。但是对于常用的CNN架构(如VGG、RESNET和DenseNet等)，其下采样操作(如最大池化、平均池化、跨步卷积)可能会导致低频和高频分量之间的混叠，容易破坏基本的对象结构。另外，大多数现有的网络并不是为全色锐化任务定制的。常见的情况是采用为其他计算机视觉任务设计的网络，如图像超分、语义分割等，忽略了MS图像和PAN图像的特点。
发明内容
为了克服现有技术的不足，本发明提供了一种基于小波层的卷积神经网络全色锐化方法，以离散小波变换(Discrete Wavelet Transform,DWT)层和其逆变换(InverseDiscrete Wavelet Transform,IDWT)层取代CNNs中上采样、下采样层。将MS与PAN分别送入不同的分支网络，先经过DWT层分解为低频、高频部分，再通过卷积层进行特征提取，重复两次，将得到的低频部分加权融合之后，经过卷积层得到的低频部分特征图，与相应高频部分经卷积层所得的特征图，一起输入IDWT层，再重复两次，最后一次反小波层输入的低频部分是上一层卷积的结果加上MS第一次通过小波层所得低频部分，如此可充分融合MS与PAN的高低频部分信息，最后经过一次卷积后得到融合结果。本发明的网络模型具有体积小、信息损失少的特点；同时提高了融合效率，保证了最终融合图像的高质量。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：数据集准备；
对卫星采集数据集中的MS图像和PAN图像按照从左到右、从上到下的顺序无重叠地截取图像块，将截取的图像块分成三部分，分别作为训练集、验证集和测试集；对训练集、验证集和测试集中的MS图像块和PAN图像块按照Wald协议进行下采样，然后将这些图像作为网络的输入，将原始MS图像作为参考图像；
步骤2：网络模型构建；
所述网络模型分为两个部分：分解部分和融合部分；
所述分解部分包含两个分支网络，分别分解MS图像块和PAN图像块的信息并提取特征；所述融合部分进行MS图像块和PAN图像块的信息整合和特征加权融合，最终获得融合结果高分辨率多光谱图像；
具体各个部分的构建过程如下：
步骤2-1：分解部分之PAN分支网络；
将下采样后的PAN图像块作为PAN分支网络的输入，经过小波层1，得到：低频信息部分L1、高频信息部分H1；L1经过卷积层1得到低频特征LC1；LC1经过小波层2，得到低频特征的低频信息部分LL1与高频信息部分LH1；LL1经过卷积层2得到低频信息特征LLC1；LH1经过卷积层2_2得到低频的高频特征LHC1；H1经过卷积层1_2得到高频特征HC1；
综上：PAN分支网络输入下采样后的PAN图像块，输出高频特征HC1、低频信息特征LLC1、低频的高频特征LHC1；
步骤2-2：分解部分之MS分支网络；
将下采样后的MS图像块进行双三次插值上采样，此上采样MS图像块作为MS分支网络的输入，经过小波层1_1，得到：低频信息部分L2、高频信息部分H2；L2经过卷积层1_3得到低频特征LC2；LC2经过小波层2_1，得到低频特征的低频信息部分LL2与高频信息部分LH2；LL2经过卷积层2_3得到低频信息特征LLC2；LH2经过卷积层2_4得到低频的高频特征LHC2；H2经过卷积层1_4得到高频特征HC2；
综上：MS分支网络输入上采样MS图像块，输出高频特征HC2、低频信息特征LLC2、低频的高频特征LHC2；
步骤2-3：融合部分之权重；
在进行MS图像块和PAN图像块的信息整合和特征加权融合时增加权重项w1、w2、w3，其计算公式如下：
w1＝CC(reshaped(LLC1),reshaped(LLC2)) (2)
w2＝CC(reshaped(LHC1),reshaped(LHC2)) (3)
w3＝CC(reshaped(HC1),reshaped(HC2)) (4)
其中，X、Y代表尺寸为M×N的两张图像，Xi,j与Yi,j分别代表X、Y两张图像在(i,j)像素位置的像素灰度值，与/>分别代表X、Y两张图像的像素平均灰度值，CC用于计算相同比例特征之间的相关性，reshaped(*)代表将尺寸为C×H×W的特征变为尺寸为C×HW特征的操作；
步骤2-4：融合部分之网络结构；
将PAN分支网络得到的低频信息特征LLC1与MS分支网络得到的低频信息特征LLC2进行加权融合，即：
LL＝w1×LLC1+(1-w1)×LLC2 (5)
LL经过卷积层3得到LLC；将LLC作为反小波层2的低频输入，LHC1与LHC2通过式(6)加权融合结果LHC作为反小波层2的高频输入，经过反小波层2得到第一次整合结果L；L经过卷积层4得到LC，LC与L2经卷积层4_1得到的L2C融合得到LC2；LC2作为反小波层1的低频输入，HC1与HC2通过式(7)加权融合结果HC作为反小波层1的高频输入，经过反小波层1得到第二次整合结果F；F经卷积层5得到最终融合结果HRMS；
LHC＝w2×LHC1+(1-w2)×LHC2 (6)
HC＝w3×HC1+(1-w3)×HC2 (7)
步骤3：损失函数
由式(8)的MSE损失变为式(9)损失函数Lm：
Lmse＝||Zfusion-XUp_MS||2 (8)
Lm＝|B(Zfusion)-XUp_MS|+|G(zfusion)-G(Y)|+|Zfusion-Zref| (9)
其中，B(*)代表高斯模糊，G(*)代表梯度计算；Zfusion表示最终融合结果图，XUp_MS表示上采样MS图像块，Y表示PAN图像块，Zref表示参考图；
步骤4：采用损失函数Lm，使用训练集对网络模型进行训练，得到最终的网络模型，并采用验证集和测试集进行验证和测试。
优选地，所述步骤1中下采样时采样因子为4。
优选地，所述卫星采集数据集为QuickBird和高分2号卫星采集的图像集；在QuickBird卫星采集的图像集中，PAN图像的空间分辨率为0.6米，MS图像的空间分辨率为2.4米；在高分2号卫星采集的图像集中，PAN图像的空间分辨率为1米，MS图像的空间分辨率为4米；MS图像均包含4个光谱波段：蓝色、绿色、红色和近红外波段；MS图像和PAN图像之间的空间分辨率比均为4。
优选地，所述训练集和验证集的PAN图像块尺寸为256×256，MS图像块尺寸为64×64×4；测试集的PAN图像块尺寸为1024×1024，MS图像块尺寸为256×256×4；训练集、验证集、测试集数据量之比为：8:1:1。
本发明的有益效果如下：
本发明通过使用小波层和反小波层取代CNNs中常用的上采样、下采样层，减少深度神经网络信息传播过程中的细节损失，通过构造简单的五层卷积神经网络，使得模型具有体积小、信息损失少的特点；融合权重可根据提取特征的相关性，有选择性的融合网络提取的特征，提高了融合效率；加入跳连接进一步保留MS的光谱信息；提出的损失函数则保证最终融合图像的高质量。
附图说明
图1是本发明方法流程图。
图2是本发明方法构造的网络模型结构图。
图3是本发明实施例中本发明方法和不同经典方法的融合结果示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明的目的在于克服上述已有技术的不足，提出了一种基于小波层的卷积神经网络全色锐化方法，以有效利用多光谱图和全色图中的信息，从而最大程度提高MS的空间信息、保留原有光谱信息。
一种基于小波层的卷积神经网络全色锐化方法，包括如下步骤：
步骤1：数据集准备；
对卫星采集数据集中的MS图像和PAN图像按照从左到右、从上到下的顺序无重叠地截取图像块，将截取的图像块分成三部分，分别作为训练集、验证集和测试集；对训练集、验证集和测试集中的MS图像块和PAN图像块按照Wald协议进行下采样，然后将这些图像作为网络的输入，将原始MS图像作为参考图像；
在由QuickBird(QB)和高分2号(GF-2)卫星采集的图像组成的两个数据集上训练和测试网络。对于QB数据集，PAN的空间分辨率为0.6米，MS的空间分辨率为2.4米；对于GF-2数据集，PAN的空间分辨率为1米，MS的空间分辨率为4米。MS均包含4个光谱波段：蓝色、绿色、红色和近红外波段。两个数据集中MS和PAN图像之间的空间分辨率比均为4。
由于没有参考图，将按照Wald的协议对MS和PAN图像进行下采样，采样因子为r＝4。从原图从左到右、从上到下无重叠的进行截取对应位置的图像块，将得到的图像块看作新图像用于构成训练集和测试集：训练集和验证集的图像块尺寸为256×256(PAN)/64×64×4(MS)，测试集的图像块尺寸为1024×1024(PAN)/256×256×4(MS)，训练、验证、测试数据量之比为：8:1:1。
步骤2：网络模型构建；
所述网络模型分为两个部分：分解部分和融合部分；
所述分解部分包含两个分支网络，分别分解MS图像块和PAN图像块的信息并提取特征；所述融合部分进行MS图像块和PAN图像块的信息整合和特征加权融合，最终获得融合结果高分辨率多光谱图像；
具体各个部分的构建过程如下：
步骤2-1：分解部分之PAN分支网络；
将下采样后的PAN图像块作为PAN分支网络的输入，经过小波层1，得到：低频信息部分L1、高频信息部分H1；L1经过卷积层1得到低频特征LC1；LC1经过小波层2，得到低频特征的低频信息部分LL1与高频信息部分LH1；LL1经过卷积层2得到低频信息特征LLC1；LH1经过卷积层2_2得到低频的高频特征LHC1；H1经过卷积层1_2得到高频特征HC1；
综上：PAN分支网络输入下采样后的PAN图像块，输出高频特征HC1、低频信息特征LLC1、低频的高频特征LHC1；
步骤2-2：分解部分之MS分支网络；
将下采样后的MS图像块进行双三次插值上采样，此上采样MS图像块作为MS分支网络的输入，经过小波层1_1，得到：低频信息部分L2、高频信息部分H2；L2经过卷积层1_3得到低频特征LC2；LC2经过小波层2_1，得到低频特征的低频信息部分LL2与高频信息部分LH2；LL2经过卷积层2_3得到低频信息特征LLC2；LH2经过卷积层2_4得到低频的高频特征LHC2；H2经过卷积层1_4得到高频特征HC2；
综上：MS分支网络输入上采样MS图像块，输出高频特征HC2、低频信息特征LLC2、低频的高频特征LHC2；
步骤2-3：融合部分之权重；
在进行MS图像块和PAN图像块的信息整合和特征加权融合时增加权重项w1、w2、w3，其计算公式如下：
w1＝CC(reshaped(LLC1),reshaped(LLC2)) (2)
w2＝CC(reshaped(LHC1),reshaped(LHC2)) (3)
w3＝CC(reshaped(HC1),reshaped(HC2)) (4)
其中，X、Y代表尺寸为M×N的两张图像，Xi,j与Yi,j分别代表X、Y两张图像在(i,j)像素位置的像素灰度值，与/>分别代表X、Y两张图像的像素平均灰度值，CC用于计算相同比例特征之间的相关性，reshaped(*)代表将尺寸为C×H×W的特征变为尺寸为C×HW特征的操作；
步骤2-4：融合部分之网络结构；
将PAN分支网络得到的低频信息特征LLC1与MS分支网络得到的低频信息特征LLC2进行加权融合，即：
LL＝w1×LLC1+(1-w1)×LLC2 (5)
LL经过卷积层3得到LLC；将LLC作为反小波层2的低频输入，LHC1与LHC2通过式(6)加权融合结果LHC作为反小波层2的高频输入，经过反小波层2得到第一次整合结果L；L经过卷积层4得到LC，LC与L2经卷积层4_1得到的L2C融合得到LC2；LC2作为反小波层1的低频输入，HC1与HC2通过式(7)加权融合结果HC作为反小波层1的高频输入，经过反小波层1得到第二次整合结果F；F经卷积层5得到最终融合结果HRMS；
LHC＝w2×LHC1+(1-w2)×LHC2 (6)
HC＝w3×HC1+(1-w3)×HC2 (7)
步骤3：损失函数
由式(8)的MSE损失变为式(9)损失函数Lm：
Lmse＝||Zfusion-XUp_MS||2 (8)
Lm＝|B(Zfusion)-XUp_Ms|+|G(zfusion)-G(Y)|+|Zfusion-Zref| (9)
其中，B(*)代表高斯模糊，G(*)代表梯度计算；Zfusion表示最终融合结果图，XUp_MS表示上采样MS图像块，Y表示PAN图像块，Zref表示参考图；
步骤4：采用损失函数Lm，使用训练集对网络模型进行训练，得到最终的网络模型，并采用验证集和测试集进行验证和测试。
具体实施例：
(1)数据集准备：
使用图像的大小比例为4:1的全色图像和多光谱图像，作为一对匹配的原图像；接着在PyCharm中进行如下处理：
①以mat数据格式读取图像，把原图划分成两部分，两部分的宽度相同、高度比例为9:1，分别作为训练数据图像、测试数据图像。PAN、MS均做此处理；
②训练数据部分，从左到右、从上到下截取匹配的PAN与MS训练图像的对应位置图像块，其中PAN的图像块尺寸为256×256、MS的图像块尺寸为64×64×4(4为通道数，当MS通道数为8时，可相应改为8)。测试数据部分以类似方式构造，其中PAN的图像块尺寸为1024×1024、MS的图像块尺寸为256×256×4。
③训练数据部分随机划分出1/9作为验证集数据。
至此得到训练集、验证集、测试集数据，均保存为mat格式。对于GF-2，训练集包含9970对图像，验证集包含1088对图像，测试集包含224对图像；对于QB，训练集包含6234对图像，验证集包含670对图像，测试集包含345对图像。
④根据Wald的协议，将原始MS图像作为参考图时，将PAN图和MS图用cv2.GaussianBlur()函数以高斯核为5×5、标准差取2的方式进行高斯模糊后，再用cv2.resize()函数以“cv2.INTER_AREA”方式下采样4倍作为新图像构成训练集。验证集和测试集进行相同操作。
至此数据集准备完成。
(2)网络模型构建
网络结构图见图2，整个网络包括如下部分：
①小波层1(wavelet1)、小波层2(wavelet2)、反小波层1(iwavelet1)、反小波层2(iwavelet2)；卷积层1(conv1)、卷积层1_2(conv1_2)、卷积层1_3(conv1_3)、卷积层1_4(conv1_4)；卷积层2(conv2)、卷积层2_2(conv2_2)、卷积层2_3(conv2_3)、卷积层2_4(conv2_4)；卷积层3(conv3)；卷积层4(conv4)、卷积层4_1(conv4_1)；卷积层5(conv5)。
具体参数设置如下表：
其中c1、c2、c11、c21可以设置为32、32、16、16，或者32、64、16、32等合适的值，这里采用c1＝32、c2＝64、c11＝16、c21＝32。bands代表MS的光谱波段数。
除最后一层激活函数使用torch.nn.Tanh()外，其他层的激活函数中使用torch.nn.leakyReLU(0.2)；每层后都使用批量标准化(batch normalization)。
②权重w1、w2、w3的具体计算方式：计算w1时，公式(2)中reshaped(*)具体指使用tensor的reshape()函数，将尺寸为C×H×W的特征变换形状尺寸为C×HW(HW＝H×W)，参与计算；同样的，w2、w3分别由公式(3)、(4)计算得到。
③小波层和反小波层对高频的处理：图像或者特征图经过小波层后，得到一个低频部分和三个高频部分，为方便处理，将三个高频部分按照顺序在通道维度进行拼接；在反小波层输入部分依旧需要一个低频部分、三个高频部分，此时会将融合高频按照顺序在通道维度分解为三部分作为反小波层三个高频输入。
(3)网络训练
①输入图像：PAN(尺寸64×64，即高度×宽度)、Up_MS(尺寸64×64×4，即高度×宽度×通道数)。这里Up_MS由MS(尺寸16×16×4)通过torch.nn.functional.interpolate()函数，以“bicubic”方式得到。
②其他有关设置：训练次数epoch通常设为300、批量训练batch size通常设为16、初始学习率可设为0.01或者0.001，当epoch＝100或200时，学习率除以10。小波采用“haar”小波。每一个epoch结束都使用验证集测试网络效果，保存最好效果的网络参数。
③停止训练条件：网络的损失函数达到收敛状态。
(4)网络测试
①输入图像：PAN(尺寸256×256，即高度×宽度)、Up_MS(尺寸256×256×4，即高度×宽度×通道数)。这里Up_MS是MS(尺寸64×64×4)通过torch.nn.functional.interpolate()函数，以“bicubic”方式得到。
②加载训练阶段保存的最好效果的网络参数或者最后一个epoch保存的网络参数，对输入图像进行测试。
③网络输出结果：最终输出结果在MATLAB中进行可视化，对数据归一化处理后显示，多通道图像只显示红绿蓝三个波段可视化结果。如图3所示，第一幅图是GF-2数据集中一对图像的可视化结果，从左到右、从上到下依次显示的是PAN图、MS图、测试结果图、参考图；第二幅图是QB数据集中一对图像的可视化结果，从左到右、从上到下依次显示的是PAN图、MS图、测试结果图、参考图。
Claims (4)
1.一种基于小波层的卷积神经网络全色锐化方法，其特征在于，包括如下步骤：
步骤1：数据集准备；
对卫星采集数据集中的MS图像和PAN图像按照从左到右、从上到下的顺序无重叠地截取图像块，将截取的图像块分成三部分，分别作为训练集、验证集和测试集；对训练集、验证集和测试集中的MS图像块和PAN图像块按照Wald协议进行下采样，然后将这些图像作为网络的输入，将原始MS图像作为参考图像；
步骤2：网络模型构建；
所述网络模型分为两个部分：分解部分和融合部分；
所述分解部分包含两个分支网络，分别分解MS图像块和PAN图像块的信息并提取特征；所述融合部分进行MS图像块和PAN图像块的信息整合和特征加权融合，最终获得融合结果高分辨率多光谱图像；
具体各个部分的构建过程如下：
步骤2-1：分解部分之PAN分支网络；
将下采样后的PAN图像块作为PAN分支网络的输入，经过小波层1，得到：低频信息部分L1、高频信息部分H1；L1经过卷积层1得到低频特征LC1；LC1经过小波层2，得到低频特征的低频信息部分LL1与高频信息部分LH1；LL1经过卷积层2得到低频信息特征LLC1；LH1经过卷积层2_2得到低频的高频特征LHC1；H1经过卷积层1_2得到高频特征HC1；
综上：PAN分支网络输入下采样后的PAN图像块，输出高频特征HC1、低频信息特征LLC1、低频的高频特征LHC1；
步骤2-2：分解部分之MS分支网络；
将下采样后的MS图像块进行双三次插值上采样，此上采样MS图像块作为MS分支网络的输入，经过小波层1_1，得到：低频信息部分L2、高频信息部分H2；L2经过卷积层1_3得到低频特征LC2；LC2经过小波层2_1，得到低频特征的低频信息部分LL2与高频信息部分LH2；LL2经过卷积层2_3得到低频信息特征LLC2；LH2经过卷积层2_4得到低频的高频特征LHC2；H2经过卷积层1_4得到高频特征HC2；
综上：MS分支网络输入上采样MS图像块，输出高频特征HC2、低频信息特征LLC2、低频的高频特征LHC2；
步骤2-3：融合部分之权重；
在进行MS图像块和PAN图像块的信息整合和特征加权融合时增加权重项w1、w2、w3，其计算公式如下：
w1＝CC(reshaped(LLC1),reshaped(LLC2)) (2)
w2＝CC(reshaped(LHC1),reshaped(LHC2)) (3)
w3＝CC(reshaped(HC1),reshaped(HC2)) (4)
其中，X、Y代表尺寸为M×N的两张图像，Xi,j与Yi,j分别代表X、Y两张图像在(i,j)像素位置的像素灰度值，与/>分别代表X、Y两张图像的像素平均灰度值，CC用于计算相同比例特征之间的相关性，reshaped(*)代表将尺寸为C×H×W的特征变为尺寸为C×HW特征的操作；
步骤2-4：融合部分之网络结构；
将PAN分支网络得到的低频信息特征LLC1与MS分支网络得到的低频信息特征LLC2进行加权融合，即：
LL＝w1×LLC1+(1-w1)×LLC2 (5)
LL经过卷积层3得到LLC；将LLC作为反小波层2的低频输入，LHC1与LHC2通过式(6)加权融合结果LHC作为反小波层2的高频输入，经过反小波层2得到第一次整合结果L；L经过卷积层4得到LC，LC与L2经卷积层4_1得到的L2C融合得到LC2；LC2作为反小波层1的低频输入，HC1与HC2通过式(7)加权融合结果HC作为反小波层1的高频输入，经过反小波层1得到第二次整合结果F；F经卷积层5得到最终融合结果HRMS；
LHC＝w2×LHC1+(1-w2)×LHC2 (6)
HC＝w3×HC1+(1-w3)×HC2 (7)
步骤3：损失函数
由式(8)的MSE损失变为式(9)损失函数Lm：
Lmse＝||Zfusion-XUp_MS||2 (8)
Lm＝|B(Zfusion)-XUp_MS|+|G(Zfusion)-G(Y)|+|Zfusion-Zref| (9)
其中，B(*)代表高斯模糊，G(*)代表梯度计算；Zfusion表示最终融合结果图，XUp_MS表示上采样MS图像块，Y表示PAN图像块，Zref表示参考图；
步骤4：采用损失函数Lm，使用训练集对网络模型进行训练，得到最终的网络模型，并采用验证集和测试集进行验证和测试。
2.根据权利要求1所述的一种基于小波层的卷积神经网络全色锐化方法，其特征在于，所述步骤1中下采样时采样因子为4。
3.根据权利要求1所述的一种基于小波层的卷积神经网络全色锐化方法，其特征在于，所述卫星采集数据集为QuickBird和高分2号卫星采集的图像集；在QuickBird卫星采集的图像集中，PAN图像的空间分辨率为0.6米，MS图像的空间分辨率为2.4米；在高分2号卫星采集的图像集中，PAN图像的空间分辨率为1米，MS图像的空间分辨率为4米；MS图像均包含4个光谱波段：蓝色、绿色、红色和近红外波段；MS图像和PAN图像之间的空间分辨率比均为4。
4.根据权利要求1所述的一种基于小波层的卷积神经网络全色锐化方法，其特征在于，所述训练集和验证集的PAN图像块尺寸为256×256，MS图像块尺寸为64×64×4；测试集的PAN图像块尺寸为1024×1024，MS图像块尺寸为256×256×4；训练集、验证集、测试集数据量之比为：8:1:1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210211459.0A CN114663301B (zh) | 2022-03-05 | 2022-03-05 | 一种基于小波层的卷积神经网络全色锐化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210211459.0A CN114663301B (zh) | 2022-03-05 | 2022-03-05 | 一种基于小波层的卷积神经网络全色锐化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114663301A CN114663301A (zh) | 2022-06-24 |
| CN114663301B true CN114663301B (zh) | 2024-03-08 |
Family
ID=82026581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210211459.0A Active CN114663301B (zh) | 2022-03-05 | 2022-03-05 | 一种基于小波层的卷积神经网络全色锐化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663301B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078563B (zh) * | 2023-10-16 | 2024-02-02 | 武汉大学 | 启明星一号卫星高光谱图像全色锐化方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410164A (zh) * | 2018-11-14 | 2019-03-01 | 西北工业大学 | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
| WO2020015167A1 (zh) * | 2018-07-17 | 2020-01-23 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
| CN113643197A (zh) * | 2021-07-19 | 2021-11-12 | 海南大学 | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 |
| CN113793289A (zh) * | 2021-09-10 | 2021-12-14 | 海南大学 | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 |
| CN114119444A (zh) * | 2021-11-29 | 2022-03-01 | 武汉大学 | 一种基于深度神经网络的多源遥感图像融合方法 |
-
2022
- 2022-03-05 CN CN202210211459.0A patent/CN114663301B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020015167A1 (zh) * | 2018-07-17 | 2020-01-23 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN109410164A (zh) * | 2018-11-14 | 2019-03-01 | 西北工业大学 | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
| WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
| CN113643197A (zh) * | 2021-07-19 | 2021-11-12 | 海南大学 | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 |
| CN113793289A (zh) * | 2021-09-10 | 2021-12-14 | 海南大学 | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 |
| CN114119444A (zh) * | 2021-11-29 | 2022-03-01 | 武汉大学 | 一种基于深度神经网络的多源遥感图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| 吴帆 ; 高媛 ; 秦品乐 ; 王丽芳 ; .基于拉普拉斯金字塔和CNN的医学图像融合算法.计算机工程与应用.(15),全文. * |
| 结合深度学习的非下采样剪切波遥感图像融合;陈清江;李毅;柴昱洲;;应用光学;20180915(05);全文 * |
| 自适应字典学习的卷积稀疏表示遥感图像融合;杨勇;李露奕;黄淑英;张迎梅;卢航远;;信号处理;20200125(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114663301A (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021184891A1 (zh) | 遥感影像地物分类方法及系统 | |
| Zhang et al. | Pan-sharpening using an efficient bidirectional pyramid network | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN109272452B (zh) | 小波域中基于集团结构子带共同学习超分辨率网络的方法 | |
| Dong et al. | Generative dual-adversarial network with spectral fidelity and spatial enhancement for hyperspectral pansharpening | |
| CN108765425B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN109118432A (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN110570440A (zh) | 一种基于深度学习边缘检测的图像自动分割方法及装置 | |
| CN111008936B (zh) | 一种多光谱图像全色锐化方法 | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| CN112381711B (zh) | 光场图像重建模型训练及快速超分辨率重建方法 | |
| CN114663301B (zh) | 一种基于小波层的卷积神经网络全色锐化方法 | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| CN115311184A (zh) | 基于半监督深度神经网络的遥感图像融合方法及系统 | |
| Pan et al. | FDPPGAN: remote sensing image fusion based on deep perceptual patchGAN | |
| CN116934592A (zh) | 一种基于深度学习的图像拼接方法、系统、设备及介质 | |
| CN117058009A (zh) | 一种基于条件扩散模型的全色锐化方法 | |
| CN114511470B (zh) | 一种基于注意力机制的双分支全色锐化方法 | |
| CN114638761A (zh) | 一种高光谱图像全色锐化方法、设备及介质 | |
| CN115937302A (zh) | 结合边缘保持的高光谱图像亚像元定位方法 | |
| CN115100075A (zh) | 基于光谱约束和残差注意力网络的高光谱全色锐化方法 | |
| CN115345792A (zh) | 一种基于u型金字塔残差结构的全色锐化方法 | |
| CN113887619A (zh) | 一种基于知识引导的遥感影像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |