CN118052712A - 一种基于多阶段空频联合的遥感图像超分辨率重建方法 - Google Patents
一种基于多阶段空频联合的遥感图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN118052712A CN118052712A CN202410204423.9A CN202410204423A CN118052712A CN 118052712 A CN118052712 A CN 118052712A CN 202410204423 A CN202410204423 A CN 202410204423A CN 118052712 A CN118052712 A CN 118052712A
- Authority
- CN
- China
- Prior art keywords
- space
- frequency
- characteristic
- network
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000003935 attention Effects 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000010332 selective attention Effects 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 238000005065 mining Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多阶段空频联合的遥感图像超分辨率重建方法，利用双支路空频信息提取网络同时获取遥感图像在频域上的全局频谱特征与空域上的空间细节特征；利用自适应空频选择注意网络对空频两支路特征进行自适应选择融合；将上述两个网络进行串联，视作多阶段U型编码‑解码网络架构中的特征提取基础组件，从而构成最终的多阶段空频联合遥感超分网络，能够有效挖掘遥感图像中的多层次空频联合特征，提高遥感图像超分辨率重建任务精度。本发明弥补了现有遥感超分网络仅聚焦于空域特征提取的局限性，具备从频域角度对图像内全局相关性建模的能力，增强了融合特征对于遥感图像的信息表达，有效提升遥感图像超分任务的重建精度。
Description
技术领域
本发明涉及图像处理领域，更具体来说涉及一种遥感图像超分辨率重建方法。
背景技术
高分辨率遥感图像在资源勘探、环境监测、目标检测、目标识别等方面起着重要的作用。然而，由于成像设备的限制和空间中恶劣的成像条件，遥感图像质量经常受到运动模糊、大气等因素的影响从硬件上提高其分辨率耗时较长，成本极高。遥感图像超分辨率重建(Remote Sensing Image Super-Resolution,RSISR)技术能够在不改变物理成像设备的限制下，通过图像处理软件算法获得在成像系统分辨率极限之上的更高分辨率图像，在遥感应用中受到了广泛的关注。
近年来，基于空域的深度卷积神经网络方法在RSISR任务上取得了很大的突破。然而由于遥感图像内部纹理和结构信息的复杂多样性，仅从空域卷积的角度对遥感图像进行特征挖掘，无法充分感知遥感图像内部的全局退化现象，导致网络重建效果不佳，纹理细节不足。随后，大量学者开始引入Tansformer自注意机制用于捕捉遥感图像特征的全局自相似性，一定程度上缓解了上述问题，提升了RSISR任务性能。然而这类方法仅专注于图像特征自相似性的捕捉，并未对图像全局退化相关性以及纹理轮廓连贯性等进行建模，导致网络局限于特征自相似性的挖掘，忽略特征全局相关性的挖掘，对超分任务的性能提升有限。
发明内容
为了克服现有技术的不足，本发明提供一种基于多阶段空频联合的遥感图像超分辨率重建方法。为了缓解现有遥感图像超分辨率技术全局特性捕捉不到位，重建精度不足，纹理不清晰的问题，本发明提出了一种基于多阶段空频联合的遥感图像超分辨率重建方法。利用双支路空频信息提取网络同时获取遥感图像在频域上的全局频谱特征与空域上的空间细节特征；利用自适应空频选择注意网络对空频两支路特征进行自适应选择融合；将上述两个网络进行串联，视作多阶段U型编码-解码网络架构中的特征提取基础组件，从而构成最终的多阶段空频联合遥感超分网络，能够有效挖掘遥感图像中的多层次空频联合特征，提高遥感图像超分辨率重建任务精度。
本发明解决其技术问题所采用的技术方案是：
一种基于多阶段空频联合的遥感图像超分辨率重建方法，步骤如下：
步骤1：图像预处理：利用双线性插值将低分辨率遥感图像上采样至所需的超分辨率图像输出尺寸大小，减少信息的过度损失；
步骤2：构建多阶段的U型编码-解码网络架构，将预处理后的上采样图像输入该U型编码-解码网络架构进行特征提取，得到最终超分辨率重建结果；
所述的U型编码-解码网络架构使用四个编码网络与三个下采样网络提取出四种不同尺度的编码特征图{E1,E2,E3,E4},使用四个解码网络与三个上采样网络，以最小尺度的编码特征E4为输入，逐步解码复原为对应尺度的解码特征图{D1,D2,D3,D4}，此过程中，每一层级的解码特征与对应相同尺度下的编码特征进行直连求和，作为下一层级解码网络的输入；编码网络与解码网络均采用相同的双支路空频信息提取网络设计，将最后一层解码网络输出的D4特征图通过一个3×3卷积层调整输出通道维度与双线性插值上采样图像相加，得到最终超分辨率重建结果；双支路空频信息提取网络包括空域信息提取网络、频域信息提取网络与自适应空频选择注意网络三部分；
步骤3：对于双支路空频信息提取网络，给定初始特征输入X，将X送入双支路空频信息提取网络中的空域信息提取网络分支，得到当前特征尺度下对应的空域特征输出S；
所述的空域信息提取网络分支由残差单元与空间增强自注意力单元串联组成；残差单元利用3×3卷积操作和跳跃连接，从初始特征输入X中捕捉到特征图局部区域内细微变化的结构纹理作为隐式空间细节特征K；空间增强自注意力单元由空间细节特征K生成粗略空间自注意力图M，通过将空间细节特征K与空间自注意力图M相乘后再相加，得到对不同局部区域中的重要特征，进行选择性增强后的空域特征输出S＝K+K·M；
步骤4：对于双支路空频信息提取网络，给定初始特征输入X，将X送入双支路空频信息提取网络中的频域信息提取网络分支，得到当前特征尺度下对应的频域特征输出J；
所述的频域信息提取网络分支由通道自注意模块与频域卷积模块串联组成；通道自注意模块对初始特征输入X的通道信息进行聚合，学习各通道间的依赖关系权重图Q，根据Q对每个通道的特征图进行加权求和，以此来调整各通道的重要性，得到通道聚合后的特征输出X′；随后对特征输出X′进行傅里叶变换计算，得到X′在频域内对应的幅值特征A和相位特征P，利用频域卷积模块分别对代表纹理信息的幅值特征与代表轮廓信息的相位特征进行小核卷积，计算得到新的频域幅值特征A′与相位特征P′，对频域内幅值特征A′及相位特征P′利用傅里叶逆变换转换回空域，得到特征O后，将O通过直连残差结构与特征X′直连相加，进一步聚合信息，输出当前特征尺度下对应的频域特征输出J；
步骤5：对于第i层双支路空频信息提取网络，给定步骤3中空域特征输出S与步骤4中频域特征输出J，将S与J送入双支路空频信息提取网络中的自适应空频选择注意网络分支，自适应生成每个空间像素位置所需保留的空域特征注意权重与频域特征注意权重，将生成的空频两支路注意权重与对应的空频特征进行加权求和后得到当前特征尺度下的空频融合特征输出R；
所述的自适应空频选择注意网络分支若处于编码阶段，则将特征输出R送入下采样网络中，作为下一层特征尺度的双支路空频信息提取网络输入，若该层双支路空频信息提取网络处于解码阶段，则将特征R送入上采样网络后与对应尺度的编码特征相加，作为下一层特征尺度的双支路空频信息提取网络输入；
步骤6：构建获取高分辨率遥感图像数据集，将高分辨率遥感图像数据集划分为训练、验证和测试三部分，通过双立方插值得到对应的高分辨率图像和低分辨率图像的图像对IHR/ILR；构建超分辨率图像重建损失函数L，计算公式为：其中，N表示样本数量，/>表示第j个样本的真实高分辨率图像标签，/>是将第j个样本的低分辨率图像输入到步骤2中所提U型编码-解码网络输出的超分图像；
每轮训练结束后均利用验证数据集进行重建损失函数计算，函数值越小表示所训练网络模型在验证数据集上的超分重建性能越好，据此筛选出600轮训练中重建损失函数值最小所对应的模型权重进行保存，完成模型训练；在测试过程中，加载所选模型权重，输入低分辨率图像到步骤2中所提U型编码-解码网络中，得到对应的超分辨率图像输出，完成遥感图像的超分辨率重建任务。
所述步骤4中，对于双支路空频信息提取网络中频域信息提取网络，给定原始输入特征向量首先选用通道注意机制对输入特征的通道信息进行聚合，利用3×3卷积层对特征进行映射得到新的特征向量/>并利用全局平均池化操作对每个特征通道的全局空间信息进行压缩，随后利用两个1×1卷积层学习各个通道间的依赖关系，通过Sigmoid层输出各个通道维度的重要性权重/>与特征向量相乘Y得到自适应通道加权后的特征信息与原始输入特征向量X相加，输出最终自适应通道激励后的特征信息X′＝X+Y·Q；
将激励后的特征向量利用傅里叶变换F(·)转换到频域上，如公式(2)所示：
分别计算其代表纹理信息的幅值A(X′)(u,v)与代表轮廓信息的相位P(X′)(u,v)，如公式(3)、(4)所示：
其次利用两个由3×3卷积-Leaky-Relu激活-3×3卷积组成的小核残差结构设计分别对频域幅值信息与相位信息进行纹理特征与轮廓特征的抽象提取，得到新的幅值特征A′(X′)(u,v)与相位特征P′(X′)(u,v)；最后通过傅里叶逆变换回空域O＝F-1(A′(X′)(u,v),P′(X′)(u,v))，经过3×3卷积后与输入特征X′直连相加进一步聚合信息，输出最终的频域支路特征J＝Conv3×3(O)+X′。
所述步骤5中，首先利用两个1×1卷积分别对空域支路特征与频域支路特征/>进行特征映射后拼接得到特征向量/>如公式(5)、(6)所示：
对拼接后的特征沿通道维度进行平均池化Pavg(·)与最大池化Pmax(·)，如公式(7)所示：
SAavg＝Pavg(U),SAmax＝Pmax(U) (7)
将两项池化后的结果进行拼接，通过一个7×7大核卷积与Sigmoid激活函数σ(·)对池化信息进一步汇总，如公式(8)所示：
SA＝σ(Conv7×7([SAavg,SAmax])) (8)
输出每个空间像素位置所需保留的空频两支路注意权重，将此求解的权重系数与输入特征进行加权求和后，如公式(9)所示：
得到最终的空频联合输出结果
所述步骤6中，设置训练轮次为600，初始学习率为0.0001，并在第300个单次循环按0.5的比例对学习率进行衰减。
所述步骤6中，批尺寸Batch size大小设置为4。
所述步骤6中，使用Adam优化器更新网络参数。
本发明的有益效果是通过双支路空频信息提取模块弥补了现有遥感超分网络仅聚焦于空域特征提取的局限性，进一步扩充了网络对于频域特征的提取及学习能力，具备从频域角度对图像内全局相关性建模的能力；
本发明通过自适应空频选择注意模块的设计实现了频域信息与空域信息的自适应互补融合，增强了融合特征对于遥感图像的信息表达，有效提升遥感图像超分任务的重建精度。
附图说明
图1为本发明的流程图。
图2为频域特征提取模块示意图。
图3为空域特征提取模块示意图。
图4为空频联合注意模块示意图。
图5为多阶段空频联合网络架构设计图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明提供了一种基于多阶段空频联合的遥感图像超分辨率重建方法，如图1所示，该方法的具体步骤包括：
步骤1，获取高分辨率遥感图像数据集：训练数据集为UCMerced dataset数据集中945张高质量未退化遥感图像，验证数据集为UCMerced dataset数据集中105张高质量未退化遥感图像，测试数据集为UCMerced dataset数据集中1050张高质量未退化遥感图像。
步骤2，将步骤1数据集中的原始图像作为真实的高分辨率标签图像IHR，通过双立方插值得到相应的下采样8倍后的低分辨率图像ILR，组成用于训练、验证及测试所需的高分辨率/低分辨率图像对。
步骤3，构建U型多阶段编码-解码网络架构。将低分辨率LR图像输入该U型网络进行特征提取，得到不同尺寸的特征图；所述的U型编码-解码网络架构使用四个编码网络与三个下采样网络提取出四种不同尺寸的编码特征图{E1,E2,E3,E4},使用四个解码网络与三个上采样网络，将最小尺度的编码特征E4为输入逐步将其解码复原为对应尺度的解码特征图{D1,D2,D3,D4}，此过程中，每一层级的解码特征与对应编码特征进行直连求和作为下一个解码网络的输入；编码网络与解码网络均采用相同的双支路空频信息提取网络设计，将最后一层解码网络输出的D4特征图通过一个3×3卷积层调整输出通道维度与双线性插值上采样图像相加得到最终超分辨率重建结果；双支路空频信息提取网络由空域信息提取网络、频域信息提取网络以及自适应空频选择注意网络组成。
作为一个可选实施例，对于多阶段的U型编码-解码网络构建实施过程如图5所示。低分辨率图像ILR首先通过双线性插值为所需的超分辨率图像输出大小随后利用一个3×3卷积将/>从RGB像素空间转换为低级特征嵌入/>此专利将C的取值设置为64。接下来，将浅层特征X0送入双支路空频信息提取网络组成的四级编码器Enc(·)以及三个下采样网络Down(·)中，将特征转换成不同分辨率的多尺度特征{E1,E2,E3,E4}，如公式(10)所示。接下来，将E4送入同样由双支路空频信息提取网络组成的四级解码器Dec(·)以及三个上采样网络Up(·)，并将每级解码器输出与对应同分辨率编码器输出相加作为下一级解码器的输入，逐步恢复并丰富对遥感图像的特征表示{D1,D2,D3,D4}，如公式(11)所示。将最终解码输出的特征G7送入3×3卷积Conv3×3(·)中与插值图像进行求和直连，得到最终的网络超分重建图像输出/>
式中Ei表示第i个层级的编码特征输出，Enci(·)表示第i个层级的编码网络，由双支路空频信息提取网络构成，Down(·)表示下采样网络，由3×3卷积、逆像素重组(invPixelShuffle)、1×1卷积串联构成。
式中Di表示第i个层级的解码特征输出，Deci(·)表示第i个层级的解码网络，由双支路空频信息提取网络构成，Up(·)表示上采样网络，由1×1卷积、像素重组(PixelShuffle)、PReLU激活函数串联构成。
作为一个可选实施例，对于双支路空频信息提取网络中空域信息提取网络的实施过程如图2残差模块部分所示，给定输入特征向量选用由两个3×3卷积-Relu激活-3×3卷积组成的小型残差模块以及外侧3×3卷积直连作为基础空域特征提取模块进行构建，提取有效的空间细节特征/>其次选用增强空间注意力单元从特征K中生成粗略空间自注意力图M，通过聚合空间和通道级别的上下文信息来选择不同局部区域中的重要特征进行增强，如图2右侧的空间增强模块所示，首先使用1×1卷积将特征通道C压缩为C//4，其次利用一个步长为2的3×3卷积层与一个7×7最大池化层来扩大空间感受野，对空间信息进行压缩，随后利用双线性插值上采样层将压缩的特征恢复到原始空间维度，利用1×1卷积对通道层由C//4恢复为C，最后利用Sigmoid激活函数计算空间注意权重与输入特征进行加权求和得到最终空间增强后的特征输出S＝K+K·M。
作为一个可选实施例，对于双支路空频信息提取网络中频域信息提取网络的实施过程如图3(上)所示，给定原始输入特征向量首先选用通道注意机制对输入特征的通道信息进行聚合，利用3×3卷积层对特征进行映射得到新的特征向量/>并利用全局平均池化操作对每个特征通道的全局空间信息进行压缩，随后利用两个1×1卷积层(等同于全连接层)来学习各个通道间的依赖关系，通过Sigmoid层输出各个通道维度的重要性权重/>与特征向量相乘Y得到自适应通道加权后的特征信息与原始输入特征向量X相加，输出最终自适应通道激励后的特征信息X′＝X+Y·Q。
随后如图3(下)所示，将激励后的特征向量利用傅里叶变换F(·)转换到频域上，如公式(2)所示，分别计算其代表纹理信息的幅值A(X′)(u,v)与代表轮廓信息的相位P(X′)(u,v)，如公式(3)、(4)所示；其次利用两个由3×3卷积-Leaky-Relu激活-3×3卷积组成的小核残差结构设计分别对频域幅值信息与相位信息进行纹理特征与轮廓特征的抽象提取，得到新的幅值特征A′(X′)(u,v)与相位特征P′(X′)(u,v)；最后通过傅里叶逆变换回空域O＝F-1(A′(X′)(u,v),P′(X′)(u,v))，经过3×3卷积后与输入特征X′直连相加进一步聚合信息，输出最终的频域支路特征J＝Conv3×3(O)+X′。
作为一个可选实施例，对于双支路空频信息提取网络中的自适应空频选择注意网络的构建实施过程如图4所示。首先利用两个1×1卷积分别对空域支路特征与频域支路特征/>进行特征映射后拼接得到特征向量/>如公式(5)、(6)所示。对拼接后的特征沿通道维度进行平均池化Pavg(·)与最大池化Pmax(·)，如公式(7)所示。将两项池化后的结果/>进行拼接，通过一个7×7大核卷积与Sigmoid激活函数σ(·)对池化信息进一步汇总，如公式(8)所示，输出每个空间像素位置所需保留的空频两支路注意权重，将此求解的权重系数与输入特征进行加权求和后得到最终的空频联合输出结果/>如公式(9)所示。
SAavg＝Pavg(U),SAmax＝Pmax(U) (7)
SA＝σ(Conv7×7([SAavg,SAmax])) (8)
步骤4，步骤3中网络搭建完成后，训练基于多阶段空频联合的遥感图像超分模型：利用超分重建后的图像与真值图像间的L1损失函数来对整个网络进行优化求解，设置超参数：训练轮次为600，初始学习率为0.0001，并在第300个循环中按0.5的比例对学习率进行衰减，批尺寸Batch size为4。使用Adam优化器更新网络参数使损失函数收敛至最小，完成模型训练。
步骤5，利用步骤2中的验证数据集选择步骤4中超分性能最好的模型权重进行保存，用于后期重建高分辨率遥感图像。
下面结合仿真实验对本发明的效果做进一步的描述。
1.仿真实验条件：
本发明的仿真实验的硬件平台：处理器为Intel(R)Core(TM)i9-9820X CPU、主频为3.0GHz、内存为32.0GB、显卡为1080Ti。
软件平台：Win10操作系统，Pytorch 1.13.0。
本发明仿真实验所使用的测试样本集的图像为UCMerced数据集中1050张遥感图像，该1050张遥感图像包含了21个类别的场景影像，图像大小均为256×256个像素，图像格式为.GIF。对该1050张进行双立方插值下采样得到测试样本集。
2.仿真内容及其结果分析：
本发明仿真实验是采用本发明和三个现有技术(MHAN方法、HSENet方法、TransENet方法)训练好的网络，分别对输入的测试样本集进行超分辨率重建，获得超分辨率结果图。
为了验证本发明的仿真实验效果，将本发明和三个现有技术对测试样本集重建后的图像分别采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity Index Measurement,SSIM)这两个评价指标，对本发明仿真实验的超分辨率仿真结果进行质量评价，两个评价指标越高，说明重建后的图像效果越好。
仿真实验中分别使用本发明及其现有先进方法中的三种方法：
现有技术的MHAN方法是指，Zhang等人发表的(D.Zhang,J.Shao,X.Li,andH.T.Shen,“Remote sensing image super-resolution via mixed high-orderattention network,”IEEE Transactions on Geoscience and Remote Sensing,vol.59,no.6,pp.5183–5196,2020)中采用的增强的混合高阶注意网络对测试样本进行超分辨率重建方法。
现有技术的HSENet方法是指，Lei等人发表的“S.Lei and Z.Shi,“Hybrid-scaleself-similarity exploitation for remote sensing image super-resolution,”IEEETransactions on Geoscience and Remote Sensing,vol.60,pp.1–10,2021.)中采用的混合多尺度自相似性挖掘网络进行超分辨率重建方法。
现有技术的TransENet方法是指，Lei等人发表的(S.Lei,Z.Shi,and W.Mo,“Transformer-based multistage enhancement for remote sensing image super-resolution,”IEEE Transactions on Geoscience and Remote Sensing,vol.60,pp.1–11,2021.)中采用的多阶段基于Transformer自相似性挖掘网络进行超分辨率重建方法。
本发明与上述现有三种方法重建测试样本集1中所有的客观评价指标的平均值的对比结果如表1所示：
表1本发明与对比方法重建图像的客观评价值评价表
由表1可以看出，本发明重建测试样本WHU-RS19后的两个评价指标的平均值均高于上述现有技术中的三种方法，说明本发明重建的图像更接近原始高分辨率的图像。
Claims (6)
1.一种基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于包括下述步骤：
步骤1：图像预处理：利用双线性插值将低分辨率遥感图像上采样至所需的超分辨率图像输出尺寸大小，减少信息的过度损失；
步骤2：构建多阶段的U型编码-解码网络架构，将预处理后的上采样图像输入该U型编码-解码网络架构进行特征提取，得到最终超分辨率重建结果；
所述的U型编码-解码网络架构使用四个编码网络与三个下采样网络提取出四种不同尺度的编码特征图{E1,E2,E3,E4},使用四个解码网络与三个上采样网络，以最小尺度的编码特征E4为输入，逐步解码复原为对应尺度的解码特征图{D1,D2,D3,D4}，此过程中，每一层级的解码特征与对应相同尺度下的编码特征进行直连求和，作为下一层级解码网络的输入；编码网络与解码网络均采用相同的双支路空频信息提取网络设计，将最后一层解码网络输出的D4特征图通过一个3×3卷积层调整输出通道维度与双线性插值上采样图像相加，得到最终超分辨率重建结果；双支路空频信息提取网络包括空域信息提取网络、频域信息提取网络与自适应空频选择注意网络三部分；
步骤3：对于双支路空频信息提取网络，给定初始特征输入X，将X送入双支路空频信息提取网络中的空域信息提取网络分支，得到当前特征尺度下对应的空域特征输出S；
所述的空域信息提取网络分支由残差单元与空间增强自注意力单元串联组成；残差单元利用3×3卷积操作和跳跃连接，从初始特征输入X中捕捉到特征图局部区域内细微变化的结构纹理作为隐式空间细节特征K；空间增强自注意力单元由空间细节特征K生成粗略空间自注意力图M，通过将空间细节特征K与空间自注意力图M相乘后再相加，得到对不同局部区域中的重要特征，进行选择性增强后的空域特征输出S＝K+K·M；
步骤4：对于双支路空频信息提取网络，给定初始特征输入X，将X送入双支路空频信息提取网络中的频域信息提取网络分支，得到当前特征尺度下对应的频域特征输出J；
所述的频域信息提取网络分支由通道自注意模块与频域卷积模块串联组成；通道自注意模块对初始特征输入X的通道信息进行聚合，学习各通道间的依赖关系权重图Q，根据Q对每个通道的特征图进行加权求和，以此来调整各通道的重要性，得到通道聚合后的特征输出X′；随后对特征输出X′进行傅里叶变换计算，得到X′在频域内对应的幅值特征A和相位特征P，利用频域卷积模块分别对代表纹理信息的幅值特征与代表轮廓信息的相位特征进行小核卷积，计算得到新的频域幅值特征A′与相位特征P′，对频域内幅值特征A′及相位特征P′利用傅里叶逆变换转换回空域，得到特征O后，将O通过直连残差结构与特征X′直连相加，进一步聚合信息，输出当前特征尺度下对应的频域特征输出J；
步骤5：对于第i层双支路空频信息提取网络，给定步骤3中空域特征输出S与步骤4中频域特征输出J，将S与J送入双支路空频信息提取网络中的自适应空频选择注意网络分支，自适应生成每个空间像素位置所需保留的空域特征注意权重与频域特征注意权重，将生成的空频两支路注意权重与对应的空频特征进行加权求和后得到当前特征尺度下的空频融合特征输出R；
所述的自适应空频选择注意网络分支若处于编码阶段，则将特征输出R送入下采样网络中，作为下一层特征尺度的双支路空频信息提取网络输入，若该层双支路空频信息提取网络处于解码阶段，则将特征R送入上采样网络后与对应尺度的编码特征相加，作为下一层特征尺度的双支路空频信息提取网络输入；
步骤6：构建获取高分辨率遥感图像数据集，将高分辨率遥感图像数据集划分为训练、验证和测试三部分，通过双立方插值得到对应的高分辨率图像和低分辨率图像的图像对IHR/ILR；构建超分辨率图像重建损失函数L，计算公式为：其中，N表示样本数量，/>表示第j个样本的真实高分辨率图像标签，/>是将第j个样本的低分辨率图像输入到步骤2中所提U型编码-解码网络输出的超分图像；
每轮训练结束后均利用验证数据集进行重建损失函数计算，函数值越小表示所训练网络模型在验证数据集上的超分重建性能越好，据此筛选出600轮训练中重建损失函数值最小所对应的模型权重进行保存，完成模型训练；在测试过程中，加载所选模型权重，输入低分辨率图像到步骤2中所提U型编码-解码网络中，得到对应的超分辨率图像输出，完成遥感图像的超分辨率重建任务。
2.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
所述步骤4中，对于双支路空频信息提取网络中频域信息提取网络，给定原始输入特征向量首先选用通道注意机制对输入特征的通道信息进行聚合，利用3×3卷积层对特征进行映射得到新的特征向量/>并利用全局平均池化操作对每个特征通道的全局空间信息进行压缩，随后利用两个1×1卷积层学习各个通道间的依赖关系，通过Sigmoid层输出各个通道维度的重要性权重/>与特征向量相乘Y得到自适应通道加权后的特征信息与原始输入特征向量X相加，输出最终自适应通道激励后的特征信息X′＝X+Y·Q；
将激励后的特征向量利用傅里叶变换F(·)转换到频域上，如公式(2)所示：
分别计算其代表纹理信息的幅值A(X′)(u,v)与代表轮廓信息的相位P(X′)(u,v)，如公式(3)、(4)所示：
其次利用两个由3×3卷积-Leaky-Relu激活-3×3卷积组成的小核残差结构设计分别对频域幅值信息与相位信息进行纹理特征与轮廓特征的抽象提取，得到新的幅值特征A′(X′)(u,v)与相位特征P′(X′)(u,v)；最后通过傅里叶逆变换回空域O＝F-1(A′(X′)(u,v),P′(X′)(u,v))，经过3×3卷积后与输入特征X′直连相加进一步聚合信息，输出最终的频域支路特征J＝Conv3×3(O)+X′。
3.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
所述步骤5中，首先利用两个1×1卷积分别对空域支路特征与频域支路特征进行特征映射后拼接得到特征向量/>如公式(5)、(6)所示：
对拼接后的特征沿通道维度进行平均池化Pavg(·)与最大池化Pmax(·)，如公式(7)所示：
SAavg＝Pavg(U),SAmax＝Pmax(U) (7)
将两项池化后的结果进行拼接，通过一个7×7大核卷积与Sigmoid激活函数σ(·)对池化信息进一步汇总，如公式(8)所示：
SA＝σ(Conv7×7([SAavg,SAmax])) (8)
输出每个空间像素位置所需保留的空频两支路注意权重，将此求解的权重系数与输入特征进行加权求和后，如公式(9)所示：
得到最终的空频联合输出结果
4.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
所述步骤6中，设置训练轮次为600，初始学习率为0.0001，并在第300个单次循环按0.5的比例对学习率进行衰减。
5.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
所述步骤6中，批尺寸Batch size大小设置为4。
6.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
所述步骤6中，使用Adam优化器更新网络参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410204423.9A CN118052712A (zh) | 2024-02-23 | 2024-02-23 | 一种基于多阶段空频联合的遥感图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410204423.9A CN118052712A (zh) | 2024-02-23 | 2024-02-23 | 一种基于多阶段空频联合的遥感图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118052712A true CN118052712A (zh) | 2024-05-17 |
Family
ID=91053222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410204423.9A Pending CN118052712A (zh) | 2024-02-23 | 2024-02-23 | 一种基于多阶段空频联合的遥感图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118052712A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
| CN112017136A (zh) * | 2020-08-06 | 2020-12-01 | 杭州深睿博联科技有限公司 | 一种基于深度学习的肺部ct图像参数重建方法、系统、终端及存储介质 |
| US20210166350A1 (en) * | 2018-07-17 | 2021-06-03 | Xi'an Jiaotong University | Fusion network-based method for image super-resolution and non-uniform motion deblurring |
| CN115131214A (zh) * | 2022-08-31 | 2022-09-30 | 南京邮电大学 | 基于自注意力的室内老人图像超分辨率重构方法及系统 |
| CN116596764A (zh) * | 2023-07-17 | 2023-08-15 | 华侨大学 | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 |
-
2024
- 2024-02-23 CN CN202410204423.9A patent/CN118052712A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210166350A1 (en) * | 2018-07-17 | 2021-06-03 | Xi'an Jiaotong University | Fusion network-based method for image super-resolution and non-uniform motion deblurring |
| CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
| CN112017136A (zh) * | 2020-08-06 | 2020-12-01 | 杭州深睿博联科技有限公司 | 一种基于深度学习的肺部ct图像参数重建方法、系统、终端及存储介质 |
| CN115131214A (zh) * | 2022-08-31 | 2022-09-30 | 南京邮电大学 | 基于自注意力的室内老人图像超分辨率重构方法及系统 |
| CN116596764A (zh) * | 2023-07-17 | 2023-08-15 | 华侨大学 | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIARUI WANG等: "Hybrid Attention-Based U-Shaped Network for Remote Sensing Image Super-Resolution", 《IEEE》, 21 June 2023 (2023-06-21) * |
| JIARUI WANG等: "Two-Stage Spatial-Frequency Joint Learning for Large-Factor Remote Sensing Image Super-Resolution", 《IEEE》, 2 February 2024 (2024-02-02) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN111754403B (zh) | 一种基于残差学习的图像超分辨率重构方法 | |
| CN111899168B (zh) | 一种基于特征增强的遥感影像超分辨率重建方法和系统 | |
| CN109949222B (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN116681584A (zh) | 一种多级扩散图像超分辨算法 | |
| CN115131214A (zh) | 基于自注意力的室内老人图像超分辨率重构方法及系统 | |
| CN115984117A (zh) | 基于通道注意力的变分自编码图像超分辨率方法及系统 | |
| CN115936985A (zh) | 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法 | |
| CN117391958B (zh) | 一种基于多路径聚合Transformer的卫星云图超分辨率重建方法 | |
| CN112365422A (zh) | 基于深层聚合网络的不规则缺失图像修复方法及其系统 | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及系统 | |
| CN116402679A (zh) | 一种轻量级红外超分辨率自适应重建方法 | |
| CN116188272A (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN116029908A (zh) | 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 | |
| CN113962882A (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 | |
| CN117314751A (zh) | 一种基于生成式对抗网络的遥感图像超分辨率重建方法 | |
| CN116503251A (zh) | 一种结合混合专家的生成对抗网络遥感图像超分辨重建方法 | |
| CN118052712A (zh) | 一种基于多阶段空频联合的遥感图像超分辨率重建方法 | |
| CN115965527A (zh) | 基于卷积神经网络的移动端轻量级图像超分辨率重建方法 | |
| CN112308772A (zh) | 基于深度学习局部与非局部信息的超分辨率重建方法 | |
| CN117915114B (zh) | 一种点云属性压缩方法、装置、终端及介质 | |
| CN115631115B (zh) | 基于递归Transformer的动态图像复原方法 | |
| Ajith et al. | Time accelerated image super-resolution using shallow residual feature representative network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |