CN118071602A - 基于多尺度网络的遥感图像超分辨重建方法、系统及介质 - Google Patents
基于多尺度网络的遥感图像超分辨重建方法、系统及介质 Download PDFInfo
- Publication number
- CN118071602A CN118071602A CN202410459218.7A CN202410459218A CN118071602A CN 118071602 A CN118071602 A CN 118071602A CN 202410459218 A CN202410459218 A CN 202410459218A CN 118071602 A CN118071602 A CN 118071602A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- image
- network
- feature
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 claims description 22
- 230000003993 interaction Effects 0.000 claims description 18
- 230000002452 interceptive effect Effects 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 6
- 238000013178 mathematical model Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体涉及一种基于多尺度网络的遥感图像超分辨重建方法、系统及介质，方法包括：建立用于遥感图像超分辨率重建的DFMNet网络，所述DFMNet网络包括浅层特征提取模块、编码器、交叉注意力模块和解码器；将作为样本的遥感图像按多个不同调整尺度分别进行最近邻插值，得到多个下采样图像，将所述遥感图像和多个所述下采样图像作为输入图像；采用所述DFMNet网络对所述输入图像进行训练，得到训练好的DFMNet网络；获取待重建的遥感图像，将所述待重建的遥感图像输入训练好的DFMNet网络进行图像重建，得到重建图像；本发明能够提高遥感图像的分辨率。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于多尺度网络的遥感图像超分辨重建方法、系统及介质。
背景技术
卫星成像受制于云覆盖和恶劣天气，导致其分辨率和更新速度有限。在实时需求较高的场景中，卫星成像可能无法满足需求。
深度卷积神经网络在陆地卫星和高分卫星遥感图像的超分辨率方面取得了显著效果，然而现有的深度卷积神经网络在修复高频细节和纹理方面仍存在如纹理结构信息缺失、伪影和模糊等，这些问题可能对实际应用产生一定的影响。
发明内容
本发明目的在于提供一种基于多尺度网络的遥感图像超分辨重建方法、系统及介质，能够提高遥感图像的分辨率。
为了实现上述目的，本发明提供以下技术方案：
第一方面，本发明实施例提供了一种基于多尺度网络的遥感图像超分辨重建方法，所述方法包括以下步骤：
建立用于遥感图像超分辨率重建的DFMNet网络，所述DFMNet网络包括浅层特征提取模块、编码器、交叉注意力模块和解码器；其中，所述编码器包括多个双路径特征复用模块，所述双路径特征复用模块采用对称的双路径结构，两条路径的卷积层结构相同且尺寸不同；所述交叉注意力模块用于将所述编码器输出的多尺度图像特征进行深度交互融合；
将作为样本的遥感图像按多个不同调整尺度分别进行最近邻插值，得到多个下采样图像，将所述遥感图像和多个所述下采样图像作为输入图像；
采用所述DFMNet网络对所述输入图像进行训练，得到训练好的DFMNet网络；
获取待重建的遥感图像，将所述待重建的遥感图像输入训练好的DFMNet网络进行图像重建，得到重建图像；其中，所述待重建的遥感图像为低分辨率图像，所述重建图像为高分辨率图像。
可选地，所述采用所述DFMNet网络对所述输入图像进行训练，得到训练好的DFMNet网络，包括：
将多个所述输入图像按尺度大小降序排列后，分别输入两个级联的卷积层进行浅层特征提取，得到多个第一特征图；
将多个第一特征图分别输入到相应的编码器中进行特征提取，得到多个第二特征图；
将多个第二特征图经过双线性插值和连接操作，重新组合成多个不同尺寸的第三特征图；
将多个第二特征图和多个第三特征图注入到交叉注意力模块中进行交互式学习，得到多个交互值；
将多个交互值通过插值调整到相同的尺寸后拼接在一起，形成多个拼接值；
将多个拼接值之先后输入到带有残差感知机的解码器中，对DFMNet网络进行训练，直至训练得到的超分辨率图像和基准真实遥感图像的损失值降低到设定的损失阈值，得到训练好的DFMNet网络；其中，最上层解码器的输出结果通过对上一层解码器对应的拼接值解码得到。
可选地，所述双路径特征复用模块采用对称的双路径结构，两条路径的卷积层结构相同且尺寸不同；所述将多个第一特征图分别输入到相应的编码器中进行特征提取，得到多个第二特征图，包括：
将n个双路径特征复用模块堆叠在一起形成一个编码器；
对于每个第一特征图Fi，将该第一特征图Fi作为双路径特征复用模块的输入Fin，采用以下公式计算得到双路径特征复用模块的输出结果，作为该第一特征图Fi对应的特征图Ei：
S1=δ(Conv3(Fin))；
P1=δ(Conv5(Fin))；
S2=Conv1[Concat(S1,P1)]；
P2=Conv1[Concat(S1,P1)]；
S3=δ[Conv3(S2)+Conv5(S2)]；
P3=δ[Conv5(P2)+Conv3(P2)]；
Fout=Conv1(Concat(S3,P3))+Fin；
其中，δ代表ReLU激活函数，Fout表示双路径特征复用模块的输出结果，Conv()表示卷积层，Conv的下标数字表示卷积核的尺寸，Concat()表示拼接操作；S1表示经过卷积核尺寸为3×3的卷积层之后再激活的特征图，P1表示经过卷积核尺寸为5×5的卷积层之后再激活的特征图，S2和P2均为将特征图S1与特征图P1拼接后经过卷积核尺寸为1×1的卷积层得到的特征图，S3表示S2分别通过卷积核尺寸为3×3和5×5的卷积层之后相加再激活的图像编码，P3表示P2分别通过卷积核尺寸为5×5和3×3的卷积层之后相加再激活的图像编码。
可选地，所述将多个第二特征图和多个第三特征图注入到交叉注意力模块中进行交互式学习，得到多个交互值，包括：
将第二特征图表示为x1，将第三特征图表示为x2，采用以下数学模型计算得到交叉注意力模块的输出结果，作为与所述第二特征图和第三特征图对应的交互值：
m1=Conv1(x1))；
m2=δ(Conv1(m1))；
n1=Conv1(x2))；
n2=δ(Conv1(n1))；
n3=Conv1[SG(m2)•n2]+n1；
m3=Conv1[SG(n2)•m2]+m1；
y=m3+n3；
其中，SG表示交叉阀门机制，y为交叉注意力模块的输出结果；m1表示第二特征图x1经过卷积核尺寸为1×1的卷积层得到的结果，m2表示m1经过卷积核尺寸为1×1的卷积层后激活得到的特征图，n1表示第三特征图x2经过卷积核尺寸为1×1的卷积层得到的结果，n2表示n1经过卷积核尺寸为1×1的卷积层后激活得到的特征图，n3表示m2经过交叉阀门机制后与特征图n2融合，再经过卷积核尺寸为1×1的卷积层之后和n1相加的结果；m3表示特征图n2经过交叉阀门机制后与m2融合，再经过卷积核尺寸为1×1的卷积层之后和m1相加的结果。
可选地，所述将多个拼接值与上一层解码器的输出结果进行拼接后，一同输入到带有残差感知机的解码器中进行训练，直至训练得到的超分辨率图像和遥感图像的损失值降低到设定的损失阈值，包括：
将交叉注意力模块的输出结果y记为Ec，通过以下数学模型计算得到残差多层感知机输出的解码特征图：
O=MLPc(δ[MLP4c(Ec)]+Ec)；
其中，MLP代表多层感知机，MLP的下标4c和c表示多层感知机后输出的通道数，c表示通道，O表示解码特征图；
对所述DFMNet网络进行迭代训练，直至所述损失值降低到设定的损失阈值，得到训练好的DFMNet网络。
可选地，所述损失值通过L1损失函数计算得到；
；
其中，Ω表示DFMNet网络需要学习的网络模型，表示DFMNet网络对应的超参数，为DFMNet网络的最优超参数，/>是超分辨率图像，/>是与所述超分辨率图像/>对应的基准真实遥感图像，N表示超分辨率图像/>的总数量；argmin表示将DFMNet网络对应的超参数进行最优化的结果，/>表示L1范数。
第二方面，本发明实施例提供了一种基于多尺度网络的遥感图像超分辨重建系统，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上述任意一项所述的基于多尺度网络的遥感图像超分辨重建方法。
第三方面，本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如上述任意一项所述的基于多尺度网络的遥感图像超分辨重建方法。
本发明的有益效果是：本发明公开一种基于多尺度网络的遥感图像超分辨重建方法、系统及介质，本发明中的双路径特征复用模块采用了对称的双路径结构，每条路径都由不同尺寸的卷积层构成，可以实现深度特征复用和多尺度聚合，从而更好地处理和恢复图像的高频细节信息。通过交叉注意力模块将编码器输出的多尺度图像特征进行深度交互融合。本发明更充分地利用遥感图像中的多尺度特征来提高修复图像的细节信息，从而提高遥感图像的分辨。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中基于多尺度网络的遥感图像超分辨重建方法的流程示意图；
图2是本发明实施例中双路径特征复用多尺度网络的总体结构图；
图3是本发明实施例中超分辨率编码器示意图；
图4是本发明实施例中交叉注意力模块的总体示意图；
图5是本发明实施例中基于多尺度网络的遥感图像超分辨重建系统的结构示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
参阅图1，图1是本发明提供的一种基于多尺度网络的遥感图像超分辨重建方法，所述方法包括以下步骤：
S100，建立用于遥感图像超分辨率重建的DFMNet网络，所述DFMNet网络包括浅层特征提取模块、编码器、交叉注意力模块和解码器；其中，所述编码器包括多个双路径特征复用模块，所述双路径特征复用模块采用对称的双路径结构，两条路径的卷积层结构相同且尺寸不同；所述交叉注意力模块用于将所述编码器输出的多尺度图像特征进行深度交互融合；
S200，将作为样本的遥感图像按多个不同调整尺度分别进行最近邻插值，得到多个下采样图像，将所述遥感图像和多个所述下采样图像作为输入图像；
S300，采用所述DFMNet网络对所述输入图像进行训练，得到训练好的DFMNet网络；
S400，获取待重建的遥感图像，将所述待重建的遥感图像输入训练好的DFMNet网络进行图像重建，得到重建图像；其中，所述待重建的遥感图像为低分辨率图像，所述重建图像为高分辨率图像。
为了弥补深度学习模型在修复高频细节和纹理方面的不足，本发明提出了一种新的DFMNet网络(Dual-Path Feature Reuse Multi-Scale Network, 双路径特征复用多尺度网络)，如图2所示，DFMNet的框架主要分为四个部分，包括浅层特征提取模块、编码器、交叉注意力模块和解码器。
本发明更充分地利用遥感图像中的多尺度特征来提高修复图像的细节信息。具体来说，设计的双路径特征复用模块采用了对称的双路径结构，每条路径都由不同尺寸的卷积层构成。这种设计方式可以实现深度特征复用和多尺度聚合，从而更好地处理和恢复图像的高频细节信息。此外，引入了一个交叉注意力模块，用于将编码器输出的多尺度图像特征进行深度交互融合。在具有挑战性的UCMerced和AID遥感数据集上进行的对比实验证明，提出的方法在客观评估和主观评估方面取得了更优异的性能。
在一些优选的实施例中，所述采用所述DFMNet网络对所述输入图像进行训练，得到训练好的DFMNet网络，包括：
S310，将多个所述输入图像按尺度大小降序排列后，分别输入两个级联的卷积层进行浅层特征提取，得到多个第一特征图；
S320，将多个第一特征图分别输入到相应的编码器中进行特征提取，得到多个第二特征图；
S330，将多个第二特征图经过双线性插值和连接操作，重新组合成多个不同尺寸的第三特征图；
S340，将多个第二特征图和多个第三特征图注入到交叉注意力模块中进行交互式学习，得到多个交互值；
S350，将多个交互值通过插值调整到相同的尺寸后拼接在一起，形成多个拼接值；
S360，将多个拼接值先后输入到带有残差感知机的解码器中，对DFMNet网络进行训练，直至训练得到的超分辨率图像和基准真实的遥感图像的损失值降低到设定的损失阈值，得到训练好的DFMNet网络；其中，最上层解码器的输出结果通过对上一层解码器对应的拼接值解码得到。
具体地，首先，通过对输入图像I0进行两个不同调整尺度的最近邻插值，得到下采样图像I1和I2，其调整的尺度分别为1/2和1/4。接着，这三个输入图像经过3×3和1×1的卷积层，进行浅层特征提取。这一过程有助于捕获输入图像的基础特征，为后续处理提供基础：
Fi=Conv1(Conv3(Ii))(1)；
在浅层特征提取后，得到的第一特征图，其中，Fi表示第i个第一特征图，Ii表示第i个输入图像，i=0,1,2，Conv()表示卷积层，Conv的下标数字表示卷积核的尺寸；
接下来，将这些第一特征图Fi分别输入到相应的编码器中进行特征提取。具体的操作如下：
Ei=Enci(Fi)(2)；
其中，Enci是第一特征图Fi所对应的编码器，Ei是第一特征图Fi经过编码器处理得到的第二特征图。
在这一步骤中，旨在通过对浅层提取的特征进行更深层次的挖掘和抽象，从而捕获更高级别的图像信息。每个特征图Fi都经过相同的编码器结构处理，以确保每个尺度的特征都能得到充分的提取和表达。这为后续的交叉注意力模块提供了不同尺度的输入。
各个尺度的第二特征图Ei经过双线性插值和连接操作，重新组合成不同尺寸的第三特征图Eit：
(3)；
(4)；
(5)；
在这一步骤中，使用了Concat（拼接）操作，↑和↓分别表示上采样插值和下采样插值，↑和↓后面的数字表示相应的上下采样尺度。通过调整特征图的尺寸和拼接操作，确保拼接后的特征图具有局部甚至全局的特征。局部特征包含更多的纹理细节信息，而全局特征更多地保留了图像整体的结构信息。因此，通过这一步骤得到的特征图将包含更为丰富的语义特征。这一设计旨在保持多尺度信息的丰富性，使得网络能够更全面地理解输入图像的结构和内容。通过对每个尺度的特征进行重新组合，有助于提高模型对不同细节层次的感知能力。
将三个分支的结果经过上述处理后，得到的第二特征图Ei（i=0,1,2）被注入到交叉注意力模块中，进行交互式学习。这一学习方式使得高尺度的特征图能够从低尺度中学到更多的结构信息，同时小尺寸的特征图也能获取更多的图像细节信息：
Eci=CAMi(Ei,Eiti)(6)；
其中，CAMi表示交叉注意力模块，Eci表示交叉注意力模块处理后输出的交互值。这种交互学习的机制有助于增强模型对不同尺度信息的感知和利用，提高其对复杂图像内容的理解和处理能力。
最终，将三个分支的交互值通过插值调整到相同的尺寸，然后拼接在一起，形成拼接值Eink，k=0,1,2。
这一操作对应于重复执行公式（3）的过程。这一步骤实现了对不同尺度特征的有效整合，为解码器提供了更为综合和丰富的信息，从而有助于产生更高质量的超分辨结果。通过对每个分支的交互值进行插值和拼接，加强了网络对图像不同尺度特征的全面感知和综合利用，提升了模型的整体性能。
随后，将拼接值Eink与上一层解码器的输出进行拼接，一同输入到带有残差感知机的解码器中进行训练。这一设计进一步增强了解码器的输入信息，确保了解码器能够充分利用来自编码器和交叉注意力模块的多尺度特征，有助于更准确地还原高分辨率图像的细节和结构信息。
O2=Dec0(Ein2)(7)；
(8)；
(9)；
其中，Deci代表第i个分支的解码器，Oi代表第i个分支的解码器的输出；↑p2代表像素重组（Pixel-shuffle）上采样操作，上采样尺度为2。O0经过再次像素重组上采样生成最终的超分辨率图像。这种方式的学习让模型在学习和恢复过程中更好地利用了多尺度特征的关联性，提升了超分辨率效果。
在一些优选的实施例中，所述将多个第一特征图分别输入到相应的编码器中进行特征提取，得到多个第二特征图，包括：
将n个双路径特征复用模块堆叠在一起形成一个编码器；
对于每个第一特征图，将该第一特征图作为双路径特征复用模块的输入Fin，采用以下公式计算得到双路径特征复用模块的输出结果Fout，作为该第一特征图对应的第二特征图：
S1=δ(Conv3(Fin))(10)；
P1=δ(Conv5(Fin))(11)；
S2=Conv1[Concat(S1,P1)](12)；
P2=Conv1[Concat(S1,P1)](13)；
S3=δ[Conv3(S2)+Conv5(S2)](14)；
P3=δ[Conv5(P2)+Conv3(P2)](15)；
Fout=Conv1(Concat(S3,P3))+Fin(16)；
其中，δ代表ReLU激活函数，Fout表示双路径特征复用模块的输出结果。Concat()表示拼接操作；S1表示经过卷积核尺寸为3×3的卷积层之后再激活的特征图，P1表示经过卷积核尺寸为5×5的卷积层之后再激活的特征图，S2和P2均为将特征图S1与特征图P1拼接后经过卷积核尺寸为1×1的卷积层得到的特征图，S3表示S2分别通过卷积核尺寸为3×3和5×5的卷积层之后相加再激活的图像编码，P3表示P2分别通过卷积核尺寸为5×5和3×3的卷积层之后相加再激活的图像编码。
相关技术中的SRCNN模型、EDSR模型和超分辨ResNet模型存在着一系列难以复现、特征利用不充分和扩展性差的问题。其中，特征利用不充分主要体现在盲目增加网络深度，导致特征在传播过程中逐渐消失并引入特征信息冗余的情况。因此，为了更好地提高重构图像的质量，必须充分利用低分辨率图像的基础特征，并提高编码器的特征提取能力。在遥感图像超分辨网络中，多尺度信息的提取对于解决信息冗余至关重要。
基于上述先验信息，本发明创新性地提出了一种基于卷积神经网络的双路径特征复用模块，旨在利用不同尺寸的卷积核对图像进行多尺度编码。该模块的设计主要包含了尺寸为3和5的卷积核组成的卷积层。图3生动展示了双路径特征复用模块的总体结构。通过引入这一双路径特征复用模块，能够更全面地捕捉图像的不同尺度特征，提升网络对图像细节的感知和表达能力。公式(10)至(13)中的Conv包含了不同尺寸卷积核的卷积层。为了增强编码器对尺度的敏感度，随后在公式(14)至(16)中添加了卷积核尺寸为3×3和5×5的并列卷积层，得到双路径特征复用模块的输出。
本发明将n个双路径特征复用模块堆叠在一起形成一个编码器，能够更有效地捕捉图像中的多尺度信息，提高特征的表达能力。在双路径特征复用多尺度网络中，采用了三个分支对三种不同尺度的浅层特征进行深度编码。由于同一个编码器包含大小不同的卷积核，并且不同编码器对不同尺寸的特征图进行加工处理，因此多尺度注意力得到了充分的利用。这一设计有助于提高网络对图像不同尺度特征的感知力。
在一些优选的实施例中，所述将多个第二特征图和多个第三特征图注入到交叉注意力模块中进行交互式学习，得到多个交互值，包括：
将第二特征图表示为x1，将第三特征图表示为x2，采用以下数学模型计算得到交叉注意力模块的输出结果，作为与所述第二特征图和第三特征图对应的交互值：
m1=Conv1(x1))(17)；
m2=δ(Conv1(m1))(18)；
n1=Conv1(x2))(19)；
n2=δ(Conv1(n1))(20)；
n3=Conv1[SG(m2)•n2]+n1(21)；
m3=Conv1[SG(n2)•m2]+m1(22)；
y=m3+n3(23)；
其中，SG表示交叉阀门机制，y为交叉注意力模块的输出结果；m1表示第二特征图x1经过卷积核尺寸为1×1的卷积层得到的结果，m2表示m1经过卷积核尺寸为1×1的卷积层后激活得到的特征图，n1表示第三特征图x2经过卷积核尺寸为1×1的卷积层得到的结果，n2表示n1经过卷积核尺寸为1×1的卷积层后激活得到的特征图，n3表示m2经过交叉阀门机制后与特征图n2融合，再经过卷积核尺寸为1×1的卷积层之后和n1相加的结果；m3表示特征图n2经过交叉阀门机制后与m2融合，再经过卷积核尺寸为1×1的卷积层之后和m1相加的结果。
具体地，从图2和图4可以观察到，交叉注意力模块具有两个不同尺度的输入。需要注意的是，输入的图像具有相同的形状，将第二特征图和第三特征图分别表示为x1和x2，然后它们分别经过两个卷积层和一个激活层；公式(17)至(20)中，m1和n1用于后续的残差连接，而m2和n2则通过卷积层得到交叉阀门机制层的相应输入。这一设计旨在引入多尺度信息，以促使模块更好地学习特征之间的关系。前两者通过交叉注意力进行信息交流；公式(21)至(23)中，y为整个交叉注意力模块的总输出。由于引入了交叉双阀门的设计，不同尺度输入的特征图能够相互学习更多的结构和纹理信息。整个过程通过引入交叉双阀门机制，使得模块能够更好地利用不同尺度特征图之间的相关性，从而更全面地捕捉图像特征。
在一些优选的实施例中，所述将多个拼接值与上一层解码器的输出结果进行拼接后，一同输入到带有残差感知机的解码器中进行训练，直至训练得到的超分辨率图像和遥感图像的损失值降低到设定的损失阈值，包括：
将交叉注意力模块的输出结果y记为Ec，通过以下数学模型计算得到残差多层感知机输出的解码特征图：
O=MLPc(δ[MLP4c(Ec)]+Ec)（24）；
其中，MLP代表多层感知机，MLP的下标4c和c表示多层感知机后输出的通道数，c表示通道，O表示经过多个残差多层感知机输出的解码特征图；
获取包含N对解码器输出的超分辨率图像和对应的基准真实遥感图像，形成数据集，其中，/>是超分辨率图像，/>是与所述超分辨率图像/>对应的基准真实遥感图像；
通过L1损失函数计算得到的损失值；
(25)；
其中，Ω表示DFMNet网络需要学习的网络模型，表示DFMNet网络对应的超参数，/>为DFMNet网络的最优超参数。argmin表示将DFMNet网络对应的超参数进行最优化的结果，表示L1范数。
将所述数据集输入所述DFMNet网络进行迭代训练，直至根据所述L1损失函数计算得到的损失值降低到设定的损失阈值，得到训练好的DFMNet网络。
本发明的解码器通过引入残差多层感知机算法，通过增减多层感知机的维度和改进残差连接的方法构建了残差多层感知机算法，以更好地学习高维特征，并最终生成高质量的超分辨率图像。
本发明提供了一种创新的基于卷积神经网络的超分辨算法，旨在更有效地恢复图像的纹理和细节信息。本发明将这一方法命名为双路径特征复用多尺度网络（Dual-PathFeature Reuse Multi-Scale Network,DFMNet）。本发明的优点如下：
本发明提出了一种新的多尺度注意力架构。具体而言，DFMNet网络包括浅层特征提取模块、编码器、交叉注意力模块和解码器；对于浅层特征提取，采用了常规的卷积层进行处理。为了处理深层特征，设计了一个类U型网络，它能够学习遥感图像中模式的单尺度和跨尺度内部的信息。该模型在公共遥感数据集上取得了最先进的超分辨性能。
本发明设计了双路径特征复用模块（Dual-Path Feature Reuse Module,DPFR），通过采用不同大小的卷积核实现对图像多尺度高维特征的提取。通过叠加多个相同的DPFR模块来构建模型的编码器，以提取图像的高维特征。由于采用的卷积层具有不同的卷积核，学到的图像特征包含了丰富的图像信息，从而能够捕捉图像不同感受野的局部信息。
本发明引入了交互注意力模块（Cross Attention Module,CAM），该模块将不同尺寸的特征图输入模型中进行交互学习，以获取更多高频细节和结构信息。CAM模块有效地修饰了编码器提取的高维特征，为解码器学习提供了丰富的图像纹理结构和细节信息。
与图1的方法相对应，参考图5，本发明实施例提供了一种基于多尺度网络的遥感图像超分辨重建系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的方法。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
此外，本发明实施例还公开了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述的方法。同样地，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本公开的较佳实施进行了具体说明，但本公开并不局限于上述实施方式，熟悉本领域的技术人员在不违背本公开精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本公开权利要求所限定的范围内。
Claims (8)
1.一种基于多尺度网络的遥感图像超分辨重建方法，其特征在于，所述方法包括以下步骤：
建立用于遥感图像超分辨率重建的DFMNet网络，所述DFMNet网络包括浅层特征提取模块、编码器、交叉注意力模块和解码器；其中，所述编码器包括多个双路径特征复用模块，所述双路径特征复用模块采用对称的双路径结构，两条路径的卷积层结构相同且尺寸不同；所述交叉注意力模块用于将所述编码器输出的多尺度图像特征进行深度交互融合；
将作为样本的遥感图像按多个不同调整尺度分别进行最近邻插值，得到多个下采样图像，将所述遥感图像和多个所述下采样图像作为输入图像；
采用所述DFMNet网络对所述输入图像进行训练，得到训练好的DFMNet网络；
获取待重建的遥感图像，将所述待重建的遥感图像输入训练好的DFMNet网络进行图像重建，得到重建图像；其中，所述待重建的遥感图像为低分辨率图像，所述重建图像为高分辨率图像。
2.根据权利要求1所述的一种基于多尺度网络的遥感图像超分辨重建方法，其特征在于，所述采用所述DFMNet网络对所述输入图像进行训练，得到训练好的DFMNet网络，包括：
将多个所述输入图像按尺度大小降序排列后，分别输入两个级联的卷积层进行浅层特征提取，得到多个第一特征图；
将多个第一特征图分别输入到相应的编码器中进行特征提取，得到多个第二特征图；
将多个第二特征图经过双线性插值和连接操作，重新组合成多个不同尺寸的第三特征图；
将多个第二特征图和多个第三特征图注入到交叉注意力模块中进行交互式学习，得到多个交互值；
将多个交互值通过插值调整到相同的尺寸后拼接在一起，形成多个拼接值；
将多个拼接值先后输入到带有残差感知机的解码器中，对DFMNet网络进行训练，直至训练得到的超分辨率图像和基准真实的遥感图像的损失值降低到设定的损失阈值，得到训练好的DFMNet网络；其中，最上层解码器的输出结果通过对上一层解码器对应的拼接值解码得到。
3.根据权利要求2所述的一种基于多尺度网络的遥感图像超分辨重建方法，其特征在于，所述双路径特征复用模块采用对称的双路径结构，两条路径的卷积层结构相同且尺寸不同；所述将多个第一特征图分别输入到相应的编码器中进行特征提取，得到多个第二特征图，包括：
将n个双路径特征复用模块堆叠在一起形成一个编码器；
对于每个第一特征图Fi，将该第一特征图Fi作为双路径特征复用模块的输入Fin，采用以下公式计算得到双路径特征复用模块的输出结果，作为该第一特征图Fi对应的特征图Ei：
S1=δ(Conv3(Fin))；
P1=δ(Conv5(Fin))；
S2=Conv1[Concat(S1,P1)]；
P2=Conv1[Concat(S1,P1)]；
S3=δ[Conv3(S2)+Conv5(S2)]；
P3=δ[Conv5(P2)+Conv3(P2)]；
Fout=Conv1(Concat(S3,P3))+Fin；
其中，δ代表ReLU激活函数，Fout表示双路径特征复用模块的输出结果，Conv()表示卷积层，Conv的下标数字表示卷积核的尺寸，Concat()表示拼接操作；S1表示经过卷积核尺寸为3×3的卷积层之后再激活的特征图，P1表示经过卷积核尺寸为5×5的卷积层之后再激活的特征图，S2和P2均为将特征图S1与特征图P1拼接后经过卷积核尺寸为1×1的卷积层得到的特征图，S3表示S2分别通过卷积核尺寸为3×3和5×5的卷积层之后相加再激活的图像编码，P3表示P2分别通过卷积核尺寸为5×5和3×3的卷积层之后相加再激活的图像编码。
4.根据权利要求3所述的一种基于多尺度网络的遥感图像超分辨重建方法，其特征在于，所述将多个第二特征图和多个第三特征图注入到交叉注意力模块中进行交互式学习，得到多个交互值，包括：
将第二特征图表示为x1，将第三特征图表示为x2，采用以下数学模型计算得到交叉注意力模块的输出结果，作为与所述第二特征图和第三特征图对应的交互值：
m1=Conv1(x1))；
m2=δ(Conv1(m1))；
n1=Conv1(x2))；
n2=δ(Conv1(n1))；
n3=Conv1[SG(m2)•n2]+n1；
m3=Conv1[SG(n2)•m2]+m1；
y=m3+n3；
其中，SG表示交叉阀门机制，y为交叉注意力模块的输出结果；m1表示第二特征图x1经过卷积核尺寸为1×1的卷积层得到的结果，m2表示m1经过卷积核尺寸为1×1的卷积层后激活得到的特征图，n1表示第三特征图x2经过卷积核尺寸为1×1的卷积层得到的结果，n2表示n1经过卷积核尺寸为1×1的卷积层后激活得到的特征图，n3表示m2经过交叉阀门机制后与特征图n2融合，再经过卷积核尺寸为1×1的卷积层之后和n1相加的结果；m3表示特征图n2经过交叉阀门机制后与m2融合，再经过卷积核尺寸为1×1的卷积层之后和m1相加的结果。
5.根据权利要求4所述的一种基于多尺度网络的遥感图像超分辨重建方法，其特征在于，所述将多个拼接值先后输入到带有残差感知机的解码器中进行训练，直至训练得到的超分辨率图像和遥感图像的损失值降低到设定的损失阈值，包括：
将交叉注意力模块的输出结果y记为Ec，通过以下数学模型计算得到残差多层感知机输出的解码特征图：
O=MLPc(δ[MLP4c(Ec)]+Ec)；
其中，MLP代表多层感知机，MLP的下标4c和c表示多层感知机后输出的通道数，c表示通道，O表示解码特征图；
对所述DFMNet网络进行迭代训练，直至所述损失值降低到设定的损失阈值，得到训练好的DFMNet网络。
6.根据权利要求5所述的一种基于多尺度网络的遥感图像超分辨重建方法，其特征在于，所述损失值通过L1损失函数计算得到；
；
其中，Ω表示DFMNet网络需要学习的网络模型，表示DFMNet网络对应的超参数，/>为DFMNet网络的最优超参数，/>是超分辨率图像，/>是与所述超分辨率图像/>对应的基准真实遥感图像，N表示超分辨率图像/>的总数量；argmin表示将DFMNet网络对应的超参数进行最优化的结果，/>表示L1范数。
7.一种基于多尺度网络的遥感图像超分辨重建系统，其特征在于，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至6任一项所述的基于多尺度网络的遥感图像超分辨重建方法。
8.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410459218.7A CN118071602B (zh) | 2024-04-17 | 基于多尺度网络的遥感图像超分辨重建方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410459218.7A CN118071602B (zh) | 2024-04-17 | 基于多尺度网络的遥感图像超分辨重建方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118071602A true CN118071602A (zh) | 2024-05-24 |
| CN118071602B CN118071602B (zh) | 2024-07-05 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842104A (zh) * | 2022-05-18 | 2022-08-02 | 重庆邮电大学 | 一种基于多尺度残差的胶囊内窥镜图像超分辨率重建方法 |
| KR102461111B1 (ko) * | 2021-12-08 | 2022-10-31 | 동국대학교 산학협력단 | 단일 이미지를 기반으로 하는 텍스처 메쉬 재구성 시스템 및 그 방법 |
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
| CN116485642A (zh) * | 2023-03-09 | 2023-07-25 | 桂林电子科技大学 | 基于transformer尺度流估计的视频超分辨成像重建方法 |
| CN117237801A (zh) * | 2023-08-22 | 2023-12-15 | 西北工业大学 | 一种基于自监督学习的多模态遥感图像变化检测方法 |
| CN117788295A (zh) * | 2024-02-23 | 2024-03-29 | 广东海洋大学 | 一种遥感图像的超分辨率重建方法、系统及介质 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
| KR102461111B1 (ko) * | 2021-12-08 | 2022-10-31 | 동국대학교 산학협력단 | 단일 이미지를 기반으로 하는 텍스처 메쉬 재구성 시스템 및 그 방법 |
| CN114842104A (zh) * | 2022-05-18 | 2022-08-02 | 重庆邮电大学 | 一种基于多尺度残差的胶囊内窥镜图像超分辨率重建方法 |
| CN116485642A (zh) * | 2023-03-09 | 2023-07-25 | 桂林电子科技大学 | 基于transformer尺度流估计的视频超分辨成像重建方法 |
| CN117237801A (zh) * | 2023-08-22 | 2023-12-15 | 西北工业大学 | 一种基于自监督学习的多模态遥感图像变化检测方法 |
| CN117788295A (zh) * | 2024-02-23 | 2024-03-29 | 广东海洋大学 | 一种遥感图像的超分辨率重建方法、系统及介质 |
Non-Patent Citations (3)
| Title |
|---|
| 李彬: "基于深度学习的图像超分辨重建研究", 中国优秀硕士学位论文全文数据库, 15 February 2023 (2023-02-15) * |
| 柏宇阳;朱福珍;: "改进的残差卷积神经网络遥感图像超分辨重建", 黑龙江大学自然科学学报, no. 03, 25 June 2020 (2020-06-25) * |
| 熊亚辉;陈东方;王晓峰;: "基于多尺度反向投影的图像超分辨率重建算法", 计算机工程, no. 07, 15 July 2020 (2020-07-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179167B (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
| JP2021100247A (ja) | 歪んだドキュメント画像の矯正方法及び装置 | |
| Li et al. | Hst: Hierarchical swin transformer for compressed image super-resolution | |
| CN115482382A (zh) | 一种基于Transformer架构的图像语义分割方法 | |
| CN115311720B (zh) | 一种基于Transformer的deepfake生成方法 | |
| CN115457498A (zh) | 一种基于双注意力和密集连接的城市道路语义分割方法 | |
| CN113870335A (zh) | 一种基于多尺度特征融合的单目深度估计方法 | |
| Wu et al. | Remote sensing image super-resolution via saliency-guided feedback GANs | |
| CN112699844A (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| Gendy et al. | Lightweight image super-resolution based on deep learning: State-of-the-art and future directions | |
| WO2023185284A1 (zh) | 视频处理方法和装置 | |
| Dong et al. | Real-world remote sensing image super-resolution via a practical degradation model and a kernel-aware network | |
| CN111294614A (zh) | 用于数字图像、音频或视频数据处理的方法和设备 | |
| CN118071602B (zh) | 基于多尺度网络的遥感图像超分辨重建方法、系统及介质 | |
| EP4339878A1 (en) | Cascaded local implicit transformer for arbitrary-scale super-resolution | |
| CN117593199A (zh) | 一种基于高斯先验分布自注意力的双流遥感图像融合方法 | |
| US20240062347A1 (en) | Multi-scale fusion defogging method based on stacked hourglass network | |
| CN116385265B (zh) | 一种图像超分辨率网络的训练方法及装置 | |
| US20230073175A1 (en) | Method and system for processing image based on weighted multiple kernels | |
| CN118071602A (zh) | 基于多尺度网络的遥感图像超分辨重建方法、系统及介质 | |
| CN114219738A (zh) | 单幅图像多尺度超分辨重建网络结构及方法 | |
| CN113298097B (zh) | 基于卷积神经网络的特征点提取方法、设备及存储介质 | |
| CN117788295B (zh) | 一种遥感图像的超分辨率重建方法、系统及介质 | |
| CN115631115B (zh) | 基于递归Transformer的动态图像复原方法 | |
| CN117853664B (zh) | 基于双分支特征融合三维人脸重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |