CN115861081A - 一种基于阶梯型多级小波网络的图像超分辨率重建方法 - Google Patents

一种基于阶梯型多级小波网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN115861081A
CN115861081A CN202310165216.2A CN202310165216A CN115861081A CN 115861081 A CN115861081 A CN 115861081A CN 202310165216 A CN202310165216 A CN 202310165216A CN 115861081 A CN115861081 A CN 115861081A
Authority
CN
China
Prior art keywords
representing
image
level
super
resolution reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310165216.2A
Other languages
English (en)
Other versions
CN115861081B (zh
Inventor
李冠群
俞伟学
徐铭申
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genyu Muxing Beijing Space Technology Co ltd
Original Assignee
Genyu Muxing Beijing Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genyu Muxing Beijing Space Technology Co ltd filed Critical Genyu Muxing Beijing Space Technology Co ltd
Priority to CN202310165216.2A priority Critical patent/CN115861081B/zh
Publication of CN115861081A publication Critical patent/CN115861081A/zh
Application granted granted Critical
Publication of CN115861081B publication Critical patent/CN115861081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种基于阶梯型多级小波网络的图像超分辨率重建方法，包括：获取低分辨率合成孔径雷达图像，根据阶梯型多级小波网络得到特征图像，将所述特征图像输入至图像超分辨率重建网络，得到超分辨率重建结果图像。本发明没有单纯在空间域上对合成孔径雷达图像采用深度神经网络模型进行超分辨率重建，通过搭建一个阶梯式多级小波网络，能够在对合成孔径雷达图像进行超分辨率重建时，提取图像的多尺度频域特征，从而在结果图像中包含丰富的纹理特征。

Description

一种基于阶梯型多级小波网络的图像超分辨率重建方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于阶梯型多级小波网络的图像超分辨率重建方法。
背景技术
合成孔径雷达图像提供了重要的地面观察信息，但由于成像系统的限制，空间分辨率有所降低，较低的分辨率限制了应用，因此有必要使用超分辨率技术来提高合成孔径雷达图像的空间分辨率，近年来，一些基于深度学习的合成孔径雷达图像超分辨率重建技术得以提出。
但是，现存的方法一般以全卷积构成深度神经网络模型，从而在图像的空间域上进行超分辨率重建，这样在超分辨率重建时难以对合成孔径雷达图像的高频特征和低频特征有所不同侧重。
发明内容
本发明的目的在于克服上述一种或多种现有的技术问题，提供一种基于阶梯型多级小波网络的图像超分辨率重建方法。
为实现上述目的，本发明提供的一种基于阶梯型多级小波网络的图像超分辨率重建方法，包括：
获取低分辨率合成孔径雷达图像；
根据阶梯型多级小波网络得到特征图像；
将所述特征图像输入至图像超分辨率重建网络，得到超分辨率重建结果图像。
根据本发明的一个方面，对所述低分辨率合成孔径雷达图像进行预处理，得到输入至所述阶梯型多级小波网络的第一输入特征、第二输入特征、第三输入特征和第四输入特征，其中公式为，
Figure SMS_1
；
Figure SMS_2
；
Figure SMS_3
；
Figure SMS_4
；
其中，
Figure SMS_5
表示低分辨率合成孔径雷达图像；
Figure SMS_6
表示离散小波变换；
Figure SMS_7
表示第四输入特征；
Figure SMS_8
表示第三输入特征；
Figure SMS_9
表示第二输入特征；
Figure SMS_10
表示第一输入特征。
根据本发明的一个方面，所述阶梯型多级小波网络包含一级分支、二级分支、三级分支和四级分支，将所述第一输入特征输入至所述一级分支得到第一输出特征，其中公式为，
Figure SMS_11
；
其中，
Figure SMS_12
表示第一输出特征；
Figure SMS_13
表示逆离散小波变换；
Figure SMS_14
表示参数整流线性单元；
Figure SMS_15
表示尺寸为3×3的卷积；
Figure SMS_16
表示第一输入特征。
根据本发明的一个方面，对所述第二输入特征进行卷积处理，得到所述二级分支的中间特征，其中公式为，
Figure SMS_17
；
其中，
Figure SMS_18
表示二级分支的中间特征；
Figure SMS_19
表示参数整流线性单元；
Figure SMS_20
表示尺寸为3×3的卷积；
Figure SMS_21
表示第二输入特征；
叠加所述第一输出特征和所述二级分支的中间特征后输入至所述二级分支中，得到第二输出特征，其中公式为，
Figure SMS_22
；
Figure SMS_23
；
其中，
Figure SMS_24
表示第一输出特征和二级分支的中间特征叠加后的特征；
Figure SMS_25
表示通道上的特征叠加操作；
Figure SMS_26
表示二级分支的中间特征；
Figure SMS_27
表示第二输出特征；
Figure SMS_28
表示尺寸为1×1的卷积；
Figure SMS_29
表示参数整流线性单元；
Figure SMS_30
表示尺寸为3×3的卷积；
Figure SMS_31
表示逆离散小波变换。
根据本发明的一个方面，对所述第三输入特征进行卷积处理，得到所述三级分支的中间特征，其中公式为，
Figure SMS_32
；
其中，
Figure SMS_33
表示三级分支的中间特征；
Figure SMS_34
表示参数整流线性单元；
Figure SMS_35
表示尺寸为3×3的卷积；
Figure SMS_36
表示第三输入特征；
叠加所述第二输出特征和所述三级分支的中间特征后输入至所述三级分支中，得到第三输出特征，其中公式为，
Figure SMS_37
；/>
Figure SMS_38
；
其中，
Figure SMS_39
表示第二输出特征和三级分支的中间特征叠加后的特征；
Figure SMS_40
表示通道上的特征叠加操作；
Figure SMS_41
表示三级分支的中间特征；
Figure SMS_42
表示第三输出特征；
Figure SMS_43
表示尺寸为1×1的卷积；
Figure SMS_44
表示参数整流线性单元；
Figure SMS_45
表示尺寸为3×3的卷积；
Figure SMS_46
表示逆离散小波变换。
根据本发明的一个方面，对所述第四输入特征进行卷积处理，得到所述四级分支的中间特征，其中公式为，
Figure SMS_47
；
其中，
Figure SMS_48
表示四级分支的中间特征；
Figure SMS_49
表示参数整流线性单元；
Figure SMS_50
表示尺寸为3×3的卷积；
Figure SMS_51
表示第四输入特征；
叠加所述第三输出特征和所述四级分支的中间特征后输入至所述四级分支中，得到第四输出特征，其中公式为，
Figure SMS_52
；
Figure SMS_53
；
其中，
Figure SMS_54
表示第三输出特征和四级分支的中间特征叠加后的特征；
Figure SMS_55
表示通道上的特征叠加操作；
Figure SMS_56
表示四级分支的中间特征；
Figure SMS_57
表示第四输出特征；
Figure SMS_58
表示尺寸为1×1的卷积；
Figure SMS_59
表示参数整流线性单元；
Figure SMS_60
表示尺寸为3×3的卷积。
根据本发明的一个方面，所述阶梯型多级小波网络还包含输出分支，将所述第四输出特征输入至所述输出分支中，得到所述特征图像，其中公式为，
Figure SMS_61
；
其中，
Figure SMS_62
表示特征图像；
Figure SMS_63
转置卷积；
Figure SMS_64
表示第三输出特征和四级分支的中间特征叠加后的特征；
Figure SMS_65
表示通道上的特征叠加操作；
Figure SMS_66
表示第四输出特征；/>
Figure SMS_67
表示尺寸为1×1的卷积；
Figure SMS_68
表示参数整流线性单元；
Figure SMS_69
表示尺寸为3×3的卷积。
根据本发明的一个方面，使用超分辨率重建损失对所述图像超分辨率重建网络进行训练，其中公式为，
Figure SMS_70
；
其中，
Figure SMS_71
表示特征图像；
Figure SMS_72
表示与低分辨率合成孔径雷达图像对应的高分辨率标签图像；
Figure SMS_73
表示图像超分辨率重建网络；
Figure SMS_74
表示低分辨率合成孔径雷达图像；
Figure SMS_75
表示超分辨率重建损失；
Figure SMS_76
表示两者之间的距离。
为实现上述目的，本发明提供一种基于阶梯型多级小波网络的图像超分辨率重建系统，包括：
低分辨率合成孔径雷达图像获取模块：获取低分辨率合成孔径雷达图像；
特征图像获取模块：根据阶梯型多级小波网络得到特征图像；
超分辨率重建结果图像获取模块：将所述特征图像输入至图像超分辨率重建网络，得到超分辨率重建结果图像。
为实现上述目的，本发明提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述针对一种基于阶梯型多级小波网络的图像超分辨率重建方法。
基于此，本发明的有益效果在于：
本发明没有单纯在空间域上对合成孔径雷达图像采用深度神经网络模型进行超分辨率重建。通过搭建一个阶梯式多级小波网络，能够在对合成孔径雷达图像进行超分辨率重建时，提取图像的多尺度频域特征，从而在结果图像中包含丰富的纹理特征。
附图说明
图1示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法的流程图；
图2示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法的阶梯型多级小波网络的流程图；
图3示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建系统的流程图。
具体实施方式
现在将参照示例性实施例来论述本发明的内容，应当理解，论述的实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。
如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”，术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。
图1示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法的流程图，如图1所示，本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法，包括：
获取低分辨率合成孔径雷达图像；
根据阶梯型多级小波网络得到特征图像；
将所述特征图像输入至图像超分辨率重建网络，得到超分辨率重建结果图像。
根据本发明的一个实施方式，对所述低分辨率合成孔径雷达图像进行预处理，得到输入至所述阶梯型多级小波网络的第一输入特征、第二输入特征、第三输入特征和第四输入特征，其中公式为，
Figure SMS_77
；
Figure SMS_78
；
Figure SMS_79
；
Figure SMS_80
；
其中，
Figure SMS_81
表示低分辨率合成孔径雷达图像；
Figure SMS_82
表示离散小波变换；
Figure SMS_83
表示第四输入特征；
Figure SMS_84
表示第三输入特征；
Figure SMS_85
表示第二输入特征；
Figure SMS_86
表示第一输入特征。
根据本发明的一个实施方式，图2示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法的阶梯型多级小波网络的流程图，如图2所示，所述阶梯型多级小波网络包含一级分支、二级分支、三级分支和四级分支，将所述第一输入特征输入至所述一级分支得到第一输出特征，其中公式为，
Figure SMS_87
；
其中，
Figure SMS_88
表示第一输出特征；
Figure SMS_89
表示逆离散小波变换；
Figure SMS_90
表示参数整流线性单元；
Figure SMS_91
表示尺寸为3×3的卷积；
Figure SMS_92
表示第一输入特征。
根据本发明的一个实施方式，对所述第二输入特征进行卷积处理，得到所述二级分支的中间特征，其中公式为，
Figure SMS_93
；
其中，
Figure SMS_94
表示二级分支的中间特征；
Figure SMS_95
表示参数整流线性单元；
Figure SMS_96
表示尺寸为3×3的卷积；/>
Figure SMS_97
表示第二输入特征；
叠加所述第一输出特征和所述二级分支的中间特征后输入至所述二级分支中，得到第二输出特征，其中公式为，
Figure SMS_98
；
Figure SMS_99
；
其中，
Figure SMS_100
表示第一输出特征和二级分支的中间特征叠加后的特征；
Figure SMS_101
表示通道上的特征叠加操作；
Figure SMS_102
表示二级分支的中间特征；
Figure SMS_103
表示第二输出特征；
Figure SMS_104
表示尺寸为1×1的卷积；
Figure SMS_105
表示参数整流线性单元；
Figure SMS_106
表示尺寸为3×3的卷积；
Figure SMS_107
表示逆离散小波变换。
根据本发明的一个实施方式，对所述第三输入特征进行卷积处理，得到所述三级分支的中间特征，其中公式为，
Figure SMS_108
；
其中，
Figure SMS_109
表示三级分支的中间特征；
Figure SMS_110
表示参数整流线性单元；
Figure SMS_111
表示尺寸为3×3的卷积；
Figure SMS_112
表示第三输入特征；
叠加所述第二输出特征和所述三级分支的中间特征后输入至所述三级分支中，得到第三输出特征，其中公式为，
Figure SMS_113
；
Figure SMS_114
；
其中，
Figure SMS_115
表示第二输出特征和三级分支的中间特征叠加后的特征；
Figure SMS_116
表示通道上的特征叠加操作；
Figure SMS_117
表示三级分支的中间特征；
Figure SMS_118
表示第三输出特征；
Figure SMS_119
表示尺寸为1×1的卷积；
Figure SMS_120
表示参数整流线性单元；
Figure SMS_121
表示尺寸为3×3的卷积；
Figure SMS_122
表示逆离散小波变换。
根据本发明的一个实施方式，对所述第四输入特征进行卷积处理，得到所述四级分支的中间特征，其中公式为，
Figure SMS_123
；/>
其中，
Figure SMS_124
表示四级分支的中间特征；
Figure SMS_125
表示参数整流线性单元；
Figure SMS_126
表示尺寸为3×3的卷积；
Figure SMS_127
表示第四输入特征；
叠加所述第三输出特征和所述四级分支的中间特征后输入至所述四级分支中，得到第四输出特征，其中公式为，
Figure SMS_128
；
Figure SMS_129
；
其中，
Figure SMS_130
表示第三输出特征和四级分支的中间特征叠加后的特征；
Figure SMS_131
表示通道上的特征叠加操作；
Figure SMS_132
表示四级分支的中间特征；
Figure SMS_133
表示第四输出特征；
Figure SMS_134
表示尺寸为1×1的卷积；
Figure SMS_135
表示参数整流线性单元；
Figure SMS_136
表示尺寸为3×3的卷积。
根据本发明的一个实施方式，所述阶梯型多级小波网络还包含输出分支，将所述第四输出特征输入至所述输出分支中，得到所述特征图像，其中公式为，
Figure SMS_137
；
其中，
Figure SMS_138
表示特征图像；
Figure SMS_139
转置卷积；
Figure SMS_140
表示第三输出特征和四级分支的中间特征叠加后的特征；
Figure SMS_141
表示通道上的特征叠加操作；
Figure SMS_142
表示第四输出特征；
Figure SMS_143
表示尺寸为1×1的卷积；
Figure SMS_144
表示参数整流线性单元；
Figure SMS_145
表示尺寸为3×3的卷积。
根据本发明的一个实施方式，使用超分辨率重建损失对所述图像超分辨率重建网络进行训练，其中公式为，
Figure SMS_146
；
其中，
Figure SMS_147
表示特征图像；
Figure SMS_148
表示与低分辨率合成孔径雷达图像对应的高分辨率标签图像；
Figure SMS_149
表示图像超分辨率重建网络；
Figure SMS_150
表示低分辨率合成孔径雷达图像；
Figure SMS_151
表示超分辨率重建损失；
Figure SMS_152
表示两者之间的距离。
不仅如此，为实现上述发明目的，本发明还提供一种基于阶梯型多级小波网络的图像超分辨率重建系统，图3示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建系统的流程图，如图3所示，根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建系统，该系统包括：
低分辨率合成孔径雷达图像获取模块：获取低分辨率合成孔径雷达图像；
特征图像获取模块：根据阶梯型多级小波网络得到特征图像；
超分辨率重建结果图像获取模块：将所述特征图像输入至图像超分辨率重建网络，得到超分辨率重建结果图像。
根据本发明的一个实施方式，对所述低分辨率合成孔径雷达图像进行预处理，得到输入至所述阶梯型多级小波网络的第一输入特征、第二输入特征、第三输入特征和第四输入特征，其中公式为，
Figure SMS_153
；
Figure SMS_154
；
Figure SMS_155
；
Figure SMS_156
；
其中，
Figure SMS_157
表示低分辨率合成孔径雷达图像；
Figure SMS_158
表示离散小波变换；
Figure SMS_159
表示第四输入特征；
Figure SMS_160
表示第三输入特征；
Figure SMS_161
表示第二输入特征；
Figure SMS_162
表示第一输入特征。
根据本发明的一个实施方式，图2示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法的阶梯型多级小波网络的流程图，如图2所示，所述阶梯型多级小波网络包含一级分支、二级分支、三级分支和四级分支，将所述第一输入特征输入至所述一级分支得到第一输出特征，其中公式为，
Figure SMS_163
；
其中，
Figure SMS_164
表示第一输出特征；
Figure SMS_165
表示逆离散小波变换；
Figure SMS_166
表示参数整流线性单元；
Figure SMS_167
表示尺寸为3×3的卷积；
Figure SMS_168
表示第一输入特征。
根据本发明的一个实施方式，对所述第二输入特征进行卷积处理，得到所述二级分支的中间特征，其中公式为，
Figure SMS_169
；
其中，
Figure SMS_170
表示二级分支的中间特征；
Figure SMS_171
表示参数整流线性单元；
Figure SMS_172
表示尺寸为3×3的卷积；
Figure SMS_173
表示第二输入特征；
叠加所述第一输出特征和所述二级分支的中间特征后输入至所述二级分支中，得到第二输出特征，其中公式为，
Figure SMS_174
；
Figure SMS_175
；
其中，
Figure SMS_176
表示第一输出特征和二级分支的中间特征叠加后的特征；
Figure SMS_177
表示通道上的特征叠加操作；
Figure SMS_178
表示二级分支的中间特征；
Figure SMS_179
表示第二输出特征；
Figure SMS_180
表示尺寸为1×1的卷积；
Figure SMS_181
表示参数整流线性单元；
Figure SMS_182
表示尺寸为3×3的卷积；
Figure SMS_183
表示逆离散小波变换。
根据本发明的一个实施方式，对所述第三输入特征进行卷积处理，得到所述三级分支的中间特征，其中公式为，
Figure SMS_184
；
其中，
Figure SMS_185
表示三级分支的中间特征；
Figure SMS_186
表示参数整流线性单元；
Figure SMS_187
表示尺寸为3×3的卷积；
Figure SMS_188
表示第三输入特征；
叠加所述第二输出特征和所述三级分支的中间特征后输入至所述三级分支中，得到第三输出特征，其中公式为，
Figure SMS_189
；
Figure SMS_190
；
其中，
Figure SMS_191
表示第二输出特征和三级分支的中间特征叠加后的特征；
Figure SMS_192
表示通道上的特征叠加操作；
Figure SMS_193
表示三级分支的中间特征；
Figure SMS_194
表示第三输出特征；
Figure SMS_195
表示尺寸为1×1的卷积；
Figure SMS_196
表示参数整流线性单元；
Figure SMS_197
表示尺寸为3×3的卷积；
Figure SMS_198
表示逆离散小波变换。
根据本发明的一个实施方式，对所述第四输入特征进行卷积处理，得到所述四级分支的中间特征，其中公式为，
Figure SMS_199
；
其中，
Figure SMS_200
表示四级分支的中间特征；
Figure SMS_201
表示参数整流线性单元；
Figure SMS_202
表示尺寸为3×3的卷积；/>
Figure SMS_203
表示第四输入特征；
叠加所述第三输出特征和所述四级分支的中间特征后输入至所述四级分支中，得到第四输出特征，其中公式为，
Figure SMS_204
；
Figure SMS_205
；
其中，
Figure SMS_206
表示第三输出特征和四级分支的中间特征叠加后的特征；
Figure SMS_207
表示通道上的特征叠加操作；
Figure SMS_208
表示四级分支的中间特征；
Figure SMS_209
表示第四输出特征；
Figure SMS_210
表示尺寸为1×1的卷积；
Figure SMS_211
表示参数整流线性单元；
Figure SMS_212
表示尺寸为3×3的卷积。
根据本发明的一个实施方式，所述阶梯型多级小波网络还包含输出分支，将所述第四输出特征输入至所述输出分支中，得到所述特征图像，其中公式为，
Figure SMS_213
；
其中，
Figure SMS_214
表示特征图像；
Figure SMS_215
转置卷积；
Figure SMS_216
表示第三输出特征和四级分支的中间特征叠加后的特征；
Figure SMS_217
表示通道上的特征叠加操作；
Figure SMS_218
表示第四输出特征；
Figure SMS_219
表示尺寸为1×1的卷积；
Figure SMS_220
表示参数整流线性单元；
Figure SMS_221
表示尺寸为3×3的卷积。
根据本发明的一个实施方式，使用超分辨率重建损失对所述图像超分辨率重建网络进行训练，其中公式为，
Figure SMS_222
；
其中，
Figure SMS_223
表示特征图像；
Figure SMS_224
表示与低分辨率合成孔径雷达图像对应的高分辨率标签图像；
Figure SMS_225
表示图像超分辨率重建网络；
Figure SMS_226
表示低分辨率合成孔径雷达图像；
Figure SMS_227
表示超分辨率重建损失；
Figure SMS_228
表示两者之间的距离。
为实现上述发明目的，本发明还提供一种电子设备，该电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，计算机程序被处理器执行时实现上述一种基于阶梯型多级小波网络的图像超分辨率重建方法。
基于此，本发明的有益效果在于，本发明没有单纯在空间域上对合成孔径雷达图像采用深度神经网络模型进行超分辨率重建，通过搭建一个阶梯式多级小波网络，能够在对合成孔径雷达图像进行超分辨率重建时，提取图像的多尺度频域特征，从而在结果图像中包含丰富的纹理特征。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。
另外，在本发明实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例节能信号发送/接收的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
应理解，本发明的发明内容及实施例中各步骤的序号的大小并不绝对意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

Claims (10)

1.一种基于阶梯型多级小波网络的图像超分辨率重建方法，其特征在于，包括：
获取低分辨率合成孔径雷达图像；
根据阶梯型多级小波网络得到特征图像；
将所述特征图像输入至图像超分辨率重建网络，得到超分辨率重建结果图像。
2.根据权利要求1所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法，其特征在于，对所述低分辨率合成孔径雷达图像进行预处理，得到输入至所述阶梯型多级小波网络的第一输入特征、第二输入特征、第三输入特征和第四输入特征，其中公式为，
Figure QLYQS_1
；
Figure QLYQS_2
；
Figure QLYQS_3
；
Figure QLYQS_4
；
其中，
Figure QLYQS_5
表示低分辨率合成孔径雷达图像；
Figure QLYQS_6
表示离散小波变换；
Figure QLYQS_7
表示第四输入特征；
Figure QLYQS_8
表示第三输入特征；
Figure QLYQS_9
表示第二输入特征；
Figure QLYQS_10
表示第一输入特征。
3.根据权利要求2所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法，其特征在于，所述阶梯型多级小波网络包含一级分支、二级分支、三级分支和四级分支，将所述第一输入特征输入至所述一级分支得到第一输出特征，其中公式为，
Figure QLYQS_11
；
其中，
Figure QLYQS_12
表示第一输出特征；
Figure QLYQS_13
表示逆离散小波变换；
Figure QLYQS_14
表示参数整流线性单元；
Figure QLYQS_15
表示尺寸为3×3的卷积；
Figure QLYQS_16
表示第一输入特征。
4.根据权利要求3所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法，其特征在于，对所述第二输入特征进行卷积处理，得到所述二级分支的中间特征，其中公式为，
Figure QLYQS_17
；
其中，
Figure QLYQS_18
表示二级分支的中间特征；
Figure QLYQS_19
表示参数整流线性单元；
Figure QLYQS_20
表示尺寸为3×3的卷积；
Figure QLYQS_21
表示第二输入特征；
叠加所述第一输出特征和所述二级分支的中间特征后输入至所述二级分支中，得到第二输出特征，其中公式为，
Figure QLYQS_22
；/>
Figure QLYQS_23
；
其中，
Figure QLYQS_24
表示第一输出特征和二级分支的中间特征叠加后的特征；
Figure QLYQS_25
表示通道上的特征叠加操作；
Figure QLYQS_26
表示二级分支的中间特征；
Figure QLYQS_27
表示第二输出特征；
Figure QLYQS_28
表示尺寸为1×1的卷积；
Figure QLYQS_29
表示参数整流线性单元；
Figure QLYQS_30
表示尺寸为3×3的卷积；
Figure QLYQS_31
表示逆离散小波变换。
5.根据权利要求4所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法，其特征在于，对所述第三输入特征进行卷积处理，得到所述三级分支的中间特征，其中公式为，
Figure QLYQS_32
；
其中，
Figure QLYQS_33
表示三级分支的中间特征；
Figure QLYQS_34
表示参数整流线性单元；
Figure QLYQS_35
表示尺寸为3×3的卷积；
Figure QLYQS_36
表示第三输入特征；
叠加所述第二输出特征和所述三级分支的中间特征后输入至所述三级分支中，得到第三输出特征，其中公式为，
Figure QLYQS_37
；
Figure QLYQS_38
；
其中，
Figure QLYQS_39
表示第二输出特征和三级分支的中间特征叠加后的特征；
Figure QLYQS_40
表示通道上的特征叠加操作；
Figure QLYQS_41
表示三级分支的中间特征；
Figure QLYQS_42
表示第三输出特征；
Figure QLYQS_43
表示尺寸为1×1的卷积；
Figure QLYQS_44
表示参数整流线性单元；
Figure QLYQS_45
表示尺寸为3×3的卷积；
Figure QLYQS_46
表示逆离散小波变换。
6.根据权利要求5所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法，其特征在于，对所述第四输入特征进行卷积处理，得到所述四级分支的中间特征，其中公式为，
Figure QLYQS_47
；
其中，
Figure QLYQS_48
表示四级分支的中间特征；
Figure QLYQS_49
表示参数整流线性单元；/>
Figure QLYQS_50
表示尺寸为3×3的卷积；
Figure QLYQS_51
表示第四输入特征；
叠加所述第三输出特征和所述四级分支的中间特征后输入至所述四级分支中，得到第四输出特征，其中公式为，
Figure QLYQS_52
；
Figure QLYQS_53
；
其中，
Figure QLYQS_54
表示第三输出特征和四级分支的中间特征叠加后的特征；
Figure QLYQS_55
表示通道上的特征叠加操作；
Figure QLYQS_56
表示四级分支的中间特征；
Figure QLYQS_57
表示第四输出特征；
Figure QLYQS_58
表示尺寸为1×1的卷积；
Figure QLYQS_59
表示参数整流线性单元；
Figure QLYQS_60
表示尺寸为3×3的卷积。
7.根据权利要求6所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法，其特征在于，所述阶梯型多级小波网络还包含输出分支，将所述第四输出特征输入至所述输出分支中，得到所述特征图像，其中公式为，
Figure QLYQS_61
；
其中，
Figure QLYQS_62
表示特征图像；
Figure QLYQS_63
转置卷积；
Figure QLYQS_64
表示第三输出特征和四级分支的中间特征叠加后的特征；
Figure QLYQS_65
表示通道上的特征叠加操作；
Figure QLYQS_66
表示第四输出特征；
Figure QLYQS_67
表示尺寸为1×1的卷积；
Figure QLYQS_68
表示参数整流线性单元；
Figure QLYQS_69
表示尺寸为3×3的卷积。
8.根据权利要求7所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法，其特征在于，使用超分辨率重建损失对所述图像超分辨率重建网络进行训练，其中公式为，
Figure QLYQS_70
；
其中，
Figure QLYQS_71
表示特征图像；
Figure QLYQS_72
表示与低分辨率合成孔径雷达图像对应的高分辨率标签图像；
Figure QLYQS_73
表示图像超分辨率重建网络；
Figure QLYQS_74
表示低分辨率合成孔径雷达图像；
Figure QLYQS_75
表示超分辨率重建损失；
Figure QLYQS_76
表示两者之间的距离。
9.一种基于阶梯型多级小波网络的图像超分辨率重建系统，其特征在于，包括：
低分辨率合成孔径雷达图像获取模块：获取低分辨率合成孔径雷达图像；
特征图像获取模块：根据阶梯型多级小波网络得到特征图像；
超分辨率重建结果图像获取模块：将所述特征图像输入至图像超分辨率重建网络，得到超分辨率重建结果图像。
10.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法。
CN202310165216.2A 2023-02-27 2023-02-27 一种基于阶梯型多级小波网络的图像超分辨率重建方法 Active CN115861081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310165216.2A CN115861081B (zh) 2023-02-27 2023-02-27 一种基于阶梯型多级小波网络的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310165216.2A CN115861081B (zh) 2023-02-27 2023-02-27 一种基于阶梯型多级小波网络的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN115861081A true CN115861081A (zh) 2023-03-28
CN115861081B CN115861081B (zh) 2023-05-23

Family

ID=85658878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310165216.2A Active CN115861081B (zh) 2023-02-27 2023-02-27 一种基于阶梯型多级小波网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115861081B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870836A (zh) * 2014-01-10 2014-06-18 浙江工业大学 基于凸集投影超分辨率重构的合成孔径雷达图像目标识别方法
CN106991648A (zh) * 2017-04-10 2017-07-28 中国石油大学(华东) 一种基于小波变换和卷积神经网络的图像超分辨率重建方法
CN109509160A (zh) * 2018-11-28 2019-03-22 长沙理工大学 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
CN109636716A (zh) * 2018-10-29 2019-04-16 昆明理工大学 一种基于小波系数学习的图像超分辨率重建方法
CN111612695A (zh) * 2020-05-19 2020-09-01 华侨大学 一种低分辨率人脸图像超分辨重建方法
CN111932460A (zh) * 2020-08-10 2020-11-13 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN112465701A (zh) * 2020-11-26 2021-03-09 上海健康医学院 显微图像的深度学习超分辨率重建方法、介质及电子设备
US20210342974A1 (en) * 2020-04-29 2021-11-04 Adobe Inc. Texture hallucination for large-scale image super-resolution
CN114140359A (zh) * 2021-12-08 2022-03-04 中国科学技术大学 一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法
CN115063297A (zh) * 2022-06-30 2022-09-16 中国人民解放军战略支援部队信息工程大学 基于参数重构的图像超分辨率重建方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870836A (zh) * 2014-01-10 2014-06-18 浙江工业大学 基于凸集投影超分辨率重构的合成孔径雷达图像目标识别方法
CN106991648A (zh) * 2017-04-10 2017-07-28 中国石油大学(华东) 一种基于小波变换和卷积神经网络的图像超分辨率重建方法
CN109636716A (zh) * 2018-10-29 2019-04-16 昆明理工大学 一种基于小波系数学习的图像超分辨率重建方法
CN109509160A (zh) * 2018-11-28 2019-03-22 长沙理工大学 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
US20210342974A1 (en) * 2020-04-29 2021-11-04 Adobe Inc. Texture hallucination for large-scale image super-resolution
CN111612695A (zh) * 2020-05-19 2020-09-01 华侨大学 一种低分辨率人脸图像超分辨重建方法
CN111932460A (zh) * 2020-08-10 2020-11-13 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN112465701A (zh) * 2020-11-26 2021-03-09 上海健康医学院 显微图像的深度学习超分辨率重建方法、介质及电子设备
CN114140359A (zh) * 2021-12-08 2022-03-04 中国科学技术大学 一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法
CN115063297A (zh) * 2022-06-30 2022-09-16 中国人民解放军战略支援部队信息工程大学 基于参数重构的图像超分辨率重建方法及系统

Also Published As

Publication number Publication date
CN115861081B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111899163A (zh) 生成对抗网络中单图像超分辨率的有效结构保持
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
Hayat Super-resolution via deep learning
Cheong et al. Deep CNN-based super-resolution using external and internal examples
KR102359474B1 (ko) 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
CN111932460A (zh) Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN115456918B (zh) 一种基于小波高频通道合成的图像去噪方法及装置
CN115937794B (zh) 小目标对象检测方法、装置、电子设备及存储介质
Feng et al. Guided filter‐based multi‐scale super‐resolution reconstruction
Zuo et al. MIG-net: Multi-scale network alternatively guided by intensity and gradient features for depth map super-resolution
Wu et al. A novel perceptual loss function for single image super-resolution
Liu et al. Facial image inpainting using multi-level generative network
CN116310452B (zh) 一种多视图聚类方法及系统
CN115861081A (zh) 一种基于阶梯型多级小波网络的图像超分辨率重建方法
CN115688234A (zh) 一种基于条件卷积的建筑布局生成方法、装置及介质
Rashid et al. Single MR image super-resolution using generative adversarial network
CN116385454A (zh) 一种基于多阶段聚合的医学图像分割方法
CN116188273A (zh) 一种基于不确定性导向的双模态可分离图像超分辨率方法
Zhang et al. A Wavelet-based asymmetric convolution network for single image super-resolution
CN115546351A (zh) 一种基于卷积网络的合成孔径雷达图像着色方法
CN114529564A (zh) 一种基于上下文信息的轻量级婴儿脑组织图像分割方法
CN111861878B (zh) 通过潜在空间正则化对监督式生成对抗网络进行优化
Khandelwal et al. W-VDSR: wavelet-based secure image transmission using machine learning VDSR neural network
CN117218005B (zh) 基于全距离特征聚合的单帧图像超分辨率方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant