CN113643183B - 非匹配遥感图像弱监督学习超分辨率重建方法及系统 - Google Patents

非匹配遥感图像弱监督学习超分辨率重建方法及系统 Download PDF

Info

Publication number
CN113643183B
CN113643183B CN202111195140.5A CN202111195140A CN113643183B CN 113643183 B CN113643183 B CN 113643183B CN 202111195140 A CN202111195140 A CN 202111195140A CN 113643183 B CN113643183 B CN 113643183B
Authority
CN
China
Prior art keywords
image
network
resolution
loss
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111195140.5A
Other languages
English (en)
Other versions
CN113643183A (zh
Inventor
方乐缘
吴洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202111195140.5A priority Critical patent/CN113643183B/zh
Publication of CN113643183A publication Critical patent/CN113643183A/zh
Application granted granted Critical
Publication of CN113643183B publication Critical patent/CN113643183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种非匹配遥感图像弱监督学习超分辨率重建方法及系统，包括：输入高空间分辨率图像和与高空间分辨率图像不匹配成对的低空间分辨率图像，对预设的循环生成对抗网络进行训练，结合预设的第一损失函数进行反向传播得到训练好的循环生成对抗网络；对高空间分辨率图像利用双三次插值下采样后输入至训练好的循环生成对抗网络中的第一网络，生成与高空间分辨率图像匹配的第一伪图像；根据低空间分辨率图像、第一伪图像和高空间分辨率图像对预设的超分网络进行训练，结合预设的第二损失函数进行反向传播得到训练好的超分网络；获取低空间分辨率测试图像，输入至训练好的超分网络中的超分辨率重建网络，得到重建后的超分辨率图像。

Description

非匹配遥感图像弱监督学习超分辨率重建方法及系统
技术领域
本发明属于遥感图像处理技术领域，特别涉及一种非匹配遥感图像弱监督学习超分辨率重建方法及系统。
背景技术
遥感图像的空间分辨率越大，图像内容越丰富，能为目标分割、检测等任务提供更有用的信息。但能获取高空间分辨率遥感图像的卫星较少，通过改进卫星硬件设备提升图像的空间分辨率，需要较高的成本。图像超分辨率重建技术可以使用图像处理等软件方式提升图像的分辨率，降低了技术成本，因此遥感图像超分辨率重建具有重要的研究意义。
随着深度学习技术的发展，基于卷积神经网络的超分辨率算法取得了较好的效果。但大部分基于卷积神经网络的超分算法都需要成对匹配的高空间分辨率与低空间分辨率数据进行训练。对于遥感卫星而言，很难获取相同场景下不同空间分辨率的成对图像。现有方法通常使用双三次插值等简单的降质模型合成成对数据集，但这类降质方法并不满足包含噪声、模糊、压缩损失等复杂变化情形下真实的降质过程，在处理真实低空间分辨率遥感图像时效果不佳。
生成对抗网络的方法可以通过生成器与判别器的博弈，生成与目标域相同分布的数据，使重建图像具有良好的视觉效果。但由于缺少先验信息对生成结果进行约束，生成对抗网络的方法易产生假纹理、伪影和不真实的物体等问题，不满足遥感图像中目标的特有形态，对后续的识别、分类等任务造成不好的影响。
在自然图像超分问题中，图像域转换被用于模拟图像退化过程，进而获取匹配的训练数据，为图像超分辨率提供监督。不同于自然图像的域转换问题，由于卫星上遥感传感器设备不同以及遥感图像中主要包含的场景存在巨大差异，不同卫星图像的数据分布差异很大，图像域转换造成合成的低空间分辨率数据出现内容、颜色等偏差。因此，遥感图像域转换需要在学习真实分辨率退化过程的同时，保留输入卫星图像的风格和内容。
发明内容
针对以上技术问题，本发明提供一种非匹配遥感图像弱监督学习超分辨率重建方法及系统。
本发明解决其技术问题采用的技术方案是：
非匹配遥感图像弱监督学习超分辨率重建方法，方法包括以下步骤：
步骤S100：输入高空间分辨率图像和与高空间分辨率图像不匹配成对的低空间分辨率图像，对预设的循环生成对抗网络进行训练，得到训练后的循环生成对抗网络，结合预设的第一损失函数对训练后的循环生成对抗网络进行反向传播，更新训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络；
步骤S200：对高空间分辨率图像利用双三次插值下采样后输入至训练好的循环生成对抗网络中的第一网络，生成与高空间分辨率图像匹配的第一伪图像；
步骤S300：根据与高空间分辨率图像不匹配成对的低空间分辨率图像、第一伪图像和高空间分辨率图像对预设的超分网络进行训练，得到训练后的超分网络，结合预设的第二损失函数对训练后的超分网络进行反向传播，更新训练后的超分网络的网络参数并累计第二迭代次数，当第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络；
步骤S400：获取低空间分辨率测试图像，将低空间分辨率测试图像输入至训练好的超分网络中的超分辨率重建网络，得到重建后的超分辨率图像。
优选地，预设的循环生成对抗网络包括第一网络
Figure 369442DEST_PATH_IMAGE001
、第二网络
Figure 210884DEST_PATH_IMAGE002
、第一判别器网络
Figure 725042DEST_PATH_IMAGE003
和第二判别器网络
Figure 41622DEST_PATH_IMAGE004
，步骤S100包括：
步骤S110：对高空间分辨率图像
Figure 324836DEST_PATH_IMAGE005
使用双三次插值进行4倍下采样，得到第一图像
Figure 881719DEST_PATH_IMAGE006
；
步骤S120：第一图像
Figure 70124DEST_PATH_IMAGE007
经过第一网络
Figure 3445DEST_PATH_IMAGE001
得到第二伪图像
Figure 344428DEST_PATH_IMAGE008
，第二伪图像
Figure 55901DEST_PATH_IMAGE009
经过第二网络
Figure 544651DEST_PATH_IMAGE002
得到第二图像
Figure 750504DEST_PATH_IMAGE010
；
步骤S130：与高空间分辨率图像不匹配成对的低空间分辨率图像
Figure 198191DEST_PATH_IMAGE011
经过第二网络
Figure 362456DEST_PATH_IMAGE002
得到第三图像
Figure 276185DEST_PATH_IMAGE012
，第三图像
Figure 534997DEST_PATH_IMAGE013
经过第一网络
Figure 647309DEST_PATH_IMAGE001
得到第四图像
Figure 654580DEST_PATH_IMAGE014
；
步骤S140：与高空间分辨率图像不匹配成对的低空间分辨率图像
Figure 367190DEST_PATH_IMAGE015
经过第一网络
Figure 914846DEST_PATH_IMAGE001
得到第五图像
Figure 84927DEST_PATH_IMAGE016
，第一图像
Figure 574683DEST_PATH_IMAGE017
经过第二网络
Figure 994163DEST_PATH_IMAGE018
得到第六图像
Figure 345510DEST_PATH_IMAGE019
；
步骤S150：将第二伪图像
Figure 432415DEST_PATH_IMAGE020
作为第一负样本，与高空间分辨率图像不匹配成对的低空间分辨率图像
Figure 287545DEST_PATH_IMAGE021
作为第一正样本，训练第一判别器网络
Figure 194321DEST_PATH_IMAGE022
；
步骤S160：将第三图像
Figure 349359DEST_PATH_IMAGE023
作为第二负样本，第一图像
Figure 743300DEST_PATH_IMAGE024
作为第二正样本，训练第二判别器网络
Figure 591171DEST_PATH_IMAGE025
，得到训练后的循环生成对抗网络；
步骤S170：根据第一图像
Figure 985243DEST_PATH_IMAGE026
、第二伪图像
Figure 130922DEST_PATH_IMAGE027
、第二图像
Figure 926840DEST_PATH_IMAGE028
、第三图像
Figure 132562DEST_PATH_IMAGE029
、第四图像
Figure 13931DEST_PATH_IMAGE030
、第五图像
Figure 776350DEST_PATH_IMAGE031
和第六图像
Figure 882234DEST_PATH_IMAGE032
，结合预设的第一损失函数对训练后的循环生成对抗网络进行反向传播，更新训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络。
优选地，步骤S170包括：
步骤S171：根据第一图像
Figure 806328DEST_PATH_IMAGE033
、第二图像
Figure 378254DEST_PATH_IMAGE034
、第四图像
Figure 662474DEST_PATH_IMAGE035
和低空间分辨率图像
Figure 698563DEST_PATH_IMAGE036
得到循环一致性损失；
步骤S172：根据第五图像
Figure 731241DEST_PATH_IMAGE037
、低空间分辨率图像
Figure 836469DEST_PATH_IMAGE038
、第六图像
Figure 675112DEST_PATH_IMAGE039
和第一图像
Figure 300129DEST_PATH_IMAGE040
得到恒等损失；
步骤S173：使用VGG19网络分别对第二伪图像
Figure 566025DEST_PATH_IMAGE041
、第一图像
Figure 96232DEST_PATH_IMAGE042
、第三图像
Figure 738566DEST_PATH_IMAGE043
和低空间分辨率图像
Figure 483669DEST_PATH_IMAGE044
进行特征提取，得到第一特征
Figure 375926DEST_PATH_IMAGE045
、第二特征
Figure 940899DEST_PATH_IMAGE046
、第三特征
Figure 386924DEST_PATH_IMAGE047
和第四特征
Figure 173483DEST_PATH_IMAGE048
，根据第一特征
Figure 46761DEST_PATH_IMAGE049
、第二特征
Figure 99031DEST_PATH_IMAGE050
、第三特征
Figure 270118DEST_PATH_IMAGE051
和第四特征
Figure 989813DEST_PATH_IMAGE052
得到感知损失；
步骤S174：根据低空间分辨率图像
Figure 220943DEST_PATH_IMAGE053
和第二伪图像
Figure 760508DEST_PATH_IMAGE054
，结合第一判别器网络
Figure 548336DEST_PATH_IMAGE055
得到第一网络
Figure 856957DEST_PATH_IMAGE056
与第一判别器网络
Figure 261918DEST_PATH_IMAGE057
之间的对抗损失；
步骤S175：根据第三图像
Figure 492043DEST_PATH_IMAGE058
和第一图像
Figure 332829DEST_PATH_IMAGE059
，结合第二判别器网络
Figure 699219DEST_PATH_IMAGE060
得到第二网络
Figure 85201DEST_PATH_IMAGE061
与第二判别器网络
Figure 848626DEST_PATH_IMAGE060
之间的对抗损失；
步骤S176：根据循环一致性损失、恒等损失、感知损失、第一网络
Figure 712677DEST_PATH_IMAGE062
与第一判别器网络
Figure 933574DEST_PATH_IMAGE063
之间的对抗损失和第二网络
Figure 739725DEST_PATH_IMAGE064
与第二判别器网络
Figure 475600DEST_PATH_IMAGE065
之间的对抗损失得到第一损失值，根据第一损失值对训练后的循环生成对抗网络进行反向传播，更新训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络。
优选地，根据循环一致性损失、恒等损失、感知损失、第一网络与第一判别器网络之间的对抗损失和第二网络与第二判别器网络之间的对抗损失得到第一损失值具体为：
Figure 143342DEST_PATH_IMAGE067
其中，
Figure 281062DEST_PATH_IMAGE069
Figure 288525DEST_PATH_IMAGE070
Figure 777275DEST_PATH_IMAGE071
Figure 983128DEST_PATH_IMAGE072
Figure 427885DEST_PATH_IMAGE073
其中，
Figure 592150DEST_PATH_IMAGE074
为预设的第一损失函数的权重参数，
Figure 489568DEST_PATH_IMAGE075
，
Figure 764691DEST_PATH_IMAGE076
为第一网络，
Figure 877004DEST_PATH_IMAGE077
为第二网络，
Figure 399121DEST_PATH_IMAGE078
为第一判别器网络，
Figure 596884DEST_PATH_IMAGE079
为第二判别器网络，
Figure 347802DEST_PATH_IMAGE080
为第一图像，
Figure 566819DEST_PATH_IMAGE081
为第二伪图像，
Figure 807307DEST_PATH_IMAGE082
为第二图像，
Figure 492366DEST_PATH_IMAGE083
为第三图像，
Figure 296243DEST_PATH_IMAGE084
为第四图像，
Figure 117569DEST_PATH_IMAGE085
为第五图像，
Figure 794538DEST_PATH_IMAGE086
为第六图像，
Figure 701314DEST_PATH_IMAGE087
为第一特征、
Figure 840040DEST_PATH_IMAGE088
为第二特征、
Figure 984713DEST_PATH_IMAGE089
为第三特征和
Figure 301425DEST_PATH_IMAGE090
为第四特征，
Figure 944765DEST_PATH_IMAGE091
为循环一致性损失，
Figure 637915DEST_PATH_IMAGE092
为恒等损失，
Figure 433832DEST_PATH_IMAGE093
为感知损失，
Figure 452604DEST_PATH_IMAGE094
为对抗损失。
优选地，预设的超分网络包括超分辨率重建网络
Figure 586170DEST_PATH_IMAGE095
、第三判别网络
Figure 20693DEST_PATH_IMAGE096
、边缘提取网络
Figure 671117DEST_PATH_IMAGE097
、边缘判别网络
Figure 110058DEST_PATH_IMAGE098
、退化网络
Figure 478722DEST_PATH_IMAGE099
和退化判别网络
Figure 716937DEST_PATH_IMAGE100
，步骤S300包括：
步骤S310：将第一伪图像输入至超分辨率重建网络
Figure 736714DEST_PATH_IMAGE101
，生成伪超分辨率图像
Figure 34971DEST_PATH_IMAGE102
；
步骤S320：将低空间分辨率图像
Figure 156511DEST_PATH_IMAGE103
输入至超分辨率重建网络
Figure 978842DEST_PATH_IMAGE101
，生成第七图像
Figure 603859DEST_PATH_IMAGE104
；
步骤S330：将第七图像
Figure 869755DEST_PATH_IMAGE105
作为第三负样本，高空间分辨率图像
Figure 402892DEST_PATH_IMAGE106
作为第三正样本，训练第三判别网络
Figure 310805DEST_PATH_IMAGE107
；
步骤S340：使用边缘提取网络
Figure 790328DEST_PATH_IMAGE108
提取第七图像
Figure 679656DEST_PATH_IMAGE109
的边缘信息
Figure 244629DEST_PATH_IMAGE110
，对低空间分辨率图像
Figure 425075DEST_PATH_IMAGE111
进行双三次插值后得到第八图像，根据边缘提取网络
Figure 477213DEST_PATH_IMAGE112
提取第八图像的边缘信息
Figure 84912DEST_PATH_IMAGE113
，将第八图像的边缘信息
Figure 137182DEST_PATH_IMAGE114
作为第四正样本，第七图像
Figure 121318DEST_PATH_IMAGE115
的边缘信息
Figure 824701DEST_PATH_IMAGE116
作为第四负样本，训练边缘判别网络
Figure 603301DEST_PATH_IMAGE117
；
步骤S350：第七图像
Figure 346129DEST_PATH_IMAGE118
输入至退化网络
Figure 108856DEST_PATH_IMAGE119
得到退化图像
Figure 683057DEST_PATH_IMAGE120
，将退化图像
Figure 632558DEST_PATH_IMAGE121
作为第五负样本，低空间分辨率图像
Figure 393841DEST_PATH_IMAGE122
作为第五正样本，训练退化判别网络
Figure 172310DEST_PATH_IMAGE123
，得到训练后的超分网络；
步骤S360：根据伪超分辨率图像
Figure 601017DEST_PATH_IMAGE124
、高空间分辨率图像
Figure 721420DEST_PATH_IMAGE125
、第八图像的边缘信息
Figure 484845DEST_PATH_IMAGE126
、第七图像
Figure 552159DEST_PATH_IMAGE127
的边缘信息
Figure 569793DEST_PATH_IMAGE128
、低空间分辨率图像
Figure 641523DEST_PATH_IMAGE129
和退化图像
Figure 377398DEST_PATH_IMAGE130
，结合预设的第二损失函数对训练后的超分网络进行反向传播，更新训练后的超分网络的网络参数并累计第二迭代次数，当第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络。
优选地，步骤S360包括：
步骤S361：根据伪超分辨率图像
Figure 982823DEST_PATH_IMAGE131
和高空间分辨率图像
Figure 638320DEST_PATH_IMAGE132
得到伪图像重建损失；
步骤S362：根据第八图像的边缘信息
Figure 366104DEST_PATH_IMAGE133
和第七图像
Figure 526958DEST_PATH_IMAGE134
的边缘信息
Figure 513238DEST_PATH_IMAGE135
得到边缘保留损失；
步骤S363：根据低空间分辨率图像
Figure 708727DEST_PATH_IMAGE136
和退化图像
Figure 341833DEST_PATH_IMAGE137
得到退化一致性损失；
步骤S364：根据高空间分辨率图像
Figure 567147DEST_PATH_IMAGE138
和第七图像
Figure 576692DEST_PATH_IMAGE139
得到重建图像的对抗损失；
步骤S365：根据伪图像重建损失、边缘保留损失、退化一致性损失和重建图像的对抗损失得到第二损失值，根据第二损失值对训练后的超分网络进行反向传播，更新训练后的超分网络的网络参数并累计第二迭代次数，当第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络。
优选地，步骤S365中根据伪图像重建损失、边缘保留损失、退化一致性损失和重建图像的对抗损失得到第二损失值，具体为：
Figure 423425DEST_PATH_IMAGE140
其中，
Figure 493012DEST_PATH_IMAGE141
Figure 877726DEST_PATH_IMAGE142
Figure 690961DEST_PATH_IMAGE143
Figure 657780DEST_PATH_IMAGE144
其中，
Figure 150466DEST_PATH_IMAGE145
为预设的第二损失函数的权重参数，
Figure 835525DEST_PATH_IMAGE146
，
Figure 186872DEST_PATH_IMAGE147
为伪超分辨率图像，
Figure 460727DEST_PATH_IMAGE148
为高空间分辨率图像，
Figure 872117DEST_PATH_IMAGE149
为第八图像的边缘信息，
Figure 982156DEST_PATH_IMAGE150
为第七图像
Figure 386461DEST_PATH_IMAGE151
的边缘信息，
Figure 327872DEST_PATH_IMAGE152
为低空间分辨率图像，
Figure 113426DEST_PATH_IMAGE153
为退化图像，
Figure 756765DEST_PATH_IMAGE154
为伪图像重建损失，
Figure 715494DEST_PATH_IMAGE155
为退化一致性损失，
Figure 511412DEST_PATH_IMAGE156
为边缘保留损失，
Figure 720064DEST_PATH_IMAGE157
为重建图像的对抗损失，
Figure 601432DEST_PATH_IMAGE158
为超分辨率重建网络，
Figure 301535DEST_PATH_IMAGE159
为第三判别网络，
Figure 201227DEST_PATH_IMAGE160
为边缘提取网络，
Figure 390900DEST_PATH_IMAGE161
为退化网络，
Figure 759564DEST_PATH_IMAGE162
为退化判别网络，
Figure 247046DEST_PATH_IMAGE163
为边缘判别网络。
非匹配遥感图像弱监督学习超分辨率重建系统，系统包括：
循环生成对抗网络训练模块，用于输入高空间分辨率图像和与高空间分辨率图像不匹配成对的低空间分辨率图像，对预设的循环生成对抗网络进行训练，得到训练后的循环生成对抗网络，结合预设的第一损失函数对训练后的循环生成对抗网络进行反向传播，更新训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络；
第一伪图像生成模块，用于对高空间分辨率图像利用双三次插值下采样后输入至训练好的循环生成对抗网络中的第一网络，生成与高空间分辨率图像匹配的第一伪图像；
超分网络训练模块，用于根据与高空间分辨率图像不匹配成对的低空间分辨率图像、第一伪图像和高空间分辨率图像对预设的超分网络进行训练，得到训练后的超分网络，结合预设的第二损失函数对训练后的超分网络进行反向传播，更新训练后的超分网络的网络参数并累计第二迭代次数，当第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络；
超分辨率图像生成模块，用于获取低空间分辨率测试图像，将低空间分辨率测试图像输入至训练好的超分网络中的超分辨率重建网络，得到重建后的超分辨率图像。
计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。
计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
上述非匹配遥感图像弱监督学习超分辨率重建方法及系统，首先输入高空间分辨率图像
Figure 751977DEST_PATH_IMAGE164
与其不匹配成对的低空间分辨率图像
Figure 846972DEST_PATH_IMAGE165
，对预设的循环生成对抗网络进行训练，通过循环生成对抗网络进行图像域转换，引入预设的第一损失函数，使得循环生成对抗网络的训练更加准确，利用双三次插值下采样与训练好的循环生成对抗网络中的第一网络模型生成与高空间分辨率图像
Figure 702932DEST_PATH_IMAGE166
匹配的第一伪图像；采用第一伪图像与匹配的高空间分辨率图像
Figure 790843DEST_PATH_IMAGE167
联合监督学习超分网络，使用生成对抗网络作为超分网络中的超分辨率重建网络的基础架构模型，并引入预设的第二损失函数为超分辨率重建网络提供约束，使重建图像具有真实的纹理细节，图像内容能更好的被表达，将低分辨率测试图像输入训练好的超分网络中的超分辨率重建网络，得到重建后的超分辨率图像
Figure 415859DEST_PATH_IMAGE168
。不依赖成对匹配的高分辨率与低分辨率图像，可以利用非匹配的数据进行遥感图像超分辨率重建，具有较强的灵活性和普适性，重建结果具有较丰富的纹理细节信息以及更好的表达能力。
附图说明
图1为本发明一实施例提供的方法的基本流程示意图；
图2是本发明一实施例提出的残差块示意图；
图3是本发明一实施例提出的判别网络示意图；
图4是本发明一实施例提出的超分辨率重建网络
Figure 681755DEST_PATH_IMAGE169
示意图；
图5是本发明一实施例提出的RRDB模块示意图；
图6是本发明一实施例提出的退化网络
Figure 226611DEST_PATH_IMAGE170
示意图；
图7是本发明一实施例方法和其他现有方法的第一组超分辨率重建结果对比示意图，其中，(a)为BICUBIC方法结果，(b)为ZSSR方法结果，(c)为ESRGAN方法结果， (d)为DRN方法结果，(e)为RRDBNet方法结果，(f)本发明方法结果；
图8是本发明一实施例方法和其他现有方法的第二组超分辨率重建结果对比示意图，其中，(a)为BICUBIC方法结果，(b)为ZSSR方法结果，(c)为ESRGAN方法结果，(d)为DRN方法结果，(e)为RRDBNet方法结果，(f)本发明方法结果。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，非匹配遥感图像弱监督学习超分辨率重建方法，方法包括以下步骤：
步骤S100：输入高空间分辨率图像和与高空间分辨率图像不匹配成对的低空间分辨率图像，对预设的循环生成对抗网络进行训练，得到训练后的循环生成对抗网络，结合预设的第一损失函数对训练后的循环生成对抗网络进行反向传播，更新训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络；
步骤S200：对高空间分辨率图像利用双三次插值下采样后输入至训练好的循环生成对抗网络中的第一网络，生成与高空间分辨率图像匹配的第一伪图像；
步骤S300：根据与高空间分辨率图像不匹配成对的低空间分辨率图像、第一伪图像和高空间分辨率图像对预设的超分网络进行训练，得到训练后的超分网络，结合预设的第二损失函数对训练后的超分网络进行反向传播，更新训练后的超分网络的网络参数并累计第二迭代次数，当第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络；
步骤S400：获取低空间分辨率测试图像，将低空间分辨率测试图像输入至训练好的超分网络中的超分辨率重建网络，得到重建后的超分辨率图像。
具体地，输入高空间分辨率图像
Figure 603366DEST_PATH_IMAGE171
与其不匹配成对的低空间分辨率图像
Figure 82889DEST_PATH_IMAGE172
，对预设的循环生成对抗网络进行训练，通过循环生成对抗网络进行图像域转换，引入预设的第一损失函数使得循环生成对抗网络的训练更加准确，利用双三次插值下采样与训练好的循环生成对抗网络中的第一网络模型生成与高空间分辨率图像
Figure 785266DEST_PATH_IMAGE173
匹配的伪低空间分辨率图像即第一伪图像；采用第一伪图像与匹配的高空间分辨率图像
Figure 599507DEST_PATH_IMAGE174
联合监督学习超分网络，使用生成对抗网络作为超分网络中的超分辨率重建网络的基础架构模型，并引入预设的第二损失函数为超分辨率重建网络提供约束，使重建图像具有真实的纹理细节，图像内容能更好的被表达，将低分辨率测试图像输入训练好的超分网络中的超分辨率重建网络，得到重建后的超分辨率图像
Figure 983215DEST_PATH_IMAGE175
。不依赖成对匹配的高分辨率与低分辨率图像，可以利用非匹配的数据进行遥感图像超分辨率重建，具有较强的灵活性和普适性，重建结果具有较丰富的纹理细节信息以及更好的表达能力。
在一个实施例中，预设的循环生成对抗网络包括第一网络
Figure 582823DEST_PATH_IMAGE001
、第二网络
Figure 439790DEST_PATH_IMAGE002
、第一判别器网络
Figure 226480DEST_PATH_IMAGE003
和第二判别器网络
Figure 210617DEST_PATH_IMAGE004
，步骤S100包括：
步骤S110：对高空间分辨率图像
Figure 930311DEST_PATH_IMAGE005
使用双三次插值进行4倍下采样，得到第一图像
Figure 958179DEST_PATH_IMAGE006
；
步骤S120：第一图像
Figure 435427DEST_PATH_IMAGE007
经过第一网络
Figure 957676DEST_PATH_IMAGE001
得到第二伪图像
Figure 784074DEST_PATH_IMAGE008
，第二伪图像
Figure 936838DEST_PATH_IMAGE009
经过第二网络
Figure 963699DEST_PATH_IMAGE002
得到第二图像
Figure 538906DEST_PATH_IMAGE010
；
步骤S130：与高空间分辨率图像不匹配成对的低空间分辨率图像
Figure 967613DEST_PATH_IMAGE011
经过第二网络
Figure 88016DEST_PATH_IMAGE002
得到第三图像
Figure 336595DEST_PATH_IMAGE012
，第三图像
Figure 653176DEST_PATH_IMAGE013
经过第一网络
Figure 936389DEST_PATH_IMAGE001
得到第四图像
Figure 227693DEST_PATH_IMAGE014
；
步骤S140：与高空间分辨率图像不匹配成对的低空间分辨率图像
Figure 212836DEST_PATH_IMAGE015
经过第一网络
Figure 880578DEST_PATH_IMAGE001
得到第五图像
Figure 283877DEST_PATH_IMAGE016
，第一图像
Figure 746082DEST_PATH_IMAGE017
经过第二网络
Figure 424713DEST_PATH_IMAGE018
得到第六图像
Figure 896146DEST_PATH_IMAGE019
；
步骤S150：将第二伪图像
Figure 153952DEST_PATH_IMAGE020
作为第一负样本，与高空间分辨率图像不匹配成对的低空间分辨率图像
Figure 36326DEST_PATH_IMAGE021
作为第一正样本，训练第一判别器网络
Figure 950055DEST_PATH_IMAGE022
；
步骤S160：将第三图像
Figure 959599DEST_PATH_IMAGE023
作为第二负样本，第一图像
Figure 321180DEST_PATH_IMAGE024
作为第二正样本，训练第二判别器网络
Figure 390767DEST_PATH_IMAGE025
，得到训练后的循环生成对抗网络；
步骤S170：根据第一图像
Figure 526213DEST_PATH_IMAGE026
、第二伪图像
Figure 588716DEST_PATH_IMAGE027
、第二图像
Figure 555535DEST_PATH_IMAGE028
、第三图像
Figure 796023DEST_PATH_IMAGE029
、第四图像
Figure 215503DEST_PATH_IMAGE030
、第五图像
Figure 22310DEST_PATH_IMAGE031
和第六图像
Figure 843635DEST_PATH_IMAGE032
，结合预设的第一损失函数对训练后的循环生成对抗网络进行反向传播，更新训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络。
具体地，第一网络
Figure 520604DEST_PATH_IMAGE176
、第二网络
Figure 879910DEST_PATH_IMAGE177
由16个残差块组成，残差块结构如图2所示，残差块包括卷积层COV和Relu层，卷积核的尺寸为
Figure 34948DEST_PATH_IMAGE178
，通道数为64。第一判别器网络
Figure 976359DEST_PATH_IMAGE179
、第二判别器网络
Figure 807918DEST_PATH_IMAGE180
结构如图3所示，包括5层卷积层，四层BN层以及四层Relu层，所有卷积层的卷积核尺寸为
Figure 201990DEST_PATH_IMAGE181
，第1、2、3、4层的卷积层通道数分别为64、128、256、512，步长为2，最后一层卷积层通道数为1，步长为1。
在一个实施例中，步骤S170包括：
步骤S171：根据第一图像
Figure 98402DEST_PATH_IMAGE033
、第二图像
Figure 143587DEST_PATH_IMAGE034
、第四图像
Figure 631200DEST_PATH_IMAGE035
和低空间分辨率图像
Figure 512569DEST_PATH_IMAGE036
得到循环一致性损失；
步骤S172：根据第五图像
Figure 9409DEST_PATH_IMAGE037
、低空间分辨率图像
Figure 165891DEST_PATH_IMAGE038
、第六图像
Figure 89985DEST_PATH_IMAGE039
和第一图像
Figure 396332DEST_PATH_IMAGE040
得到恒等损失；
步骤S173：使用VGG19网络分别对第二伪图像
Figure 946131DEST_PATH_IMAGE041
、第一图像
Figure 716641DEST_PATH_IMAGE042
、第三图像
Figure 14898DEST_PATH_IMAGE043
和低空间分辨率图像
Figure 854547DEST_PATH_IMAGE044
进行特征提取，得到第一特征
Figure 693190DEST_PATH_IMAGE045
、第二特征
Figure 583786DEST_PATH_IMAGE046
、第三特征
Figure 302212DEST_PATH_IMAGE047
和第四特征
Figure 379890DEST_PATH_IMAGE048
，根据第一特征
Figure 22223DEST_PATH_IMAGE049
、第二特征
Figure 501746DEST_PATH_IMAGE050
、第三特征
Figure 394004DEST_PATH_IMAGE051
和第四特征
Figure 958977DEST_PATH_IMAGE052
得到感知损失；
步骤S174：根据低空间分辨率图像
Figure 405002DEST_PATH_IMAGE053
和第二伪图像
Figure 191561DEST_PATH_IMAGE054
，结合第一判别器网络
Figure 799260DEST_PATH_IMAGE055
得到第一网络
Figure 117109DEST_PATH_IMAGE056
与第一判别器网络
Figure 350513DEST_PATH_IMAGE057
之间的对抗损失；
步骤S175：根据第三图像
Figure 539049DEST_PATH_IMAGE058
和第一图像
Figure 317649DEST_PATH_IMAGE059
，结合第二判别器网络
Figure 857215DEST_PATH_IMAGE060
得到第二网络
Figure 831993DEST_PATH_IMAGE061
与第二判别器网络
Figure 140614DEST_PATH_IMAGE060
之间的对抗损失；
步骤S176：根据循环一致性损失、恒等损失、感知损失、第一网络
Figure 355695DEST_PATH_IMAGE062
与第一判别器网络
Figure 838017DEST_PATH_IMAGE063
之间的对抗损失和第二网络
Figure 898376DEST_PATH_IMAGE064
与第二判别器网络
Figure 327084DEST_PATH_IMAGE065
之间的对抗损失得到第一损失值，根据第一损失值对训练后的循环生成对抗网络进行反向传播，更新训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络。
在一个实施例中，根据循环一致性损失、恒等损失、感知损失、第一网络与第一判别器网络之间的对抗损失和第二网络与第二判别器网络之间的对抗损失得到第一损失值具体为：
Figure DEST_PATH_IMAGE182
其中，
Figure DEST_PATH_IMAGE068
Figure 368858DEST_PATH_IMAGE070
Figure 866704DEST_PATH_IMAGE183
Figure 934017DEST_PATH_IMAGE184
Figure 217231DEST_PATH_IMAGE073
其中，
Figure 23382DEST_PATH_IMAGE074
为预设的第一损失函数的权重参数，
Figure 962519DEST_PATH_IMAGE075
，
Figure 630261DEST_PATH_IMAGE076
为第一网络，
Figure 285758DEST_PATH_IMAGE077
为第二网络，
Figure 951225DEST_PATH_IMAGE078
为第一判别器网络，
Figure 439976DEST_PATH_IMAGE079
为第二判别器网络，
Figure 895097DEST_PATH_IMAGE080
为第一图像，
Figure 90586DEST_PATH_IMAGE081
为第二伪图像，
Figure 254851DEST_PATH_IMAGE082
为第二图像，
Figure 214585DEST_PATH_IMAGE083
为第三图像，
Figure 958550DEST_PATH_IMAGE084
为第四图像，
Figure 274125DEST_PATH_IMAGE085
为第五图像，
Figure 327401DEST_PATH_IMAGE086
为第六图像，
Figure 525164DEST_PATH_IMAGE087
为第一特征、
Figure 72820DEST_PATH_IMAGE088
为第二特征、
Figure 39639DEST_PATH_IMAGE089
为第三特征和
Figure 809623DEST_PATH_IMAGE090
为第四特征，
Figure 229103DEST_PATH_IMAGE091
为循环一致性损失，
Figure 783712DEST_PATH_IMAGE092
为恒等损失，
Figure 854305DEST_PATH_IMAGE093
为感知损失，
Figure 265695DEST_PATH_IMAGE094
为对抗损失。
具体地，
Figure 438050DEST_PATH_IMAGE185
为利用卷积神经网络VGG19第五个最大池化层前的第四个卷积层之前的网络进行特征提取。每一轮迭代后，通过反向传播算法训练循环生成对抗网络
Figure 780039DEST_PATH_IMAGE186
，重复迭代直至迭代次数达到预设的第一迭代次数阈值时判定完成训练。由于遥感图像的目标形态特殊以及不同遥感图像内容差异较大，直接在遥感图像上应用图像域转换易造成合成数据中目标内容的失真。因此提出了基于感知损失的域转换，即加入了
Figure 721450DEST_PATH_IMAGE187
，保留图像中的目标形态不被改变，
Figure 569320DEST_PATH_IMAGE188
用于避免生成结果与输入之间产生颜色差异，对抗损失
Figure 415922DEST_PATH_IMAGE189
用于使生成网络输出与目标域相同的数据分布，循环一致性损失
Figure 374651DEST_PATH_IMAGE190
用于使生成器的输出与输入结构上保持一致，本实施中，预设的第一迭代次数为25000次。
在一个实施例中，预设的超分网络包括超分辨率重建网络
Figure 904989DEST_PATH_IMAGE095
、第三判别网络
Figure 658182DEST_PATH_IMAGE096
、边缘提取网络
Figure 995010DEST_PATH_IMAGE097
、边缘判别网络
Figure 757429DEST_PATH_IMAGE098
、退化网络
Figure 407854DEST_PATH_IMAGE099
和退化判别网络
Figure 518898DEST_PATH_IMAGE100
，步骤S300包括：
步骤S310：将第一伪图像输入至超分辨率重建网络
Figure 153142DEST_PATH_IMAGE101
，生成伪超分辨率图像
Figure 188094DEST_PATH_IMAGE102
；
步骤S320：将低空间分辨率图像
Figure 207871DEST_PATH_IMAGE103
输入至超分辨率重建网络
Figure 37287DEST_PATH_IMAGE101
，生成第七图像
Figure 96510DEST_PATH_IMAGE104
；
步骤S330：将第七图像
Figure 184420DEST_PATH_IMAGE105
作为第三负样本，高空间分辨率图像
Figure 543858DEST_PATH_IMAGE106
作为第三正样本，训练第三判别网络
Figure 809754DEST_PATH_IMAGE107
；
步骤S340：使用边缘提取网络
Figure 153010DEST_PATH_IMAGE108
提取第七图像
Figure 250804DEST_PATH_IMAGE109
的边缘信息
Figure 730327DEST_PATH_IMAGE110
，对低空间分辨率图像
Figure 167124DEST_PATH_IMAGE111
进行双三次插值后得到第八图像，根据边缘提取网络
Figure 981366DEST_PATH_IMAGE112
提取第八图像的边缘信息
Figure 427390DEST_PATH_IMAGE113
，将第八图像的边缘信息
Figure 964682DEST_PATH_IMAGE114
作为第四正样本，第七图像
Figure 821648DEST_PATH_IMAGE115
的边缘信息
Figure 139497DEST_PATH_IMAGE116
作为第四负样本，训练边缘判别网络
Figure 61317DEST_PATH_IMAGE117
；
步骤S350：第七图像
Figure 764700DEST_PATH_IMAGE118
输入至退化网络
Figure 808879DEST_PATH_IMAGE119
得到退化图像
Figure 348445DEST_PATH_IMAGE120
，将退化图像
Figure 870693DEST_PATH_IMAGE121
作为第五负样本，低空间分辨率图像
Figure 634774DEST_PATH_IMAGE122
作为第五正样本，训练退化判别网络
Figure 849855DEST_PATH_IMAGE123
，得到训练后的超分网络；
步骤S360：根据伪超分辨率图像
Figure 611137DEST_PATH_IMAGE124
高空间分辨率图像
Figure 389606DEST_PATH_IMAGE125
、第八图像的边缘信息
Figure 818314DEST_PATH_IMAGE126
、第七图像
Figure 938717DEST_PATH_IMAGE127
的边缘信息
Figure 702142DEST_PATH_IMAGE128
、低空间分辨率图像
Figure 566193DEST_PATH_IMAGE129
和退化图像
Figure 787090DEST_PATH_IMAGE130
，结合预设的第二损失函数对训练后的超分网络进行反向传播，更新训练后的超分网络的网络参数并累计第二迭代次数，当第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络。
在一个实施例中，步骤S360包括：
步骤S361：根据伪超分辨率图像
Figure 593241DEST_PATH_IMAGE131
和高空间分辨率图像
Figure 329115DEST_PATH_IMAGE132
得到伪图像重建损失；
步骤S362：根据第八图像的边缘信息
Figure 996857DEST_PATH_IMAGE133
和第七图像
Figure 868998DEST_PATH_IMAGE134
的边缘信息
Figure 102841DEST_PATH_IMAGE135
得到边缘保留损失；
步骤S363：根据低空间分辨率图像
Figure 529274DEST_PATH_IMAGE136
和退化图像
Figure 735127DEST_PATH_IMAGE137
得到退化一致性损失；
步骤S364：根据高空间分辨率图像
Figure 242201DEST_PATH_IMAGE138
和第七图像
Figure 344149DEST_PATH_IMAGE139
得到重建图像的对抗损失；
步骤S365：根据伪图像重建损失、边缘保留损失、退化一致性损失和重建图像的对抗损失得到第二损失值，根据第二损失值对训练后的超分网络进行反向传播，更新训练后的超分网络的网络参数并累计第二迭代次数，当第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络。
具体地，本实施中，超分辨率重建网络
Figure 54616DEST_PATH_IMAGE191
网络如图4所示，输入先经过一个
Figure 516690DEST_PATH_IMAGE192
的卷积层，用于提取低分辨率特征
Figure 629003DEST_PATH_IMAGE193
，提取的特征
Figure 433011DEST_PATH_IMAGE193
经过23个RDDB模块(密集残差块)，得到特征
Figure 145621DEST_PATH_IMAGE194
，RDDB模块如图5所示，每个密集残差块由3个稠密块组成，特征
Figure 896539DEST_PATH_IMAGE194
经过
Figure 128937DEST_PATH_IMAGE192
的卷积层并与特征
Figure 824885DEST_PATH_IMAGE193
进行相加，得到特征
Figure 713207DEST_PATH_IMAGE195
，使用最近邻上采样将特征
Figure 579401DEST_PATH_IMAGE195
进行4倍放大，最后经过2个
Figure 869568DEST_PATH_IMAGE192
的卷积层得到最终的输出，其中，RDDB模块中的卷积层卷积核尺寸为
Figure 280957DEST_PATH_IMAGE192
。边缘提取网络
Figure 640263DEST_PATH_IMAGE196
为DexiNed（边缘提取稠密网络），用于提取
Figure 795301DEST_PATH_IMAGE197
与
Figure 736712DEST_PATH_IMAGE198
的边缘信息，防止重建图像中出现错误的纹理信息，并能够对图像的纹理、细节信息进行有效表达。退化网络
Figure 302692DEST_PATH_IMAGE199
的结构如图6所示，卷积层的卷积核尺寸为
Figure 900026DEST_PATH_IMAGE192
，池化层为最大池化，步长为2，残差块如图2所示，退化网络中包含20个残差块。退化判别网络
Figure 858755DEST_PATH_IMAGE200
、边缘判别网络
Figure 110132DEST_PATH_IMAGE201
的网络结构如图3所示。
在一个实施例中，步骤S365中根据伪图像重建损失、边缘保留损失、退化一致性损失和重建图像的对抗损失得到第二损失值，具体为：
Figure 863325DEST_PATH_IMAGE202
其中，
Figure 10272DEST_PATH_IMAGE141
Figure 490801DEST_PATH_IMAGE203
Figure 344488DEST_PATH_IMAGE204
Figure 268581DEST_PATH_IMAGE205
其中，
Figure 152093DEST_PATH_IMAGE145
为预设的第二损失函数的权重参数，
Figure 187045DEST_PATH_IMAGE146
，
Figure 895238DEST_PATH_IMAGE147
为伪超分辨率图像，
Figure 505079DEST_PATH_IMAGE148
为高空间分辨率图像，
Figure 361040DEST_PATH_IMAGE149
为第八图像的边缘信息，
Figure 934104DEST_PATH_IMAGE150
为第七图像
Figure 14580DEST_PATH_IMAGE151
的边缘信息，
Figure 546055DEST_PATH_IMAGE152
为低空间分辨率图像，
Figure 826995DEST_PATH_IMAGE153
为退化图像，
Figure 718596DEST_PATH_IMAGE154
为伪图像重建损失，
Figure 463699DEST_PATH_IMAGE155
为退化一致性损失，
Figure 103758DEST_PATH_IMAGE156
为边缘保留损失，
Figure 918000DEST_PATH_IMAGE157
为重建图像的对抗损失，
Figure 832866DEST_PATH_IMAGE158
为超分辨率重建网络，
Figure 698054DEST_PATH_IMAGE159
为第三判别网络，
Figure 305753DEST_PATH_IMAGE160
为边缘提取网络，
Figure 607290DEST_PATH_IMAGE161
为退化网络，
Figure 529109DEST_PATH_IMAGE162
为退化判别网络，
Figure 983225DEST_PATH_IMAGE163
为边缘判别网络。
具体地，每一轮迭代后，通过反向传播算法训练超分网络中的
Figure 25741DEST_PATH_IMAGE206
，重复迭代直至迭代次数达到预设的第二迭代次数阈值时判定完成训练。通过退化网络引入退化一致性损失
Figure 830886DEST_PATH_IMAGE207
对解空间进行约束，防止超分网络重建出不真实的目标；通过边缘检测网络提取图像边缘信息，增加边缘保留损失
Figure 556396DEST_PATH_IMAGE208
的约束，可以保留输入图像的边缘、纹理信息，防止超分网络重建结果中出现假纹理。
在训练和测试阶段，本实施中用到的数据集为DOTA数据集（航空图像目标检测的大规模数据集）与RRSSRD数据集（基于参考图像的遥感超分数据集）。从DOTA数据集中挑选出空间分辨率位于0.1m与0.2m之间的图像，作为高空间分辨率图像，共544张。将RRSSRD中的参考图像（空间分辨率为0.6m）作为低空间分辨率图像，共4046张。
本实施中提出的方法与5种方法进行对比，包括双三次插值BICUBIC、ZSSR（Zero-shot Super Resolution，零样本学习超分辨率网络）、ESRGAN（Enhanced Super-Resolution Generative Adversarial Networks，增强型超分辨率生成对抗网络）、DRN（Dual Regression Networks for Single Image Super-Resolution，双回归超分辨率网络）与RRDBNet（Residual in Residual Dense Network，残差密集超分辨率网络）。具体结果如图7、图8所示，图7为某马路的采样图片，图8为某村庄的采样图片，其中(a)为双三次插值BICUBIC方法结果、 (b)为ZSSR方法结果、 (c)为ESRGAN方法结果、 (d)为DRN方法结果 、(e)为RRDBNet方法结果、 (f)本发明方法结果。从重建结果可以看出，本方法的重建的图像更清晰，目标的边缘、纹理信息较为丰富，具有更好的视觉效果。
和现有技术相比，本发明主要具有以下优点：第一，本发明使用不同卫星拍摄的数据进行遥感图像超分辨率重建，不依赖成对匹配的数据集，降低了对特定降质过程的依赖，具有更强的普适性和灵活性；第二，本发明使用感知损失对图像域转换过程进行改进，在学习真实第一网络的同时，保持合成图像的内容与风格不被改变。第三，本发明通过引入了退化一致性损失和边缘保留损失，对超分网络的生成结果解的空间进行了合理约束，使重建图像具有真实的纹理细节，图像内容能更好的被表达。
在一个实施例中，非匹配遥感图像弱监督学习超分辨率重建系统，系统包括：
循环生成对抗网络训练模块，用于输入高空间分辨率图像和与高空间分辨率图像不匹配成对的低空间分辨率图像，对预设的循环生成对抗网络进行训练，得到训练后的循环生成对抗网络，结合预设的第一损失函数对训练后的循环生成对抗网络进行反向传播，更新训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络；
伪图像生成模块，用于对高空间分辨率图像利用双三次插值下采样后输入至训练好的循环生成对抗网络中的第一网络，生成与高空间分辨率图像匹配的第一伪图像；
超分网络训练模块，用于根据与高空间分辨率图像不匹配成对的低空间分辨率图像、第一伪图像和高空间分辨率图像对预设的超分网络进行训练，得到训练后的超分网络，结合预设的第二损失函数对训练后的超分网络进行反向传播，更新训练后的超分网络的网络参数并累计第二迭代次数，当第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络；
超分辨率图像生成模块，用于获取低空间分辨率测试图像，将低空间分辨率测试图像输入至训练好的超分网络中的超分辨率重建网络，得到重建后的超分辨率图像。
关于非匹配遥感图像弱监督学习超分辨率重建系统的具体限定可以参见上文中对于非匹配遥感图像弱监督学习超分辨率重建方法的限定，在此不再赘述。上述非匹配遥感图像弱监督学习超分辨率重建系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现非匹配遥感图像弱监督学习超分辨率重建方法的步骤。
在一个实施例中，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现非匹配遥感图像弱监督学习超分辨率重建方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上对本发明所提供的一种非匹配遥感图像弱监督学习超分辨率重建及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.非匹配遥感图像弱监督学习超分辨率重建方法，其特征在于，所述方法包括以下步骤：
步骤S100：输入高空间分辨率图像和与所述高空间分辨率图像不匹配成对的低空间分辨率图像，对预设的循环生成对抗网络进行训练，得到训练后的循环生成对抗网络，结合预设的第一损失函数对所述训练后的循环生成对抗网络进行反向传播，更新所述训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当所述第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络；
步骤S200：对所述高空间分辨率图像利用双三次插值下采样后输入至所述训练好的循环生成对抗网络中的第一网络，生成与所述高空间分辨率图像匹配的第一伪图像；
步骤S300：根据与所述高空间分辨率图像不匹配成对的低空间分辨率图像、所述第一伪图像和所述高空间分辨率图像对预设的超分网络进行训练，得到训练后的超分网络，结合预设的第二损失函数对训练后的超分网络进行反向传播，更新所述训练后的超分网络的网络参数并累计第二迭代次数，当所述第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络；
步骤S400：获取低空间分辨率测试图像，将所述低空间分辨率测试图像输入至所述训练好的超分网络中的超分辨率重建网络，得到重建后的超分辨率图像；
预设的超分网络包括超分辨率重建网络
Figure 241322DEST_PATH_IMAGE001
、第三判别网络
Figure 382584DEST_PATH_IMAGE002
、边缘提取网络
Figure 788158DEST_PATH_IMAGE003
、边缘判别网络
Figure 430491DEST_PATH_IMAGE004
、退化网络
Figure 549495DEST_PATH_IMAGE005
和退化判别网络
Figure 314189DEST_PATH_IMAGE006
，步骤S300包括：
步骤S310：将所述第一伪图像输入至所述超分辨率重建网络
Figure 144741DEST_PATH_IMAGE007
，生成伪超分辨率图像
Figure 200553DEST_PATH_IMAGE008
；
步骤S320：将所述低空间分辨率图像
Figure 534583DEST_PATH_IMAGE009
输入至所述超分辨率重建网络
Figure 470178DEST_PATH_IMAGE007
，生成第七图像
Figure 164857DEST_PATH_IMAGE010
；
步骤S330：将所述第七图像
Figure 883415DEST_PATH_IMAGE011
作为第三负样本，所述高空间分辨率图像
Figure 665426DEST_PATH_IMAGE012
作为第三正样本，训练第三判别网络
Figure 319392DEST_PATH_IMAGE013
；
步骤S340：使用边缘提取网络
Figure 858958DEST_PATH_IMAGE014
提取所述第七图像
Figure 771419DEST_PATH_IMAGE015
的边缘信息
Figure 80041DEST_PATH_IMAGE016
，对所述低空间分辨率图像
Figure 403444DEST_PATH_IMAGE017
进行双三次插值后得到第八图像，根据所述边缘提取网络
Figure 164726DEST_PATH_IMAGE018
提取所述第八图像的边缘信息
Figure 818562DEST_PATH_IMAGE019
，将所述第八图像的边缘信息
Figure 857056DEST_PATH_IMAGE020
作为第四正样本，所述第七图像
Figure 977459DEST_PATH_IMAGE021
的边缘信息
Figure 881830DEST_PATH_IMAGE022
作为第四负样本，训练边缘判别网络
Figure 745880DEST_PATH_IMAGE023
；
步骤S350：所述第七图像
Figure 331890DEST_PATH_IMAGE024
输入至退化网络
Figure 13407DEST_PATH_IMAGE025
得到退化图像
Figure 749281DEST_PATH_IMAGE026
，将所述退化图像
Figure 292389DEST_PATH_IMAGE027
作为第五负样本，所述低空间分辨率图像
Figure 430110DEST_PATH_IMAGE028
作为第五正样本，训练退化判别网络
Figure 282528DEST_PATH_IMAGE029
，得到训练后的超分网络；
步骤S360：根据所述伪超分辨率图像
Figure 82863DEST_PATH_IMAGE030
、所述高空间分辨率图像
Figure 288716DEST_PATH_IMAGE031
、所述第八图像的边缘信息
Figure 671156DEST_PATH_IMAGE032
、所述第七图像
Figure 569842DEST_PATH_IMAGE033
的边缘信息
Figure 93358DEST_PATH_IMAGE034
、所述低空间分辨率图像
Figure 227536DEST_PATH_IMAGE035
和所述退化图像
Figure 339849DEST_PATH_IMAGE036
，结合预设的第二损失函数对训练后的超分网络进行反向传播，更新所述训练后的超分网络的网络参数并累计第二迭代次数，当所述第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络。
2.根据权利要求1所述的方法，其特征在于，预设的循环生成对抗网络包括第一网络
Figure 786267DEST_PATH_IMAGE037
、第二网络
Figure 984030DEST_PATH_IMAGE038
、第一判别器网络
Figure 859582DEST_PATH_IMAGE039
和第二判别器网络
Figure 701767DEST_PATH_IMAGE040
，步骤S100包括：
步骤S110：对高空间分辨率图像
Figure 676677DEST_PATH_IMAGE041
使用双三次插值进行4倍下采样，得到第一图像
Figure 751949DEST_PATH_IMAGE042
；
步骤S120：所述第一图像
Figure 103296DEST_PATH_IMAGE043
经过所述第一网络
Figure 298523DEST_PATH_IMAGE037
得到第二伪图像
Figure 37809DEST_PATH_IMAGE044
，所述第二伪图像
Figure 944585DEST_PATH_IMAGE045
经过所述第二网络
Figure 709409DEST_PATH_IMAGE038
得到第二图像
Figure 916400DEST_PATH_IMAGE046
；
步骤S130：与所述高空间分辨率图像不匹配成对的低空间分辨率图像
Figure 561008DEST_PATH_IMAGE047
经过所述第二网络
Figure 331911DEST_PATH_IMAGE038
得到第三图像
Figure 290640DEST_PATH_IMAGE048
，所述第三图像
Figure 211191DEST_PATH_IMAGE049
经过所述第一网络
Figure 43012DEST_PATH_IMAGE037
得到第四图像
Figure 924381DEST_PATH_IMAGE050
；
步骤S140：与所述高空间分辨率图像不匹配成对的低空间分辨率图像
Figure 280276DEST_PATH_IMAGE051
经过所述第一网络
Figure 196279DEST_PATH_IMAGE037
得到第五图像
Figure 494274DEST_PATH_IMAGE052
，所述第一图像
Figure 190835DEST_PATH_IMAGE053
经过所述第二网络
Figure 225787DEST_PATH_IMAGE054
得到第六图像
Figure 606084DEST_PATH_IMAGE055
；
步骤S150：将所述第二伪图像
Figure 966658DEST_PATH_IMAGE056
作为第一负样本，与所述高空间分辨率图像不匹配成对的低空间分辨率图像
Figure 947252DEST_PATH_IMAGE057
作为第一正样本，训练所述第一判别器网络
Figure 520316DEST_PATH_IMAGE058
；
步骤S160：将所述第三图像
Figure 725426DEST_PATH_IMAGE059
作为第二负样本，所述第一图像
Figure 115956DEST_PATH_IMAGE060
作为第二正样本，训练所述第二判别器网络
Figure 193633DEST_PATH_IMAGE061
，得到训练后的循环生成对抗网络；
步骤S170：根据所述第一图像
Figure 711333DEST_PATH_IMAGE062
、所述第二伪图像
Figure 456435DEST_PATH_IMAGE063
、所述第二图像
Figure 17867DEST_PATH_IMAGE064
、所述第三图像
Figure 160004DEST_PATH_IMAGE065
、所述第四图像
Figure 74870DEST_PATH_IMAGE066
、第五图像
Figure 799113DEST_PATH_IMAGE067
和第六图像
Figure 672391DEST_PATH_IMAGE068
，结合预设的第一损失函数对所述训练后的循环生成对抗网络进行反向传播，更新所述训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当所述第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络。
3.根据权利要求2所述的方法，其特征在于，步骤S170包括：
步骤S171：根据所述第一图像
Figure 600027DEST_PATH_IMAGE069
、所述第二图像
Figure 318584DEST_PATH_IMAGE070
、所述第四图像
Figure 100595DEST_PATH_IMAGE071
和所述低空间分辨率图像
Figure 267745DEST_PATH_IMAGE072
得到循环一致性损失；
步骤S172：根据所述第五图像
Figure 807311DEST_PATH_IMAGE073
、所述低空间分辨率图像
Figure 719772DEST_PATH_IMAGE074
、所述第六图像
Figure 28394DEST_PATH_IMAGE075
和所述第一图像
Figure 853261DEST_PATH_IMAGE076
得到恒等损失；
步骤S173：使用VGG19网络分别对所述第二伪图像
Figure 942440DEST_PATH_IMAGE077
、所述第一图像
Figure 268379DEST_PATH_IMAGE078
、所述第三图像
Figure 805409DEST_PATH_IMAGE079
和所述低空间分辨率图像
Figure 191391DEST_PATH_IMAGE080
进行特征提取，得到第一特征
Figure 830182DEST_PATH_IMAGE081
、第二特征
Figure 772862DEST_PATH_IMAGE082
、第三特征
Figure 56076DEST_PATH_IMAGE083
和第四特征
Figure 737593DEST_PATH_IMAGE084
，根据所述第一特征
Figure 473467DEST_PATH_IMAGE085
、所述第二特征
Figure 455723DEST_PATH_IMAGE086
、所述第三特征
Figure 718077DEST_PATH_IMAGE087
和所述第四特征
Figure 445862DEST_PATH_IMAGE088
得到感知损失；
步骤S174：根据所述低空间分辨率图像
Figure 278820DEST_PATH_IMAGE089
和所述第二伪图像
Figure 15832DEST_PATH_IMAGE090
，结合所述第一判别器网络
Figure 132692DEST_PATH_IMAGE091
得到第一网络
Figure 765799DEST_PATH_IMAGE092
与第一判别器网络
Figure 850167DEST_PATH_IMAGE093
之间的对抗损失；
步骤S175：根据所述第三图像
Figure 187608DEST_PATH_IMAGE094
和所述第一图像
Figure 34341DEST_PATH_IMAGE095
，结合所述第二判别器网络
Figure 244874DEST_PATH_IMAGE096
得到第二网络
Figure 177058DEST_PATH_IMAGE097
与第二判别器网络
Figure 114927DEST_PATH_IMAGE096
之间的对抗损失；
步骤S176：根据所述循环一致性损失、所述恒等损失、所述感知损失、第一网络
Figure 81746DEST_PATH_IMAGE098
与第一判别器网络
Figure 636748DEST_PATH_IMAGE099
之间的对抗损失和第二网络
Figure 446441DEST_PATH_IMAGE100
与第二判别器网络
Figure 797788DEST_PATH_IMAGE101
之间的对抗损失得到第一损失值，根据所述第一损失值对所述训练后的循环生成对抗网络进行反向传播，更新所述训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当所述第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络。
4.根据权利要求3所述的方法，其特征在于，根据所述循环一致性损失、所述恒等损失、所述感知损失、所述第一网络与第一判别器网络之间的对抗损失和所述第二网络与第二判别器网络之间的对抗损失得到第一损失值具体为：
Figure 494480DEST_PATH_IMAGE102
其中，
Figure DEST_PATH_IMAGE103
Figure 499345DEST_PATH_IMAGE104
Figure 406121DEST_PATH_IMAGE105
Figure 138323DEST_PATH_IMAGE106
Figure 204368DEST_PATH_IMAGE107
其中，
Figure 786659DEST_PATH_IMAGE108
为预设的第一损失函数的权重参数，
Figure 259359DEST_PATH_IMAGE109
，
Figure 77143DEST_PATH_IMAGE110
为第一网络，
Figure 873060DEST_PATH_IMAGE111
为第二网络，
Figure 268663DEST_PATH_IMAGE112
为第一判别器网络，
Figure 884452DEST_PATH_IMAGE113
为第二判别器网络，
Figure 505926DEST_PATH_IMAGE114
为第一图像，
Figure 234979DEST_PATH_IMAGE115
为第二伪图像，
Figure 159073DEST_PATH_IMAGE116
为第二图像，
Figure 652371DEST_PATH_IMAGE117
为第三图像，
Figure 687323DEST_PATH_IMAGE118
为第四图像，
Figure 831734DEST_PATH_IMAGE119
为第五图像，
Figure 926729DEST_PATH_IMAGE120
为第六图像，
Figure 641744DEST_PATH_IMAGE121
为第一特征、
Figure 559016DEST_PATH_IMAGE122
为第二特征、
Figure 184032DEST_PATH_IMAGE123
为第三特征和
Figure 574562DEST_PATH_IMAGE124
为第四特征，
Figure 652240DEST_PATH_IMAGE125
为循环一致性损失，
Figure 659686DEST_PATH_IMAGE126
为恒等损失，
Figure 139209DEST_PATH_IMAGE127
为感知损失，
Figure 700640DEST_PATH_IMAGE128
为对抗损失。
5.根据权利要求4所述的方法，其特征在于，步骤S360包括：
步骤S361：根据所述伪超分辨率图像
Figure 344242DEST_PATH_IMAGE129
和所述高空间分辨率图像
Figure 524688DEST_PATH_IMAGE130
得到伪图像重建损失；
步骤S362：根据所述第八图像的边缘信息
Figure 248930DEST_PATH_IMAGE131
和所述第七图像
Figure 122208DEST_PATH_IMAGE132
的边缘信息
Figure 282800DEST_PATH_IMAGE133
得到边缘保留损失；
步骤S363：根据所述低空间分辨率图像
Figure 594833DEST_PATH_IMAGE134
和所述退化图像
Figure 48948DEST_PATH_IMAGE135
得到退化一致性损失；
步骤S364：根据所述高空间分辨率图像
Figure 702914DEST_PATH_IMAGE136
和所述第七图像
Figure 242480DEST_PATH_IMAGE137
得到重建图像的对抗损失；
步骤S365：根据所述伪图像重建损失、所述边缘保留损失、所述退化一致性损失和所述重建图像的对抗损失得到第二损失值，根据所述第二损失值对训练后的超分网络进行反向传播，更新所述训练后的超分网络的网络参数并累计第二迭代次数，当所述第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络。
6.根据权利要求5所述的方法，其特征在于，步骤S365中根据所述伪图像重建损失、所述边缘保留损失、所述退化一致性损失和所述重建图像的对抗损失得到第二损失值，具体为：
Figure 889362DEST_PATH_IMAGE138
其中，
Figure 197984DEST_PATH_IMAGE139
Figure 727579DEST_PATH_IMAGE140
Figure 879074DEST_PATH_IMAGE141
Figure 939434DEST_PATH_IMAGE142
其中，
Figure 243508DEST_PATH_IMAGE143
为预设的第二损失函数的权重参数，
Figure 629490DEST_PATH_IMAGE144
，
Figure 2702DEST_PATH_IMAGE145
为所述伪超分辨率图像，
Figure 866753DEST_PATH_IMAGE146
为所述高空间分辨率图像，
Figure 727130DEST_PATH_IMAGE147
为所述第八图像的边缘信息，
Figure 143068DEST_PATH_IMAGE148
为所述第七图像
Figure 144522DEST_PATH_IMAGE149
的边缘信息，
Figure 687630DEST_PATH_IMAGE150
为所述低空间分辨率图像，
Figure 825350DEST_PATH_IMAGE151
为所述退化图像，
Figure 615452DEST_PATH_IMAGE152
为伪图像重建损失，
Figure 481033DEST_PATH_IMAGE153
为退化一致性损失，
Figure 952466DEST_PATH_IMAGE154
为边缘保留损失，
Figure 69326DEST_PATH_IMAGE155
为重建图像的对抗损失，
Figure 781062DEST_PATH_IMAGE156
为超分辨率重建网络，
Figure 491529DEST_PATH_IMAGE157
为第三判别网络，
Figure 891286DEST_PATH_IMAGE158
为边缘提取网络，
Figure 738019DEST_PATH_IMAGE159
为退化网络，
Figure 384770DEST_PATH_IMAGE160
为退化判别网络，
Figure 441588DEST_PATH_IMAGE161
为边缘判别网络。
7.非匹配遥感图像弱监督学习超分辨率重建系统，其特征在于，所述系统包括：
循环生成对抗网络训练模块，用于输入高空间分辨率图像和与所述高空间分辨率图像不匹配成对的低空间分辨率图像，对预设的循环生成对抗网络进行训练，得到训练后的循环生成对抗网络，结合预设的第一损失函数对所述训练后的循环生成对抗网络进行反向传播，更新所述训练后的循环生成对抗网络的网络参数并累计第一迭代次数，当所述第一迭代次数达到预设的第一迭代次数阈值时完成训练，得到训练好的循环生成对抗网络；
伪图像生成模块，用于对所述高空间分辨率图像利用双三次插值下采样后输入至所述训练好的循环生成对抗网络中的第一网络，生成与所述高空间分辨率图像匹配的第一伪图像；
超分网络训练模块，用于根据所述与所述高空间分辨率图像不匹配成对的低空间分辨率图像、所述第一伪图像和所述高空间分辨率图像对预设的超分网络进行训练，得到训练后的超分网络，结合预设的第二损失函数对训练后的超分网络进行反向传播，更新所述训练后的超分网络的网络参数并累计第二迭代次数，当所述第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络；
超分辨率图像生成模块，用于获取低空间分辨率测试图像，将所述低空间分辨率测试图像输入至所述训练好的超分网络中的超分辨率重建网络，得到重建后的超分辨率图像；
预设的超分网络包括超分辨率重建网络
Figure 254823DEST_PATH_IMAGE001
、第三判别网络
Figure 97008DEST_PATH_IMAGE002
、边缘提取网络
Figure 337497DEST_PATH_IMAGE003
、边缘判别网络
Figure 881610DEST_PATH_IMAGE004
、退化网络
Figure 232957DEST_PATH_IMAGE005
和退化判别网络
Figure 634376DEST_PATH_IMAGE006
，超分网络训练模块包括：
将所述第一伪图像输入至所述超分辨率重建网络
Figure 170400DEST_PATH_IMAGE007
，生成伪超分辨率图像
Figure 77176DEST_PATH_IMAGE008
；
将所述低空间分辨率图像
Figure 373159DEST_PATH_IMAGE009
输入至所述超分辨率重建网络
Figure 48991DEST_PATH_IMAGE007
，生成第七图像
Figure 755916DEST_PATH_IMAGE010
；
将所述第七图像
Figure 727152DEST_PATH_IMAGE011
作为第三负样本，所述高空间分辨率图像
Figure 420301DEST_PATH_IMAGE012
作为第三正样本，训练第三判别网络
Figure 340853DEST_PATH_IMAGE013
；
使用边缘提取网络
Figure 94045DEST_PATH_IMAGE014
提取所述第七图像
Figure 850780DEST_PATH_IMAGE015
的边缘信息
Figure 675516DEST_PATH_IMAGE016
，对所述低空间分辨率图像
Figure 325941DEST_PATH_IMAGE017
进行双三次插值后得到第八图像，根据所述边缘提取网络
Figure 638584DEST_PATH_IMAGE018
提取所述第八图像的边缘信息
Figure 7248DEST_PATH_IMAGE019
，将所述第八图像的边缘信息
Figure 166834DEST_PATH_IMAGE020
作为第四正样本，所述第七图像
Figure 937344DEST_PATH_IMAGE021
的边缘信息
Figure 907705DEST_PATH_IMAGE022
作为第四负样本，训练边缘判别网络
Figure 825983DEST_PATH_IMAGE023
；
所述第七图像
Figure 664626DEST_PATH_IMAGE024
输入至退化网络
Figure 663544DEST_PATH_IMAGE025
得到退化图像
Figure 195019DEST_PATH_IMAGE026
，将所述退化图像
Figure 600593DEST_PATH_IMAGE027
作为第五负样本，所述低空间分辨率图像
Figure 852714DEST_PATH_IMAGE028
作为第五正样本，训练退化判别网络
Figure 597816DEST_PATH_IMAGE029
，得到训练后的超分网络；
根据所述伪超分辨率图像
Figure 159247DEST_PATH_IMAGE030
、所述高空间分辨率图像
Figure 724221DEST_PATH_IMAGE031
、所述第八图像的边缘信息
Figure 484760DEST_PATH_IMAGE032
、所述第七图像
Figure 943423DEST_PATH_IMAGE033
的边缘信息
Figure 551122DEST_PATH_IMAGE034
、所述低空间分辨率图像
Figure 478757DEST_PATH_IMAGE035
和所述退化图像
Figure 728473DEST_PATH_IMAGE036
，结合预设的第二损失函数对训练后的超分网络进行反向传播，更新所述训练后的超分网络的网络参数并累计第二迭代次数，当所述第二迭代次数达到预设的第二迭代次数阈值时完成训练，得到训练好的超分网络。
8.计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111195140.5A 2021-10-14 2021-10-14 非匹配遥感图像弱监督学习超分辨率重建方法及系统 Active CN113643183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111195140.5A CN113643183B (zh) 2021-10-14 2021-10-14 非匹配遥感图像弱监督学习超分辨率重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111195140.5A CN113643183B (zh) 2021-10-14 2021-10-14 非匹配遥感图像弱监督学习超分辨率重建方法及系统

Publications (2)

Publication Number Publication Date
CN113643183A CN113643183A (zh) 2021-11-12
CN113643183B true CN113643183B (zh) 2021-12-21

Family

ID=78426749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111195140.5A Active CN113643183B (zh) 2021-10-14 2021-10-14 非匹配遥感图像弱监督学习超分辨率重建方法及系统

Country Status (1)

Country Link
CN (1) CN113643183B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170399A (zh) * 2022-09-08 2022-10-11 中国人民解放军国防科技大学 多目标场景图像分辨率提升方法、装置、设备和介质
CN115936985A (zh) * 2022-12-01 2023-04-07 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859107A (zh) * 2019-02-12 2019-06-07 广东工业大学 遥感图像超分辨率方法、装置、设备及可读存储介质
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN111179172A (zh) * 2019-12-24 2020-05-19 浙江大学 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
CN113284046A (zh) * 2021-05-26 2021-08-20 中国电子科技集团公司第五十四研究所 基于无高分辨率参考图的遥感图像增强和复原方法及网络

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3739521A1 (en) * 2019-05-14 2020-11-18 Robert Bosch GmbH Training system for training a generator neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859107A (zh) * 2019-02-12 2019-06-07 广东工业大学 遥感图像超分辨率方法、装置、设备及可读存储介质
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN111179172A (zh) * 2019-12-24 2020-05-19 浙江大学 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN113284046A (zh) * 2021-05-26 2021-08-20 中国电子科技集团公司第五十四研究所 基于无高分辨率参考图的遥感图像增强和复原方法及网络

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Vehicle detection in remote sensing images leveraging on simultaneous super-resolution》;Ji, Hong, et al;《IEEE Geoscience and Remote Sensing Letters 17.4》;20190808;676-680 *
《基于深度学习的图像超分辨率重建算法研究》;袁飘逸;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20210115(第1期);摘要、正文第1-59页 *
袁飘逸.《基于深度学习的图像超分辨率重建算法研究》.《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》.2021,(第1期), *

Also Published As

Publication number Publication date
CN113643183A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
Jiao et al. Local stereo matching with improved matching cost and disparity refinement
CN113643183B (zh) 非匹配遥感图像弱监督学习超分辨率重建方法及系统
Liu et al. Decoupled spatial-temporal transformer for video inpainting
Kolesnikov et al. PixelCNN models with auxiliary variables for natural image modeling
CN113658051A (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
Fu et al. Edge-aware deep image deblurring
CN112836602B (zh) 基于时空特征融合的行为识别方法、装置、设备及介质
Kasem et al. Spatial transformer generative adversarial network for robust image super-resolution
Zhao et al. ADRN: Attention-based deep residual network for hyperspectral image denoising
Rivadeneira et al. Thermal image super-resolution challenge-pbvs 2021
CN113361489B (zh) 基于解耦表示的人脸正面化模型构建方法和训练方法
Yoa et al. Self-supervised learning for anomaly detection with dynamic local augmentation
Vasluianu et al. Shadow removal with paired and unpaired learning
Yan et al. Unsupervised image noise modeling with self-consistent GAN
Wang et al. Mars image super-resolution based on generative adversarial network
CN114283058A (zh) 基于对抗网络和最大互信息优化的图像超分辨率重建方法
Xu et al. CP3: Unifying point cloud completion by pretrain-prompt-predict paradigm
Liu et al. Facial image inpainting using multi-level generative network
Pajot et al. Unsupervised adversarial image inpainting
Zhang et al. Consecutive context perceive generative adversarial networks for serial sections inpainting
Zhu et al. Progressive Feedback-Enhanced Transformer for Image Forgery Localization
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
Jiang et al. Haze relevant feature attention network for single image dehazing
Li et al. Feature pre-inpainting enhanced transformer for video inpainting
Yang et al. Underwater image restoration for seafloor targets with hybrid attention mechanisms and conditional generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant