CN113344846B - 基于生成对抗网络和压缩感知的遥感图像融合方法及系统 - Google Patents

基于生成对抗网络和压缩感知的遥感图像融合方法及系统 Download PDF

Info

Publication number
CN113344846B
CN113344846B CN202110423800.4A CN202110423800A CN113344846B CN 113344846 B CN113344846 B CN 113344846B CN 202110423800 A CN202110423800 A CN 202110423800A CN 113344846 B CN113344846 B CN 113344846B
Authority
CN
China
Prior art keywords
image
pseudo
hrms
generation
random noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110423800.4A
Other languages
English (en)
Other versions
CN113344846A (zh
Inventor
张凯
李卓林
张风
王安飞
刁文秀
盛志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202110423800.4A priority Critical patent/CN113344846B/zh
Publication of CN113344846A publication Critical patent/CN113344846A/zh
Application granted granted Critical
Publication of CN113344846B publication Critical patent/CN113344846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种基于生成对抗网络和压缩感知的遥感图像融合方法及系统，包括：选择渐进式增长生成对抗网络并随机初始化一组参数作为生成模型，生成一个随机噪声作为生成模型的输入，输出伪高分辨率多光谱图像；输入原始低分辨率多光谱图像和高分辨率全色图像，按照压缩感知理论对伪高分辨率多光谱图像进行退化处理，分别得到伪低分辨率多光谱图像和伪高分辨率全色图像；计算损失函数；对随机噪声与生成模型参数同时进行优化；经过多次优化后得到高质量的高分辨率多光谱图像；所述方案解决现有基于压缩感知理论的遥感图像融合技术中运算速度慢，生成质量低等问题，能够获得准确的空间和光谱信息，可用于目标识别、地物分类和环境监测等遥感领域。

Description

基于生成对抗网络和压缩感知的遥感图像融合方法及系统
技术领域
本公开属于图像处理技术领域，尤其涉及一种基于生成对抗网络和压缩感知的遥感图像融合方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
遥感图像已经被广泛应用于环境监测、矿业和农业等领域。由于遥感卫星传感器硬件的限制，通常只能得到低分辨率多光谱(Low-resolution Multi-Spectral,LRMS)图像和高分辨率全色(Panchromatic,PAN)图像。一般来说，PAN图像的特点是空间分辨率较高而光谱分辨率较低，相反LRMS图像的光谱分辨率很高但空间分辨率较低。图像融合技术可以将空间信息和光谱信息整合，从而得到高分辨率多光谱(High-resolution Multi-Spectral,HRMS)图像。
压缩感知理论于2007年由Terence Tao,Emmanuel Candes,David Donoho等人提出，该理论证明了如果信号是稀疏的，那么它可以由远低于采样定理要求的采样点重建恢复。压缩感知理论已广泛应用于图像重建、图像超分辨等任务中。实际上，我们可以把LRMS图像和PAN图像分别视作HRMS图像在空间分辨率和光谱分辨率下的不完全采样，因此压缩感知理论便可应用于遥感图像融合的任务中。
发明人发现，ShuTao Li等人首先提出了基于压缩感知理论的遥感图像融合方法，该方法以HRMS图像作为元素构建字典，采用稀疏表示的字典元素加权和方法对遥感图像进行融合。随后又提出了可学习的字典构建方法；但是该类方法存在运算速度慢，字典构建难，约束条件强，生成质量低的问题。受到卷积神经网络(Convolutional Neural Network,CNN)在各种计算机视觉任务中取得的巨大成就的启发，基于CNN的一系列压缩感知方法被提出。生成对抗网络(Generative Adversarial Network,GAN)是目前广泛应用的生成模型，将一个输入的随机噪声通过卷积神经网络得到生成的图片。Ashish Bora等人提出的基于生成对抗网络的压缩感知将二者联系起来，在一个训练好的生成对抗网络中，通过对输入的随机噪声进行优化，不断逼近目标，从而实现压缩感知；但是该类方法不必满足信号稀疏这一约束条件，但仍存在收敛速度慢，生成质量低的问题。
发明内容
本公开为了解决上述问题，提供了一种基于生成对抗网络和压缩感知的遥感图像融合方法及系统，解决了现有基于压缩感知理论的遥感图像融合技术中运算速度慢，生成质量低的问题，能够获得高质量的高分辨率多光谱图像。
根据本公开实施例的第一个方面，提供了一种基于生成对抗网络和压缩感知的遥感图像融合方法，包括：
获取待融合的原始LRMS图像和原始PAN图像；
基于生成对抗网络并随机初始化网络参数，作为HRMS图像生成模型；
生成预设长度的随机噪声，输入所述HRMS图像生成模型，获得伪HRMS图像；基于压缩感知理论对所述伪HRMS图像进行分解，获得伪LRMS图像和伪PAN图像；
确定原始图像与伪图像之间的损失函数，以最小化损失为目标对所述随机噪声和网络参数进行若干轮次优化，每轮次优化结束保存生成的伪HRMS图像。
进一步的，所述基于压缩感知理论对所述伪HRMS图像进行分解，获得伪LRMS图像和伪PAN图像，具体包括：基于压缩感知理论对伪HRMS图像进行平均下采样得到伪LRMS图像；基于压缩感知理论对伪HRMS图像进行通道平均加权得到伪PAN图像。
进一步的，所述确定原始图像与伪图像之间的损失函数，具体包括：分别计算伪LRMS图像与原始LRMS图像、伪PAN图像与原始PAN图像之间的平均绝对损失和结构相似性损失；将各损失函数按相应权重相加得到总的损失函数。
根据本公开实施例的第二个方面，提供了一种基于生成对抗网络和压缩感知的遥感图像融合系统，包括：
图像获取单元，其用于获取待融合的原始LRMS图像和原始PAN图像；
模型构建单元，其用于基于生成对抗网络并随机初始化网络参数，作为HRMS图像生成模型；
伪图像生成单元，其用于生成预设长度的随机噪声，输入所述HRMS图像生成模型，获得伪HRMS图像；基于压缩感知理论对所述伪HRMS图像进行分解，获得伪LRMS图像和伪PAN图像；
融合图像生成单元，其用于确定原始图像与伪图像之间的损失函数，以最小化损失为目标对所述随机噪声和网络参数进行若干轮次优化，每轮次优化结束保存生成的伪HRMS图像，全部轮次结束后选择最优的伪HRMS图像作为输出。
根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于生成对抗网络和压缩感知的遥感图像融合方法。
根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于生成对抗网络和压缩感知的遥感图像融合方法。
与现有技术相比，本公开的有益效果是：
(1)本公开所述方案不需要对HRMS图像生成模型进行预训练，只需要对生成模型的参数(即网络参数)初始化后进行有限步优化即可得到高质量的结果，在节省了训练时间的同时，避免了因为缺乏训练数据而无法训练的问题。
(2)本公开所述方案通过对随机噪声和生成模型参数同时进行优化，克服了压缩感知理论中只对随机噪声进行优化，导致生成图像质量不佳的问题。同时对生成模型参数优化大幅度减少了训练的时间。
(3)本公开采用了MAEloss与SSIMloss的混合损失函数，与单一损失函数相比更多的保留了细节和纹理的准确性，减少了图像模糊与色彩失真。
本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例一中所述的遥感图像融合方法流程图；
图2(a)-图2(d)为本公开实施例一中所述的仿真结果对照图(依次为LRMS图像、PAN图像、参考HRMS图像以及本公开所述方案生成HRMS图像)。
具体实施方式
下面结合附图与实施例对本公开做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一：
本实施例的目的是提供一种基于生成对抗网络和压缩感知的遥感图像融合方法。
一种基于生成对抗网络和压缩感知的遥感图像融合方法，包括：
获取待融合的原始LRMS图像和原始PAN图像；
基于生成对抗网络并随机初始化网络参数，作为HRMS图像生成模型；
生成预设长度的随机噪声，输入所述HRMS图像生成模型，获得伪HRMS图像；基于压缩感知理论对所述伪HRMS图像进行分解，获得伪LRMS图像和伪PAN图像；
确定原始图像与伪图像之间的损失函数，以最小化损失为目标对所述随机噪声和网络参数进行若干轮次优化，每轮次优化结束保存生成的伪HRMS图像，全部轮次结束后选择最优的伪HRMS图像作为输出。
其中，所述最优的伪HRMS图像的选择，具体包括：待全部轮次结束后，采用相关系数CC、均方根误差RMSE、全局综合误差指标ERG、光谱弧度SAM、全局质量评估indexQ、整体图像质量指数UIQI作为伪HRMS图像的评价指标，选择评价指标最优的伪HRMS图像作为输出。
为了便于理解，参照图1，对本公开所述方案进行详细说明，具体的，所述方案具体包括如下步骤：
步骤1：搭建生成模型：
选择渐进式增长生成对抗网络PGGAN，并按照均值为0，标准差为0.02的高斯分布随机初始化一组参数θ，得到生成模型Gθ；Gθ输出的图像尺寸设为256×256×4。
步骤2：生成伪HRMS图像：
按照均值为0，标准差为1的高斯分布生成一个长度为512的随机噪声z，作为生成模型Gθ的输入，输出伪HRMS图像Gθ(z)。
步骤3：输入图像：
本公开示例中，采用GeoEye-1卫星于2009年2月在澳大利亚霍巴特地区拍摄的LRMS图像和PAN图像，LRMS图像大小为64×64×4,空间分辨率为8.0米，PAN图像大小为256×256×1，空间分辨率为2.0米。
(3a)输入对应的原始LRMS图像m，按照压缩感知理论对伪HRMS图像进行4倍平均下采样得到伪LRMS图像m′。
(3b)输入原始PAN图像p，按照压缩感知理论对伪HRMS图像进行通道平均加权得到伪PAN图像p′。
步骤4：计算损失函数：
损失函数采用平均绝对损失(MAELoss)和结构相似性损失(SSIMLoss)按相应权重相加的混合损失；
MAE Loss定义为：
Figure BDA0003029000490000061
其中，Xi与Yi表示图像X和Y对应位置的像素值，n表示像素点的个数。
SSIM Loss定义为：
Figure BDA0003029000490000062
其中，uX,uY分别表示图像X和Y的均值，σX,σY分别表示图像X和Y的标准差，σX 2,σY 2分别表示图像X和Y的方差。σXY代表图像X和Y协方差。C1,C2为常数，是为了避免分母为0,通常取C1＝(K1×L)2,C2＝(K2×L)2，一般地K1＝0.01,K2＝0.03,L是像素值的动态范围。
(4a)计算伪LRMS图像m′与原始LRMS图像m的MAE Loss和SSIM Loss。
(4b)计算伪PAN图像p′与原始PAN图像p的MAE Loss和SSIM Loss。
(4c)将各损失函数按相应权重相加得到总的损失函数：
Loss＝0.16×(MAE(m′,m)+0.252×MAE(p′,p))+0.84×(SSIM(m′,m)+0.252×SSIM(p′,p))
其中，MAE Loss与SSIMLoss按照0.16:0.84的比例进行加权，LRMS图像损失函数和PAN图像损失函数按照1:0.252的比例进行加权。
步骤5：训练与优化：
通过Adam优化器对随机噪声z和生成模型参数θ同时进行优化，设置优化轮次为10轮，每轮迭代1000次，每轮次结束后保存生成的伪HRMS图像，全部轮次结束后选择最优结果作为输出。
(5a)固定生成模型参数θ，通过Adam优化器对随机噪声z进行优化，Adam优化器参数设置为lr＝0.001,β1＝0.5,β2＝0.999。
(5b)固定随机噪声z，通过Adam优化器对生成模型参数θ进行优化，Adam优化器参数设置为lr＝0.001,β1＝0.5,β2＝0.999。
(5c)循环(5a)和(5b)，直到循环次数达到预先设定的最大循环次数。
为了证明本公开所述方案的有效性，以下通过具体实验进行了证明：
1.仿真环境：
PyCharm Community Edition 2020.2.3x64,NVIDIA 2080Ti GPU,Ubuntu 16.04。
2.仿真内容：
仿真1，用本公开对GeoEye-1卫星于2009年2月在澳大利亚霍巴特地区拍摄的LRMS图像和PAN图像进行融合，结果如图2(a)-图2(d)所示，其中：
图2(a)是LRMS图像，大小为64×64×4；
图2(b)是PAN图像，大小为256×256×1；
图2(c)是作为参考的HRMS图像，大小为256×256×4；
图2(d)为采用本公开生成的HRMS图像，大小为256×256×4；
由图2(a)-图2(d)可见，图2(d)的空间纹理信息相比于图2(a)有明显提高，道路与建筑物等边缘清晰，与图2(b)相比，图2(d)的光谱信息更加丰富，由此可见，本公开生成的图像质量优秀。
仿真2，为了证明本公开的效果，分别用本公开的方法和现有技术BDSD变换法、AWLP变换法、Indusion变换法、SVT变换法、VPLGC变换法和其他的神经网络方法PNN方法、PanNet方法对图2(a)和图2(b)的待融合图像进行融合，并对融合结果进行客观指标评价，评价指标如下：
1)相关系数CC，表示光谱信息的保留程度，结果在区间[0,1]，越接近1，表示融合结果越好。
2)均方根误差RMSE，表示预测值与真实值偏差的平方与观测次数n比值的平方根，越接近0，表示融合结果越好。
3)全局综合误差指标ERG，在均方根误差RMSE的基础上，考虑融合影像与观测影像之间的尺度关系，结果在区间[0,1],越接近1，表示融合效果越好。
4)光谱弧度SAM，表示光谱的扭曲程度，越接近0，表示融合结果越好。
5)全局质量评估indexQ，表示图像在空间和光谱上的整体相似度，结果在区间[0,1]，越接近1，表示融合效果越好。
6)整体图像质量指数UIQI，表示融合图像与参考图像的接近程度，越接近1，表示融合结果越好。
根据上述评价指标对本公开与现有技术的融合结果从客观评价指标上进行评价，结果如表1。
表1.各类方法融合结果的客观评价
Figure BDA0003029000490000081
由表1可见，本公开的相关系数CC、均方根误差RMSE、全局综合误差指标ERG、光谱弧度SAM、全局质量评估indexQ和整体图像质量指数UIQI均大于现有技术的评价值，由此可以看出本公开的大部分客观评价指标均优于现有技术的客观评价指标。
实施例二：
本实施例的目的是提供一种基于生成对抗网络和压缩感知的遥感图像融合系统。
一种基于生成对抗网络和压缩感知的遥感图像融合系统，包括：
图像获取单元，其用于获取待融合的原始LRMS图像和原始PAN图像；
模型构建单元，其用于基于生成对抗网络并随机初始化网络参数，作为HRMS图像生成模型；
伪图像生成单元，其用于生成预设长度的随机噪声，输入所述HRMS图像生成模型，获得伪HRMS图像；基于压缩感知理论对所述伪HRMS图像进行分解，获得伪LRMS图像和伪PAN图像；
融合图像生成单元，其用于确定原始图像与伪图像之间的损失函数，以最小化损失为目标对所述随机噪声和网络参数进行若干轮次优化，每轮次优化结束保存生成的伪HRMS图像，全部轮次结束后选择最优的伪HRMS图像作为输出。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一中所述的方法。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
上述实施例提供的一种基于生成对抗网络和压缩感知的遥感图像融合方法及系统可以实现，具有广阔的应用前景。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.基于生成对抗网络和压缩感知的遥感图像融合方法，其特征在于，包括：
获取待融合的原始LRMS图像和原始PAN图像；
基于生成对抗网络并随机初始化网络参数，作为HRMS图像生成模型；
生成预设长度的随机噪声，输入所述HRMS图像生成模型，获得伪HRMS图像；基于压缩感知理论对所述伪HRMS图像进行分解，获得伪LRMS图像和伪PAN图像；
确定原始图像与伪图像之间的损失函数，以最小化损失为目标对所述随机噪声和网络参数进行若干轮次优化，每轮次优化结束保存生成的伪HRMS图像；所述优化过程具体包括：固定网络参数，通过Adam优化器对随机噪声进行优化；固定随机噪声，通过Adam优化器对网络参数进行优化；循环执行优化步骤，直到循环次数达到预先设定的最大循环次数；
所述方法通过对随机噪声和生成模型参数同时进行优化，克服了压缩感知理论中只对随机噪声进行优化，导致生成图像质量不佳的问题；同时，采用了MAEloss与SSIMloss的混合损失函数，与单一损失函数相比更多的保留了细节和纹理的准确性，减少了图像模糊与色彩失真。
2.如权利要求1所述的基于生成对抗网络和压缩感知的遥感图像融合方法，其特征在于，所述基于压缩感知理论对所述伪HRMS图像进行分解，获得伪LRMS图像和伪PAN图像，具体包括：基于压缩感知理论对伪HRMS图像进行平均下采样得到伪LRMS图像；基于压缩感知理论对伪HRMS图像进行通道平均加权得到伪PAN图像。
3.如权利要求1所述的基于生成对抗网络和压缩感知的遥感图像融合方法，其特征在于，所述确定原始图像与伪图像之间的损失函数，具体包括：分别计算伪LRMS图像与原始LRMS图像、伪PAN图像与原始PAN图像之间的平均绝对损失和结构相似性损失；将各损失函数按相应权重相加得到总的损失函数。
4.如权利要求3所述的基于生成对抗网络和压缩感知的遥感图像融合方法，其特征在于，所述平均绝对损失定义如下：
Figure FDA0003840989400000021
其中，Xi与Yi表示图像X和Y对应位置的像素值，n表示像素点的个数。
5.如权利要求3所述的基于生成对抗网络和压缩感知的遥感图像融合方法，其特征在于，所述结构相似性损失定义如下：
Figure FDA0003840989400000022
其中，uX,uY分别表示图像X和Y的均值，σX,σY分别表示图像X和Y的标准差，σX 2,σY 2分别表示图像X和Y的方差；σXY代表图像X和Y协方差；C1,C2为常数。
6.如权利要求1所述的基于生成对抗网络和压缩感知的遥感图像融合方法，其特征在于，所述随机噪声采用均值为0，标准差为1的高斯分布生成。
7.基于生成对抗网络和压缩感知的遥感图像融合系统，其特征在于，包括：
图像获取单元，其用于获取待融合的原始LRMS图像和原始PAN图像；
模型构建单元，其用于基于生成对抗网络并随机初始化网络参数，作为HRMS图像生成模型；
伪图像生成单元，其用于生成预设长度的随机噪声，输入所述HRMS图像生成模型，获得伪HRMS图像；基于压缩感知理论对所述伪HRMS图像进行分解，获得伪LRMS图像和伪PAN图像；
融合图像生成单元，其用于确定原始图像与伪图像之间的损失函数，以最小化损失为目标对所述随机噪声和网络参数进行若干轮次优化，每轮次优化结束保存生成的伪HRMS图像，全部轮次结束后选择最优的伪HRMS图像作为输出；所述优化过程具体包括：固定网络参数，通过Adam优化器对随机噪声进行优化；固定随机噪声，通过Adam优化器对网络参数进行优化；循环执行优化步骤，直到循环次数达到预先设定的最大循环次数；
所述系统通过对随机噪声和生成模型参数同时进行优化，克服了压缩感知理论中只对随机噪声进行优化，导致生成图像质量不佳的问题；同时，采用了MAEloss与SSIMloss的混合损失函数，与单一损失函数相比更多的保留了细节和纹理的准确性，减少了图像模糊与色彩失真。
8.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的基于生成对抗网络和压缩感知的遥感图像融合方法。
9.一种非暂态计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6任一项所述的基于生成对抗网络和压缩感知的遥感图像融合方法。
CN202110423800.4A 2021-04-20 2021-04-20 基于生成对抗网络和压缩感知的遥感图像融合方法及系统 Active CN113344846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110423800.4A CN113344846B (zh) 2021-04-20 2021-04-20 基于生成对抗网络和压缩感知的遥感图像融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110423800.4A CN113344846B (zh) 2021-04-20 2021-04-20 基于生成对抗网络和压缩感知的遥感图像融合方法及系统

Publications (2)

Publication Number Publication Date
CN113344846A CN113344846A (zh) 2021-09-03
CN113344846B true CN113344846B (zh) 2023-02-21

Family

ID=77468191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110423800.4A Active CN113344846B (zh) 2021-04-20 2021-04-20 基于生成对抗网络和压缩感知的遥感图像融合方法及系统

Country Status (1)

Country Link
CN (1) CN113344846B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581347B (zh) * 2022-01-24 2024-03-12 中国科学院空天信息创新研究院 无参考影像的光学遥感空谱融合方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542549A (zh) * 2012-01-04 2012-07-04 西安电子科技大学 基于压缩感知的多光谱与全色图像超分辨融合方法
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN110211046A (zh) * 2019-06-03 2019-09-06 重庆邮电大学 一种基于生成对抗网络的遥感图像融合方法、系统和终端
CN110823576A (zh) * 2019-11-18 2020-02-21 苏州大学 基于生成对抗网络的机械异常检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105846927A (zh) * 2016-05-24 2016-08-10 天津工业大学 Ask频带传输对深海走航xctd时变信道传输信号误码率的分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542549A (zh) * 2012-01-04 2012-07-04 西安电子科技大学 基于压缩感知的多光谱与全色图像超分辨融合方法
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN110211046A (zh) * 2019-06-03 2019-09-06 重庆邮电大学 一种基于生成对抗网络的遥感图像融合方法、系统和终端
CN110823576A (zh) * 2019-11-18 2020-02-21 苏州大学 基于生成对抗网络的机械异常检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AMBIENTGAN: GENERATIVE MODELS FROM LOSSY MEASUREMENTS;Ashish Bora et.al;《ICLR 2018》;20181231;第1-22页 *
Pan-GAN: An unsupervised pan-sharpening method for remote sensing image fusion;Jiayi Ma et.al;《Information Fusion》;20200501;第112-115页 *
基于高灵敏度红外系统的微弱目标检测应用研究;朱天佑;《中国优秀博硕士学位论文全文数据库（博士） 信息科技辑》;20210315(第03期);第34、36-37、43-50、112页 *

Also Published As

Publication number Publication date
CN113344846A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN112634137B (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN111932457B (zh) 遥感影像高时空融合处理算法及装置
Shocher et al. “zero-shot” super-resolution using deep internal learning
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN113128134B (zh) 一种矿区生态环境演变驱动因子权重量化分析方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN110660038A (zh) 一种基于生成对抗网络的多光谱图像与全色图像融合方法
CN107423537B (zh) 一种基于自适应阈值的地表温度降尺度的方法
CN112488978A (zh) 基于模糊核估计的多光谱图像融合成像方法及系统
CN111985543A (zh) 一种高光谱图像分类模型的构建方法、分类方法及系统
CN111127573B (zh) 一种基于深度学习的宽谱段高光谱图像重构方法
CN113344846B (zh) 基于生成对抗网络和压缩感知的遥感图像融合方法及系统
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN113570536A (zh) 基于cpu和gpu协同处理的全色和多光谱影像实时融合方法
CN113066037A (zh) 基于图注意力机制的多光谱与全色图像融合方法及系统
CN112288744B (zh) 基于整型推理量化cnn的sar图像变化检测方法
WO2020187029A1 (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
Dong et al. Remote sensing image super-resolution via enhanced back-projection networks
CN114693755B (zh) 多模图像最大矩与空间一致性的非刚性配准方法及系统
CN111047525A (zh) Sar遥感图像到光学遥感图像的翻译方法
CN112446256A (zh) 一种基于深度isa数据融合的植被类型识别方法
CN113838104B (zh) 基于多光谱与多模态图像一致性增强网络的配准方法
CN113887656B (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法
CN113066030B (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant