CN115222636A - 一种基于生成对抗网络的多损失函数的遥感图像融合方法 - Google Patents
一种基于生成对抗网络的多损失函数的遥感图像融合方法 Download PDFInfo
- Publication number
- CN115222636A CN115222636A CN202210841146.3A CN202210841146A CN115222636A CN 115222636 A CN115222636 A CN 115222636A CN 202210841146 A CN202210841146 A CN 202210841146A CN 115222636 A CN115222636 A CN 115222636A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- discriminator
- loss
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 230000003595 spectral effect Effects 0.000 claims abstract description 21
- 238000001228 spectrum Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 238000013441 quality evaluation Methods 0.000 claims description 8
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 24
- 230000000694 effects Effects 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于生成对抗网络的多损失函数的遥感图像融合方法，包括：基于源图像中的全色图和多光谱图，构建数据集；构建生成器网络、空间判别器网络和光谱判别器网络，将所述数据集中的图像输入至所述生成器网络，生成伪图像，基于所述空间判别器网络与光谱判别器网络，判断所述伪图像的相似性；基于最小化损失函数，训练所述生成器网络、空间判别器网络和光谱判别器网络；基于训练后的所述生成器网络，融合所述源图像中的全色图和多光谱图，生成融合图像。本发明的融合效果优于传统融合算法及一般的基于深度学习的融合算法，在全尺寸图像上的表现更好，泛化能力更强，可以高效地进行遥感图像的融合。
Description
技术领域
本发明属于遥感图像融合技术领域，尤其涉及一种基于生成对抗网络的多损失函数的遥感图像融合方法。
背景技术
由于摄像技术的客观限制，卫星上一般会携带两种摄像头，一种用来采集全色图(PAN图)它只含有一个波段的信息，具有较高的空间分辨率，蕴含丰富的细节信息；另一种用来采集多光谱图(MS图)，它覆盖多个波段，具有较高的光谱分辨率，蕴含着丰富的色彩信息。然而，在实际的应用场景中，往往需要图像同时具备较高的空间分辨率和较高的光谱分辨率。而获得这种“全尺寸多光谱”图像的方式是通过遥感图像融合技术。
遥感图像融合是融合图像融合领域的重要分支，广泛应用于农业植被勘察，土地资源检测，水资源保护，以及国防科技建设等重要领域。已有方法可归类为以下三类：
第一类是基于空域的方法：这类方法通常将源图像在空域中进行运算，以构建最终的融合图像。就该方法而言，一个最简单的模型就是加权平均。然而，这种模型通常会导致严重的边界效应，也会由于遥感图像尺寸上存在的差异导致最终的融合图像丢失了源图像中的关键信息。
第二类是基于变化域的方法。这类算法通常包含了三个步骤：图像分解，系数融合和图像重构。多尺度变换(MST)是这类算法中的经典方法，MST有很多常见的变体，如拉普拉斯金字塔，层级金字塔，离散小波变换(DWT)，非下采样轮廓波变化(NSCT)，双树复小波变换(DTCWT)等等。这些方法可以有效改善空域方法中存在的伪影及边界效应等痛点。遗憾的是，这类方法在重构过程中需要人为设定融合规则，而这类融合规则的制定依赖大量的领域知识，极大限制了这类算法的泛化能力。
第三类算法是基于深度学习的方法。近年来，随着深度学习技术的发展，以卷积神经网络为基础的遥感图像融合算法开始逐渐崭露头角。这类算法往往能在基于下采样的训练集上取得良好的效果，并且不依赖人为制定的融合规则。然而，尽管基于卷积神经网络的算法取得了一定的进步，但由于其训练过程是基于下采样的训练集，导致其应用在全尺寸图像上时表现欠佳，丢失了源图像中的部分信息。
因此，亟需提出一种基于生成对抗网络的多损失函数的遥感图像融合方法，改善基于深度学习方法存在的问题。
发明内容
为解决上述技术问题，本发明提出了一种基于生成对抗网络的多损失函数的遥感图像融合方法，是一种能够将全色图像和多光谱图像融合在一起，获得“全色多光谱”图像的融合方法，其融合效果优于传统融合算法及一般的基于深度学习的融合算法，在全尺寸图像上的表现更好，泛化能力更强，可以高效地进行遥感图像的融合。
为实现上述目的，本发明提供了一种基于生成对抗网络的多损失函数的遥感图像融合方法，包括：基于源图像中的全色图和多光谱图，构建数据集；
构建生成器网络、空间判别器网络和光谱判别器网络，将所述数据集中的图像输入至所述生成器网络，生成伪图像，利用所述空间判别器网络和所述光谱判别器网络，验证所述伪图像；
基于最小化损失函数，训练所述生成器网络、空间判别器网络和光谱判别器网络；
基于训练后的所述生成器网络，融合所述源图像中的全色图和多光谱图，生成融合图像。
进一步地，构建所述数据集包括：
采用双三次插值下采样法，对所述源图像中的全色图和多光谱图进行下采样；
将所述源图像中的多光谱图作为标签；
基于采样后的所述全色图和多光谱图以及所述标签，构成所述数据集。
进一步地，所述生成器网络包括：编码器和解码器；所述编码器与解码器连接，
所述编码器用于提取输入图像的语义信息，降低图像的空间尺度，并增大图像的通道数；
所述解码器用于还原图片信息，输出所述伪图像。
进一步地，所述编码器包括：若干下采样模块，每个所述下采样模块堆叠采用一个卷积层和一个批归一化层，并采用ReLU激活函数处理所述批归一化层的输出，其中，基于第一预设数值设置各个卷积核数量。
进一步地，所述解码器包括：若干上采样模块，每个所述上采样模块堆叠采用一个转置卷积层和一个批归一化层，并采用LeakyReLU激活函数处理所述批归一化层的输出，其中，基于第二预设数值设置各个卷积核数量；
若干所述上采样模块与若干所述下采样模块，在通道维度上做联结。
进一步地，所述解码器的尾部还连接有若干个额外的卷积层。
进一步地，利用所述空间判别器网络和所述光谱判别器网络，验证所述伪图像包括：
利用所述空间判别器网络，判断所述伪图像与所述源图像中全色图的相似性；
利用所述光谱判别器，判断所述伪图像与所述源图像中多光谱图的相似性；
基于所述伪图像与所述所述源图像的全部相似性，完成所述伪图像的验证。
进一步地，所述空间判别器网络和光谱判别器网络采用相同的网络结构，均包括若干卷积模块，每个所述卷积模块堆叠采用一个卷积层和一个批归一化层，并采用LeakyReLU激活函数处理所述批归一化层的输出，其中，基于第三预设数值设置各个卷积核数量。
进一步地，所述最小化损失函数包括生成器损失、空间判别器对抗损失、光谱判别器对抗损失；
所述生成器损失包括：内容损失、无参数损失和对抗损失；
所述内容损失的表达式为：
其中，N为数据集中已经配准的图像总数，i为数据集中的图像序号，F表示由生成器生成的伪图像，T表示经由Wald’s protocol得到的金标准；
所述无参数损失的表达式为：
LQ＝1-QNR
其中，QNR为为无参照图像质量评价指标，表达式为：
QNR＝(1-Dλ)(1-Ds)
其中，QNR表示(1-Dλ)与(1-Ds)两项的乘积，Dλ为谱失真评价指标；Ds为空间质量评价指标，i与j为两个不同的图片序号，K为波段数，M与P分别为多光谱图像与全色图像，Q(x,y)为图像质量评价公式，σxy为输入图像的协方差，
与
代表输入图像的均值，
与
代表输入图像的方差；
所述对抗损失的表达式为：
其中，D1和D2分别代表空间判别器和光谱判别器；
所述空间判别器对抗损失的表达式为：
其中，
为伪图像F各个通道的均值；
所述光谱判别器对抗损失的表达式为：
其中，
为伪图像F经过下采样后得到的图像。
与现有技术相比，本发明具有如下优点和技术效果：
1.本发明通过一种生成对抗网络的新型遥感图像融合算法获得了更为清晰的融合图像；
2.本发明设计了一种用融合的生成器网络结构，无需人工设计融合规则；
3.本发明设计了判别器网络组，提升融合图像在全尺寸图像上的表现；
4.本发明能够较好地处理遥感图像，可以在一定程度上克服卫星摄像技术的限制，所得到的融合图像能够同时具备较高的空间分辨率和光谱分辨率。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的一种基于生成对抗网络的多损失函数的遥感图像融合方法流程示意图；
图2为本发明实施例的生成器网络的结构示意图；
图3为本发明实施例的判别器网络的结构示意图；
图4为本发明实施例的全色图PAN示意图；
图5为本发明实施例的多光谱图MS示意图；
图6为本发明实施例中得到的融合图像F示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例
本实施例提供了一种基于生成对抗网络的多损失函数的遥感图像融合方法，包括：
基于源图像中的全色图和多光谱图，构建数据集；
构建生成器网络、空间判别器网络和光谱判别器网络，将所述数据集中的图像输入至所述生成器网络，生成伪图像，利用所述空间判别器网络和所述光谱判别器网络，验证所述伪图像；
基于最小化损失函数，训练所述生成器网络、空间判别器网络和光谱判别器网络；
基于训练后的所述生成器网络，融合所述源图像中的全色图和多光谱图，生成融合图像。
进一步地，构建所述数据集包括：
采用双三次插值下采样法，对所述源图像中的全色图和多光谱图进行下采样；
将所述源图像中的多光谱图作为标签；
基于采样后的所述全色图和多光谱图以及所述标签，构成所述数据集。
进一步地，所述生成器网络包括：编码器和解码器；所述编码器与解码器连接，
所述编码器用于提取输入图像的语义信息，降低图像的空间尺度，并增大图像的通道数；
所述解码器用于还原图片信息，输出所述伪图像。
进一步地，所述编码器包括：若干下采样模块，每个所述下采样模块堆叠采用一个卷积层和一个批归一化层，并采用ReLU激活函数处理所述批归一化层的输出，其中，基于第一预设数值设置各个卷积核数量。
进一步地，所述解码器包括：若干上采样模块，每个所述上采样模块堆叠采用一个转置卷积层和一个批归一化层，并采用LeakyReLU激活函数处理所述批归一化层的输出，其中，基于第二预设数值设置各个卷积核数量；
若干所述上采样模块与若干所述下采样模块，在通道维度上做联结。
进一步地，所述解码器的尾部还连接有若干个额外的卷积层。
进一步地，利用所述空间判别器网络和所述光谱判别器网络，验证所述伪图像包括：
利用所述空间判别器网络，判断所述伪图像与所述源图像中全色图的相似性；
利用所述光谱判别器，判断所述伪图像与所述源图像中多光谱图的相似性；
基于所述伪图像与所述所述源图像的全部相似性，完成所述伪图像的验证。
进一步地，所述空间判别器网络和光谱判别器网络采用相同的网络结构，均包括若干卷积模块，每个所述卷积模块堆叠采用一个卷积层和一个批归一化层，并采用LeakyReLU激活函数处理所述批归一化层的输出，其中，基于第三预设数值设置各个卷积核数量。
本实施例中，基于生成对抗网络的多损失函数的遥感图像融合方法，所采用的技术方案包括如下步骤：如图1所示；
步骤1，参照Wald’s protocol，采用双三次插值下采样(Bicubic interpolationdownsample)来处理源图像中的全色图PAN(如图4所示)和多光谱图MS(如图5所示)，并将原始MS图作为金标准T(即标签)，得到训练集{P,M|T}.即：
MS——→T
其中，P为下采样后的PAN图，M为下采样后的MS图，T为源图像中的MS图，用来作为训练的金标准。该金标准将用来衡量生成器网络生成的伪图像的质量。
步骤2，构建生成器网络G(如图2所示)。其构建过程如下：
网络以UNet为骨干网络，主要分为编码器和解码器两个部分。编码器用来提取输入图像的语义信息，并通过卷积层的堆叠不断降低图像的空间尺度，并增大图像的通道数，以扩大模型整体的感受野，丰富单位空间内的语义信息；解码器用来还原图片信息，通过堆叠转置卷积层，使输出尽可能地逼近金标准。
具体而言，在编码器中，包含了4个下采样模块，每个下采样模块堆叠使用一个卷积层和一个批归一化层，并选用ReLU激活函数处理批归一化层的输出。各个卷积核数量分别为64，128，256，512。卷积核的大小设计为4*4，步长为2。图像经过一个下采样模块后，空间尺寸将变为原来的1/2，而通道数将变更为该层卷积核的数量。
而在解码器中，卷积层包含了4个上采样模块，每个上采样模块堆叠使用一个转置卷积层和一个批归一化层，并选用LeakyReLU激活函数处理批归一化层的输出，LeakyReLU的斜率设置为0.2。各个卷积核数量分别为512，1024，512，256。卷积核的大小设计为4*4，步长为2。与编码器不同的是，在解码器中，第i层除了要接受第i-1层的输入外，还需要接受编码器中第n-i层的输出。二者在通道维度上做联结，共同作为第i层解码器的输入。这样的操作是为了保证编码器中浅层网络的语义信息能够在解码器的深层网络中得到最大程度的保留。图像经过上采样模块后，空间尺寸将变为原来的2倍，而通道数将变更为该层卷积核的数量。
此外，生成器网络尾部还连接了4个额外的卷积层，卷积核数分别为128，64，32，4。其中第1个卷积层的卷积核为3*3，其余各层为1*1。各层步长都为1。整个图像在经过各层后，空间尺寸保持不变，通道数逐步递减为该层的卷积核数。4个额外的卷积层能够使得图像通道数平缓递减，并进一步增强融合效果。
在训练过程中，整个生成器以P，M作为网络输入，经前向传播后得到伪图像F，并通过对抗训练逐步优化网络参数，使得伪图像F能够逼近金标准T。形式上，生成伪图像F的公式如下：
F＝G(P,M)
生成的伪图像F将以金标准T作为参照，用来进行生成器网络参数的优化。
步骤3，在构造了生成器网络G之后，再来构建空域判别器网络D1和光谱判别器网络D2。如图3所示，空域判别器网络D1和光谱判别器网络D2采用相同的架构。空域判别器网络D1以伪图像F各个通道的均值
作为输入，判断
与P的空间相似性SimP，即：
另一方面，光谱判别器网络D2以伪图像F经过下采样后得到的图像
作为输入，判断
与M的光谱相似性SimM。
两个网络的构建过程如下：
网络采用全卷积结构，共4层，每层堆叠使用一个卷积层和一个批归一化层，选用LeakyReLU激活函数处理批归一化层的输出，LeakyReLU的斜率设置为0.2。各个卷积核数量分别为64，128，256，512。卷积核的大小设计为4*4，步长为2。不同的是，对于空间判别器网络D1而言，需要将伪图像F沿通道取平均值，得到单通的图像输入。并且，D1需要判别网络输出与P之间的相似度。而对于光谱判别器网络D2而言，不需要对伪图像F做额外处理，仅需要判别网络输出与M之间的相似度。空间判别器与光谱判别器能够通过对抗训练影响生成器伪图像的生成效果。理论上，在达到纳什均衡后，空间判别器与光谱判别器将无法区别伪图像F与全色图P和多光谱图M之间的差别，即生成器生成的伪图像F在空域上与全色图P无区别，在光谱上与多光谱图M无区别。
步骤4，最小化损失函数。损失函数主要包括生成器损失LG，空间判别器对抗损失
光谱判别器对抗损失
其中，生成器损失LG公式如下：
具体而言，生成器损失LG公式中的第一项Lcon为内容损失，公式如下：
其中，N表示数据集中已经配准的图像总数，
生成器损失LG公式中的第二项LQ为无参数损失，公式如下：
LQ＝1-QNR
其中，QNR具体公式如下：
QNR＝(1-Dλ)(1-Ds)
其中，QNR表示(1-Dλ)与(1-Ds)两项的乘积，Dλ为谱失真评价指标；Ds为空间质量评价指标，i与j为两个不同的图片序号，K为波段数，M与P分别为多光谱图像与全色图像，Q(x,y)为图像质量评价公式，σxy为输入图像的协方差，
与
代表输入图像的均值，
与
代表输入图像的方差。
生成器损失LG公式中的第三项
为对抗损失，公式如下：
判别器的损失为Wasserstein损失，具体而言：
空间判别器对抗损失
公式如下：
光谱判别器对抗损失
公式如下：
在训练过程中，需要交替优化生成器损失LG与判别器损失
以达到对抗训练的目的。在训练过程中，选用Adam优化器交替优化生成器损失LG与判别器损失
Adam优化器超参数β1和β2两个超参数分别设置为0.9和0.999。最终，网络会收敛到纳什均衡点，得到最优的生成器参数G*。
步骤5，在得到了最优的生成器网络参数G*后，可以利用该网络在原有的数据集上，生成所需要的融合图像。即：
F＝G*(PAN,MS)
生成器的网络输出F，即为所需要的融合图像(如图6所示)。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，包括：
基于源图像中的全色图和多光谱图，构建数据集；
构建生成器网络、空间判别器网络和光谱判别器网络，将所述数据集中的图像输入至所述生成器网络，生成伪图像，利用所述空间判别器网络和所述光谱判别器网络，验证所述伪图像；
基于最小化损失函数，训练所述生成器网络、空间判别器网络和光谱判别器网络；
基于训练后的所述生成器网络，融合所述源图像中的全色图和多光谱图，生成融合图像。
2.根据权利要求1所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，构建所述数据集包括：
采用双三次插值下采样法，对所述源图像中的全色图和多光谱图进行下采样；
将所述源图像中的多光谱图作为标签；
基于采样后的所述全色图和多光谱图以及所述标签，构成所述数据集。
3.根据权利要求1所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，所述生成器网络包括：编码器和解码器；所述编码器与解码器连接，
所述编码器用于提取输入图像的语义信息，降低图像的空间尺度，并增大图像的通道数；
所述解码器用于还原图片信息，输出所述伪图像。
4.根据权利要求3所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，所述编码器包括：若干下采样模块，每个所述下采样模块堆叠采用一个卷积层和一个批归一化层，并采用ReLU激活函数处理所述批归一化层的输出，其中，基于第一预设数值设置各个卷积核数量。
5.根据权利要求4所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，所述解码器包括：若干上采样模块，每个所述上采样模块堆叠采用一个转置卷积层和一个批归一化层，并采用LeakyReLU激活函数处理所述批归一化层的输出，其中，基于第二预设数值设置各个卷积核数量；
若干所述上采样模块与若干所述下采样模块，在通道维度上做联结。
6.根据权利要求5所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，所述解码器的尾部还连接有若干个额外的卷积层。
7.根据权利要求1所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，
利用所述空间判别器网络和所述光谱判别器网络，验证所述伪图像包括：
利用所述空间判别器网络，判断所述伪图像与所述源图像中全色图的相似性；
利用所述光谱判别器，判断所述伪图像与所述源图像中多光谱图的相似性；
基于所述伪图像与所述所述源图像的全部相似性，完成所述伪图像的验证。
8.根据权利要求1所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，所述空间判别器网络和光谱判别器网络采用相同的网络结构，均包括若干卷积模块，每个所述卷积模块堆叠采用一个卷积层和一个批归一化层，并采用LeakyReLU激活函数处理所述批归一化层的输出，其中，基于第三预设数值设置各个卷积核数量。
9.根据权利要求1所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，所述最小化损失函数包括生成器损失、空间判别器对抗损失、光谱判别器对抗损失；
所述生成器损失包括：内容损失、无参数损失和对抗损失；
所述内容损失的表达式为：
其中，N为数据集中已经配准的图像总数，i为数据集中的图像序号，F表示由生成器生成的伪图像，T表示经由Wald’s protocol得到的金标准；
所述无参数损失的表达式为：
LQ＝1-QNR
其中，QNR为为无参照图像质量评价指标，表达式为：
QNR＝(1-Dλ)(1-Ds)
其中，QNR表示(1-Dλ)与(1-Ds)两项的乘积，Dλ为谱失真评价指标；Ds为空间质量评价指标，i与j为两个不同的图片序号，K为波段数，M与P分别为多光谱图像与全色图像，Q(x,y)为图像质量评价公式，σxy为输入图像的协方差，
与
代表输入图像的均值，
与
代表输入图像的方差；
所述对抗损失的表达式为：
其中，D1和D2分别代表空间判别器和光谱判别器；
所述空间判别器对抗损失的表达式为：
其中，
为伪图像F各个通道的均值；
所述光谱判别器对抗损失的表达式为：
其中，
为伪图像F经过下采样后得到的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210841146.3A CN115222636A (zh) | 2022-07-18 | 2022-07-18 | 一种基于生成对抗网络的多损失函数的遥感图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210841146.3A CN115222636A (zh) | 2022-07-18 | 2022-07-18 | 一种基于生成对抗网络的多损失函数的遥感图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115222636A true CN115222636A (zh) | 2022-10-21 |
Family
ID=83612368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210841146.3A Pending CN115222636A (zh) | 2022-07-18 | 2022-07-18 | 一种基于生成对抗网络的多损失函数的遥感图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115222636A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468645A (zh) * | 2023-06-20 | 2023-07-21 | 吉林大学 | 一种对抗性高光谱多光谱遥感融合方法 |
-
2022
- 2022-07-18 CN CN202210841146.3A patent/CN115222636A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468645A (zh) * | 2023-06-20 | 2023-07-21 | 吉林大学 | 一种对抗性高光谱多光谱遥感融合方法 |
| CN116468645B (zh) * | 2023-06-20 | 2023-09-15 | 吉林大学 | 一种对抗性高光谱多光谱遥感融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| CN112836773B (zh) | 一种基于全局注意力残差网络的高光谱图像分类方法 | |
| CN113763299B (zh) | 一种全色与多光谱图像融合方法、装置及其应用 | |
| CN110188776A (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| CN110363215A (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
| CN108830796A (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN109087375B (zh) | 基于深度学习的图像空洞填充方法 | |
| CN109035267B (zh) | 一种基于深度学习的图像目标抠取方法 | |
| CN112819910A (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN112561799A (zh) | 一种红外图像超分辨率重建方法 | |
| CN113762277B (zh) | 一种基于Cascade-GAN的多波段红外图像融合方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN115511767B (zh) | 一种自监督学习的多模态图像融合方法及其应用 | |
| CN114708455A (zh) | 高光谱影像和LiDAR数据协同分类方法 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN113793289A (zh) | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 | |
| CN116563606A (zh) | 一种基于双分支空谱全局特征提取网络的高光谱图像分类方法 | |
| CN116664435A (zh) | 一种基于多尺度人脸解析图融入的人脸复原方法 | |
| CN115222636A (zh) | 一种基于生成对抗网络的多损失函数的遥感图像融合方法 | |
| CN117576483B (zh) | 基于多尺度卷积自编码器的多源数据融合地物分类方法 | |
| CN117557475A (zh) | 一种两阶段的遥感图像全色锐化方法 | |
| CN117593199A (zh) | 一种基于高斯先验分布自注意力的双流遥感图像融合方法 | |
| CN116433548A (zh) | 一种基于多级信息提取的高光谱与全色图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |