CN110660038B - 一种基于生成对抗网络的多光谱图像与全色图像融合方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的多光谱图像与全色图像融合方法。其步骤包括：首先收集多光谱图像与全色图像数据集，对图像进行配准处理，并将数据集分为训练集与测试集；然后构造特征提取网络，输入为全色图像；其次构造生成对抗网络，利用Wassertein距离进行优化判别器，输入多光谱图像，输出融合的高分辨率多光谱图像，最后训练生成对抗网络，并利用测试集进行测试。尤其是，它不需要额外的处理流程，是一种端对端的实现多光谱图像融合的方法。而且，该方法以大量数据为驱动学习的融合映射关系，对于大部分不同数据集的图像，该方法都能使融合后图像在空间细节信息注入的同时能更好的保持原多光谱图像的光谱信息。

Description

一种基于生成对抗网络的多光谱图像与全色图像融合方法

技术领域

本发明涉及一种遥感图像处理方法，具体涉及一种基于生成对抗网络的图像融合方法。

背景技术

遥感卫星利用光谱传感器能够得到低空间分辨率多光谱图像和高空间分辨率的全色图像，多光谱图像具有较丰富的地物光谱信息，即含有较高的光谱分辨率，但它的空间分辨率较低，即图像含有较少的细节信息，然而，全色图像具有较高的空间分辨率，它能够充分体现地物的位置特征和边缘特征，有利于对地面物体的准确定位，但是其光谱分辨率较低；因此，关于多光谱图像与全色图像融合的研究问题引起了极大的关注；融合后的图像同时具有较高的光谱分辨率和空间分辨率，为更方便、更全面地认识环境和自然资源提供了可能；它常常被应用于测绘,目标检测,植被分类或者地物分类、天气预报及其他遥感数据应用。

传统的方法主要分为四类：基于成分替代的方法、基于多分辨率分析的方法、基于模型法、基于超分辨率的方法；基于成分替代的算法中通常将多光谱图像进行颜色空间的变换，来分离图像的空间和光谱信息，然后使用全色图像实现成分替代，对颜色空间进行逆变换得到最终的融合图像；这类方法通常提供高质量的空间细节，计算效率较高，但它们通常还会在泛锐化中引入光谱失真；常见的基于成分替代的图像融合方法有IHS变换融合方法、Brovey，GS，PCA变换融合方法等；基于多分辨率分析的算法通过对全色图像实现多分辨分层分解得到其空间细节信息，注入到多光谱图像中得到最终的融合图像；这种方法不仅可以准确地从不同尺度的分解图像中提取特征，而且能够减少融合过程中的光晕和混叠伪像，但是需要较高的计算成本；常见的基于多分辨率分析的图像融合方法包括小波变换(ATWT)、拉普拉斯金字塔分解、平滑滤波器强度调制(SFIM)等方法；基于模型的算法首先是通过创建融合图像与全色/多光谱图像之间的关系模型，再对模型进行优化求解获得最终融合后的图像；基于模型的图像融合方法很好的解决了光谱的失真问题，但是模型的求解过程复杂，时间效率低；常见的模型方法包括P+XS算法、稀疏编码算法,基于先验的算法等；其中稀疏编码的方法通过构造高低分辨率字典集，学习到相应的稀疏系数，从而得到最终的融合图像；此种算法虽然能取得较为满意的融合效果，但需要大量的训练图像来生成大规模的字典；从上述方法分析来看，传统方法有框架简单的特点，实现了在一定程度上增强多光谱图像的空间分辨率，然而，往往伴随着严重的光谱失真。

最近，基于深度学习的技术，特别是卷积神经网络(CNN)，已经应用于各种研究领域，并取得了令人满意的表现；尤其使用深度卷积神经网络恢复图像质量的方法得到了成功的应用，促使遥感领域的研究人员将CNN用于多光谱融合问题；通常基于深度学习的方法是通过CNN学习相应的高与低分辨率的映射关系；其中，生成对抗网络是深度学习模型的一种，它的网络结构包括两部分：生成网络和判别网络，它们的互相博弈学习产生相当好的输出，而且它对于解决图像超分辨率的鲁棒性已经被证明。

发明内容

本发明提出了一种基于生成对抗网络的多光谱图像与全色图像融合的方法，目的是缓解传统融合方法中融合规则的局限性，处理的结果存在严重光谱失真的问题。

为了实现上述目的，本发明采用如下技术方案：

首先收集多光谱图像与全色图像数据集，对图像进行配准处理，并将数据集分为训练集与测试集；然后构建特征提取网络与生成对抗网络，利用交替迭代训练的方式训练网络模型，最后利用测试集测试网络，最终获得高分辨率多光谱图像。

本发明的具体步骤为：

步骤1、收集多光谱图像与全色图像数据集，对图像进行配准处理，并将数据集分为训练集与测试集。

上述步骤1具体包括以下步骤：

1.1)选取QuickBird，WorldView-2，WorldView-4，Pleiades-1中的多光谱图像与全色图像作为数据集；

1.2)分别对多光谱图像与全色图像进行配准处理，为了让全色图像和多光谱图像精确配准，以全色图像正射校正结果为多光谱图像正射校正控制点参考源；

1.3)为了缩短训练时间，增大数据集，将多光谱图像与全色图像裁剪成像元大小相差四倍的图像块；

1.4)为了制作成对的数据集，将多光谱图像上采样四倍，原始多光谱图像做为评价的真实参考图像；

1.5)从数据集中划分训练集与测试集。

步骤2、构造特征提取网络，输入为全色图像，网络设计了低频特征提取网络，高频特征提取网络，低频特征提取网络结构采用一个卷积层和一个反子像素层和两个卷积块，每一层卷积块包括一个卷积层和一个ReLU激活层，低频特征提取过程是将低分辨率图像输入到生成网络，然后经过卷积和反向子像素层进行特征处理，最后生成图像结构特征；高频特征提取网络需要大的接收性引导和多尺度特征学习来获得判别性表示；因此，采用四个精细特征提取块进一步提取特征。

步骤3、构建生成器网络，并将特征提取网络的每层输出级联到生成器，输入为低分辨率的多光谱图像和全色图像，输出为高分辨率的多光谱图像。

上述步骤3具体包括以下步骤：

3.1)构建生成器网络，生成器试图将输入多光谱图像变换为地面实况的高空间分辨率图像，生成网络分为三个功能阶段进行构建，包括：特征提取阶段，融合阶段和重建阶段；对于特征提取阶段，采用与特征提取网络前三层相同的结构；融合阶段采用两组精细特征提取块与融合块交替连联，一层融合块组成，其中每个融合块由卷积层+激活层+卷积层，残差跳跃组成；重建阶段由一层卷积层，一层激活层，一层子像素卷积层组成；重建阶段处理的过程，首先将特征图进行非线性映射输出16个像素子通道，然后将每个通道通过线性组合方式生成一个4×4的像素区域，该区域对应于高分辨率图像的像素子块，从而将16×64×64×3的特征图像重建为256×256×3的高分辨率图像；

3.2)将全色图像特征提取网络的每个输出级联到生成器特征提取阶段，促使细节特征的注入多光谱图像。

步骤4、构造判别器网络，判别器鼓励生成器产生更真实的图像，判别器的网络结构使用SRGAN，并通过Wasserstein距离进行优化。

步骤5、训练生成对抗网络，利用测试集进行测试。

上述步骤5具体包括以下步骤：

5.1)采用交替迭代训练的方式训练生成器网络与判别器网络，其中利Wassertein距离去衡量生成数据分布和真实数据分布之间的距离，改进的判别器和生成器的损失函数定义为：

(1)

(2)

其中Y^L为低分辨率图像，Y^H为高分辨率图像，Y^H′为真实高分辨率图像，m为批尺寸，θ为判别器参数，G表示生成器，D表示判别器；

5.2)利用测试数据集测试网络的性能，并利用无参考评价指标与全参考指标主进行评价。

本发明的有益效果：

(1)本发明实现了端对端的多光谱图像与全色图像融合算法，避免引入其他的处理流程，导致运行效率低的问题。

(2)本发明利用数据驱动的生成对抗网络学习多光谱图像与全色图像的融合函数，该方法扩大了适用范围，即对于大部分数据都有效，解决了传统融合模型普适性差的问题。

附图说明

图1是本发明的一种基于多光谱图像与全色图像融合方法的整体流程示意图；

图2是本发明构造的生成对抗网络结构示意图；

图3是本发明在Wordview系列示例图像的融合结果图像；

图4是本发明在QuickBird示例图像的融合结果图像。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1所示，包括以下步骤：

1、收集多光谱图像与全色图像数据集，对图像进行配准处理，并将数据集分为训练集与测试集；

1.1)选取QuickBird，WorldView-2，WorldView-4，Pleiades-1中的多光谱图像与全色图像作为数据集，其中QuickBird卫星捕获的多光谱图像和全色图像的空间分辨率为2.88m和0.72m；WorldView-2卫星提供空间分辨率为2m的8波段多光谱图像和空间分辨率为0.5m的全色图像；WorldView-4提供空间分辨率为1.24m的4波段多光谱图像和空间分辨率为0.3m的全色图像；Pleiades-1卫星提供空间分辨率为2m的4个波段的多光谱图像和空间分辨率为0.5m的全色图像；

1.2)利用ENVI软件分别对多光谱图像与全色图像进行配准处理，为了让全色和多光谱精确配准，对全色图像选择控制点，并指导选取多光谱图像控制点，分别进行正射校正；

1.3)为了缩短训练时间，增大数据集，利用ENVI软件将多光谱图像剪裁大小为的图像块，全色图像在相应位置剪裁大小为的图像块；

1.4)为了制作成对的数据集，将多光谱图像利用二次插值算法上采样四倍，保持与全色图像大小一致，原始多光谱图像做为评价的真实参考图像；

1.5)考虑到不同卫星获得的图像具有不同的特征，我们分别为每个卫星准备网络训练集，每组中的样本由从相应卫星随机抽样的8500个补丁组成，其中6000个补丁用于训练，而其余的2500补丁用于验证模型，每个补丁的大小为256×256，对应全色图像大小为1024×1024；测试图像包含四个波段和八个波段。

2、构造特征提取网络，输入大小为的全色图像，网络结构图见图2，网络设计了低频特征提取网络，高频特征提取网络；低频特征提取网络结构采用一个卷积层和一个反子像素层和两个卷积块；每一层卷积块包括一个卷积核数量为64，大小为的卷积层和一个ReLU激活层，低频特征提取过程是将低分辨率图像输入到生成网络，然后经过卷积和反向子像素层处理进行特征处理，最后生成图像结构特征；高频特征提取网络需要大的接收性引导和多尺度特征学习来获得判别性表示；因此，采用四个精细特征提取块进一步提取特征，构建精细特征提取块模块来预测接收场并提取具有密集像素采样率和比例的分层特征，在每个精细特征提取块内，首先将三个扩张的卷积(扩张率为1,2,4)组合成一个多尺度特征提取组，然后以剩余方式级联三个构成精细特征提取块，精细特征提取块在保持参数个数不变的情况下不仅增大了卷积核的感受野，而且丰富了卷积的多样性，从而形成了具有不同接收区域和扩张率的卷积集合，精细特征提取块学到的高度辨别特征对整体融合结果是有益的。

3、构建生成器网络，并将特征提取网络的每层输出级联到生成器，输入为低分辨率的多光谱图像和全色图像，输出为高分辨率的多光谱图像；

3.1)构建生成器网络，生成器试图将输入多光谱图像变换为地面实况的高空间分辨率图像，如图2所示，生成网络分为三个功能阶段进行构建，包括：特征提取阶段，融合阶段和重建阶段，对于特征提取阶段，采用与特征提取网络前三层相同的结构；融合阶段采用两组精细特征提取块与融合块交替连联，一层融合块组成，其中每个融合块由卷积层+激活层+卷积层，残差跳跃组成；重建阶段由一层卷积层，一层激活层，一层子像素卷积层组成；重建阶段处理的过程，首先将特征图进行非线性映射输出16个像素子通道，然后将每个通道通过线性组合方式生成一个4×4的像素区域，该区域对应于高分辨率图像的像素子块，从而将16×64×64×3的特征图像重建为256×256×3的高分辨率图像；

3.2)将全色图像特征提取网络的输出级联到生成器特征提取阶段，促使细节特征的注入多光谱图像。

4、构造判别器网络，判别器鼓励生成器产生更真实的图像，判别器的网络结构使用SRGAN，并通过Wasserstein距离进行优化；生成器的输出图像与对应真实图像经过判别器网络后会得到一个介于0-1之间的输出，0表示融合图像效果并不理想，不是真实高分辨率图像，1则相反。

5、训练生成对抗网络，利用测试集进行测试；

5.1)采用交替迭代训练的方式训练生成器网络与判别器网络，其中利用Wassertein距离去衡量生成数据分布和真实数据分布之间的距离，改进的判别器和生成器的损失函数定义为：

(1)

(2)

其中Y^L为低分辨率图像，Y^H为高分辨率图像，Y^H′为真实高分辨率图像，m为批尺寸，θ为判别器参数，G表示生成器，D表示判别器；具体的网络参数设置如下：网络框架设计采用tensorflow，所有网络模型都采用小批量SGD进行训练并应用RMSProp求解器，因为RMSProp即使在高度非平稳的问题上也表现良好。对于学习率，采用分段常数衰减策略。它是在事先定义好的训练次数区间上，设置不同的学习率常数。训练所有模型，对于前20个时期的学习率为0.0001，并在接下来的20个时期内，将学习率线性衰减为0，以确保收敛；

5.2)利用测试数据集测试网络的性能，并利用无参考评价指标与全参考指标主进行评价，部分测试结果见图3，图4。

图3表示WorldView数据集中示例图像的处理结果，图3(a)为低分辨率多光谱图像，图3(b)为全色图像，3(c)为本发明的处理结果；图4表示QuickBird数据集中示例图像的处理结果，图4(a)为低分辨率多光谱图像，4(b)为全色图像，4(c)为本发明的处理结果；从3-4图的结果可以看出，本发明具有普适性，结果图像较好的保持了光谱和细节信息。

综上，本发明公开了一种基于生成对抗网络的多光谱图像与全色图像融合方法，特别是，它不需要额外的处理流程，是一种端对端的实现多光谱图像融合的方法，而且，该方法以大量数据为驱动学习的融合映射关系，对于大部分不同类别图像，该方法都能使融合后图像在空间细节信息注入的同时能更好的保持原图像的光谱信息，上述虽然结合附图对本发明的具体实施方式进行了详细的描述，但并不是限制了本发明的保护范围，所属领域技术人员应该明白，在本发明描述的技术范围内，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (3)

1.一种基于生成对抗网络的多光谱图像与全色图像融合方法，其特征是，主要包含以下几个步骤：

步骤1、收集多光谱图像与全色图像数据集，对图像进行配准处理，并将数据集分为训练集与测试集；

步骤2、构造特征提取网络，输入为全色图像；

步骤3、构造生成器网络，并将特征提取网络的输出级联到生成器，输入为多光谱图像；

步骤4、构造判别器网络，利用Wassertein距离进行优化；

步骤5、训练生成对抗网络，利用测试集进行测试；

所述步骤1)收集多光谱图像与全色图像数据集，对图像进行配准处理，并将数据集分为训练集与测试集，分为以下几个步骤：

2.1)选取QuickBird，WorldView-2，WorldView-4，Pleiades-1中的多光谱图像与全色图像作为数据集，其中QuickBird卫星捕获的多光谱图像和全色图像的空间分辨率为2.88m和0.72m；WorldView-2卫星提供空间分辨率为2m的8波段多光谱图像和空间分辨率为0.5m的全色图像；WorldView-4提供空间分辨率为1.24m的4波段多光谱图像和空间分辨率为0.3m的全色图像；Pleiades-1卫星提供空间分辨率为2m的4个波段的多光谱图像和空间分辨率为0.5m的全色图像；

2.2)利用ENVI软件分别对多光谱图像与全色图像进行配准处理，为了让全色图像和多光谱图像精确配准，对全色图像选择控制点，并指导选取多光谱图像控制点，分别进行正射校正；

2.3)为了缩短训练时间，增大数据集，利用ENVI软件将多光谱图像剪裁大小为的图像块，全色图像在相应位置剪裁大小为256×256的图像块；

2.4)为了制作成对的数据集，将多光谱图像利用二次插值算法上采样四倍，保持与全色图像大小一致，原始多光谱图像作为评价的真实参考图像；

2.5)考虑到不同卫星获得的图像具有不同的特征，分别为每个卫星准备网络训练集；每组中的样本由从相应卫星随机抽样的8500个补丁组成，其中6000个补丁用于训练，而其余的2500补丁用于验证模型，每个补丁的大小为256×256，对应全色图像大小为1024×1024；测试图像包含四个波段和八个波段；

所述步骤2)构造特征提取网络，输入为全色图像；构造特征提取网络，输入大小为256×256的全色图像，网络设计了低频特征提取网络，高频特征提取网络，低频特征提取网络结构采用一个卷积层和一个反子像素层和两个卷积块，每一层卷积块包括一个卷积核数量为64，大小为7×7的卷积层和一个ReLU激活层，低频特征提取过程是将低分辨率图像输入到生成网络，然后经过卷积和反向子像素层处理进行特征处理，最后生成图像结构特征；高频特征提取网络需要大的接收性引导和多尺度特征学习来获得判别性表示；因此，采用四个精细特征提取块进一步提取特征，构建精细特征提取块模块来预测接收场并提取具有密集像素采样率和比例的分层特征，在每个精细特征提取块内，首先将三个扩张的3×3卷积组合成一个多尺度特征提取组，其中扩张率为1，2，4，然后以剩余方式级联三个构成精细特征提取块，精细特征提取块在保持参数个数不变的情况下不仅增大了卷积核的感受野，而且丰富了卷积的多样性，从而形成了具有不同接收区域和扩张率的卷积集合，精细特征提取块学到的高度辨别特征对整体融合结果是有益的。

2.如权利要求1所述的一种基于生成对抗网络的多光谱图像与全色图像融合方法，其特征是，所述步骤3)构造生成器网络，并将特征提取网络的输出级联到生成器，输入是多光谱图像，为以下几个步骤：

4.1)构建生成器网络，生成器试图将输入多光谱图像变换为于地面实况的高空间分辨率图像，生成网络分为三个功能阶段进行构建，包括：特征提取阶段，融合阶段和重建阶段；对于特征提取阶段，采用与特征提取网络前三层相同的结构；融合阶段采用两组精细特征提取块与融合块交替连联，一层融合块组成，其中每个融合块由卷积层+激活层+卷积层，残差跳跃组成；重建阶段由一层卷积层，一层激活层，一层子卷积层组成；重建阶段处理的过程，首先将特征图进行非线性映射输出16个像素子通道，然后将每个通道通过线性组合方式生成一个4×4的像素区域；该区域对应于高分辨率图像的像素子块，从而将16×64×64×3的特征图像重建为256×256×3的高分辨率图像；

4.2)将全色图像特征提取网络的输出级联到生成器特征提取阶段，促使细节特征的注入多光谱图像。

3.如权利要求1所述的一种基于生成对抗网络的多光谱图像与全色图像融合方法，其特征是，所述步骤4)构造判别器，利用Wassertein距离进行优化，分为以下几个步骤：

5.1)采用交替迭代训练的方式训练生成器网络与判别器网络，其中利用Wassertein距离去衡量生成数据分布和真实数据分布之间的距离，改进的判别器和生成器的损失函数定义为：

其中Y^L为低分辨率图像，Y^H为高分辨率图像，Y^H′为真实高分辨率图像，m为批尺寸，θ为判别器参数，G表示生成器，D表示判别器；具体的网络参数设置如下：网络框架设计采用tensorflow，所有网络模型都采用小批量SGD进行训练并应用RMSProp求解器，因为RMSProp即使在高度非平稳的问题上也表现良好；对于学习率，采用分段常数衰减策略；它是在事先定义好的训练次数区间上，设置不同的学习率常数；训练所有模型，对于前20个时期的学习率为0.0001，并在接下来的20个时期内，将学习率线性衰减为0，以确保收敛；

5.2)利用测试数据集测试网络的性能，并利用无参考评价指标与全参考指标主进行评价。

Images