CN112634137B - 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 - Google Patents
基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 Download PDFInfo
- Publication number
- CN112634137B CN112634137B CN202011576556.7A CN202011576556A CN112634137B CN 112634137 B CN112634137 B CN 112634137B CN 202011576556 A CN202011576556 A CN 202011576556A CN 112634137 B CN112634137 B CN 112634137B
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral
- encoder
- loss
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 70
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 51
- 230000003595 spectral effect Effects 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 93
- 238000000034 method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000013398 bayesian method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
Abstract
本发明属于图像处理技术领域，公开了一种基于AE提取多尺度空谱特征的高光谱和全色图像融合方法。实现步骤：获取图像数据集并进行预处理；构建并训练多个分辨率下的自编码器；提取多尺度空间光谱特征；获取自适应增强后的空间光谱特征；构建并训练通道注意力机制和特征重建融合残差网络组成的网络模型；得到高空间分辨率的高光谱图像。将低分辨率高光谱图像插值，高分辨率全色图像进行下采样与之匹配，并通过浅层多分辨率自编码器网络提取多尺度空间光谱特征；构建通道注意力机制和特征重建融合残差网络，减小光谱损失的基础上增强融合高光谱图像的空间信息，获得高光谱图像。本发明提取更丰富更细微的空间光谱特征，且网络很浅，计算复杂度较低。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及高光谱和全色图像的融合，具体是基于自编码器(AutoEncoder，AE)提取多尺度空间光谱特征的高光谱和全色图像融合方法。
背景技术
目前：随着遥感技术的发展，拥有几十甚至上百个光谱波段的高光谱图像可由高光谱图像传感器获得，但由于传感器技术和成本的限制，得到的高光谱图像的空间分辨率较低，不利于遥感图像后续的分类、目标检测等。同时，遥感系统还会搭载全色图像传感器来获得同一感兴趣区域具有高空间分辨率的全色图像，于是可以融合高空间分辨率的全色图像来提升高光谱图像空间信息，从而得到空间信息增强、光谱信息丰富的高质量高光谱图像。
经典常用的高光谱和全色图像融合算法有成分替代法，多分辨率分析法和贝叶斯法。成分替代法的主要思想是采用某种变换从高光谱图像中分离出空间信息和光谱信息，用全色图像的空间信息替换高光谱图像的空间信息，最后对重组的高光谱图像进行逆变化得到融合的高光谱图像。典型方法有亮度-色调-饱和度变换法(Intensity-Hue-Saturation，IHS)，主成分分析法(Principal Component Analysis，PCA)，施密特正交变换(Gram Schmidt，GS)等。成分替换法简单易于实现，融合的图像也有充足的空间信息，但存在较大的光谱失真。多分辨率分析法相比于成分替换法能较好的保留光谱信息，但却会有一些空间失真。其主要思想是从全色图像中提取高频细节，再按某种规则注入到高光谱图像中。典型方法有强度调节的平滑滤波(Smoothing Filter based IntensityModulation，SFIM)，调制传递函数广义拉普拉斯金字塔(Modulation transfer functiongeneralized Laplacianpyramid，MTF-GLP)等。贝叶斯法需要用到期望的高分辨率高光谱图像的先验分布，主要思想是将高光谱和全色图像融合转化为贝叶斯模型，通过优化模型来得到融合图像。典型方法有贝叶斯稀疏表示(Bayesian Sparse Representation,BSR)，高斯先验提升的贝叶斯稀疏表示(Bayesian sparsity promoted Gaussianprior，BSF)等。贝叶斯法的不足之处在于需要较强的先验信息才能达到较好的融合效果，且计算复杂度高。
近年来，基于深度学习的方法广泛应用于各个领域，如目标检测、异常检测、图像分类等。同样的，运用深度学习来解决高光谱和全色图像融合已经成为一种新趋势。Dong等人在文献“Image super-resolution using deep convolutional networks,IEEETrans.Pattern Anal.Mach.Intell.,vol.38,no.2,pp.295–307,Feb.2015.”中通过卷积神经网络(ConvolutionalNeural Networks，CNN)成功学习到了从低分辨率图像到高分辨率图像的映射，提出了一种超分辨率卷积神经网络(Superresolution ConvolutionalNeuralNetworks，SRCNN)，并取得了不错的超分辨率性能。受到Dong等人的启发，Masi等人在文献“Pansharpening by convolutional neural networks,Remote Sens.,vol.8,no.7,p.594,2016.”中提出了一种基于SRCNN的高光谱和全色图像融合方法(Pansharpening Convolutional Neural Networks，PNN)，该方法是将全色图像和插值后的高光谱图像作为输入，学习输入与输出的融合高光谱图像之间的映射，并获得了当时较好的效果。随后，Wei等人在文献“Boosting the accuracy ofmultispectral imagepansharpening by learning a deep residual network,IEEE Geosci.RemoteSens.Lett.,vol.14,no.10,pp.1795–1799,Oct.2017.”中对PNN做了改进，将深度残差结构加入其中，提出了一种新的融合方法(Deep residual based PansharpeningConvolutional Neural Networks，DRPNN)，通过更深层次的网络体系，提高了PNN的性能。然而，现在大多数基于CNN的融合方法都是单尺度的，即使加深网络也无法学习到更多的特征，还会占用更多的计算资源，最后得到的融合图像在空间信息和光谱信息上不能同时保持的很好。
通过上述分析，现有技术存在的问题及缺陷为：经典方法对于空间信息保持得不够好。现在大多数基于CNN的融合方法都是单尺度的，即使不断加深网络也无法学习到更多的特征，还会占用更多的计算资源，最后得到的融合图像在空间信息和光谱信息上不能同时保持的很好。
解决以上问题及缺陷的难度为：低分辨率高光谱图像所含空间信息较少，光谱信息丰富。使用高分辨率全色图像与其进行融合过程中有两大难点：一是如何从中提取到足够多的空间光谱特征，二是在尽量减少光谱信息损失的前提下，如何极大的提升空间信息。
解决以上问题及缺陷的意义为：由于传感器技术和成本的限制，所获得的高光谱图像分辨率太低无法直接应用于后续处理，如目标检测，异常检测，图像分类等。构建的多个分辨率下的自编码器网络能够获得更丰富更细微的空间光谱特征，从而保证最后得到的融合高光谱图像同时拥有良好的空间光谱信息，便可用于高光谱图像后续处理。
发明内容
针对现有技术存在的问题，本发明提供了一种基于AE提取多尺度空谱特征的高光谱和全色图像融合方法。
本发明是这样实现的，所述基于AE提取多尺度空谱特征的高光谱和全色图像融合方法包括：获取图像数据集并进行预处理，生成训练图像样本；构建并训练多个分辨率下的自编码器，获取高光谱图像的空间光谱特征和全色图像的空间特征；提取多尺度空间光谱特征，由高光谱图像的空间光谱特征和全色图像的空间特征按一定规则组合得到；获取自适应增强后的空间光谱特征，利用注意力机制突出拥有更多细节信息的谱段，对提取到的空间光谱特征进行增强；构建并训练通道注意力机制和特征重建融合残差网络组成的网络模型，对增强后的多尺度空间光谱特征进行细节重建；得到高空间分辨率的高光谱图像。
进一步，所述基于AE提取多尺度空谱特征的高光谱和全色图像融合方法具体包括如下步骤：
(1)获取图像数据集，对数据进行预处理：
(1.1)获取图像数据集：从公开数据集中获取到低分辨率高光谱图像HLR，高分辨率全色图像PHR，原始参考高光谱图像HREF；
(1.2)数据预处理：PHR的尺寸是HLR的四倍；对获取到的低分辨率高光谱图像HLR分别进行两次最近邻两倍插值得两倍插值后的高光谱图像H2-up，四倍插值后的高光谱图像H4-up；对获取到的高分辨率全色图像分别进行两次下采样得两倍下采样后的全色图像P2-down，四倍下采样后的全色图像P4-down；
(2)构建多个不同分辨率下的自编码器：自编码器由编码器和解码器构成，针对(1)中预处理得到的三种分辨率下的高光谱和全色图像分别设计了3D自编码器和2D自编码器，所有编码器网络结构是两层卷积层，所有解码器网络结构是反卷积层和反卷积函数；卷积层/反卷积层由卷积函数/反卷积函数，BatchNormalization函数和ReLU函数组成；
3D编码器网络参数设置如下，均采用3D卷积函数，卷积核尺寸为3*3*3，步长为1，两个卷积函数的输出节点数分别为4和2；
3D解码器网络参数设置如下，均采用3D反卷积函数，卷积核尺寸为3*3*3，步长为1，两个反卷积函数输出节点数分别为4和1；
2D编码器网络参数设置如下，均采用2D卷积函数，卷积核尺寸为3*3，步长为1，两个卷积函数输出节点数分别为32和16；
2D解码器网络参数设置如下，均采用2D反卷积函数，卷积核尺寸为3*3，步长为1，两个反卷积函数输出节点数分别为32和1；
(3)训练多个自编码器，提取多尺度空间光谱特征：
(3.1)将低分辨率高光谱图像HLR增加一个维度后输入3D自编码器进行训练，将四倍下采样全色图像P4-down输入2D自编码器进行训练，3D自编码器图像重建的损失函数由L1范数损失和光谱角映射损失组成，2D自编码器图像重建的损失函数由L1范数损失和互相关系数损失组成，设置的学习率均为1e-3，训练的批次大小为7，优化过程使用Adam算法优化，训练优化过程中当损失函数收敛时停止训练；
(3.2)输入之前用于训练的数据到已经训练完成的编码器网络中，将3D编码器五维输出中的“帧维”合并至通道维上，变成四维，然后与2D编码器的输出进行通道维上级联后得到该尺度下的空间光谱特征F1；
(3.3)对其余两组同分辨率下的高光谱和全色图像重复(3.1)、(3.2)步骤，得各自尺度下的空间光谱特征F2、F3；
(4)构建特征重建融合残差网络：特征重建融合残差网络包括三个残差子网络；前两个残差子网络由一个卷积层、两个残差块和一个实现上采样的反卷积层组成，最后一个残差子网络与其它两个的区别是反卷积层由实现输出的卷积函数替代；卷积层和反卷积层的构成同(2)中2D自编码器的卷积层和反卷积层；残差块包括两个卷积层和一个将输入与输出相加的短接线；
三个残差子网络的网络参数设置如下：卷积层均采用2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数都是256，反卷积层均采用2D反卷积函数，卷积核尺寸为3*3，步长为2，输出节点数都是128，最后实现输出的卷积函数也是2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数为高光谱图像的波段总数；
(5)获取自适应增强后的多尺度空间光谱特征：利用通道注意力机制对提取到的多尺度空间光谱特征进行强化感兴趣特征的处理，获得增强后的多尺度空间光谱特征F′1，F′2和F′3；
(6)训练通道注意力机制和特征重建融合残差网络，得融合高光谱图像：对通道注意力机制和构建好的特征重建融合残差网络组成的网络模型进行训练，具体流程如下：
(6.1)F1，F2和F3输入至通道注意力机制得F′1，F′2和F′3；
(6.2)F′1输入至残差子网络1得浅层空间光谱特征Fshallow；
(6.3)F′2与Fshallow在通道维上级联后输入残差子网络2得深层空间光谱特征Fdeep；
(6.4)F′3与Fdeep在通道维上级联后输入残差子网络3得融合高光谱图像HF；
(6.5)以HREF为参考图像，求HREF与HF的L1范数损失作为损失函数，设置学习率为1e-3，训练批次大小为7，优化过程使用Adam算法优化，训练优化过程中当损失函数收敛时停止训练。
进一步，所述(3.1)中3D自编码器图像重建的损失函数由L1范数损失和光谱角映射损失组成，损失计算公式如下：
其中其中Iin，Iout是输入的和重建的高光谱图像，n表示图像的波段数，每个波段有d个像素，Iin,j，Iout,j是第j个像素点的光谱矢量，<Iin,j,Iout,j>表示两个矢量之间的内积，||·||表示取2范数；L1、SAM的值越小重建的误差越小，考虑两者计算出的损失数值之间相差很多倍，最后3D自编码器图像重建损失表达式为loss＝L1+0.001*SAM。
进一步，所述(3.1)中2D自编码器图像重建的损失函数由L1范数损失和互相关系数损失组成，损失计算公式如下：
其中Iin，Iout是输入的和重建的全色图像，全色图像只有一个波段，该波段有d个像素，是图像的均值，Iin,j，Iout,j是图像第j个像素点的值；L1的值越小重建的误差越小，CC的值介于0和1之间，越大的CC值表示越佳的重建性能，最后2D自编码器图像重建损失表达式为loss＝L1+(1-CC)。
进一步，所述(3.2)中将3D编码器五维输出中的“帧维”合并至通道维上，具体合并方法为：假设[b,f,c,h,w]表示五维输出，b是训练批次大小，f,c,h,w分别是图像帧数，通道数，高度，宽度，对f个[b,c,h,w]大小的四维数据进行通道维上级联得最后的四维数据[b,c*f,h,w]。
进一步，所述(5)中的利用通道注意力机制对提取到的多尺度空间光谱特征进行强化感兴趣特征的处理，按如下步骤进行：
(5.1)对Fi(i＝1,2,3)分别进行最大池化和平均池化得特征矩阵Fmax和Fmin；
(5.2)将特征矩阵Fmax和Fmin分别通过相同的卷积层得F′max和F'min，该卷积层由2D卷积函数，ReLU函数和2D卷积函数构成；
(5.3)F'max，F'min上对应位元素相加后输入Sigmoid激活函数得Fs；
(5.4)利用公式F′i＝F+F*Fs(i＝1,2,3)计算得增强后的空间光谱特征。
进一步，所述(6.5)中求HREF与HF的L1范数损失作为损失函数，计算公式是其中n是参考高光谱图像HREF和融合高光谱图像HF的波段数，d是每个波段的像素数，Hi REF,j和HiF,j分别是参考高光谱图像和融合高光谱图像第i个波段的第j个像素点的值。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明充分利用提取的多尺度特征信息来确保最终得到的融合图像同时拥有良好的空间信息和光谱信息。
本发明将低分辨率高光谱图像进行插值，而高分辨率全色图像则进行下采样与之匹配，并相应设计了多个浅层多分辨率自编码器网络，以提取多尺度空间光谱特征。与现有技术相比，构建的多尺度空间光谱特征提取网络能够获得更丰富更细微的空间光谱特征，且网络很浅，计算复杂度较低。
本发明使用三维卷积函数来同时学习高光谱图像的空间和光谱特征，与使用普通二维卷积函数来学习高光谱图像特征的现有技术相比，获取到的光谱信息更加丰富。
本发明利用通道注意力机制对提取到的多尺度空间光谱特征进行自适应增强，能够突出拥有更多细节信息的谱段，而现有技术则忽略了这一点。
本发明为3D/2D自编码器设计了不同的损失函数。光谱角映射损失用于在3D自编码器中更好的提取到高光谱图像丰富的光谱信息，互相关系数损失用于在2D自编码器中更好的提取到全色图像细微的空间信息。与现有技术相比，本发明针对不同数据源分别考虑损失函数能够获得更好的空间光谱信息。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法流程图。
图2是本发明实施例提供的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法的实现流程图。
图3是本发明实施例提供的注意力机制的实现流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法包括以下步骤：
S101：获取图像数据集并进行预处理；
S102：构建并训练多个分辨率下的自编码器；提取多尺度空间光谱特征；
S103：获取自适应增强后的空间光谱特征；构建并训练通道注意力机制和特征重建融合残差网络组成的网络模型；得到高空间分辨率的高光谱图像。
本发明提供的高光谱和全色图像融合方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的高光谱和全色图像融合方法仅仅是一个具体实施例而已。
下面结合附图对本发明的技术方案作进一步的描述。
如图2所示，本发明的高光谱和全色图像融合方法具体步骤如下：
步骤一：获取图像数据集，对数据进行预处理。
(1.1)获取图像数据集：从公开数据集中获取到低分辨率高光谱图像HLR，高分辨率全色图像PHR，原始参考高光谱图像HREF。
(1.2)数据预处理：本发明以PHR的尺寸是HLR的四倍为例；对获取到的低分辨率高光谱图像HLR分别进行两次最近邻两倍插值得两倍插值后的高光谱图像H2-up，四倍插值后的高光谱图像H4-up；对获取到的高分辨率全色图像分别进行两次下采样得两倍下采样后的全色图像P2-down，四倍下采样后的全色图像P4-down。
步骤二：构建多个不同分辨率下的自编码器。
自编码器由编码器和解码器构成，针对步骤1预处理得到的三种分辨率下的高光谱和全色图像分别设计了3D自编码器和2D自编码器，所有编码器网络结构是两层卷积层，所有解码器网络结构是反卷积层和反卷积函数；卷积层/反卷积层由卷积函数/反卷积函数，BatchNormalization函数和ReLU函数组成。
3D编码器网络参数设置如下，均采用3D卷积函数，卷积核尺寸为3*3*3，步长为1，两个卷积函数的输出节点数分别为4和2。
3D解码器网络参数设置如下，均采用3D反卷积函数，卷积核尺寸为3*3*3，步长为1，两个反卷积函数输出节点数分别为4和1。
2D编码器网络参数设置如下，均采用2D卷积函数，卷积核尺寸为3*3，步长为1，两个卷积函数输出节点数分别为32和16。
2D解码器网络参数设置如下，均采用2D反卷积函数，卷积核尺寸为3*3，步长为1，两个反卷积函数输出节点数分别为32和1。
步骤三：训练多个自编码器，提取多尺度空间光谱特征。
下面仅以一组自编码器(同分辨率下的3D和2D自编码器)的训练为例进行说明：
(3.1)将低分辨率高光谱图像HLR增加一个维度后输入3D自编码器进行训练，将四倍下采样全色图像P4-down输入2D自编码器进行训练，3D自编码器图像重建的损失函数由L1范数损失和光谱角映射损失组成，其计算公式如下：
其中其中Iin，Iout是输入的和重建的高光谱图像，n表示图像的波段数，每个波段有d个像素，Iin,j，Iout,j是第j个像素点的光谱矢量，<Iin,j,Iout,j>表示两个矢量之间的内积，||·||表示取2范数。L1、SAM值越小重建的误差越小，考虑两者计算出的损失数值之间相差很多倍，最后3D自编码器图像重建损失表达式为loss＝L1+0.001*SAM。
2D自编码器图像重建的损失函数由L1范数损失和互相关系数损失组成，其计算公式如下：
其中Iin，Iout是输入的和重建的全色图像，全色图像只有一个波段，该波段有d个像素，是图像的均值，Iin,j，Iout,j是图像第j个像素点的值。L1值越小重建的误差越小，CC的值介于0和1之间，越大的CC值表示越佳的重建性能，最后2D自编码器图像重建损失表达式为loss＝L1+(1-CC)。设置的学习率均为1e-3，训练的批次大小为7，优化过程使用Adam算法优化，训练优化过程中当损失函数收敛时停止训练。
(3.2)输入之前用于训练的数据到已经训练完成的编码器网络中，3D编码器输出五维数据[b,f,c,h,w]，其中b代表训练批次大小，f,c,h,w分别代表图像帧数，通道数，高度，宽度，将该五维数据拆分为f个[b,c,h,w]大小的四维数据并在通道维上级联得新的四维数据[b,c*f,h,w]，接着又与2D编码器的输出在通道维上级联后得到该尺度下的空间光谱特征F1。
(3.3)对其余两组同分辨率下的高光谱和全色图像重复(3.1)、(3.2)步骤，得各自尺度下的空间光谱特征F2、F3。
步骤四：构建特征重建融合残差网络。
特征重建融合残差网络包括三个残差子网络；前两个残差子网络由一个卷积层、两个残差块和一个实现上采样的反卷积层组成，最后一个残差子网络与其它两个的区别是反卷积层由实现输出的卷积函数替代；卷积层和反卷积层的构成同步骤2中2D自编码器的卷积层和反卷积层；残差块包括两个卷积层和一个将输入与输出相加的短接线。
三个残差子网络的网络参数设置如下：卷积层均采用2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数都是256，反卷积层均采用2D反卷积函数，卷积核尺寸为3*3，步长为2，输出节点数都是128，最后实现输出的卷积函数也是2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数为高光谱图像的波段总数。
步骤五：获取自适应增强后的多尺度空间光谱特征。
利用通道注意力机制对提取到的多尺度空间光谱特征进行强化感兴趣特征的处理，获得增强后的多尺度空间光谱特征F′1、F′2和F′3。如图3所示，此过程表示如下：
(5.1)对Fi(i＝1,2,3)分别进行最大池化和平均池化得特征矩阵Fmax和Fmin。
(5.2)将特征矩阵Fmax和Fmin分别通过相同的卷积层得F'max和F'min，该卷积层由2D卷积函数，ReLU函数和2D卷积函数构成。
(5.3)F'max，F'min上对应位元素相加后输入Sigmoid激活函数得Fs。
(5.4)利用公式F′i＝F+F*Fs(i＝1,2,3)计算得增强后的空间光谱特征。
步骤六：训练通道注意力机制和特征重建融合残差网络，得融合高光谱图像。
对通道注意力机制和构建好的特征重建融合残差网络组成的网络模型进行训练，具体流程如下：
(6.1)F1，F2和F3输入至通道注意力机制得F′1，F′2和F′3；
(6.2)F′1输入至残差子网络1得浅层空间光谱特征Fshallow。
(6.3)F′2与Fshallow在通道维上级联后输入残差子网络2得深层空间光谱特征Fdeep。
(6.4)F′3与Fdeep在通道维上级联后输入残差子网络3得融合高光谱图像HF。
(6.5)以HREF为参考图像，求HREF与HF的L1范数损失作为损失函数，计算公式是其中n是参考高光谱图像HREF和融合高光谱图像HF的波段数，d是每个波段的像素数，Hi REF,j和Hi F,j分别是参考高光谱图像和融合高光谱图像第i个波段的第j个像素点的值。设置学习率为1e-3，训练批次大小为7，优化过程使用Adam算法优化，训练优化过程中当损失函数收敛时停止训练。
下面结合仿真实验对本发明的效果作详细的说明。
1.仿真数据集：
实验选取了两个广泛使用的数据集，分别是Pavia数据集和Houston数据集。Pavia数据集由ROSIS传感器获得，波长范围从430nm到860nm，拍摄景物是意大利的帕维亚中心，选取尺寸为960×640×102的子图像作为参考图像。Houston数据集由ITRESCASI-1500传感器获得，拍摄地区是休斯顿大学及其附近城市，覆盖了从380nm到1050nm的144波段，选取320×1280×144的子图像作为参考图像。进一步，根据Wald’s协议从参考图像中模拟得出用于训练的低分辨率高光谱图像和高分辨率全色图像，将模拟的高光谱图像和全色图像划分为k1个非重叠块，接着以固定步长从每个非重叠块中提取具有部分重叠的k2个小块来扩大数据样本，训练和测试样本之间没有重叠，Pavia数据集的k1＝12，k2＝21，Houston数据集的k1＝8，k2＝41。
2.仿真实验内容及结果分析：
为了验证本发明具有较好的融合性能，采用互相关系数(Cross Correlation，CC)，光谱角映射(SpectralAngle Mapper，SAM)，均方根误差(Root Mean Squared Error，RMSE)，相对整体合成误差(Erreur Relative GlobaleAdimensionnelle de Synthèse，ERGAS)四种评价指标。
互相关系数CC是一个空间评价指标，通过计算融合的高光谱图像与参考高光谱图像对应波段的互相关系数，度量融合的高光谱图像与参考高光谱图像之间的空间失真程度。CC的值介于0和1之间，越大的CC值表示越佳的融合性能。
光谱角映射SAM是一个光谱评价指标，通过计算融合的高光谱图像和参考高光谱图像对应像素光谱矢量之间的夹角，来衡量融合后的高光谱图像的光谱保真能力。SAM的值越小表示融合的高光谱图像光谱信息保留地越好。
均方根误差RMSE表征融合的高光谱图像和参考图像之间的误差，既可以说明融合的高光谱图像光谱失真程度，又可以度量空间扭曲程度。RMSE值越小表示融合的高光谱图像和参考图像之间的误差越小。
相对整体合成误差ERGAS通过度量融合的高光谱图像和参考高光谱图像之间的全局误差来同时表征融合的高光谱图像的光谱信息和空间信息的失真程度。越低的ERGAS值意味着融合处理效果越好。
实验：用本发明和现有的十种融合方法对低分辨率高光谱图像与同场景全色图像进行融合，所得结果的性能指标如表1与表2所示，其中：
表1本发明和现有的十种方法对Pavia高光谱图像融合结果性能指标
表2本发明和现有的十种方法对Houston高光谱图像融合结果性能指标
从表1和表2可以看出，本发明的互相关系数CC最大，光谱角映射SAM、均方根误差RMSE、相对整体合成误差ERGAS均最小，说明使用本发明得到的融合高光谱图像同时拥有较好的空间信息和光谱信息。同时，本发明对两个不同传感器获得的高光谱图像融合效果均为最好，说明本发明具有良好的泛化性。
综上所述，本发明同时考虑高光谱图像的空间光谱信息和全色图像的空间信息，通过多路自编码网络提取到足够多的空间光谱特征，在有效减小光谱损失的基础上增强了融合高光谱图像的空间信息，最后得到高空间分辨率、高谱间分辨率的高光谱图像，可更好应用于后续高光谱图像处理。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，其特征在于，所述基于AE提取多尺度空谱特征的高光谱和全色图像融合方法包括：获取图像数据集并进行预处理；构建并训练多个分辨率下的自编码器；提取多尺度空间光谱特征；获取自适应增强后的空间光谱特征；构建并训练通道注意力机制和特征重建融合残差网络组成的网络模型；得到高空间分辨率的高光谱图像；
所述基于AE提取多尺度空谱特征的高光谱和全色图像融合方法具体包括如下步骤：
(1)获取图像数据集，对数据进行预处理：
(1.1)获取图像数据集：从公开数据集中获取到低分辨率高光谱图像HLR，高分辨率全色图像PHR，原始参考高光谱图像HREF；
(1.2)数据预处理：PHR的尺寸是HLR的四倍；对获取到的低分辨率高光谱图像HLR分别进行两次最近邻两倍插值得两倍插值后的高光谱图像H2-up，四倍插值后的高光谱图像H4-up；对获取到的高分辨率全色图像分别进行两次下采样得两倍下采样后的全色图像P2-down，四倍下采样后的全色图像P4-down；
(2)构建多个不同分辨率下的自编码器：自编码器由编码器和解码器构成，针对(1)中预处理得到的三种分辨率下的高光谱和全色图像分别设计了3D自编码器和2D自编码器，所有编码器网络结构是两层卷积层，所有解码器网络结构是反卷积层和反卷积函数；卷积层/反卷积层由卷积函数/反卷积函数，BatchNormalization函数和ReLU函数组成；
3D编码器网络参数设置如下，均采用3D卷积函数，卷积核尺寸为3*3*3，步长为1，两个卷积函数的输出节点数分别为4和2；
3D解码器网络参数设置如下，均采用3D反卷积函数，卷积核尺寸为3*3*3，步长为1，两个反卷积函数输出节点数分别为4和1；
2D编码器网络参数设置如下，均采用2D卷积函数，卷积核尺寸为3*3，步长为1，两个卷积函数输出节点数分别为32和16；
2D解码器网络参数设置如下，均采用2D反卷积函数，卷积核尺寸为3*3，步长为1，两个反卷积函数输出节点数分别为32和1；
(3)训练多个自编码器，提取多尺度空间光谱特征：
(3.1)将低分辨率高光谱图像HLR增加一个维度后输入3D自编码器进行训练，将四倍下采样全色图像P4-down输入2D自编码器进行训练，3D自编码器图像重建的损失函数由L1范数损失和光谱角映射损失组成，2D自编码器图像重建的损失函数由L1范数损失和互相关系数损失组成，设置的学习率均为1e-3，训练的批次大小为7，优化过程使用Adam算法优化，训练优化过程中当损失函数收敛时停止训练；
(3.2)输入之前用于训练的数据到已经训练完成的编码器网络中，将3D编码器五维输出中的“帧维”合并至通道维上，变成四维，然后与2D编码器的输出进行通道维上级联后得到该尺度下的空间光谱特征F1；
(3.3)对其余两组同分辨率下的高光谱和全色图像重复(3.1)、(3.2)步骤，得各自尺度下的空间光谱特征F2、F3；
(4)构建特征重建融合残差网络：特征重建融合残差网络包括三个残差子网络；前两个残差子网络由一个卷积层、两个残差块和一个实现上采样的反卷积层组成，最后一个残差子网络与其它两个的区别是反卷积层由实现输出的卷积函数替代；卷积层和反卷积层的构成同(2)中2D自编码器的卷积层和反卷积层；残差块包括两个卷积层和一个将输入与输出相加的短接线；
三个残差子网络的网络参数设置如下：卷积层均采用2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数都是256，反卷积层均采用2D反卷积函数，卷积核尺寸为3*3，步长为2，输出节点数都是128，最后实现输出的卷积函数也是2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数为高光谱图像的波段总数；
(5)获取自适应增强后的多尺度空间光谱特征：利用通道注意力机制对提取到的多尺度空间光谱特征进行强化感兴趣特征的处理，获得增强后的多尺度空间光谱特征F′1，F′2和F′3；
(6)训练通道注意力机制和特征重建融合残差网络，得融合高光谱图像：对通道注意力机制和构建好的特征重建融合残差网络组成的网络模型进行训练，具体流程如下：
(6.1)F1，F2和F3输入至通道注意力机制得F′1，F′2和F′3；
(6.2)F′1输入至残差子网络1得浅层空间光谱特征Fshallow；
(6.3)F′2与Fshallow在通道维上级联后输入残差子网络2得深层空间光谱特征Fdeep；
(6.4)F′3与Fdeep在通道维上级联后输入残差子网络3得融合高光谱图像HF；
(6.5)以HREF为参考图像，求HREF与HF的L1范数损失作为损失函数，设置学习率为1e-3，训练批次大小为7，优化过程使用Adam算法优化，训练优化过程中当损失函数收敛时停止训练。
2.如权利要求1所述的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，其特征在于，所述(3.1)中3D自编码器图像重建的损失函数由L1范数损失和光谱角映射损失组成，损失计算公式如下：
其中其中Iin，Iout是输入的和重建的高光谱图像，n表示图像的波段数，每个波段有d个像素，Iin,j，Iout,j是第j个像素点的光谱矢量，<Iin,j,Iout,j>表示两个矢量之间的内积，||·||表示取2范数；L1、SAM的值越小重建的误差越小，考虑两者计算出的损失数值之间相差很多倍，最后3D自编码器图像重建损失表达式为loss＝L1+0.001*SAM。
3.如权利要求1所述的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，其特征在于，所述(3.1)中2D自编码器图像重建的损失函数由L1范数损失和互相关系数损失组成，损失计算公式如下：
其中Iin，Iout是输入的和重建的全色图像，全色图像只有一个波段，该波段有d个像素，是图像的均值，Iin,j，Iout,j是图像第j个像素点的值；L1的值越小重建的误差越小，CC的值介于0和1之间，越大的CC值表示越佳的重建性能，最后2D自编码器图像重建损失表达式为loss＝L1+(1-CC)。
4.如权利要求1所述的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，其特征在于，所述(3.2)中将3D编码器五维输出中的“帧维”合并至通道维上，具体合并方法为：假设[b,f,c,h,w]表示五维输出，b是训练批次大小，f,c,h,w分别是图像帧数，通道数，高度，宽度，对f个[b,c,h,w]大小的四维数据进行通道维上级联得最后的四维数据[b,c*f,h,w]。
5.如权利要求1所述的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，其特征在于，所述(5)中的利用通道注意力机制对提取到的多尺度空间光谱特征进行强化感兴趣特征的处理，按如下步骤进行：
(5.1)对Fi(i＝1,2,3)分别进行最大池化和平均池化得特征矩阵Fmax和Fmin；
(5.2)将特征矩阵Fmax和Fmin分别通过相同的卷积层得F′max和F′min，该卷积层由2D卷积函数，ReLU函数和2D卷积函数构成；
(5.3)F′max，F′min上对应位元素相加后输入至Sigmoid激活函数得Fs；
(5.4)利用公式F′i＝F+F*Fs(i＝1,2,3)计算得增强后的空间光谱特征。
6.如权利要求1所述的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，其特征在于，所述(6.5)中求HREF与HF的L1范数损失作为损失函数，计算公式是其中n是参考高光谱图像HREF和融合高光谱图像HF的波段数，d是每个波段的像素数，/>和/>分别是参考高光谱图像和融合高光谱图像第i个波段的第j个像素点的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576556.7A CN112634137B (zh) | 2020-12-28 | 2020-12-28 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576556.7A CN112634137B (zh) | 2020-12-28 | 2020-12-28 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112634137A CN112634137A (zh) | 2021-04-09 |
| CN112634137B true CN112634137B (zh) | 2024-03-05 |
Family
ID=75326056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011576556.7A Active CN112634137B (zh) | 2020-12-28 | 2020-12-28 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634137B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819732B (zh) * | 2021-04-19 | 2021-07-09 | 中南大学 | 一种探地雷达B-scan图像去噪方法 |
| CN113222823B (zh) * | 2021-06-02 | 2022-04-15 | 国网湖南省电力有限公司 | 基于混合注意力网络融合的高光谱图像超分辨率方法 |
| CN113222822B (zh) * | 2021-06-02 | 2023-01-24 | 西安电子科技大学 | 基于多尺度变换的高光谱图像超分辨率重建方法 |
| CN113379859B (zh) * | 2021-06-03 | 2022-11-18 | 西安理工大学 | 一种基于全卷积级联自编码器的高光谱异常检测方法 |
| CN113628290A (zh) * | 2021-07-28 | 2021-11-09 | 武汉大学 | 基于3d卷积自编码器的波段自适应高光谱图像压缩方法 |
| CN113706406B (zh) * | 2021-08-11 | 2023-08-04 | 武汉大学 | 基于特征空间多分类对抗机制的红外可见光图像融合方法 |
| CN113763299B (zh) * | 2021-08-26 | 2022-10-14 | 中国人民解放军军事科学院国防工程研究院工程防护研究所 | 一种全色与多光谱图像融合方法、装置及其应用 |
| CN113962943B (zh) * | 2021-10-08 | 2023-04-07 | 南京审计大学 | 一种基于双向重建编码网络和强化残差网络的高光谱变化检测方法 |
| CN114119444B (zh) * | 2021-11-29 | 2024-04-16 | 武汉大学 | 一种基于深度神经网络的多源遥感图像融合方法 |
| CN114445720B (zh) * | 2021-12-06 | 2023-06-20 | 西安电子科技大学 | 基于空谱深度协同的高光谱异常检测方法 |
| CN114862731B (zh) * | 2022-03-29 | 2024-04-16 | 武汉大学 | 低秩先验与空谱信息引导的多-高光谱影像融合方法 |
| CN114913101B (zh) * | 2022-04-15 | 2023-08-15 | 武汉工程大学 | 多光谱光场重建方法、装置、电子设备及存储介质 |
| CN114757831B (zh) * | 2022-06-13 | 2022-09-06 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
| CN115564692B (zh) * | 2022-09-07 | 2023-12-05 | 宁波大学 | 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法 |
| CN115754107B (zh) * | 2022-11-08 | 2023-06-23 | 福建省龙德新能源有限公司 | 用于六氟磷酸锂制备的自动化采样分析系统及其方法 |
| CN115471437B (zh) * | 2022-11-14 | 2023-03-10 | 中国测绘科学研究院 | 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 |
| CN115760670B (zh) * | 2023-01-06 | 2023-05-23 | 之江实验室 | 基于网络隐式先验的无监督高光谱融合方法及装置 |
| CN116091640B (zh) * | 2023-04-07 | 2023-06-20 | 中国科学院国家空间科学中心 | 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 |
| CN117078563B (zh) * | 2023-10-16 | 2024-02-02 | 武汉大学 | 启明星一号卫星高光谱图像全色锐化方法及系统 |
| CN117726916B (zh) * | 2024-02-18 | 2024-04-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN110428387A (zh) * | 2018-11-16 | 2019-11-08 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
| CN111160273A (zh) * | 2019-12-31 | 2020-05-15 | 北京云智空间科技有限公司 | 一种高光谱图像空谱联合分类方法及装置 |
-
2020
- 2020-12-28 CN CN202011576556.7A patent/CN112634137B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN110428387A (zh) * | 2018-11-16 | 2019-11-08 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
| CN111160273A (zh) * | 2019-12-31 | 2020-05-15 | 北京云智空间科技有限公司 | 一种高光谱图像空谱联合分类方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 结合深度学习的非下采样剪切波遥感图像融合;陈清江;李毅;柴昱洲;;应用光学(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112634137A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112634137B (zh) | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 | |
| Wang et al. | Deep learning for image super-resolution: A survey | |
| Zhou et al. | Pyramid fully convolutional network for hyperspectral and multispectral image fusion | |
| CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| Dong et al. | Model-guided deep hyperspectral image super-resolution | |
| Wang et al. | Ultra-dense GAN for satellite imagery super-resolution | |
| Palsson et al. | Multispectral and hyperspectral image fusion using a 3-D-convolutional neural network | |
| Zhang et al. | CCR: Clustering and collaborative representation for fast single image super-resolution | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
| CN110648334A (zh) | 一种基于注意力机制的多特征循环卷积显著性目标检测方法 | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| CN106920214B (zh) | 空间目标图像超分辨率重建方法 | |
| CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
| Hu et al. | Pan-sharpening via multiscale dynamic convolutional neural network | |
| CN102915527A (zh) | 基于形态学成分分析的人脸图像超分辨率重建方法 | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| Guo et al. | Multiscale semilocal interpolation with antialiasing | |
| Liu et al. | An efficient residual learning neural network for hyperspectral image superresolution | |
| CN114581347B (zh) | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 | |
| CN111402138A (zh) | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 | |
| Wei et al. | A two-stream multiscale deep learning architecture for pan-sharpening | |
| Pan et al. | Structure–color preserving network for hyperspectral image super-resolution | |
| Yang et al. | Variation learning guided convolutional network for image interpolation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |