CN104112263B - 基于深度神经网络的全色图像与多光谱图像融合的方法 - Google Patents
基于深度神经网络的全色图像与多光谱图像融合的方法 Download PDFInfo
- Publication number
- CN104112263B CN104112263B CN201410306238.7A CN201410306238A CN104112263B CN 104112263 B CN104112263 B CN 104112263B CN 201410306238 A CN201410306238 A CN 201410306238A CN 104112263 B CN104112263 B CN 104112263B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- neural network
- full
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度神经网络的全色图像与多光谱图像融合的方法,具体步骤如下:步骤1,构建高分辨与低分辨图像块对的训练集;步骤2,利用改进的稀疏去噪自编码器学习训练神经网络模型中第一层的初始化参数;步骤3,利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练;步骤4,对经过预训练的深度神经网络的参数进行微调;步骤5,根据已知的低空间分辨的多光谱图像,利用该深度神经网络重构出高分辨的多光谱图像。本发明提供的方法采用了深度学习的方法,能够充分利用非线性的神经网络刻画多光谱图像复杂的结构信息,从而使融合后的多光谱图像不仅具有高空间分辨率,而且能很好地保留了其光谱信息。
Description
技术领域
本发明属于遥感图像处理技术领域,具体涉及基于深度神经网络的高分辨的全色图像和多光谱图像融合方法。
背景技术
地球观测卫星通常提供两种不同类型的图像,即高空间和低光谱分辨的全色图像与低空间和高光谱分辨的多光谱图像。目前,由于当前卫星传感器的技术限制,一般很难直接获取高空间和高光谱分辨的多光谱图像。因此,通过一种将这两种不同类型的图像进行信息融合的技术来获取高空间和高光谱分辨的多光谱图像无疑是更好的选择。
多光谱图像融合的方法就是将高空间分辨的全色图像与低空间分辨的多光谱图像进行融合,得到融合后的图像不仅具有高空间分辨率,而且能很好地保留光谱信息。具有代表性的多光谱图像融合的方法有:IHS(Intensity-Hue-Saturation)、自适应的IHS和主成分分析(Principal Component Analysis,PCA)等元素替换的方法,以及基于多分辨分析的小波变换的方法。这些方法具有易于实现、速度快等特点,但是经这些方法融合后的图像只能在空间分辨率和光谱分辨率之间进行权衡。随后,李树涛等人在“S.Li and B.Yang,“Anew pan-sharpening method using a compressed sensing technique,”IEEETrans.Geosci.Remote Sens.,vol.49,no.2,pp.738–746,Feb.2011.”中提出了一种基于压缩感知的多光谱图像融合的方法,该方法利用稀疏性先验信息以及由训练的高空间分辨的多光谱图像库学习得到的字典,进行图像融合并取得了较好的结果。然而,该方法需要收集大量的同类传感器拍摄的高分辨多光谱图像,通常这类图像是很难获取的。朱晓香等人在“Zhu X X,Bamler R,"A sparse image fusion algorithm with application to pan-sharpening,"IEEE Transactions on Geoscience and Remote Sensing,vol.51,no.5,pp.2827-2836,May.2013.”提出了一种利用全色图像训练字典的稀疏方法进行图像融合,使该方法更具有实用性。刘德红提出了一种利用小波字典的全色图像与多光谱图像融合的方法(Method for Pan-Sharpening Panchromatic and Multispectral Images UsingWavelet Dictionaries,公开号:US8699790 B2)。这类方法虽然能较好地重构出高分辨的多光谱图像,但是它们只共享一个浅层的线性结构,不能对遥感图像复杂的结构信息进行非线性描述。
发明内容
为了克服现有技术存在的问题,本发明提供一种基于深度神经网络的全色图像与多光谱图像融合的方法,该方法采用了深度学习的方法,能够充分利用非线性的神经网络刻画多光谱图像复杂的结构信息,从而使融合后的多光谱图像不仅具有高空间分辨率,而且能很好地保留了其光谱信息。
一种基于深度神经网络的全色图像与多光谱图像融合的方法,具体步骤如下:
步骤1,构建高分辨与低分辨图像块对的训练集该训练集的图像块和分别采样于已知的高分辨全色图像和由已知低分辨多光谱图像线性组合而成的低分辨全色图像;
步骤2,利用改进的稀疏去噪自编码器对深度神经网络的第一层参数进行与训练;
步骤3,利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练;
步骤4,利用后向传播算法对经过预训练的深度神经网络的参数进行微调;
步骤5,根据已知的低空间分辨的多光谱图像Zms,利用该深度神经网络重构出高分辨的多光谱图像
本发明与现有的技术相比,具有以下优点:
(1)本发明充分地利用了神经网络能很好地刻画变量之间非线性关系的特点,通过具有多个隐含层的深度神经网络增加了对图像之间复杂变换的表达能力,从而提高融合的高分辨多光谱图像的质量;
(2)本发明中训练集数据的生成不需要采集其它训练图像,仅采样于高分辨全色图像以及由低分辨多光谱图像每个波段加权平均组成的低分辨全色图像,由于本发明中低分辨全色图像的生成,不需要考虑从高分辨全色图像到低分辨全色图像的降质过程中的模糊核信息,从而使本发明更具有实用价值;
(3)本发明与现有的图像融合方法相比,经本发明融合得到的高分辨多光谱图像不仅具有高空间分辨率,还能很好地保留其光谱信息。
下面结合附图进一步说明本发明提供的一种基于深度神经网络的全色图像与多光谱图像融合的方法。
附图说明
图1是本发明的方法流程图;
图2是本发明提出的修改稀疏去噪自编码器的体系结构图;
图3是本发明提出的栈式深度神经网络结构图;
图4是本发明采样的低分辨多光谱图像的彩色图像和高分辨的全色图像;
图5是本发明方法与现有方法对IKONOS卫星数据进行融合的对比结果。
具体实施方式
一种基于深度神经网络的全色图像与多光谱图像融合的方法,具体步骤如下,
步骤1,选取作为训练使用的低空间分辨的多光谱图像和高分辨全色图像构建高分辨与低分辨图像块对的训练集具体过程为:
步骤1.1,对已知低空间分辨的多光谱图像进行逐波段的插值操作,比如最近邻插值,双线性插值和双立方插值,得到初始放大的多光谱图像多光谱图像中每个波段图像的像素大小与高分辨全色图像的大小保持一致;
步骤1.2,分别对已知的高分辨全色图像和初始放大多光谱图像的每个波段像素进行最大最小归一化方法,使每一个像素取值范围在[0,1]之间;
步骤1.3,计算低分辨全色图像其是由初始放大的多光谱图像的每个波段进行线性加权平均组合而成;
步骤1.4,从高分辨全色图像和低分辨全色图像中分别抽取像素大小一致的高分辨图像块和低分辨图像块得到N对像素位置一致的高分辨和低分辨图像块对的训练集合图像块和的像素为w×w,w∈[5,15],N∈[104,106]。
步骤2,利用改进的稀疏去噪自编码器学习训练集中高分辨与低分辨图像块之间的关系,得到深度神经网络模型中第一层的初始化参数,具体过程为:
步骤2.1,深度神经网络由L层神经网络栈式堆积(stacked)形成,将低分辨图像块作为神经网络的输入数据带入前馈函数模型①和②,
和 ①
表示输入数据;s为激活函数,例如igmoid函数和tanh函数;
按照改进的稀疏自编码器的前馈函数得到由低分辨图像块重构出的高分辨图像块
步骤2.2,要求由低分辨图像块重构出的图像块尽量接近于训练集中对应的高分辨图像块需要根据机器学习的损失准则训练神经网络的参数,为了防止参数的过度拟合及降低输入数据的维数,引入权重衰减项和稀疏项对数据保真项进行约束,最终得到训练模型③,利用训练模型③训练该层神经网络模型的初始参数Θ1={W1,W1',b1,b1'},
其中,λ的取值范围为[10-3,10-2],β的取值范围为[10-3,10-1],ρ的取值范围为[10-2,2×10-1],Θn={Wn,Wn',bn,bn'},ε、表示输入数据,n为神经网络层数的索引值;
为损失准则,数据保真项为权重衰减项为稀疏项为
步骤3,利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练,具体过程为:
步骤3.1,将步骤2得到的神经网络作为第一层神经网络,将高分辨和低分辨图像块对的训练集合作为输入数据输入第一层神经网络,按照模型①②经过前向传播分别得到相应的隐含层节点的值和即和
步骤3.2,将作为下一层神经网络训练的输入数据,根据机器学习的损失准则训练该层神经网络模型的参数Θ2={W2,W2',b2,b2'};分别引入权重衰减项和稀疏项对损失准则进行约束,利用后向传播算法训练该层神经网络模型的参数Θ2,其中λ的取值范围为[10-3,10-2],β的取值范围为[10-3,10-1],ρ的取值范围为[10-2,2×10-1];
步骤3.3,改进稀疏去噪自编码器逐层对L层神经网络进行预训练,除第一层以外其余每层神经网络的参数所用到的输入数据均为上一层神经网络的隐含层数据和其中n为神经网络层数的索引值,n∈L,L∈[2,5];
当所有L层神经网络训练完毕,得到深度神经网络参数的初始化值Θi={Θ1,Θ2,...,Θn},其中,深度神经网络的第一层为输入层,最后一层为输出层,其余层为隐含层。
步骤2、3对深度神经网络的每一层训练的方法过程可以参见“Stacked DenoisingAutoencoders:Learning Useful Representations in a Deep Network with a LocalDenoising Criterion”一文中的图1。Pascal Vincent.Stacked DenoisingAutoencoders:Learning Useful Representations in a Deep Network with a LocalDenoising Criterion[J].Vincent,Larochelle,Lajoie,Bengio&Manzagol,11(Dec):3371-3408,2010.
步骤4,对经过预训练的深度神经网络,再次利用后向传播算法对该网络的参数进行微调,具体过程为:
步骤4.1,引入权重衰减项对步骤3形成的深度神经网络的每一层进行训练,模型为
其中,其中ε'、为输入数据,λ的取值范围为[10-3,10-2];
步骤4.2,将高分辨和低分辨图像块对的训练集合作为经过预训练的深度神经网络的输入值,对其进行前向传播得到隐含层和输出层的值,并利用梯度下降法对模型④中输出层的参数进行微调;
步骤4.3,从输出层向前依次利用梯度下降法分别对模型④中除输出层之外的每一层的参数进行微调,从而得到该深度神经网络最终的参数值Θf={Θ'1,Θ'2,...,Θ'n}。
步骤4中利用后向传播算法对深度神经网络进行微调的过程可以参见“ImageDenoising and Inpainting with Deep Neural Networks”一文中的模型7。Junyuan Xie,Linli Xu,Enhong Chen.[J].Neural Information Processing Systems Foundation(NIPS 2012),Lake Tahoe,Nevada,USA,2012.
步骤5,根据已知的低分辨多光谱图像利用该深度神经网络重构出高分辨的多光谱图像具体过程为:
步骤5.1,选取需要测试的低空间分辨的多光谱图像进行逐波段的插值操作,得到初始放大的多光谱图像中每个波段图像的像素大小与高分辨全色图像大小保持一致;
步骤5.2,将多光谱图像的每个波段按照从上到下,从左至右的方式划分成重叠的图像块其中k代表多光谱图像波段的索引值,K代表多光谱图像图像的波段数量K∈[4,8],j代表图像块的索引值;
步骤5.3,将图像块作为经过预训练和微调整的深度神经网络的输入数据,经过该神经网络的前馈函数重构出相应的高分辨图像块
步骤5.4,对重构的重叠高分辨图像块逐层进行平均聚合,从而得到融合的高分辨多光谱图像
步骤5.4的平均聚合方法可以参见“Image Deblurring and Super-Resolutionby Adaptive Sparse Domain Selection and Adaptive Regularization”一文中的公式(4)。Weisheng Dong,Lei Zhang.Image Deblurring and Super-Resolution by AdaptiveSparse Domain Selection and Adaptive Regularization[J].IEEE Trans ImageProcess.2011Jul;20(7):1838-57.
实施例1
结合图1,一种基于深度神经网络的全色图像与多光谱图像融合的方法,具体步骤如下:
步骤1,构建高分辨与低分辨图像块配对的训练集具体过程为:
步骤1.1,对已知低空间分辨的多光谱图像进行逐波段的插值操作,放大4倍得到一个初始放大的多光谱图像其中包含4个波段,每个波段图像的像素大小都是150×150,也是包含4个波段,每个波段图像的像素大小都是600×600;
步骤1.2,分别对已知的大小为600×600的高分辨全色图像和初始放大多光谱图像的每个波段像素进行最大最小归一化方法,使它们的像素取值范围在[0,1]之间,其中高分辨全色图像如图4(a)所示,图像对应的彩色图像4(b)如图所示;
步骤1.3,低分辨全色图像是由初始放大的多光谱图像的每个波段进行线性加权平均组合而成,即其中和是多光谱图像包含的4个波段;
步骤1.4,训练的高分辨图像块和低分辨图像块(图像块和的大小一样,为7×7)分别从高分辨全色图像和低分辨全色图像中随机抽取,得到200000对像素位置一致的高分辨和低分辨图像块对的训练集合
步骤2,利用改进的稀疏去噪自编码器学习训练集之间关系,得到神经网络模型的初始化参数,具体过程为:
步骤2.1,深度神经网络由3层神经网络堆积形成,将低分辨图像块作为神经网络的输入数据,按照改进的稀疏自编码器的前馈函数和可以得到由低分辨图像块重构出的图像块其中为隐含层节点的值,其节点的个数是输入数据节点个数的5倍;
步骤2.2,根据机器学习的损失准则训练该神经网络模型的参数Θ1,其中Θ1={W1,W1',b1,b1'};
步骤2.3,分别引入了权重衰减项和稀疏项对损失准则进行约束,并利用后向传播算法训练该神经网络模型的参数Θ1,其中λ的取值为0.005,β的取值为0.001,ρ的取值为0.1。
步骤3:利用栈式稀疏去噪自编码器对深度神经网络进行预训练:
步骤3.1,将步骤2得到的神经网络作为第一层神经网络,将高分辨和低分辨图像块对的训练集合作为输入数据输入第一层神经网络,按照模型①②经过前向传播分别得到相应的隐含层值和
步骤3.2,把隐含层值作为第二层神经网络的输入数据,然后再按照改进的稀疏自编码器预训练该层神经网络的参数;依次类推,将第2层神经网络计算得到的隐含层节点作为第三层神经网络的输入数据,然后再按照改进的稀疏自编码器预训练该层神经网络的参数;
步骤3.3,改进稀疏去噪自编码器逐层对3层神经网络进行预训练,将训练完毕的3层神经网络栈式堆积形成深度神经网络,得到深度神经网络参数的初始化值Θ={Θ1,Θ2,Θ3}。
步骤4:利用后向传播算法对经过预训练的深度神经网络的参数进行微调。
步骤5,利用已经训练的神经网络重构出高分辨的多光谱图像:
步骤5.1,对已知大小为150×150×4低空间分辨的多光谱图像进行逐波段的插值操作,得到一个初始放大的大小为600×600×4多光谱图像要求图像中每个波段图像的大小与全色图像的大小保持一致;
步骤5.2,将多光谱图像的每个波段按照从上到下,从左至右的方式划分成重叠的大小为7×7图像块重叠像素的个数为5;
步骤5.3,将图像块作为经过训练的深度神经网络的输入数据,经过该神经网络的前向传播重构出相应的高分辨图像块
步骤5.4,对重构的重叠高分辨图像块逐层进行平均聚合,从而得到融合的高分辨多光谱图像
下面结合图5所示,通过实验来具体说明本发明的有效性及实用性。
本方案实施例在MATLAB R2012a平台模拟仿真实现,计算环境为Intel(R)Xeion(R)CPU 3.20GHz,内存4G的PC机。实验中对比算法包括:IHS(Intensity-Hue-Saturation)方法,基于多分辨分析小波变换的方法、Brovey变换的方法,以及自适应的IHS方法。
为了验证本发明的有效性及实用性,对IKONOS卫星拍摄的数据进行图像融合实验,具体实验如下:
IKONOS卫星提供了一个空间分辨率为1m的全色图像和一个空间分辨率为4m的多光谱图像(包含红、绿、蓝和近红外四个波段)。为了定量地评估融合的结果,本发明对该数据进行了模拟仿真实验,首先将给定的全色图像和多光谱图像进行模糊和4倍的下采样,得到一个空间分辨率为4m的全色图像和一个空间分辨率为16m的多光谱图像;然后本发明将降质的全色图像和多光谱图像进行图像融合得到一个空间分辨率为4m的多光谱图像;最后将给定的空间分辨率为4m的多光谱当作参考图像,使其与融合得到的多光谱图像进行对比,计算得到相应的定量评估的性能指标。
本发明采用大小为600×600的全色图像和上采样4倍的低分辨多光谱图像大小同为600×600,分别如图4(a)和(b)所示。利用上述的图像融合方法和本发明的方法对该数据进行融合,融合的结果如图5所示。其中图5(a)IHS方法融合的结果;图5(b)是基于多分辨分析小波变换方法融合的结果;图5(c)是Brovey变换方法融合的结果;图5(d)是自适应的IHS方法融合的结果;图5(e)是利用本发明方法融合的结果;图5(f)是原始高分辨多光谱的彩色图像。从图5显示的结果可看到,与原始高分辨多光谱的彩色图像相比,图5(a)和(c)的结果出现了严重的色彩差异,反映了这两个方法在融合的过程其光谱信息出现了严重的畸变;图5(b)的结果能较好地保留了其光谱信息,但是却出现了明显的空间失真;图5(d)的结果能很好都恢复多光谱图像的空间信息,但是它却不能很好地保留光谱信息;图5(e)的结果不仅能很好地重构其高分辨的空间信息,也能很好地保留其光谱信息。
表1给出了本发明方法和对比方法的性能指标情况。本发明采用了如下的性能指标:相关系数(Correlation Coefficient,CC)计算了融合的多光谱图像与原始多光谱图像之间空间像素的相似度,平均的相关系数(CCAVG)是指多光谱图像4个波段的相关系数的平均值,相关系数的值越大,表示融合的结果越好。均方误差(Root Mean Squared error,RMSE)反映了图像像素值之间的差异,平均均方误差(RMSEAVG)是指多光谱图像4个波段的均方误差的平均值,均方误差的值越小,表示融合的结果越好。ERGAS(Erreur RelativeGlobal Adimensionnelle de Synthese)表示多光谱图像全局反射率之间的差异,其值越小,表示融合的结果越好。光谱角(Spectral Angle Mapper,SAM)反映了多光谱图像的光谱曲线之间的差异,其值越小,表示融合的结果越好。Q4表示了包含4个波段的多光谱的相关系数,平均偏差和对比度差异之间的乘积,其值越大,表示融合的结果越好。
在表1中画有波浪线的数字表示每项指标中最好的值,每项指标中次优的值用下画线的数字进行表示。从图像融合质量的各项客观评价指标来看,本发明方法得到融合图像的质量在客观评价指标中大多数都是最好的。
表1:不同融合方法性能指标比较结果
通过上述实验结果表明,本发明的方法利用深度神经网络能很好地对多光谱图像进行信息融合,使融合后的多光谱图像不仅具有高空间分辨率,还能很好地保留其光谱信息。
Claims (6)
1.一种基于深度神经网络的全色图像与多光谱图像融合的方法,其特征在于,具体步骤如下:
步骤1,选取作为训练使用的低空间分辨的多光谱图像和高分辨全色图像构建高分辨与低分辨图像块对的训练集该训练集的图像块和分别采样于已知的高分辨全色图像和由已知低分辨多光谱图像线性组合而成的低分辨全色图像;
步骤2,利用改进的稀疏去噪自编码器对深度神经网络的第一层参数进行预训练;
步骤3,利用改进的稀疏去噪自编码器对深度神经网络进行逐层的预训练;
步骤4,利用后向传播算法对经过预训练的深度神经网络的参数进行微调;
步骤5,根据已知的低空间分辨的多光谱图像Zms,利用该深度神经网络重构出高分辨的多光谱图像
改进的稀疏自编码器的前馈函数模型为
和 ①
表示输入数据,s为激活函数。
2.根据权利要求1所述的基于深度神经网络的全色图像与多光谱图像融合的方法,其特征在于,步骤1中构建训练集的具体过程为:
步骤1.1,对已知低空间分辨的多光谱图像进行逐波段的插值操作,得到初始放大的多光谱图像多光谱图像中每个波段图像的像素大小与高分辨全色图像的大小保持一致;
步骤1.2,分别对已知的高分辨全色图像和初始放大多光谱图像的每个波段进行像素最大最小归一化方法,使每一个像素取值范围在[0,1]之间;
步骤1.3,计算低分辨全色图像其是由初始放大的多光谱图像的每个波段进行线性加权平均组合而成;
步骤1.4,训练的高分辨图像块和低分辨图像块分别从高分辨全色图像和低分辨全色图像中抽取,得到N对像素位置一致的高分辨和低分辨图像块对的训练集合N∈[104,106],i=1,2,...,N。
3.根据权利要求2所述的基于深度神经网络的全色图像与多光谱图像融合的方法,其特征在于,步骤2中利用改进的稀疏去噪自编码器对深度神经网络的第一层参数进行预训练的具体过程为:
步骤2.1,深度神经网络由L层神经网络堆积形成,将低分辨图像块作为第一层神经网络的输入数据,按照改进的稀疏自编码器的前馈函数得到由低分辨图像块重构出的高分辨图像块其中前馈函数模型为
和 ①
表示输入数据,s为激活函数;
步骤2.2,根据机器学习的损失准则并引入权重衰减项和稀疏项对数据保真项进行约束得到训练模型③,利用训练模型③训练该层神经网络模型的初始参数Θ1={W1,W1',b1,b1'},
其中,ε、表示输入数据,Θn为深度神经网络第n层的参数,Θn={Wn,Wn',bn,bn'},n为神经网络层数的索引值,λ的取值范围为[10-3,10-2],β的取值范围为[10-3,10-1],ρ的取值范围为[10-2,2×10-1];
其中,为损失准则,数据保真项为权重衰减项为稀疏项为
4.根据权利要求3所述的基于深度神经网络的全色图像与多光谱图像融合的方法,其特征在于,步骤3中利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练的具体过程为:
步骤3.1,将步骤2得到的神经网络作为第一层神经网络,将所有的高分辨图像块和低分辨图像块输入第一层神经网络,按照模型①②经过前向传播分别得到相应的隐含层节点的值和
步骤3.2,将和作为下一层神经网络的输入数据,按照步骤2.2的方法训练该层神经网络的参数;
步骤3.3,改进稀疏去噪自编码器逐层对L层神经网络进行预训练,得到深度神经网络参数的初始化值Θi={Θ1,Θ2,...,Θn},除第一层以外其余每层神经网络的训练所用到的输入数据均为上一层神经网络的隐含层节点的值。
5.根据权利要求2或3所述的基于深度神经网络的全色图像与多光谱图像融合的方法,其特征在于,步骤4利用后向传播算法对经过预训练的深度神经网络的参数进行微调的具体过程为:
步骤4.1,引入权重衰减项构建微调模型
其中,ε'、为输入数据,λ的取值范围为[10-3,10-2], 表示输入数据,s为激活函数;
步骤4.2,将高分辨和低分辨图像块对的训练集合作为经过预训练的深度神经网络的输入值,对其进行后向传播得到隐含层和输出层的值,并利用梯度下降法对模型④中输出层的参数进行微调;
步骤4.3,从输出层向前依次利用梯度下降法分别对模型④中除输出层之外的每一层的参数进行微调,从而得到该深度神经网络最终的参数值Θf={Θ'1,Θ'2,...,Θ'n}。
6.根据权利要求1所述的基于深度神经网络的全色图像与多光谱图像融合的方法,其特征在于,步骤5中利用已经训练的神经网络重构出高分辨的多光谱图像的具体过程为:
步骤5.1,对需要测试的低空间分辨的多光谱图像进行逐波段的插值操作,得到初始放大的多光谱图像 中每个波段图像的像素大小与全色图像的大小保持一致;
步骤5.2,将多光谱图像的每个波段按照从上到下,从左至右的方式划分成重叠的图像块其中k代表多光谱图像波段的索引值,K代表多光谱图像图像的波段数量,j代表图像块的索引值;
步骤5.3,将图像块作为经过预训练和微调整的深度神经网络的输入数据,经过该神经网络的前馈函数重构出相应的高分辨图像块
步骤5.4,对重构的重叠高分辨图像块逐层进行平均聚合,从而得到融合的高分辨多光谱图像
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410306238.7A CN104112263B (zh) | 2014-06-28 | 2014-06-28 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410306238.7A CN104112263B (zh) | 2014-06-28 | 2014-06-28 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104112263A CN104112263A (zh) | 2014-10-22 |
CN104112263B true CN104112263B (zh) | 2018-05-01 |
Family
ID=51709043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410306238.7A Active CN104112263B (zh) | 2014-06-28 | 2014-06-28 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104112263B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325972A (zh) * | 2018-07-25 | 2019-02-12 | 深圳市商汤科技有限公司 | 激光雷达稀疏深度图的处理方法、装置、设备及介质 |
US11800246B2 (en) | 2022-02-01 | 2023-10-24 | Landscan Llc | Systems and methods for multispectral landscape mapping |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104361571B (zh) * | 2014-11-21 | 2017-05-10 | 南京理工大学 | 基于边缘信息和支持度变换的红外与微光图像融合方法 |
CN104361328B (zh) * | 2014-11-21 | 2018-11-02 | 重庆中科云丛科技有限公司 | 一种基于自适应多列深度模型的人脸图像正规化方法 |
CN104463172B (zh) * | 2014-12-09 | 2017-12-22 | 重庆中科云丛科技有限公司 | 基于人脸特征点形状驱动深度模型的人脸特征提取方法 |
CN104978580B (zh) * | 2015-06-15 | 2018-05-04 | 国网山东省电力公司电力科学研究院 | 一种用于无人机巡检输电线路的绝缘子识别方法 |
CN105163121B (zh) * | 2015-08-24 | 2018-04-17 | 西安电子科技大学 | 基于深度自编码网络的大压缩比卫星遥感图像压缩方法 |
US9971355B2 (en) * | 2015-09-24 | 2018-05-15 | Intel Corporation | Drone sourced content authoring using swarm attestation |
CN105354805B (zh) * | 2015-10-26 | 2020-03-06 | 京东方科技集团股份有限公司 | 深度图像的去噪方法和去噪设备 |
CN105512725B (zh) * | 2015-12-14 | 2018-08-28 | 杭州朗和科技有限公司 | 一种神经网络的训练方法和设备 |
CN105809693B (zh) * | 2016-03-10 | 2018-11-16 | 西安电子科技大学 | 基于深度神经网络的sar图像配准方法 |
CN105868572B (zh) * | 2016-04-22 | 2018-12-11 | 浙江大学 | 一种基于自编码器的心肌缺血位置预测模型的构建方法 |
CN106709997B (zh) * | 2016-04-29 | 2019-07-19 | 电子科技大学 | 基于深度神经网络和稀疏自编码器的三维关键点检测方法 |
CN109564636B (zh) * | 2016-05-31 | 2023-05-02 | 微软技术许可有限责任公司 | 使用一个神经网络来训练另一个神经网络 |
CN106485688B (zh) * | 2016-09-23 | 2019-03-26 | 西安电子科技大学 | 基于神经网络的高光谱图像重构方法 |
CN106529428A (zh) * | 2016-10-31 | 2017-03-22 | 西北工业大学 | 基于深度学习的水下目标识别方法 |
CN106782511A (zh) * | 2016-12-22 | 2017-05-31 | 太原理工大学 | 修正线性深度自编码网络语音识别方法 |
CN106840398B (zh) * | 2017-01-12 | 2018-02-02 | 南京大学 | 一种多光谱光场成像方法 |
CN107369189A (zh) * | 2017-07-21 | 2017-11-21 | 成都信息工程大学 | 基于特征损失的医学图像超分辨率重建方法 |
CN107784676B (zh) * | 2017-09-20 | 2020-06-05 | 中国科学院计算技术研究所 | 基于自动编码器网络的压缩感知测量矩阵优化方法和系统 |
CN108012157B (zh) * | 2017-11-27 | 2020-02-04 | 上海交通大学 | 用于视频编码分数像素插值的卷积神经网络的构建方法 |
CN108182441B (zh) * | 2017-12-29 | 2020-09-18 | 华中科技大学 | 平行多通道卷积神经网络、构建方法及图像特征提取方法 |
CN108537742B (zh) * | 2018-03-09 | 2021-07-09 | 天津大学 | 一种基于生成对抗网络的遥感图像全色锐化方法 |
CN108460749B (zh) * | 2018-03-20 | 2020-06-16 | 西安电子科技大学 | 一种高光谱与多光谱图像的快速融合方法 |
CN109102461B (zh) * | 2018-06-15 | 2023-04-07 | 深圳大学 | 低采样分块压缩感知的图像重构方法、装置、设备及介质 |
CN109272010B (zh) * | 2018-07-27 | 2021-06-29 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
CN108960345A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种遥感图像的融合方法、系统及相关组件 |
CN109447977B (zh) * | 2018-11-02 | 2021-05-28 | 河北工业大学 | 一种基于多光谱深度卷积神经网络的视觉缺陷检测方法 |
CN109410164B (zh) * | 2018-11-14 | 2019-10-22 | 西北工业大学 | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 |
CN109636769B (zh) * | 2018-12-18 | 2022-07-05 | 武汉大学 | 基于双路密集残差网络的高光谱和多光谱图像融合方法 |
CN109767412A (zh) * | 2018-12-28 | 2019-05-17 | 珠海大横琴科技发展有限公司 | 一种基于深度残差神经网络的遥感影像融合方法及系统 |
CN110415199B (zh) * | 2019-07-26 | 2021-10-19 | 河海大学 | 基于残差学习的多光谱遥感图像融合方法及装置 |
CN110473247A (zh) * | 2019-07-30 | 2019-11-19 | 中国科学院空间应用工程与技术中心 | 立体匹配方法、装置及存储介质 |
CN110738605B (zh) * | 2019-08-30 | 2023-04-28 | 山东大学 | 基于迁移学习的图像去噪方法、系统、设备及介质 |
CN110596017B (zh) * | 2019-09-12 | 2022-03-08 | 生态环境部南京环境科学研究所 | 一种基于空间权重约束和变分自编码特征提取的高光谱影像土壤重金属浓度评估方法 |
CN111223044B (zh) * | 2019-11-12 | 2024-03-15 | 郑州轻工业学院 | 基于密集连接网络的全色图像与多光谱图像融合的方法 |
CN111292260A (zh) * | 2020-01-17 | 2020-06-16 | 四川翼飞视科技有限公司 | 一种进化神经网络的构建方法及基于进化神经网络的高光谱图像去噪方法 |
CN111681171B (zh) * | 2020-06-15 | 2024-02-27 | 中国人民解放军军事科学院国防工程研究院 | 基于分块匹配的全色与多光谱图像高保真融合方法及装置 |
CN113066030B (zh) * | 2021-03-31 | 2022-08-02 | 山东师范大学 | 一种基于空谱融合网络的多光谱图像全色锐化方法及系统 |
CN113066037B (zh) * | 2021-03-31 | 2022-08-02 | 山东师范大学 | 基于图注意力机制的多光谱与全色图像融合方法及系统 |
CN113566971B (zh) * | 2021-07-19 | 2023-08-11 | 中北大学 | 一种基于神经网络的多光谱高温瞬态测量系统 |
CN113421216B (zh) * | 2021-08-24 | 2021-11-12 | 湖南大学 | 一种高光谱融合计算成像方法及系统 |
CN114119443B (zh) * | 2021-11-28 | 2022-07-01 | 特斯联科技集团有限公司 | 一种基于多光谱相机的图像融合系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208102A (zh) * | 2013-03-29 | 2013-07-17 | 上海交通大学 | 一种基于稀疏表示的遥感图像融合方法 |
-
2014
- 2014-06-28 CN CN201410306238.7A patent/CN104112263B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208102A (zh) * | 2013-03-29 | 2013-07-17 | 上海交通大学 | 一种基于稀疏表示的遥感图像融合方法 |
Non-Patent Citations (3)
Title |
---|
Image Deblurring and Super-Resolution by Adaptive Sparse Domain Selection and Adaptive Regularization;Weisheng Dong等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20110731;第20卷(第7期);第1838-1857页 * |
Two-Step Sparse Coding for the Pan-Sharpening of Remote Sensing Images;Cheng Jiang等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20140531;第7卷(第5期);第1792-1805页 * |
基于非下采样轮廓波变换的全色图像与多光谱图像融合方法研究;傅瑶等;《液晶与显示》;20130630;第28卷(第3期);第429-434页 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325972A (zh) * | 2018-07-25 | 2019-02-12 | 深圳市商汤科技有限公司 | 激光雷达稀疏深度图的处理方法、装置、设备及介质 |
CN109325972B (zh) * | 2018-07-25 | 2020-10-27 | 深圳市商汤科技有限公司 | 激光雷达稀疏深度图的处理方法、装置、设备及介质 |
US11800246B2 (en) | 2022-02-01 | 2023-10-24 | Landscan Llc | Systems and methods for multispectral landscape mapping |
Also Published As
Publication number | Publication date |
---|---|
CN104112263A (zh) | 2014-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104112263B (zh) | 基于深度神经网络的全色图像与多光谱图像融合的方法 | |
CN112184554B (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
Yuan et al. | A multiscale and multidepth convolutional neural network for remote sensing imagery pan-sharpening | |
CN110660038B (zh) | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 | |
CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
CN105069825B (zh) | 基于深度置信网络的图像超分辨率重建方法 | |
CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
CN110070518B (zh) | 一种基于双路径支持下的高光谱图像超分辨率制图方法 | |
CN113129247B (zh) | 基于自适应多尺度残差卷积的遥感图像融合方法及介质 | |
CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
CN103020939B (zh) | 利用多时相数据去除光学遥感影像大面积厚云的方法 | |
CN109636769A (zh) | 基于双路密集残差网络的高光谱和多光谱图像融合方法 | |
CN107590515A (zh) | 基于熵率超像素分割的自编码器的高光谱图像分类方法 | |
CN106022355A (zh) | 基于3dcnn的高光谱图像空谱联合分类方法 | |
CN113066037B (zh) | 基于图注意力机制的多光谱与全色图像融合方法及系统 | |
Li et al. | HyperNet: A deep network for hyperspectral, multispectral, and panchromatic image fusion | |
CN110189282A (zh) | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 | |
CN114581347B (zh) | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 | |
CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
CN105719262B (zh) | 基于子字典稀疏重构的全色与多光谱遥感图像融合方法 | |
CN114494846A (zh) | 基于多尺度内卷网络的高光谱图像分类的方法 | |
CN113327205A (zh) | 基于卷积神经网络的相位去噪网络及方法 | |
JP2021108120A (ja) | 点データをラスターデータに組み合わせる機械学習のための方法、装置、及び、プログラム | |
CN112686830A (zh) | 基于图像分解的单一深度图的超分辨率方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |