CN111223044B - 基于密集连接网络的全色图像与多光谱图像融合的方法 - Google Patents
基于密集连接网络的全色图像与多光谱图像融合的方法 Download PDFInfo
- Publication number
- CN111223044B CN111223044B CN201911098609.6A CN201911098609A CN111223044B CN 111223044 B CN111223044 B CN 111223044B CN 201911098609 A CN201911098609 A CN 201911098609A CN 111223044 B CN111223044 B CN 111223044B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- low
- network
- multispectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title description 9
- 230000004927 fusion Effects 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims description 16
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 1
- 230000003595 spectral effect Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10041—Panchromatic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于密集连接网络的全色图像与多光谱图像融合的方法。该方法包括：构建训练集，包括N个由高分辨图像块和低分辨图像块组成的图像块对；设计用于遥感图像融合的密集连接网络，并利用高斯分布法初始化密集连接网络中每层网络的权值；将低分辨图像块输入密集连接网络，利用初始化的取值通过正向传播对密集连接网络进行预训练得到对应的融合图像块；利用反向传播算法对密集连接网络进行调整，直至融合图像块与高分辨图像块的均方误差收敛，并将此时的密集连接网络作为遥感图像融合网络模型；输入给定的低分辨多光谱图像和全色图像，利用遥感图像融合网络模型进行正向传播，得到对应的高分辨融合图像。
Description
技术领域
本发明涉及遥感图像处理技术领域，尤其涉及一种基于密集连接网络的全色图像与多光谱图像融合的方法。
背景技术
遥感图像在军事和国民经济中具有非常重要的应用价值。一般，遥感卫星上同时载有全色传感器和多光谱传感器，全色传感器对大范围的光谱进行光谱响应得到全色图像；多光谱传感器在采集二维空间信息的基础上同时采集光谱特性、偏振特性等多维信息以得到光谱丰富的多光谱图像。全色图像即灰度图像，具有高的空间分辨率，但光谱分辨率较低，对地物类型的识别、确定极为不利。多光谱图像具有丰富的光谱信息，但是空间分辨率较低。多光谱图像和全色图像融合就是将全色图像空间特征与多光谱图像光谱特征组合成一幅影像，使融合后的影像不仅具有高的空间分辨率，还具有丰富的光谱信息，达到影像增强的目的。
遥感图像融合技术克服了单一传感器图像的局限性和差异性，获取更为全面和准确的场景描述，提高图像的清晰度和可理解性，以便进一步进行图像的分析和处理。随着遥感技术的迅速发展，如何有效利用不同传感器、不同分辨率的多源数据成了遥感应用领域的瓶颈问题。目前常用的遥感图像融合方法主要包括空间域算法、变换域算法、基于压缩感知的融合算法以及基于深度学习的融合算法。空间域算法主要是利用一些简单的算术或替换算法直接对图像的像素进行简单的处理，主要包括灰度加权平均法，主成份分析(PCA)方法等。常用的基于变换域的图像融合算法有基于金字塔变换、基于小波变换以及基于多尺度几何变换的图像融合算法。基于压缩感知的融合方法的本质是利用信号的稀疏性，通过引入稀疏正则化项来约束图像融合的过程。
近年来，随着深度学习的持续发展，基于该理论的遥感图像融合算法也开始崭露头角，并且取得了很好的效果。黄伟等人在“W.Huang,L.Xiao,Z.Wei,H.Liu,and S.Tang,"ANew Pan-Sharpening Method With Deep Neural Networks."IEEE Geosci.RemoteSens.Lett.,vol.12,no.5.1037-1041,May 2015”提出一种基于深度神经网络的遥感图像融合问题的全新锐化方法，通过改进的稀疏降噪自动编码器算法来训练高分辨率和低分辨率图像块之间的关系，最后利用训练好的深度网络重构融合图像。2016年，Giuseppe等人在“Giuseppe,Masi,et al."Pansharpening by Convolutional Neural Networks."RemoteSensing 8.7(2016):594-.”提出了一种利用卷积神经网络的遥感图像融合算法，在输入层增加辐射索引特征图扩大输入维度，使该方法更具有实用性。随后，Yancong Wei等人在“Wei,Yancong,et al."Boosting the Accuracy of Multispectral ImagePansharpening by Learning a Deep Residual Network."IEEE Geoscience&RemoteSensing Letters 14.10(2017):1795-1799.”中提出利用深度残差网络学习遥感图像融合，在网络设计中加入残差模块构成残差网络，有效地解决了深层网络的退化问题，并取得很好的融合效果。但上述方法使用的卷积网络模型，只能从相邻的前一层接收输入，并把输出传递给后一层。这种相邻层连接的网络结构不仅极大地限制了卷积神经网络的多样性和灵活性，而且在加深网络结构时越来越难以训练，容易出现梯度消失等问题。
发明内容
为解决现有的遥感图像融合算法并没有很好地利用卷积神经网络的灵活性和多样性，且在加深网络结构时难以训练的问题，本发明提供一种基于密集连接网络的全色图像与多光谱图像融合的方法。
本发明提供的基于密集连接网络的全色图像与多光谱图像融合的方法，包括以下步骤：
步骤1：构建训练集，所述训练集包括N个由高分辨图像块和与所述高分辨图像块/>对应的低分辨图像块Gi组成的图像块对/>所述高分辨图像块/>采样于已知的高分辨多光谱图像，所述低分辨图像块Gi采样于已知的低分辨多光谱图像和全色图像，i＝1,2…,N；
步骤2：设计用于遥感图像融合的密集连接网络，并利用高斯分布法初始化密集连接网络中每层网络的权值；
步骤3：将低分辨图像块Gi输入所述密集连接网络，利用初始化的取值通过正向传播对密集连接网络进行预训练得到与低分辨图像块Gi对应的融合图像块Fi；
步骤4：利用反向传播算法对密集连接网络进行调整，直至融合图像块Fi与高分辨图像块的均方误差收敛，并将此时的密集连接网络作为遥感图像融合网络模型；
步骤5：输入给定的低分辨多光谱图像和全色图像，利用所述遥感图像融合网络模型进行正向传播，得到对应的高分辨融合图像。
进一步地，所述步骤1具体为：
步骤1.1：分别对原始全色图像fPAN((H×scale)×(W×scale))和原始多光谱图像fMS(H×W×S)进行空间模糊和下采样，得到低分辨全色图像gPAN(H×W)和低分辨多光谱图像其中，H为全色图像的长度，W为全色图像的宽度，scale为下采样因子，S为多光谱图像的波段数；
步骤1.2：对低分辨多光谱图像进行插值，得到放大的低分辨多光谱图像GMS(H×W×S)；
步骤1.3：将低分辨多光谱图像GMS(H×W×S)与低分辨全色图像gPAN(H×W)拼接成一个S+1维的低分辨多光谱图像G＝{GMS,gPAN}(H×W×(S+1))；
步骤1.4：以步长为l、窗口大小为h×w的滑块分别在低分辨多光谱图像G＝{GMS,gPAN}(H×W×(S+1))和原始多光谱图像fMS(H×W×S)抽取得到像素位置一致的低分辨图像块Gi和高分辨图像块组成N个图像块对/>
进一步地，所述步骤2具体为：
步骤2.1：利用预设复合函数Hl(·)将L个卷积层串联起来构成一个生长率为k的密连模块，所述L个卷积层允许任意两个非相邻层之间进行跨层连接；
步骤2.2：将输入层、独立卷积层、两个所述密连模块、过渡层以及输出层进行组合得到用于遥感图像融合的密集连接网络；
步骤2.3：整理密集连接网络的每层网络中的卷积核的大小与数量，然后从均值为0、方差为1的高斯分布中采样，将采样得到的随机值作为每层网络的初始权值。
进一步地，所述步骤4具体为：
步骤4.1：根据式(1)计算融合图像块Fi与高分辨图像块的均方误差L(θ)：
其中，n表示输入图像的批次；
步骤4.2：利用反向传播算法更新每层网络的权值，再次对低分辨图像块Gi进行正向传播得到与低分辨图像块Gi对应的融合图像块Fi；
步骤4.3：重复执行步骤4.1和步骤4.2，直到均方误差L(θ)收敛，停止训练，保存此时的网络模型并作为遥感图像融合网络模型。
进一步地，所述步骤5具体为：
步骤5.1：对给定的低分辨多光谱图像进行插值放大，使其与给定的全色图像大小相同，其中，设定给定的低分辨多光谱图像为S维图像；
步骤5.2：将相同大小的低分辨多光谱图像和全色图像进行张量拼接，得到S+1维的低分辨多维图像；
步骤5.3：将所述S+1维的低分辨多维图像输入到所述遥感图像融合网络模型中进行正向传播，得到对应的高分辨融合图像。
进一步地，步骤1中，N的取值范围为[104,106]。
进一步地，步骤1.4中，h与w的取值范围均为[10,60]，l的取值范围为[1,10]。
进一步地，步骤2.1中，L的取值范围为[3,6]，k的取值范围为[12,24]。
本发明的有益效果：
1.本发明充分利用了密集连接网络特征重用、任意层间互联的特点，通过在卷积神经网络中添加多个密连模块，使得每层网络所提取到的特征得到充分利用，增加了图像之间变化的表达能力，在加深网络深度的同时有效解决了梯度消失的问题，从而提高融合图像的清晰度和可理解性。
2.本发明在测试使用阶段，只需将任意大小的低分辨多光谱图像进行插值放大，使其与对应的全色图像大小一致，再与全色图像拼接作为输入图像，直接进行正向传播即可得到高分辨融合图像，不需要考虑输入图像的大小，使本发明更具有使用价值。
3.与现有的图像融合方法相比，经本发明融合得到的高分辨多光谱图像不仅具有高的空间分辨率，还具有丰富的光谱信息。
附图说明
图1为本发明实施例提供的基于密集连接网络的全色图像与多光谱图像融合的方法的流程示意图；
图2为本发明实施例提供的基于密集连接网络的全色图像与多光谱图像融合的方法的原理框架图；
图3为本发明实施例提供的密连模块的结构示意图；
图4为本发明实施例提供的密集连接网络的网络结构示意图；
图5为本发明实施例提供的低分辨多光谱图像和低分辨全色图像；
图6为本发明实施例提供的现有图像融合方法和本发明图像融合方法对IKONOS卫星数据进行融合的对比结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于密集连接网络的全色图像与多光谱图像融合的方法，包括以下步骤：
S101：构建训练集，所述训练集包括N个由高分辨图像块和与所述高分辨图像块/>对应的低分辨图像块Gi组成的图像块对/>所述高分辨图像块/>采样于已知的高分辨多光谱图像，所述低分辨图像块Gi采样于已知的低分辨多光谱图像和全色图像，i＝1,2…,N；可选地，N的取值范围为[104,106]。其中N是训练集中图像块对的数量，也就是本实验的训练样本数量，将其数量限定在此范围内保证了本实验模型的可靠性。
具体地，所述步骤S101具体为：
S1011：分别对原始全色图像fPAN((H×scale)×(W×scale))其中，和原始多光谱图像fMS(H×W×S)进行空间模糊和下采样，得到低分辨全色图像gPAN(H×W)和低分辨多光谱图像其中，H为全色图像的长度，W为全色图像的宽度，scale为下采样因子，S为多光谱图像的波段数。
S1012：对低分辨多光谱图像进行插值，得到放大的低分辨多光谱图像GMS(H×W×S)；本步骤要求图像GMS(H×W×S)中每个波段图像的大小与全色图像gPAN(H×W)的大小保持一致。
S1013：将低分辨多光谱图像GMS(H×W×S)与低分辨全色图像gPAN(H×W)拼接成一个S+1维的低分辨多光谱图像G＝{GMS,gPAN}(H×W×(S+1))；
S1014：以步长为l、窗口大小为h×w的滑块分别在低分辨多光谱图像G＝{GMS,gPAN}(H×W×(S+1))和原始多光谱图像fMS(H×W×S)抽取得到像素位置一致的低分辨图像块Gi和高分辨图像块组成N个图像块对/>可选地，h与w的取值范围均为[10,60]，l的取值范围为[1,10]。其中h和w是训练样本图像的大小，是按步长l从遥感图像中剪裁得到的，目的是为了得到更多的训练样本。一般可根据原始图片的数量设定，由于遥感数据的稀缺，本发明将其训练样本中图像的大小设置为[10,60],并且为了不重合地剪裁得到更多实验数据，将其步长设置为[1,10]。
S102：设计用于遥感图像融合的密集连接网络，并利用高斯分布法初始化密集连接网络中每层网络的权值；
具体地，所述步骤S102具体为：
S1021：利用预设复合函数Hl(·)将L个卷积层串联起来构成一个生长率为k的密连模块，所述L个卷积层允许任意两个非相邻层之间进行跨层连接；可选地，L的取值范围为[3,6]，k的取值范围为[12,24]。其中L是密连模块中卷积层的数量，为了减少密集连接网络的参数，将L限定在[3,6]范围内。k为生长率，为了控制网络的宽度和提高参数的效率，超参数k一般被限制为小整数，一般最小为k＝12。
S1022：将输入层、独立卷积层、两个所述密连模块、过渡层以及输出层进行组合得到用于遥感图像融合的密集连接网络；
S1023：整理密集连接网络的每层网络中的卷积核的大小与数量，然后从均值为0、方差为1的高斯分布中采样，将采样得到的随机值作为每层网络的初始权值。
S103：将低分辨图像块Gi输入所述密集连接网络，利用初始化的取值通过正向传播对密集连接网络进行预训练得到与低分辨图像块Gi对应的融合图像块Fi；
S104：利用反向传播算法对密集连接网络进行调整，直至融合图像块Fi与高分辨图像块的均方误差收敛，并将此时的密集连接网络作为遥感图像融合网络模型；
具体地，所述步骤S104具体为：
S1041：根据式(1)计算融合图像块Fi与高分辨图像块的均方误差L(θ)：
其中，n表示输入图像的批次；
S1042：利用反向传播算法更新每层网络的权值，再次对低分辨图像块Gi进行正向传播得到与低分辨图像块Gi对应的融合图像块Fi；
S1043：重复执行步骤S1041和步骤S1042，直到均方误差L(θ)收敛，停止训练，保存此时的网络模型并作为遥感图像融合网络模型。
S105：输入给定的低分辨多光谱图像和全色图像，利用所述遥感图像融合网络模型进行正向传播，得到对应的高分辨融合图像。
具体地，步骤S105具体为：
S1051：对给定的低分辨多光谱图像进行插值放大，使其与给定的全色图像大小相同，其中，设定给定的低分辨多光谱图像为S维图像；
S1052：将相同大小的低分辨多光谱图像和全色图像进行张量拼接，得到S+1维的低分辨多维图像；
S1053：将所述S+1维的低分辨多维图像输入到所述遥感图像融合网络模型中进行正向传播，得到对应的高分辨融合图像。
如图2所示，本发明实施例提供又一种基于密集连接网络的全色图像与多光谱图像融合的方法，包括以下步骤：
S201：构建低分辨与高分辨图像块对数据集具体过程为：
S2011：对原始全色图像fPAN和原始多光谱图像fMS进行采样因子为4的下采样操作，分别得到一个大小为600×600的全色图像gPAN和一个大小为150×150的4波段多光谱图像gMS；
S2012：对多光谱图像gMS进行双立方插值操作，得到大小为600×600×4的低分辨多光谱图像GMS；
S2013：将低分辨全色图像gPAN与低分辨多光谱图像GMS进行张量拼接，得到5波段的低分辨多光谱图像G＝{GMS,gPAN}，全色图像gPAN如图5(a)所示，低分辨多光谱图像GMS如图5(b)所示；
S2014：以步长为10，窗口大小为41×41的滑块分别在低分辨多光谱图像G和原始多光谱图像fMS中抽取低分辨图像块Gi和高分辨图像块得到23345对像素位置一致的高分辨和低分辨图像块对的数据集/>
S202：设计密集连接网络结构，利用高斯分布法给网络的每层权重进行初始化，具体过程为：
S2021：将L(如，L＝5)个允许任意两个非相邻层之间进行跨层连接的卷积层用改进的复合函数Hlnew(.)串联起来，构成一个生长率为k＝12的密连模块，结构如图3所示；
具体地，改进的的Hlnew(.)复合函数去除了块归一化层，仅由校正线性单元、瓶颈层和3×3卷积层组成。在密连模块中,第L层特征图xL是利用前面L-1个层的特征图x0,x1,…,xL-1来计算的，可以表达为xL＝Hl([x0,x1,…,xL-1；])；其中[x0,x1,…,xL-1]表示对第0层到第L-1层产生的特征图进行张量拼接。
S2022：将输入层、独立卷积层、两个密连模块、过渡层以及输出层组成一个用于遥感图像融合的密集连接网络，结构如图4所示；
S2023：整理密集连接网络中每层卷积核的大小与个数，然后从均值为0，方差为1的高斯分布中采样，将这些采样得到的随机值作为每层的初始权值。
S203：将低分辨率的图像块Gi输入密集连接网络，通过正向传播对网络进行预训练得到对应的融合图像块Fi。
S204：利用反向传播算法对密集连接网络进行调整，具体过程为：
S2041：根据公式求融合图像块Fi与高分辨图像块/>的均方误差值，其中n＝128；
S2042：利用反向传播算法对网络进行调整，更新网络的权值，再次对低分辨图像块Gi进行正向传播得到融合图像块Fi并计算L(θ)，观察L(θ)是否有收敛的趋势；
S2043：重复步骤S2041和步骤S2042，直到融合图像块与高分辨图像块的均方误差L(θ)值收敛，停止训练，保存网络模型。
S205：利用训练好的密集连接网络得到融合的高分辨多光谱图像，具体过程为：
S2051：对大小为150×150×4低分辨多光谱图像进行插值放大得到一个600×600×4多光谱图像；
S2052：将600×600×4多光谱图像与大小为600×600的全色图像进行张量拼接，得到一个600×600×5的多维图像；
S2053：将600×600×5的多维图像输入训练好的密集连接网络中进行正向传播，得到期望的高分辨融合图像。
下面结合图6所示，通过实验来具体说明本发明的有效性及实用性。
本实验数据处理部分在MATLAB R2012a平台上，网络模型的训练使用Tensorflow平台，计算环境为Intel(R)Xeion(R)CPU 3.20GHz，内存4G的PC机。实验中对比算法包括：Gram-Schmidt(GS)正交化方法、基于多孔算法的小波变换方法(átrous wavelettransform,ATWT)、PNN方法以及DRPNN方法。
为了验证本发明的有效性及实用性，对IKONOS卫星拍摄的数据进行图像融合实验，具体实验如下：
IKONOS是一个可采集1m分辨率全色图像和4m分辨率多光谱图像的卫星。为了定量地评估融合的结果，本发明对该数据进行了模拟仿真实验：首先，将给定的全色图像和多光谱图像进行采样因子为4的下采样，得到一个大小为600×600的低分辨全色图像和一个大小为150×150×4的低分辨多光谱图像，并对大小为150×150×4的低分辨多光谱图像进行插值放大，得到大小为600×600×4的低分辨多光谱图像；然后，将下采样后的全色图像和插值后的多光谱图像进行融合得到一个大小为600×600×4的多光谱图像；最后，将给定的多光谱图像当作参考图像，使其与融合得到的多光谱图像进行对比，计算得到相应的定量评估的性能指标。
本实验采用大小为600×600的低分辨全色图像和大小为600×600×4的低分辨多光谱图像作为输入图像，分别如图5(a)和图5(b)所示。利用上述的现有图像融合方法和本发明的图像融合方法对该数据进行融合，得到的结构如图6所示。其中图6(a)是GS方法融合的结果；图6(b)是ATWT方法融合的结果；图6(c)是PNN方法融合的结果；图6(d)是DRPNN方法融合的结果；图6(e)是利用本发明方法融合的结果；图6(f)是原始高分辨多光谱图像。从图6显示的结果可看到，与图6(f)相比，图6(a)和图6(b)的结果出现了严重的色彩差异，反映了这两个方法在融合的过程其光谱信息出现了严重的畸变；图6(c)比图6(b)的色彩有了较大的改善，但是空间结构却存在明显的块状效应；图6(d)在空间结构恢复和色彩保持方面有了明显的改善，但其空间信息过度平滑，边缘和纹理的细节信息都有损失。图6(e)的结果无论在空间结构恢复还是色彩保持方面都是接近于参考图像。
表1给出了本发明方法和对比方法的性能指标情况。本实验采用了如下的性能指标：相关系数(Correlation Coefficient,CC)计算了融合的多光谱图像与原始多光谱图像之间空间像素的相似度，平均的相关系数(CCAVG)是指多光谱图像4个波段的相关系数的平均值，相关系数的值越大，表示融合的结果越好。均方误差(Root Mean Squared error,RMSE)反映了图像像素值之间的差异，平均均方误差(RMSEAVG)是指多光谱图像4个波段的均方误差的平均值，均方误差的值越小，表示融合的结果越好。ERGAS(Erreur RelativeGlobal Adimensionnelle de Synthese)表示多光谱图像全局反射率之间的差异，其值越小，表示融合的结果越好。光谱角(Spectral Angle Mapper,SAM)反映了多光谱图像的光谱曲线之间的差异，其值越小，表示融合的结果越好。Q4表示了包含4个波段的多光谱的相关系数，平均偏差和对比度差异之间的乘积，其值越大，表示融合的结果越好。
在表1中，黑体的数字表示每项指标中最好的值，每项指标中次优的值用下划线的数字进行表示。从图像融合质量的各项客观评价指标来看，本发明所提方法的各种指标都优于其他方法。
表1不同方法对IKONOS数据集进行融合图像定量评价结果
通过上述实验结果表明，本发明的方法利用密集连接网络能很好地对多光谱图像和全色图像进行信息融合，使融合后的多光谱图像不仅具有高空间分辨率，还能很好地保留其光谱信息。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.基于密集连接网络的全色图像与多光谱图像融合的方法，其特征在于，包括：
步骤1：构建训练集，所述训练集包括N个由高分辨图像块和与所述高分辨图像块/>对应的低分辨图像块Gi组成的图像块对/>所述高分辨图像块/>采样于已知的高分辨多光谱图像，所述低分辨图像块Gi采样于已知的低分辨多光谱图像和全色图像，i＝1,2…,N；
所述步骤1具体为：
步骤1.1：分别对原始全色图像fPAN((H×scale)×(W×scale))和原始多光谱图像fMS(H×W×S)进行空间模糊和下采样，得到低分辨全色图像gPAN(H×W)和低分辨多光谱图像其中，H为全色图像的长度，W为全色图像的宽度，scale为下采样因子，S为多光谱图像的波段数；
步骤1.2：对低分辨多光谱图像进行插值，得到放大的低分辨多光谱图像GMS(H×W×S)；
步骤1.3：将低分辨多光谱图像GMS(H×W×S)与低分辨全色图像gPAN(H×W)拼接成一个S+1维的低分辨多光谱图像G＝{GMS,gPAN}(H×W×(S+1))；
步骤1.4：以步长为l、窗口大小为h×w的滑块分别在低分辨多光谱图像G＝{GMS,gPAN}(H×W×(S+1))和原始多光谱图像fMS(H×W×S)抽取得到像素位置一致的低分辨图像块Gi和高分辨图像块组成N个图像块对/>
步骤2：设计用于遥感图像融合的密集连接网络，并利用高斯分布法初始化密集连接网络中每层网络的权值；
所述步骤2具体为：
步骤2.1：利用预设复合函数Hl()将L个卷积层串联起来构成一个生长率为k的密连模块，所述L个卷积层允许任意两个非相邻层之间进行跨层连接；所述复合函数去除了块归一化层，仅由校正线性单元、瓶颈层和3×3卷积层组成；
步骤2.2：将输入层、第一个3×3卷积层、第一个密连模块、过渡层、第二个密连模块、两个由激活层和1×1卷积层组成的卷积模块、第二个3×3卷积层以及输出层依次连接得到用于遥感图像融合的密集连接网络；
步骤2.3：整理密集连接网络的每层网络中的卷积核的大小与数量，然后从均值为0、方差为1的高斯分布中采样，将采样得到的随机值作为每层网络的初始权值；
步骤3：将低分辨图像块Gi输入所述密集连接网络，利用初始化的权值通过正向传播对密集连接网络进行预训练得到与低分辨图像块Gi对应的融合图像块Fi；
步骤4：利用反向传播算法对密集连接网络进行调整，直至融合图像块Fi与高分辨图像块的均方误差收敛，并将此时的密集连接网络作为遥感图像融合网络模型；
所述步骤4具体为：
步骤4.1：根据式(1)计算融合图像块Fi与高分辨图像块的均方误差L(θ)：
其中，n表示输入图像的批次；
步骤4.2：利用反向传播算法更新每层网络的权值，再次对低分辨图像块Gi进行正向传播得到与低分辨图像块Gi对应的融合图像块Fi；
步骤4.3：重复执行步骤4.1和步骤4.2，直到均方误差L(θ)收敛，停止训练，保存此时的网络模型并作为遥感图像融合网络模型；
步骤5：输入给定的低分辨多光谱图像和全色图像，利用所述遥感图像融合网络模型进行正向传播，得到对应的高分辨融合图像。
2.根据权利要求1所述的方法，其特征在于，所述步骤5具体为：
步骤5.1：对给定的低分辨多光谱图像进行插值放大，使其与给定的全色图像大小相同，其中，设定给定的低分辨多光谱图像为S维图像；
步骤5.2：将相同大小的低分辨多光谱图像和全色图像进行张量拼接，得到S+1维的低分辨多维图像；
步骤5.3：将所述S+1维的低分辨多维图像输入到所述遥感图像融合网络模型中进行正向传播，得到对应的高分辨融合图像。
3.根据权利要求1所述的方法，其特征在于，步骤1中，N的取值范围为[104,106]。
4.根据权利要求1所述的方法，其特征在于，步骤1.4中，h与w的取值范围均为[10,60]，l的取值范围为[1,10]。
5.根据权利要求1所述的方法，其特征在于，步骤2.1中，L的取值范围为[3,6]，k的取值范围为[12,24]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911098609.6A CN111223044B (zh) | 2019-11-12 | 2019-11-12 | 基于密集连接网络的全色图像与多光谱图像融合的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911098609.6A CN111223044B (zh) | 2019-11-12 | 2019-11-12 | 基于密集连接网络的全色图像与多光谱图像融合的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111223044A CN111223044A (zh) | 2020-06-02 |
| CN111223044B true CN111223044B (zh) | 2024-03-15 |
Family
ID=70828990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911098609.6A Active CN111223044B (zh) | 2019-11-12 | 2019-11-12 | 基于密集连接网络的全色图像与多光谱图像融合的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111223044B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
| CN110189282A (zh) * | 2019-05-09 | 2019-08-30 | 西北工业大学 | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7936949B2 (en) * | 2006-12-01 | 2011-05-03 | Harris Corporation | Panchromatic modulation of multispectral imagery |
-
2019
- 2019-11-12 CN CN201911098609.6A patent/CN111223044B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
| CN110189282A (zh) * | 2019-05-09 | 2019-08-30 | 西北工业大学 | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于深度支撑值学习网络的遥感图像融合;李红等;《计算机学报》(第08期);全文 * |
| 李鑫等.《微处理器系统级片上温度感知技术》.2019,第97页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111223044A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109064396B (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN108122197B (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| CN109859110B (zh) | 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 | |
| CN110660038A (zh) | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 | |
| CN109003239B (zh) | 一种基于迁移学习神经网络的多光谱图像锐化方法 | |
| CN109636769A (zh) | 基于双路密集残差网络的高光谱和多光谱图像融合方法 | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| CN111738954B (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
| CN111696043A (zh) | 一种三维fsrcnn的高光谱图像超分辨率重建算法 | |
| CN109064402B (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| CN115311184A (zh) | 基于半监督深度神经网络的遥感图像融合方法及系统 | |
| CN115861083B (zh) | 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 | |
| CN113222812A (zh) | 一种基于信息流加强深度展开网络的图像重建方法 | |
| CN116957940A (zh) | 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 | |
| CN111223044B (zh) | 基于密集连接网络的全色图像与多光谱图像融合的方法 | |
| CN107133921B (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及系统 | |
| Lepcha et al. | An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering | |
| CN114511470B (zh) | 一种基于注意力机制的双分支全色锐化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |