CN109410164A - 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 - Google Patents
多尺度卷积神经网络的卫星全色与多光谱图像融合方法 Download PDFInfo
- Publication number
- CN109410164A CN109410164A CN201811351323.XA CN201811351323A CN109410164A CN 109410164 A CN109410164 A CN 109410164A CN 201811351323 A CN201811351323 A CN 201811351323A CN 109410164 A CN109410164 A CN 109410164A
- Authority
- CN
- China
- Prior art keywords
- image
- neural networks
- convolutional neural
- network
- multiple dimensioned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000002708 enhancing effect Effects 0.000 claims abstract description 13
- 238000010276 construction Methods 0.000 claims abstract description 11
- 230000004913 activation Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 12
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 230000003595 spectral effect Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10041—Panchromatic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明提出多尺度卷积神经网络的卫星全色与多光谱图像融合方法，包括以下步骤：构建基础卷积神经网络、构造需要的训练集和测试集、对多光谱图像进行锐化处理、对训练集和测试集进行数据增强处理、多尺度卷积神经网络模型的构造和通过对多尺度卷积神经网络模型的融合结果进行平均最终得到融合结果图像；本发明通过选择构造简单的三层卷积神经网络的构造方法进行构造，提高了卷积神经网络实现几率，提高了融合效率，通过在构成网络输入时，首先对多光谱图像进行锐化处理，可以充分利用在传统融合方法中容易被忽略的多光谱图像中的空间细节信息，提高了空间细节信息的融入效果。
Description
技术领域
本发明涉及图像融合领域，尤其涉及多尺度卷积神经网络的卫星全色与多光谱图像融合方法。
背景技术
近年来，搭载全色与多光谱图像传感器的卫星相继升空，全色图像与多光谱图像的融合研究随之成为卫星遥感领域一个重要而活跃的研究方向。这是因为在遥感领域里，往往需要同时具有高空间分辨率和高光谱分辨率的多光谱图像，图像融合技术就是综合全色与多光谱图像的特点与优势，利用高空间分辨率的全色图像去提高多光谱图像的空间分辨率，同时尽量保持多光谱图像的光谱特性，从而克服单一卫星传感器获取信息的局限性，获得更加详细的场景信息。
关于全色与多光谱图像的融合方法，分替换法是其中一类简单而有效的经典方法，常见的分替换法方法包括HIS变换法、PCA变换法、HCS变换法以及GS变换法等，这类方法计算简洁，具有实时性和高效性，能够很好地提高多光谱图像的空间分辨率，但当全色图像与进行替代的成分或分量相关性不大时，容易在融合图像中产生光谱畸变现象；另一类经典的融合方法是多分辨率分析法，如拉普拉斯金字塔、小波变换、Contourlet变换等，多分辨率分析法由于全色图像细节信息与理想高空间分辨率多光谱图像在各个通道的细节分量并不完全相同，因此在融入时往往需要对其进一步的调整，，对比成分替换法，这类方法能够更好的保持图像的光谱信息，但在细节信息提取和融入过程中，容易产生模糊或失真，导致空间信息丢失；还有一类经典融合方法是基于稀疏重构的融合方法，该方法从其他已知的高空间分辨率的多光谱图像中随机采样，构造出具有高空间分辨率的多光谱图像字典，然而，在实际应用中，高空间分辨率的多光谱图像本身正是期望得到的融合结果图像，不易获得，并且存在计算量巨大的问题。因此，本发明提出多尺度卷积神经网络的卫星全色与多光谱图像融合方法，以解决现有技术中的不足之处。
发明内容
针对上述问题，本发明通过选择构造简单的三层卷积神经网络的构造方法进行构造，提高了卷积神经网络实现几率，提高了融合效率，通过在构成网络输入时，首先对多光谱图像进行锐化处理，可以充分利用在传统融合方法中容易被忽略的多光谱图像中的空间细节信息，提高了空间细节信息的融入效果。
本发明提出多尺度卷积神经网络的卫星全色与多光谱图像融合方法，包括以下步骤：
步骤一：构建基础卷积神经网络
首先，构建一个简单的3层卷积神经网络，第一层卷积网络标记为f1(x)，第一层卷积网络标记为f1(x)激活函数选择纠正线性单元“ReLU,max(0,x)”，第二层卷积网络标记为f2(x)，第二层卷积网络标记为f2(x)的激活函数依然选择“ReLU”，第三层卷积网络标记为f3(x)；
步骤二：构造需要的训练集和测试集
选择图像的大小比例为4:1的全色图像和多光谱图像，其中多光谱图像为标签图像，先对全色图像和多光谱图像各波段按照从左到右、从上到下的，无重叠的截取原则进行截取对应位置的图像块，构成新的输入图像，新的输入图像为输入图像为数据图像，并将得到的图像块看作新图像用于构成训练集和测试集，训练集与测试集的图像数量比例为7:3；
步骤三：对多光谱图像进行锐化处理
在步骤二中构成新的输入图像时对多光谱图像的各个波段采用高通滤波的方式进行锐化处理；
步骤四：对训练集和测试集进行数据增强处理
对步骤二中构成的训练集和测试集数据进行数据增强处理；
步骤五：多尺度卷积神经网络模型的构造
通过上述步骤一至步骤四，分别针对三种不同像素大小的多光谱图像块对应构成三种尺度的训练集和测试集，先通过应用步骤一中构造的卷积神经网络进行训练，对应得到三组网络模型参数，分别记作model40、model60和model80；
步骤六：通过对多尺度卷积神经网络模型的融合结果进行平均最终得到融合结果图像
分别对待融合的全色与多光谱图像应用步骤五中得到的三组网络模型参数model40、model60和model80进行融合，先将待融合图像输入卷积神经网络，利用训练好的参数对网络进行设置，得到对应的三个融合结果图像，然后对这三个融合结果图像的对应点的像素进行平均得到具有高空间分辨率的多光谱图像，即得到最终的融合结果图像。
进一步改进在于：所述步骤一中第一层卷积网络f1(x)的表达公式如公式(1)所示：
f1(x)＝max(0，w1*x+b1) (1)
公式(1)中，w1代表权值，大小为c1×K1×K1×c2,c1表示第一层卷积网络的输入总波段数，c2表示第一层卷积网络输出的特征图的数量，即第一层卷积网络滤波器的个数，局部感知野的大小为K1×K1，b1代表偏置，是一个c2维的向量，激活函数选择纠正线性单元ReLU,max(0,x)。
进一步改进在于：所述步骤一中第二层卷积网络f2(x)的表达公式如公式(2)所示：
f2(x)＝max(0，w2*f1(x)+b2) (2)
公式(2)中，w2大小为c3×K2×K2×c4，c3表示第二层卷积网络的输入总波段数，数量与第一层卷积网络输出特征图的数量相同，c4表示第二层卷积网络的滤波器的个数，局部感知野的大小为K2×K2，b2是一个c4维的向量，激活函数依然选择“ReLU”。
进一步改进在于：所述步骤一中第三层卷积网络f3(x)的表达公式如公式(3)所示：
f3(x)＝w3*f2(x)+b3) (3)
公式(3)中，w3大小为c5×K3×K3×c6，c5为第三层卷积网络的输入总波段数，c6为第三层卷积网络的输出波段数,局部感知野的大小为K3×K3，b3是一个c6维的向量。
进一步改进在于：所述步骤二中训练集和测试集的构造方法相同。
进一步改进在于：所述步骤二中分三次对全色与多光谱图像进行截取，截取的多光谱图像块像素大小依次控制为40*40、60*60和80*80，控制对应的全色图像块像素大小分别为160*160、240*240和320*320。
进一步改进在于：所述步骤二中训练集构造方法为：首先将原始全色图像与多光谱图像进行4倍下采样作为待融合图像，然后再对待融合多光谱图像进行上采样到与待融合全色图像相同的大小，将全色图像与上采样后的多光谱图像按照多光谱图像各波段之间相同的排列方式进行排列，构成新的输入图像，再将新的输入图像与原始状态下的多光谱图像分别作为数据图像和标签图像，成对存入“HDF5”文件构成训练集。
进一步改进在于：所述步骤四中的数据增强处理采用的方式为：对步骤二中的数据图像和其对应的标签图像进行相同角度的旋转，旋转角度分别为90°、180°和270°，将三种角度旋转后得到的新数据图像和新标签图像与步骤二原始的数据图像和原始的原标签图像共同构成训练集和测试集。
进一步改进在于：所述步骤五中的构造的卷积神经网络进行训练具体过程为：将训练集和测试集的图像输入网络，得到的输出即为结果。
本发明的有益效果为：通过选择构造简单的三层卷积神经网络的构造方法进行构造，提高了卷积神经网络实现几率，提高了融合效率，通过在构成网络输入时，首先对多光谱图像进行锐化处理，可以充分利用在传统融合方法中容易被忽略的多光谱图像中的空间细节信息，提高了空间细节信息的融入效果，通过利用数据增强处理对构成的输入图像进行旋转，并将旋转后得到的图像与原输入图像共同构成训练集和测试集，可以提高数据集的数据量，并且的有效解决了遥感图像不易获得的问题，同时防止了网络训练过拟合问题，通过构造多尺度卷积神经网络训练模型，并分别将多个尺度数据训练得到的模型参数用于待融合的全色与多光谱图像，再将得到的对应结果进行平均，得到最终的融合结果图像，综合利用了各尺度模型的优点，在图像空间细节信息融入和光谱特性保持之间取得了较好的平衡，同时突破了新型卫星图像波段数的限制，使得新型卫星的融合结果图像在空间细节信息融入方面和光谱特性保持方面都较传统算法有很大的提高，主观评价与客观分析结果能够达到一致。
附图说明
图1是本发明方法构造的基本卷积神经网络示意图。
图2是本发明方法构造多尺度卷积神经网络模型的融合方法框架示意图。
图3是本发明实施例中本发明方法和不同经典方法的融合结果示意图。
具体实施方式
为了使发明实现的技术手段、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
根据图1、2、3所示，本实施例提出了多尺度卷积神经网络的卫星全色与多光谱图像融合方法，包括以下步骤：
步骤一：构建基础卷积神经网络
首先，构建一个简单的3层卷积神经网络，第一层卷积网络标记为f1(x)，第一层卷积网络标记为f1(x)激活函数选择纠正线性单元“ReLU,max(0,x)”，第一层卷积网络f1(x)的表达公式如公式(1)所示：
f1(x)＝max(0，w1*x+b1) (1)
公式(1)中，w1代表权值，大小为c1×K1×K1×c2,c1表示第一层卷积网络的输入总波段数，c2表示第一层卷积网络输出的特征图的数量，即第一层卷积网络滤波器的个数，局部感知野的大小为K1×K1，b1代表偏置，是一个c2维的向量，激活函数选择纠正线性单元ReLU,max(0,x)；
第二层卷积网络标记为f2(x)，第二层卷积网络标记为f2(x)的激活函数依然选择“ReLU”，第二层卷积网络f2(x)的表达公式如公式(2)所示：
f2(x)＝max(0，w2*f1(x)+b2) (2)
公式(2)中，w2大小为c3×K2×K2×c4，c3表示第二层卷积网络的输入总波段数，数量与第一层卷积网络输出特征图的数量相同，c4表示第二层卷积网络的滤波器的个数，局部感知野的大小为K2×K2，b2是一个c4维的向量，激活函数依然选择“ReLU”；
第三层卷积网络标记为f3(x)，第三层卷积网络f3(x)的表达公式如公式(3)所示：
f3(x)＝w3*f2(x)+b3) (3)
公式(3)中，w3大小为c5×K3×K3×c6，c5为第三层卷积网络的输入总波段数，c6为第三层卷积网络的输出波段数,局部感知野的大小为K3×K3，b3是一个c6维的向量；
所述步骤一中的参数设置如下表一所示：
表一
步骤二：构造需要的训练集和测试集
选择图像的大小比例为4:1的全色图像和多光谱图像，其中多光谱图像为标签图像，先对全色图像和多光谱图像各波段按照从左到右、从上到下的，无重叠的截取原则进行截取对应位置的图像块，构成新的输入图像，新的输入图像为输入图像为数据图像，并将得到的图像块看作新图像用于构成训练集和测试集，训练集与测试集的图像数量比例为7:3,训练集和测试集的构造方法相同，分三次对全色与多光谱图像进行截取，截取的多光谱图像块像素大小依次控制为40*40、60*60和80*80，控制对应的全色图像块像素大小分别为160*160、240*240和320*320，训练集构造方法为：首先将原始全色图像与多光谱图像进行4倍下采样作为待融合图像，然后再对待融合多光谱图像进行上采样到与待融合全色图像相同的大小，将全色图像与上采样后的多光谱图像按照多光谱图像各波段之间相同的排列方式进行排列，构成新的输入图像，再将新的输入图像与原始状态下的多光谱图像分别作为数据图像和标签图像，成对存入“HDF5”文件构成训练集；
步骤三：对多光谱图像进行锐化处理
在步骤二中构成新的输入图像时对多光谱图像的各个波段采用高通滤波的方式进行锐化处理；
步骤四：对训练集和测试集进行数据增强处理
对步骤二中构成的训练集和测试集数据进行数据增强处理，数据增强处理采用的方式为：对步骤二中的数据图像和其对应的标签图像进行相同角度的旋转，旋转角度分别为90°、180°和270°，将三种角度旋转后得到的新数据图像和新标签图像与步骤二原始的数据图像和原始的原标签图像共同构成训练集和测试集；
步骤五：多尺度卷积神经网络模型的构造
通过上述步骤一至步骤四，分别针对三种不同像素大小的多光谱图像块对应构成三种尺度的训练集和测试集，先通过应用步骤一中构造的卷积神经网络进行训练，将训练集和测试集的图像输入网络，得到的输出即为结果，对应得到三组网络模型参数，分别记作model40、model60和model80；
步骤六：通过对多尺度卷积神经网络模型的融合结果进行平均最终得到融合结果图像
分别对待融合的全色与多光谱图像应用步骤五中得到的三组网络模型参数model40、model60和model80进行融合，先将待融合图像输入卷积神经网络，利用训练好的参数对网络进行设置，得到对应的三个融合结果图像，然后对这三个融合结果图像的对应点的像素进行平均得到具有高空间分辨率的多光谱图像，即得到最终的融合结果图像。
为验证本发明方法的有效性与优越性，进行以下实验：将本发明方法与不同的融合方法进行对比分析，对比方法分别为：PCA融合方法记作PCA、HCS融合方法记作HCS、小波变换融合方法记作WT、基于卷积神经网络的融合方法记作PNN，本发明方法记作AMM-CNN。实验数据采用真实的新型WorldView-3卫星图像数据，2014年10月拍摄的Sydney Australia，大小为512×512，为验证算法并清楚的显示原图像和融合结果图像用于主观评价，实验截取了原图像的一部分，为更加方便的对融合结果图像进行主客观评价，在实验中，先对全色与多光谱图像进行下采样，将全色与多光谱图像的空间分辨率同时降低4倍，作为待融合的模拟全色与多光谱图像数据，再将原始的多光谱图像作为标准融合结果进行参考。
图3中(a)-(d)依次为上述PCA融合方法、HCS融合方法、小波变换融合方法和基于卷积神经网络的融合方法对应的融合结果；图3中(e)为本发明方法的融合结果，图3中(f)为原始多光谱图像，作为参考图像用于实验结果对比。
通过观察图3，从道路及建筑物的边缘细节处以及植被颜色上可以看出，图3中(e)的细节信息更加丰富，且光谱特征与3中(f)更为相近，与其他对比方法相比较，显然本发明方法的融合结果与参考图像差异最小，主观视觉效果最好。由此可见，本发明方法融合结果在空间细节信息的融入和光谱特性的保持上都较对比方法有不同程度的提高。
选取光谱相关系数、空间相关系数、ERGAS、光谱调制角和通用图像质量指数五种常用的客观评价指标，对不同方法的融合结果进行客观评价。其中，CC表示融合结果与参考图像光谱特性的相关程度，其值越大，融合效果越好；sCC反映空间细节信息融合的好坏，其值越大，融合效果越好；ERGAS从整体上反映融合结果中光谱失真的情况，其值越小，融合效果越好；SAM反映融合图像相对于参考图像的光谱扭曲程度，其值越小，融合效果越好；Q从融合结果的空间以及光谱信息损失情况上进行整体评价，其值越大，融合效果越好。不同方法的融合结果对应的各项指标大小如表2所示：
表2不同方法的融合结果对应的各项指标
| Method | CC | sCC | ERGAS | SAM | Q |
| PCA | 0.8966 | 0.8037 | 9.3802 | 12.8427 | 0.4898 |
| HCS | 0.8739 | 0.8049 | 8.7668 | 8.8154 | 0.7605 |
| WT | 0.8767 | 0.7285 | 9.2810 | 12.5806 | 0.7142 |
| PNN | 0.9083 | 0.8090 | 7.8163 | 11.8336 | 0.7842 |
| AMM-CNN | 0.9222 | 0.8136 | 7.4359 | 9.5488 | 0.8577 |
由表2可以看出，五项评价指标中，本发明方法AMM-CNN的各项评价指标均为最优的，即对于CC、sCC、Q三项指标，本发明方法的值均是最大的，而对于ERGAS、SAM指标而言，本发明方法的值是最小的，由此说明，与经典的全色与多光谱图像融合方法相比，本方法对空间细节信息融入效果最好，且对光谱特性保持最优。综上所述，本发明方法无论在空间细节增强还是光谱保真方面，都较其他经典的对比方法有不同程度的提高，即本发明方法较其他经典方法具有更好的融合性能。
通过选择构造简单的三层卷积神经网络的构造方法进行构造，提高了卷积神经网络实现几率，提高了融合效率，通过在构成网络输入时，首先对多光谱图像进行锐化处理，可以充分利用在传统融合方法中容易被忽略的多光谱图像中的空间细节信息，提高了空间细节信息的融入效果，通过利用数据增强处理对构成的输入图像进行旋转，并将旋转后得到的图像与原输入图像共同构成训练集和测试集，可以提高数据集的数据量，并且的有效解决了遥感图像不易获得的问题，同时防止了网络训练过拟合问题，通过构造多尺度卷积神经网络训练模型，并分别将多个尺度数据训练得到的模型参数用于待融合的全色与多光谱图像，再将得到的对应结果进行平均，得到最终的融合结果图像，综合利用了各尺度模型的优点，在图像空间细节信息融入和光谱特性保持之间取得了较好的平衡，同时突破了新型卫星图像波段数的限制，使得新型卫星的融合结果图像在空间细节信息融入方面和光谱特性保持方面都较传统算法有很大的提高，主观评价与客观分析结果能够达到一致。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：包括以下步骤：
步骤一：构建基础卷积神经网络
首先，构建一个简单的3层卷积神经网络，第一层卷积网络标记为f1(x)，第一层卷积网络标记为f1(x)激活函数选择纠正线性单元“ReLU,max(0,x)”，第二层卷积网络标记为f2(x)，第二层卷积网络标记为f2(x)的激活函数依然选择“ReLU”，第三层卷积网络标记为f3(x)；
步骤二：构造需要的训练集和测试集
选择图像的大小比例为4:1的全色图像和多光谱图像，其中多光谱图像为标签图像，先对全色图像和多光谱图像各波段按照从左到右、从上到下的，无重叠的截取原则进行截取对应位置的图像块，构成新的输入图像，新的输入图像为输入图像为数据图像，并将得到的图像块看作新图像用于构成训练集和测试集，训练集与测试集的图像数量比例为7:3；
步骤三：对多光谱图像进行锐化处理
在步骤二中构成新的输入图像时对多光谱图像的各个波段采用高通滤波的方式进行锐化处理；
步骤四：对训练集和测试集进行数据增强处理
对步骤二中构成的训练集和测试集数据进行数据增强处理；
步骤五：多尺度卷积神经网络模型的构造
通过上述步骤一至步骤四，分别针对三种不同像素大小的多光谱图像块对应构成三种尺度的训练集和测试集，先通过应用步骤一中构造的卷积神经网络进行训练，对应得到三组网络模型参数，分别记作model40、model60和model80；
步骤六：通过对多尺度卷积神经网络模型的融合结果进行平均最终得到融合结果图像
分别对待融合的全色与多光谱图像应用步骤五中得到的三组网络模型参数model40、model60和model80进行融合，先将待融合图像输入卷积神经网络，利用训练好的参数对网络进行设置，得到对应的三个融合结果图像，然后对这三个融合结果图像的对应点的像素进行平均得到具有高空间分辨率的多光谱图像，即得到最终的融合结果图像。
2.根据权利要求1所述的多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：所述步骤一中第一层卷积网络f1(x)的表达公式如公式(1)所示：
f1(x)＝max(0，w1*x+b1) (1)
公式(1)中，w1代表权值，大小为c1×K1×K1×c2,c1表示第一层卷积网络的输入总波段数，c2表示第一层卷积网络输出的特征图的数量，即第一层卷积网络滤波器的个数，局部感知野的大小为K1×K1，b1代表偏置，是一个c2维的向量，激活函数选择纠正线性单元ReLU,max(0,x)。
3.根据权利要求1所述的多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：所述步骤一中第二层卷积网络f2(x)的表达公式如公式(2)所示：
f2(x)＝max(0，w2*f1(x)+b2) (2)
公式(2)中，w2大小为c3×K2×K2×c4，c3表示第二层卷积网络的输入总波段数，数量与第一层卷积网络输出特征图的数量相同，c4表示第二层卷积网络的滤波器的个数，局部感知野的大小为K2×K2，b2是一个c4维的向量，激活函数依然选择“ReLU”。
4.根据权利要求1所述的多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：所述步骤一中第三层卷积网络f3(x)的表达公式如公式(3)所示：
f3(x)＝w3*f2(x)+b3) (3)
公式(3)中，w3大小为c5×K3×K3×c6，c5为第三层卷积网络的输入总波段数，c6为第三层卷积网络的输出波段数,局部感知野的大小为K3×K3，b3是一个c6维的向量。
5.根据权利要求1所述的多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：所述步骤二中训练集和测试集的构造方法相同。
6.根据权利要求1所述的多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：所述步骤二中分三次对全色与多光谱图像进行截取，截取的多光谱图像块像素大小依次控制为40*40、60*60和80*80，控制对应的全色图像块像素大小分别为160*160、240*240和320*320。
7.根据权利要求1所述的多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：所述步骤二中训练集构造方法为：首先将原始全色图像与多光谱图像进行4倍下采样作为待融合图像，然后再对待融合多光谱图像进行上采样到与待融合全色图像相同的大小，将全色图像与上采样后的多光谱图像按照多光谱图像各波段之间相同的排列方式进行排列，构成新的输入图像，再将新的输入图像与原始状态下的多光谱图像分别作为数据图像和标签图像，成对存入“HDF5”文件构成训练集。
8.根据权利要求1所述的多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：所述步骤四中的数据增强处理采用的方式为：对步骤二中的数据图像和其对应的标签图像进行相同角度的旋转，旋转角度分别为90°、180°和270°，将三种角度旋转后得到的新数据图像和新标签图像与步骤二原始的数据图像和原始的原标签图像共同构成训练集和测试集。
9.根据权利要求1所述的多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：所述步骤五中的构造的卷积神经网络进行训练具体过程为：将训练集和测试集的图像输入网络，得到的输出即为结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811351323.XA CN109410164B (zh) | 2018-11-14 | 2018-11-14 | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811351323.XA CN109410164B (zh) | 2018-11-14 | 2018-11-14 | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109410164A true CN109410164A (zh) | 2019-03-01 |
| CN109410164B CN109410164B (zh) | 2019-10-22 |
Family
ID=65473231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811351323.XA Active CN109410164B (zh) | 2018-11-14 | 2018-11-14 | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410164B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070518A (zh) * | 2019-03-15 | 2019-07-30 | 南京航空航天大学 | 一种基于双路径支持下的高光谱图像超分辨率制图方法 |
| CN110189282A (zh) * | 2019-05-09 | 2019-08-30 | 西北工业大学 | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 |
| CN110377982A (zh) * | 2019-07-01 | 2019-10-25 | 深圳中集智能科技有限公司 | 自动驾驶性能的测试方法及系统、电子设备、存储介质 |
| CN110443865A (zh) * | 2019-07-29 | 2019-11-12 | 北京理工大学 | 基于rgb相机和深度神经网络的多光谱成像方法和装置 |
| CN111080567A (zh) * | 2019-12-12 | 2020-04-28 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 |
| CN111768362A (zh) * | 2020-05-13 | 2020-10-13 | 上海大学 | 基于多特征融合的全参考高动态图像质量评价方法 |
| CN111898534A (zh) * | 2020-07-30 | 2020-11-06 | 上海交通大学 | 一种基于旋转区域卷积神经网络的星载目标融合检测方法 |
| CN113066030A (zh) * | 2021-03-31 | 2021-07-02 | 山东师范大学 | 一种基于空谱融合网络的多光谱图像全色锐化方法及系统 |
| CN113129247A (zh) * | 2021-04-21 | 2021-07-16 | 重庆邮电大学 | 基于自适应多尺度残差卷积的遥感图像融合方法及介质 |
| CN113538615A (zh) * | 2021-06-29 | 2021-10-22 | 中国海洋大学 | 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法 |
| CN114581347A (zh) * | 2022-01-24 | 2022-06-03 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
| CN114663301A (zh) * | 2022-03-05 | 2022-06-24 | 西北工业大学 | 一种基于小波层的卷积神经网络全色锐化方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102013093A (zh) * | 2010-12-02 | 2011-04-13 | 南京大学 | 一种基于Gram-Schmidt融合和LEGION的高分辨率遥感影像分割方法 |
| CN102789631A (zh) * | 2011-05-17 | 2012-11-21 | 张学 | 基于图像分割和引力模型的遥感图像分辨率提高处理方法 |
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
| CN104616261A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法 |
| CN106204450A (zh) * | 2016-07-08 | 2016-12-07 | 咸阳师范学院 | 基于深度稀疏自编码的多尺度几何遥感图像融合方法 |
| CN106485688A (zh) * | 2016-09-23 | 2017-03-08 | 西安电子科技大学 | 基于神经网络的高光谱图像重构方法 |
| CN106570485A (zh) * | 2016-11-09 | 2017-04-19 | 北京航空航天大学 | 一种基于深度学习的筏式养殖遥感图像场景标注方法 |
| CN107203985A (zh) * | 2017-05-18 | 2017-09-26 | 北京联合大学 | 一种端到端深度学习框架下的多曝光图像融合方法 |
| CN107274361A (zh) * | 2017-05-26 | 2017-10-20 | 深圳先进技术研究院 | Landsat TM遥感影像数据除云方法及系统 |
| CN107358260A (zh) * | 2017-07-13 | 2017-11-17 | 西安电子科技大学 | 一种基于表面波cnn的多光谱图像分类方法 |
| US20180218197A1 (en) * | 2017-01-27 | 2018-08-02 | Signal Processing, Inc. | Method and System for Enhancing Predictive Accuracy of Planet Surface Characteristics from Orbit |
-
2018
- 2018-11-14 CN CN201811351323.XA patent/CN109410164B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102013093A (zh) * | 2010-12-02 | 2011-04-13 | 南京大学 | 一种基于Gram-Schmidt融合和LEGION的高分辨率遥感影像分割方法 |
| CN102789631A (zh) * | 2011-05-17 | 2012-11-21 | 张学 | 基于图像分割和引力模型的遥感图像分辨率提高处理方法 |
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
| CN104616261A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法 |
| CN106204450A (zh) * | 2016-07-08 | 2016-12-07 | 咸阳师范学院 | 基于深度稀疏自编码的多尺度几何遥感图像融合方法 |
| CN106485688A (zh) * | 2016-09-23 | 2017-03-08 | 西安电子科技大学 | 基于神经网络的高光谱图像重构方法 |
| CN106570485A (zh) * | 2016-11-09 | 2017-04-19 | 北京航空航天大学 | 一种基于深度学习的筏式养殖遥感图像场景标注方法 |
| US20180218197A1 (en) * | 2017-01-27 | 2018-08-02 | Signal Processing, Inc. | Method and System for Enhancing Predictive Accuracy of Planet Surface Characteristics from Orbit |
| CN107203985A (zh) * | 2017-05-18 | 2017-09-26 | 北京联合大学 | 一种端到端深度学习框架下的多曝光图像融合方法 |
| CN107274361A (zh) * | 2017-05-26 | 2017-10-20 | 深圳先进技术研究院 | Landsat TM遥感影像数据除云方法及系统 |
| CN107358260A (zh) * | 2017-07-13 | 2017-11-17 | 西安电子科技大学 | 一种基于表面波cnn的多光谱图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHENFENG SHAO ETC: "Remote Sensing Image Fusion With Deep Convolutional Neural Network", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070518A (zh) * | 2019-03-15 | 2019-07-30 | 南京航空航天大学 | 一种基于双路径支持下的高光谱图像超分辨率制图方法 |
| CN110189282A (zh) * | 2019-05-09 | 2019-08-30 | 西北工业大学 | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 |
| CN110377982A (zh) * | 2019-07-01 | 2019-10-25 | 深圳中集智能科技有限公司 | 自动驾驶性能的测试方法及系统、电子设备、存储介质 |
| CN110377982B (zh) * | 2019-07-01 | 2023-07-11 | 深圳中集智能科技有限公司 | 自动驾驶性能的测试方法及系统、电子设备、存储介质 |
| CN110443865A (zh) * | 2019-07-29 | 2019-11-12 | 北京理工大学 | 基于rgb相机和深度神经网络的多光谱成像方法和装置 |
| CN111080567A (zh) * | 2019-12-12 | 2020-04-28 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 |
| CN111080567B (zh) * | 2019-12-12 | 2023-04-21 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 |
| CN111768362A (zh) * | 2020-05-13 | 2020-10-13 | 上海大学 | 基于多特征融合的全参考高动态图像质量评价方法 |
| CN111768362B (zh) * | 2020-05-13 | 2023-05-23 | 上海大学 | 基于多特征融合的全参考高动态图像质量评价方法 |
| CN111898534A (zh) * | 2020-07-30 | 2020-11-06 | 上海交通大学 | 一种基于旋转区域卷积神经网络的星载目标融合检测方法 |
| CN113066030B (zh) * | 2021-03-31 | 2022-08-02 | 山东师范大学 | 一种基于空谱融合网络的多光谱图像全色锐化方法及系统 |
| CN113066030A (zh) * | 2021-03-31 | 2021-07-02 | 山东师范大学 | 一种基于空谱融合网络的多光谱图像全色锐化方法及系统 |
| CN113129247A (zh) * | 2021-04-21 | 2021-07-16 | 重庆邮电大学 | 基于自适应多尺度残差卷积的遥感图像融合方法及介质 |
| CN113538615A (zh) * | 2021-06-29 | 2021-10-22 | 中国海洋大学 | 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法 |
| CN113538615B (zh) * | 2021-06-29 | 2024-01-09 | 中国海洋大学 | 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法 |
| CN114581347A (zh) * | 2022-01-24 | 2022-06-03 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
| CN114581347B (zh) * | 2022-01-24 | 2024-03-12 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
| CN114663301A (zh) * | 2022-03-05 | 2022-06-24 | 西北工业大学 | 一种基于小波层的卷积神经网络全色锐化方法 |
| CN114663301B (zh) * | 2022-03-05 | 2024-03-08 | 西北工业大学 | 一种基于小波层的卷积神经网络全色锐化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109410164B (zh) | 2019-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410164B (zh) | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN109886870B (zh) | 基于双通道神经网络的遥感图像融合方法 | |
| CN110533620A (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| CN110070518B (zh) | 一种基于双路径支持下的高光谱图像超分辨率制图方法 | |
| CN107203985B (zh) | 一种端到端深度学习框架下的多曝光图像融合方法 | |
| CN109636769A (zh) | 基于双路密集残差网络的高光谱和多光谱图像融合方法 | |
| CN109376804A (zh) | 基于注意力机制和卷积神经网络高光谱遥感图像分类方法 | |
| CN112819737B (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
| CN110428387A (zh) | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 | |
| CN105303542B (zh) | 基于梯度加权的自适应sfim图像融合算法 | |
| CN112733596A (zh) | 一种基于中高空间分辨率遥感影像融合的森林资源变化监测方法及应用 | |
| CN114119444A (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN110517203A (zh) | 一种基于参考图像重建的去雾方法 | |
| CN107169946A (zh) | 基于非负稀疏矩阵与超球面彩色变换的图像融合方法 | |
| CN113793289B (zh) | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 | |
| CN109670509A (zh) | 基于卷积神经网络的冬小麦苗期长势参数估算方法及系统 | |
| CN111462002B (zh) | 一种基于卷积神经网络的水下图像增强与复原方法 | |
| CN115331104A (zh) | 一种基于卷积神经网络的农作物种植信息提取方法 | |
| CN116029930A (zh) | 一种基于卷积神经网络的多光谱图像去马赛克方法 | |
| CN110163830B (zh) | 基于Riesz-Lap变换及PCNN的图像融合方法 | |
| CN116883799A (zh) | 成分替换模型引导的高光谱图像深度空间光谱融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |