CN106295714B - 一种基于深度学习的多源遥感图像融合方法 - Google Patents
一种基于深度学习的多源遥感图像融合方法 Download PDFInfo
- Publication number
- CN106295714B CN106295714B CN201610703682.1A CN201610703682A CN106295714B CN 106295714 B CN106295714 B CN 106295714B CN 201610703682 A CN201610703682 A CN 201610703682A CN 106295714 B CN106295714 B CN 106295714B
- Authority
- CN
- China
- Prior art keywords
- layer
- remote sensing
- image
- sensing image
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims description 21
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims description 35
- 230000003595 spectral effect Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000001537 neural effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012733 comparative method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度学习的多源遥感图像融合方法，其利用深度学习方法自动实现多源待融合遥感图像特征的自动选择，无需手工特征选择，省时省力，便于多源遥感图像融合的工程应用，能够更加全面、深层地表达不同源图像的自身特点，实现多个抽象层次上的图像的语义表征，提高了多源图像融合和地物分类的精度。
Description
技术领域
本发明涉及遥感图像处理技术领域，更具体地涉及一种基于深度学习的多源遥感图像融合方法。
背景技术
在遥感图像处理技术领域，由于不同传感器均存在一定的局限性(如光学传感器受天气影响大、SAR传感器分辨率低而且存在斑点噪声等)，利用单个传感器对目标进行判读解译往往只能获得目标的某一方面特征，因此，在遥感图像处理过程中，综合利用多源遥感图像信息，是提升多源遥感图像应用价值的一个重要途径。
一方面，现有的多源融合方法往往采用均等融合处理策略，即对参与融合的每类数据均进行融合，然而，实际应用中发现：并非所有的融合均能对遥感图像分类精度有提高，甚至在一定类别图像融合时会导致分类精度降低。另一方面，现有的多源融合方法主要基于浅层学习思想开展的，在融合过程中需要手工地进行特征的选择，不仅费时耗力，还致使多源图像融合精度很大程度上依赖于经验和运气，不利于多源遥感图像融合的工程应用，因此本领域迫切需要一种能克服上述缺陷的多源遥感图像融合方法。
发明内容
(一)要解决的技术问题
为了解决现有技术存在的均等融合无法有效发挥多源特征互补优势和浅层学习中手工特征选择的缺陷，本发明提供了一种基于深度学习的多源遥感图像融合方法。
(二)技术方案
本发明提供了一种基于深度学习的多源遥感图像融合方法，包括：步骤A：对训练样本图像和测试样本图像进行预处理和图像光谱特征提取，得到训练数据集和测试数据集；步骤B：构建深度卷积神经网络模型；步骤C：利用所述训练数据集训练所述深度卷积神经网络模型，得到训练后的深度卷积神经网络模型；步骤D：基于所述测试数据集和训练后的深度卷积神经网络模型，得到测试数据集的深度特征集，并对所述深度特征集中的深度特征进行归一化处理；步骤E：基于所述测试数据集的深度特征集，对测试样本图像的光学遥感图像和SAR遥感图像进行选择性融合，得到融合后的图像；以及步骤F：利用分类器对所述融合后的图像所对应的特征进行分类，得到地物类别输出结果。
(三)有益效果
从上述技术方案可以看出，本发明的基于深度学习的多源遥感图像融合方法具有以下有益效果：
(1)利用深度学习方法自动实现多源待融合遥感图像特征的自动选择，无需手工特征选择，省时省力，便于多源遥感图像融合的工程应用；
(2)利用深度学习方法自动实现多源待融合遥感图像特征的自动选择，能够更加全面、深层地表达图像，实现多个抽象层次上的图像的语义表征，提高了多源图像融合和地物分类的精度。
附图说明
图1是本发明实施例的测试数据集，其中(a)为Ikonos卫星光学遥感图像，(b)为E-SAR卫星PolSAR遥感图像；
图2是本发明实施例的测试结果图，其中(a)为标准参考结果，(b)为本发明方法结果，(c)为对比方法一结果，(d)为对比方法二结果；
图3是本发明实施例的基于深度学习的多源遥感图像融合方法的流程图。
具体实施方式
为解决多源数据特征选择自动化程度低，难以最优地实现多源数据的选择性融合，无法满足实际应用需求等问题，本发明提供了一种基于深度学习的多源遥感图像融合方法，利用深度学习相关技术，如深度卷积神经网络(Deep Convolutional NeuralNetwork)，通过分类误差最小化优化求解，自动进行多源融合特征提取及特征的多层次抽象，以克服传统多源图像融合中人工特征提取的弊端，以期增强多源高分辨率遥感图像融合的实用性，并最终提升多源高分辨率遥感分类精度。
本发明提供的基于深度学习的多源遥感图像融合方法，该方法利用深度卷积神经网络通过最小化分类误差分别对每一种数据源图像进行自动特征选择，并基于选取的特征及每种特征的权重实现对多源遥感数据的融合。
深度学习(Deep Learning)是机器学习研究领域中的一个新领域，其目的在于建立、模拟人脑分析学习的神经网络，实现对数据的解译机制。与现有的浅层学习(ShallowLearning)相比，深度学习通过构建具有多个隐含层的机器学习模型和海量训练数据，不仅摒弃了传统浅层学习方法中认为设计图像特征的烦琐工作，而且能够更加全面、深层地表达图像，实现多个抽象层次上的图像的语义表征，从而最终提高多源数据目标检测或地物分类精度。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
图3为本发明实施例的一种基于深度学习的多源遥感图像融合方法的流程图，参照图3，该方法包括：
步骤A：对训练样本图像和测试样本图像进行预处理和图像光谱特征提取，得到训练数据集和测试数据集。
步骤A包括：
子步骤A1：构建待融合图像的预处理和图像光谱特征提取模型，具体包括：
子分步骤A1a：对待融合图像进行预处理，采用
归一化公式，对输入的待融合图像中每个像素进行归一化处理，其中，s表示待融合图像的谱段，i,j分别表示待融合图像的位置坐标，
和xijs分别表示归一化处理前第s谱段的位置坐标(i,j)上像素的值和处理后第s谱段的位置坐标(i,j)上像素的值，
和
分别表示整个待融合图像s谱段中像素最小值和最大值。
子分步骤A1b：对预处理后的待融合图像进行图像光谱特征提取，以待融合图像中每个像素的坐标(i,j)为中心，提取(2*w+1)*(2*w+1)大小区域中所有像素构成一个向量xij＝[xi-wj-ws,xi-wj-w+1s,...,xijs,...,xi+wj+ws]，作为坐标(i,j)上对应像素的光谱特征向量；其中，w表示特征窗口大小，其大小可以根据应用目的进行经验选取，w优选值为5～9，最优选值为5。
子步骤A2：利用待融合图像的预处理和图像光谱特征提取模型，对训练样本图像进行预处理和图像光谱特征提取，得到光学遥感图像训练数据集和SAR遥感图像训练数据集。
在子步骤A2中，训练样本图像包括光学遥感图像和SAR遥感图像，分别将光学遥感图像和SAR遥感图像作为待融合图像，按照子分步骤A1a和子分步骤A1b分别对光学遥感图像和SAR遥感图像进行预处理和图像光谱特征提取，得到训练数据集tr＝[xij,yij]；其中，xij由子分步骤A1b提取，其表示光学遥感图像和SAR遥感图像中位置坐标(i,j)的像素的光谱特征向量；yij∈{1,2,...,K}表示位置坐标(i,j)的像素的类别，K为常数，表示总的类别数。
其中，光学遥感图像优选包含R、G、B三个谱段，即s＝3，其位置坐标(i,j)的像素的光谱特征向量为1×3*w*w维；SAR遥感图像优选包含一个谱段，即s＝1，其位置坐标(i,j)的像素的光谱特征向量为1×w*w维。
子步骤A3：利用待融合图像的预处理和图像光谱特征提取模型，对测试样本图像进行预处理和图像光谱特征提取，得到光学遥感图像测试数据集和SAR遥感图像测试数据集。本发明实施例中，子步骤A3也可以与子步骤A2同时或在子步骤A2之前执行。
在子步骤A3中，测试样本图像同样包括光学遥感图像和SAR遥感图像，分别将光学遥感图像和SAR遥感图像作为待融合图像，按照子分步骤A1a和子分步骤A1b分别对光学遥感图像和SAR遥感图像进行预处理和图像光谱特征提取，得到测试数据集ts＝[xij]；其中，xij由子分步骤A1b提取，其表示光学遥感图像和SAR遥感图像中位置坐标(i,j)的像素的光谱特征向量；yij∈{1,2,...,K}表示位置坐标(i,j)的像素的类别，K为常数，表示总的类别数。
其中，光学遥感图像优选包含R、G、B三个谱段，即s＝3，其位置坐标(i,j)的像素的光谱特征向量为1×3*w*w维；SAR遥感图像优选包含一个谱段，即s＝1，其位置坐标(i,j)的像素的光谱特征向量为1×w*w维。
步骤B：构建深度卷积神经网络模型。
步骤B包括：
子步骤B1：以子分步骤A1b中提取的光谱特征向量为输入，构建一个深度卷积神经网络模型，该深度卷积神经网络模型包括：1个输入层、5个卷积层、3个池化层、2个全连接层、1个softmax层和1个输出层，深度卷积神经网络模型的具体结构为：5个卷积层在输入层之后，3个池化层分别在第一、第二、第五卷积层之后，全连接层在第三池化层和输出层之间，全连接层后接softmax层，输出层在最后，即输入层—>卷积层—>池化层—>卷积层—>池化层—>卷积层—>卷积层—>卷积层—>池化层—>全连接层—>全连接层—>softmax层—>输出层。
其中，5个卷积层的卷积滤波器的卷积核大小优选为13×13、5×5、3×3、3×3和6×6，卷积滤波器的数目优选128、256、512、512和256；池化层池化尺度大小优选3×3；输出层的大小优选256×256，输出层的节点数与样本数量(即光学遥感图像或SAR遥感图像的像素数量)一致；输入的选择优选全连接结构，即当前层的一个映射与前一层所有映射均相连。
以上仅给出深度卷积神经网络模型的一个示例，实际上深度卷积神经网络模型的构建方式可以根据应用目的进行经验设置，包括网络层数、卷积层层数、池化层层数、卷积滤波器数目、卷积核大小、池化尺度等参数可以根据应用目的进行设置。
子步骤B2：设置卷积层参数，具体包括：卷积层正向运算公式为：
其中，f表示激励函数，l表示层数，m,n分别表示上一层和当前层上特征图的映射编号，
表示当前第l层的第n个特征图，
表示第l-1层的第m个特征图，表示l层的第n个特征图与第l-1层的第m个特征图之间相关的卷积核，
表示第l层的第n个特征图对应的偏置，Mn表示输入特征图的一个子集，*表示卷积操作；
卷积层逆向误差传播公式为：
其中，l表示层数，m,n分别表示上一层和当前层上特征图的映射编号，
表示第l层的第n个神经节点的灵敏度，
表示下采样层的权值，为可训练的常数，o表示点乘，up()表示上采样操作，'表示转置，
其中，和分别表示第l层第n个特征图对应的的权值和偏置，
表示第l-1层的第n个特征图。
子步骤B3：计算卷积核和偏置的偏导，更新卷积层参数，具体包括：利用子步骤B2获取的第l层的第n个神经节点的灵敏度
基础上，按照下述公式分别计算偏置和卷积核的偏导：
其中，E表示误差代价函数，
为
计算卷积时的每一个小区域(patch)，u、v分别表示灵敏度矩阵
中的元素位置。利用上述卷积核和偏置的偏导，更新卷积核和偏置。
子步骤B4：设置池化层参数，池化层的正向运算为下采样操作，池化层的正向运算优选取Max-Pooling池化模式，池化核大小为2×2，步长为2；
当池化层的后连接层是卷积层时，池化层的逆向误差传播运算公式为：
其中，M表示输入特征图的集合，
表示l+1层的第n个特征图与第l层的第m个特征图之间相关的卷积核，
表示第l+1层的第n个神经节点的灵敏度，
表示第l层的第m个神经节点的灵敏度；
当池化层的后连接层不是卷积层时，池化层的逆向误差传播采用与BP网络误差传播相同的方式。
子步骤B5：设置激励函数参数。激励函数f(·)可以有很多种，优选sigmoid函数或者双曲线正切函数，最优选sigmoid函数。sigmoid将输出压缩到[0,1]，所以最后的输出平均值一般趋于0。
子步骤B6：设置softmax层参数，softmax层正向计算公式如下：
softmax层偏导计算公式如下：
其中，yij∈{1,2,...,K}表示图像位置坐标(i,j)上对应像素的类别；c、d表示当前样本数据(即光学遥感图像或SAR遥感图像的像素)的真实类别标记；z表示softmax层的输入。
在本发明中，深度卷积神经网络还可以使用其它深度学习方法代替，如DBN，SAE。
步骤C：利用训练数据集训练深度卷积神经网络，得到训练后的深度卷积神经网络模型。
步骤C包括：利用步骤A获取的训练数据集，采用Hinge损失函数和随机梯度下降方法对深度卷积神经网络进行训练，当整个深度卷积神经网络的损失函数趋于局部最优解附近时，完成训练；其中，局部最优解事先由人工设定；利用步骤A获取的光学遥感图像训练数据集和SAR遥感图像训练数据集分别训练一个深度卷积神经网络。
步骤D：基于测试数据集和训练后的深度卷积神经网络模型，得到测试数据集的深度特征集，并对深度特征集中的深度特征进行归一化处理。
步骤D包括：
子步骤D1：将步骤A获取的测试数据集作为步骤C获取的训练后的深度卷积神经网络模型的输入，分别对光学遥感图像测试数据集和SAR遥感图像测试数据集进行处理，移除深度卷积神经网络模型末尾的softmax层，保留全连接层的输出分别作为光学遥感图像测试数据集和SAR遥感图像测试数据集上学习得到的深度特征集fdO＝[fdO1,fdO2,...,fdOn]和fdS＝[fdS1,fdS2,...,fdSn]；深度特征集中每个特征向量fdok、fdsk分别对应一个权重系数wdOk和wdSk，k＝1,2,...,n,n为输入样本数(即光学遥感图像或SAR遥感图像的像素数量)。
子步骤D2：采用
归一化公式分别对光学遥感图像测试数据集和SAR遥感图像测试数据集的深度特征集的深度特征进行归一化处理；其中，fd和
分别表示归一化处理前后的深度特征，fd可以为fdO和fdS中的特征向量。
步骤E：基于测试数据集的深度特征集，对测试样本图像的光学遥感图像和SAR遥感图像进行选择性融合，得到融合后的图像。
步骤E包括：对步骤D获取的光学遥感图像和SAR遥感图像的深度特征集fdO＝[fdO1,fdO2,...,fdOn]和fdS＝[fdS1,fdS2,...,fdSn]，及其每个特征向量fdOk和fdSk对应的权重系数wdOk和wdSk，按照如下策略进行融合：
当max(wdOk,wdSk)>th时，选取wdOk和wdSk中较大者对应的特征向量作为最终的融合图像特征；
当max(wdOk,wdSk)<th时，采用权重加权法对特征向量fdOk和fdSk进行融合，权重加权法为：0.5*fdOk+0.5*fdSk，并将融合后的特征向量作为最终的融合图像特征，得到融合后的图像。其中，th表示阈值，为常数。
由此可见，利用深度学习方法自动实现多源待融合遥感图像特征的自动选择，无需手工特征选择，省时省力，便于多源遥感图像融合的工程应用；能够更加全面、深层地表达图像，实现多个抽象层次上的图像的语义表征，提高了多源图像融合的精度。
步骤F：利用分类器对融合后的图像所对应的特征进行分类，得到地物类别输出结果。
其中，分类器为已训练的分类器，其优选支持向量机分类器，支持向量机分类器的核函数优选高斯径向基核函数(Gaussian Radial Basis Function,RBF)或多层感知器核函数(Multi-Layer Perception,MLP)，分类器参数的训练优选监督学习方法。支持向量机分类器还可以使用其它方法替代，例如Boosting分类器、高斯过程分类器、KNN分类器。
以下进一步说明本发明的应用实例：为了验证本发明提出的多源融合方法的有效性，在多个真实测试数据集上对本发明方案进行了测试。这里给出一组典型测试数据集上的测试结果：测试数据集由Ikonos卫星光学遥感图像和E-SAR卫星PolSAR遥感图像组成(如图1所示)。另外，将本发明方法获取的融合结果与现有两种方法[R.Poutean and B.Stoll,SVM Selective Fusion(SELF)for Multi-Source Classification of StructurallyComplex Tropical Rainforest,IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing,5(4):1203-1212,2012](对比方法一)和[B.Waske,J.Benediktsson,Fusion of Support Vector Machines for Classification ofMultisensor Data,IEEE Trans.Geoscience and Remote Sensing,45(12):3858-3866,2007](对比方法二)获取的融合结果进行比较，相应的测试结果如图2所示。图2从左至右，依次为标准参考结果、本发明方法结果、对比方法一结果、对比方法二结果。量化比较结果说明本发明获取的多源融合结果较比对的两种方法获取的多源融合结果精度有较大提高。
至此，已经结合附图对本发明实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明的基于深度学习的多源遥感图像融合方法有了清楚的认识。
本发明的基于深度学习的多源遥感图像融合方法，利用深度学习方法自动实现多源待融合遥感图像特征的自动选择，无需手工特征选择，便于多源遥感图像融合的工程应用，在多源遥感图像融合领域取得优异结果。
需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种方式，本领域普通技术人员可对其进行简单地更改或替换，例如：
(1)实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本发明的保护范围；
(2)上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例；
(3)虽然本发明的深度学习方法采用了深度卷积神经网络模型，但本发明并不限于此，深度学习方法有多种选择，本发明同样可以采用其他的深度学习方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度学习的多源遥感图像融合方法，其特征在于，包括：
步骤A：对训练样本图像和测试样本图像进行预处理和图像光谱特征提取，得到训练数据集和测试数据集；
步骤B：构建深度卷积神经网络模型；
步骤C：利用所述训练数据集训练所述深度卷积神经网络模型，得到训练后的深度卷积神经网络模型；
步骤D：基于所述测试数据集和训练后的深度卷积神经网络模型，得到测试数据集的深度特征集，并对所述深度特征集中的深度特征进行归一化处理；
步骤E：基于所述测试数据集的深度特征集，对测试样本图像的光学遥感图像和SAR遥感图像进行根据比重的选择性融合，得到融合后的图像；以及
步骤F：利用分类器对所述融合后的图像所对应的特征进行分类，得到地物类别输出结果；
所述步骤D包括：
子步骤D1：分别对光学遥感图像测试数据集和SAR遥感图像测试数据集进行处理，得到光学遥感图像测试数据集和SAR遥感图像测试数据集的深度特征集fdO＝[fdO1,fdO2,...,fdOn]和fdS＝[fdS1,fdS2,...,fdSn]，深度特征集中每个特征向量fdok、fdsk分别对应一个权重系数wdOk和wdSk；k表示输 入样本的编号，n为输入样本数；
子步骤D2：采用
归一化公式分别对光学遥感图像测试数据集和SAR遥感图像测试数据集的深度特征集的深度特征进行归一化处理；其中，fd和
分别表示归一化处理前后的深度特征，fd为fdO和fdS中的特征向量。
2.如权利要求1所述的多源遥感图像融合方法，其特征在于，所述步骤A包括：
子步骤A1：构建待融合图像的预处理和图像光谱特征提取模型；
子步骤A2：利用所述待融合图像的预处理和图像光谱特征提取模型，对训练样本图像进行预处理和图像光谱特征提取，得到光学遥感图像训练数据集和SAR遥感图像训练数据集；以及
子步骤A3：利用待融合图像的预处理和图像光谱特征提取模型，对测试样本图像进行预处理和图像光谱特征提取，得到光学遥感图像测试数据集和SAR遥感图像测试数据集。
3.如权利要求2所述的多源遥感图像融合方法，其特征在于，所述子步骤A1包括：
子分步骤A1a：采用
归一化公式，对待融合图像中每个像素进行归一化处理，其中，s表示待融合图像的谱段，i,j分别表示待融合图像的位置坐标，和xijs分别表示归一化处理前第s谱段的位置坐标(i,j)上像素的值和处理后第s谱段的位置坐标(i,j)上像素的值，
和
分别表示整个待融合图像s谱段中像素最小值和最大值；
子分步骤A1b：对预处理后的待融合图像每个像素的坐标(i,j)为中心，提取(2*w+1)*(2*w+1)大小区域中所有像素构成一个向量xij＝[xi-wj-ws,xi-wj-w+1s,...,xijs,...,xi+wj+ws]，作为坐标(i,j)上对应像素的光谱特征向量，其中，w表示特征窗口大小。
4.如权利要求1所述的多源遥感图像融合方法，其特征在于，所述步骤B包括：
子步骤B1：构建深度卷积神经网络模型，深度卷积神经网络模型包括：1个输入层、5个卷积层、3个池化层、2个全连接层、1个softmax层和1个输出层；
子步骤B2：设置卷积层参数；
子步骤B3：计算卷积核和偏置的偏导，更新卷积层参数；
子步骤B4：设置池化层参数；
子步骤B5：设置激励函数参数；以及
子步骤B6：设置softmax层参数。
5.如权利要求4所述的多源遥感图像融合方法，其特征在于，所述子步骤B2包括：
卷积层正向运算公式为：
其中，f表示激励函数，l表示层数，m,n分别表示上一层和当前层上特征图的映射编号，
表示当前第l层的第n个特征图，
表示第l-1层的第m个特征图，
表示l层的第n个特征图与第l-1层的第m个特征图之间相关的卷积核，
表示第l层的第n个特征图对应的偏置，Mn表示输入特征图的一个子集，*表示卷积操作；
卷积层逆向误差传播公式为：
其中，l表示层数，m,n分别表示上一层和当前层上特征图的映射编号，
表示第l层的第n个神经节点的灵敏度，
表示下采样层的权值，o表示点乘，up()表示上采样操作，'表示转置，
其中，
和
分别表示第l层第n个特征图对应的的权值和偏置，
表示第l-1层的第n个特征图；
所述子步骤B3包括：
计算偏置和卷积核的偏导：
其中，E表示误差代价函数，
为
计算卷积时的每一个小区域，u、v分别表示灵敏度中的元素位置。
6.如权利要求4所述的多源遥感图像融合方法，其特征在于，所述子步骤B4包括：
当池化层的后连接层是卷积层时，池化层的逆向误差传播运算公式为：
其中，M表示输入特征图的集合，
表示l+1层的第n个特征图与第l层的第m个特征图之间相关的卷积核，表示第l+1层的第n个神经节点的灵敏度，
表示第l层的第m个神经节点的灵敏度；
当池化层的后连接层不是卷积层时，池化层的逆向误差传播采用与BP网络误差传播相同的方式。
7.如权利要求4所述的多源遥感图像融合方法，其特征在于，所述子步骤B6包括：
softmax层正向计算公式如下：
softmax层偏导计算公式如下：
其中，yij∈{1,2,...,K}表示图像位置坐标(i,j)上对应像素的类别；c、d表示当前样本数据的真实类别标记；z表示softmax层的输入。
8.如权利要求1所述的多源遥感图像融合方法，其特征在于，所述步骤E包括：
当max(wdOk,wdSk)>th时，选取wdOk和wdSk中较大者对应的特征向量作为最终的融合图像特征；
当max(wdOk,wdSk)<th时，采用权重加权法对特征向量fdOk和fdSk进行融合，并将融合后的特征向量作为最终的融合图像特征，得到融合后的图像。
9.如权利要求8所述的多源遥感图像融合方法，其特征在于，所述权重加权法为：0.5*fdOk+0.5*fdSk。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610703682.1A CN106295714B (zh) | 2016-08-22 | 2016-08-22 | 一种基于深度学习的多源遥感图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610703682.1A CN106295714B (zh) | 2016-08-22 | 2016-08-22 | 一种基于深度学习的多源遥感图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106295714A CN106295714A (zh) | 2017-01-04 |
| CN106295714B true CN106295714B (zh) | 2020-01-21 |
Family
ID=57661231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610703682.1A Active CN106295714B (zh) | 2016-08-22 | 2016-08-22 | 一种基于深度学习的多源遥感图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106295714B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709532B (zh) | 2017-01-25 | 2020-03-10 | 京东方科技集团股份有限公司 | 图像处理方法和装置 |
| CN106897683B (zh) * | 2017-02-15 | 2020-11-10 | 武汉喜恩卓科技有限责任公司 | 一种遥感图像的地物检测方法及系统 |
| CN106897968B (zh) * | 2017-02-15 | 2022-10-14 | 武汉喜恩卓科技有限责任公司 | 一种遥感图像地物的图像拼接方法及系统 |
| CN106952220A (zh) * | 2017-03-14 | 2017-07-14 | 长沙全度影像科技有限公司 | 一种基于深度学习的全景图像融合方法 |
| CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
| CN107103331B (zh) * | 2017-04-01 | 2020-06-16 | 中北大学 | 一种基于深度学习的图像融合方法 |
| CN107480701B (zh) * | 2017-07-19 | 2020-07-28 | 同济大学 | 基于多通道卷积神经网络的光学图像与雷达图像匹配方法 |
| CN107239775A (zh) * | 2017-07-28 | 2017-10-10 | 湖南大学 | 地物分类方法及装置 |
| CN107944377B (zh) * | 2017-11-20 | 2020-05-15 | 中交信息技术国家工程实验室有限公司 | 一种交通基础设施安全监控方法和系统 |
| CN108182441B (zh) * | 2017-12-29 | 2020-09-18 | 华中科技大学 | 平行多通道卷积神经网络、构建方法及图像特征提取方法 |
| CN108537742B (zh) * | 2018-03-09 | 2021-07-09 | 天津大学 | 一种基于生成对抗网络的遥感图像全色锐化方法 |
| CN108664994A (zh) * | 2018-04-17 | 2018-10-16 | 哈尔滨工业大学深圳研究生院 | 一种遥感图像处理模型构建系统和方法 |
| CN108764316B (zh) * | 2018-05-18 | 2022-08-26 | 河海大学 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
| CN110782568B (zh) * | 2018-07-13 | 2022-05-31 | 深圳市元睿城市智能发展有限公司 | 一种基于视频摄影的门禁系统 |
| WO2020024585A1 (zh) * | 2018-08-03 | 2020-02-06 | 华为技术有限公司 | 一种训练物体检测模型的方法、装置以及设备 |
| CN110795976B (zh) | 2018-08-03 | 2023-05-05 | 华为云计算技术有限公司 | 一种训练物体检测模型的方法、装置以及设备 |
| CN109711446B (zh) * | 2018-12-18 | 2021-01-19 | 中国科学院深圳先进技术研究院 | 一种基于多光谱影像和sar影像的地物分类方法及装置 |
| CN110321932B (zh) * | 2019-06-10 | 2021-06-25 | 浙江大学 | 一种基于深度多源数据融合的全城市空气质量指数估计方法 |
| CN111414968B (zh) * | 2020-03-26 | 2022-05-03 | 西南交通大学 | 一种基于卷积神经网络特征图的多模态遥感影像匹配方法 |
| CN111584073B (zh) * | 2020-05-13 | 2023-05-09 | 山东大学 | 构建肺结节良恶性的多种病理类型诊断模型的方法 |
| CN111742329B (zh) * | 2020-05-15 | 2023-09-12 | 安徽中科智能感知科技股份有限公司 | 一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法及平台 |
| CN112418073B (zh) * | 2020-11-19 | 2023-10-03 | 安徽农业大学 | 一种基于无人机图像融合特征的小麦植株氮含量估测方法 |
| CN112287886B (zh) * | 2020-11-19 | 2023-09-22 | 安徽农业大学 | 基于高光谱图像融合图谱特征的小麦植株氮含量估测方法 |
| CN112557393B (zh) * | 2020-11-19 | 2024-02-20 | 南京农业大学 | 基于高光谱影像融合图谱特征的小麦叶层氮含量估测方法 |
| CN112464559B (zh) * | 2020-11-24 | 2023-05-16 | 山东交通学院 | 一种用于燃料电池发动机故障预测的数据融合方法及系统 |
| CN113505710B (zh) * | 2021-07-15 | 2022-06-03 | 黑龙江工程学院 | 一种基于深度学习sar图像分类的图像选择的方法及系统 |
| CN113657472B (zh) * | 2021-08-02 | 2024-05-28 | 中国空间技术研究院 | 一种基于子空间学习的多源遥感数据融合方法 |
| CN113420838B (zh) * | 2021-08-20 | 2021-11-02 | 中国科学院空天信息创新研究院 | 基于多尺度注意力特征融合的sar与光学图像分类方法 |
| CN114612757B (zh) * | 2022-01-28 | 2022-11-15 | 深圳市神州云海智能科技有限公司 | 一种基于深度学习的多源导航图像融合方法及系统 |
| CN114863235A (zh) * | 2022-05-07 | 2022-08-05 | 清华大学 | 一种异质遥感图像的融合方法 |
| CN114970743B (zh) * | 2022-06-17 | 2022-11-08 | 中国科学院地理科学与资源研究所 | 一种基于多模态深度学习的多源遥感降雨数据融合方法 |
| CN116402691B (zh) * | 2023-06-05 | 2023-08-04 | 四川轻化工大学 | 基于图像特征快速拼接的图像超分辨率方法和系统 |
| CN116758401B (zh) * | 2023-08-16 | 2023-10-27 | 阳光学院 | 基于深度学习和遥感图像的城市内河水质评估方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020945A (zh) * | 2011-09-21 | 2013-04-03 | 中国科学院电子学研究所 | 一种多源传感器的遥感图像配准方法 |
| CN104851099A (zh) * | 2015-05-21 | 2015-08-19 | 周口师范学院 | 一种基于表示学习的图像融合方法 |
| JP2015207235A (ja) * | 2014-04-23 | 2015-11-19 | 日本電気株式会社 | データ融合装置、土地被覆分類システム、方法およびプログラム |
| CN105740894A (zh) * | 2016-01-28 | 2016-07-06 | 北京航空航天大学 | 一种高光谱遥感图像的语义标注方法 |
-
2016
- 2016-08-22 CN CN201610703682.1A patent/CN106295714B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020945A (zh) * | 2011-09-21 | 2013-04-03 | 中国科学院电子学研究所 | 一种多源传感器的遥感图像配准方法 |
| JP2015207235A (ja) * | 2014-04-23 | 2015-11-19 | 日本電気株式会社 | データ融合装置、土地被覆分類システム、方法およびプログラム |
| CN104851099A (zh) * | 2015-05-21 | 2015-08-19 | 周口师范学院 | 一种基于表示学习的图像融合方法 |
| CN105740894A (zh) * | 2016-01-28 | 2016-07-06 | 北京航空航天大学 | 一种高光谱遥感图像的语义标注方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106295714A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106295714B (zh) | 一种基于深度学习的多源遥感图像融合方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN108230329B (zh) | 基于多尺度卷积神经网络的语义分割方法 | |
| CN110084794B (zh) | 一种基于注意力卷积神经网络的皮肤癌图片识别方法 | |
| CN108985238B (zh) | 联合深度学习和语义概率的不透水面提取方法及系统 | |
| CN109886066B (zh) | 基于多尺度和多层特征融合的快速目标检测方法 | |
| CN109508655B (zh) | 基于孪生网络的不完备训练集的sar目标识别方法 | |
| CN110378196B (zh) | 一种结合激光点云数据的道路视觉检测方法 | |
| CN108182441B (zh) | 平行多通道卷积神经网络、构建方法及图像特征提取方法 | |
| CN106920243B (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
| CN106845529B (zh) | 基于多视野卷积神经网络的影像特征识别方法 | |
| CN108734208B (zh) | 基于多模态深度迁移学习机制的多源异构数据融合系统 | |
| CN110033473B (zh) | 基于模板匹配和深度分类网络的运动目标跟踪方法 | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN108647588A (zh) | 物品类别识别方法、装置、计算机设备和存储介质 | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN112102229A (zh) | 一种基于深度学习的工业ct检测缺陷的智能识别方法 | |
| CN113743417B (zh) | 语义分割方法和语义分割装置 | |
| CN112396097B (zh) | 基于加权最优传输的无监督域自适应视觉目标检测方法 | |
| CN110569971B (zh) | 一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法 | |
| CN110879982A (zh) | 一种人群计数系统及方法 | |
| JP2017033197A (ja) | 変化領域検出装置、方法、及びプログラム | |
| CN108932455B (zh) | 遥感图像场景识别方法及装置 | |
| CN106874929A (zh) | 一种基于深度学习的珍珠分类方法 | |
| CN112364747B (zh) | 一种有限样本下的目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201225 Address after: 250101 No.9, Kuangyuan Road, Gongye North Road, Wangsheren street, Licheng District, Jinan City, Shandong Province Patentee after: Jigang Defense Technology Co.,Ltd. Address before: 100190 No. 19 West North Fourth Ring Road, Haidian District, Beijing Patentee before: Aerospace Information Research Institute,Chinese Academy of Sciences Effective date of registration: 20201225 Address after: 100190 No. 19 West North Fourth Ring Road, Haidian District, Beijing Patentee after: Aerospace Information Research Institute,Chinese Academy of Sciences Address before: 100190 No. 19 West North Fourth Ring Road, Haidian District, Beijing Patentee before: Institute of Electronics, Chinese Academy of Sciences |
|
| TR01 | Transfer of patent right |