CN109146831A - 基于双支深度学习网络的遥感图像融合方法及系统 - Google Patents
基于双支深度学习网络的遥感图像融合方法及系统 Download PDFInfo
- Publication number
- CN109146831A CN109146831A CN201810864164.7A CN201810864164A CN109146831A CN 109146831 A CN109146831 A CN 109146831A CN 201810864164 A CN201810864164 A CN 201810864164A CN 109146831 A CN109146831 A CN 109146831A
- Authority
- CN
- China
- Prior art keywords
- image
- double branch
- module
- convolutional neural
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000001228 spectrum Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 21
- 238000002156 mixing Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供基于双支深度学习网络的遥感图像融合方法及系统，包括对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；构建双支卷积神经网络，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；将待融合的全色图像与多光谱图像，输入到训练完成的双支卷积神经网络中，得到融合后的高空间分辨率的多光谱图像。本发明针对遥感图像中的全色与多光谱图像的融合，利用深层次的深度卷积网络能够更加充分地提取影像的特征，集成两种图像之间的互补信息，生成高空间分辨率的多光谱图像。
Description
技术领域
本发明属于遥感图像处理领域，涉及一种对遥感图像进行融合的技术方案。
背景技术
遥感影像是卫星传感器探测和记录地表反射电磁波的信息载体，可以用于环境监控、地物分类、气候监测等等。许多对地观测卫星(如Landsat、GeoEye-1、QuickBird等)在拍摄多光谱影像的同时拍摄一幅同一区域的全色影像。由于地物在不同光谱区对电磁波有不同的反射值，因此多光谱影像相比与光谱单一的全色影像能够记录目标更多的信息量。多光谱影像光谱分辨率高，但受到传感器物理特性的限制以及考虑到信噪比的原因，它的空间分辨率不及全色影像。为了充分利用多光谱影像和全色影像所提供的光谱和空间信息，需要将两者进行融合，得到空间分辨率和光谱分辨率都较高的影像。融合后的影像既要具有全色影像的空间分辨率，又要保留原来多光谱影像的光谱信息。通过融合获得的影像比起单一的源影像具备更加精确的信息并更容易被解译。
近几年来，各种各样的影像融合方法被广大学者提出，这些方法大致可分为三类：基于分量替换、基于多分辨率分析、基于稀疏表达。
基于分量替换的融合算法的基本思路是将多光谱影像线性变换到另一个空间，再用全色影像替代主分量，最后线性反变换到原来的影像空间得到融合影像。这类算法的研究起步最早，运算速度快，是目前使用范围最广的算。基于多分辨率分析的融合算法主要包括各种小波变换算法。这类方法首先对待融合的源影像进行多尺度多方向分解，得到源影像的低频分量与不同尺度与方向下的高频分量，形成各自的多尺度描述；然后根据不同分量的特性，选择相应的融合策略，综合不同影像之间的互补信息和冗余信息；最后将融合后的高频分量和低频分量经过相应的逆变换重构得到融合后的影像。基于稀疏表示的融合算法是近年来研究的热点。使用这类方法进行影像融合时，主要经过以下几个步骤：首先，对于待融合的影像需要按照一定的“步距”进行影像的分块操作，并将每一个影像块矢量化。然后根据预先设定好的稀疏字典中的原子对矢量化后的影像块进行线性表示以得到稀疏表示系数。紧接着按照一定的规则，对不同影像的稀疏系数进行合并。最后，将稀疏字典与融合后的稀疏系数相乘即可得到融合后的影像块，利用影像块便能拼出融合后的影像。
发明内容
针对遥感图像融合需要实现的效果，本发明提供了一种遥感图像的融合方法，可以对全色与多光谱图像进行融合，从而集成两种图像之间的互补信息，生成高空间分辨率的多光谱图像。为实现上述目的，本发明的技术方案主要包括图像的深度学习技术。在这个技术的支持下，本发明能够对全色与多光谱图像进行有效地融合。
本发明提供一种基于双支深度学习网络的遥感图像融合方法，包括以下步骤：
步骤a，对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；
步骤b，构建双支卷积神经网络，所述双支卷积神经网络包括一条用于输入多光谱图像的支线和一条用于输入全色图像的支线，两条支线分别包含若干卷积模块，将两条支线提取出的特征进行特征维度上的合并后，再利用一个卷积模块进行融合结果的输出；
步骤c，利用步骤a所得训练样本，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；
步骤d，将待融合的全色图像与多光谱图像，输入到步骤c所得训练完成的双支卷积神经网络中，得到融合后的高空间分辨率的多光谱图像。
而且，步骤b中，每个卷积模块包含卷积与非线性ReLU激活两个部分，表示如下，
y(j)＝max(0,b(j)+∑ik(i)(j)*x(i))
其中，i代表输入特征图的序号，j代表输出特征图的序号，k(i)(j)是作用于输入特征图x(i)以输出特征图y(j)的卷积核，b(j)表示偏置，符号*表示卷积操作。
而且，步骤c中，采用随机梯度下降算法对双支卷积神经网络进行训练时，损失函数为，
其中，设步骤a得到训练集P为训练样本数目，z表示样本序号，取值为1到P；表示第z个样本基于双支卷积神经网络融合出的结果，分别为第z个样本中对应的全色图像和多光谱图像，y(z)为第z个样本相应理想的多光谱影像。
而且，设用于输入多光谱图像的支线包含m个卷积模块，用于输入全色图像的支线包含p个卷积模块，1≤m≤10，1≤p≤10。
而且，m＝2，p＝8。
本发明提供一种基于双支深度学习网络的遥感图像融合系统，包括以下模块：
第一模块，用于对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；
第二模块，用于构建双支卷积神经网络，所述双支卷积神经网络包括一条用于输入多光谱图像的支线和一条用于输入全色图像的支线，两条支线分别包含若干卷积模块，将两条支线提取出的特征进行特征维度上的合并后，再利用一个卷积模块进行融合结果的输出；
第三模块，用于利用第一模块所得训练样本，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；
第四模块，用于将待融合的全色图像与多光谱图像，输入到第三模块所得训练完成的双支卷积神经网络中，得到融合后的高空间分辨率的多光谱图像。
而且，第二模块中，每个卷积模块包含卷积与非线性ReLU激活两个部分，表示如下，
y(j)＝max(0,b(j)+∑ik(i)(j)*x(i))
其中，i代表输入特征图的序号，j代表输出特征图的序号，k(i)(j)是作用于输入特征图x(i)以输出特征图y(j)的卷积核，b(j)表示偏置，符号*表示卷积操作。
而且，第三模块中，采用随机梯度下降算法对双支卷积神经网络进行训练时，损失函数为，
其中，设第一模块得到训练集P为训练样本数目，z表示样本序号，取值为1到P；表示第z个样本基于双支卷积神经网络融合出的结果，分别为第z个样本中对应的全色图像和多光谱图像，y(z)为第z个样本相应理想的多光谱影像。
而且，设用于输入多光谱图像的支线包含m个卷积模块，用于输入全色图像的支线包含p个卷积模块，1≤m≤10，1≤p≤10。
而且，m＝2，p＝8。
本发明提供一种基于双支深度学习网络的遥感图像融合技术方案，用于遥感图像中的全色与多光谱图像的融合，集成两种图像之间的互补信息，生成高空间分辨率的多光谱图像。本发明的优点在于利用深层次的深度卷积网络能够更加充分地提取影像的特征，从而达到更好的融合效果。
附图说明
图1为本发明实施例的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合附图和实施例，对本发明技术方案进一步详细说明。
本发明基于目前正在被研究者们热烈研究的深度学习，提出了一种新的遥感影像融合网络。区别于深度学习在计算机视觉的应用，本发明创新性地将深度学习用于解决遥感领域中多源图像的融合问题。由于涉及到多个数据源，因此如何去协调来自不同数据源的信息从而获得更好的融合图像，是本发明需要解决的难点。该网络主要利用了卷积神经网络(CNNs)，并设计了较为深的网络以提取更多的有效信息进行融合。融合网络主要分为两条支线和一条主线，在支线上分别对全色影像与多光谱影像进行特征的提取，在主线上将提取出的特征合并后再进行一次卷积操作以得到最终结果。
本发明的实施例是卫星QuickBird获取的全色与多光谱图像构成，全色图像的空间分辨率为0.7米，多光谱图像的空间分辨率为2.8米并具备蓝、绿、红、近红四个波段。因此，将这两种图像融合，可以获得0.7米的多光谱图像，提高目标的辨识度。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。
如图1，本发明优选实施例的遥感图像融合方法包括：
步骤a，对作为样本数据的全色图像与多光谱图像分别进行一定倍数的下采样，获得训练样本。
由于与全色图像具备一致空间分辨率的多光谱图像不存在，本发明便会将原始多光谱影像作为真值，将下采样后的全色与多光谱图像作为输入来训练网络。以QuickBird图像为例，原本的融合任务为将0.7米的全色图像与2.8米的多光谱图像融合为0.7米的多光谱图像。由于网络需要0.7米的多光谱图像作为真值从而进行训练，而这一图像实际上并不存在，这会使得训练无法进行。为了缓解这一问题，本发明将0.7米的全色图像与2.8米的多光谱图像均做4倍下采样，获得2.8米的全色图像与11.2米的多光谱图像。此时，融合任务变为将2.8米的全色图像与11.2米的多光谱图像融合为2.8米的多光谱图像，此时2.8米的多光谱图像的真值是存在的，从而使得整个训练流程能够正常进行。
步骤b，通过构建含有多个卷积模块的双支卷积神经网络来对全色与多光谱图像的特征进行提取，最后将提取出的特征进行融合获得融合后的图像。
本发明提出的双支卷积神经网络中，每个卷积模块包含卷积与ReLU激活两个部分。ReLU为线性整流函数。两者的计算可一同表示如下：
y(j)＝max(0,b(j)+∑ik(i)(j)*x(i))
其中，i代表输入特征图的序号，j代表输出特征图的序号。k(i)(j)是作用于输入特征图x(i)以输出特征图y(j)的卷积核，b(j)表示偏置。符号*表示卷积操作。若该层存在M个输入特征图以及N个输出特征图，则该层对于每一个输出特征图，均存在M个大小为d×d的卷积核(d×d为局部感受野的大小)以及一个偏置项。
如图1中所示，多光谱图像会经过m个卷积模块来提取特征，全色图像会经过p个卷积模块来提取特征。将两条支线提取出的特征进行特征维度上的合并后，再利用一个卷积模块进行融合结果的输出。其中，整数m、p的取值均大于等于1，建议取值小于等于10，以在避免运算速度会过慢和产生过拟合的前提下尽量取值更大。融合的图像与原始的多光谱图像比较接近，可以使用较浅的特征，因此m取值可以小于p取值。根据实验验证，具体实施时，优先地，m取值为2，p取值为8。
步骤c，利用步骤a中生成的训练样本与随机梯度下降算法对网络进行训练，损失函数为：
其中x1与x2分别表示输入的全色图像(高空间分辨率)与多光谱图像(低空间分辨率)，y表示理想的多光谱影像(高空间分辨率)。设步骤a得到训练集f表示训练出的网络，z表示样本序号，取值为1到P。因此表示第z个样本基于双支卷积神经网络融合出的结果，分别为第z个样本中对应的全色图像和多光谱图像，y(z)为第z个样本相应理想的多光谱影像。P为训练样本数目，本发明实施例使用的样本数目为49984。
步骤d，对于待融合的全色与多光谱图像，将两者输入到步骤c中训练好的双支卷积神经网络中，即可得到融合后的高空间分辨率的多光谱图像。
综上所述，本发明提出的基于双支深度学习网络的遥感图像融合方法，首先需要先对训练数据进行预处理获得可供网络正常训练的训练样本。然后将训练样本送入构建的双支卷积神经网络对其进行训练。最后，对于其他待融合的全色与多光谱图像，将两者输入到训练好的双支卷积神经网络中，即可得到融合后的高空间分辨率的多光谱图像。
具体实施时，可通过计算机软件技术实现以上流程的自动运行，也可采用模块化方式提供相应系统。
本发明实施例提供一种基于双支深度学习网络的遥感图像融合系统，包括以下模块：
第一模块，用于对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；
第二模块，用于构建双支卷积神经网络，所述双支卷积神经网络包括一条用于输入多光谱图像的支线和一条用于输入全色图像的支线，两条支线分别包含若干卷积模块，将两条支线提取出的特征进行特征维度上的合并后，再利用一个卷积模块进行融合结果的输出；
第三模块，用于利用第一模块所得训练样本，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；
第四模块，用于将待融合的全色图像与多光谱图像，输入到第三模块所得训练完成的双支卷积神经网络中，得到融合后的高空间分辨率的多光谱图像。
各模块具体实现可参见相应步骤，本发明不予赘述。
以下通过仿真实验来验证本发明的有效性。
以QuickBird卫星的全色图像与多光谱图像为实验对象，为证明本发明方法在遥感图像上的融合效果，本实验采用基于分量替换、基于多分辨率分析、基于稀疏表达的算法进行对比。这些方法是：(1)利用自适应HIS变换进行的图像融合(AIHS)；(2)利用小波变换进行的图像融合(WT)；(3)利用小波变换与稀疏表示进行的图像融合(WT+SR)。
本例中用于多光谱影像特征提取的支线的深度m为2，而用于全色影像的支线的深度p为8。在支线之中，除了输入，其他层的参数设置保持一致：64个大小为3×3×64的滤波器，每个滤波器将对64个波段(特征图)中的每一个波段进行空间大小为3×3的滤波。每条支线的第一层作用与输入影像上，根据上输入影像的波段来确定滤波器的个数。获得支线的结果后，进入特征的融合阶段，将两条支线的结果特征图按照维度进行拼接，在整个网络的最后一层上设置4个大小为3×3×128的滤波器，以获得融合后的多光谱图像(4个波段)。
为了更加客观评价本方法(Proposed)相比于其他方法具有的优越性，本发明主要采用SAM，RMSE，UIQI等4种常用的遥感图像融合质量评价指标对融合后的图像进行质量评价。其中，SAM(光谱映射角)将图像中的每个像元的光谱视为一个高维向量，通过计算两向量间的夹角来度量光谱间的相似性，夹角越小，两光谱越相似；RMSE(均方根误差)和UIQI(通用图像质量评价指标)能同时评价融合图像在空间和光谱上的质量。SAM和UIQI的值越大，说明融合结果越好；RMSE的值越小，说明融合结果越好。
仿真结果：
(1)按照所述仿真内容的仿真结果客观评价结果如下：
表1红外与可见光图像融合客观质量评价结果
从融合图像的客观质量评价结果上分析：
表1中本发明的方法在四项指标上均超过对比的三种方法。说明本发明方法得到的融合图像空间信息丰富，并较好地保留了多光谱图像的光谱信息。
(2)按照所述仿真内容的仿真结果主观评价如下：
从视觉上分析，所有方法得到的融合图像均提高了原始多光谱图像的空间分辨率，但是AIHS、WT、WT+SR这三种方法得到的结果均存在一定的光谱扭曲，并且WT方法得到的结果还出现了振铃效应。相比于其他方法，本发明的方法不仅提高了多光谱图像的空间分辨率，也抑制了光谱扭曲的发生。
Claims (10)
1.一种基于双支深度学习网络的遥感图像融合方法，其特征在于，包括以下步骤：
步骤a，对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；
步骤b，构建双支卷积神经网络，所述双支卷积神经网络包括一条用于输入多光谱图像的支线和一条用于输入全色图像的支线，两条支线分别包含若干卷积模块，将两条支线提取出的特征进行特征维度上的合并后，再利用一个卷积模块进行融合结果的输出；
步骤c，利用步骤a所得训练样本，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；
步骤d，将待融合的全色图像与多光谱图像，输入到步骤c所得训练完成的双支卷积神经网络中，得到融合后的高空间分辨率的多光谱图像。
2.根据权利要求1所述基于双支深度学习网络的遥感图像融合方法，其特征在于：步骤b中，每个卷积模块包含卷积与非线性ReLU激活两个部分，表示如下，
y(j)＝max(0,b(j)+∑ik(i)(j)*x(i))
其中，i代表输入特征图的序号，j代表输出特征图的序号，k(i)(j)是作用于输入特征图x(i)以输出特征图y(j)的卷积核，b(j)表示偏置，符号*表示卷积操作。
3.根据权利要求1所述基于双支深度学习网络的遥感图像融合方法，其特征在于：步骤c中，采用随机梯度下降算法对双支卷积神经网络进行训练时，损失函数为，
其中，设步骤a得到训练集P为训练样本数目，z表示样本序号，取值为1到P；表示第z个样本基于双支卷积神经网络融合出的结果，分别为第z个样本中对应的全色图像和多光谱图像，y(z)为第z个样本相应理想的多光谱影像。
4.根据权利要求1或2或3所述基于双支深度学习网络的遥感图像融合方法，其特征在于：设用于输入多光谱图像的支线包含m个卷积模块，用于输入全色图像的支线包含p个卷积模块，1≤m≤10，1≤p≤10。
5.根据权利要求4所述基于双支深度学习网络的遥感图像融合方法，其特征在于：m＝2，p＝8。
6.一种基于双支深度学习网络的遥感图像融合系统，其特征在于，包括以下模块：
第一模块，用于对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；
第二模块，用于构建双支卷积神经网络，所述双支卷积神经网络包括一条用于输入多光谱图像的支线和一条用于输入全色图像的支线，两条支线分别包含若干卷积模块，将两条支线提取出的特征进行特征维度上的合并后，再利用一个卷积模块进行融合结果的输出；
第三模块，用于利用第一模块所得训练样本，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；
第四模块，用于将待融合的全色图像与多光谱图像，输入到第三模块所得训练完成的双支卷积神经网络中，得到融合后的高空间分辨率的多光谱图像。
7.根据权利要求6所述基于双支深度学习网络的遥感图像融合系统，其特征在于：第二模块中，每个卷积模块包含卷积与非线性ReLU激活两个部分，表示如下，
y(j)＝max(0,b(j)+∑ik(i)(j)*x(i))
其中，i代表输入特征图的序号，j代表输出特征图的序号，k(i)(j)是作用于输入特征图x(i)以输出特征图y(j)的卷积核，b(j)表示偏置，符号*表示卷积操作。
8.根据权利要求6所述基于双支深度学习网络的遥感图像融合方法，其特征在于：第三模块中，采用随机梯度下降算法对双支卷积神经网络进行训练时，损失函数为，
其中，设第一模块得到训练集P为训练样本数目，z表示样本序号，取值为1到P；表示第z个样本基于双支卷积神经网络融合出的结果，分别为第z个样本中对应的全色图像和多光谱图像，y(z)为第z个样本相应理想的多光谱影像。
9.根据权利要求6或7或8所述基于双支深度学习网络的遥感图像融合系统，其特征在于：设用于输入多光谱图像的支线包含m个卷积模块，用于输入全色图像的支线包含p个卷积模块，1≤m≤10，1≤p≤10。
10.根据权利要求9所述基于双支深度学习网络的遥感图像融合系统，其特征在于：m＝2，p＝8。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810864164.7A CN109146831A (zh) | 2018-08-01 | 2018-08-01 | 基于双支深度学习网络的遥感图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810864164.7A CN109146831A (zh) | 2018-08-01 | 2018-08-01 | 基于双支深度学习网络的遥感图像融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109146831A true CN109146831A (zh) | 2019-01-04 |
Family
ID=64799441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810864164.7A Pending CN109146831A (zh) | 2018-08-01 | 2018-08-01 | 基于双支深度学习网络的遥感图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109146831A (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110032928A (zh) * | 2019-02-27 | 2019-07-19 | 成都数之联科技有限公司 | 一种适用于颜色敏感的卫星遥感影像水体识别方法 |
| CN110189282A (zh) * | 2019-05-09 | 2019-08-30 | 西北工业大学 | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 |
| CN110441312A (zh) * | 2019-07-30 | 2019-11-12 | 上海深视信息科技有限公司 | 一种基于多光谱成像的产品表面缺陷检测系统 |
| CN110443865A (zh) * | 2019-07-29 | 2019-11-12 | 北京理工大学 | 基于rgb相机和深度神经网络的多光谱成像方法和装置 |
| CN110930315A (zh) * | 2019-10-23 | 2020-03-27 | 西北工业大学 | 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法 |
| CN111340080A (zh) * | 2020-02-19 | 2020-06-26 | 济南大学 | 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统 |
| CN111353424A (zh) * | 2020-02-27 | 2020-06-30 | 中国科学院遥感与数字地球研究所 | 深度递归残差网络的遥感图像空谱融合方法和电子设备 |
| CN111524063A (zh) * | 2019-12-24 | 2020-08-11 | 珠海大横琴科技发展有限公司 | 一种遥感图像融合方法及装置 |
| CN111583166A (zh) * | 2019-12-24 | 2020-08-25 | 珠海大横琴科技发展有限公司 | 一种影像融合网络模型构建及训练方法、装置 |
| CN111681177A (zh) * | 2020-05-18 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置、计算机可读存储介质、电子设备 |
| CN111696070A (zh) * | 2020-04-09 | 2020-09-22 | 华北电力大学 | 基于深度学习的多光谱图像融合电力物联网故障点检测方法 |
| CN112036246A (zh) * | 2020-07-30 | 2020-12-04 | 长安大学 | 遥感影像分类模型的构建方法，遥感影像分类方法及系统 |
| CN112184554A (zh) * | 2020-10-13 | 2021-01-05 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
| CN112465733A (zh) * | 2020-08-31 | 2021-03-09 | 长沙理工大学 | 基于半监督学习的遥感图像融合方法、装置、介质及设备 |
| CN112488978A (zh) * | 2021-02-05 | 2021-03-12 | 湖南大学 | 基于模糊核估计的多光谱图像融合成像方法及系统 |
| CN112508082A (zh) * | 2020-12-02 | 2021-03-16 | 武汉大学 | 一种非监督学习的遥感影像空谱融合方法及系统 |
| CN112861774A (zh) * | 2021-03-04 | 2021-05-28 | 山东产研卫星信息技术产业研究院有限公司 | 一种使用遥感图像识别舰船目标的方法及系统 |
| CN113066037A (zh) * | 2021-03-31 | 2021-07-02 | 山东师范大学 | 基于图注意力机制的多光谱与全色图像融合方法及系统 |
| CN113129247A (zh) * | 2021-04-21 | 2021-07-16 | 重庆邮电大学 | 基于自适应多尺度残差卷积的遥感图像融合方法及介质 |
| CN113191993A (zh) * | 2021-04-20 | 2021-07-30 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
| CN113191440A (zh) * | 2021-05-12 | 2021-07-30 | 济南大学 | 一种遥感影像实例分类方法、系统、终端及存储介质 |
| CN113327304A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于端到端神经网络的高光谱图像显著图生成方法 |
| CN114925947A (zh) * | 2022-03-04 | 2022-08-19 | 武汉大学 | 一种物候自适应的作物生理指标深度学习估测方法及系统 |
| CN115565037A (zh) * | 2022-09-14 | 2023-01-03 | 中国科学院空天信息创新研究院 | 图像融合方法及装置 |
| CN117095265A (zh) * | 2023-09-04 | 2023-11-21 | 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) | 基于双分支cnn的sar影像与光学影像的融合方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090226114A1 (en) * | 2008-03-07 | 2009-09-10 | Korea Aerospace Research Institute | Satellite image fusion method and system |
| CN103971329A (zh) * | 2014-05-26 | 2014-08-06 | 电子科技大学 | 一种基于遗传优化细胞神经网络的多源图像融合方法 |
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
-
2018
- 2018-08-01 CN CN201810864164.7A patent/CN109146831A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090226114A1 (en) * | 2008-03-07 | 2009-09-10 | Korea Aerospace Research Institute | Satellite image fusion method and system |
| CN103971329A (zh) * | 2014-05-26 | 2014-08-06 | 电子科技大学 | 一种基于遗传优化细胞神经网络的多源图像融合方法 |
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHENFENG SHAO 等: "Remote Sensing Image Fusion With Deep Convolutional Neural Network", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110032928A (zh) * | 2019-02-27 | 2019-07-19 | 成都数之联科技有限公司 | 一种适用于颜色敏感的卫星遥感影像水体识别方法 |
| CN110189282A (zh) * | 2019-05-09 | 2019-08-30 | 西北工业大学 | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 |
| CN110443865A (zh) * | 2019-07-29 | 2019-11-12 | 北京理工大学 | 基于rgb相机和深度神经网络的多光谱成像方法和装置 |
| CN110441312A (zh) * | 2019-07-30 | 2019-11-12 | 上海深视信息科技有限公司 | 一种基于多光谱成像的产品表面缺陷检测系统 |
| CN110930315A (zh) * | 2019-10-23 | 2020-03-27 | 西北工业大学 | 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法 |
| CN110930315B (zh) * | 2019-10-23 | 2022-02-11 | 西北工业大学 | 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法 |
| CN111524063A (zh) * | 2019-12-24 | 2020-08-11 | 珠海大横琴科技发展有限公司 | 一种遥感图像融合方法及装置 |
| CN111583166A (zh) * | 2019-12-24 | 2020-08-25 | 珠海大横琴科技发展有限公司 | 一种影像融合网络模型构建及训练方法、装置 |
| CN111340080A (zh) * | 2020-02-19 | 2020-06-26 | 济南大学 | 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统 |
| CN111340080B (zh) * | 2020-02-19 | 2024-03-29 | 济南大学 | 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统 |
| CN111353424A (zh) * | 2020-02-27 | 2020-06-30 | 中国科学院遥感与数字地球研究所 | 深度递归残差网络的遥感图像空谱融合方法和电子设备 |
| CN111353424B (zh) * | 2020-02-27 | 2023-06-09 | 中国科学院遥感与数字地球研究所 | 深度递归残差网络的遥感图像空谱融合方法和电子设备 |
| CN111696070A (zh) * | 2020-04-09 | 2020-09-22 | 华北电力大学 | 基于深度学习的多光谱图像融合电力物联网故障点检测方法 |
| CN111681177A (zh) * | 2020-05-18 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置、计算机可读存储介质、电子设备 |
| CN111681177B (zh) * | 2020-05-18 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置、计算机可读存储介质、电子设备 |
| CN112036246A (zh) * | 2020-07-30 | 2020-12-04 | 长安大学 | 遥感影像分类模型的构建方法，遥感影像分类方法及系统 |
| CN112465733A (zh) * | 2020-08-31 | 2021-03-09 | 长沙理工大学 | 基于半监督学习的遥感图像融合方法、装置、介质及设备 |
| CN112184554A (zh) * | 2020-10-13 | 2021-01-05 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
| CN112184554B (zh) * | 2020-10-13 | 2022-08-23 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
| CN112508082A (zh) * | 2020-12-02 | 2021-03-16 | 武汉大学 | 一种非监督学习的遥感影像空谱融合方法及系统 |
| CN112488978A (zh) * | 2021-02-05 | 2021-03-12 | 湖南大学 | 基于模糊核估计的多光谱图像融合成像方法及系统 |
| CN112861774A (zh) * | 2021-03-04 | 2021-05-28 | 山东产研卫星信息技术产业研究院有限公司 | 一种使用遥感图像识别舰船目标的方法及系统 |
| CN113066037A (zh) * | 2021-03-31 | 2021-07-02 | 山东师范大学 | 基于图注意力机制的多光谱与全色图像融合方法及系统 |
| CN113191993A (zh) * | 2021-04-20 | 2021-07-30 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
| CN113191993B (zh) * | 2021-04-20 | 2022-11-04 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
| CN113129247A (zh) * | 2021-04-21 | 2021-07-16 | 重庆邮电大学 | 基于自适应多尺度残差卷积的遥感图像融合方法及介质 |
| CN113191440A (zh) * | 2021-05-12 | 2021-07-30 | 济南大学 | 一种遥感影像实例分类方法、系统、终端及存储介质 |
| CN113327304A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于端到端神经网络的高光谱图像显著图生成方法 |
| CN114925947A (zh) * | 2022-03-04 | 2022-08-19 | 武汉大学 | 一种物候自适应的作物生理指标深度学习估测方法及系统 |
| CN115565037A (zh) * | 2022-09-14 | 2023-01-03 | 中国科学院空天信息创新研究院 | 图像融合方法及装置 |
| CN115565037B (zh) * | 2022-09-14 | 2023-08-22 | 中国科学院空天信息创新研究院 | 图像融合方法及装置 |
| CN117095265A (zh) * | 2023-09-04 | 2023-11-21 | 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) | 基于双分支cnn的sar影像与光学影像的融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146831A (zh) | 基于双支深度学习网络的遥感图像融合方法及系统 | |
| CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
| CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| Song et al. | Spatiotemporal satellite image fusion using deep convolutional neural networks | |
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| Zhou et al. | Pyramid fully convolutional network for hyperspectral and multispectral image fusion | |
| CN109767412A (zh) | 一种基于深度残差神经网络的遥感影像融合方法及系统 | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN109711288A (zh) | 基于特征金字塔和距离约束fcn的遥感船舶检测方法 | |
| CN110929607A (zh) | 一种城市建筑物施工进度的遥感识别方法和系统 | |
| CN109086668A (zh) | 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法 | |
| CN111222519B (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
| CN113673590A (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN113312993B (zh) | 一种基于PSPNet的遥感数据土地覆盖分类方法 | |
| CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| CN114120363A (zh) | 基于背景及姿态归一化的行人跨镜重识别方法及系统 | |
| CN111563408B (zh) | 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法 | |
| Xiao et al. | Deep learning-based spatiotemporal fusion of unmanned aerial vehicle and satellite reflectance images for crop monitoring | |
| CN112950780A (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN107766810B (zh) | 一种云、影检测方法 | |
| Ahmad et al. | Hybrid dense network with attention mechanism for hyperspectral image classification | |
| CN115829909A (zh) | 一种基于特征增强和频谱分析的伪造检测方法 | |
| Choudhary et al. | From conventional approach to machine learning and deep learning approach: an experimental and comprehensive review of image fusion techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190104 |
|
| RJ01 | Rejection of invention patent application after publication |