CN108921799A - 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 - Google Patents
基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 Download PDFInfo
- Publication number
- CN108921799A CN108921799A CN201810647393.3A CN201810647393A CN108921799A CN 108921799 A CN108921799 A CN 108921799A CN 201810647393 A CN201810647393 A CN 201810647393A CN 108921799 A CN108921799 A CN 108921799A
- Authority
- CN
- China
- Prior art keywords
- layer
- cloud
- network
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 14
- 238000005516 engineering process Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 239000004615 ingredient Substances 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000003475 lamination Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000000470 constituent Substances 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims 1
- 239000010931 gold Substances 0.000 claims 1
- 229910052737 gold Inorganic materials 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000007796 conventional method Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012152 algorithmic method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法，将训练数据进行尺度变换后输入到不同尺度的网络结构中，依次从粗粒度到细粒度，逐级提取不同尺度的特征进行融合，以实现从粗到精的多尺度学习，最终获得有云、无云数据之间的映射关系，有效移除云成分，恢复图像细节，达到薄云去除的目的。实验结果表明，本发明与传统的薄云去除方法相比，能够消除传统方法带来的人为痕迹，准确的恢复图像中有云区域的信息，而且能够维持无云区域的保真度，薄云去除效果更好、精度更高。
Description
技术领域
本发明涉及一种基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法，属于图像处理领域。
背景技术
由于遥感对地观测系统的辐射传输过程中存在大气的散射和吸收作用，遥感卫星获取到的观测图像中不仅有相关的地物信息，同时还存在大气中云的信息。由于云在空间上的不确定性和时间上的多变性，降低了遥感卫星图像的成像质量和信息精度，图像特征难以辨认，视觉效果差，严重影响了其后期使用。其中，云可以分为厚云和薄云。由于太阳辐射无法穿透，厚云覆盖下的地物信息完全缺失，需要借助其他信息进行云遮挡区域的重构。而薄云是指云层较薄，能够被太阳光穿透的各类云。有薄云污染的遥感图像获取的是薄云和地物特征的混合信息，移除薄云的影响则可得到相应的地表真实信息，提高遥感图像的利用率。但是，由于薄云的不均匀分布特性使得去除过程中不可避免的会破坏图像无云区域的地表特征而导致出现辐射扭曲问题。因此，薄云的去除问题一直是一项具有挑战性的工作，迫切的需要一种算法同时实现有云区域的薄云去除和无云区域的地物特征保真。
薄云去除问题旨在给定一幅有云图像，通过相关算法估计出未知干净无云的图像，属于图像处理领域中的经典问题。早期的薄云去除算法方法主要聚焦于通过图像的光谱统计特性或者先验知识建立经验关系或者相关物理模型探索人工特征，例如RadiativeTransfer Model、Homomorphic Filter、Haze Optimized Transformation、Dark ObjectSubtraction、Histogram Matching等等。但是这些经验关系和模型参数的确定通常需要很多辅助数据的支持。并且，往往严重依赖一些额外的限制性条件。此外，还要确保参数估计的精确性，不然会直接对去云精度造成很大的影响，产生局部模糊、失真、偏色等误差。这些因素的存在限制了传统方法的处理效果和适用范围，无法得到广泛的应用。
为了解决用传统方法进行薄云去除的时候引入上述人工误差问题，获取更好的效果，当前工作致力于研究一种不依赖其他条件直接处理的方式进行薄云去除。近年来，随着深度学习的兴起，完全数据驱动和不需要先验知识的深度神经网络在图像处理和计算机视觉等领域展现出了杰出的优势，其应用范围涵盖了高级图像识别、中低级图像处理等诸多方面，例如目标识别、检测、分类和图像去噪、动态去模糊、重建等等。其中，基于全卷积神经网络的方法更是实现了从图像级理解到像素级理解的巨大跨越，使得端对端的像素级处理成为可能。而且融合多尺度的信息有助于增强模型学习性能，消除人工痕迹，优化结果。因此，通过卷积神经网络自动学习到不同尺度遥感图像的深层次特征，引入多尺度协同学习机制，上采样低级尺度与高级尺度融合后可以直接实现图像的相关处理。
发明内容
要解决的技术问题
本发明的目的是针对对地遥感观测系统中由于薄云的影响而造成的图像成像质量降低、信息精度受损的问题，设计一种高性能、高精度的薄云去除算法，以获取到干净无云的清晰图像，提高遥感图像利用率。
技术方案
一种基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法，其特征在于步骤如下：
步骤1：获取实验数据：所述的实验数据分为实际数据和模拟数据，其中实际数据为遥感卫星landsat8在一个重访周期采集到的两幅图像，属于同一地区不同时间点的多时相实验数据，一幅有云存在，一幅干净无云，分别称为实际有云图像和实际无云图像；模拟数据为根据云的光谱特性从一特定有云遥感图像中提出云成分，与选取的特定无云图像结合生成模拟有云图像，选取的特定无云图像称为模拟无云图像，生成的有云图像称为模拟有云图像；
步骤2：预处理实验数据：实验数据的预处理分为实际数据的配准、实验数据的分割与多尺度训练数据的生成；
实际数据的配准：采用envi5.3软件的Registration功能及人工调整实现有云图像与无云图像的配准；
实验数据的分割：配准之后再分别将实验数据中有云图像与无云图像以固定的步长分割为一定大小的图像块集合，选取相同位置的有云图像块、无云图像块组合成训练样本对；
多尺度训练数据的生成：对每一组训练样本对分别进行两次下采样，每次下采样之后都要保存中间结果，生成多尺度训练样本对，即通过一组单一尺度的训练数据对生成一组金字塔形的多尺度训练样本对，作为最终的训练样本数据；
步骤3：训练网络模型：将金字塔形的多尺度训练样本对输入到整体网络模型中进行训练，特定尺度大小的训练样本要输入到其对应尺度的网络结构层中；在每个尺度的网络层结构中，以无云图像块集合作为训练目标，将其对应的同源有云图像块信息与下层传递过来的信息进行融合后训练网络模型参数，不断学习该尺度有云与无云图像块之间的映射关系，直至最终网络收敛；
所述的整体网络模型分为三个尺度：原始尺度层、1/2尺度层和1/4尺度层，各个尺度的网络结构相同，每个网络结构包括浅层特征融合层、编码子网络、特征映射层、解码子网络和深层特征恢复层；其中，浅层特征融合层是一层卷积层，卷积核尺寸为3x3，特征图数量为16，用于从不同尺度的输入数据或者融合数据中提取特征；编码子网络由10层卷积层组成，每一层的卷积核尺寸为3x3，特征图数量为16，作为特征提取层在对图像内容的主要成分进行编码的同时消除薄云的影响；特征映射层用于特征融合，卷积核尺寸为1x1，特征图数量为16；随后与编码子网络对称的解码子网络作为可学习的上采样层，对得到的抽象特征进行解码，以恢复图像内容的细节组成成分，该子网络由10层反卷积层组成，每一层的卷积核尺寸为3x3，特征图数量为16；同时，采用四条跳跃连接分别将编码子网络中的l_2层、l_4层、l_6层、l_8层与解码子网络中对应的r_8层、r_6层、r_4层、r_2层特征图进行连接；由于跳跃连接的影响，r_3，r_5，r_7，r_9层特征图的数量为32；最后通过一层反卷积网络，即深层特征恢复层，卷积核尺寸为3x3，特征图数量为3，输出得到处理后无云图像；
上述网络结构中，在每一层卷积或者反卷积操作之后均采用ReLU函数作为激活函数；
步骤4：生成去云图像：将待处理的有云图像先进行两次连续的下采样，生成一组金字塔形的多尺度图像，再输入到已经训练好的网络模型中，通过网络的前向传播得到输出结果，即为该图像经过该网络模型实现的去除薄云后的结果图像。
步骤2中所述的固定的步长为128。
步骤2中所述的一定大小为256x256。
步骤2中所述的下采样的尺度因子为0.5。
步骤3中为了确保模型训练过程中每一层网络输出的有效性，在优化整体损失的时候也考虑到中间层损失的情况，在每一层网络的输出部分都计算相应的损失，把三层损失的加和，即多尺度损失作为最终的优化目标，通过网络的反向传播过程不断优化。
有益效果
本发明通过多尺度协同学习卷积神经网络模型的参数训练，提取不同尺度的图像特征，自主学习有云、无云多尺度数据之间的映射关系，以达到薄云去除的目的。实验结果表明，本发明与传统的薄云去除方法相比，不仅能够准确的恢复有云区域的信息，消除去云过程中带来的偏色、模糊等问题，而且能够维持无云区域的保真度，薄云去除效果更好、精度更高。
附图说明
图1：基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法流程图
图2：基于多尺度协同学习卷积神经网络模型结构示意图
图3：单一尺度模型结构示意图
具体实施方式
现结合实施例、附图对本发明作进一步描述：
步骤1：获取实验数据。本发明采用的实验数据分为实际数据组和模拟数据组。实际数据组是遥感卫星landsat8在相隔最短时间内(即一个重访周期)采集到的两幅图像，属于同一地区不同时间点的多时相实验数据，一幅有云存在，一幅干净无云，分别称为实际有云图像和实际无云图像。由于采集时间间隔短，地表特征变化相对较小，无明显差异，这一组多时相数据可用于后期网络结构的训练。此外，为了获取同一地点同一时间的模拟数据组，以保证地表特征无变化这一条件，根据云的光谱特性从一特定有云遥感图像中提出云成分，与选取的特定无云图像结合生成模拟有云图像。其中，选取的特定无云图像称为模拟无云图像，生成的有云图像称为模拟有云图像。无论是实际数据还是模拟数据，干净无云的图像称为无云图像，有薄云笼罩的图像称为有云图像。
步骤2：预处理实验数据。实验数据的预处理分为实际数据的配准、实验数据的分割与多尺度训练数据的生成。
(1)实际数据的配准。因实际数据是遥感卫星采集到的多时相数据，虽然属于同一地区但是采集时间不同，在匹配程度上存在误差。为保证数据的精确性，在应用之前首先需要对其进行配准，确保像素级的匹配。在本方案中，有云图像与无云图像的配准采用envi5.3软件的Registration功能及人工调整(针对微小误差，使得像素点对应)实现。
(2)实验数据的分割。配准之后再分别将实验数据(包括实际数据和模拟数据)中有云图像与无云图像以固定的步长(128)分割为一定大小(256x256)的图像块集合，确保每个有云、无云图像块之间的对应关系，选取相同位置的有云图像块、无云图像块组合成训练样本对。
(3)多尺度训练数据的生成。最后，对每一组训练样本对(有云图像块、无云图像块)分别进行两次下采样(尺度因子为0.5)，每次下采样之后都要保存中间结果，生成多尺度训练样本对，即通过一组单一尺度的训练数据对(大小为256x256)生成一组金字塔形的多尺度训练样本对(大小分别为64x64，128x128,256x256)，作为最终的训练样本数据。
步骤3：训练网络模型。将金字塔形的多尺度训练样本对输入到整体网络模型中进行训练，特定尺度的训练样本要输入到其对应尺度的网络结构中。在每个尺度的网络层结构中，以无云图像块集合作为训练目标，将其对应的同源有云图像块信息与下层传递过来的信息进行融合后提取特征训练网络模型参数(因为该模型最低尺度网络层中的输入端没有信息融合过程，所以最低尺度网络层中只对其输入数据进行特征提取)，不断学习该尺度有云与无云图像块之间的映射关系，直至最终网络收敛。
本发明的模型结构图分为三个尺度，分别为原始尺度层，1/2尺度层，和1/4尺度层，如图2所示，各个尺度的网络结构相同，如图3所示。本模型的训练样本对是两组金字塔形的多尺度数据(一组有云图像的多尺度数据，一组无云图像的多尺度数据，大小均为64x64，128x128,256x256)，不同尺度的训练数据分别输入到与其对应尺度的网络层中进行训练。1/4尺度层网络学习输入大小为64x64的粗粒度有云图像与无云图像之间的映射关系，获取相应的图像特征信息。然后将得到的信息采用反卷积的方式进行上采样，自适应的生成与上层网络尺度一致的结果，传递到上层网络1/2尺度层，与该层大小为128x128的输入图像进行融合，在该层网络中进一步学习深层次的映射关系。同理，下一步将1/2尺度层学习到的特征传递到原始尺度层，与大小为256x256的细粒度有云图像和无云图像进行融合，通过原始尺度层的学习确定最终的映射，输出薄云去除结果。上述将较低尺度层获得到的粗粒度信息不断传递，与更细粒度信息进行融合之后输入到较高尺度层继续学习的机制就称为协同学习。
同时，为了确保模型训练过程中每一层网络输出的有效性，在优化整体损失的时候也考虑到中间层损失的情况。本发明在每一层网络的输出部分都计算相应的损失，把三层损失的加和，即多尺度损失作为最终的优化目标，通过网络的反向传播过程不断优化。
鉴于薄云去除问题属于图像处理领域像素级问题，该发明每个尺度的网络结构由多个对称的卷积-反卷积层链式组成，以实现端对端的处理，并且通过特定卷积和反卷积层之间的跳跃连接，传递有用信息，减小损失。本发明每个尺度的网络结构由浅层特征融合层，编码子网络，特征映射层，解码子网络，深层特征恢复层组成，如图3所示。其中，浅层特征融合层是一层卷积层，卷积核尺寸为3x3，特征图(feature map)数量为16，用于从不同尺度的输入数据或者融合数据中提取特征；编码子网络由10层卷积层组成，每一层的卷积核尺寸为3x3，特征图数量为16，作为特征提取层在对图像内容的主要成分进行编码的同时消除薄云的影响；特征映射层用于特征融合，卷积核尺寸为1x1，特征图数量为16；随后与编码子网络对称的解码子网络作为可学习的上采样层，对得到的抽象特征进行解码，以恢复图像内容的细节组成成分，该子网络由10层反卷积层组成，每一层的卷积核尺寸为3x3，特征图数量为16。同时，因为网络模型加深之后容易产生信息丢失问题，为了充分利用提取到的特征，更好的恢复图像细节，本发明采用四条跳跃连接分别将编码子网络中的l_2层、l_4层、l_6层、l_8层与解码子网络中对应的r_8层、r_6层、r_4层、r_2层特征图进行连接。由于跳跃连接的影响，r_3，r_5，r_7，r_9层特征图的数量为32。最后通过一层反卷积网络，即深层特征恢复层，卷积核尺寸为3x3，特征图数量为3，输出得到处理后无云图像。
上述网络结构中，在每一层卷积或者反卷积操作之后均采用ReLU函数作为激活函数。
步骤4：生成去云图像。将待处理的有云图像先进行两次连续的下采样，生成一组金字塔形的多尺度图像，再输入到已经训练好的网络模型中，通过网络的前向传播得到输出结果，即为该图像经过该网络模型实现的去除薄云后的结果图像。
Claims (5)
1.一种基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法，其特征在于步骤如下：
步骤1：获取实验数据：所述的实验数据分为实际数据和模拟数据，其中实际数据为遥感卫星landsat8在一个重访周期采集到的两幅图像，属于同一地区不同时间点的多时相实验数据，一幅有云存在，一幅干净无云，分别称为实际有云图像和实际无云图像；模拟数据为根据云的光谱特性从一特定有云遥感图像中提出云成分，与选取的特定无云图像结合生成模拟有云图像，选取的特定无云图像称为模拟无云图像，生成的有云图像称为模拟有云图像；
步骤2：预处理实验数据：实验数据的预处理分为实际数据的配准、实验数据的分割与多尺度训练数据的生成；
实际数据的配准：采用envi5.3软件的Registration功能及人工调整实现有云图像与无云图像的配准；
实验数据的分割：配准之后再分别将实验数据中有云图像与无云图像以固定的步长分割为一定大小的图像块集合，选取相同位置的有云图像块、无云图像块组合成训练样本对；
多尺度训练数据的生成：对每一组训练样本对分别进行两次下采样，每次下采样之后都要保存中间结果，生成多尺度训练样本对，即通过一组单一尺度的训练数据对生成一组金字塔形的多尺度训练样本对，作为最终的训练样本数据；
步骤3：训练网络模型：将金字塔形的多尺度训练样本对输入到整体网络模型中进行训练，特定尺度大小的训练样本要输入到其对应尺度的网络结构层中；在每个尺度的网络层结构中，以无云图像块集合作为训练目标，将其对应的同源有云图像块信息与下层传递过来的信息进行融合后训练网络模型参数，不断学习该尺度有云与无云图像块之间的映射关系，直至最终网络收敛；
所述的整体网络模型分为三个尺度：原始尺度层、1/2尺度层和1/4尺度层，各个尺度的网络结构相同，每个网络结构包括浅层特征融合层、编码子网络、特征映射层、解码子网络和深层特征恢复层；其中，浅层特征融合层是一层卷积层，卷积核尺寸为3x3，特征图数量为16，用于从不同尺度的输入数据或者融合数据中提取特征；编码子网络由10层卷积层组成，每一层的卷积核尺寸为3x3，特征图数量为16，作为特征提取层在对图像内容的主要成分进行编码的同时消除薄云的影响；特征映射层用于特征融合，卷积核尺寸为1x1，特征图数量为16；随后与编码子网络对称的解码子网络作为可学习的上采样层，对得到的抽象特征进行解码，以恢复图像内容的细节组成成分，该子网络由10层反卷积层组成，每一层的卷积核尺寸为3x3，特征图数量为16；同时，采用四条跳跃连接分别将编码子网络中的l_2层、l_4层、l_6层、l_8层与解码子网络中对应的r_8层、r_6层、r_4层、r_2层特征图进行连接；由于跳跃连接的影响，r_3，r_5，r_7，r_9层特征图的数量为32；最后通过一层反卷积网络，即深层特征恢复层，卷积核尺寸为3x3，特征图数量为3，输出得到处理后无云图像；
上述网络结构中，在每一层卷积或者反卷积操作之后均采用ReLU函数作为激活函数；
步骤4：生成去云图像：将待处理的有云图像先进行两次连续的下采样，生成一组金字塔形的多尺度图像，再输入到已经训练好的网络模型中，通过网络的前向传播得到输出结果，即为该图像经过该网络模型实现的去除薄云后的结果图像。
2.根据权利要求1所述的一种基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法，其特征在于步骤2中所述的固定的步长为128。
3.根据权利要求1所述的一种基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法，其特征在于步骤2中所述的一定大小为256x256。
4.根据权利要求1所述的一种基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法，其特征在于步骤2中所述的下采样的尺度因子为0.5。
5.根据权利要求1所述的一种基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法，其特征在于步骤3中为了确保模型训练过程中每一层网络输出的有效性，在优化整体损失的时候也考虑到中间层损失的情况，在每一层网络的输出部分都计算相应的损失，把三层损失的加和，即多尺度损失作为最终的优化目标，通过网络的反向传播过程不断优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810647393.3A CN108921799B (zh) | 2018-06-22 | 2018-06-22 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810647393.3A CN108921799B (zh) | 2018-06-22 | 2018-06-22 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108921799A true CN108921799A (zh) | 2018-11-30 |
| CN108921799B CN108921799B (zh) | 2021-07-23 |
Family
ID=64419866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810647393.3A Active CN108921799B (zh) | 2018-06-22 | 2018-06-22 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108921799B (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147794A (zh) * | 2019-05-21 | 2019-08-20 | 东北大学 | 一种基于深度学习的无人车室外场景实时分割方法 |
| CN110363720A (zh) * | 2019-07-04 | 2019-10-22 | 北京奇艺世纪科技有限公司 | 一种图像的色彩增强方法、装置、设备和存储介质 |
| CN110544217A (zh) * | 2019-08-30 | 2019-12-06 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
| CN110617800A (zh) * | 2019-08-21 | 2019-12-27 | 深圳大学 | 基于民航客机的应急遥感监测方法、系统及存储介质 |
| CN110738609A (zh) * | 2019-09-11 | 2020-01-31 | 北京大学 | 一种去除图像摩尔纹的方法及装置 |
| CN111127472A (zh) * | 2019-10-30 | 2020-05-08 | 武汉大学 | 一种基于权重学习的多尺度图像分割方法 |
| CN111291716A (zh) * | 2020-02-28 | 2020-06-16 | 深圳大学 | 精子细胞识别方法、装置、计算机设备和存储介质 |
| CN111583124A (zh) * | 2019-02-19 | 2020-08-25 | 宁波舜宇光电信息有限公司 | 用于对图像去模糊的方法、装置、系统及存储介质 |
| CN111951284A (zh) * | 2020-08-12 | 2020-11-17 | 湖南神帆科技有限公司 | 一种基于深度学习的光学遥感卫星图像精细化云检测方法 |
| CN112102184A (zh) * | 2020-09-04 | 2020-12-18 | 西北工业大学 | 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法 |
| CN112149582A (zh) * | 2020-09-27 | 2020-12-29 | 中国科学院空天信息创新研究院 | 一种高光谱图像材质识别方法及系统 |
| CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN112288647A (zh) * | 2020-10-13 | 2021-01-29 | 武汉大学 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
| CN112529788A (zh) * | 2020-11-13 | 2021-03-19 | 北京航空航天大学 | 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 |
| CN112561817A (zh) * | 2020-12-10 | 2021-03-26 | 深圳大学 | 基于am-gan的遥感图像去云方法、装置、设备及存储介质 |
| CN113450273A (zh) * | 2021-06-18 | 2021-09-28 | 暨南大学 | 一种基于多尺度多阶段神经网络的图像去雾方法及系统 |
| CN113516600A (zh) * | 2021-06-02 | 2021-10-19 | 航天东方红卫星有限公司 | 一种基于特征自适应校正的遥感图像薄云去除方法 |
| CN113870278A (zh) * | 2021-08-24 | 2021-12-31 | 广州华农大智慧农业科技有限公司 | 基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法 |
| CN113935917A (zh) * | 2021-10-14 | 2022-01-14 | 中国石油大学(华东) | 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 |
| CN114066755A (zh) * | 2021-11-11 | 2022-02-18 | 南京航空航天大学 | 一种基于全波段特征融合的遥感影像薄云去除方法及系统 |
| CN115294392A (zh) * | 2022-08-09 | 2022-11-04 | 安徽理工大学 | 基于生成网络模型的可见光遥感图像云去除方法及系统 |
| CN117496162A (zh) * | 2024-01-03 | 2024-02-02 | 北京理工大学 | 一种红外卫星遥感影像薄云去除方法、装置及介质 |
| CN117611494A (zh) * | 2024-01-24 | 2024-02-27 | 北京理工大学 | 一种全色遥感图像薄云去除方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017142449A1 (en) * | 2016-02-17 | 2017-08-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and devices for encoding and decoding video pictures |
| CN108022222A (zh) * | 2017-12-15 | 2018-05-11 | 西北工业大学 | 一种基于卷积-反卷积网络的遥感图像薄云去除方法 |
-
2018
- 2018-06-22 CN CN201810647393.3A patent/CN108921799B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017142449A1 (en) * | 2016-02-17 | 2017-08-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and devices for encoding and decoding video pictures |
| CN108022222A (zh) * | 2017-12-15 | 2018-05-11 | 西北工业大学 | 一种基于卷积-反卷积网络的遥感图像薄云去除方法 |
Non-Patent Citations (2)
| Title |
|---|
| XIAO JIAO MAO: "Image Restoration Using Convolutional Encoder-Decoder Networks with Symmetric Skip Connections", 《ARXIV》 * |
| 何苗: "彩色遥感图像薄云去除方法", 《光学技术》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583124A (zh) * | 2019-02-19 | 2020-08-25 | 宁波舜宇光电信息有限公司 | 用于对图像去模糊的方法、装置、系统及存储介质 |
| CN110147794A (zh) * | 2019-05-21 | 2019-08-20 | 东北大学 | 一种基于深度学习的无人车室外场景实时分割方法 |
| CN110363720A (zh) * | 2019-07-04 | 2019-10-22 | 北京奇艺世纪科技有限公司 | 一种图像的色彩增强方法、装置、设备和存储介质 |
| CN110617800A (zh) * | 2019-08-21 | 2019-12-27 | 深圳大学 | 基于民航客机的应急遥感监测方法、系统及存储介质 |
| CN110544217A (zh) * | 2019-08-30 | 2019-12-06 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
| CN110738609A (zh) * | 2019-09-11 | 2020-01-31 | 北京大学 | 一种去除图像摩尔纹的方法及装置 |
| CN110738609B (zh) * | 2019-09-11 | 2022-05-06 | 北京大学 | 一种去除图像摩尔纹的方法及装置 |
| CN111127472B (zh) * | 2019-10-30 | 2021-09-14 | 武汉大学 | 一种基于权重学习的多尺度图像分割方法 |
| CN111127472A (zh) * | 2019-10-30 | 2020-05-08 | 武汉大学 | 一种基于权重学习的多尺度图像分割方法 |
| CN111291716A (zh) * | 2020-02-28 | 2020-06-16 | 深圳大学 | 精子细胞识别方法、装置、计算机设备和存储介质 |
| CN111291716B (zh) * | 2020-02-28 | 2024-01-05 | 深圳市瑞图生物技术有限公司 | 精子细胞识别方法、装置、计算机设备和存储介质 |
| CN111951284B (zh) * | 2020-08-12 | 2022-04-22 | 湖南神帆科技有限公司 | 一种基于深度学习的光学遥感卫星图像精细化云检测方法 |
| CN111951284A (zh) * | 2020-08-12 | 2020-11-17 | 湖南神帆科技有限公司 | 一种基于深度学习的光学遥感卫星图像精细化云检测方法 |
| CN112102184A (zh) * | 2020-09-04 | 2020-12-18 | 西北工业大学 | 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法 |
| CN112149582A (zh) * | 2020-09-27 | 2020-12-29 | 中国科学院空天信息创新研究院 | 一种高光谱图像材质识别方法及系统 |
| CN112288647A (zh) * | 2020-10-13 | 2021-01-29 | 武汉大学 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
| CN112529788A (zh) * | 2020-11-13 | 2021-03-19 | 北京航空航天大学 | 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 |
| CN112529788B (zh) * | 2020-11-13 | 2022-08-19 | 北京航空航天大学 | 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 |
| CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN112561817A (zh) * | 2020-12-10 | 2021-03-26 | 深圳大学 | 基于am-gan的遥感图像去云方法、装置、设备及存储介质 |
| CN113516600A (zh) * | 2021-06-02 | 2021-10-19 | 航天东方红卫星有限公司 | 一种基于特征自适应校正的遥感图像薄云去除方法 |
| CN113516600B (zh) * | 2021-06-02 | 2024-03-19 | 航天东方红卫星有限公司 | 一种基于特征自适应校正的遥感图像薄云去除方法 |
| CN113450273A (zh) * | 2021-06-18 | 2021-09-28 | 暨南大学 | 一种基于多尺度多阶段神经网络的图像去雾方法及系统 |
| CN113870278A (zh) * | 2021-08-24 | 2021-12-31 | 广州华农大智慧农业科技有限公司 | 基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法 |
| CN113935917A (zh) * | 2021-10-14 | 2022-01-14 | 中国石油大学(华东) | 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 |
| CN114066755A (zh) * | 2021-11-11 | 2022-02-18 | 南京航空航天大学 | 一种基于全波段特征融合的遥感影像薄云去除方法及系统 |
| CN115294392A (zh) * | 2022-08-09 | 2022-11-04 | 安徽理工大学 | 基于生成网络模型的可见光遥感图像云去除方法及系统 |
| CN117496162A (zh) * | 2024-01-03 | 2024-02-02 | 北京理工大学 | 一种红外卫星遥感影像薄云去除方法、装置及介质 |
| CN117496162B (zh) * | 2024-01-03 | 2024-03-22 | 北京理工大学 | 一种红外卫星遥感影像薄云去除方法、装置及介质 |
| CN117611494A (zh) * | 2024-01-24 | 2024-02-27 | 北京理工大学 | 一种全色遥感图像薄云去除方法 |
| CN117611494B (zh) * | 2024-01-24 | 2024-04-30 | 北京理工大学 | 一种全色遥感图像薄云去除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108921799B (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921799A (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
| CN111986099A (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN108022222A (zh) | 一种基于卷积-反卷积网络的遥感图像薄云去除方法 | |
| CN113312993B (zh) | 一种基于PSPNet的遥感数据土地覆盖分类方法 | |
| CN104751420A (zh) | 一种基于稀疏表示和多目标优化的盲复原方法 | |
| CN113178010B (zh) | 基于深度学习的高分影像阴影区域恢复重建方法 | |
| US20220301301A1 (en) | System and method of feature detection in satellite images using neural networks | |
| CN114723631A (zh) | 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置 | |
| CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN111951285A (zh) | 基于级联深度卷积神经网络的光学遥感影像林地分类方法 | |
| Long et al. | Bishift networks for thick cloud removal with multitemporal remote sensing images | |
| CN114066755A (zh) | 一种基于全波段特征融合的遥感影像薄云去除方法及系统 | |
| CN112419197A (zh) | 一种通用的单、多时相sar影像相干斑噪声去除方法 | |
| CN116630818A (zh) | 基于gee和深度学习的高原湖泊边界在线提取方法及系统 | |
| CN117726550B (zh) | 一种多尺度门控注意力遥感图像去雾方法和系统 | |
| CN113705340B (zh) | 一种基于雷达遥感数据的深度学习变化检测方法 | |
| Sun et al. | Remote sensing images dehazing algorithm based on cascade generative adversarial networks | |
| CN117649607B (zh) | 基于SegNet深度学习模型的海草床遥感识别方法、装置 | |
| CN109360231B (zh) | 基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法 | |
| Zheng et al. | UAV image haze removal based on saliency-guided parallel learning mechanism | |
| Goncalves et al. | Guidednet: Single image dehazing using an end-to-end convolutional neural network | |
| CN114694031A (zh) | 一种基于多任务注意力机制的遥感图像典型地物提取方法 | |
| Shun et al. | Research on remote sensing image extraction based on deep learning | |
| CN113689346A (zh) | 一种基于对比学习的紧凑深度学习去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |