CN112529788B - 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 - Google Patents
一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 Download PDFInfo
- Publication number
- CN112529788B CN112529788B CN202011268594.6A CN202011268594A CN112529788B CN 112529788 B CN112529788 B CN 112529788B CN 202011268594 A CN202011268594 A CN 202011268594A CN 112529788 B CN112529788 B CN 112529788B
- Authority
- CN
- China
- Prior art keywords
- thin cloud
- image
- thickness
- band
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000004088 simulation Methods 0.000 claims abstract description 36
- 230000001419 dependent effect Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法,首先对多光谱遥感图像薄云去除问题进行建模,然后使用一个卷积神经网络U‑Net来估计薄云图像的参考薄云厚度图,并设计一个卷积神经网络Slope‑Net来估计每个波段相对于参考薄云厚度图的厚度系数,从而得到不同波段的薄云厚度图。最后,从薄云图像中减去各波段的薄云厚度图就可以实现多光谱遥感图像的薄云去除。此外,由于薄云图像及其对应的理想清晰图像难以获取,故提出一种波段相关的薄云仿真方法,以产生足够多的带有真值标签的薄云图像来对U‑Net网络和Slope‑Net网络进行训练。网络训练完成后,就可以用来对实际的多光谱遥感图像进行薄云去除,提升图像质量。
Description
技术领域:
本发明涉及一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法,属于多光谱遥感图像处理领域。
背景技术:
随着遥感技术的快速发展,多光谱遥感图像在现代对地观测中发挥着至关重要的作用,被广泛应用于农业、地质、海洋、气象、军事等众多领域。然而,电磁波在传输过程中容易被大气中的云所吸收和散射,导致卫星传感器最终接收到的信号被削弱,影响成像质量。所以,多光谱遥感图像常因大气中的云而退化,造成图像中的地物模糊不清,感兴趣区域信息丢失,从而影响遥感图像的人工判读和自动解译。因此,对多光谱遥感图像进行有效的薄云去除具有重要意义。
一种有效的薄云去除方法可以提升遥感图像的质量,恢复图像中原有的信息,从而为后续的图像解译和应用提供帮助。目前,许多遥感图像薄云去除方法已经被提出。传统的薄云去除方法一般基于简化的薄云成像模型或先验,这类方法都严重依赖于手工制作的特征,对于地表覆盖条件多样、纹理复杂的遥感图像,它们的薄云去除结果准确性和鲁棒性都较低。近年来,随着深度学习技术的发展,基于卷积神经网络的薄云去除方法也被提出。这类方法通过大量的图像数据来训练一个端到端的卷积神经网络,从而直接学习由薄云图像到无云图像之间的映射关系。但是,这类方法在去云的过程中抛弃了一些有用的先验知识,导致它们在真实遥感图像上的薄云去除结果存在颜色偏移。
本发明针对多光谱遥感图像中存在的薄云,提出了一种基于薄云厚度图估计的薄云去除方法。该方法利用卷积神经网络强大的特征提取能力和非线性回归能力,并结合薄云成像模型的先验知识,来估计多光谱遥感薄云图像中各个波段的薄云厚度图,从而能够获得良好的薄云去除效果,并且所恢复的清晰图像具有很好的颜色保真度。
发明内容:
1、目的:本发明的目的在于提供一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法,它根据薄云成像模型的先验知识,通过卷积神经网络来估计薄云图像中各个波段的薄云厚度图,从而实现多光谱遥感图像的薄云去除,提升图像质量。
2、技术方案:本发明通过以下技术方案实现。
本发明首先对多光谱遥感图像薄云去除问题进行建模,然后使用一个卷积神经网络U-Net来估计薄云图像的参考薄云厚度图,并设计一个卷积神经网络Slope-Net来估计每个波段相对于参考薄云厚度图的厚度系数,从而得到不同波段的薄云厚度图。最后,从薄云图像中减去各波段的薄云厚度图就可以实现多光谱遥感图像的薄云去除。此外,由于薄云图像及其对应的理想清晰图像难以获取,故提出一种波段相关的薄云仿真方法,以产生足够多的带有真值标签的薄云图像来对U-Net网络和Slope-Net网络进行训练。网络训练完成后,就可以用来对实际的多光谱遥感图像进行薄云去除。本发明的具体步骤如下:
步骤1:薄云去除模型建立
本发明针对Landsat 8陆地成像仪(OLI)采集的多光谱图像进行薄云去除。Landsat 8 OLI图像包含9个光谱波段,其中波段1至波段5分别是海岸、可见光(包括蓝、绿、红三个波段)以及近红外波段,它们的波长都小于1μm,会受到薄云的影响;波段6和波段7是两个短波红外波段,它们的波长都大于1μm,几乎不受薄云的影响;另外,波段8是全色波段,波段9是卷云波段。因此,本发明针对Landsat 8 OLI图像中的波段1至波段5这5个受薄云影响的波段进行薄云去除。
薄云成像模型可描述为:
xs=xg+xc (1)
其中,xs为传感器获取到的薄云图像,xg为地面清晰图像,xc为云的影响,由云的厚度决定,称为薄云厚度图。从薄云图像中减去薄云厚度图就可以恢复出清晰图像。
在多光谱遥感图像中,薄云的厚度通常会随着波长的增加而减小,各波段的薄云厚度图是线性相关的。假设给定一个参考薄云厚度图为且假设第i个波段的薄云厚度图与之间的比例系数为αi,称αi为波段i的厚度系数,则第i个波段的薄云厚度图可表示为:
结合公式(1)和公式(2)可以得到多光谱遥感图像第i个波段的成像模型:
考虑到卷积神经网络具有强大的特征提取能力以及回归能力,本发明采用一个卷积神经网络U-Net来估计薄云图像的参考薄云厚度图,并设计一个卷积神经网络Slope-Net来估计每个波段相对于参考薄云厚度图的厚度系数,从而实现对遥感图像的薄云去除。
步骤2:参考薄云厚度图估计
本发明采用卷积神经网络U-Net来估计薄云图像的参考薄云厚度图,网络输入是Landsat 8 OLI图像中的波段1至波段5这5个波段的多光谱数据,输出是相应的参考薄云厚度图。U-Net网络具有对称的包含跳线连接的编码器-解码器结构。其中,编码器用来获取不同尺度的图像特征;解码器用来获取准确的定位。
U-Net网络的具体结构如表1所示:
表1 U-Net网络结构
其中,CBR(3×3×64,1)×2表示进行2次卷积(Conv)、批规范化(BN)以及非线性激活(ReLU)操作,卷积核大小为3×3,数量为64,且步长为1;MaxPooling(2×2,2)表示步长为2的2×2最大池化操作;Conv、Concat和TransConv分别为卷积、拼接以及转置卷积操作。在编码器部分,由上至下,每个尺度由两个3×3的卷积层,每个卷积层后面跟随一个批规范化层和一个非线性激活层,以及一个用于下采样的步长为2的2×2最大池化层组成。在每个最大池化层后的第一个卷积操作中,卷积核的数量加倍。在解码器部分,由下至上,每一步都通过步长为2的转置卷积对特征图进行上采样,并将特征通道数量减半;然后通过跳线拼接编码器部分中相同尺度的特征图;再进行两次卷积操作,每次都跟随一个批规范化操作和一个非线性激活操作。在最后一层,利用1×1的卷积核进行卷积运算,将每个64维的特征向量映射到网络的输出层,再通过Sigmoid函数将输出值归一化到(0,1)的范围内。
步骤3:厚度系数估计
由公式(3a)可知,对于具有同质地物的图像,清晰图像是一个不变的常量,薄云图像与参考薄云厚度图之间是线性关系。这种情况下,厚度系数αi就等于和之间的散点图中拟合直线的斜率。对于具有非同质地物的图像,是一个变量,则和之间是非线性相关的。但是,它们的散点图的右下方存在一条边界线,边界线上的点对应着中的暗像素。不受地物影响,然而会随着的增大而增大。因此,更亮的地物像素都分布在这条边界线的上方。这些围绕在边界线附件的暗像素可以看作一种同质地物,这条边界线的斜率就是需要估计的厚度系数αi。
根据以上分析,对于波段i,可以通过估计和之间的散点图中右下方边界线(对于具有同质地物的图像,散点图中的拟合直线可被整个视为边界线)的斜率来得到它的厚度系数αi。本发明设计一个卷积神经网络Slope-Net来估计每个波段的厚度系数,网络的输入为Landsat 8 OLI图像中的波段1至波段5这5个波段的多光谱数据以及相应的参考薄云厚度图,输出为5个波段的厚度系数。Slope-Net网络的具体结构可以表示为:CBR(3×3×16,1)→MaxPooling(2×2,2)→CBR(3×3×32,1)→MaxPooling(2×2,2)→CBR(3×3×64,1)→MaxPooling(2×2,2)→CBR(3×3×128,1)→MaxPooling(2×2,2)→AvgPooling(4×4,4)→Conv(1×1×5,1)。其中,AvgPooling为均值池化操作。经过4次步长为1的3×3卷积操作,每次跟随一个批规范化层和一个非线性激活层,和步长为2的2×2最大池化操作,以及1次步长为4的4×4均值池化操作后,可以得到一个尺寸为W/64×H/64×128的特征块,W和H分别为网络输入图像的宽度和高度,其中每个像素的感受野大小为94×94。对于一幅薄云图像及其参考薄云厚度图,它任意大小和位置的子块都具有相同的厚度系数。因此,利用1×1的卷积将每个128维的特征映射到网络的输出层,即5维的厚度系数。这样,就能同时得到W/64×H/64组厚度系数。最后,将网络输出的W/64×H/64组厚度系数取平均值,作为最终的结果,从而减小估计误差。
步骤4:训练样本生成
对于遥感图像,成对的薄云图像及其对应清晰图像(真值)是很难收集的,从而也无法得到参考薄云厚度图以及厚度系数的真值。因此,通常都采用仿真的方式来获得足够多的带标签样本。已有的薄云仿真方法都是假定薄云厚度是波段无关的,对各个波段产生相同厚度的薄云。而实际上,薄云厚度是波段相关的,并随着波长的增加而减小。本发明通过仿真方法生成波段相关的薄云图像作为训练样本。
1)真实遥感图像获取
本发明针对Landsat 8 OLI图像进行薄云去除。因此,从Landsat 8 OLI图像中选取薄云图像来提取仿真所需的参考薄云厚度图和厚度系数;选取无云的清晰图像,作为仿真薄云图像的真值。其中,选取的薄云图像应尽量在地物单一、纹理较少的地区,例如草原、海洋;选取的清晰图像应尽可能多地覆盖城市、裸地、植被、水体等各种不同的地貌,以建立一个特征完备的遥感图像训练样本集,使得训练完成后的网络具有较好的鲁棒性,能够广泛适用于各种不同成像条件下的遥感图像。另外,由于Landsat 8 OLI图像的画幅都比较大,还需要对图像进行裁剪,生成适当大小的图像,作为网络的输入。
2)薄云图像仿真
根据公式(3a)可知,给定一幅参考薄云厚度图和一组厚度系数,就能由一张清晰图像仿真得到一张对应的薄云图像。本发明从真实的薄云图像中提取参考薄云厚度图,以及各波段的厚度系数。首先,对真实薄云图像进行暗像素搜索,可以获取每个波段的薄云厚度图
其中,波段i的薄云厚度图在像素点p的值等于在波段i的薄云图像中,以p为中心的一个邻域Ω(p)中的最小值。然后,选择波段1的薄云厚度图作为参考薄云厚度图,则波段1的厚度系数为1。再通过线性回归计算其他波段的薄云厚度图与参考薄云厚度图之间的回归系数,从而可以得到其他波段的厚度系数。最后,给定一幅清晰图像,将它和参考薄云厚度图以及这组厚度系数代入公式(3a),就可以由这张清晰图像仿真得到一张薄云图像。该方法合成的薄云图像保持了薄云在各个波段之间的波段相关性,所产生的仿真薄云图像更接近于真实薄云图像。
步骤5:卷积神经网络训练
本发明中使用到的U-Net网络和Slope-Net网络,都属于有监督的学习方法,需要带标签的数据对网络进行训练。在本步骤中,使用仿真得到的薄云图像、对应的参考薄云厚度图以及厚度系数对网络进行训练。
1)U-Net网络训练
在本发明中,U-Net网络被用来估计薄云图像的参考薄云厚度图,网络采用欧式距离作为损失函数:
其中,N为训练样本数,为网络实际输出的第n个训练样本的参考薄云厚度图,为其对应的参考薄云厚度图真值。本发明使用梯度下降思想来对U-Net网络的参数进行求解,具体优化采用Adam优化算法。使用仿真得到的薄云图像对网络进行迭代学习,更新网络参数,当网络的损失函数值趋于稳定不再下降时,U-Net网络训练完成。
2)Slope-Net网络训练
在本发明中,Slope-Net网络被用来估计各个波段相对于参考薄云厚度图的厚度系数,网络采用欧式距离作为损失函数:
其中,N为训练样本数,为网络实际输出的第n个训练样本的厚度系数,α(n)为其对应的厚度系数真值。本发明使用梯度下降思想来对Slope-Net网络的参数进行求解,具体优化采用Adam优化算法。使用仿真得到的薄云图像和对应的参考薄云厚度图对网络进行迭代学习,更新网络参数,当网络的损失函数值趋于稳定不再下降时,Slope-Net网络训练完成。
步骤6:多光谱遥感图像薄云去除
步骤5的U-Net网络和Slope-Net网络训练过程完成后,要实现一幅多光谱遥感图像的薄云去除,首先,需要将薄云图像输入到训练好的U-Net网络中,经过一次前向传播,即可在网络的输出端得到对应的参考薄云厚度图;然后,将薄云图像和参考薄云厚度图一起输入到训练好的Slope-Net网络中,经过一次前向传播,即可在网络的输出端得到N/64×M/64组厚度系数,取平均后就可以得到每个波段最终的厚度系数;最后,将薄云图像、参考薄云厚度图和厚度系数代入到公式(3b)中,即可得到被恢复的清晰图像。
3、优点及功效:
本发明提出了一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法。该方法利用了卷积神经网络强大的特征提取能力和非线性回归能力,并结合薄云成像模型的先验知识,从而可以获得良好的多光谱遥感图像薄云去除效果。
本发明中采用U-Net网络来估计薄云图像的参考薄云厚度图,对于地表覆盖条件多样、纹理复杂的遥感图像,也能得到准确的估计结果。另外,本发明中设计了一个Slope-Net网络来估计每个波段相对于参考薄云厚度图的厚度系数,从而得到不同波段的薄云厚度图。因此,本发明能够准确地对多光谱遥感图像的各个波段进行薄云去除,且所恢复的清晰图像具有很好的颜色保真度。
本发明中提出了一种波段相关的薄云仿真方法,可以产生足够多的带有真值标签的仿真多光谱薄云图像,用来对U-Net网络和Slope-Net网络进行训练。该仿真方法从真实的多光谱遥感图像中提取参考薄云厚度图,并分别估计不同波段的厚度系数,由此合成的仿真多光谱薄云图像可以更接近真实的多光谱薄云图像,从而使得网络训练完成后对真实的多光谱遥感图像也能取得很好的效果。
本发明虽然是针对Landsat 8 OLI多光谱遥感图像的处理,但同样适用于高分一号、Sentinel-2和WorldView-2等其他卫星传感器的多光谱图像。对于其他卫星传感器的多光谱图像,选择波长小于1的波段;然后根据选择的波段数量,确定U-Net网络和Slope-Net网络输入和输出的通道数;再按照步骤4生成波段相关的薄云仿真图像来对U-Net网络和Slope-Net网络进行训练;网络训练完成后,即可用来对真实的多光谱图像进行薄云去除。
附图说明:
图1是本发明所述薄云去除方法的流程图。
图2是本发明所使用的U-Net网络结构图。
图3(a)是真实多光谱薄云图像第2波段。
图3(b)是参考薄云厚度图。
图3(c)是薄云图像第2波段与参考薄云厚度图之间的散点图。
图4是本发明所设计的Slope-Net网络结构图。
图5(a)是真实多光谱薄云图像。
图5(b)是各波段薄云厚度图和参考薄云厚度图。
图5(c)是真实多光谱清晰图像。
图5(d)是本发明仿真得到的多光谱薄云图像。
图6(a)是Landsat 8 OLI多光谱薄云图像。
图6(b)是各波段薄云厚度图和参考薄云厚度图。
图6(c)是Landsat 8 OLI多光谱图像薄云去除结果。
图7(a)是高分一号多光谱薄云图像。
图7(b)是各波段薄云厚度图和参考薄云厚度图。
图7(c)是高分一号多光谱图像薄云去除结果。
具体实施方式:
为了更好地理解本发明的技术方案,下面结合附图对本发明的具体实施方式进行详细的描述:
本发明的流程图如图1所示。计算机配置采用:Intel Core i7-6700K处理器,Nvidia GeForce GTX 1080图形处理器,主频4.0GHz,内存16GB,操作系统为ubuntu 16.04。薄云去除方法的实现基于Pytorch框架。本发明是一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法,具体包括以下步骤:
步骤1:薄云去除模型建立
本发明针对Landsat 8 OLI陆地成像仪采集的多光谱图像进行薄云去除。Landsat8 OLI图像一共有9个光谱波段,其中波段1至波段5分别是海岸、可见光(包括蓝、绿、红三个波段)以及近红外波段,它们的波长都小于1μm,会受到薄云的影响。因此,本发明针对Landsat 8 OLI图像中的波段1至波段5这5个受薄云影响的波段进行薄云去除。
令xs表示传感器获取到的薄云图像,xg表示地面清晰图像,xc表示薄云厚度图,则薄云成像模型可描述为:
xs=xg+xc (1)
结合公式(1)和公式(2)可以得到多光谱遥感图像第i个波段的成像模型:
本发明采用一个卷积神经网络U-Net来估计薄云图像的参考薄云厚度图,并设计一个卷积神经网络Slope-Net来估计每个波段相对于参考薄云厚度图的厚度系数,从而实现对遥感图像的薄云去除。
步骤2:参考薄云厚度图估计
本发明采用卷积神经网络U-Net来估计薄云图像的参考薄云厚度图,U-Net网络的具体结构如图2所示。网络的输入是大小为256×256的Landsat 8 OLI图像中的波段1至波段5这5个波段的多光谱数据,输出是相应的参考薄云厚度图。在网络左半部分,每个尺度由两个3×3的卷积层,每个卷积层后面跟随一个批规范化层和一个非线性激活层,以及一个用于下采样的步长为2的2×2最大池化层组成。在每个最大池化层后的第一个卷积操作中,特征通道数量加倍。在网络右半部分,每一步都通过步长为2的转置卷积对特征图进行上采样,并将特征通道数量减半;然后通过跳线拼接编码器部分中相同尺度的特征图;再进行两次卷积操作,每次都跟随一个批规范化操作和一个非线性激活操作。在最后一层,利用1×1的卷积核进行卷积运算,将每个64维的特征向量映射到网络的输出层,再通过Sigmoid函数将输出值归一化到(0,1)的范围内。
步骤3:厚度系数估计
以波段2为例,图3(c)展示薄云图像(图3(a))与参考薄云厚度图(图3(b))之间的散点图。对于具有同质地物的图像(第1列),与呈现了明显的线性关系,波段2的厚度系数α2就等于散点图中拟合直线的斜率。对于具有非同质地物的图像(第2,3列),与之间是非线性相关的。但是,它们的散点图的右下方存在一条边界线,边界线上的点对应着清晰图像中的暗像素。这些围绕在边界线附件的暗像素可以看作一种同质地物,这条边界线的斜率就是需要估计的厚度系数α2。因此,对于波段i,可以通过估计和之间的散点图中右下方边界线(第1列中的拟合直线可被整个视为边界线)的斜率来得到它的厚度系数αi。
本发明设计一个卷积神经网络Slope-Net来估计每个波段的厚度系数,Slope-Net网络的具体结构如图4所示。网络的输入是大小为256×256的Landsat 8 OLI图像中的波段1至波段5这5个波段的多光谱数据以及相应的参考薄云厚度图,输出为5个波段的厚度系数。Slope-Net网络经过4次步长为1的3×3卷积操作,每次跟随一个批规范化层和一个非线性激活层,和步长为2的2×2最大池化操作,以及1次步长为4的4×4均值池化操作后,可以得到一个尺寸为4×4×128的特征块。然后,利用1×1的卷积将每个128维的特征映射到网络的输出层,即5维的厚度系数,就得到了4×4=16组厚度系数。最后,将网络输出的16组厚度系数取平均值,作为最终的结果。
步骤4:训练样本生成
本发明采用仿真的方式生成波段相关的薄云图像,以及相应的参考薄云厚度图和厚度系数,并以此构建训练数据集。具体操作包括以下步骤:
1)真实遥感图像获取
从地理空间数据云网站(http://www.gscloud.cn/)免费下载Landsat 8多光谱遥感图像。分别选取多景包含薄云的图像和无云的清晰图像,采用ENVI 5.0软件将其打开,选取图像中大小为256×256的薄云区域以及清晰区域,保存图像中需要进行薄云去除的前5个波段。其中,薄云图像用来提取仿真所需的参考薄云厚度图和厚度系数,清晰图像作为仿真薄云图像的真值。然后对保存的图像进行筛选,使得选取的薄云图像应尽量在地物单一、纹理较少的地区,例如草原、海洋;而选取的清晰图像应尽可能多地覆盖城市、裸地、植被、水体等各种不同的地貌。通过该步骤操作,一共可获得5000幅薄云图像和5000幅清晰图像,每幅图像具有5个波段,图像大小为256×256。
2)薄云图像仿真
根据公式(3a)可知,给定一幅参考薄云厚度图和一组厚度系数,就能由一张清晰图像仿真得到一张对应的薄云图像。本发明从真实的薄云图像中提取参考薄云厚度图,以及各波段的厚度系数。首先,对真实薄云图像进行暗像素搜索,获取每个波段的薄云厚度图
其中,波段i的薄云厚度图在像素点p的值等于在波段i的薄云图像中,以p为中心的一个3×3邻域Ω(p)中的最小值。然后,选择波段1的薄云厚度图作为参考薄云厚度图,则波段1的厚度系数为1。再通过线性回归计算其他波段的薄云厚度图与参考薄云厚度图之间的回归系数,从而可以得到其他波段的厚度系数。最后,给定一幅清晰图像,将它和参考薄云厚度图以及这组厚度系数代入公式(3a),就可以由这张清晰图像仿真得到一张薄云图像。
对于收集的5000幅薄云图像,可以提取5000幅参考薄云厚度图,以及5000组对应的厚度系数。然后,以收集的5000幅清晰图像作为样本的真值标签,合成5000幅仿真薄云图像。
图5展示了一例利用本发明所述仿真方法得到的仿真多光谱薄云图像。其中,(a)是真实的薄云图像;(b)是由从(a)中提取的参考薄云厚度图(最后一列)和厚度系数,相乘得到的各波段的薄云厚度图;(c)是真实的清晰图像;(d)是以(c)为真值标签结合(b)合成的仿真薄云图像。
步骤5:卷积神经网络训练
在本步骤中,使用仿真得到的薄云图像、参考薄云厚度图以及厚度系数对网络进行训练。
1)U-Net网络训练
在本发明中,U-Net网络被用来估计薄云图像的参考薄云厚度图,网络采用欧式距离作为损失函数:
对于仿真得到的5000组数据,将其中的4000组仿真薄云图像和对应的参考薄云厚度图作为训练集对U-Net网络进行训练,剩余的1000组作为验证集进行超参数的微调。在开始训练之前,输入图像被归一化到[0,1]之间。采用均值为0、方差为0.01的高斯函数对卷积核的权重进行初始化,采用固定值0.01对偏置进行初始化。采用Adam优化算法,初始学习率设为0.0002,每迭代50轮后,学习率乘以0.1,一共迭代200轮。一阶矩估计的指数衰减率设为0.9,二阶矩估计的指数衰减率设为0.999。Adam优化算法通过计算梯度的一阶矩和二阶矩,为不同的参数产生自适应的学习率,使得网络能够提升收敛效率。
2)Slope-Net网络训练
在本发明中,Slope-Net网络被用来估计各个波段相对于参考薄云厚度图的厚度系数,网络采用欧式距离作为损失函数:
对于仿真得到的5000组数据,将其中的4000组仿真薄云图像,对应的参考薄云厚度图以及厚度系数作为训练集对Slope-Net网络进行训练,剩余的1000组作为验证集进行超参数的微调。在开始训练之前,输入图像被归一化到[0,1]之间。采用均值为0、方差为0.01的高斯函数对卷积核的权重进行初始化,采用固定值0.01对偏置进行初始化。采用Adam优化算法,初始学习率设为0.0002,每迭代50轮后,学习率乘以0.1,一共迭代200轮。一阶矩估计的指数衰减率设为0.9,二阶矩估计的指数衰减率设为0.999。Adam优化算法通过计算梯度的一阶矩和二阶矩,为不同的参数产生自适应的学习率,使得网络能够提升收敛效率。
步骤6:多光谱遥感图像薄云去除
步骤5中的U-Net网络和Slope-Net网络训练过程完成后,就可以用来对真实的多光谱遥感薄云图像进行薄云去除。首先,将薄云图像输入到训练好的U-Net网络中,经过一次前向传播,即可在网络的输出端得到对应的参考薄云厚度图;然后,将薄云图像和通过U-Net网络得到的参考薄云厚度图一起输入到训练好的Slope-Net网络中,经过一次前向传播,即可在网络的输出端得到16组厚度系数,取平均后就可以得到每个波段最终的厚度系数;最后,将薄云图像、通过U-Net网络得到的参考薄云厚度图和通过Slope-Net网络得到的厚度系数代入到公式(3b)中,即可得到被恢复的清晰图像。
图6展示了一个Landsat 8 OLI多光谱图像薄云去除实例。其中,(a)是真实的Landsat 8 OLI薄云图像;(b)是由通过U-Net网络从(a)中提取的参考薄云厚度图(最后一列)和Slope-Net网络得到的厚度系数,相乘得到的各波段的薄云厚度图;(c)是被恢复的清晰图像。
本发明虽然是针对Landsat 8 OLI多光谱遥感图像的处理,但同样适用于高分一号、Sentinel-2和WorldView-2等其他卫星传感器的多光谱图像。对不同卫星传感器获取的多光谱遥感图像进行薄云去除,除了薄云去除波段选取不同、U-Net网络和Slope-Net网络的输入输出通道数不同、以及训练数据不同以外,其他基本一致。以下给出了对高分一号卫星多光谱遥感图像进行薄云去除的具体实施示例,对于其他卫星图像的薄云去除过程也是相同的原理,与Landsat 8 OLI图像、高分一号图像的过程一致。
高分一号卫星的多光谱图相机采集的遥感图像共包含4个光谱波段:蓝波段、绿波段、红波段、近红外波段,它们的波长都小于1μm,会受到薄云的影响。因此,高分一号图像的4个波段均需要进行薄云去除处理。首先,根据上述步骤2和步骤3的内容分别进行参考薄云厚度图和厚度系数估计。将U-Net网络的输入改为4个通道的薄云图像,其他结构保持不变;Slope-Net网络的输入改为4个通道的薄云图像和1个通道的参考薄云厚度图,网络的输出改为16组4个通道的厚度系数,其他结构保持不变。然后,从地理空间数据云网站(http://www.gscloud.cn/)下载高分一号多光谱遥感图像,并采用步骤4中所述的薄云仿真方法生成训练样本。最后,根据上述步骤5和步骤6的内容,利用仿真的高分一号图像训练数据集对U-Net网络和Slope-Net网络进行训练,并使用训练好的网络对真实的高分一号多光谱遥感图像进行薄云去除,即可得到被恢复的清晰图像。
图7展示了一个高分一号多光谱图像薄云去除实例。其中,(a)是真实的高分一号薄云图像;(b)是由通过U-Net网络从(a)中提取的参考薄云厚度图(最后一列)和Slope-Net网络得到的厚度系数,相乘得到的各波段的薄云厚度图;(c)是被恢复的清晰图像。
Claims (6)
1.一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法,其特征在于,包括如下步骤:
步骤1:薄云去除模型建立
针对Landsat 8陆地成像仪OLI采集的多光谱图像进行薄云去除;Landsat 8 OLI图像包含9个光谱波段,其中波段1至波段5分别是海岸波段、蓝色波段、绿色波段、红色波段以及近红外波段,它们的波长都小于1μm,会受到薄云的影响;波段6和波段7是两个短波红外波段,它们的波长都大于1μm,不受薄云的影响;另外,波段8是全色波段,波段9是卷云波段;因此,只针对Landsat 8 OLI图像中的波段1至波段5这5个受薄云影响的波段进行薄云去除;
薄云成像模型描述为:
xs=xg+xc (1)
其中,xs为传感器获取到的薄云图像,xg为地面清晰图像,xc为云的影响,由云的厚度决定,称为薄云厚度图;从薄云图像中减去薄云厚度图就能恢复出清晰图像;
在多光谱遥感图像中,薄云的厚度会随着波长的增加而减小,各波段的薄云厚度图是线性相关的;给定一个参考薄云厚度图为且设第i个波段的薄云厚度图与之间的比例系数为αi,称αi为波段i的厚度系数,则第i个波段的薄云厚度图表示为:
结合公式(1)和公式(2)得到多光谱遥感图像第i个波段的成像模型:
步骤2:参考薄云厚度图估计
采用卷积神经网络U-Net来估计薄云图像的参考薄云厚度图,网络输入是Landsat 8OLI图像中的波段1至波段5这5个波段的多光谱数据,输出是相应的参考薄云厚度图;U-Net网络具有对称的包含跳线连接的编码器-解码器结构;其中,编码器用来获取不同尺度的图像特征;解码器用来获取准确的定位;
步骤3:厚度系数估计
由公式(3a)得出,对于具有同质地物的图像,清晰图像是一个不变的常量,薄云图像与参考薄云厚度图之间是线性关系;这种情况下,厚度系数αi就等于和之间的散点图中拟合直线的斜率;对于具有非同质地物的图像,是一个变量,则和之间是非线性相关的;但是,它们的散点图的右下方存在一条边界线,边界线上的点对应着中的暗像素;不受地物影响,然而会随着的增大而增大;因此,更亮的地物像素都分布在这条边界线的上方;这些围绕在边界线附近的暗像素看作一种同质地物,这条边界线的斜率就是需要估计的厚度系数αi;
步骤4:训练样本生成
对于遥感图像,成对的薄云图像及其对应清晰图像是很难收集的,从而也无法得到参考薄云厚度图以及厚度系数的真值;因此,都采用仿真的方式来获得足够多的带标签样本;已有的薄云仿真方法都是假定薄云厚度是波段无关的,对各个波段产生相同厚度的薄云;而实际上,薄云厚度是波段相关的,并随着波长的增加而减小;通过仿真方法生成波段相关的薄云图像作为训练样本;
步骤5:卷积神经网络训练
使用到的U-Net网络和Slope-Net网络,都属于有监督的学习方法,需要带标签的数据对网络进行训练;在本步骤中,使用仿真得到的薄云图像、对应的参考薄云厚度图以及厚度系数对网络进行训练;
步骤6:多光谱遥感图像薄云去除
步骤5的U-Net网络和Slope-Net网络训练过程完成后,要实现一幅多光谱遥感图像的薄云去除,首先,需要将薄云图像输入到训练好的U-Net网络中,经过一次前向传播,即在网络的输出端得到对应的参考薄云厚度图;然后,将薄云图像和参考薄云厚度图一起输入到训练好的Slope-Net网络中,经过一次前向传播,即在网络的输出端得到多组厚度系数,取平均后得到每个波段最终的厚度系数;最后,将薄云图像、参考薄云厚度图和厚度系数代入到公式(3b)中,即得到被恢复的清晰图像。
2.根据权利要求1所述的一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法,其特征在于:对于波段i,通过估计和之间的散点图中右下方边界线的斜率来得到它的厚度系数αi,对于具有同质地物的图像,散点图中的拟合直线可被整个视为边界线;设计一个卷积神经网络Slope-Net来估计每个波段的厚度系数,网络的输入为Landsat 8 OLI图像中的波段1至波段5这5个波段的多光谱数据以及相应的参考薄云厚度图,输出为5个波段的厚度系数;Slope-Net网络的具体结构表示为:CBR(3×3×16,1)→MaxPooling(2×2,2)→CBR(3×3×32,1)→MaxPooling(2×2,2)→CBR(3×3×64,1)→MaxPooling(2×2,2)→CBR(3×3×128,1)→MaxPooling(2×2,2)→AvgPooling(4×4,4)→Conv(1×1×5,1);其中,AvgPooling为均值池化操作;经过4次步长为1的3×3卷积操作,每次跟随一个批规范化层和一个非线性激活层,和步长为2的2×2最大池化操作,以及1次步长为4的4×4均值池化操作后,得到一个尺寸为W/64×H/64×128的特征块,W和H分别为网络输入图像的宽度和高度,其中每个像素的感受野大小为94×94;对于一幅薄云图像及其参考薄云厚度图,它任意大小和位置的子块都具有相同的厚度系数;因此,利用1×1的卷积将每个128维的特征映射到网络的输出层,即5维的厚度系数;这样,就能同时得到W/64×H/64组厚度系数;最后,将网络输出的W/64×H/64组厚度系数取平均值,作为最终的结果,从而减小估计误差。
3.根据权利要求1所述的一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法,其特征在于:在步骤4中,真实遥感图像获取:针对Landsat 8 OLI图像进行薄云去除;因此,从Landsat 8 OLI图像中选取薄云图像来提取仿真所需的参考薄云厚度图和厚度系数;选取无云的清晰图像,作为仿真薄云图像的真值;其中,选取的薄云图像应在地物单一、纹理较少的地区;选取的清晰图像应尽可能多地覆盖城市、裸地、植被、水体各种不同的地貌,以建立一个特征完备的遥感图像训练样本集;另外,由于Landsat 8 OLI图像的画幅都比较大,还需要对图像进行裁剪,生成适当大小的图像,作为网络的输入。
4.根据权利要求1所述的一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法,其特征在于:在步骤2中,薄云图像仿真:根据公式(3a)得到,给定一幅参考薄云厚度图和一组厚度系数,就能由一张清晰图像仿真得到一张对应的薄云图像;从真实的薄云图像中提取参考薄云厚度图,以及各波段的厚度系数;首先,对真实薄云图像进行暗像素搜索,获取每个波段的薄云厚度图
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011268594.6A CN112529788B (zh) | 2020-11-13 | 2020-11-13 | 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011268594.6A CN112529788B (zh) | 2020-11-13 | 2020-11-13 | 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112529788A CN112529788A (zh) | 2021-03-19 |
CN112529788B true CN112529788B (zh) | 2022-08-19 |
Family
ID=74982424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011268594.6A Active CN112529788B (zh) | 2020-11-13 | 2020-11-13 | 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112529788B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113298836B (zh) * | 2021-06-29 | 2023-03-14 | 天津市测绘院有限公司 | 一种顾及要素轮廓强度的遥感图像薄云去除方法及系统 |
CN114066755B (zh) * | 2021-11-11 | 2023-02-14 | 南京航空航天大学 | 一种基于全波段特征融合的遥感影像薄云去除方法及系统 |
CN115690630A (zh) * | 2022-11-08 | 2023-02-03 | 山东农业工程学院 | 一种用于路面车辆识别的交通遥感图像处理方法 |
CN116168301B (zh) * | 2023-04-25 | 2023-07-11 | 耕宇牧星(北京)空间科技有限公司 | 一种基于嵌套编码器网络的农田施肥栅格检测方法 |
CN117495723B (zh) * | 2023-12-29 | 2024-03-19 | 中国石油大学(华东) | 基于分波段处理的不成对数据遥感图像薄云去除方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509262A (zh) * | 2011-10-17 | 2012-06-20 | 中煤地航测遥感局有限公司 | 一种遥感图像薄云去除方法 |
CN108460739A (zh) * | 2018-03-02 | 2018-08-28 | 北京航空航天大学 | 一种基于生成对抗网络的遥感图像薄云去除方法 |
CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
CN110455254A (zh) * | 2018-12-25 | 2019-11-15 | 华中科技大学 | 一种面向飞行器导航制导的单层云云底高度估计方法 |
-
2020
- 2020-11-13 CN CN202011268594.6A patent/CN112529788B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509262A (zh) * | 2011-10-17 | 2012-06-20 | 中煤地航测遥感局有限公司 | 一种遥感图像薄云去除方法 |
CN108460739A (zh) * | 2018-03-02 | 2018-08-28 | 北京航空航天大学 | 一种基于生成对抗网络的遥感图像薄云去除方法 |
CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
CN110455254A (zh) * | 2018-12-25 | 2019-11-15 | 华中科技大学 | 一种面向飞行器导航制导的单层云云底高度估计方法 |
Non-Patent Citations (3)
Title |
---|
A Cloud Detection Method for Landsat 8 Images Based on PCANet;Yue, Zi等;《Remote Sensing》;20180605;第1-21页 * |
基于薄云厚度分布评估的遥感影像高保真薄云去除方法;汪月云 等;《计算机应用》;20181231;第38卷(第12期);第3596-3600页 * |
改进CGAN网络的光学遥感图像云去除方法;裴傲等;《农业工程学报》;20200723(第14期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112529788A (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112529788B (zh) | 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 | |
CN111738124B (zh) | 基于Gabor变换和注意力的遥感图像云检测方法 | |
Jiang et al. | Remotely estimating total suspended solids concentration in clear to extremely turbid waters using a novel semi-analytical method | |
CN111738144B (zh) | 一种基于Google Earth Engine云平台的地表水体产品生成方法和系统 | |
CN107256541A (zh) | 一种基于卷积神经网络的多光谱遥感图像去雾方法 | |
Kang et al. | Fog model-based hyperspectral image defogging | |
CN110991430B (zh) | 基于遥感图像的地物识别及覆盖率计算方法及系统 | |
CN112464745B (zh) | 一种基于语义分割的地物识别与分类方法和装置 | |
CN113239830A (zh) | 一种基于全尺度特征融合的遥感图像云检测方法 | |
Hamida et al. | Deep learning for semantic segmentation of remote sensing images with rich spectral content | |
CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
Buhe et al. | Land cover of oases and forest in XinJiang, China retrieved from ASTER data | |
CN117726550B (zh) | 一种多尺度门控注意力遥感图像去雾方法和系统 | |
Lou et al. | An effective method for canopy chlorophyll content estimation of marsh vegetation based on multiscale remote sensing data | |
CN108256557A (zh) | 结合深度学习和邻域集成的高光谱图像分类方法 | |
Zhang et al. | Two-step ResUp&Down generative adversarial network to reconstruct multispectral image from aerial RGB image | |
CN117115669B (zh) | 双条件质量约束的对象级地物样本自适应生成方法及系统 | |
Al Najar et al. | A combined color and wave-based approach to satellite derived bathymetry using deep learning | |
CN116879192B (zh) | 基于卫星遥感数据的水华预测方法、装置、设备及介质 | |
CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
CN115546069A (zh) | 一种非均匀雾密度分布先验的遥感影像去雾方法 | |
CN115082812A (zh) | 一种农业景观非农生境绿地斑块提取方法及其相关设备 | |
Wang et al. | Cloud Removal With SAR-Optical Data Fusion Using a Unified Spatial-Spectral Residual Network | |
Xu et al. | Multimodal and Multiresolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark | |
CN113469104A (zh) | 基于深度学习的雷达遥感影像地表水体变化检测方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |