CN107590782B - 一种基于全卷积网络的高分辨率光学图像厚云去除方法 - Google Patents

Abstract

本发明涉及一种基于全卷积网络的高分辨率光学遥感图像厚云去除方法，通过全卷积网络的参数训练，完成了异源遥感数据之间映射函数的自主构建，在两种不同的异源遥感数据之间实现了优势互补，不仅可以通过同一幅高分辨遥感图像中的无云区域对含云区域的信息进行估计，对于同一组数据源其他时刻所获得的数据同样具有较好的去云效果。实验结果表明，本发明与现有的基于多源数据的光学遥感图像去云方法相比能够更加准确地恢复云区信息。

Description

一种基于全卷积网络的高分辨率光学图像厚云去除方法

技术领域

本发明属于计算机图像处理技术，涉及一种基于全卷积网络的高分辨率光学图像厚云去除方法。

背景技术

在光学遥感图像中，云层的遮挡是造成地物信息损失的最主要原因之一，特别是在云层较厚的，往往会造成其对应区域的地物信息的完全丢失，给光学遥感图像的进一步处理造成很大的影响。传统的去云方法主要包括两类：一类是基于空间信息的方法，另一类是基于谱间信息的方法，这两种方法在云区面积较小或者云层较薄时能取得较好的结果，但是在去除大面积厚云时效果较差。

近些年来，基于多时相信息与多源信息的方法被广泛应用于光学图像的去云方面。基于多时相信息的方法主要依靠同一数据源在不同时间点获得的光学遥感图像作为参考来恢复云区丢失信息，其优点在于参考数据与目标数据相似性高，缺点在于受光学传感器重访周期的限制，参考数据与目标数据之间有较大的时间间隔，期间可能发生的突发性地物变化无法预估。基于多源信息的方法则是依靠不同数据源在同一时间点附近获得的数据作为参考来恢复云区丢失信息，其优点在于参考数据与目标数据之间时间间隔小，参考数据可信度高，参考数据与目标数据能够形成互补等，其缺点在于参考数据与目标数据相似性较低，往往需要通过复杂映射函数实现关联。

现有的基于多源信息的光学遥感图像去云方法中，低分辨率异源光学遥感数据和合成孔径雷达(Synthetic Aperture Radar,SAR)数据是两种较为常用的参考数据源。低分辨率异源光学遥感数据能够提供光谱维度上的信息，同时因为重访周期更短而更容易取得无云图像，其缺点在于空间分辨率不足；而SAR图像则相反，其优点在于能够穿透云层获得空间分辨率较高的图像，而缺点在于没有光谱维度上的信息。从理论上来讲，低分辨率异源光学遥感数据和SAR数据能够实现优势互补，共同完成高分辨率光学遥感图像中云区丢失信息的恢复，现已提出的一些算法例如字典组学习(Dictionary Group Learning,DGL)等也在这方面取得了一定的进展，然而由于数据源之间较大的差异性，其去云结果依然存在着较大的提升空间。

在过去的几年里，基于深度学习的方法在机器学习与图像处理等领域展现出了巨大的优势，特别是全卷积网络(Fully Convolutional Network,FCN)的提出，使得利用深度学习进行像素级别的图像处理成为可能，并且在图像超分辨，图像去噪，以及图像修复等方面取得了较好的效果。这也给基于多源数据的光学遥感图像去云提供了新的思路，即通过全卷积网络来学习异源数据之间的映射关系，从而实现对光学遥感图像中云区丢失信息的重构。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于全卷积网络的高分辨率光学图像厚云去除方法。

技术方案

一种基于全卷积网络的高分辨率光学图像厚云去除方法，其特征在于：所用到的数据源为同一地理场景在较短时间间隔内获得的待去云高分辨率光学遥感图像，低分辨率异源光学遥感图像以及SAR图像，且含云的高分辨率光学遥感图像已经完成了云区检测；步骤如下：

步骤1：将低分辨异源光学遥感图像和SAR图像的空间尺寸调整至与待去云的高分辨光学遥感图像相同并进行配准，实现数据源之间相同空间位置的像素点对应现实中相同地理位置区域，建立起空间位置上的对应关系；

步骤2：以固定步长将高分辨率光学遥感图像分解为固定大小的图像块集合；所述固定步长取值128；所述固定大小取值256；

根据云区检测的结果将图像块集合分为含云图像块集合和无云图像块集合，其中无云图像块不包含任何云区像素点；

步骤3：建立全卷积网络结构为：光学遥感图像的波段数为N，则网络的输入为N+1个波段，其中前N个波段为异源低分辨光学遥感数据，第N+1个波段为SAR数据，输出为N个波段，为高分辨光学遥感数据；全卷积网络总共分为9层，前4层为卷积层，卷积核尺寸为3*3；第5层同样为卷积层，卷积核尺寸为1*1；后4层为反卷积层，卷积核尺寸为3*3；网络中每一层的卷积核数量均为64，初始值服从均值为0，标准差为0.05的正态分布，层与层之间的激活函数采用ReLU函数；

然后利用无云高分辨率图像块集合作为训练目标，以其对应的异源低分辨率图像块和SAR图像块作为输入，进行全卷积网络训练；

步骤4：在完成网络训练之后，将含云高分辨图像块所对应的异源低分辨图像块和SAR图像块作为输入，通过网络前向传播得到输出结果，并利用输出结果中的对应像素点替换含云高分辨图像块中的云区像素点，实现去云；

步骤5：将去云后的含云高分辨率图像块与无云图像块重新拼接得到完整的高分辨率光学遥感图像。

有益效果

本发明提出的一种基于全卷积网络的高分辨率光学图像厚云去除方法，所用到的数据源为同一地理场景在较短时间间隔内获得的待去云高分辨率光学遥感图像，低分辨率异源光学遥感图像以及SAR图像；以待去云的高分辨率光学遥感图像为基准，对低分辨率异源光学遥感图像和SAR图像进行空间尺度调整以及像素级别配准。将待去云的高能光学遥感图像以固定步长分解为固定大小的图像块集合，并区分含云图像块与无云图像块。利用无云高分辨图像块集合作为训练目标，以其对应的低分辨异源光学遥感图像块和SAR图像块作为输入，进行全卷积网络训练。对于含云的高分辨率遥感图像块，利用其对应的低分辨率异源光学遥感图像块和SAR图像块作为输入，通过训练完成的全卷积网络前向传播获得输出结果，并利用输出结果中的对应像素点替换含云图像块中的云区像素点，实现去云。将去云后的含云图像块与无云图像块重新组合为原始尺寸的高分辨率光学遥感图像，完成去云过程。

本发明的有益效果是：通过全卷积网络的参数训练，完成了异源遥感数据之间映射函数的自主构建，在两种不同的异源遥感数据之间实现了优势互补，不仅可以通过同一幅高分辨遥感图像中的无云区域对含云区域的信息进行估计，对于同一组数据源其他时刻所获得的数据同样具有较好的去云效果。

附图说明

图1：基于全卷积网络的高分辨率光学遥感图像厚云去除方法的流程图

图2：全卷积网络的结构图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

步骤1：本方法所用到的数据源为同一地理场景在较短时间间隔内获得的待去云高分辨率光学遥感图像，低分辨率异源光学遥感图像以及SAR图像；以待去云的高分辨率光学遥感图像为基准，对低分辨率异源光学遥感图像和SAR图像进行空间尺度调整以及像素级别配准；该步骤是使用异源遥感数据时常见的预处理，目的是使数据源之间相同空间位置的像素点对应现实中相同地理位置区域，从而建立起空间位置上的对应关系。

步骤2：以固定步长将高分辨率光学遥感图像分解为固定大小的图像块集合，固定步长一般取值128，固定大小一般取值256，在本发明中认为含云的高分辨率光学遥感图像已经完成了云区检测，根据云区检测的结果将图像块集合分为含云图像块集合和无云图像块集合，其中无云图像块不包含任何云区像素点；

步骤3：利用无云高分辨率图像块集合作为训练目标，以其对应的异源低分辨率图像块和SAR图像块作为输入，进行全卷积网络训练，全卷积网络的结构如图2所示，假设光学遥感图像的波段数为N，则网络的输入为N+1个波段，其中前N个波段为异源低分辨光学遥感数据，第N+1个波段为SAR数据，输出为N个波段，均为高分辨光学遥感数据，该全卷积网络总共分为9层，总共包括5个卷积层和4个反卷基层，其中前4层为卷积层，卷积核尺寸为3*3，第5层同样为卷积层，但卷积核尺寸为1*1，后4层为反卷积层，卷积核尺寸为3*3，网络中每一层的卷积核数量均为64，初始值服从均值为0，标准差为0.05的正态分布，层与层之间的激活函数采用ReLU函数；

步骤4：在完成网络训练之后，将含云高分辨图像块所对应的异源低分辨图像块和SAR图像块作为输入，通过网络前向传播得到输出结果，并利用输出结果中的对应像素点替换含云高分辨图像块中的云区像素点，实现去云；

步骤5：将去云后的含云高分辨率图像块与无云图像块重新拼接得到完整的高分辨率光学遥感图像。

Claims (1)

1.一种基于全卷积网络的高分辨率光学图像厚云去除方法，其特征在于：所用到的数据源为同一地理场景在较短时间间隔内获得的待去云高分辨率光学遥感图像，低分辨率异源光学遥感图像以及SAR图像，且含云的高分辨率光学遥感图像已经完成了云区检测；步骤如下：

步骤1：将低分辨异源光学遥感图像和SAR图像的空间尺寸调整至与待去云的高分辨光学遥感图像相同并进行配准，实现数据源之间相同空间位置的像素点对应现实中相同地理位置区域，建立起空间位置上的对应关系；

步骤2：以固定步长将高分辨率光学遥感图像分解为固定大小的图像块集合；所述固定步长取值128；所述固定大小取值256；

根据云区检测的结果将图像块集合分为含云图像块集合和无云图像块集合，其中无云图像块不包含任何云区像素点；

步骤3：建立全卷积网络结构为：光学遥感图像的波段数为N，则网络的输入为N+1个波段，其中前N个波段为异源低分辨光学遥感数据，第N+1个波段为SAR数据，输出为N个波段，为高分辨光学遥感数据；全卷积网络总共分为9层，前4层为卷积层，卷积核尺寸为3*3；第5层同样为卷积层，卷积核尺寸为1*1；后4层为反卷积层，卷积核尺寸为3*3；网络中每一层的卷积核数量均为64，初始值服从均值为0，标准差为0.05的正态分布，层与层之间的激活函数采用ReLU函数；

然后利用无云高分辨率图像块集合作为训练目标，以其对应的低分辨异源光学遥感图像块和SAR图像块作为输入，进行全卷积网络训练；

步骤4：在完成网络训练之后，将含云高分辨图像块所对应的低分辨异源光学遥感图像块和SAR图像块作为输入，通过网络前向传播得到输出结果，并利用输出结果中的对应像素点替换含云高分辨图像块中的云区像素点，实现去云；

步骤5：将去云后的含云高分辨率图像块与无云图像块重新拼接得到完整的高分辨率光学遥感图像。

Images