CN112347945A - 一种基于深度学习的含噪遥感图像增强方法及系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的含噪遥感图像增强方法及系统，包括：步骤S1获取高分辨率遥感图像，并利用高分辨率遥感图像做相应退化处理得到低分辨率遥感图像；步骤S2，构建深度卷积神经网络；步骤S3训练构建好的深度卷积神经网络，用于学习高、低分辨率遥感图像之间的映射关系；步骤S4，利用步骤S3训练得到的映射关系重建目标遥感系统的遥感图像。本发明通过自构建训练数据集，充分利用了遥感系统的先验信息，使离线网络可以从低频含噪声遥感图像中恢复图像所包含的更多高分辨率特征，并在一定程度上抑制图像噪声。

Description

一种基于深度学习的含噪遥感图像增强方法及系统

技术领域

本发明涉及深度学习、计算机视觉、遥感图像分辨率增强处理，特别涉及一种基于深度学习的含噪遥感图像增强方法及系统。

背景技术

与光学遥感相比，微波遥感受天线尺寸，工作波长的制约，其成像分辨率较低。当前应用于遥感图像分辨率增强的传统算法主要有针对过采样图像的BG(Back-Gilbert)反演算法、维纳(Winer)滤波算法、SIR(Scatterometer Image Reconstruction)算法和针对非过采样图像的插值算法等。针对过采样图像的算法主要通过天线方向图、噪声相关参数等对采样图像做反演处理。针对非过采样图像，插值算法提出将超分辨率(Super-resolution)图像重建算法应用于毫米波与亚毫米波探测仪非过采样通道中。一般采用简单的线性插值或者双三次插值来提高采样图像的像素数量，经插值后的非过采样图像可应用过采样图像的处理方式实现分辨率效果的增强。

以上传统方案对过采样图像分辨率增强的效果在1-3倍不等，其中以维纳滤波最为典型，其在分辨率增强效果及噪声抑制效果上可以通过参数调整获得折中。同时为取得最优处理效果，针对不同情况的遥感图像要做不同的参数设计，其鲁棒性较低。

近年，基于大数据而应用于图像处理的卷积神经网络(CNN)已被成功应用于光学遥感图像的超分辨率、去噪和去模糊问题，SRCNN为其中的典型代表，其在光学遥感图像上的应用已被证实具有较好的复原效果，在微波遥感领域也有部分应用，但相关应用基本是参考光学遥感图像的数据集建立方式，并未严格遵循遥感图像退化规律，对含噪声遥感图像也未做分析处理，评价指标均选取峰值信噪比、结构相似度等，未在分辨率增强上有所体现。

发明内容

本发明技术问题：克服现有技术的不足，提供一种基于深度学习的含噪遥感图像增强方法及系统，充分考虑了遥感系统天线方向图及噪声方差等先验信息的影响，利用深度卷积神经网络充分提取低分辨率遥感图像中的特征信息，进而重建高分辨率遥感图像。

为达到上述目的，本发明提出了一种基于深度学习的含噪遥感图像增强方法，包括以下步骤：

步骤S1：获取高分辨率遥感图像或者模拟的高分辨率遥感图像，然后利用待增强遥感系统的天线方向图，并根据系统的采样方式、分辨率信息及系统噪声对高分辨率遥感图像做退化处理，获得模拟的低分辨率遥感图像；所述高分辨率遥感图像为从已公布的地球卫星数据中获得的，从中选取分辨率远高于待增强遥感系统的数据用作待增强遥感系统的感知目标，其后利用待增强遥感系统的天线方向图、工作方式及系统噪声，以仿真的方式对高分辨率遥感图像做退化处理，获得经待增强遥感系统采样后的低分辨率遥感图像，该低分辨率遥感图像视作待增强遥感系统的感知结果。

步骤S2：构建深度卷积神经网络模型，构建好的卷积神经网络模型需要所述步骤S1中的图像数据作为模型的输入，进而更新模型内各项参数；

步骤S3：利用所述步骤S1的图像数据，训练由所述步骤S2构建好的深度卷积神经网络模型，用于学习高分辨率遥感图像和低分辨率遥感图像的映射关系；

步骤S4：利用步骤S3获得训练好的深度卷积神经网络模型，重建目标遥感系统的遥感图像，实现含噪声遥感图像的增强效果。

所述步骤S2中，构建深度卷积神经网络模型，包括：

离线构建一个3层的卷积神经网络模型来学习映射关系：

其中，x为低分辨率含噪声遥感图像；C分别表示不同层的端到端的映射关系，主要包括参数W和b，分别代表该层卷积神经网络所使用的卷积核及偏差，其中，第一层包含多层映射关系，L可以根据实际任务需求取2—6层，σ表示非线性激活函数。

所述3层卷积神经网络模型，相对于传统SRCNN网络模型的创新点在于其第一层使用了多层具有较小卷积核的卷积层，所述多层卷积层共同组成模型的第一层结构。所述结构能够更好的处理遥感图像中的噪声信息，针对噪声的抑制效果明显。

所述步骤S3中，学习低分辨率遥感图像与高分辨率遥感图像的映射关系，包括；

采用反向传播法训练所述网络；

采用基于均方误差和VGG-16分类网络的损失函数：

L＝l_content+6×10^-3×l_VGG

其中，L为损失函数表达式，l_content是基于内容的损失，定义与均方误差相同，l_VGG为基于特征的损失，φ_i为VGG网络第i个特征计算函数，用于提取出输入图像的特征，m为特征数量，W_i、H_i表示第i个特征宽和高。

所述损失函数相对于传统SRCNN网络模型的创新点在于，所述损失函数加入了VGG-16的图像分类网络中间层的特征提取结果。只使用均方误差作为损失函数的SRCNN模型，在重建遥感图像的视觉表现及分辨率增强上并不明显，将VGG-16中间层的特征提取结果作为损失函数的一部分加入到损失函数的计算中，能使模型重建图像具有更好的视觉效果和分辨率增强表现。

所述步骤S4中，利用步骤S3得到的映射关系重建目标遥感系统的遥感图像为；

其中，image_rebulid表示重建高分辨率遥感图像，image_{low_resolution}表示低分辨率含噪声遥感图像。式中各项参数为权利要求3中所述参数，经所述步骤S3，各项参数均已经训练达到最优值。

本发明的一种基于深度学习的含噪遥感图像增强系统，包括：

神经网络建立模块，建立3层的卷积神经网络，所述第一层神经网络包含多层结构相同的卷积神经网络，所述各层神经网络通过激活函数建立连接，所述第三层神经网络输出单幅重建高分辨率遥感图像，神经网络参数初始设定为随机值；

训练及测试数据准备模块，将采集高分辨率遥感图像或模拟高分辨率遥感图像以及目标遥感系统的天线方向图数据作为输入，经该模块处理后得到训练用图像数据集和测试用图像数据集，数据集包括高分辨率遥感图像和低分辨率含噪声图像；

数据集，数据集包括高分辨率遥感图像和低分辨率含噪声图像；

神经网络训练模块，将训练用图像数据集作为模块输入，模块的输出定义为重建后高分辨图像数据集。将重建后高分辨率遥感图像与对应高分辨率遥感图像代入损失函数计算损失，采用后向传播算法更新神经网络参数，再次使用训练用图像数据集输入到更新后的网络模型，并在获得输出后计算相应损失函数，重复所述步骤，直至损失函数计算结果达到最小值或目标阈值。输出训练好的神经网络模型。

遥感图像重建模块，将训练好的神经网络模型及目标遥感系统采集到的低分辨率含噪声遥感图像作为输入，经神经网络计算得到高分辨率遥感图像输出。

本发明利用深度卷积神经网络实现了含噪声遥感图像的增强处理，有益效果如下：

(1)本发明对含噪声遥感图像的分辨率提升更为明显。具体体现在重建图像与不同分辨率图像的相关性上。图像相关性R_ij用于表征i，j两幅图像的相关度，R_ij定义如下：

其中

X和Y代表进行比较的两幅图像，N代表图像中的像素点总数，i代表图像中的某个像素点。将经过不同方法做增强处理后的遥感图像与不同地面分辨率的遥感图像做相关性计算，得到结果如图3所示。其中横坐标表示不同分辨率的遥感图像，纵坐标表示相关性，曲线上各点表示经不同方案增强后的图像与不同分辨率遥感图像的相关性值，由正方形标记的曲线表示为改进的SRCNN模型处理结果，圆形标记的曲线表示为SRCNN模型处理结果，三角形标记的表示为维纳滤波处理结果。从图3中可以得知，本发明构建的改进的SRCNN网络模型具有更好的分辨率增强效果。其中，相对传统的维纳滤波方案来讲，基于深度学习的卷积神经网络SRCNN模型具有更好的图像增强效果，这是神经网络工具的优越性带来的效果提升。相对SRCNN模型来讲，本发明所构建的改进的SRCNN模型在分辨率增强上具有更好效果，主要是因为损失函数加入了VGG-16网络，使得模型具有更好的分辨率增强效果。

(2)本发明对含噪声遥感图像的有更好的噪声抑制效果，这是改进后的网络结构带来的优势，经改进后的SRCNN模型，其第一层由单层变成了多层，对噪声具有了更好的识别和处理能力。对经过不同方法做增强处理后的遥感图像做噪声估计，得到相关结果如表1所示。其中表1的第一列表示被不同程度高斯白噪声污染的遥感图像的噪声方差值，噪声方差值所在行之后是使用不同图像增强方法增强后图像的噪声方差值。能够看出使用SRCNN模型增强后的遥感图像噪声方差在10^-4量级，低于维纳滤波的10^-3量级，而改进的SRCNN模型将噪声抑制到了10^-5量级。这充分说明了本发明在噪声抑制上具有更好的表现效果。

(3)本发明将天线方向图、系统噪声等先验信息融入到神经网络的训练过程中，对天线方向图畸变、噪声影响具有较强的容错性，相较传统方案而言，具有更好的鲁棒性。传统处理方法在相关参数发生较小变化时，其对应的模型处理结果差异较大，比如用不同噪声参数建立维纳滤波增强模型，增强后的效果差异较大，结果如图4所示。图4的左上图像为加入了噪声方差为1K的高斯白噪声的遥感图像，图4的左下图像为加入了噪声方差为1K的高斯白噪声的遥感图像，图4的右上和右下图像，均为利用噪声方差为0.5K时建立的维纳滤波模型分别对左上和左下图像作增强后的结果。从图4中可以看出，由同一参数建立的维纳滤波模型对不同参数影响下的遥感图像处理结果差异较大。而使用同一神经网络模型对含不同噪声的图像处理结果表现比较稳定，其结果如图5所示。

表1维纳滤波、SRCNN及改进型SRCNN处理结果对比

附图说明

图1为本发明中基于深度学习的含噪遥感图像增强方法流程图；

图2为实施例的卷积神经网络模型结构示意图；

图3为不同方案在分辨率增强上的相关性指标表现；

图4为传统的维纳滤波方案的同一模型在受不同噪声影响的遥感图像上的表现；

图5为改进的SRCNN模型在受不同噪声影响的遥感图像上的表现；

图6为本发明实施例效果展示示意图；

图7为本发明中基于深度学习的含噪遥感图像增强系统示意图。

具体实施方式

为使本发明的目的、技术方案和有点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。应当指出的是，所描述实施例仅旨在便于理解，对本发明不起任何限定作用。

本发明中基于深度学习的含噪遥感图像增强方法。其利用深度卷积神经网络充分提取低分辨率遥感图像中的特征信息重建高分辨率遥感图像，并在学习特征映射时，充分考虑了遥感系统天线方向图及噪声方差等先验信息的影响。

如图1所示，本发明的方法的处理流程具体包括以下步骤：

步骤S1，获取高分辨率遥感图像或者模拟的高分辨率遥感图像，用作本方法的标签数据，主要手段为从已公布的地球卫星数据中选取分辨率远高于待增强遥感系统的数据用作高分辨率遥感图像。其后，利用待增强遥感系统的天线方向图、工作方式及系统噪声，以仿真的方式对高分辨率遥感图像做退化处理，从而获得经待增强遥感系统采样后的低分辨率遥感图像。在本实施例中，主要使用了20张2080×1060像素的高分辨率遥感图像，并以3:1的比例分为训练集和测试集，定义每像素点分辨率为1km×1km。其中15张训练数据经退化后与高分辨率遥感图像一起根据遥感系统天线方向图的分辨率裁剪成33×33像素大小的图像对。共生成近4000张样本数据和标签数据。本实施例采用的遥感图像退化方式主要为，模拟距地面1000km的近地轨道卫星，其天线方向图的半功率波束宽度为0.6°，采用圆锥扫描的方式采集地面信息，其中地面信息使用准备好的高分辨率遥感图像来模拟。卫星采样的结果则使用天线方向图在地面投影生成的点扩散函数，对高分辨率遥感图像做卷积处理后并加入随机噪声来获得。

步骤S2，构建合理的3层神经网络结构，图2为构建的神经网络结构。其中第一层结构表示如下：

C_{1_1}(g)＝max(0,W_{1_1}*g+B_{1_1})

C_{1_2}(g)＝max(0,W_{1_2}*C_{1_1}(g)+B_{1_2})

C_{1_3}(g)＝max(0,W_{1_3}*C_{1_2}(g)+B_{1_3})

C₁(g)＝max(0,W_{1_4}*C_{1_3}(g)+B_{1_4})

在此，取第一层参数L为4，第一层卷积神经网络结构由4层卷积层组成。式中，W、B分别代表各层的卷积核以及偏差，其中，第一层卷积核尺寸为1×3×3×n₁，其余各层卷积核尺寸均为n₁×3×3×n₁，在此取n₁＝64。B的尺寸与各层卷积生成图像的尺寸一致，作为网络的调整偏差。g表示输入的低分辨率含噪声遥感图像，*表示卷积操作。max()代表取0和卷积结果中的最大值，表示神经网络中常用的relu函数。

第二和第三层卷积神经网络结构表示如下：

式中，W₂代表的卷积核尺寸为n₁×1×1×n₂，B₂代表的偏差尺寸与该层卷积生成图像尺寸相同。在此，n₂＝64，W₃代表的卷积核大小为n₂×5×5×1，B₃代表的偏差尺寸与该层卷积生成图像尺寸相同。该网络结构的参数初始化为随机值。

步骤S3，学习退化后图像与高分辨率遥感图像的映射关系。将步骤S1获得的低分辨率含噪声遥感图像输入到步骤S2构建的神经网络，生成高分辨率重建图像，之后将该重建图像与步骤S1中的对应高分辨率遥感图像代入损失函数计算表达式中，利用计算得到的损失值对各层参数求导，经后向传播更新整个网络的参数。重复执行上述步骤，直到迭代次数用尽或损失值低于目标阈值。在此损失函数使用VGG-16网络第五层卷积层的最后一层作为提取到的图像特征参与损失函数计算。本实施例的训练迭代次数设定为500次。

步骤S4，利用步骤S3得到的映射关系重建目标遥感系统的遥感图像。将测试用图像输入到训练好的神经网络模型中，得到重建后的高分辨率遥感图像。部分结果如图6所示。在图6中，最左侧图像为模拟的地面高分辨率遥感图像，中间图像则为待增强遥感系统的采样图像，最右侧为使用本发明方法后的增强图像。从图6中可以看出，遥感图像左上角的观测目标在经本发明方法做增强处理后，从视觉效果表现来看更加清晰，且噪声得到大幅抑制，这说明本发明方法分辨率增强效果好，噪声抑制程度高。

根据以上所述流程，可以构建对应的含噪声遥感图像增强系统，如图7所示，该系统主要由神经网络建立模块，训练及测试数据准备模块，神经网络训练模块和遥感图像重建模块组成。

其中神经网络建立模块的输入当为网络的层数及各层卷积核相关参数，对应具体数值为步骤S2所述，得到完善的卷积神经网络作为输出。

训练及测试数据准备模块，则根据高分辨率遥感图像和待增强遥感系统的天线方向图和噪声参数，产生对应的高分辨率标签数据和低分辨率样本数据。

神经网络模块利用前两个模块的输出作为自身输入，迭代训练，更新网络参数，最终输出训练好的神经网络。训练好的神经网络用于遥感图像重建模块的输入。

遥感图像重建模块，将低分辨率含噪声遥感图像作为训练好的神经网络输入，经网络处理后得到增强后的遥感图像。

以上四个模块共同组成本实施例的含噪声遥感图像增强系统。

以上所述具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例。并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的含噪遥感图像增强方法，其特征在于，包括以下步骤：

步骤S1：获取高分辨率遥感图像或者模拟的高分辨率遥感图像，然后利用待增强遥感系统的天线方向图，并根据系统的采样方式、分辨率信息及系统噪声对高分辨率遥感图像做退化处理，获得模拟的低分辨率遥感图像；所述高分辨率遥感图像可以从已公布的地球卫星数据中获得的，应从中选取分辨率远高于待增强遥感系统的数据用作待增强遥感系统的感知目标，其后利用待增强遥感系统的天线方向图、工作方式及系统噪声，以仿真的方式对高分辨率遥感图像做退化处理，获得经待增强遥感系统采样后的低分辨率遥感图像，该低分辨率遥感图像视作待增强遥感系统的感知结果；

步骤S2：构建深度卷积神经网络模型，构建好的卷积神经网络模型需要所述步骤S1中的图像数据作为模型的输入，进而更新模型内各项参数；

步骤S3：利用所述步骤S1的图像数据，训练由所述步骤S2构建好的深度卷积神经网络模型，用于学习高分辨率遥感图像和低分辨率遥感图像的映射关系；

步骤S4：利用步骤S3获得训练好的深度卷积神经网络模型，重建目标遥感系统的遥感图像，实现含噪声遥感图像的增强效果。

2.根据权利要求1所述的基于深度学习的含噪遥感图像增强方法，其特征在于：所述步骤S2中，构建深度卷积神经网络模型，包括：

离线构建一个3层的卷积神经网络来学习映射关系：

其中，x为低分辨率含噪声遥感图像；C分别表示不同层的端到端的映射关系，主要包括参数W和b，分别代表该层卷积神经网络所使用的卷积核及偏差，其中，第一层包含多层结构相同的映射关系，L可以取2—6，σ表示非线性激活函数。

3.根据权利要求1所述的基于深度学习的含噪遥感图像增强方法，其特征在于：所述步骤S3中，学习低分辨率遥感图像与高分辨率遥感图像的映射关系，包括；

采用反向传播法训练所述网络；

采用基于均方误差和VGG-16分类网络的损失函数：

L＝l_content+6×10^-3×l_VGG

其中，L为损失函数表达式，l_content是基于内容的损失，定义与均方误差相同，l_VGG为基于特征的损失，φ_i为VGG网络第i个特征计算函数，用于提取出输入图像的特征，m为特征数量，W_i、H_i表示第i个特征宽和高。

4.根据权利要求1所述的基于深度学习的含噪遥感图像增强方法，其特征在于：所述步骤S4中，利用步骤S3得到的映射关系，重建目标遥感系统的遥感图像的过程为；

其中，image_rebulid表示重建高分辨率遥感图像，image_{low_resolution}表示低分辨率含噪声遥感图像，式中各项参数为权利要求3中所述参数，经所述步骤S3，各项参数均已经训练达到最优值。

5.一种基于深度学习的含噪遥感图像增强系统，包括：

神经网络建立模块，建立3层的卷积神经网络，所述第一层神经网络包含多层结构相同的卷积神经网络，所述各层神经网络通过激活函数建立连接，所述第三层神经网络输出单幅重建高分辨率遥感图像，神经网络参数初始设定为随机值；

训练及测试数据准备模块，将采集高分辨率遥感图像或模拟高分辨率遥感图像以及目标遥感系统的天线方向图数据作为输入，经该模块处理后得到训练用图像数据集和测试用图像数据集，数据集包括高分辨率遥感图像和低分辨率含噪声图像；

神经网络训练模块，将训练用图像数据集作为模块输入，模块的输出定义为重建后高分辨图像数据集。将重建后高分辨率遥感图像与对应高分辨率遥感图像代入损失函数计算损失，采用后向传播算法更新神经网络参数，再次使用训练用图像数据集输入到更新后的网络模型，并在获得输出后计算相应损失函数，重复所述步骤，直至损失函数计算结果达到最小值或目标阈值，输出训练好的神经网络模型；

遥感图像重建模块，将训练好的神经网络模型及目标遥感系统采集到的低分辨率含噪声遥感图像作为输入，经神经网络计算得到高分辨率遥感图像输出。

Images