CN110120020A

CN110120020A - 一种基于多尺度空洞残差注意力网络的sar图像去噪方法

Info

Publication number: CN110120020A
Application number: CN201910358602.7A
Authority: CN
Inventors: 李映; 李静玉
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2019-04-30
Filing date: 2019-04-30
Publication date: 2019-08-13

Abstract

本发明涉及一种基于多尺度空洞残差注意力网络的SAR图像去噪方法。通过多尺度卷积组提取图像不同尺度的特征，利用空洞卷积增大卷积核感受野，提取图像更多的上下文信息，使用跳跃连接将浅层的特征信息传递到深层的卷积层以保持图像细节，添加注意力机制集中提取与噪声相关的特征，结合残差学习策略自动学习SAR图像相干斑噪声的分布形式，以达到去除相干斑噪声的目的。实验结果表明，本发明相比于传统的SAR图像噪声去除方法，不仅相干斑噪声去除效果好，人工痕迹少，保持了图像的细节信息，而且利用GPU计算速度也更快。

Description

一种基于多尺度空洞残差注意力网络的SAR图像去噪方法

技术领域

本发明涉及一种基于多尺度空洞残差注意力网络的SAR图像乘性相干斑噪声去除方法，属遥感图像处理领域。

背景技术

合成孔径雷达(SAR)是一种相干成像传感器，可以获取大量高质量的地表数据。由于能够在夜间以及薄云和雾霾等恶劣天气条件下运行，SAR已逐渐成为地理测绘，资源调查和军事侦察等领域的遥感数据的重要来源。然而，SAR图像经常受到由散射现象的相干性引起的乘性噪声即相干斑噪声的影响。相干斑噪声的存在严重影响了SAR图像的质量，并大大降低了SAR图像解译任务如目标检测、实例分割的效率。因此，去除SAR图像的相干斑噪声是进行SAR图像解译的必不可少的预处理步骤，并已成为一个热门的研究问题。

为了去除SAR图像的相干斑噪声，国内外的专家学者已经提出了许多方法包括空间线性滤波、基于小波滤波的方法、非局部均值和基于变分的方法等。空间线性滤波器如Lee滤波器、Kuan滤波器、Frost滤波器等可以平滑相干斑噪声，但会丢失一定程度的边缘和细节信息。基于小波滤波的方法可以保留更多的边缘信息，但其滤波去除相干斑噪声的效果并不理想。非局部均值在相干斑减少和细节保留之间提供了良好的折衷，但搜索相似图像块带来的繁重计算负担限制了它的应用。基于变分的方法由于其稳定性和灵活性逐渐被用于SAR图像去噪，它通过解决能量优化问题突破了传统的滤波器思想。虽然总变分模型、稀疏表示等基于变分的方法在相干斑噪声去除上取得了良好的效果，但噪声去除结果通常取决于模型参数和先验知识的选择，需要消耗大量时间。另外，基于变分的方法不能准确地描述相干斑噪声的分布，这也限制了相干斑噪声去除的性能。

尽管目前已经提出了许多的SAR图像去噪方法，但它们有时不能保留边缘和细节信息，或者甚至在原SAR图像中产生一些人工痕迹。近年来，深度卷积神经网络已经证明可以在各种计算机视觉和图像处理任务如图像分类、图像分割、图像去噪、目标检测等上产生先进的结果，并且与传统的浅层结构滤波算法相比，深度卷积神经网络更有利于处理复杂的非线性问题。图像特征的多尺度学习是解决计算机视觉问题的常用技术。多尺度学习可以利用不同级别的特征映射，消除人工痕迹，改善网络的泛化性能。空洞卷积在不增加参数量的前提下扩大卷积核的感受野，使得深度卷积神经网络能进行稠密的特征提取并增强图像的上下文信息。跳跃连接可以保持图像细节信息，避免梯度消失问题。残差学习解决了网络退化问题，使得深度卷积神经网络在增加深度的同时获得高性能，并且加速训练过程。注意力机制使得深度卷积神经网络更重视图像中重要的特征，进而提高网络性能。因此，基于多尺度学习、空洞卷积、跳跃连接、残差学习和注意力机制的深度卷积神经网络能有效保持图像细节信息，消除人工痕迹，适用于解决SAR图像去噪问题。

发明内容

要解决的技术问题

针对SAR成像过程中由散射现象的相干性引起的相干斑噪声而造成的SAR图像质量降低问题，设计一种高性能、高精度的SAR图像去噪算法来获得干净无噪声的SAR图像，以提高SAR图像解译任务的效率和准确度。

技术方案

一种基于多尺度空洞残差注意力网络的SAR图像去噪方法，其特征在于步骤如下：

步骤1：生成训练样本对：选取UCMerced_LandUse数据集中的410张图像作为训练集用以模拟不同视数的SAR图像，UCMerced_LandUse数据集包含21个类别，每个类别包含100张图像；首先，从每个类别中分别选取20张大小为256x 256的图像，总计410张图像，将所有图像变为灰度图得到干净的无噪声图像，向所有灰度无噪声图像中添加不同视数幅度形式的相干斑噪声得到模拟SAR噪声图像：对于单视的幅度图来说，幅度图的相干斑噪声服从均值为1，方差为(4/π-1)的Rayleigh分布；通过对L个幅度样本取平均即可得到一个L视数的幅度图像，其中L越大，噪声越小；然后，将得到的410对干净无噪声图像和模拟SAR噪声图像以10为步长切成40x40大小的图像，共得到198440对干净无噪声图像和模拟SAR噪声图像作为训练样本对；

步骤2：数据预处理：将所有训练样本对用最大最小值归一化方法归一化到0～1之间；

步骤3：构建网络模型：模型包括1个多尺度卷积组、7个空洞卷积层、2个跳跃连接、2个注意力模块；具体结构如下：

L1层为多尺度卷积组，用于提取图像的多尺度特征，由大小为3x3、5x5、7x7三个不同尺寸的卷积核组成，其对应的特征图数量分别为32、20、12，即L1层提取的总特征图数量为64；L2、L3、L4层分别为空洞率等于1、2、3，卷积核大小为3x3的空洞卷积层，其对应的特征图数量均为64；接在L4层后是一个注意力模块M1，注意力模块由通道注意力和空间注意力串联而成，L4层的特征图先生成通道注意力权值并与自身在通道维度上进行元素点乘运算，然后得到的结果再生成空间注意力权值并与自身在空间维度上进行元素点乘运算最终得到添加了注意力机制的特征图；所述的通道注意力权值是由特征图在通道维度上经过平均池化和Sigmoid函数生成，空间注意力权值是在空间维度上先经过平均池化和最大池化，将两个池化结果再经过一个卷积核为7x7的卷积和Sigmoid函数生成；L5、L6、L7层分别为空洞率等于4、3、2，卷积核大小为3x3的空洞卷积层，其对应的特征图数量都为64；L8层为空洞率等于1，卷积核大小为3x3的空洞卷积层，同时也为网络的最后一层，输出只有1个通道的残差图像；L2层和L4层之间、L5和L7层之间分别有一个跳跃连接用于将浅层特征传递给深层卷积层；L7层后是注意力模块M2，M2与M1结构相同；除了L8层以外，其他卷积层的卷积后都会跟着一个ReLu激活函数；

步骤4：训练网络模型：将归一化后的模拟SAR噪声图像训练样本输入到网络模型中进行训练，以模拟SAR噪声图像和干净无噪声图像的残差即相干斑噪声作为训练学习目标，不断学习模拟SAR噪声图像与相干斑噪声之间的映射关系，直到网络收敛；

步骤5：生成去噪图像：将模拟或真实SAR噪声图像直接输入到已经训练好的网络模型中，得到学习到的噪声，用原输入的模拟或真实SAR噪声图像减去学习到的噪声即可获得去完噪声的结果图像。

步骤4中训练模型时采用的训练样本对是大小为40x40的模拟SAR噪声图像和干净无噪声图像；训练轮数为50，Batch_size大小为32，优化器采用Adam，损失函数为均方差损失；模型中所有层和模块得到的特征图尺寸以及最后的输出图像尺寸均与输入图像尺寸一样。

有益效果

本发明提出的一种基于多尺度空洞残差注意力网络的SAR图像去噪方法，通过训练多尺度空洞残差注意力网络，提取图像不同尺度的特征，利用空洞卷积增大卷积核感受野，提取图像更多的上下文信息，使用跳跃连接将浅层的特征信息传递到深层的卷积层以保持图像细节，添加注意力机制集中提取与噪声相关的特征，结合残差学习策略自动学习SAR图像相干斑噪声的分布形式，以达到去除相干斑噪声的目的。实验结果表明，本发明相比于传统的SAR图像噪声去除方法，不仅相干斑噪声去除效果好，人工痕迹少，保持了图像的细节信息，而且利用GPU计算速度也更快。

附图说明

图1：基于多尺度空洞残差注意力网络的SAR图像去噪方法流程图

图2：多尺度空洞残差注意力网络模型结构示意图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明通过多尺度卷积群对图像进行多尺度特征提取，利用空洞卷积增大卷积核感受野，提取图像更多的上下文信息，使用跳跃连接将浅层的特征信息传递到深层的卷积层以保持图像细节，添加注意力机制集中提取与噪声相关的特征，结合残差学习来学习原相干斑噪声图像与相干斑噪声之间复杂的映射关系。具体如下：

步骤1：生成训练样本对。由于目前很难获得没有相干斑噪声的干净SAR图像，故需要使用模拟SAR图像作为训练数据。本发明选取UCMerced_LandUse数据集中的410张图像作为训练集用以模拟不同视数的SAR图像。UCMerced_LandUse数据集包含21个类别，每个类别包含100张图像。首先，从每个类别中分别选取20张大小为256x 256的图像，总计410张图像，将所有图像变为灰度图得到干净的无噪声图像，向所有灰度无噪声图像中添加不同视数幅度形式的相干斑噪声得到模拟SAR噪声图像(对于单视的幅度图来说，幅度图的相干斑噪声服从均值为1，方差为(4/π-1)的Rayleigh分布。通过对L个幅度样本取平均即可得到一个L视数的幅度图像，其中L越大，噪声越小。)；然后，将得到的410对干净无噪声图像和模拟SAR噪声图像以10为步长切成40x40大小的图像，共得到198440对干净无噪声图像和模拟SAR噪声图像作为训练样本对。

步骤2：数据预处理。将所有训练样本对用最大最小值归一化方法归一化到0～1之间。

步骤3：构建网络模型。本发明的模型结构如图2所示，包括1个多尺度卷积组、7个空洞卷积层、2个跳跃连接、2个注意力模块。L1层为多尺度卷积组，用于提取图像的多尺度特征，由大小为3x3、5x5、7x7三个不同尺寸的卷积核组成，其对应的特征图数量分别为32、20、12，即L1层提取的总特征图数量为64。L2、L3、L4层分别为空洞率等于1、2、3，卷积核大小为3x3的空洞卷积层，其对应的特征图数量均为64。接在L4层后是一个注意力模块M1。注意力模块由通道注意力和空间注意力串联而成，L4层的特征图先生成通道注意力权值并与自身在通道维度上进行元素点乘运算，然后得到的结果再生成空间注意力权值并与自身在空间维度上进行元素点乘运算最终得到添加了注意力机制的特征图。本发明中通道注意力权值是由特征图在通道维度上经过平均池化和Sigmoid函数生成，空间注意力权值是在空间维度上先经过平均池化和最大池化，将两个池化结果再经过一个卷积核为7x7的卷积和Sigmoid函数生成。L5、L6、L7层分别为空洞率等于4、3、2，卷积核大小为3x3的空洞卷积层，其对应的特征图数量都为64。L8层为空洞率等于1，卷积核大小为3x3的空洞卷积层，同时也为网络的最后一层，输出只有1个通道的残差图像。L2层和L4层之间、L5和L7层之间分别有一个跳跃连接用于将浅层特征传递给深层卷积层。L7层后是注意力模块M2，M2与M1结构相同。除了L8层以外，其他卷积层的卷积后都会跟着一个ReLu激活函数。

步骤4：训练网络模型。将归一化后的模拟SAR噪声图像训练样本输入到网络中进行训练，以模拟SAR噪声图像和干净无噪声图像的残差即相干斑噪声作为训练学习目标，不断学习模拟SAR噪声图像与相干斑噪声之间的映射关系，直到网络收敛。本发明训练模型时采用的训练样本对是大小为40x40的模拟SAR噪声图像和干净无噪声图像。训练轮数为50，Batch_size大小为32，优化器采用Adam，损失函数为均方差损失。模型中所有层和模块得到的特征图尺寸以及最后的输出图像尺寸均与输入图像尺寸一样。

步骤5：生成去噪图像。将模拟或真实的SAR噪声图像直接输入到已经训练好的网络模型中，得到学习到的噪声，用原输入的模拟或真实的SAR噪声图像减去学习到的噪声即可获得去完噪声的结果图像。

Claims

1.一种基于多尺度空洞残差注意力网络的SAR图像去噪方法，其特征在于步骤如下：

步骤1：生成训练样本对：选取UCMerced_LandUse数据集中的410张图像作为训练集用以模拟不同视数的SAR图像，UCMerced_LandUse数据集包含21个类别，每个类别包含100张图像；首先，从每个类别中分别选取20张大小为256x256的图像，总计410张图像，将所有图像变为灰度图得到干净的无噪声图像，向所有灰度无噪声图像中添加不同视数幅度形式的相干斑噪声得到模拟SAR噪声图像：对于单视的幅度图来说，幅度图的相干斑噪声服从均值为1，方差为(4/π-1)的Rayleigh分布；通过对L个幅度样本取平均即可得到一个L视数的幅度图像，其中L越大，噪声越小；然后，将得到的410对干净无噪声图像和模拟SAR噪声图像以10为步长切成40x40大小的图像，共得到198440对干净无噪声图像和模拟SAR噪声图像作为训练样本对；

2.根据权利要求1所述的一种基于多尺度空洞残差注意力网络的SAR图像去噪方法，其特征在于步骤4中训练模型时采用的训练样本对是大小为40x40的模拟SAR噪声图像和干净无噪声图像；训练轮数为50，Batch_size大小为32，优化器采用Adam，损失函数为均方差损失；模型中所有层和模块得到的特征图尺寸以及最后的输出图像尺寸均与输入图像尺寸一样。