CN113066023B - 一种基于自校准卷积神经网络的sar图像去斑方法 - Google Patents

Abstract

本发明属于计算机视觉与图像处理技术领域，具体涉及一种基于自校准卷积神经网络的SAR图像去斑方法。本发明通过在卷积神经网络中自校准模块的平均池化、双线性插值和空洞卷积操作，以及能够在不增加网络参数及复杂性的前提下，使得网络的感受野获得极大提升，从而实现更有效的SAR图像中斑点噪声抑制。本发明通过将卷积神经网络中自校准模块的特征分为两个分支特征进行处理，能够提取不同尺寸的上下文信息，从而在有效抑制SAR图像斑点噪声的前提下，实现更精准的SAR图像细节纹理保护。本发明实现了SAR图像的精准去斑，可以用于抑制SAR图像的斑点噪声，从而提高SAR图像清晰度，增强SAR图像的视觉效果。

Description

一种基于自校准卷积神经网络的SAR图像去斑方法

技术领域

本发明属于计算机视觉与图像处理技术领域，具体涉及一种基于自校准卷积神经网络的SAR图像去斑方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)利用主动式微波进行成像，能够全天时、全天候的对地面目标进行信息采集，同时具有不受云层、雾等天气影响的特点。因此，SAR已在遥感领域的诸多应用中发挥了关键的作用，例如检测植被和森林环境、跟踪地面的移动目标。然而，由于相干成像的固有特性，SAR图像不可避免地收到斑点噪声的污染，从而导致了SAR图像的直观视觉质量较差，严重影响了SAR的应用。为了提高SAR图像清晰度，抑制斑点噪声是必不可少的关键步骤，并对后续使用SAR图像的遥感应用具有重要意义。

传统的SAR图像去斑方法包括概率补丁算法(Probabilistic Patch-BasedAlgorithm，PPB)、拉格朗日增值乘法图像去噪(Multiplicative Image Denoising byAugmented LaGrange，MIDAL)、SAR块匹配3D算法(SAR Block-Matching 3-D Algorithm，SAR-BM3D)和基于转换域和补丁排序SAR图像去斑滤波算法(Patch-Ordering Based SARImage Despeckling Method via Transform-Domain Filtering，SAR-POTDF)。这些传统方法能在一定程度上实现SAR图像的斑点噪声抑制。然而，这些方法的性能有时很大程度上取决于算法参数的选择，而参数主要基于主观经验，这有时导致了去斑点图像中丢失了重要的细节纹理或出现了不期望的块状伪像。另外，对于大尺寸的SAR图像，这些算法的执行效率通常较低。

近年来，卷积神经网络(Convolutional Neural Network，CNN)在许多图像处理任务中表现出了惊人的性能提升，这为SAR图像去斑提供了一个新的思路。如中国发明专利“一种基于学习下采样和跳跃连接网络SAR图像去噪方法”(CN201910927416.0)公开了一种基于学习下采样和跳跃连接网络SAR图像去噪方法，该方法通过下采样有效地扩展了感受野，并通过跳跃连接保持图像的细节同时减少梯度消失问题。中国发明专利“一种基于多尺度空洞残差注意力网络的SAR图像去噪方法”(CN201910358602.7)公开了一种基于多尺度空洞残差注意力网络的SAR图像去噪方法，该方法通过多尺度卷积完成对图像不同尺寸特征的提取，采用空洞卷积增大了网络的感受野，并基于注意力机制提高网络性能。此外，Huanfeng Shen，Chenxia Zhou，Jie Li和Qiangqiang Yuan在论文“SAR ImageDespeckling Employing a Recursive Deep CNN Prior”中提出了一种用于SAR图像去斑的递归深度CNN先验模型(Recursive Deep CNN Prior Model，SAR-RDCP)，该模型结合了传统的变分模型和基于通道注意力机制的CNN，采用递归方式提高特征提取的性能。相比于传统方法，上述基于CNN的SAR图像去斑方法大大提高了去斑性能。然而，为了获得更精准的去斑SAR图像，如何提取更丰富和纹理特征并将它们与斑点噪声更有效地分离仍然是一个困难的挑战。

通过国内外专利和文献检索，目前关于SAR图像去斑的研究比较多，但是现有的研究一般采用基于平铺式的卷积神经网络或基于空洞卷积的神经网络进行SAR图像去斑，未见利用自校准卷积神经网络的SAR图像去斑方法。

发明内容

本发明的目的在于提供实现SAR图像的精准去斑的一种基于自校准卷积神经网络的SAR图像去斑方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：利用光学遥感图像构建训练数据集，共包含M个无斑点噪声的原始图像和对应包含不同强度斑点噪声的M个加噪图像；

包含不同强度斑点噪声的加噪图像，形式化地按照下式进行构建：

其中，X_i表示第i个无斑点噪声的原始图像；Y_i表示包含不同强度斑点噪声的第i个加噪图像；

表示对应元素相乘；N_i表示第i个对应不同强度的斑点噪声，N_i的概率密度函数可以形式化地表示为下式：

其中，P(N_i)表示N_i的概率密度函数；Γ表示Gamma函数；L表示SAR图像的视数，代表了斑点噪声的强度；

步骤2：搭建基于自校准的卷积神经网络；

所述的基于自校准的卷积神经网络包含一个预处理模块、七个自校准模块和一个重建模块；其中，预处理模块由一个3×3卷积、修正线性单元组成；七个自校准模块的结构相同，所用的空洞卷积的扩张系数d不同；重建模块由一个3×3卷积和Sigmoid函数组成；

步骤3：将训练数据集输入至基于自校准的卷积神经网络中，使用Adam优化器对基于自校准的卷积神经网络进行训练直至网络的均方差损失

收敛，最终得到训练完毕的基于自校准的卷积神经网络；

其中，φ表示所述的基于自校准的卷积神经网络；φ(Y_i)表示将含斑点噪声的加噪图像Y_i输入至基于自校准的卷积神经网络φ中得到的输出；

表示φ(Y_i)-X_i的L2范数的平方；

步骤4：将待去斑的SAR图像输入至训练完毕的基于自校准的卷积神经网络中，得到该SAR图像的去斑结果。

本发明还可以包括：

所述的步骤3中将训练数据集输入至基于自校准的卷积神经网络中进行训练的过程具体为：

步骤3.1：预处理模块对输入的含斑点噪声的加噪图像进行特征提取，并将提取到的特征输入至七个自校准模块；

步骤3.2：七个自校准模块的结构相同，所用的空洞卷积的扩张系数d不同；将每个自校准模块接收到的特征记为F，使用两个带有ReLU的1×1卷积，将F分别分为两个分支特征，记为F₁和F₂；F₁和F₂的通道数均减少为F通道数的一半；每一个自校准模块执行的全部操作为：

步骤3.2.1：对于F₁，利用平均池化操作将其尺寸缩减为原来的四分之一，形式化地表示为下式：

T₁＝AvgPool(F₁)

其中，AvgPool表示平均池化操作；T₁表示经过平均池化后的特征；

步骤3.2.2：使用3×3的空洞卷积和双线性插值操作进行特征提取，并将T₁的尺寸恢复为与F₁相同的尺寸，形式化地表示为下式：

F′₁＝Up(DConv(T₁))

其中，DConv表示扩张系数为d的空洞卷积；Up表示双线性插值操；，F′₁表示经过空洞卷积和双线性插值操作后的特征；

步骤3.2.3：执行自校准操作，形式化地表示为下式：

其中，σ表示Sigmoid函数；G′₁表示经过自校准操作后的特征；

步骤3.2.4：通过带有ReLU的空洞卷积对G′₁进行特征加强，形式化表示为下式：

G₁＝δ(DConv(G′₁))

其中，δ表示为ReLU函数；G₁表示经过特征加强后的第一个分支特征；

步骤3.2.5：对于F₂，通过带有ReLU的空洞卷积进行特征加强，形式化地表示为下式：

G₂＝δ(DConv(F₂))

其中，G₂表示经过特征加强后的第二个分支特征；

步骤3.2.6：将经过特征加强后的第一个分支特征G₁和第二个分支特征G₂进行通道叠加，采用1×1卷积、跳跃连接和ReLU得到该模块最终的输出，形式化地表示为下式：

G＝δ(Conv(G_1-2)+F)

其中，G_1-2表示对G₁和G₂进行通道叠加后的特征；G表示该自校准模块最终的输出；

步骤3.3：将第七个自校准模块的输出输入至重建模块中，得到基于自校准的卷积神经网络的最终输出。

本发明的有益效果在于：

本发明通过在卷积神经网络中自校准模块的平均池化、双线性插值和空洞卷积操作，以及能够在不增加网络参数及复杂性的前提下，使得网络的感受野获得极大提升，从而实现更有效的SAR图像中斑点噪声抑制。本发明通过将卷积神经网络中自校准模块的特征分为两个分支特征进行处理，能够提取不同尺寸的上下文信息，从而在有效抑制SAR图像斑点噪声的前提下，实现更精准的SAR图像细节纹理保护。本发明实现了SAR图像的精准去斑，可以用于抑制SAR图像的斑点噪声，从而提高SAR图像清晰度，增强SAR图像的视觉效果。

附图说明

图1为一种基于自校准卷积神经网络的SAR图像去斑方法的流程图。

图2为本发明中自校准卷积神经网络结构示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明涉及一种基于自校准卷积神经网络的SAR图像去斑方法，属于计算机视觉、图像处理技术领域。本发明的目的是为了实现SAR图像的精准去斑，可以用于抑制SAR图像的斑点噪声，从而提高SAR图像清晰度，增强SAR图像的视觉效果。

本发明一种基于自校准卷积神经网络的SAR图像去斑方法，如图1所示，主要实施步骤如下：

步骤一：利用光学遥感图像建立的训练数据集；

步骤二：搭建基于自校准的卷积神经网络；

步骤三：使用训练数据集训练基于自校准的卷积神经网络；

步骤四：使用训练后的网络进行对测试SAR图像的去斑。

所述的步骤一：利用光学遥感图像建立的训练数据集，共包含M个无斑点噪声的原始图像和对应包含不同强度斑点噪声的M个加噪图像。对应包含不同强度斑点噪声的加噪图像，形式化地按照下式进行构建：

其中，X_i表示第i个无斑点噪声的原始图像，Y_i表示包含不同强度斑点噪声的第i个加噪图像，

表示对应元素相乘，N_i表示第i个对应不同强度的斑点噪声。N_i的概率密度函数可以形式化地表示为下式：

其中，P(N_i)表示N_i的概率密度函数，Γ表示Gamma函数，L表示SAR图像的视数，代表了斑点噪声的强度，L越小，斑点噪声强度越大。为了包含不同强度的斑点噪声，对于每张加噪图像，L被随机地设定为1，2，4，8；

所述的步骤二：搭建基于自校准的卷积神经网络，如图2所示，共包含一个预处理模块、七个自校准模块和一个重建模块。其中，预处理模块由一个3×3卷积、修正线性单元(Rectified Linear Unit，ReLU)组成，将预处理模块提取到的特征送至接下来的七个自校准模块进行进一步处理。

进一步的，对于七个自校准模块，每一个模块的结构相同。将每个自校准模块接收到的特征记为F。使用两个带有ReLU的1×1卷积，将F分别分为两个分支特征，记为F₁和F₂。F₁和F₂的通道数均减少为F通道数的一半。对于F₁，首先利用平均池化操作将其尺寸缩减为原来的四分之一，形式化地表示为下式：

T₁＝AvgPool(F₁)

其中，AvgPool表示平均池化操作，T₁表示经过平均池化后的特征。接下来使用3×3的空洞卷积和双线性插值操作进行特征提取，并将T₁的尺寸恢复为与F₁相同的尺寸，形式化地表示为下式：

F′₁＝Up(DConv(T₁))

其中，DConv表示扩张系数为d的空洞卷积，Up表示双线性插值操作，F′₁表示经过空洞卷积和双线性插值操作后的特征。接下来实现自校准操作，形式化地表示为下式：

其中，σ表示Sigmoid函数，G′₁表示经过自校准操作后的特征。接下来，通过带有ReLU的空洞卷积对G′₁进行特征加强，形式化表示为下式：

G₁＝δ(DConv(G′₁))

其中，δ表示为ReLU函数，G₁表示经过特征加强后的第一个分支特征。至此，在每一个自校准模块中，对于第一个分支特征F₁的操作已完成。接下来对第二个分支特征F₂进行处理。对于F₂，直接通过带有ReLU的空洞卷积进行特征加强，形式化地表示为下式：

G₂＝δ(DConv(F₂))

其中，G₂表示经过特征加强后的第二个分支特征。在每一个自校准模块的最后，将处理后的两个分支特征，即，G₁和G₂，进行通道叠加。进而，采用1×1卷积、跳跃连接和ReLU得到该模块最终的输出，形式化地表示为下式：

G＝δ(Conv(G_1-2)+F)

其中，G_1-2表示对G₁和G₂进行通道叠加后的特征，G表示该自校准模块最终的输出。至此，完成了对该自校准模块的全部操作，七个自校准模块的结构相同，均如上面描述。不同之处在于，七个自校准模块中所用的空洞卷积的扩张系数d不同，分别设置为1，2，3，4，3，2，1。

进一步的，对于重建模块，由一个3×3卷积和Sigmoid函数组成。将最后一个自校准模块，也就是第七个自校准模块的输出，输入至该重建模块中，得到自校准的卷积神经网络的最终输出。

所述的步骤三：训练数据集用于训练一个基于自校准的卷积神经网络过程中，采用均方差损失对网络进行训练，可以形式化地表示为下式：

其中，φ表示所述的基于自校准的卷积神经网络，φ(Y_i)表示将Y_i输入至φ中得到的输出，

表示φ(Y_i)-X_i的L2范数的平方，

表示均方差损失。在训练过程中，使用Adam优化器对网络进行训练直至收敛。最终得到训练完毕的基于自校准的卷积神经网络φ。

所述的步骤四：所述的训练后的网络进行对测试SAR图像的去斑，待去斑的测试SAR图像记为Y′，将Y′输入至训练完毕的基于自校准的卷积神经网络φ中，得到该测试SAR图像的去斑结果，即，φ(Y′)。

与现有技术相比，本发明的有益效果是：

1.通过在卷积神经网络中自校准模块的平均池化、双线性插值和空洞卷积操作，以及能够在不增加网络参数及复杂性的前提下，使得网络的感受野获得极大提升，从而实现更有效的SAR图像中斑点噪声抑制。

2.通过将卷积神经网络中自校准模块的特征分为两个分支特征进行处理，能够提取不同尺寸的上下文信息，从而在有效抑制SAR图像斑点噪声的前提下，实现更精准的SAR图像细节纹理保护。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于自校准卷积神经网络的SAR图像去斑方法，其特征在于，包括以下步骤：

步骤1：利用光学遥感图像构建训练数据集，共包含M个无斑点噪声的原始图像和对应包含不同强度斑点噪声的M个加噪图像；

包含不同强度斑点噪声的加噪图像，形式化地按照下式进行构建：

其中，X_i表示第i个无斑点噪声的原始图像；Y_i表示包含不同强度斑点噪声的第i个加噪图像；

表示对应元素相乘；N_i表示第i个对应不同强度的斑点噪声，N_i的概率密度函数可以形式化地表示为下式：

其中，P(N_i)表示N_i的概率密度函数；Γ表示Gamma函数；L表示SAR图像的视数，代表了斑点噪声的强度；

步骤2：搭建基于自校准的卷积神经网络；

所述的基于自校准的卷积神经网络包含一个预处理模块、七个自校准模块和一个重建模块；其中，预处理模块由一个3×3卷积、修正线性单元组成；七个自校准模块的结构相同，所用的空洞卷积的扩张系数d不同；重建模块由一个3×3卷积和Sigmoid函数组成；

步骤3：将训练数据集输入至基于自校准的卷积神经网络中，使用Adam优化器对基于自校准的卷积神经网络进行训练直至网络的均方差损失

收敛，最终得到训练完毕的基于自校准的卷积神经网络；

其中，φ表示所述的基于自校准的卷积神经网络；φ(Y_i)表示将含斑点噪声的加噪图像Y_i输入至基于自校准的卷积神经网络φ中得到的输出；

表示φ(Y_i)-X_i的L2范数的平方；

步骤4：将待去斑的SAR图像输入至训练完毕的基于自校准的卷积神经网络中，得到该SAR图像的去斑结果；

所述的步骤3中将训练数据集输入至基于自校准的卷积神经网络中进行训练的过程具体为：

步骤3.1：预处理模块对输入的含斑点噪声的加噪图像进行特征提取，并将提取到的特征输入至七个自校准模块；

步骤3.2：七个自校准模块的结构相同，所用的空洞卷积的扩张系数d不同；将每个自校准模块接收到的特征记为F，使用两个带有ReLU的1×1卷积，将F分别分为两个分支特征，记为F₁和F₂；F₁和F₂的通道数均减少为F通道数的一半；每一个自校准模块执行的全部操作为：

步骤3.2.1：对于F₁，利用平均池化操作将其尺寸缩减为原来的四分之一，形式化地表示为下式：

T₁＝AvgPool(F₁)

其中，AvgPool表示平均池化操作；T₁表示经过平均池化后的特征；

步骤3.2.2：使用3×3的空洞卷积和双线性插值操作进行特征提取，并将T₁的尺寸恢复为与F₁相同的尺寸，形式化地表示为下式：

F′₁＝Up(DConv(T₁))

其中，DConv表示扩张系数为d的空洞卷积；Up表示双线性插值操；F′₁表示经过空洞卷积和双线性插值操作后的特征；

步骤3.2.3：执行自校准操作，形式化地表示为下式：

其中，σ表示Sigmoid函数；G′₁表示经过自校准操作后的特征；

步骤3.2.4：通过带有ReLU的空洞卷积对G′₁进行特征加强，形式化表示为下式：

G₁＝δ(DConv(G′₁))

其中，δ表示为ReLU函数；G₁表示经过特征加强后的第一个分支特征；

步骤3.2.5：对于F₂，通过带有ReLU的空洞卷积进行特征加强，形式化地表示为下式：

G₂＝δ(DConv(F₂))

其中，G₂表示经过特征加强后的第二个分支特征；

步骤3.2.6：将经过特征加强后的第一个分支特征G₁和第二个分支特征G₂进行通道叠加，采用1×1卷积、跳跃连接和ReLU得到该模块最终的输出，形式化地表示为下式：

G＝δ(Conv(G_1-2)+F)

其中，G_1-2表示对G₁和G₂进行通道叠加后的特征；G表示该自校准模块最终的输出；

步骤3.3：将第七个自校准模块的输出输入至重建模块中，得到基于自校准的卷积神经网络的最终输出。

Images