CN109741340A - 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法 - Google Patents

Abstract

基于FCN‑ASPP网络的冰盖雷达图像冰层精细化分割方法涉及计算机视觉以及模式识别领域。本发明将雷达振幅图像作为网络的训练样本，针对冰层图像数据少的问题做了相应的数据扩增，扩大了该发明的广泛适用性。对冰盖图像进行了Lee滤波。为了尽可能保存边缘信息，对滤波过程增加了阈值判断过程。本发明通过构建FCN‑ASPP的冰层分割深度网络，通过对ASPP层进行改进，加强了该网络对于小尺度特征的提取能力。将初步分类结果通过CRF做进一步处理，在实现端到端的像素级分割的基础上进一步精细化了分割结果。此外，该网络极大的实现了自主学习的过程。

Description

基于FCN-ASPP网络的冰盖雷达图像冰层精细化分割方法

技术领域

本发明属于计算机视觉和模式识别领域，涉及一种基于深度学习 的冰盖雷达图像冰层分割的方法。

背景技术

近年来，全球变暖严重威胁着我们赖以生存的生活环境。近几十 年来，南极的冰盖在加速融化，导致海平面上升并对洋流产生了相当 大的影响。甚至可能引发严重的地质灾害。因此，收集极地冰盖的厚 度，分布等数据以及它们如何随时间变化的信息可以有效的了解和预 测冰川融化的影响。雷达传感器是能够穿透冰层，提供大面积冰下地 形信息的仪器之一。由于空气，冰和岩石具有不同的介电常数，雷达 波在透过不同介质物体时后向散射不同，因此可以在雷达回波图中被 区分出来，进而提取出冰层厚度，冰盖地下结构分布等关键信息。

目前传统的雷达分类图像分割方法分为基于模型的分割，基于边 缘的分割方法和基于区域的分割方法三类。但这些方法也存在着对于 先验知识依赖，需要人为设置分割参数和分割精细化不够等问题。而 且这些方法通常需要手工提取特征，为了使其适应新的数据集，需要 消耗大量的时间对特征进行调整。

深度学习方法相比于传统方法能够针对当前问题自动学习合适 的特征表示，节省了手工提取特征所需要的人工时间成本。全卷积神 经网络(FCN)作为由深度学习发展而来的端到端的分割方法，具有像 素级分割能力，通过大量的数据学习，可以达到比机器学习更好的分 割效果，几乎所有参数都是通过不断迭代学习而来，因此需要调整的 参数较少。但FCN分割网络也有分割精细化不够的缺点，本文方法 在FCN分割网络的基础上，对其进行改进，强化了网络的精细化分 割能力，使其更符合冰层雷达图像分割的要求。

发明内容

本发明提出了一种基于深度学习网络的冰盖雷达图的分割方法。

1、预处理

根据冰盖雷达图的特点对其做针对性的预处理，首先把雷达振幅 图像转换为255级灰度图。由于地下不同介质对于雷达波的反射各不 相同，因此在转换完成的灰度图中会呈现出不同的纹理特征与灰度特 征，这可以作为之后分类的依据。

原始雷达振幅图像是由飞机机载雷达采集，根据雷达图像的特点， 需要对雷达图像进行预处理，使采集到的雷达振幅图像更适合进行冰 盖分割，提高算法的准确性，本发明对原始的雷达振幅图像像素值进 行对数转换。计算雷达振幅对应的转换后的像素值。之后对图像进行 归一化处理，将图像归一化为255个像素级。

由于雷达系统特有的成像方式，导致了雷达原始图像中存在大量 的颗粒状的相干斑噪声，这些噪声对分割造成了严重的干扰。因此， 本发明采取了lee滤波算法对雷达灰度图进行进一步处理，从而消除 相干斑噪声对于分类的影响。但是经过传统的lee滤波后的图片虽然 消除了相干斑噪声的影响，图片边缘部分却变得模糊，边界变的不易 分割。因此，本发明对滤波过程增加了阈值判断过程，引入变差系数 C来判断是否为边缘，对边缘部分不做滤波处理来保存边缘特征。

将滤波后的灰度图像裁剪为500*389的尺寸作为输入训练图像。 此外，手工标注了与输入训练图像大小尺寸相同的标签图像，噪音 (niose)、冰层(layer)、基岩层(bedrock)和空气层(air)分别标记为像素 灰度0、1、2、3。

2、数据扩增和构建训练样本

由于训练深度网络需要大量的数据，仅现有的数据用于训练远远 不够。为提高算法的训练和检测效果，我们针对冰盖图像数据少的问 题做了相应的数据扩增。方法包括平移变换，缩放等等，从而增大数 据量，有利于本发明方法的学习和训练，提高本发明方法的适用性和 泛化性。数据扩增方式为：

1)对预处理后的图像进行左右上下四个方向的平移，平移距离 为20个像素，使得网络在训练过程中学习平移不变性。

2)对预处理后的图像分别进行缩小处理，缩小到原图的50％和 75％，进一步扩增样本数据。

3、FCN-ASPP网络构建

本发明构建了FCN-ASPP网络。

FCN(Fully Convolutional Network)网络虽然能够实现端到端的像 素级别的图像分割，但是由于前期下采样环节多，训练图片经过5次 下采样过程丢失了大量的细节信息，导致分类结果不够精确。为此本 文精简了FCN网络中的下采样环节，将5次下采样改为3次下采样 过程，并且在每个卷积过程之后增加BN(Batch Normalization)层，对 数据进行批量标准化操作，加快网络的收敛速度。具体的网络结构包 括输入层，两个卷积层(C1，C2)，两个BN层(B1，B2)，两个激活函 数层(R1，R2)，第一降采样层(pool1)，两个卷积层(C3，C4)，两个 BN层(B3，B4)，两个激活函数层(R3，R4)，第二降采样层(pool2)， 两个卷积层(C5，C6)，两个BN层(B5，B6)，两个激活函数层(R5， R6)，第三降采样层(pool3)。下采样层输入训练图片，经过降采样 过程可以得到相当于不同尺寸的特征图，作为下一层网络的输入。

由于冰盖图像的边缘部分极不规则，为了进一步增强网络对细节 特征的分类能力，增加冰层的分类准确性。本文构建了多尺度膨胀金 字塔结构(Atrous SpatialPyramid Pooling)。本方法提出的ASPP网络 包括五个并行卷积层，在只有四个并行膨胀卷积层的ASPP网络基础 上添加了一个普通卷积层来更好地提取细节信息，从而形成了具有不 同膨胀率的五个膨胀卷积层的ASPP网络，得到不同尺度的五个并行 分支膨胀卷积特征图。然后将这些特征图融合成一个特征图进行后续 处理。ASPP网络提高了整体网络对于局部细节信息的感知度。

4、精细化分割结果

为了进一步挖掘训练图像中像素之间的关系以提高分割准确率。 将训练图像和训练得到的分割结果图一同作为马尔可夫条件随机场 (CRF)的输入做细节处理，得到最终的冰盖分割图像。

有益效果

1、本发明通过构建FCN-ASPP网络的方法，能够快速的进行冰层 图像的自动特征提取，它能够从不同的层次对冰层图像进行特征提取， 学习到冰层图像的中各个像素与其周围多个邻域之间的关系，将其冰 盖图像的中，高级特征很好的表现出来，提取出更多的细节信息。本 发明为每一个卷积层之后都增加了BN网络层来归一化数据，提高网 络的收敛性。从而使其更好的区分了冰层，基岩和噪声的内部特征， 实现了端到端，像素级的冰层分割，比传统单个像素的分类判断效率 提升很多。

2、本发明利用FCN-ASPP网络的末端输出和原始图像进行进一 步处理，利用马尔可夫条件随机场，进一步挖掘冰层图像的中各个像 素与其周围多个邻域之间的关系以提高分类准确性。使得冰层图像分 割结果图与手工标注分割结果达到很好的一致性。本发明实现了冰层 图像分割的自动化，大大降低了人力物力的消耗。

3、本发明采用了多层次特征提取的思路，充分利用浅层特征的 特征分辨率较高，深层特征体现了更强的语义信息的特点。从而实现 冰层分割的精细化与鲁棒性。

4、本发明改进了ASPP网络结构，再原有ASPP网络结构的四个 并列的膨胀卷积层分支的基础上添加了一个普通卷积层分支。进一步 加强了网络对于小尺寸特征的提取能力。

5、本发明对雷达图像进行了Lee滤波处理。为了保证图像的边 缘信息得以保存下来，本发明对滤波过程增加了阈值判断过程，引入 变差系数，当系数低于阈值时对其进行滤波处理，否则保留原始像素 值。从而提高分割效果的鲁棒性。

附图说明

图1是本发明的整体流程图；

图2是膨胀卷积跳跃结构示意图；

图3是不同膨胀系数膨胀卷积核示意图；

图4是ASPP网络结构；

图5是FCN-ASPP网络结构；

图6是冰层分割结果；

具体实施方式

下面结合附图进行具体说明：

本发明的技术框图如图1所示。具体实施步骤分别如下：

1、预处理

第一步对采集到的雷达振幅图像进行对数转换，通过公式(1) 计算雷达振幅a_i对应的像素值b_i

b_i＝20×log10(a_i) (1)

第二步通过公式(2)对图像进行归一化处理，将图像归一化为 255个像素级。

其中，b_i是经过对数转换后的像素值，c_i是归一化后的像素值， max为归一化前的像素最大值，min为归一化前的像素最小值。

第三步对原始图像做Lee滤波处理，消除雷达图像的相干斑噪声 将得到的图片作为训练图片保存起来。相干斑噪声为一种乘性噪声， 其模型为

y＝xv (3)

其中y表示加入噪声后的图像，x表表示未加入噪声图像，v为 噪声信号。设计一个7x7的移动窗口作为滤波器对图像进行滤波。为 了防止Lee滤波对边缘的模糊，对分割造成不利影响，这里增加了一 个简单的阈值判断，引入变差系数C,首先求出图像的阈值C

N为雷达图像的视数，由公式可求出窗口中心像素I对应的变差 系数C_i。var(y_i)为窗口内像素的方差，为窗口内像素的均值。

当C_i≤C时，采用Lee滤波方法。当C_i＞C时保留像素不做滤 波处理。

第四步将归一化的灰度图像裁剪为500*389的尺寸作为输入训 练图像。此外，手工标注了与输入训练图像大小尺寸相同的标签图像， 噪音(niose)、冰层(layer)、基岩层(bedrock)和空气层(air)分别标记为 像素灰度0、1、2、3。

2、数据扩增和构建训练样本

由于训练深度网络需要大量的数据，仅现有的冰层图像用于训练 远远不够。于是需要对训练数据进行不同方式的数据扩增，加大数据 量，提高训练和检测效果。

第一步将预处理后的图像进行左右上下等平移分别为20个像素， 实现网络学习的平移不变性。

第二步将预处理后的图像与第一步处理后的图像进行缩小处理， 缩小到原图的50％和75％，从而扩增数据。

第三步将冰层分割的标签图像(label)相同的数据扩展处理，从 而得到与样本一一对应的分类标签。将构建好的训练样本数据的3/4 作为训练集，1/4作为验证集。

3、FCN-ASPP网络构建以及训练和测试过程

第一步构建FCN-ASPP网络

本发明的FCN-ASPP网络在FCN网络的基础上构建而成，去掉 了FCN网络下采样部分的后两级卷积层和池化层，并在FCN网络的 下采样部分与上采样部分之间增加了ASPP层。

下采样部分：网络结构具体包括输入层，两个卷积层(C1，C2)， 两个BN层(B1，B2)，两个激活函数层(R1，R2)，第一降采样层(pool1)， 两个卷积层(C3，C4)，两个BN层(B3，B4)，两个激活函数层(R3， R4)，第二降采样层(pool2)，两个卷积层(C5，C6)，两个BN层(B5，B6)，两个激活函数层(R5，R6)，第三降采样层(pool3)。下采样层 中应用两个紧相连的3×3滤波卷积核进行卷积操作，步长为1。本网 络在每个卷积过程之后增加BN(BatchNormalization)层，进行批量数 据标准化，加快网络的收敛速度。BN层数据标准化实现如下，首先 计算数据的均值μ和方差σ²，然后通过计算出的均值和方差对数据进 行正太标准化。标准化过程采取了变换重构的方法。

y＝γx+β (6)

x为原始数据，y为标准化后的数据，转换参数γ，β通过训练 学习得到。BN层输入数据通过转换参数γ，β做线性变换得到最终 的归一化结果。pooling层的结构采用核为2×2，步长为2的 max-pooling层。下采样层输入训练图片，经过多次降采样过程可以 得到不同尺寸的特征图。

ASPP层部分：由于FCN网络的低层特征分辨率较高，而高层信 息体现了更强的语义信息，为了充分利用深度网络中不同层次的卷积 特征，我们对原有FCN网络作了进一步改进，将pool1，pool2和pool3 的输出特征图都作为ASPP四个并列的膨胀卷积层(C7-1，C7-2，C7-3， C7-4)的输入。每一层分别经过两个卷积层，两个激活函数层，一个 池化层和一个全连接层，每个卷积层后边都增加了BN层用于归一化 数据。(C7-1，BN4-1，R7-1，C8-1，BN5-1，R8-1，pool4-1，FC5-1)，(C7-2，BN4-2，R7-2，C8-2，BN5-2，R8-2，pool4-2，FC5-2)，(C7-3，BN4-3，R7-3，C8-3，BN5-3，R8-3，pool4-3，FC5-3)，(C7-4，BN4-4， R7-4，C8-4，BN5-4，R8-4，pool4-4，FC5-4)，(C7-5，BN4-5，R7-5， C8-5，BN5-5，R8-5，pool4-5，FC5-5)。将FC5-1，FC5-2，FC5-3， FC5-4，FC5-5层输出特征图进行融合得到融合特征图(fussion)。

ASPP层的卷积层采用了膨胀卷积的方法，由于冰盖图像的边缘 部分极不规则，为了进一步增强网络对细节特征的分类能力，增加冰 层的分类准确性。本文构建了多尺度膨胀金字塔结构(Atrous Spatial Pyramid Pooling)。本方法提出的ASPP网络包括五个并行卷积层，在 只有四个并行膨胀卷积层的ASPP网络基础上添加了一个普通卷积层 来更好地提取细节信息，从而形成了具有不同膨胀率的五个膨胀卷积 层的ASPP网络，得到不同尺度的五个并行分支膨胀卷积特征图。然 后将这些特征图融合成一个特征图。在本部分中每个卷积层之后都增 加了BN层以用于数据归一化，提高网络的收敛速度。

上采样部分：包括上采样层(upsampling)，输出层。将三个ASPP 层得到的融合特征图作为上采样层输入，通过双线性插值算法进行上 采样。再将这些特征图融合成一个特征图，在这之后通过softmax分 类器对像素进行分类，得到冰盖分割图像。

训练过程：将冰川雷达图像和分类标签图像输入到FCN-ASPP 网络中，得到与原图大小相同的分类结果图。损失函数采用交叉熵函 数，通过最小化输入的标签图像与分类预测图像的差值来进行网络优 化。将训练好的模型保存下来。

4精细化分割结果

将前端FCN-ASPP输出得到的分割结果图和原始灰度图像作为马 尔可夫条件随机场(CRF)的输入进行进一步处理。全连接CRF使用的 能量函数为

像素x∈N，N为图片所有像素。公式(7)第一项为

是一元能量函数，其中P_i(x)表示前端FCN-ASPP输出得到的 分割结果图中像素x对应的分类标记为i的分布概率,本发明中i的 取值范围为0、1、2、3。

公式(7)第二项为

是二元能量函数。x,y表示不同的两个像素，p_x，p_y表示 像素x，y位置，I_x，I_y表示像素x，y灰度，像素灰度与像素位置由 输入的原始灰度图像得到。μ_i(x，y)为标签兼容函数，其中，像素x的 标签为i，当像素y同属于i类标签时，μ_i(x，y)取值为0，否则，取值 为1，像素y的标签由前端FCN-ASPP输出的分割结果图得到。像素x 与y距离越近，灰度相差越小，值越大。

通过计算得到像素x的四个能量函数E₀(x),E₁(x),E₂(x),E₃(x)的值， 取最小的能量值对应的标签作为像素x新的标签。遍历输入的分割结 果图的所有像素，得到新的更准确的分割结果图。根据雷达图像的特 点，对参数进行设置，参数ω₁，ω₂设置为49，参数σ_α，σ_γ设置为5， 参数σ_β设置为3。

Claims (3)

1.基于FCN-ASPP网络的冰盖雷达图像冰层精细化分割方法，其特征在于：

1)预处理

对原始的雷达振幅图像像素值进行对数转换；计算雷达振幅对应的转换后的像素值；之后对图像进行归一化处理，将图像归一化为255个像素级；

采取了lee滤波算法对雷达灰度图进行进一步处理；

将滤波后的灰度图像作为输入训练图像；标注了与输入训练图像大小尺寸相同的标签图像，噪音、冰层、基岩层和空气层分别标记为像素灰度0、1、2、3；

2)数据扩增和构建训练样本

3)FCN-ASPP网络构建

FCN网络结构具体包括输入层，两个卷积层(C1，C2)，两个BN层(B1，B2)，两个激活函数层(R1，R2)，第一降采样层(pool1)，两个卷积层(C3，C4)，两个BN层(B3，B4)，两个激活函数层(R3，R4)，第二降采样层(pool2)，两个卷积层(C5，C6)，两个BN层(B5，B6)，两个激活函数层(R5，R6)，第三降采样层(pool3)；

将pool1，pool2和pool3的输出特征图都作为ASPP四个并列的膨胀卷积层即C7-1，C7-2，C7-3，C7-4的输入以及一个普通卷积层C7-5的输入；每一层分别经过两个卷积层，两个激活函数层R，一个池化层pool和一个全连接层FC，每个卷积层后边都增加了BN层用于归一化数据；整个ASPP层为：(C7-1，BN4-1，R7-1，C8-1，BN5-1，R8-1，pool4-1，FC5-1)，(C7-2，BN4-2，R7-2，C8-2，BN5-2，R8-2，pool4-2，FC5-2)，(C7-3，BN4-3，R7-3，C8-3，BN5-3，R8-3，pool4-3，FC5-3)，(C7-4，BN4-4，R7-4，C8-4，BN5-4，R8-4，pool4-4，FC5-4)，(C7-5，BN4-5，R7-5，C8-5，BN5-5，R8-5，pool4-5，FC5-5)；将FC5-1，FC5-2，FC5-3，FC5-4，FC5-5层输出特征图进行融合得到融合特征图；

将三个ASPP层得到的融合特征图作为上采样层输入，通过双线性插值算法进行上采样；再将这些特征图融合成一个特征图，在这之后通过softmax分类器对像素进行分类，得到冰层分割图像；

训练过程中将冰川雷达图像和分类标签图像输入到FCN-ASPP网络中，得到与原图大小相同的分类结果图；损失函数采用交叉熵函数，通过最小化输入的标签图像与分类预测图像的差值来进行网络优化；将训练好的模型保存下来；

4)采取了CRF算法对FCN-ASPP得到的初步分割结果进行进一步处理。

2.根据权利要求1所述的方法，其特征在于：Lee滤波处理具体为：

设计一个7x7的移动窗口作为滤波器对图像进行滤波；增加了一个简单的阈值判断，引入变差系数C,首先求出图像的阈值C

N为雷达图像的视数，由公式求出窗口中心像素I对应的变差系数C_i；var(y_i)为窗口内像素的方差，为窗口内像素的均值；

当C_i≤C时，采用Lee滤波方法；当C_i＞C时保留像素不做滤波处理。

3.根据权利要求1所述的方法，其特征在于：CRF处理过程具体为；

将前端FCN-ASPP输出得到的分割结果图和原始灰度图像作为马尔可夫条件随机场(CRF)的输入进行进一步处理；全连接CRF使用的能量函数为

像素x∈N，N为图片所有像素；公式第一项为

是一元能量函数，其中P_i(x)表示前端FCN-ASPP输出得到的分割结果图中像素x对应的分类标记为i的分布概率,其中i的取值范围为0、1、2、3；

公式第二项为

是二元能量函数；x,y表示不同的两个像素，p_x，p_y表示像素x，y位置，I_x，I_y表示像素x，y灰度，像素灰度与像素位置由输入的原始灰度图像得到；μ_i(x，y)为标签兼容函数，其中，像素x的标签为i，当像素y同属于i类标签时，μ_i(x，y)取值为0，否则，取值为1，像素y的标签由前端FCN-ASPP输出的分割结果图得到；像素x与y距离越近，灰度相差越小，值越大；

通过计算得到像素x的四个能量函数E₀(x),E₁(x),E₂(x),E₃(x)的值，取最小的能量值对应的标签作为像素x新的标签；遍历输入的分割结果图的所有像素，得到新的分割结果图，参数ω₁，ω₂设置为49，参数σ_α，σ_γ设置为5，参数σ_β设置为3。