CN112966748A - 基于边缘感知双分支fcn的极化sar图像分类方法 - Google Patents

Abstract

本发明公开了一种基于边缘感知双分支FCN的极化SAR图像分类方法，属于图像处理技术领域。其包括以下步骤：输入极化SAR图像；使用精致Lee滤波算法对极化SAR图像滤波；得到极化SAR图像的边缘标签；随机选取部分有标记样本，设置为训练集，剩余的有标记样本设置为测试集；使用训练集对双分支全卷积网络进行训练，得到训练好的分类模型。本发明以全卷积网络为基础，增加边缘感知网络，通过同步训练分类网络和边缘感知网络两个分支，达到约束分类区域边缘、增强区域一致性的目的，从而有效地提升极化SAR图像的分类准确率。

Description

基于边缘感知双分支FCN的极化SAR图像分类方法

技术领域

本发明属于图像处理技术领域，特别是指一种基于边缘感知双分支FCN的极化SAR图像分类方法。

背景技术

近些年来，各类遥感技术得到了非常大的进展，极化SAR在遥感领域也变得愈发重要。极化SAR可以不受时间和天气的约束不断提供高质量图像。而且，得益于极化SAR丰富的极化信息，极化SAR已经在农业、地质勘探、军事、城市规划和海洋监测等诸多领域得到了广泛应用。

极化SAR图像分类是遥感图像处理中的一个重要应用。极化SAR图像分类常用的方法可以分为：基于射特性的分类方法、基于统计特性的分类方法、基于机器学习和深度学习的分类方法。然而，对于极化SAR图像物理机制的进一步研究已经比较困难，尤其是对于复杂的场景，很难得到每一个像素潜在的物理机制。同样，基于统计特性的分类方法也碰到了瓶颈，没有重大理论突破，已经很难再进一步提高极化SAR图像分类性能。受益于机器学习和深度学习的迅猛发展，基于机器学习和深度学习的极化SAR图像分类得到了飞速发展，如支撑向量机、神经网络、马尔科夫随机场、K近邻、贝叶斯(Bayes)、稀疏自编码器、深度置信网络、卷积神经网络都已经成功应用于极化SAR图像分类。

众所周知，极化SAR图像分类是稠密分类问题，上述模型从架构上来说都不是最优模型。幸运的是，近些年提出的全卷积网络是一种稠密分类架构，特别适合应用于极化SAR图像分类，而且在最近几年，一系列基于全卷积网络的极化SAR分类方法被提出，极化SAR图像分类得到了迅猛发展。然而，全卷积网络(Fully Convolutional Networks，FCN)在图像便与区域分类效果不佳，限制了极化SAR图像分类效果的进一步提升。

发明内容

有鉴于此，本发明提出了一种基于边缘感知双分支FCN的极化SAR图像分类方法，能够提升全卷积网络在边缘区域的分类准确率，进一步增强分类的区域一致性。

为实现上述目的，本发明采用的技术方案为：

一种基于边缘感知双分支FCN的极化SAR图像分类方法，包括如下步骤：

步骤1，输入极化SAR图像；

步骤2，使用精致Lee滤波算法对极化SAR图像进行滤波；

步骤3，得到极化SAR图像的边缘标签；

步骤4，随机选取部分有标记样本，设置为训练集，剩余的有标记样本设置为测试集；

步骤5，使用训练集对双分支全卷积网络进行训练，得到训练好的极化SAR图像分类模型。

进一步的，步骤3的具体方式为：采用归一化的高斯模板对极化SAR图像的真实标签图像进行滤波，模板大小为5×5，高斯函数的参数σ＝1.4，之后对滤波得到的梯度图进行阈值处理，将灰度值小于25的像素设置为背景，大于25的像素设置为边缘，从而获得边缘标签。

进一步的，步骤5的具体方式为：边缘感知网络分支只参与训练，测试时只采用分类网络来预测类别输出；此外，将极化SAR图像切割成子图，然后对子图进行训练；所述双分支全卷积网络有两个分支网络，其中，一个分支网络是边缘感知网络，另一个分支网络是全卷积网络，两个分支网络共享编码器结构和参数；

训练双分支全卷积网络的损失函数L_DBFCN为：

L_DBFCN＝λ_clL_cl+λ_bdL_bd

其中，L_cl代表分类损失，L_bd代表边缘检测损失，λ_cl和λ_bd分别为对应的损失权重，用于调整分类损失和边缘检测损失的相对重要性；

L_cl用多元交叉熵损失函数表示：

式中，M表示训练样本个数，N表示极化SAR图像分类的类别个数，y_ij和y′_ij分别代表真实类别分布和预测类别的概率分布；

L_bd用二元交叉熵损失函数表示：

式中，

和

分别代表真实边缘分布和边缘检测分布，γ为边缘惩罚项参数且γ>1。

本发明与现有技术相比具有如下优点：

1、本发明方法以FCN全卷积网络为基础架构，可以进行端到端的稠密分类，为极化SAR图像分类提供架构支撑。

2、本发明提出了边缘感知双分支全卷积网络，在全卷机网络的基础上增加边缘感知网络，同步训练分类网络和边缘感知网络两个分支，达到约束分类区域边缘、增强区域一致性的目的，从而有效地提升极化SAR图像的分类准确率。

附图说明

图1是本发明实施例中分类方法的流程图。

图2是本发明实施例中边缘感知双分支全卷积网络的架构图。

图3是本发明实施例中的Flevoland地区的分类结果图。

图4是本发明实施例中的Oberpfaffenhofen地区的分类结果图。

具体实施方式

以下结合附图对本发明的实现步骤和实验效果作进一步详细描述：

参照图1，一种基于边缘感知双分支FCN的极化SAR图像分类方法，其包括如下步骤：

步骤1，输入极化SAR图像。

步骤2，使用精致Lee滤波算法对极化SAR图像滤波。

步骤3，得到极化SAR图像的边缘标签，具体操作步骤如下：

采用归一化的高斯模板对极化SAR图像的真实标签图像进行滤波，模板大小为5×5，高斯函数的参数σ＝1.4，之后对滤波得到的梯度图进行阈值处理，将灰度值小于25的像素设置为背景，大于25的像素设置为边缘，即可获得边缘标签。

步骤4，随机选取2％有标记样本，设置为训练集，剩余的有标记样本设置为测试集；

步骤5，使用训练集对双分支全卷积网络进行训练,并将训练好的模型标记为DBFCN。

图2给出了双分支全卷积网络的框架图，双分支全卷积网络可以分为边缘感知部分和图像分类部分，其中Conv代表卷积层，Pool代表池化层，Deconv代表反卷积层，Unpool代表反池化层，DAM代表双注意力模型(通道注意力和空间注意力)，RRM代表残差修正模块，FAM代表融合注意力模块，双分支全卷积网络架构参数如表1所示，其中w与h代表输入图像尺寸，numClass代表图像目标类别数目。

表1双分支全卷积网络结构参数

双分支全卷积网络的具体训练方式为：边缘感知网络分支只参与训练，测试时只采用分类网络来预测类别输出。另外，由于网络参数增加，本方法将极化SAR图像切割成较小尺寸的子图，然后对子图进行训练。在有限的计算资源下，通过控制批量输入大小，这一策略能够灵活对各种尺寸的极化SAR图像进行分类。双分支全卷积网络有两个分支网络，一部分是边缘感知网络，另一部分是具有良好分类性能的特征注意和特征改善全卷积网络，它们共享编码器结构和参数，推动学习两个任务的共性并进行多任务优化。训练双分支全卷积网络的损失函数记为：

L_DBFCN＝λ_clL_cl+λ_bdL_bd

其中，L_cl代表分类损失，L_bd代表边缘检测损失，λ_cl和λ_bd分别为对应的损失权重，用于调整分类损失和边缘检测损失的相对重要性，L_cl用多元交叉熵损失函数表示：

式中，M表示训练样本个数，N表示极化SAR图像分类的类别个数，y_ij和y′_ij分别代表真实类别分布和预测类别的概率分布。L_bd用二元交叉熵损失函数表示：

式中，

和

分别代表真实边缘分布和边缘检测分布，γ为边缘惩罚项参数且γ>1。由于极化SAR图像中边缘样本和非边缘样本的数量差异较大，因此要对没有检测到边缘的情况进行惩罚，这样可以减少样本类别不平衡带来的影响，提升边缘检测性能。本方法对分类添加边缘约束以减少类别边缘区域的误分类，目的是进一步增强分类的区域一致性。

进一步的，可使用测试集对训练好的DBFCN模型进行测试。具体操作方式为：进行多次实验，分别统计总分类准确率的平均值与Kappa系数的平均值。

以下为对比实验：

以下实验均在ubuntu系统下的pycharm pro 2019.1IDE中完成，其他软件环境为：

tensorflow-gpu 1.10.0，python3.6，CPU型号为主频3.5GHz的Intel(R)Core(TM)i7-7800X，显卡型号为GTX 1080，共8G显存。

实验中对卷积神经网络(CNN)、全卷积网络(FCN)、本发明方法(边缘感知双分支全卷积网络)进行对比，本方法中的DBFCN模型采用Adam优化算法训练，初始学习率设置为0.0001，指数学习率衰减系数为0.1，切割子图的大小为32×32，批量大小设置为8，方法中的参数λ_cl和λ_bd分别设置为100和50，边缘惩罚项参数γ设置为5。

实验一，用荷兰Flevoland地区图像作为测试图像，用CNN、FCN以及本发明方法对Flevoland图像进行分类仿真，分类结果见图3，其中，图3(a)是真实标签图像，图3(b)是本发明方法得到的边缘区域标签，图3(c)是基于CNN的分类结果，图3(d)是基于FCN的分类结果，图3(e)是基于本发明方法的分类结果。从图3可以看出，CNN对边缘区域和内部区域的分类效果都不是很好，出现很多分类不一致的现象，FCN在边界上有较多的误分类，类别之间的界限不清晰，本发明方法得到了别界限清晰的分类结果，且分类的区域一致性非常好，误分类很少，这证明对全卷积网络添加边缘约束是有效的，本发明方法分类更精细。表2给出了荷兰Flevoland图像的分类正确率，可以看到本发明方法确实得到了更高的分类正确率以及Kappa系数。

表2 Flevoland分类评估值对比

实验二，用德国Oberpfaffenhofen地区图像作为测试图像，用CNN、FCN以及本发明方法对德国Oberpfaffenhofen地区图像进行分类仿真，分类结果见图4，其中，图4(a)真实标签图像，图4(b)是本发明方法得到的边缘区域标签，图4(c)是基于CNN的分类结果，图4(d)是基于FCN的分类结果，图4(e)是基于本发明方法的分类结果。从图4可以看出，尽管样本数量增多，但CNN的分类结果仍然有较多斑点噪声，特别地，建成区的分类一致性很差，区域内的误分类比较严重，受邻域大小影响，CNN的感受野非常有限，因此它不能全面利用图像中的空间关联来分类，这反映了CNN在像素分类问题中的弱点。本发明方法较FCN对建成区的误分类更少，一定程度增强了区域一致性。表3给出了德国Oberpfaffenhofen地区图像分类正确率，可以看到本发明方法确实得到了更高的分类正确率以及Kappa系数。

表3 Oberpfaffenhofen地区图像分类评估值对比

总之，本发明以全卷积网络为基础，增加了边缘感知网络，通过同步训练分类网络和边缘感知网络两个分支，达到约束分类区域边缘、增强区域一致性的目的，从而有效地提升了极化SAR图像的分类准确率。

Claims (3)

1.一种基于边缘感知双分支FCN的极化SAR图像分类方法，其特征在于，包括如下步骤：

步骤1，输入极化SAR图像；

步骤2，使用精致Lee滤波算法对极化SAR图像进行滤波；

步骤3，得到极化SAR图像的边缘标签；

步骤4，随机选取部分有标记样本，设置为训练集，剩余的有标记样本设置为测试集；

步骤5，使用训练集对双分支全卷积网络进行训练，得到训练好的极化SAR图像分类模型。

2.根据权利要求1所述的一种基于边缘感知双分支FCN的极化SAR图像分类方法，其特征在于，步骤3的具体方式为：采用归一化的高斯模板对极化SAR图像的真实标签图像进行滤波，模板大小为5×5，高斯函数的参数σ＝1.4，之后对滤波得到的梯度图进行阈值处理，将灰度值小于25的像素设置为背景，大于25的像素设置为边缘，从而获得边缘标签。

3.根据权利要求1所述的一种基于边缘感知双分支FCN的极化SAR图像分类方法，其特征在于，步骤5的具体方式为：边缘感知网络分支只参与训练，测试时只采用分类网络来预测类别输出；此外，将极化SAR图像切割成子图，然后对子图进行训练；所述双分支全卷积网络有两个分支网络，其中，一个分支网络是边缘感知网络，另一个分支网络是全卷积网络，两个分支网络共享编码器结构和参数；

训练双分支全卷积网络的损失函数L_DBFCN为：

L_DBFCN＝λ_clL_cl+λ_bdL_bd

其中，L_cl代表分类损失，L_bd代表边缘检测损失，λ_cl和λ_bd分别为对应的损失权重，用于调整分类损失和边缘检测损失的相对重要性；

L_cl用多元交叉熵损失函数表示：

式中，M表示训练样本个数，N表示极化SAR图像分类的类别个数，y_ij和y′_ij分别代表真实类别分布和预测类别的概率分布；

L_bd用二元交叉熵损失函数表示：

式中，

和

分别代表真实边缘分布和边缘检测分布，γ为边缘惩罚项参数且γ>1。

Images