CN108764330A - 基于超像素分割和卷积反卷积网络的sar图像分类方法 - Google Patents

Abstract

本发明公开了一种基于超像素分割和卷积反卷积网络的SAR图像分类方法，主要解决现有技术分类特征表征困难和测试时间长的问题，其方案是：1.对训练SAR图像和测试SAR图像进行标记，并提取训练样本；2.对训练样本进行数据扩充形成训练集；3.对测试图像提取测试样本形成测试集；4.构建SAR图像分类框架，将训练集输入到构建好的网络框架中进行训练，得到训练好的网络；5.将测试集输入到训练好的卷积反卷积网络框架中，得到初始分类结果；7.对测试SAR图像进行超像素分割，并根据测试图像的超像素分割结果和初始分类结果，得到最终分类结果。本发明能自动提取有效分类特征，缩短了测试时间，可用于SAR图像解译与分析。

Description

基于超像素分割和卷积反卷积网络的SAR图像分类方法

技术领域

本发明属于雷达技术领域，主要涉及一种SAR图像分类方法，可用于后续的SAR图像解译与分析。

背景技术

合成孔径雷达是一种主动成像传感器，具有全天候、全天时、高分辨的数据获取能力。目前，SAR已广泛应用于资源探测、海洋监测、军事侦察以及科学研究等领域，具有重要的研究价值和应用前景。SAR图像分类是对图像进行深层次处理的前提，为后续SAR图像解译与分析等工作提出依据。

SAR图像分类可被认为是多类分类问题。在SAR图像分类过程中，如何设计有效的分类特征是至关重要的。在过去的几十年，有大量关于SAR图像分类特征提取的研究，例如：基于统计方法，包括多级局部模式直方图MLPH和灰度共生矩阵GLCM；基于变换域方法，小波变换、曲波变换等。在特征提取后，需要用一个分类器对提取的特征进行分类，常用分类器有支持向量机SVM、稀疏表示分类器SRC、随机森林RF、神经网络NN和超极限学习机等。通过前面描述，提取有效的特征表示和具有鲁棒性的分类器对SAR图像分类都十分关键，但分类器的性能主要取决于特征表示的可区分性，上述提到的特征需要设计者掌握大量相关的先验知识，特征提取困难并且消耗大量时间。

近年来，深度学习已成功地应用到语音识别、图像分类和自然语言处理等领域。卷积神经网络CNN作为深度学习中最受欢迎的网络模型之一，在图像处理和语音处理等领域扮演着重要角色，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。卷积神经网络以图像直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程，并对平移、旋转等图形形变具有高度不变性。目前，深度学习方法已成功地应用于SAR图像分类任务中，例如基于卷积神经网络的SAR图像分类方法，此类方法解决了特征设计的难题，但在测试过程中对每个像素点提取切片进行分类，切片提取时间较长，且每次只能得到一个像素点的分类结果，分类效率较低，不利于工程上实时处理。

发明内容

本发明的目的在于针对已有SAR图像分类方法的不足，提出一种基于超像素分割和卷积反卷积网络的SAR图像分类方法，以有效提取分类特征，减小测试耗时，实时获取测试图像分类结果。

本发明的技术方案是：通过对训练图像和测试图像进行真实标记，利用滑窗模型提取训练样本和测试样本，对训练数据中的每个样本进行数据扩充，用扩充后的数据训练卷积反卷积网络模型，待模型收敛后，用测试样本检验训练好的网络模型并得到初始分类结果，最后用超像素分割平滑初始分类结果，得到最终的分类标记图。根据测试样本的真实类别标签与分类器的输出结果计算网络模型分类准确率。其实现步骤包括如下：

(1)对给定的训练SAR图像和测试SAR图像进行真实标记；

(2)对训练图像利用滑窗模型有重叠的提取各类样本，并对提取的各类样本随机排序，选取相同数目的样本构造训练数据，再对训练数据中的每个样本进行数据扩充，形成训练集Φ；

(3)对测试图像利用滑窗模型无重叠的提取样本，形成测试集Τ；

(4)构建基于卷积反卷积网络的SAR分类模型框架Ω：

该网络模型框架包括卷积层、反卷积层和预测标签输出层三个部分，各部分结构如下：

4a)构建卷积层部分：该部分由四层卷积层组成，分别为第一卷积层L₁、第二卷积层L₂、第三卷积层L₃、第四卷积层L₄，第四卷积层L₄的输出作为第一反卷积层L₅的输入；

4b)构建反卷积层部分：该部分由四层反卷积层组成，分别为第一反卷积层L₅、第二反卷积层L₆、第三反卷积层L₇、第四反卷积层L₈，第四反卷积层L₈的输出作为预测标签输出层L₉的输入；

4c)构建预测标签输出层部分：该层以第四反卷积层L₈输出的3个特征图作为输入，输出每个像素(p,q,:)第三维度最大值所对应的类别标号，即输出与输入样本相同大小的分类结果；

(5)将扩充后的训练集Φ输入到构建好的卷积反卷积网络框架Ω中进行训练，得到训练好的网络框架Ω′；

(6)将测试集Τ输入到训练好的卷积反卷积网络框架Ω′中，得到初始分类结果；

(7)将待分类的SAR图像进行超像素分割，依据超像素分割结果和测试SAR图像初始分类结果统计每个超像素内各类别包含的像素点数目，并置该超像素块内的每个像素点的类别为包含像素数目最多的类别所对应的标号，得到超像素平滑后的分类结果，并将分类标记图以彩色图显示。

本发明具有如下优点：

1.识别率高

本发明利用有监督分类方法，通过网络框架自动学习易于分类的有效特征，解决了人工设计有效特征的难题，相比于传统分类方法准确率有较明显的提高。

2.测试时间短

本发明由于使用深度学习中端到端的卷积反卷积网络模型，输出结果与输入图像尺寸大小相同，每次可以获取一个图像块的分类结果，测试时间相比于现有方法短，利于工程中实时处理。

3.边界分类效果好

本发明通过超像素分割平滑初始分类结果，得到最终分类结果，对边界预测效果相比于现有方法更准确。

附图说明

图1是本发明的实现流程图；

图2为本发明中使用的卷积反卷积网络模型框架图；

图3为本发明实验所用的实测SAR图像和对应的真实标记图；

图4为本发明与现有分类方法对测试图像进行分类的结果图。

具体实施方式

下面结合附图对本发明的实施例和效果作进一步详细说明：

参见图1，本发明的实现步骤包括如下：

步骤1，对给定训练SAR图像和测试SAR图像进行真实标记。

对给定的训练SAR图像和测试SAR图像进行真实标记，即将同一种地物类型标记为同一种颜色，不同地物类型标记为不同的颜色，不确定地物类型标记为白色。

步骤2，获取训练集Φ。

2a)将滑窗固定在训练图像的左上角，统计该滑窗内每类样本点的数目，若样本中对应某一类别的像素点数目占样本总像素点数目的比例大于等于50％，则把这些样本划分到该类别标签集合中，否则，丢弃该样本；

2b)按步长s_p1为小于滑窗大小s_w＝90的距离移动滑窗位置；

2c)重复上述2a)操作，最终形成各类样本的训练数据集合Ψ^l,l＝1,2,…,T_L，其中，l表示第l类地物类型的集合索引，T_L表示地物类型数目；

2d)对每类训练样本Ψ^l,l＝1,2,...,T_L，随机选取相同数目的样本组成训练数据Φ_o；

2e)对训练数据Φ_o中的每个样本进行数据扩充，具体扩充方式如下：

2e1)对每个样本增加均值为0、标准差为0.1的高斯噪声，形成第一扩充集Φ_n；

2e2)对每个样本分别逆时针旋转90°和180°，形成第二扩充集Φ_r。

2f)将训练数据Φ_o、第一扩充集Φ_n和第二扩充集Φ_r汇总，形成训练集Φ：

Φ＝{Φ_o,Φ_n,Φ_r}。

步骤3，获取测试集Τ。

3a)将滑窗固定在测试图像的左上角，提取测试样本；

3b)移动滑窗位置，即按步长s_p2为等于滑窗大小s_w＝90的距离移动滑窗位置，

3c)重复上述3a)操作，最终形成测试集Τ。

步骤4，构建基于卷积反卷积网络的SAR图像分类模型框架Ω。

参照图2，基于卷积反卷积的SAR图像分类网络框架包括卷积层、反卷积层和预测标签层三个部分，其构建步骤如下：

4a)构建卷积层部分，该部分由四层卷积层组成，分别为第一卷积层L₁、第二卷积层L₂、第三卷积层L₃、第四卷积层L₄,各层的参数设置及关系如下：

第一卷积层L₁，其卷积核K₁的窗口大小为5×5，滑动步长s₁为2，填充方式为SAME，用于对输入图像进行卷积，输出128个大小为45×45的特征图j₁＝1,2,…,128，j₁表示第j₁个特征图，该层作为第二卷积层L₂的输入；

第二卷积层L₂，其卷积核K₂的窗口大小为5×5，滑动步长s₂为2，填充方式为SAME，用于对第一卷积层L₁输出的128个特征图进行卷积，输出64个大小为23×23的特征图j₂＝1,2,...,64，j₂表示第j₂个特征图，该层作为第三卷积层L₃的输入；

第三卷积层L₃，其卷积核K₃的窗口大小为5×5，滑动步长s₃为2，填充方式为SAME，用于对第二卷积层L₂输出的64个特征图进行卷积，输出64个大小为12×12的特征图j₃＝1,2,...,64，j₃表示第j₃个特征图，该层作为第四卷积层L₄的输入；

第四卷积层L₄，其卷积核K₄的窗口大小为5×5，滑动步长s₄为2，填充方式为SAME，用于对第三卷积层L₃输出的64个特征图F₃ ^j3进行卷积，输出32个大小为6×6的特征图j₄＝1,2,…,32，j₄表示第j₄个特征图，该层作为第一反卷积层L₅的输入。

其中所述卷积,采用以下公式进行：

式中X表示卷积层的输入，表示第i卷积层第j个特征图的卷积核，表示第i卷积层第j个特征图对应的的偏置，f()表示激活函数，f(x)＝max(0,x)，表示第i卷积层输出的第j个特征图。

4b)构建反卷积层部分，该部分由四层反卷积层组成，分别为第一反卷积层L₅、第二反卷积层L₆、第三反卷积层L₇、第四反卷积层L₈，各层的参数设置及关系如下：

第一反卷积层L₅，其卷积核K₅的窗口大小为5×5，滑动步长s₅为2，填充方式为SAME，用于对第四卷积层L₄输出的32个特征图进行反卷积，输出32个大小为12×12的特征图j₅＝1,2,…,32，j₅表示第j₅个特征图，该层作为第二反卷积层L₆的输入；

第二反卷积层L₆，其卷积核K₆的窗口大小为5×5，滑动步长s₆为2，填充方式为SAME，用于对第一反卷积层L₅输出的32个特征图进行反卷积，输出64个大小为23×23的特征图j₆＝1,2,…,64，j₆表示第j₆个特征图，该层作为第三反卷积层L₇的输入；

第三反卷积层L₇，其卷积核K₇的窗口大小为5×5，滑动步长s₇为2，填充方式为SAME，用于对第二反卷积层L₆输出的64个特征图进行反卷积，输出64个大小为45×45的特征图j₇＝1,2,…,64，j₇表示第j₇个特征图，该层作为第四反卷积层L₈的输入；

第四反卷积层L₈，其卷积核K₈的窗口大小为5×5，滑动步长s₈为2，填充方式为SAME，用于对第三反卷积层L₇输出的64个特征图进行反卷积，输出4个大小为90×90的特征图j₈＝1,2,3,4，j₈表示第j₈个特征图，该层作为第九预测标签输出层L₉的输入。

4c)构建预测标签输出层L₉，该层以第四反卷积层L₈输出的4个特征图j₈＝1,2,3,4作为输入，输出每个像素(p,q,:)第三维度最大值所对应的类别标号，即输出与输入样本相同大小的分类结果。

步骤5，对构建好的卷积反卷积网络框架Ω中进行训练，得到训练好的网络框架Ω′。

将训练集Φ输入到构建好的SAR图像分类网络框架Ω中，通过误差反向传播算法BP、小批量梯度下降算法MBGD对网络参数进行更新，得到训练好的网络模型Ω′；

所述网络参数更新,采用以下公式进行：

其中，w是卷积核中的权重项，b是偏置项，α是学习率，Loss是每一批训练样本的损失值；

将训练好的网络模型Ω′进行保存。

步骤6，获取测试图像初始分类结果。

6a)将测试集Τ输入到训练好的网络模型Ω′中，得到每个样本的分类结果R_s，s＝1,2,…,T_S，T_s为测试样本数目；

6b)将每个样本的分类结果R_s进行拼接，形成与原始测试SAR图像大小相同的图像，即为初始分类结果。

步骤7，利用超像素分割算法对测试图像进行超像素分割，并根据测试图像的超像素分割结果和初始分类结果，得到最终分类结果并以彩色图显示。

7a)利用超像素分割算法对测试图像进行超像素分割，得到T_C个超像素，每个超像素包含个像素点，c＝1,2,…,T_C；

7b)根据(6)得到的SAR图像初始分类结果，统计每个超像素包含各类像素点的数目其中，l表示第l类地物类型的集合索引，l＝1,2,…,T_L，T_L表示地物类型数目；

7c)利用超像素内包含某类最多像素点的数目将超像素块内的每个像素点的类别置为包含像素数目最多的类别所对应的标号m，得到最终分类结果；

7d)将最终分类结果以彩色图显示。

本发明的效果可通过以下实验数据进一步说明：

一、实验数据

本实验所用的数据是实测SAR图像，如图3(a)和图3(c)所示，其中：

图3(a)是训练SAR图像，大小为1024×2048，

图3(b)是训练SAR图像对应的真实标记图，其中绿色表示农田或草地、红色表示建筑区、黄色表示飞机场跑道、白色表示不确定区域，

图3(c)是测试SAR图像，大小为2048×1024，

图3(d)是测试SAR图像对应的真实标记图，其标记颜色对应地物类型同上所述。

本实验中对训练SAR图像利用滑窗模型以步长为10提取训练样本，各类样本提取数量如表1所示。

表1各类样本提取数量

地物类型	农田或草地	建筑区	机场跑道	不确定类型
					数量	11411	2671	1938	1855

对每类样本随机选取1600个样本组成训练数据Φ_o，对训练数据Φ_o中的每个样本进行数据扩充，形成第一扩充集Φ_n和第二扩充集Φ_r，将训练数据Φ_o、第一扩充集Φ_n和第二扩充集Φ_r汇总，得到样本数量为19200的训练集Φ。

对测试SAR图像以步长为90提取测试样本，形成样本数量为276的测试集Τ。所有样本大小为90×90。

二、评价准则

使用以下准则对实验结果进行评价：

总体分类精度OA、每类地物类型分类准确率、平均分类精度AA、测试时间time

上述评价准则,采用以下公式进行计算：

总体分类精度OA：

式中，T_U、T_V表示测试图像高度和宽度，c^uv表示第(u,v)个像素点的分类结果，label^uv表示第(u,v)个像素点的真实类别标签。

每类地物类型分类准确率：

式中，Accuracy(t)表示第t类地物类型的分类准确率，Num_TP(t)表示真实为第t类且预测为第t类的像素点数量，Num_T(t)表示真实为第t类的像素点数量。

平均准确率AA：

式中，T_K表示测试SAR图像地物类别数量。

三、实验内容

实验一：用本发明方法和现有两种方法对上述实验数据进行分类实验，结果如图4所示，其中：

图4(a)为用本发明方法对测试图像初始分类结果；

图4(b)为用本发明方法对测试图像的最终分类结果；

图4(c)为用现有基于多级局部模型直方图方法MLPH对测试图像的分类结果；

图4(d)为用基于卷积神经网络CNN的SAR图像分类方法对测试图像的分类结果。

从图4可见，本发明对测试图像的边界分类效果较好。

实验二：用本发明方法与现有两种方法对测试图像进行分类，并用上述评价准则计算总体分类精度OA、每类地物类型分类准确率、平均分类精度AA、测试时间time，结果如表2所示

表2本发明方法与现有方法性能参数对比结果

表2中：CNN为CNN方法在样本大小为32×32时的分类结果；

MLPH为MLPH方法使用线性SVM分类器、惩罚因子c取10、窗口大小取25的分类结果。

从表2中可见，对于测试图像，本发明的总体分类精度OA最高，测试时间较短，说明本发明性能比现有的方法性能更好。

综上，本发明通过利用监督分类方法可以提取有效的分类特征，抑制了相干斑的影响，对边界预测效果好，同时测试时间较短，有利于工程上实时处理。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.基于超像素分割和卷积反卷积网络的SAR图像分类方法,包括：

(1)对给定的训练SAR图像和测试SAR图像进行真实标记；

(2)对训练图像利用滑窗模型有重叠的提取各类样本，并对提取的各类样本随机排序，选取相同数目的样本构造训练数据，再对训练数据中的每个样本进行数据扩充，形成训练集Φ；

(3)对测试图像利用滑窗模型无重叠的提取样本，形成测试集Τ；

(4)构建基于卷积反卷积网络的SAR分类模型框架Ω：

该网络模型框架包括卷积层、反卷积层和预测标签输出层三个部分，各部分结构如下：

4a)构建卷积层部分：该部分由四层卷积层组成，分别为第一卷积层L₁、第二卷积层L₂、第三卷积层L₃、第四卷积层L₄，第四卷积层L₄的输出作为第一反卷积层L₅的输入；

4b)构建反卷积层部分：该部分由四层反卷积层组成，分别为第一反卷积层L₅、第二反卷积层L₆、第三反卷积层L₇、第四反卷积层L₈，第四反卷积层L₈的输出作为预测标签输出层L₉的输入；

4c)构建预测标签输出层部分：该层以第四反卷积层L₈输出的3个特征图作为输入，输出每个像素(p,q,:)第三维度最大值所对应的类别标号，输出与输入样本相同大小的分类结果；

(5)将扩充后的训练集Φ输入到构建好的卷积反卷积网络框架Ω中进行训练，得到训练好的网络框架Ω′；

(6)将测试集Τ输入到训练好的卷积反卷积网络框架Ω′中，得到初始分类结果；

(7)将待分类的SAR图像进行超像素分割，依据超像素分割结果和测试SAR图像初始分类结果统计每个超像素内各类别包含的像素点数目，并置该超像素块内的每个像素点的类别为包含像素数目最多的类别所对应的标号，得到超像素平滑后的分类结果，并通过分类标记图以彩色图显示。

2.根据权利要求1所述的方法，其中步骤(2)中利用滑窗模型有重叠的提取各类样本，其操作过程如下：

2a)将滑窗固定在图像的左上角，统计该滑窗内每类样本点的数目，若样本中对应某一类别的像素点数目占样本总像素点数目的比例大于等于50％，则把样本划分到该类别标签集合中，否则丢弃该样本；

2b)按步长s_p1为小于滑窗大小s_w的距离移动滑窗位置；

2c)重复上述2a)操作，最终形成各类样本的训练数据集合Ψ^l,l＝1,2,…T_L，其中，l表示第l类地物类型的集合索引，T_L表示地物类型数目。

3.根据权利要求1所述的方法，其中步骤(2)中对训练数据中的每个样本进行数据扩充，其操作过程如下：

3a)对每个样本增加均值为0、标准差为0.1的高斯噪声，形成第一扩充集Φ_n；

3b)对每个样本分别逆时针旋转90°和180°，形成第二扩充集Φ_r。

4.根据权利要求1所述的方法，其中步骤(3)中利用滑窗模型无重叠的提取测试样本，其操作过程如下：

4a)将滑窗固定在图像的左上角，提取测试样本；

4b)移动滑窗位置，即按步长s_p2为等于滑窗大小s_w的距离移动滑窗位置，

4c)重复上述4a)操作，最终形成测试集Τ。

5.根据权利要求1所述的方法，其中步骤4a)中卷积层部分，其各层参数设置及关系如下：

第一卷积层L₁，其卷积核K₁的窗口大小为5×5，滑动步长s₁为2，填充方式为SAME，用于对输入图像进行卷积，输出128个大小为45×45的特征图j₁表示第j₁个特征图，该层作为第二卷积层L₂的输入；

第二卷积层L₂，其卷积核K₂的窗口大小为5×5，滑动步长s₂为2，填充方式为SAME，用于对第一卷积层L₁输出的128个特征图进行卷积，输出64个大小为23×23的特征图j₂表示第j₂个特征图，该层作为第三卷积层L₃的输入；

第三卷积层L₃，其卷积核K₃的窗口大小为5×5，滑动步长s₃为2，填充方式为SAME，用于对第二卷积层L₂输出的64个特征图进行卷积，输出64个大小为12×12的特征图j₃表示第j₃个特征图，该层作为第四卷积层L₄的输入；

第四卷积层L₄，其卷积核K₄的窗口大小为5×5，滑动步长s₄为2，填充方式为SAME，用于对第三卷积层L₃输出的64个特征图进行卷积，输出32个大小为6×6的特征图j₄表示第j₄个特征图，该层作为第一反卷积层L₅的输入。

6.根据权利要求1所述的方法，其中步骤4b)中反卷积层部分，其各层参数设置及关系如下：

第一反卷积层L₅，其卷积核K₅的窗口大小为5×5，滑动步长s₅为2，填充方式为SAME，用于对第四卷积层L₄输出的32个特征图进行反卷积，输出32个大小为12×12的特征图j₅表示第j₅个特征图，该层作为第二反卷积层L₆的输入；

第二反卷积层L₆，其卷积核K₆的窗口大小为5×5，滑动步长s₆为2，填充方式为SAME，用于对第一反卷积层L₅输出的32个特征图进行反卷积，输出64个大小为23×23的特征图j₆表示第j₆个特征图，该层作为第三反卷积层L₇的输入；

第三反卷积层L₇，其卷积核K₇的窗口大小为5×5，滑动步长s₇为2，填充方式为SAME，用于对第二反卷积层L₆输出的64个特征图进行反卷积，输出64个大小为45×45的特征图j₇表示第j₇个特征图，该层作为第四反卷积层L₈的输入；

第四反卷积层L₈，其卷积核K₈的窗口大小为5×5，滑动步长s₈为2，填充方式为SAME，用于对第三反卷积层L₇输出的64个特征图进行反卷积，输出4个大小为90×90的特征图j₈表示第j₈个特征图，该层作为第九预测标签输出层L₉的输入。

7.根据权利要求1所述的方法，其中步骤(7)中依据超像素分割结果和测试SAR图像初始分类结果统计每个超像素内各类别包含的像素点数目，并置该超像素块内的每个像素点的类别为包含像素数目最多的类别所对应的标号，其操作过程如下：

7a)利用超像素分割算法对测试图像进行超像素分割，得到T_C个超像素，每个超像素包含个像素点，c＝1,2,…,T_C；

7b)根据(6)得到的SAR图像初始分类结果，统计每个超像素包含各类像素点的数目其中，l表示第l类地物类型的集合索引，l＝1,2,…,T_L，T_L表示地物类型数目。

7c)利用超像素内包含某类最多像素点的数目:将超像素块内的每个像素点的类别置为包含像素数目最多的类别所对应的标号m，其中，m为超像素内包含某类最多像素点数目的类别标签。

8.根据权利要求5所述的方法，其中所述的卷积,采用以下公式进行：

式中X表示卷积层的输入，表示第i卷积层第j个特征图的卷积核，表示第i卷积层第j个特征图对应的的偏置，f()表示激活函数，f(x)＝max(0,x)，F_i ^j表示第i卷积层输出的第j个特征图。