CN108460408B - 基于残差学习和条件gan的极化sar图像分类方法 - Google Patents

Abstract

一种基于残差学习和条件GAN的极化SAR图像分类方法，其步骤为：(1)构建条件GAN的生成器；(2)构建条件GAN的鉴别器；(3)对待分类极化SAR图像进行滤波；(4)对滤波散射矩阵进行pauli分解；(5)对特征矩阵进行归一化；(6)生成训练数据集和测试数据集；(7)对生成器中的深浅层特征进行残差学习；(8)对残差学习后的特征进行分类；(9)获得分类正确率；(10)训练条件GAN的生成器；(11)对测试数据集进行分类。本发明将极化SAR图像在生成器中得到的深浅层特征进行残差学习，提取了全面的特征信息，使分类结果图区域一致性好，分类精度高。

Description

基于残差学习和条件GAN的极化SAR图像分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及雷达图像分类技术领域中的一种基于残差学习和条件生成对抗网GAN(Generative Adversarial Networks)的极化合成孔径雷达SAR(Synthetic Aperture Radar)图像分类方法。本发明可用于对极化SAR图像中的地物目标进行分类。

背景技术

极化合成孔径雷达是一种高分辨率主动式有源微波遥感成像雷达，有全天时、全天候的工作能力，以及分辨率高、能有效识别伪装和穿透掩盖物等特点，由于极化SAR进行的是全极化测量，能够获得目标更丰富的信息，从而被广泛应用于遥感和地图测绘等领域。

随着全极化SAR遥感技术的进一步发展和应用程度的不断深入，全极化SAR图像分类领域依然存在一些问题，如经典的极化SAR图像分类方法，难以适应越来越多的极化SAR数据，无法充分学习到极化SAR数据的分布特性，势必会影响分类精度。

西安电子科技大学在其申请的专利文献“基于全卷积神经网络的极化SAR地物分类方法”(专利申请号：201710369376.3，公开号：CN107239797A)中提出了一种基于全卷积神经网络的极化SAR地物目标分类方法。该方法首先对待分类的极化SAR数据进行pauli分解，将得到的特征矩阵转化为伪彩图，然后通过全卷积网络来实现极化SAR地物目标分类。全卷积网络是一种基于图像级的分类网络，实现了端到端的分类，并且得到了不错的分类效果。但是，该方法仍然存在的不足之处是，将全卷积网络的最后一层特征作为极化SAR地物目标分类结果，丢失了浅层特征，使地物目标分类结果图中有许多零乱的小图斑，区域一致性不好。

中国人民解放军国防科学技术大学在其申请的专利文献“基于卷积神经网络的极化SAR地物分类方法”(专利申请号：201710596276.4，公开号：107358214A)中公开了一种基于卷积神经网络的极化SAR地物目标分类方法。该方法通过计算极化SAR图像中各个像素点相应的两个旋转域零角特征及四个传统特征的旋转不变形，将这六个特征以切片的形式输入到卷积神经网络中，实现对极化SAR地物目标的分类，得到了较好的地物目标分类效果。但是，该方法仍然存在的不足之处是，切片特征的上下文信息不完整，导致分类精度不高。

发明内容

本发明的目的是针对上述现有技术的不足，提出了一种基于残差学习和条件GAN的极化SAR图像分类方法。本发明与现有其他极化SAR图像分类方法相比，能够完整的保留特征信息，有效地提高极化SAR图像的分类精度。

实现本发明目的的思路是：先构建条件生成对抗网GAN的生成器和条件生成对抗网GAN的鉴别器，再对待分类极化SAR图像进行滤波，对滤波散射矩阵进行pauli分解，再对得到的特征矩阵进行归一化，然后生成训练数据集和测试数据集，将训练数据集输入到条件GAN的生成器中，对深浅层特征进行残差学习；对残差学习后的特征进行分类，将分类结果输入到条件GAN的鉴别器，得到分类正确率，利用分类正确率训练条件GAN的生成器，最后用训练好的条件GAN的生成器对测试数据集进行分类，得到极化SAR图像的地物目标分类结果。

实现本发明的具体步骤如下：

(1)构建条件生成对抗网GAN的生成器：

搭建一个27层的条件生成对抗网GAN的生成器，其结构依次为：输入层→第一卷积层→第二卷积层→第一像素相加层→池化层→第三卷积层→第一上采样层→第二像素相加层→池化层→第四卷积层→第二上采样层→第三像素相加层→池化层→第五卷积层→第三上采样层→第四像素相加层→第四上采样层→第六卷积层→第五上采样层→第五像素相加层→第六上采样层→第七卷积层→第七上采样层→第六像素相加层→第八上采样层→第七像素相加层→分类层；

各层的参数设置如下：

将输入层的特征映射图的总数设置为3个；

将第一至第七卷积层共七个卷积层的特征映射图的总数，依次设置为48个、48个、96个、192个、384个、192个、96个，每层卷积层的卷积核的尺度均设置为3*3个节点；

将第一至第七像素相加层共七个像素相加层的特征映射图的总数，依次设置为48个、96个、192个、384个、192个、96个、96个；

将第一至第八上采样层共八个上采样层中的每层上采样层的上采样尺度，依次设置为2*2个节点、4*4个节点、8*8个节点、2*2个节点、4*4个节点、2*2个节点、2*2个节点、2*2个节点；

将池化层的下采样尺度设置为2*2个节点；

将分类层的特征映射图的总数设置为3个；

(2)构建条件生成对抗网GAN的鉴别器：

搭建一个6层的条件生成对抗网GAN的鉴别器，其结构依次为：输入层→第一卷积层→第二卷积层→第三卷积层→第四卷积层→输出层；

各层的参数设置如下：

将输入层的特征映射图的总数设置为3个；

将第一至第四卷积层的特征映射图的总数，依次设置为64个、128个、256个、256个，每层卷积层的卷积核的尺度均设置为3*3个节点；

将输出层的特征映射图的总数设置为1个；

(3)对待分类极化SAR图像进行滤波：

(3a)选取一帧含有地物目标的待分类极化SAR图像；

(3b)用精致极化Lee滤波方法，滤除所选取的待分类极化SAR图像中的相干噪声，得到滤波散射矩阵；

(4)对滤波散射矩阵进行pauli分解，得到极化SAR图像的特征矩阵；

(5)在[0，255]区间，对极化SAR图像的特征矩阵中的特征值进行归一化处理，得到归一化后的特征矩阵；

(6)生成训练数据集和测试数据集：

(6a)从归一化后的特征矩阵中随机选取10％的特征值，以所选取的每一个特征值为中心点，在中心点左和上两个方向分别选取31个特征值，在中心点右和下两个方向分别选取32个特征值，将所选取的特征值与其周围所选的特征值，组成64×64像素的特征矩阵块；

(6b)从特征矩阵块中随机选取5％的特征矩阵块，组成训练数据集，其余的特征矩阵块组成测试数据集；

(7)利用残差学习方法，对条件生成对抗网GAN的生成器中的深浅层特征进行残差学习：

将训练数据集输入到条件生成对抗网GAN的生成器中，得到条件生成对抗网GAN的生成器中的浅层特征和深层特征，使用残差学习方法，将深层特征与浅层特征中对应的每个像素进行相加，得到残差学习后的特征；

(8)对残差学习后的特征进行分类：

将残差学习后的特征输入到条件生成对抗网GAN的生成器的分类层中，用残差学习后的特征进行地物目标分类，得到地物目标分类结果图；

(9)获得分类正确率：

将地物目标分类结果图输入到条件生成对抗网GAN的鉴别器中，得到分类正确率；

(10)训练条件生成对抗网GAN的生成器：

将分类正确率传送到条件生成对抗网GAN的生成器的每一层中，用分类正确率更新条件生成对抗网GAN的生成器每一层的参数，得到训练好的条件生成对抗网GAN的生成器；

(11)对测试数据集进行分类：

将测试数据集输入到训练好的条件生成对抗网GAN的生成器中，得到测试数据集中极化SAR图像的分类结果。

本发明与现有的技术相比具有以下优点：

第一，由于本发明构建了条件生成对抗网GAN的生成器，在条件生成对抗网GAN的生成器中加入了残差学习方法，将极化SAR图像在条件生成对抗网GAN的生成器中得到的前一层特征图与后一层特征图进行像素相加，得到了残差学习后的特征，用残差学习后的特征对地物目标进行分类，克服了通过全卷积神经网络对极化SAR图像进行分类时特征信息不全面的问题，使得本发明减少了地物目标分类结果图中零乱的小图斑，使分类结果图有良好的区域一致性。

第二，由于本发明构建了条件生成对抗网GAN的鉴别器，将地物目标分类结果图输入条件生成对抗网GAN的鉴别器，得到分类正确率，并利用分类正确率来训练条件生成对抗网GAN的生成器，使条件生成对抗网GAN的生成器学习到完整的特征信息，克服了现有技术通过卷积神经网络对极化SAR图像进行分类时上下文信息不完整的问题，使得本发明提高了极化SAR图像的分类准确率。

附图说明

图1是本发明流程图；

图2是本发明的仿真图；

具体实施方式

下面结合附图对本发明做进一步详细描述。

参照图1，对本发明的实现步骤做进一步的详细描述。

步骤1，构建条件生成对抗网GAN的生成器。

搭建一个27层的条件生成对抗网GAN的生成器，其结构依次为：输入层→第一卷积层→第二卷积层→第一像素相加层→池化层→第三卷积层→第一上采样层→第二像素相加层→池化层→第四卷积层→第二上采样层→第三像素相加层→池化层→第五卷积层→第三上采样层→第四像素相加层→第四上采样层→第六卷积层→第五上采样层→第五像素相加层→第六上采样层→第七卷积层→第七上采样层→第六像素相加层→第八上采样层→第七像素相加层→分类层。

各层的参数设置如下：

将输入层的特征映射图的总数设置为3个。

将第一至第七卷积层共七个卷积层的特征映射图的总数，依次设置为48个、48个、96个、192个、384个、192个、96个，每层卷积层的卷积核的尺度均设置为3*3个节点。

将第一至第七像素相加层共七个像素相加层的特征映射图的总数，依次设置为48个、96个、192个、384个、192个、96个、96个。

将第一至第八上采样层共八个上采样层中的每层上采样层的上采样尺度，依次设置为2*2个节点、4*4个节点、8*8个节点、2*2个节点、4*4个节点、2*2个节点、2*2个节点、2*2个节点。

将池化层的下采样尺度设置为2*2个节点。

将分类层的特征映射图的总数设置为3个。

步骤2，构建条件生成对抗网GAN的鉴别器。

搭建一个6层的条件生成对抗网GAN的鉴别器，其结构依次为：输入层→第一卷积层→第二卷积层→第三卷积层→第四卷积层→输出层。

各层的参数设置如下：

将输入层的特征映射图的总数设置为3个。

将第一至第四卷积层的特征映射图的总数，依次设置为64个、128个、256个、256个，每层卷积层的卷积核的尺度均设置为3*3个节点。

将输出层的特征映射图的总数设置为1个。

步骤3，对待分类极化SAR图像进行滤波。

选取一帧含有地物目标的待分类极化SAR图像。

用精致极化Lee滤波方法，滤除所选取的待分类极化SAR图像中的相干噪声，得到滤波散射矩阵。

步骤4，对滤波散射矩阵进行pauli分解，得到极化SAR图像的特征矩阵。

所述的对滤波散射矩阵进行pauli分解的具体步骤如下：

第一步，按照下式，将滤波后的散射矩阵表示为：

S＝a[S_a]+b[S_b]+c[S_c]+d[S_d]

其中，S表示极化SAR图像的散射矩阵，[S_a]表示极化SAR图像奇次散射的基本散射矩阵，a表示极化SAR图像散射矩阵奇次散射系数，[S_b]表示极化SAR图像偶次散射的基本散射矩阵，b表示极化SAR图像散射矩阵偶次散射系数，[S_c]表示极化SAR图像45度角偶次散射的基本散射矩阵,c表示极化SAR图像散射矩阵45度角偶次散射系数，[S_d]表示极化SAR图像交叉极化的基本散射矩阵，d表示极化SAR图像交叉极化的系数。

第二步，按照下式，得到pauli分解不同方向四个散射系数的向量组合形式如下：

其中，K表示极化SAR图像pauli分解四个散射系数的向量组合形式，a为极化SAR图像散射矩阵奇次散射系数，b表示极化SAR图像散射矩阵偶次散射系数，c表示极化SAR图像散射矩阵45度角偶次散射系数，d表示极化SAR图像交叉极化的系数，S_HH表示极化SAR图像水平向接收的水平向发射极化波的回波数据，S_HV表示极化SAR图像垂直向接收的水平向发射极化波的回波数据，S_VV表示极化SAR图像垂直向接收的垂直向发射极化波的回波数据，T表示矩阵转置，在满足互易条件时，S_HV＝S_VH，因此d＝0，最后一种散射机制对散射矩阵S的贡献为0，按照下式，得到pauli分解不同方向三个散射系数向量形式：

第三步，依次按照下述三个公式，计算pauli分解的不同方向三个散射能量：

|c|²＝2(S_HV)²

其中,a表示极化SAR图像散射矩阵奇次散射系数，b表示极化SAR图像散射矩阵偶次散射系数，c表示极化SAR图像散射矩阵45度角偶次散射系数，[S_a]表示极化SAR图像散射矩阵奇次散射的散射矩阵，[S_b]表示极化SAR图像散射矩阵偶次散射的散射矩阵，[S_c]表示极化SAR图像散射矩阵45度角偶次散射的散射矩阵，S_HH表示极化SAR图像水平向接收的水平向发射极化波的回波数据，S_HV表示化SAR图像垂直向接收的水平向发射极化波的回波数据，S_VV表示极化SAR图像垂直向接收的垂直向发射极化波的回波数据，|·|表示取绝对值操作。

第四步，将计算得到的奇次散射矩阵、偶次散射矩阵、体散射矩阵赋给一个大小为M1×M2×3的矩阵，得到特征矩阵，其中，M1表示待分类极化SAR图像的长，M2表示待分类极化SAR图像的宽。

步骤5，在[0，255]区间，对极化SAR图像的特征矩阵中的特征值进行归一化处理，得到归一化后的特征矩阵。

步骤6，生成训练数据集和测试数据集。

从归一化后的特征矩阵中随机选取10％的特征值，以所选取的每一个特征值为中心点，在中心点左和上两个方向分别选取31个特征值，在中心点右和下两个方向分别选取32个特征值，将所选取的特征值与其周围所选的特征值，组成64×64像素的特征矩阵块。

从特征矩阵块中随机选取5％的特征矩阵块，组成训练数据集，其余的特征矩阵块组成测试数据集。

步骤7，利用残差学习方法，对条件生成对抗网GAN的生成器中的深浅层特征进行残差学习。

将训练数据集输入到条件生成对抗网GAN的生成器中，得到条件生成对抗网GAN的生成器中的浅层特征和深层特征，利用残差学习方法将深层特征与浅层特征中对应的每个像素进行相加，得到残差学习后的特征。

步骤8，对残差学习后的特征进行分类。

将残差学习后的特征输入到条件生成对抗网GAN的生成器的分类层中，对残差学习后的特征进行地物目标分类，得到地物目标分类结果图。

步骤9，获得分类正确率。

将地物目标分类结果图输入到条件生成对抗网GAN的鉴别器中，得到分类正确率。

步骤10，训练条件生成对抗网GAN的生成器。

将分类正确率传送到条件生成对抗网GAN的生成器的每一层中，用分类正确率更新条件生成对抗网GAN的生成器每一层的参数，得到训练好的条件生成对抗网GAN的生成器。

步骤11，对测试数据集进行分类。

将测试数据集输入到训练好的条件生成对抗网GAN的生成器中，得到测试数据集中极化SAR图像的分类结果。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真条件：

本发明的仿真实验是在主频2.40GHz*16的

Xeon(R)CPU、内存64GB的硬件环境和Tensorflew的软件环境下进行的。

2.仿真内容与结果分析：

本发明的仿真实验是分别使用本发明的方法和两个现有技术(全卷积神经网络的方法、卷积神经网络的方法)对极化SAR图像地物目标进行分类。

图2是本发明的仿真图。其中，图2(a)是本发明的仿真实验所使用的待分类的极化SAR数据的伪彩图，该图为德国DLR的ESAR传感器获取的L波段全极化SAR数据的散射矩阵，经过pauli分解后得到的伪彩图。该伪彩图的大小为1300×1200像素。

图2(b)是本发明的仿真实验所使用的待分类的极化SAR图像的实际人工标记图。图2(c)是本发明的对极化SAR图像进行分类的分类结果图。图2(b)和图2(c)中的灰度值为0的区域表示背景，灰度值为70的区域表示低密度城区区域，灰度值为140的区域表示高密度城区区域，灰度值为210的区域表示植被区域。

将得到的分类结果图2(c)与实际人工标记图2(b)进行对比，可以看出：本发明方法分类结果中的低密度城区、高密度城区、植被的中间区域中的所有像素点分类正确，在低密度城区、高密度城区、植被的边缘区域中有一部分错分的像素点，区域一致性好。

将得到的分类结果图与真实的人工标记图进行对比，根据下式，计算得到分类准确率。

分类准确率＝总分类正确像素个数/总像素数

使用本发明的方法、现有技术中的全卷积神经网络的方法和现有技术中的卷积神经网络，对极化SAR图像地物目标进行分类的分类准确率如下表1所示：

表1.分类准确率对比表

方法	分类准确率
		本发明	97.01％
全卷积神经网络	95.92％
		卷积神经网络	95.01％

综上所述，本发明通过基于残差学习和条件生成对抗网GAN对极化SAR图像进行分类，通过将极化SAR图像输入条件生成对抗网GAN中，获得了浅层特征和深层特征，提取了完整的上下文信息，提高了分类精度，利用残差学习将极化SAR图像在条件生成对抗网GAN中得到的前一层特征图与后一层特征图进行像素相加，提取了完整的特征信息，减少了地物目标分类结果图中零乱的小图斑，使分类结果图有良好的区域一致性。

Claims (2)

1.一种基于残差学习和条件生成对抗网GAN的极化SAR图像分类方法，其特征在于，该方法将含有地物目标的极化SAR图像输入到条件生成对抗网GAN的生成器中，得到浅层特征和深层特征，使用残差学习方法，将浅层特征和深层特征中对应的每个像素进行相加，得到残差学习后的特征，用残差学习后的特征对地物目标进行分类得到地物目标分类结果图，具体步骤包括如下：

(1)构建条件生成对抗网GAN的生成器：

搭建一个27层的条件生成对抗网GAN的生成器，其结构依次为：输入层→第一卷积层→第二卷积层→第一像素相加层→池化层→第三卷积层→第一上采样层→第二像素相加层→池化层→第四卷积层→第二上采样层→第三像素相加层→池化层→第五卷积层→第三上采样层→第四像素相加层→第四上采样层→第六卷积层→第五上采样层→第五像素相加层→第六上采样层→第七卷积层→第七上采样层→第六像素相加层→第八上采样层→第七像素相加层→分类层；

各层的参数设置如下：

将输入层的特征映射图的总数设置为3个；

将第一至第七卷积层共七个卷积层的特征映射图的总数，依次设置为48个、48个、96个、192个、384个、192个、96个，每层卷积层的卷积核的尺度均设置为3*3个节点；

将第一至第七像素相加层共七个像素相加层的特征映射图的总数，依次设置为48个、96个、192个、384个、192个、96个、96个；

将第一至第八上采样层共八个上采样层中的每层上采样层的上采样尺度，依次设置为2*2个节点、4*4个节点、8*8个节点、2*2个节点、4*4个节点、2*2个节点、2*2个节点、2*2个节点；

将池化层的下采样尺度设置为2*2个节点；

将分类层的特征映射图的总数设置为3个；

(2)构建条件生成对抗网GAN的鉴别器：

搭建一个6层的条件生成对抗网GAN的鉴别器，其结构依次为：输入层→第一卷积层→第二卷积层→第三卷积层→第四卷积层→输出层；

各层的参数设置如下：

将输入层的特征映射图的总数设置为3个；

将第一至第四卷积层的特征映射图的总数，依次设置为64个、128个、256个、256个，每层卷积层的卷积核的尺度均设置为3*3个节点；

将输出层的特征映射图的总数设置为1个；

(3)对待分类极化SAR图像进行滤波：

(3a)选取一帧含有地物目标的待分类极化SAR图像；

(3b)用精致极化Lee滤波方法，滤除所选取的待分类极化SAR图像中的相干噪声，得到滤波散射矩阵；

(4)对滤波散射矩阵进行pauli分解，得到极化SAR图像的特征矩阵；

(5)在[0，255]区间，对极化SAR图像的特征矩阵中的特征值进行归一化处理，得到归一化后的特征矩阵；

(6)生成训练数据集和测试数据集：

(6a)从归一化后的特征矩阵中随机选取10％的特征值，以所选取的每一个特征值为中心点，在中心点左和上两个方向分别选取31个特征值，在中心点右和下两个方向分别选取32个特征值，将所选取的特征值与其周围所选的特征值，组成64×64像素的特征矩阵块；

(6b)从特征矩阵块中随机选取5％的特征矩阵块，组成训练数据集，其余的特征矩阵块组成测试数据集；

(7)利用残差学习方法，对条件生成对抗网GAN的生成器中的深浅层特征进行残差学习：

将训练数据集输入到条件生成对抗网GAN的生成器中，得到条件生成对抗网GAN的生成器中的浅层特征和深层特征，使用残差学习方法，将深层特征与浅层特征中对应的每个像素进行相加，得到残差学习后的特征；

(8)对残差学习后的特征进行分类：

将残差学习后的特征输入到条件生成对抗网GAN的生成器的分类层中，用残差学习后的特征进行地物目标分类，得到地物目标分类结果图；

(9)获得分类正确率：

将地物目标分类结果图输入到条件生成对抗网GAN的鉴别器中，得到分类正确率；

(10)训练条件生成对抗网GAN的生成器：

将分类正确率传送到条件生成对抗网GAN的生成器的每一层中，用分类正确率更新条件生成对抗网GAN的生成器每一层的参数，得到训练好的条件生成对抗网GAN的生成器；

(11)对测试数据集进行分类：

将测试数据集输入到训练好的条件生成对抗网GAN的生成器中，得到测试数据集中极化SAR图像的分类结果。

2.根据权利要求1所述的基于残差学习和条件生成对抗网GAN的极化SAR图像分类方法，其特征在于，所述步骤(3)中所述的对滤波散射矩阵进行pauli分解的具体步骤如下：

第一步，按照下式，将滤波后的散射矩阵表示为：

S＝a[S_a]+b[S_b]+c[S_c]+d[S_d]

其中，S表示极化SAR图像的散射矩阵，[S_a]表示极化SAR图像奇次散射的基本散射矩阵，a表示极化SAR图像散射矩阵奇次散射系数，[S_b]表示极化SAR图像偶次散射的基本散射矩阵，b表示极化SAR图像散射矩阵偶次散射系数，[S_c]表示极化SAR图像45度角偶次散射的基本散射矩阵,c表示极化SAR图像散射矩阵45度角偶次散射系数，[S_d]表示极化SAR图像交叉极化的基本散射矩阵，d表示极化SAR图像交叉极化的系数；

第二步，按照下式，得到pauli分解不同方向四个散射系数的向量组合形式如下：

其中，K表示极化SAR图像pauli分解四个散射系数的向量组合形式，S_HH表示极化SAR图像水平向接收的水平向发射极化波的回波数据，S_HV表示极化SAR图像垂直向接收的水平向发射极化波的回波数据，S_VV表示极化SAR图像垂直向接收的垂直向发射极化波的回波数据，T表示转置操作，在满足互易条件时，S_HV＝S_VH，因此d＝0，最后一种散射机制对散射矩阵S的贡献为0，按照下式，得到pauli分解不同方向三个散射系数向量形式：

第三步，依次按照下述三个公式，计算pauli分解的不同方向三个散射能量：

|c|²＝2(S_HV)²

其中,|·|表示取绝对值操作；

第四步，将计算得到的奇次散射矩阵、偶次散射矩阵、体散射矩阵赋给一个大小为M1×M2×3的矩阵，得到特征矩阵，其中，M1表示待分类极化SAR图像的长，M2表示待分类极化SAR图像的宽。

Images