CN107563428A - 基于生成对抗网络的极化sar图像分类方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的极化SAR图像分类方法，主要解决现有技术中极化SAR图像特征选取不合理导致分类精度不高的问题，充分利用无标签和有标签样本，无需设计复杂的代价函数。本发明的具体实现步骤如下：(1)输入待分类的极化合成孔径雷达SAR图像的相干矩阵；(2)滤波；(3)生成样本集；(4)选取样本；(5)构造生成对抗网络；(6)训练生成网络与对抗网络；(7)对样本集进行分类；(8)输出极化SAR图像样本集中所有样本的类别标签。本发明具有对极化SAR图像分类效果显著的优点，可进一步用于极化SAR图像目标检测和目标识别。

Description

基于生成对抗网络的极化SAR图像分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及目标识别技术领域中的基于生成对抗网络的极化合成孔径雷达SAR(SyntheticAperture Radar)图像分类方法。本发明可用于对极化合成孔径雷达SAR图像进行地物分类和目标识别。

背景技术

极化SAR图像分类的目的是利用机载或星载极化传感器获得的极化测量数据，确定每个像素所属的类别，即给出每个像素点所包含的地物离别如海洋、城市、森林等。极化SAR数据的分类工作是使用获取到的极化成像数据按照像素进行归类，得到的结果就可以表示不同的地物信息。对于极化SAR分类方法，特征提取和分类技术是两个基本要素。极化SAR图像分类的性能在很大程度上依赖于特征。正因如此，对极化SAR图像分类方法的研究重点在于特征的提取，而这需要人工设计出来的。深度学习的方法因为无需设计特征，也被广泛的应用在极化SAR分类中。

付姣，张永红等人在其发表的论文“利用Yamaguchi分解保持地物散射特性的极化SAR分类”(测绘科学,[J]2014 39(3):81-84.)中提出了一种利用Yamaguchi分解保持地物散射特性的极化SAR数据分类方法。该方法利用Yamaguchi分解获得4种散射机理，根据4种散射机理的功率大小判断地物的主散射机理和类别之间的Wishart距离,合并到指定个数的初始类别，之后并结合Wishart距离分类器对初始类进行迭代修正,实现极化SAR图像的分类。该方法存在的不足之处是，对待分类的极化SAR图像信息的特征丰富性要求高，且计算量大。

西安电子科技大学在其申请的专利文献“基于去噪自动编码的极化SAR图像的分类方法”(专利申请号：201510108639.6，公开号：CN104751172A)中提出了一种基于去噪自动编码DA网络的极化SAR图像分类方法。该方法提取该极化SAR图像的原始特征以及其邻域特征，然后对原始特征及邻域特征取对数处理，使其噪声满足高斯分布，之后利用训练好的去噪自动编码DA网络，得到极化SAR图像的分类结果。该方法存在的不足之处是，需要对特征做预处理再做分类，其分类效果依赖于数据的表达形式。

西安电子科技大学在其申请的专利文献“基于Wishart深度网络的极化SAR图像分类方法”(专利申请号：201510341168.3，公开号：CN105046268A)中提出了一种基于Wishart深度网络的极化SAR图像分类方法。该方法首先用无监督的方法逐层训练深度网络，对图像构造多层Wishart RBM学习特征，最后利用部分有标签的样本进行有监督的微调。该方法存在的不足之处是，该方法依据对数据的分布的假设，设计了较为复杂的代价函数，训练过程复杂且不能充分利用无标签的样本。

发明内容

本发明的目的是克服上述现有技术的不足，提供一种基于生成对抗网络的极化SAR图像分类方法。本发明与现有技术中其他极化合成孔径雷达SAR图像分类技术相比计算量小，分类精度和分类效率高。

本发明实现上述目的的思路是：先对极化合成孔径雷达SAR图像的相干矩阵进行滤波，再从去噪后的相干矩阵中提取9维特征作为一个样本，将所有样本组成一个样本集，从样本集中随机选取样本组成有标签样本集、无标签样本集，和训练样本集，然后构造生成对抗网络，并训练生成网络和对抗网络。在有监督情况下，利用有标签样本的对抗网络相当与多分类器，学习类别的分布。在无监督情况下，利用无标签样本的对抗网络只鉴别样本来自真实样本还是生成样本，学习数据的分布。交叉训练好的对抗网络充分利用了无标签和有标签样本，具有特征提取和好的分类性能，最后利用交叉训练好的对抗网络进行分类，得到最终分类结果。

本发明实现的具体步骤包括如下：

(1)输入待分类的极化合成孔径雷达SAR图像的相干矩阵；

(2)滤波：

采用滤波窗口大小为7×7的李Lee滤波器，对相干矩阵进行滤波，得到去噪后的相干矩阵；

(3)生成样本集：

从去噪后的相干矩阵中提取9维特征作为一个样本，将去噪后的相干矩阵中的所有样本生成一个样本集；

(4)选取样本：

(4a)从每个地物类的样本集中，随机选取10％的样本作为有标签样本集；

(4b)将每个地物类的样本集中剩余的90％样本作为无标签样本集；

(4c)将有标签样本集和无标签样本集组成训练样本集；

(5)构造生成对抗网络：

(5a)构造一个三层全连接网络，该网络的每层节点数由输入至输出依次为10、5、9，随机初始化该网络中各节点参数，得到初始化后的生成网络；

(5b)构造一个五层全连接网络，该网络的每层节点数由输入至输出依次为9、100、50、25、K，随机初始化该网络中各节点参数，得到初始化后的对抗网络，其中，K表示待分类极化SAR图像的类别总数；

(6)训练生成网络与对抗网络：

(6a)从均匀分布函数中随机产生100个噪声，将噪声输入生成网络后的输出作为100个生成样本，从有标签样本集中随机选取100个有标签样本，从无标签样本集中随机选取100个无标签样本；

(6b)将100个生成样本，100个有标签样本和100个无标签样本输入对抗网络；

(6c)利用对抗网络损失梯度下降方法，计算当前输入300个样本后对抗网络的损失值，用损失值更新对抗网络的参数；

(6d)利用生成网络损失梯度下降方法，计算当前输入300个样本后生成网络的损失值，用损失值更新生成网络的参数；

(6e)判断更新生成网络和对抗网络参数的次数是否为200，若是，则完成生成网络与对抗网络的交叉训练，执行步骤(7)，否则，执行步骤(6a)；

(7)对样本集进行分类：

(7a)从步骤(3)生成的一个样本集任选一个样本，输入到交叉训练后的对抗网络中；

(7b)将对抗网络中最后一层所有节点的输出值，按照从大到小进行排序；

(7c)将对应排序后输出值最大节点的序号，作为节点所在样本的类别标签；

(7d)判断是否选取完样本集中所有的样本，若是，执行步骤(8)，否则，执行步骤(7a)；

(8)输出极化SAR图像样本集中所有样本的类别标签。

本发明与现有技术相比具有以下优点：

第一，由于本发明引入生成对抗网络，使生成网络与对抗网络的交叉训练，克服了现有技术中对待分类的极化SAR图像信息的特征丰富性要求高，需要探索极化SAR的散射特性和统计特性的不足，提高了对抗网络对特征提取的能力，使得本发明在对极化合成孔径雷达SAR图像进行分类时提高了分类效果。

第二，由于本发明通过引入生成对抗网络，生成网络学习数据分布，直接利用相干矩阵信息，克服了现有技术需要对特征做预处理再做分类，其分类效果依赖于数据的表达形式的不足，使得本发明中能充分利用无标签的样本，提高了分类效果。

第三，由于本发明通过引入生成对抗网络，分别对生成网络与对抗网络损失进行梯度下降方法，克服了现有技术中依据对数据的分布的假设，设计较为复杂的代价函数，训练过程复杂的不足，使得本发明对不同的极化合成孔径雷达SAR图像信息具有更强的适应性。

附图说明

图1为本发明的流程图；

图2为本发明的仿真图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，本发明实现的具体步骤如下。

步骤1，输入待分类的极化合成孔径雷达SAR图像的相干矩阵。

步骤2，滤波。

采用滤波窗口大小为7×7的李Lee滤波器，对相干矩阵进行滤波，得到去噪后的相干矩阵。

步骤3，生成样本集。

从去噪后的相干矩阵中提取9维特征作为一个样本，将去噪后的相干矩阵中的所有样本生成一个样本集。

所述在去噪后的相干矩阵中，提取9维特征作为一个样本的步骤是：分别提取相干矩阵中主对角线的三个元素、主对角线的上三角三个元素的实部和虚部，将所提取的9个元素作为样本的9维特征。

步骤4，选取样本。

从每个地物类的样本集中，随机选取10％的样本作为有标签样本集。

将每个地物类的样本集中剩余的90％样本作为无标签样本集。

将有标签样本集和无标签样本集组成训练样本集。

步骤5，构造生成对抗网络。

构造一个三层全连接网络，该网络的每层节点数由输入至输出依次为10、5、9，随机初始化该网络中各节点参数，得到初始化后的生成网络。

构造一个五层全连接网络，该网络的每层节点数由输入至输出依次为9、100、50、25、K，随机初始化该网络中各节点参数，得到初始化后的对抗网络，其中，K表示待分类极化SAR图像的类别总数，在本发明中，K取15，为softmax层。

步骤6，训练生成网络与对抗网络。

(6a)从均匀分布函数中随机产生100个噪声，噪声的维度与生成网络的输入层的节点数相同，均为10维。将噪声输入生成网络后的输出作为100个生成样本，从有标签样本集中随机选取100个有标签样本，从无标签样本集中随机选取100个无标签样本。

(6b)将100个生成样本，100个有标签样本和100个无标签样本输入对抗网络。

(6c)利用对抗网络损失梯度下降方法，计算当前输入300个样本后对抗网络的损失值，用损失值更新对抗网络的参数。

所述对抗网络损失梯度下降方法的具体步骤如下：

第一步，按照下式，计算对抗网络将每一个有标签样本分类到相应类别标签的概率：

其中，p_c表示第c个有标签样本分类到相应类别标签的概率，exp表示以自然常数为底的指数操作，表示第c个有标签样本在对抗网络中最后一层第j个节点的输出值，j表示第c个有标签样本相应的类别，表示第c个有标签样本在对抗网络中最后一层的第n个节点的输出值，∑表示求和的操作，n取值为从1到K。

第二步，计算100个有标签样本分类到相应类别标签的概率的负对数，再求平均值，将平均值结果作为有监督损失值，有监督损失值为有标签样本K分类的误差。

第三步，按照下式，计算每一个生成样本被分类成假样本的概率：

其中，p_d表示第d个生成样本被分类成假样本的概率，表示第d个生成样本在对抗网络中最后一层的第n个节点的输出值。

第四步，按照下式，计算每一个无标签样本被分类成真实样本的概率：

其中，p_e表示第e个无标签样本被分类成真实样本的概率，表示第e个无标签样本在对抗网络中最后一层的第n个节点的输出值。

第五步，计算100个无标签样本被分类成真实样本的概率的负对数，再求其平均值，计算100个生成样本中被分类成假样本的概率的负对数，再求其平均值，以两个平均值之和作为无监督损失，无监督损失为无标签样本与生成样本的二分类的误差。

第六步，以有监督损失值和无监督损失值的平均值作为对抗网络的损失值,无监督损失与有监督损失相加则充分利用无标签样本。

(6d)利用生成网络损失梯度下降方法，计算当前输入300个样本后生成网络的损失值，用损失值更新生成网络的参数。

所述生成网络损失梯度下降方法的具体步骤如下：

第一步，分别计算100个有标签样本和100个生成样本在对抗网络第三层节点输出值的平均值，以两者差值的二范数作为特征匹配损失值，特征匹配值越小，说明生成网络生成样本与真实样本在对抗网络层的值相接近，说明生成网络学到了样本的产生分布，产生与真实样本接近的数据。

第二步，按照下式，计算每一个生成样本的判别误差值：

l_d＝1-logp_d

其中，l_d表示第d个生成样本的判别误差值，log表示以10为底的对数操作。

第三步，以100个生成样本判别误差值的平均值作为判别损失值。

第四步，以特征匹配损失值与判别损失值之和作为生成网络的损失值。

(6e)判断更新生成网络和对抗网络参数的次数是否为200，若是，则完成生成网络与对抗网络的交叉训练，执行步骤7，否则，执行步骤(6a)。

步骤7，对样本集进行分类。

第一步，从步骤3生成的一个样本集任选一个样本，输入到交叉训练后的对抗网络中。

第二步，将对抗网络中最后一层所有节点的输出值，按照从大到小进行排序。

第三步，将对应排序后输出值最大节点的序号，作为节点所在样本的类别标签。

第四步，判断是否选取完样本集中所有的样本，若是，执行步骤8，否则，执行本步骤第一步。

步骤8，输出极化SAR图像样本集中所有样本的类别标签。

1、仿真条件：

本发明的仿真实验是在主频2.20GHZ的Intel(R)Xeon(R)CPU E5-2630v4、内存64GB的硬件环境和spyder的软件环境下进行的，编程所依赖的深度学习库有numpy、theano、lasagne。

2、仿真内容与结果分析。

图2为本发明仿真采用的极化合成孔径雷达SAR图像和采用本发明对该图像进行分类的结果图，图像的尺寸大小均为750×1024。其中，图2(a)为NASA-JPL机载L波段AIRSAR系统于1991年获取的荷兰Flevoland农田区域极化合成孔径雷达SAR的RGB合成图像。该极化合成孔径雷达SAR图像中区域的地表覆盖物为各种农作物和水域，图2(b)为采用本发明对图2(a)进行分类的结果图。

本发明的仿真实验将待分类的极化合成孔径雷达SAR图像分成15类。从图2(b)可以看出，图像中不同区域的边界较为清晰，边缘也较为平滑。由于本发明在利用无标签同时，也利用了有标签的样本，利用生成对抗网络的交叉训练的方式使对抗网络提取更有利于的分类的特征，使得不同区域内部分类的一致性较好。表明本发明可以有效解决极化合成孔径雷达SAR图像分类问题。

Claims (4)

1.一种基于生成对抗网络的极化SAR图像分类方法，包括如下步骤：

(1)输入待分类的极化合成孔径雷达SAR图像的相干矩阵；

(2)滤波：

采用滤波窗口大小为7×7的李Lee滤波器，对相干矩阵进行滤波，得到去噪后的相干矩阵；

(3)生成样本集：

从去噪后的相干矩阵中提取9维特征作为一个样本，将去噪后的相干矩阵中的所有样本生成一个样本集；

(4)选取样本：

(4a)从每个地物类的样本集中，随机选取10％的样本作为有标签样本集；

(4b)将每个地物类的样本集中剩余的90％样本作为无标签样本集；

(4c)将有标签样本集和无标签样本集组成训练样本集；

(5)构造生成对抗网络：

(5a)构造一个三层全连接网络，该网络的每层节点数由输入至输出依次为10、5、9，随机初始化该网络中各节点参数，得到初始化后的生成网络；

(5b)构造一个五层全连接网络，该网络的每层节点数由输入至输出依次为9、100、50、25、K，随机初始化该网络中各节点参数，得到初始化后的对抗网络，其中，K表示待分类极化SAR图像的类别总数；

(6)训练生成网络与对抗网络：

(6a)从均匀分布函数中随机产生100个噪声，将噪声输入生成网络后的输出作为100个生成样本，从有标签样本集中随机选取100个有标签样本，从无标签样本集中随机选取100个无标签样本；

(6b)将100个生成样本，100个有标签样本和100个无标签样本输入对抗网络；

(6c)利用对抗网络损失梯度下降方法，计算当前输入300个样本后对抗网络的损失值，用损失值更新对抗网络的参数；

(6d)利用生成网络损失梯度下降方法，计算当前输入300个样本后生成网络的损失值，用损失值更新生成网络的参数；

(6e)判断更新生成网络和对抗网络参数的次数是否为200，若是，则完成生成网络与对抗网络的交叉训练，执行步骤(7)，否则，执行步骤(6a)；

(7)对样本集进行分类：

(7a)从步骤(3)生成的一个样本集任选一个样本，输入到交叉训练后的对抗网络中；

(7b)将对抗网络中最后一层所有节点的输出值，按照从大到小进行排序；

(7c)将对应排序后输出值最大节点的序号，作为节点所在样本的类别标签；

(7d)判断是否选取完样本集中所有的样本，若是，执行步骤(8)，否则，执行步骤(7a)；

(8)输出极化SAR图像样本集中所有样本的类别标签。

2.根据权利要求1所述的基于生成对抗网络的极化SAR图像分类方法，其特征在于，步骤(3)中所述在去噪后的相干矩阵中提取9维特征作为一个样本的步骤是：分别提取相干矩阵中主对角线的三个元素、主对角线的上三角三个元素的实部和虚部，将所提取的9个元素作为样本的9维特征。

3.根据权利要求1所述的基于生成对抗网络的极化SAR图像分类方法，其特征在于，步骤(6c)中所述对抗网络损失梯度下降方法的具体步骤如下：

第一步，按照下式，计算对抗网络将每一个有标签样本分类到相应类别标签的概率：

<mrow> <msub> <mi>p</mi> <mi>c</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>c</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </msubsup> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>c</mi> <mi>n</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中，p_c表示第c个有标签样本分类到相应类别标签的概率，exp表示以自然常数为底的指数操作，表示第c个有标签样本在对抗网络中最后一层第j个节点的输出值，j表示第c个有标签样本相应的类别，表示第c个有标签样本在对抗网络中最后一层的第n个节点的输出值，∑表示求和的操作，n取值为从1到K；

第二步，计算100个有标签样本分类到相应类别标签的概率的负对数，再求平均值，将平均值结果作为有监督损失值；

第三步，按照下式，计算每一个生成样本被分类成假样本的概率：

<mrow> <msub> <mi>p</mi> <mi>d</mi> </msub> <mo>=</mo> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>1</mn> <mo>+</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </msubsup> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>d</mi> <mi>n</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中，p_d表示第d个生成样本被分类成假样本的概率，表示第d个生成样本在对抗网络中最后一层的第n个节点的输出值；

第四步，按照下式，计算每一个无标签样本被分类成真实样本的概率：

<mrow> <msub> <mi>p</mi> <mi>e</mi> </msub> <mo>=</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </msubsup> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>e</mi> <mi>n</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <mn>1</mn> <mo>+</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </msubsup> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>e</mi> <mi>n</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中，p_e表示第e个无标签样本被分类成真实样本的概率，表示第e个无标签样本在对抗网络中最后一层的第n个节点的输出值；

第五步，计算100个无标签样本被分类成真实样本的概率的负对数，再求其平均值，计算100个生成样本中被分类成假样本的概率的负对数，再求其平均值，以两个平均值之和作为无监督损失；

第六步，以有监督损失值和无监督损失值的平均值作为对抗网络的损失值。

4.根据权利要求1所述的基于生成对抗网络的极化SAR图像分类方法，其特征在于，步骤(6d)中所述生成网络损失梯度下降方法的具体步骤如下：

第一步，分别计算100个有标签样本和100个生成样本在对抗网络第三层节点输出值的平均值，以两者差值的二范数作为特征匹配损失值；

第二步，按照下式，计算每一个生成样本的判别误差值：

l_d＝1-log p_d

其中，l_d表示第d个生成样本的判别误差值，log表示以10为底的对数操作；

第三步，以100个生成样本判别误差值的平均值作为判别损失值；

第四步，以特征匹配损失值与判别损失值之和作为生成网络的损失值。