CN108388927B - 基于深度卷积孪生网络的小样本极化sar地物分类方法 - Google Patents

Abstract

本发明公开一种基于深度卷积孪生网络的小样本极化SAR地物分类方法，主要解决现有方法中由于极化SAR数据标记样本较少造成分类精度低的问题。其实现步骤为：1)输入待分类极化SAR图像与其真实地物标记，并进行Lee滤波；2)从对滤波后的待分类极化SAR数据中提取输入特征向量并划分出训练样本集和测试样本集；3)对训练样本集中的样本两两组合得到样本对训练集；4)搭建深度卷积孪生网络并用训练样本集和样本对训练集对其进行训练；5)用训练好的深度卷积孪生网络对测试集样本进行分类，获得地物类别。本发明在孪生架构下扩充了训练集并提取差异化特征，使模型分类准确率更高，可用于极化SAR图像的目标分类、检测和识别。

Description

基于深度卷积孪生网络的小样本极化SAR地物分类方法

技术领域

本发明属于图像处理技术领域，特别涉及极化SAR地物分类方法，可用于极化SAR遥感影像的地物分类或目标识别。

背景技术

极化SAR是能够对目标进行全极化测量的合成孔径雷达，其通过同时发射和交替接收不同极化状态的组合回波对目标进行全极化测量成像。极化SAR数据包含更丰富的目标散射信息，能够对目标进行更为全面的表达和描述，提高对地物的识别能力，同时，其具有全天候、全天时，分辨率高等优点，在目标检测与识别、地物分类以及参数反演等方面具有十分突出的优势，因此广泛应用于军事、农业、导航等众多领域。目前极化SAR成像技术已获得飞速发展，但对应的极化SAR图像处理技术还无法满足现有要求。因此，迫切需要开发能够对极化SAR图像进行全方位解读的图像处理技术。

经过多年的研究与发展，很多优秀的极化SAR图像分类方法被广泛应用。其中，基于统计分布、极化目标分解的方法和基于监督机器学习的方法仍然是极化SAR地物分类的研究重点。

西安电子科技大学在其申请的专利文献“基于Wishart和SVM的极化SAR图像分类方法”(专利申请号：CN201410740814.9，公开号：CN104408472A)中提出了一种基于Wishart和SVM的极化SAR图像分类方法。该方法首先对待分类的极化SAR数据进行窗口大小为7*7的Lee滤波，去除相干斑噪声，然后得到Lee滤波之后的极化SAR数据的极化相干矩阵并对其进行Cloude分解，计算每个像素点的散射熵H、散射角alpha和散射总功率span并构造特征集F＝[H alpha span]和相干矩阵特征集T，同时计算特征集F和T的相似矩阵W^F和W^T，最后利用W＝W^F·W^T作为SVM的核函数完成模型的训练与分类。该方法虽然充分利用了极化SAR数据的目标分解和统计分布特性，但该方法仍然存在的不足之处在于特征设计复杂、需要较强的专家知识并且需要较多的标记样本进行模型训练。

西安电子科技大学在其申请的专利文献“基于Wishart深度网络的极化SAR图像分类方法”(专利申请号：CN201510341168.3，公开号：CN105046268A)中提出了一种基于Wishart深度网络的极化SAR图像分类方法。该方法首先对待分类的极化SAR图像数据进行精致极化Lee滤波，去除相干斑噪声，得到Lee滤波之后的极化SAR图像，随机选取10％的有标记样本作为训练数据集，然后利用多层的Wishart RBM和softmax分类器构造深度DBN网络，并用该深度DBN网络进行特征学习与模型训练，最后利用所训练好的模型完成未知标签数据的预测。该方法虽然充分利用了极化SAR数据的有标记样本的监督信息，提高了分类准确率，但该方法仍然存在的不足之处在于训练过程需要大量的标记样本信息，成本较高，在标记样本较少的情况下会导致网络的分类准确率大大降低。

发明内容

本发明的目的在于针对上述已有技术的弊端和不足，提出一种基于深度卷积孪生网络的小样本极化SAR地物分类方法，以在小样本条件下进行特征的自动提取与分类，降低人工标记成本，提高分类准确率。

实现本发明的技术方案包括如下：

(1)输入一幅430*280大小的待分类极化SAR图像及该极化SAR图像对应的真实地物标签信息；

(2)对待分类的极化SAR图像进行Lee滤波，去除相干斑噪声干扰，得到滤波后的待分类极化SAR图像数据；

(3)基于待分类极化SAR图像数据的极化相干矩阵T，提取每个像素点的极化特征向量，利用空间邻域信息，得到待分类的极化SAR输入特征向量；

(4)从待分类极化SAR特征向量的每个类别中随机选取10个样本组成训练样本集，其余作为测试样本集；

(5)对训练样本集中的样本两两组合，得到样本对训练集，若样本对中的两个样本属于同一类别，则为正样本对，否则为负样本对；

(6)搭建深度卷积孪生网络：

(6a)构造权值共享的一维卷积孪生网络作为特征提取网络；

(6b)在所构造的权值共享的一维卷积孪生网络之上，增加多层全连接分类网络，共同组成深度卷积孪生网络；

(7)训练深度卷积孪生网络：

(7a)对权值共享的一维卷积孪生网络训练，以实现极化SAR输入特征向量的差异化特征提取；

(7b)对多层全连接分类网络进行训练，以实现深度卷积孪生网络的微调；

(8)利用所训练好的深度卷积孪生网络对测试样本集的像素点进行类别预测，得到每个像素点的地物类别。

本发明与现有的技术相比具有以下优点：

第一，由于本发明采用深度网络模型进行极化SAR图像地物分类，从极化相干矩阵原始数据出发，通过深度网络模型进行自动特征提取并完成分类，该方法充分利用深度网络模型的自动特征提取能力，克服了现有技术特征设计复杂、需要较强的专家知识且需要较多的标记数据作为训练样本集的问题，使得在小样本条件下直接从原始数据出发，实现端到端的模型训练与分类。

第二，由于本发明采用一维卷积孪生网络进行特征提取，因此，需要用训练样本集构造样本对训练集，从而实现了样本扩展，充分利用了标记样本信息；

第三，由于本发明采用对比损失函数训练一维卷积孪生网络，使得所提取的不同样本之间的特征的差异性较大，利于模型分类。

第四，本发明克服了现有技术训练过程需要大量的标记样本信息，成本较高，在标记样本较少的情况下会导致网络的分类准确率大大降低的问题，能在少量样本标记的情况下依然采用深度学习框架进行自动特征提取，充分利用标记样本信息提高模型的分类性能。

附图说明

图1是本发明的实现流程框图；

图2是本发明中构建的深度卷积孪生网络结构图；

图3是本发明仿真使用的极化SAR图像；

图4是用本发明对图3进行分类的结果图；

图5是用现有监督Wishart方法对图3进行分类的结果图；

图6是用现有SVM方法图3进行分类的结果图。

具体实施方式

下面结合附图对本发明做详细的介绍和描述。

参照附图1，本发明的具体实现步骤如下：

步骤1.输入一幅大小为430*280的待分类极化SAR图像及该极化SAR图像对应的真实地物标签信息。

步骤2.利用精致Lee滤波方法，对待分类的极化SAR图像进行滤波处理，去除相干斑噪声干扰，得到滤波后的待分类极化SAR图像。

步骤3.从滤波后的待分类极化SAR图像中提取极化SAR输入特征向量。

(3a)将极化SAR图像数据中每个像素点用3*3极化相干矩阵T表示：

(3b)根据极化SAR数据的极化相干矩阵T，提取对应像素点的极化特征向量I：

I＝(|T₁₁|²,|T₂₂|²,|T₃₃|²,|Re[T₁₂]|²,|Re[T₁₃]|²,|Re[T₂₃]|²,|Im[T₂₁]|²,|Im[T₂₃]|²,|Im[T₃₁]|²)

其中，T_ij为极化相干矩阵T的第i行第j列的元素，i,j∈{1,2,3}；|·|为取模运算；Re[·]为取实部运算；Im[·]为取虚部运算；

(3c)基于空间一致性假设，用每个像素点为中心的3*3邻域窗口中的9个像素点的极化特征向量联合表示该像素点的输入特征向量：

x_k＝[I_k-r-1I_k-r I_k-r+1I_k-1I_k I_k+1I_k+r-1I_k+r I_k+r+1]，

其中，I_k为第k个像素点的极化特征向量，x_k为第k个像素点的输入特征向量，r为该待分类极化SAR图像的行数，k＝1,2,...,M，M为该待分类极化SAR图像像素点的个数；当计算下标小于等于0或大于等于M时，取该下标为当前像素点的标号k。

步骤4.划分训练集和测试集。

从待分类极化SAR特征向量的每个类别中随机选取10个样本组成训练样本集，其余作为测试样本集。

步骤5.对训练样本集中的样本两两组合，得到样本对训练集。

设一个含有C个类别、每个类别有K个标记样本的训练样本集{(x_i,y_i)},i＝1,2,C..K.，,其*中x_i为输入特征向量，y_i为类别标签；

每次取训练样本集中的两个不重复样本组合成一个样本对，得到样本对训练集：

{((x₁,x₂)^j,y_j)},j＝1,2,...,N，

其中x₁,x₂为第j个样本对的两个输入特征向量，y_j为该样本对标签，当x₁,x₂为同一类别时y_j＝1，当x₁,x₂为不同类别时y_j＝0，样本对的数量为：

其中(·)！为阶乘运算。

步骤6.搭建如图2所示的深度卷积孪生网络。

(6a)搭建权值共享的一维卷积孪生网络，用于极化SAR输入特征向量的差异化特

征提取：

(6a1)搭建输入层，该输入层的节点数设置为输入特征向量的维度；

(6a2)搭建第1个卷积层，卷积核个数设置为36，卷积核大小为1*3；

(6a3)搭建第2个卷积层，卷积核个数设置为80，卷积核大小为1*3；

(6a4)搭建第3个卷积层，卷积核个数设置为90，卷积核大小为1*3；

(6a5)将上述搭建的1个输入层和3个卷积层作为左通道，并将该左通道复制一份作为右通道，对左右两个通道进行权值共享，得到权值共享的一维卷积孪生网络，如图2中的Net#1所示；

(6b)搭建多层全连接分类网络用于监督网络微调：

(6b1)在一维卷积孪生网络之上增加第1个全连接层，作为全连接分类网络的输入层，该输入层的输入数据为一维卷积孪生网络的输出；

(6b2)在全连接分类网络的输入层之上增加第2个全连接层作为全连接分类网络的隐藏层，该隐藏层的节点数为输入层节点数的二分之一；

(6b3)在全连接分类网络的隐藏层之上增加第3个全连接层作为全连接分类网络的输出层，该输出层的节点数为待分类极化SAR图像的类别数目；

(6b4)将上述搭建的全连接分类网络与权值共享的一维卷积孪生网络组合，得到深度卷积孪生网络，如图2中的Net#2。

步骤7.训练深度卷积孪生网络。

(7a)对权值共享的一维卷积孪生网络训练，以实现极化SAR输入特征向量的差异化特征提取，具体步骤如下：

(7a1)设样本对训练集为：{((x₁,x₂)^j,y_j)},j＝1,2,...,N，其中N为样本对数量，x₁,x₂为第j个样本对的两个输入特征向量，y_j为该样本对的标签；

(7a2)利用样本对训练集，最小化如下一维卷积孪生网络的对比损失函数：

其中，ξ＞0为边际价值，D_w为一维卷积孪生网络输出的特征向量之间的欧式距离：

其中G_w为一维卷积孪生网络的权值；

(7a3)利用梯度下降法多次迭代优化一维卷积孪生网络的对比损失函数，求得最优权值

完成对一维卷积孪生网络的训练；

(7b)对多层全连接分类网络进行训练，以实现深度卷积孪生网络的微调，其具体步骤如下：

(7b1)设训练样本集为：{(x_i,y_i)},i＝1,2,...,L，其中，L为训练样本集的数目，x_i为输入特征向量，y_i为真实类别标记；

(7b2)利用训练样本集，最小化全连接分类网络的交叉熵损失函数：

其中，h_θ(·)表示网络决策函数，θ为全连接分类网络的权值；

(7b3)利用梯度下降法多次迭代优化全连接分类网络交叉熵损失函数，求得最优权值θ^*，完成深度卷积孪生网络的训练。

步骤8.分类与预测

(8a)将待分类极化SAR图像的测试样本集像素点的输入特征向量送入到训练好的深度卷积孪生网络中；

(8b)利用所训练好的深度卷积孪生网络，对待分类极化SAR图像的测试样本集像素点进行类别标签预测，得到对应像素点的地物类别标签；

(8c)将该待分类极化SAR图像的预测结果与其真实标记对比分析，统计分类准确率并画出分类结果图。

本发明的效果可通过以下仿真进一步说明。

1.仿真条件：

本发明的仿真实验室在Intel(R)Core(TM)i5-6500@3.20GHz、8.00GB RAM 64位Windows 7系统的硬件和软件环境下进行的，实验代码所依赖的深度学习库为tensorflow。

待分类极化SAR图像是一幅农田图像，如图3所示，该幅农田图的待分类地物类别包括亚麻、油菜籽、大麦、草地、土豆、小麦和甜菜七大区域，如图3(a)所示，图3(b)为该极化SAR图像对应的真实地物标记图，图3(b)中不同颜色代表不同的地物类别。

2.仿真内容：

仿真实验1，根据图3(b)的真实地物类别标签，从3(a)的数据集的每个类别中随机选取10个标记样本作为训练数据集，使用本发明方法进行分类预测，结果如图4。

仿真实验2，根据图3(b)的真实地物类别标签，从3(a)的数据集的每个类别中随机选取10个标记样本作为训练数据集，使用监督Wishart方法进行分类预测，其分类结果如图5所示。

仿真实验3，根据图3(b)的真实地物类别标签，从3(a)的数据集的每个类别中随机选取10个标记样本作为训练数据集，使用SVM方法进行分类预测，其分类结果如图6所示。

3.仿真结果分析

从分类结果图4与图5、图6的比较可以看出，本发明对该待分类极化SAR图像的分类结果有较好的主观视觉效果，区域一致性高，分类效果好。

统计上述三种实验方法对该幅待分类极化SAR图像的各类别分类准确率和总体分类准确率，如表1所示。

表1极化SAR农田图像分类结果表

从表1可以看出，本发明实验在总体分类准确率上与监督Wishart和SVM方法相比有明显的优势，分类准确率较高。

由以上的仿真实验可以说明，针对极化SAR图像的分类，本发明可在小样本条件下利用深度学习模型实现极化SAR地物分类，避免了原有技术中人工设计特征的高成本，也克服了传统监督方法需要大量标记样本的问题，在降低标记成本的同时获得了较高的分类准确率。

Claims (7)

1.一种基于深度卷积孪生网络的小样本极化SAR地物分类方法，包括：

(1)输入一幅430*280大小的待分类极化SAR图像及该极化SAR图像对应的真实地物标签信息；

(2)对待分类的极化SAR图像进行Lee滤波，去除相干斑噪声干扰，得到滤波后的待分类极化SAR图像数据；

(3)基于待分类极化SAR图像数据的极化相干矩阵T，提取每个像素点的极化特征向量，利用空间邻域信息，得到待分类的极化SAR输入特征向量；

(4)从待分类极化SAR特征向量的每个类别中随机选取10个样本组成训练样本集，其余作为测试样本集；

(5)对训练样本集中的样本两两组合，得到样本对训练集，若样本对中的两个样本属于同一类别，则为正样本对，否则为负样本对；

(6)搭建深度卷积孪生网络：

(6a)构造权值共享的一维卷积孪生网络作为特征提取网络；

(6b)在所构造的权值共享的一维卷积孪生网络之上，增加多层全连接分类网络，共同组成深度卷积孪生网络；

(7)训练深度卷积孪生网络：

(7a)对权值共享的一维卷积孪生网络训练，以实现极化SAR输入特征向量的差异化特征提取；

(7b)对多层全连接分类网络进行训练，以实现深度卷积孪生网络的微调；

(8)利用所训练好的深度卷积孪生网络对测试样本集的像素点进行类别预测，得到每个像素点的地物类别。

2.根据权利要求1所述的方法，其特征在于，其中步骤(3)中从滤波后的极化SAR图像数据中提取输入特征向量，按如下步骤进行：

(3a)极化SAR图像数据中每个像素点的极化相干矩阵T以维数为3*3矩阵表示：

(3b)根据极化SAR数据的极化相干矩阵T提取对应像素点的极化特征向量：

I＝(|T₁₁|²,|T₂₂|²,|T₃₃|²,|Re[T₁₂]|²,|Re[T₁₃]|²,|Re[T₂₃]|²,|Im[T₂₁]|²,|Im[T₂₃]|²,|Im[T₃₁]|²)其中，T_ij为极化相干矩阵T的第i行第j列的元素，i,j∈{1,2,3}；|·|为取模运算；Re[·]为取实部运算；Im[·]为取虚部运算；

(3c)基于空间一致性假设，用每个像素点为中心的3*3邻域窗口中的9个像素点的极化特征向量联合表示该像素点的输入特征向量：

x_k＝[I_k-r-1I_k-rI_k-r+1I_k-1I_kI_k+1I_k+r-1I_k+rI_k+r+1]，

其中，I_k为第k个像素点的极化特征向量，x_k为第k个像素点的输入特征向量，r为该待分类极化SAR图像的行数，k＝1,2,...,M，M为该待分类极化SAR图像像素点的个数；当计算下标小于等于0或大于等于M时，取该下标为当前像素点的标号k。

3.根据权利要求1所述的方法，其特征在于，其中步骤(5)中对训练样本集中的样本两两组合，得到样本对训练集，其实现如下：

设一个含有C个类别、每个类别有K个标记样本的训练样本集{(x_i,y_i)},i＝1,2,...,C*K，其中x_i为输入特征向量，y_i为类别标签；

每次取训练样本集中的两个不重复样本组合成一个样本对，得到样本对训练集：

{((x₁,x₂)^j,y_j)},j＝1,2,...,N，

其中x₁,x₂为第j个样本对的两个输入特征向量，y_j为该样本对标签，当x₁,x₂为同一类别时y_j＝1，当x₁,x₂为不同类别时y_j＝0，样本对的数量为：

其中(·)！为阶乘运算。

4.根据权利要求1所述的方法，其特征在于，其中步骤(6a)中构造权值共享的一维卷积孪生网络，按如下步骤进行：

(6a1)搭建输入层，该输入层的节点数设置为输入特征向量的维度；

(6a2)搭建第1个卷积层，卷积核个数设置为36，卷积核大小为1*3；

(6a3)搭建第2个卷积层，卷积核个数设置为80，卷积核大小为1*3；

(6a4)搭建第3个卷积层，卷积核个数设置为90，卷积核大小为1*3；

(6a5)将上述搭建的1个输入层和3个卷积层作为左通道，并将该左通道复制一份作为右通道，对左右两个通道进行权值共享，得到权值共享的一维卷积孪生网络。

5.根据权利要求1所述的方法，其特征在于，其中所述步骤(6b)，按如下步骤进行：

(6b1)在一维卷积孪生网络之上增加第1个全连接层，作为全连接分类网络的输入层，该输入层的输入数据为一维卷积孪生网络的输出；

(6b2)在全连接分类网络的输入层之上增加第2个全连接层作为全连接分类网络的隐藏层，该隐藏层的节点数为输入层节点数的二分之一；

(6b3)在全连接分类网络的隐藏层之上增加第3个全连接层作为全连接分类网络的输出层，该输出层的节点数为待分类极化SAR图像的类别数目；

(6b4)将上述搭建的全连接分类网络与权值共享的一维卷积孪生网络组合，得到深度卷积孪生网络。

6.根据权利要求1所述的方法，其特征在于，其中步骤(7a)中训练权值共享的一维卷积孪生网络，其实现如下：

(7a1)设样本对训练集为：{((x₁,x₂)^j,y_j)},j＝1,2,...,N，其中N为样本对数量，x₁,x₂为第j个样本对的两个输入特征向量，y_j为该样本对的标签；

(7a2)利用样本对训练集，最小化一维卷积孪生网络的对比损失函数：

其中，ξ＞0为边际价值，D_w为一维卷积孪生网络输出的特征向量之间的欧式距离：

其中G_w为一维卷积孪生网络的权值；

(7a3)利用梯度下降法多次迭代优化一维卷积孪生网络的对比损失函数，求得最优权值

完成对一维卷积孪生网络的训练。

7.根据权利要求1所述的方法，其特征在于，其中步骤(7b)中训练多层全连接分类网络，以实现深度卷积孪生网络的微调，其实现如下：

(7b1)设训练样本集为：{(x_i,y_i)},i＝1,2,...,L，其中，L为训练样本集的数目，x_i为输入特征向量，y_i为真实类别标记；

(7b2)利用训练样本集，最小化全连接分类网络的交叉熵损失函数：

其中，h_θ()表示网络决策函数，θ为全连接分类网络的权值；

(7b3)利用梯度下降法多次迭代优化全连接分类网络的交叉熵损失函数，求得最优权值θ^*。

Images