CN108846426B - 基于深度双向lstm孪生网络的极化sar分类方法 - Google Patents

Abstract

本发明公开一种基于深度卷积双向LSTM孪生网络的极化SAR分类方法，主要解决现有方法中由于极化SAR数据标记样本较少造成分类精度低的问题。其实现步骤为：1)输入待分类极化SAR图像与其真实地物标记，并进行Lee滤波；2)从滤波后的数据中提取时序特征向量并划分训练集和测试集；3)对训练集中的样本两两组合得到样本对训练集；4)搭建深度卷积双向LSTM孪生网络并用训练集和样本对训练集对其进行训练；5)用训练好的网络对测试集样本进行分类，获得地物类别。本发明在孪生架构下扩充训练集、提取差异化特征，于小样本标记条件下更为合理且充分的利用空间邻域信息进行双向时序建模，使模型分类准确率大幅度提高。

Description

基于深度双向LSTM孪生网络的极化SAR分类方法

技术领域

本发明属于图像处理技术领域，进一步涉及极化SAR数据地物分类方法，具体为一种基于深度卷积双向LSTM孪生网络的极化SAR分类方法，可用于图像分类、地物分类以及目标识别。

背景技术

极化SAR是一种能够对目标进行全极化测量的新型雷达技术，在全极化方式下，通过交替发射并同时接收水平极化与垂直极化的两种电磁波可以获得HH、HV、VH、VV四种不同的极化散射回波信息，组成目标的极化散射矩阵。该极化散射矩阵包含了被测地物目标完整的电磁散射特性，能够对目标进行全面的表达和描述，对地物的识别和区分能力较好。通过对极化散射矩阵的分析与变换，可以获得被测目标的全部极化散射特性和极化信息，为后续地物目标的识别、分类以及检测等提供全面、准确的信息。因此，极化SAR在目标检测、目标识别以及地物分类等应用领域具有十分突出的优势，被广泛应用于军事、农业和导航等众多领域。

近些年，经过众多专家学者的研究与探索，极化SAR数据地物分类方法获得了快速发展，并被广泛应用。其中，基于极化统计分布与目标分解的方法和基于深度学习的方法逐渐成为极化SAR数据地物分类的研究重点。

西安电子科技大学在其申请的专利文献“基于空间信息和深度学习的极化SAR图像分类方法”(专利申请号：CN201710311299.6，公开号：CN107145860A)中提出了一种基于空间信息和深度学习的极化SAR图像分类方法。该方法首先对待分类的极化SAR数据的极化相干矩阵进行滤波，再通过对滤波之后的极化相干矩阵进行特征值分解和Freeman分解来计算H/A/alpha和Freeman分解参数等极化SAR图像的空间信息，并将空间信息与相干矩阵的向量化结果进行融合得到多维极化特征向量，然后用极化SAR图像的多维极化特征向量训练深度置信网络，最后用训练好的深度置信网络完成分类。该方法虽然充分利用了极化SAR数据的目标分解特性，但该方法仍然存在的不足之处在于特征的人工设计和提取复杂，对极化SAR专业知识要求较高。

西安电子科技大学在其申请的专利文献“基于RBM和SVM的极化SAR图像分类方法”(专利申请号：CN201410597098.3，公开号：CN104331706A)中提出了一种基于RBM和SVM的极化SAR图像分类方法。该方法首先对待分类的极化SAR图像数据进行Lee滤波，去除相干斑噪声，得到滤波后的极化SAR图像，再利用极化相干矩阵和协方差矩阵以及Cloude分解提取特征，结合空间邻域信息构造输入特征向量并做归一化，然后训练RBM网络提取极化SAR数据特征，最后利用SVM对RBM所提取的特征进行分类完成未知标签数据的预测。该方法虽然充分利用了极化SAR数据的有标记样本的监督信息，提高了分类准确率，但该方法对于空间邻域信息只做了简单线性连接，其利用方式并不合理，容易引入数据冗余和噪声干扰，从而对数据分类造成干扰。

发明内容

本发明的目的在于针对上述已有技术的弊端和不足，提出一种基于深度卷积双向Bi-LSTM孪生网络的小样本极化SAR地物分类方法，以在小样本标记条件下更为合理且充分的利用空间邻域信息，在降低标记成本的同时极大地提高分类精度。

实现本发明的技术方案包括如下：

(1)输入待分类极化SAR图像及该极化SAR图像所对应的真实地物标签信息；

(2)对待分类的极化SAR图像进行Lee滤波处理，去除相干斑噪声干扰，得到滤波后的待分类极化SAR图像数据；

(3)从滤波后待分类极化SAR图像数据的极化协方差矩阵C中提取每个像素点的极化特征向量，利用空间邻域信息，得到待分类极化SAR图像数据的时序特征向量；

(4)从时序特征向量的每个类别中随机选取10个样本组成训练样本集D_L，其余作为测试样本集D_T；

(5)对训练样本集D_L中的样本两两组合，得到样本对训练集D_P，若样本对中的两个样本属于同一类别，则为正样本对，否则为负样本对；

(6)搭建深度卷积双向LSTM孪生网络：

(6a)构造权值共享的卷积双向LSTM孪生网络作为特征提取网络；

(6b)在特征提取网络之上，添加多层全连接分类网络，共同组成深度卷积双向LSTM孪生网络；

(7)训练深度卷积双向LSTM孪生网络：

(7a)利用样本对训练集D_P训练权值共享的卷积双向LSTM孪生网络，实现极化SAR数据的差异化特征提取；

(7b)利用训练样本集D_L训练包括全连接分类网络在内的深度卷积双向LSTM孪生网络，以实现网络的整体微调；

(8)利用所训练好的深度卷积双向LSTM孪生网络对测试样本集D_T的像素点进行类别预测，得到每个像素点的地物类别。

本发明与现有的技术相比具有以下优点：

第一，由于本发明采用深度学习实现极化SAR数据的地物分类，其充分利用深度神经网络，从极化协方差矩阵的原始数据中自动提取特征，避免了现有技术中需要人工设计特征、设计过程复杂且需要专家领域知识的问题，使得在小样本条件下能够直接从原始数据出发，自动提取特征并完成分类；

第二，由于本发明采用孪生网络结构和对比损失函数进行特征提取，因此，可以利用训练样本集构造样本对训练集，从而极大地扩展了训练样本，同时使得所提取的不同样本之间的特征差异性较大，从而利于模型后续对样本的分类；

第三，由于本发明利用利用双向LSTM对空间邻域数据建模并提取数据特征，使得对空间邻域信息的利用更加合理，能够提取到更完整的特征，从而提高了模型的分类能力。

第四，由于本发明采用卷积Bi-LSTM模型，在少量标记样本信息的条件下合理、充分的利用样本信息自动提取特征，克服了现有技术在训练过程大量标记样本信息的问题，从而减少了复杂且高成本的人工标记工作，同时，提高了模型的分类精度。

附图说明

图1是本发明的实现流程框图；

图2是本发明空间邻域信息双向LSTM建模示意图；

图3是本发明中构建的深度卷积孪生网络结构图；

图4是本发明仿真使用的极化SAR图像；

图5是用本发明对图4进行分类的结果图；

图6是用现有监督Wishart方法对图4进行分类的结果图；

图7是用现有SVM方法对图4进行分类的结果图；

图8是用现有SAE方法对图4进行分类的结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及具体实施例对本发明做详细的介绍和描述。

参照附图1，本发明的具体实现步骤如下：

步骤1.输入一幅大小为300*270的待分类极化SAR图像及该极化SAR图像对应的真实地物标签信息。

步骤2.采用Lee滤波方法对待分类的极化SAR图像数据进行滤波处理，去除相干斑噪声干扰，得到滤波后的待分类极化SAR图像数据。

步骤3.从滤波后待分类极化SAR图像数据的极化协方差矩阵C中提取每个像素点的极化特征向量，利用空间邻域信息，得到待分类极化SAR图像数据的时序特征向量；

(3a)极化SAR图像数据中每个像素点的极化协方差矩阵C以维数为3*3矩阵表示：

(3b)根据极化SAR数据的极化协方差矩阵C提取对应像素点的极化特征向量：

I＝(|C₁₁|²,|C₂₂|²,|C₃₃|²,|Re[C₁₂]|²,|Re[C₁₃]|²,|Re[C₂₃]|²,|Im[C₂₁]|²,|Im[C₂₃]|²,|Im[C₃₁]|²)，

其中，C_ij为极化协方差矩阵C的第i行第j列的元素，且i,j∈{1,2,3}；|·|为取模运算；Re[·]为取实部运算；Im[·]为取虚部运算；

(3c)基于空间一致性假设，用每个像素点为中心的3*3邻域窗口中的9个像素点作为LSTM网络的9个时刻，并用其极化特征向量共同构成9*1*9维的时序数据作为待分类像素点的时序特征向量；

具体的，如图2(a)所示，设9个像素点的中心像素点为第k个待分类像素点，以该像素点为对称中心将其周围8个像素点划分为左上和右下两部分，再将待分类像素点k的极化特征向量置于中间时刻位置，待分类像素点k的左上半部分(图2a左中红色线框内)位于序列的前4个时刻、右下半部分(图2a右中蓝色线框内)位于序列的后4个时刻，得到第k个待分类像素点的时序特征向量x_k：

x_k＝[[I_k-r-1],[I_k-r+1],[I_k-r],[I_k-1],[I_k]，[I_k+1],[I_k+r],[I_k+r-1],[I_k+r+1]]，

其中，I_k为第k个像素点的极化特征向量，r为该待分类极化SAR图像的行数，k＝1,2,...,M，M为该待分类极化SAR图像像素点的个数；当计算下标小于等于0或大于M时，取该下标为当前像素点的标号k。

时序特征向量与卷积Bi-LSTM的输入对应方式如图2(b)所示。

步骤4.划分训练样本集和测试样本集。

从待分类极化SAR图像数据时序特征向量的每个类别中随机选取10个样本组成训练样本集D_L，其余作为测试样本集D_T；

步骤5.对训练样本集D_L中的样本两两组合，得到样本对训练集D_P。

设一个含有C个类别、每个类别有K个标记样本的训练样本集：

D_L＝{(x_i,y_i)},i＝1,2,...,C*K，

其中x_i为时序特征向量，y_i为类别标签；

每次取训练样本集D_L中的两个不重复样本组合成一个样本对，得到样本对训练集：

D_P＝{((x₁,x₂)^j,y_j)},j＝1,2,...,N，

其中x₁,x₂为第j个样本对的两个时序特征向量，y_j为该样本对标签，当x₁,x₂为同一类别时y_j＝1，当x₁,x₂为不同类别时y_j＝0，样本对的数量为：

其中(·)！为阶乘运算。

步骤6.搭建如图3所示的深度卷积Bi-LSTM孪生网络。

(6a)搭建权值共享的卷积Bi-LSTM孪生网络，对极化SAR数据的空间邻域信息进行双向时序建模，并实现极化SAR数据的时序特征向量的差异化特征提取：

(6a1)搭建输入层，该输入层的时序长度为邻域窗口中像素点个数9，每个时刻输入维度为输入极化特征向量的维度1*9；

(6a2)搭建层数为3的卷积Bi-LSTM层，每层中卷积核个数设置为8，卷积核大小为1*3，卷积步长设置为1；

(6a3)将上述搭建的输入层和卷积Bi-LSTM层作为左通道，并将该左通道复制一份作为右通道，对左右两个通道进行权值共享，得到权值共享的卷积Bi-LSTM孪生网络。如图3中的Net#1所示。

(6b)搭建多层全连接分类网络用于深度卷积Bi-LSTM网络的整体监督微调：

(6b1)在卷积Bi-LSTM孪生网络之上增加第1个全连接层，作为全连接分类网络的输入层，该输入层的输入数据为卷积Bi-LSTM孪生网络的输出；

(6b2)在全连接分类网络的输入层之上增加第2个全连接层作为全连接分类网络的隐藏层，该隐藏层的节点数为输入层节点数的二分之一；

(6b3)在全连接分类网络的隐藏层之上增加第3个全连接层作为全连接分类网络的输出层，该输出层的节点数为待分类极化SAR图像的类别数目；

(6b4)将上述搭建的全连接分类网络与权值共享的卷积Bi-LSTM孪生网络组合，得到深度卷积Bi-LSTM孪生网络，如图3中的Net#2所示。

步骤7.训练深度卷积Bi-LSTM孪生网络。

(7a)利用样本对训练集D_P训练权值共享的卷积双向LSTM孪生网络，实现极化SAR数据的差异化特征提取：

(7a1)设样本对训练集为：D_P＝{((x₁,x₂)^j,y_j)},j＝1,2,...,N，其中N为样本对数量，x₁,x₂为第j个样本对的两个输入特征向量，y_j为该样本对的标签；

(7a2)利用样本对训练集，最小化卷积Bi-LSTM孪生网络的对比损失函数：

其中，ξ＞0为边际价值，D_w为卷积Bi-LSTM孪生网络输出的特征向量之间的欧式距离：

其中G_w为卷积Bi-LSTM孪生网络的权值；

(7a3)利用梯度下降法多次迭代优化卷积Bi-LSTM孪生网络的对比损失函数，求得最优权值

完成对卷积Bi-LSTM孪生网络的训练。

(7b)利用训练样本集D_L训练包括全连接分类网络在内的深度卷积Bi-LSTM孪生网络，以实现网络的整体微调：

(7b1)设训练样本集为：D_L＝{(x_i,y_i)},i＝1,2,...,L，其中，L为训练样本集的数目，x_i为输入特征向量，y_i为真实类别标记；

(7b2)利用训练样本集，最小化全连接分类网络的交叉熵损失函数：

其中，h_θ(·)表示网络决策函数，θ为全连接分类网络的权值；

(7b3)利用梯度下降法多次迭代优化全连接分类网络的交叉熵损失函数，求得最优权值θ^*。

步骤8.分类与预测。

(8a)利用所训练好的深度卷积Bi-LSTM孪生网络对测试集D_T的像素点进行类别预测，得到每个像素点的地物类别预测结果；

(8b)将该待分类极化SAR图像的预测结果与其真实地物标签信息进行对比分析，统计分类准确率并画出分类结果图。

本发明的效果可通过以下仿真进一步说明。

1.仿真条件：

本发明的仿真实验室在Intel(R)Core(TM)i5-6500@3.20GHz、8.00GB RAM 64位Windows 7系统的硬件和软件环境下进行的，实验代码所依赖的深度学习库为tensorflow。

待分类极化SAR图像是一幅农田图像，如图4所示，该幅农田图的待分类地物类别包括裸地、马铃薯、甜菜、大麦、豌豆和小麦，如图4(a)所示，图4(b)为该极化SAR图像对应的真实地物标记图，图4(b)中不同颜色代表不同的地物类别。

2.仿真内容：

仿真实验1，根据图4(b)的真实地物类别标签，从4(a)的数据集的每个类别中随机选取10个标记样本作为训练样本集，使用本发明方法进行分类预测，结果如图5。

仿真实验2，根据图4(b)的真实地物类别标签，从4(a)的数据集的每个类别中随机选取10个标记样本作为训练样本集，使用监督Wishart方法进行分类预测，其分类结果如图6所示。

仿真实验3，根据图4(b)的真实地物类别标签，从4(a)的数据集的每个类别中随机选取10个标记样本作为训练样本集，使用SVM方法进行分类预测，其分类结果如图7所示。

仿真实验4，根据图4(b)的真实地物类别标签，从4(a)的数据集的每个类别中随机选取10个标记样本作为训练样本集，使用SAE方法进行分类预测，其分类结果如图8所示。

3.仿真结果分析

从分类结果图5与图6、图7、图8的比较可以看出，本发明对该待分类极化SAR图像的分类结果的区域一致性好，分类均匀，分类效果好。

统计上述三种实验方法对该幅待分类极化SAR图像的各类别分类准确率和总体分类准确率，如表1所示。

表1 极化SAR农田图像分类结果表

从表1可以看出，本发明实验在总体分类准确率上与监督Wishart，SVM和SAE方法相比有明显的优势，分类准确率较高。

由以上的仿真实验可以说明，针对极化SAR图像的分类，本发明可以在小样本标记信息的条件下利用深度卷积Bi-LSTM孪生网络实现极化SAR地物分类，避免了原有技术中人工设计特征的复杂和高成本，以及需要大量标记样本，且对空间信息的利用不合理等诸多问题。本发明在孪生架构下扩充了训练集并提取差异化特征，并对空间邻域信息进行双向时序建模，对样本信息的利用更合理，特征提取更完整，能够实现极化SAR地物的准确分类，适用于极化SAR图像的目标识别和地物识别。

本发明未详细说明部分属于本领域技术人员公知常识。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于深度卷积双向LSTM孪生网络的极化SAR分类方法，其特征在于，包括如下步骤：

(1)输入待分类极化SAR图像及该极化SAR图像所对应的真实地物标签信息；

(2)对待分类的极化SAR图像进行Lee滤波处理，去除相干斑噪声干扰，得到滤波后的待分类极化SAR图像数据；

(3)从滤波后待分类极化SAR图像数据的极化协方差矩阵C中提取每个像素点的极化特征向量，利用空间邻域信息，得到待分类极化SAR图像数据的时序特征向量；按如下步骤进行：

(3a)极化SAR图像数据中每个像素点的极化协方差矩阵C以维数为3*3矩阵表示：

(3b)根据极化SAR数据的极化协方差矩阵C提取对应像素点的极化特征向量：

I＝(|C₁₁|²,|C₂₂|²,|C₃₃|²,|Re[C₁₂]|²,|Re[C₁₃]|²,|Re[C₂₃]|²,|Im[C₂₁]|²,|Im[C₂₃]|²,|Im[C₃₁]|²)，

其中，C_ij为极化协方差矩阵C的第i行第j列的元素，且i,j∈{1,2,3}；|·|为取模运算；Re[·]为取实部运算；Im[·]为取虚部运算；

(3c)基于空间一致性假设，用每个像素点为中心的3*3邻域窗口中的9个像素点作为LSTM网络的9个时刻，并用其极化特征向量共同构成9*1*9维的时序数据作为待分类像素点的时序特征向量；具体通过如下方式得到：

设9个像素点的中心像素点为第k个待分类像素点，以该像素点为对称中心将其周围8个像素点划分为左上和右下两部分，再将待分类像素点k的极化特征向量置于中间时刻位置，待分类像素点k的左上半部分位于序列的前4个时刻、右下半部分位于序列的后4个时刻，得到第k个待分类像素点的时序特征向量x_k：

x_k＝[[I_k-r-1],[I_k-r+1],[I_k-r],[I_k-1],[I_k]，[I_k+1],[I_k+r],[I_k+r-1],[I_k+r+1]]，

其中，I_k为第k个像素点的极化特征向量，r为该待分类极化SAR图像的行数，k＝1,2,...,M，M为该待分类极化SAR图像像素点的个数；当计算下标小于等于0或大于M时，取该下标为当前像素点的标号k；

(4)从时序特征向量的每个类别中随机选取10个样本组成训练样本集D_L，其余作为测试样本集D_T；

(5)对训练样本集D_L中的样本两两组合，得到样本对训练集D_P，若样本对中的两个样本属于同一类别，则为正样本对，否则为负样本对；

(6)搭建深度卷积双向LSTM孪生网络：

(6a)构造权值共享的卷积双向LSTM孪生网络作为特征提取网络；

(6b)在特征提取网络之上，添加多层全连接分类网络，共同组成深度卷积双向LSTM孪生网络；

(7)训练深度卷积双向LSTM孪生网络：

(7a)利用样本对训练集D_P训练权值共享的卷积双向LSTM孪生网络，实现极化SAR数据的差异化特征提取；

(7b)利用训练样本集D_L训练包括全连接分类网络在内的深度卷积双向LSTM孪生网络，以实现网络的整体微调；

(8)利用所训练好的深度卷积双向LSTM孪生网络对测试样本集D_T的像素点进行类别预测，得到每个像素点的地物类别。

2.根据权利要求1所述的方法，其特征在于，其中步骤(5)中对训练样本集D_L中的样本两两组合，得到样本对训练集D_P，其实现如下：

设一个含有C个类别、每个类别有K个标记样本的训练样本集：

D_L＝{(x_i,y_i)},i＝1,2,...,C*K，

其中x_i为时序特征向量，y_i为类别标签；

每次取训练样本集中的两个不重复样本组合成一个样本对，得到样本对训练集：

D_P＝{((x₁,x₂)^j,y_j)},j＝1,2,...,N，

其中x₁,x₂为第j个样本对的两个时序特征向量，y_j为该样本对标签，当x₁,x₂为同一类别时y_j＝1，当x₁,x₂为不同类别时y_j＝0，样本对的数量为：

其中(·)！为阶乘运算。

3.根据权利要求1所述的方法，其特征在于，其中步骤(6a)中构造权值共享的卷积双向LSTM孪生网络，按如下步骤进行：

(6a1)搭建输入层，该输入层的时序长度为邻域窗口中像素点个数9，每个时刻输入维度为输入极化特征向量的维度1*9；

(6a2)搭建层数为3的卷积双向LSTM层，每层中卷积核个数设置为8，卷积核大小为1*3，卷积步长设置为1；

(6a3)将上述搭建的输入层和卷积双向LSTM层作为左通道，并将该左通道复制一份作为右通道，对左右两个通道进行权值共享，得到权值共享的卷积双向LSTM孪生网络。

4.根据权利要求1所述的方法，其特征在于，其中所述步骤(6b)，按如下步骤进行：

(6b1)在卷积双向LSTM孪生网络之上增加第1个全连接层，作为全连接分类网络的输入层，该输入层的输入数据为卷积双向LSTM孪生网络的输出；

(6b2)在全连接分类网络的输入层之上增加第2个全连接层作为全连接分类网络的隐藏层，该隐藏层的节点数为输入层节点数的二分之一；

(6b3)在全连接分类网络的隐藏层之上增加第3个全连接层作为全连接分类网络的输出层，该输出层的节点数为待分类极化SAR图像的类别数目；

(6b4)将上述搭建的全连接分类网络与权值共享的卷积双向LSTM孪生网络组合，得到深度卷积双向LSTM孪生网络。

5.根据权利要求1所述的方法，其特征在于，其中步骤(7a)中训练权值共享的卷积双向LSTM孪生网络，其实现如下：

(7a1)设样本对训练集为：D_P＝{((x₁,x₂)^j,y_j)},j＝1,2,...,N，其中N为样本对数量，x₁,x₂为第j个样本对的两个输入特征向量，y_j为该样本对的标签；

(7a2)利用样本对训练集，最小化卷积双向LSTM孪生网络的对比损失函数：

其中，ξ＞0为边际价值，D_w为卷积双向LSTM孪生网络输出的特征向量之间的欧式距离：

其中G_w为卷积双向LSTM孪生网络的权值；

(7a3)利用梯度下降法多次迭代优化卷积双向LSTM孪生网络的对比损失函数，求得最优权值

完成对卷积双向LSTM孪生网络的训练。

6.根据权利要求1所述的方法，其特征在于，其中步骤(7b)中训练多层全连接分类网络，以实现深度卷积双向LSTM孪生网络的微调，其实现如下：

(7b1)设训练样本集为：D_L＝{(x_i,y_i)},i＝1,2,...,L，其中，L为训练样本集的数目，x_i为输入特征向量，y_i为真实类别标记；

(7b2)利用训练样本集，最小化全连接分类网络的交叉熵损失函数：

其中，h_θ(·)表示网络决策函数，θ为全连接分类网络的权值；

(7b3)利用梯度下降法多次迭代优化全连接分类网络的交叉熵损失函数，求得最优权值θ^*。

Images