CN106874889B

CN106874889B - 基于卷积神经网络的多特征融合sar目标鉴别方法

Info

Publication number: CN106874889B
Application number: CN201710148659.5A
Authority: CN
Inventors: 王英华; 王宁; 刘宏伟; 纠博; 杨柳; 何敬鲁
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2017-03-14
Filing date: 2017-03-14
Publication date: 2019-07-02
Anticipated expiration: 2037-03-14
Also published as: CN106874889A

Abstract

本发明公开了一种基于卷积神经网络的多特征融合SAR目标鉴别方法，主要解决现有技术在复杂场景下SAR目标鉴别性能低的问题。其方案是：1)对给定的训练集进行预处理，获取新的训练集；2)构架基于卷积神经网络的SAR目标鉴别网络；3)将新的训练集输入到构建好的SAR目标鉴别网络中进行训练，得到训练好的网络；4)对给定的测试集进行预处理，获取新的测试集；5)将新的测试集输入到训练好的SAR目标鉴别网络中，得到最终的目标鉴别结果。本发明构建的SAR目标鉴别网络联合利用了SAR图像的幅度信息和边缘信息，并结合了卷积神经网络强大的特征学习能力，提升了鉴别的性能，可用于对复杂场景的SAR目标鉴别。

Description

基于卷积神经网络的多特征融合SAR目标鉴别方法

技术领域

本发明属于雷达技术领域，主要涉及SAR图像目标鉴别方法，可用于对车辆目标识别与分类提供重要信息。

背景技术

合成孔径雷达SAR利用微波遥感技术，不受气候和昼夜影响，具有全天时、全天候的工作能力，并具有多频段、多极化、视角可变和穿透性等特点。SAR图像自动目标识别ATR是SAR图像的重要应用之一。基本的SAR图像自动目标识别ATR系统一般包括目标检测、目标鉴别和目标识别三个阶段。目标鉴别用于去除候选目标中的杂波虚警，在SAR图像自动目标识别ATR中具有重要的研究意义。

SAR目标鉴别问题可被认为是两类分类问题。在目标鉴别过程中，如何设计有效的鉴别特征是至关重要的。在过去的几十年，有大量关于SAR目标鉴别特征提取的研究，例如：(1)林肯实验室提出了基于纹理信息的标准差特征、分形维特征及排列能量比特征和一系列基于空间边界信息的特征；(2)密歇根环境研究所ERIM提出了基于目标和背景对比度的峰值CFAR特征、均值CFAR特征及CFAR最亮点百分比特征和基于目标形状的质量特征及直径特征；(3)其他一些文献提出了水平和垂直投影特征、最小和最大投影长度特征。但是，这些传统特征只能提供粗糙的、部分的描述，而不能描述目标和杂波详细的局部形状和结构信息。当目标和杂波在纹理、尺寸和对比度方面没有明显差别时，这些特征不能表现出很好的鉴别性能。另外，传统特征适用于简单场景下自然杂波与目标的鉴别，随着SAR图像分辨率的不断提升，传统特征对复杂场景下的目标鉴别具有较大的局限性。

近年来，卷积神经网络CNN已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。它使图像直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程，并且对平移、旋转、比例缩放或者其他形式的变形具有高度不变性。目前，卷积神经网络已成功地应用于SAR目标识别任务中，例如，用CNN与支持向量机SVM结合的方法对目标进行识别。但是，此类方法仅使用单一的网络结构并以原始SAR图像作为网络的输入进行目标识别，并没有充分利用SAR图像的其他有用信息，例如，描述图像几何结构信息的边缘信息。当SAR图像场景变得复杂时，单一的信息不能充分地表征目标的特性，使得目标鉴别性能降低。

发明内容

本发明的目的在于针对已有SAR目标鉴别方法的不足，提出一种基于卷积神经网络的多特征融合SAR目标鉴别方法，以提高在复杂场景下的目标鉴别性能，从而有助于提升目标的鉴别准确率。

本发明的技术思路是：通过对训练样本进行预处理，得到每个样本的Lee滤波后的图像和梯度幅度图像，一同输入到基于卷积神经网络的SAR目标鉴别网络框架中进行训练，通过对测试样本进行同样的预处理并输入到训练好的网络框架中得到最终的目标鉴别结果。其实现步骤包括如下：

(1)对训练集Φ中的每个训练样本M进行Lee滤波处理得到滤波后的训练图像M'，再对每个训练样本M提取梯度幅度训练图像并与滤波后的训练图像M'一起构成新的训练集Φ'；

(2)构建基于卷积神经网络的SAR目标鉴别网络框架Ψ，该网络框架包括特征提取、特征融合和分类器三个部分；

2a)构建特征提取部分：

构建结构完全相同的第一卷积神经网络A和第二卷积神经网络B，这两个卷积神经网络均包括三层卷积层、两层全连接层和一层softmax分类器层，即第一卷积层L₁、第二卷积层L₂、第三卷积层L₃、第四全连接层L₄、第五全连接层L₅、第六softmax分类器层L₆，分别提取第一卷积神经网络A和第二卷积神经网络B的第四全连接层L₄的输出作为第一卷积神经网络A的h维列向量特征和第二卷积神经网络B的h维列向量特征

2b)构建特征融合部分：

分别在两个h维列向量特征和后补z个0，使其变为d维列向量，

z≥0，再分别变换为l×l的二维矩阵形式和其中l×l＝d，再将和拼接成l×l×2的三维融合特征X作为分类器部分的输入；

2c)构建分类器部分：

构建第三卷积神经网络C，其包括两层卷积层、两层全连接层和一层softmax分类器层，即第一层卷积层C₁、第二层卷积层C₂、第三层全连接层C₃、第四层全连接层C₄和第五层softmax分类器层C₅；

(3)将新的训练集Φ'输入到构建好的SAR目标鉴别网络框架Ψ中进行训练，得到训练好的网络框架Ψ'；

(4)对测试集T中的每个测试样本N进行Lee滤波，得到滤波后的测试图像N'，再对每个测试样本N提取梯度幅度测试图像并与滤波后的测试图像N'一起构成新的测试集T'；

(5)将新的测试集T'输入到训练好的SAR目标鉴别网络框架Ψ'中，得到最终的目标鉴别结果。

本发明与现有技术相比具有以下优点：

1)本发明由于构建了一种由特征提取、特征融合和分类器三部分组成的SAR目标鉴别网络框架，并联合利用了SAR图像的幅度信息和边缘信息，结合了三个卷积神经网络强大的特征学习能力，提升了在复杂场景下SAR目标的鉴别性能。

2)本发明提出的特征融合方式由于维持了不同特征之间的空间关系，能够使不同特征在后续处理中联合表示目标的特性，实现了更好的特征融合效果。

附图说明

图1是本发明的实现流程图；

图2是本发明的网络框架图；

图3是本发明实验所用的miniSAR数据图像。

具体实施方式

下面结合附图对本发明的实施方案和效果进行详细说明：

本发明方法主要涉及复杂场景下的车辆目标鉴别，现有的目标鉴别方法，大多是基于MSTAR数据集进行验证，该数据描述的场景较为简单。目标和杂波在纹理，形状和对比度上差异较大。随着雷达分辨率的提升，SAR图像描述的场景也更为复杂，目标不仅有单目标还有多目标和局部目标的情况，杂波也不仅是自然杂波，还有大量形状各异的人造杂波，现有的目标鉴别方法的鉴别性能随之下降。针对以上问题，本发明结合卷积神经网络强大的特征学习能力，提出一种基于卷积神经网络的SAR目标鉴别网络框架，对SAR目标进行鉴别，提高在复杂场景下对SAR目标的鉴别性能。

参照图1，本发明的实现步骤如下：

步骤1，获取新的训练集Φ'。

1a)给定训练集Φ，并对其每个训练样本M进行Lee滤波处理，得到滤波后的训练图像M'，作为SAR目标鉴别网络框架Ψ中第一卷积神经网络A的输入；

1b)运用均值比检测算法对每个训练样本M提取梯度幅度训练图像作为SAR目标鉴别网络框架Ψ中第二卷积神经网络B的输入；

1c)用滤波后的训练图像M'和梯度幅度训练图像构成新的训练集Φ'。

步骤2，构建基于卷积神经网络的SAR目标鉴别网络框架Ψ。

参照图2，SAR目标鉴别网络框架包括特征提取、特征融合和分类器三个部分，其构建步骤如下：

2a)构建特征提取部分，提取列向量特征和列向量特征

2a1)构建结构完全相同的第一卷积神经网络A和第二卷积神经网络B。这两个卷积神经网络均包括三层卷积层、两层全连接层和一层softmax分类器层，即第一卷积层L₁、第二卷积层L₂、第三卷积层L₃、第四全连接层L₄、第五全连接层L₅、第六softmax分类器层L₆；该第一卷积神经网络A和第二卷积神经网络B的各层的参数设置及关系如下：

第一卷积层L₁，其卷积核K¹的窗口大小为3×3，滑动步长S¹为2，用于对输入进行卷积，输出96个特征图j表示第j个特征图，该层作为第二卷积层L₂的输入；

第二卷积层L₂，其卷积核K²的窗口大小为3×3，滑动步长S²为2，用于对第一卷积层L₁输出的96个特征图进行卷积，输出128个特征图 k表示第k个特征图，k＝1,2…128；每个特征图经过一个下采样，得到128个降维后的特征图其中下采样核U²的窗口大小为3×3，滑动步长V²为2，该层作为第三卷积层L₃的输入；

第三卷积层L₃，其卷积核K³的窗口大小为3×3，滑动步长S³为2，用于对第二卷积层L₂输出的128个降维后的特征图进行卷积，输出256个特征图k＝1,2…128，q表示第q个特征图，q＝1,2…256；每个特征图经过一个下采样，得到256个降维后的特征图其中下采样核U³的窗口大小为3×3，滑动步长V³为2，该层作为第四全连接层L₄的输入；

第四全连接层L₄，其设有1000个神经元，用于将第三卷积层L₃输出的每个降维后的特征图分别拉成列向量并进行串联拼接得到e维列向量D，并对列向量D进行非线性映射，输出一个1000维列向量X⁴，q＝1,2…256，该层作为第五全连接层L₅的输入；

第五全连接层L₅，其设有2个神经元，用于对第四全连接层L₄输出的一个1000维列向量X⁴进行非线性映射，输出一个2维列向量X⁵，该层作为第六softmax分类器层L₆的输入；

第六softmax分类器层L₆，该层用于将第五全连接层L₅得到的2维列向量X⁵输入到两类softmax分类器中，计算输入数据为目标和杂波的概率，输出结果；

2a2)提取第一卷积神经网络A的第四全连接层L₄的输出作为第一卷积神经网络A的1000维列向量特征

2a3)提取第二卷积神经网络B的第四全连接层L₄的输出作为第二卷积神经网络B的1000维列向量特征

2b)构建特征融合部分，获取三维融合特征X：

2b1)分别在两个1000维列向量特征和后补24个0，使其变为1024维列向量；

2b2)分别将两个1024维列向量变换为32×32的二维矩阵形式和

2b3)将和拼接成一个32×32×2的三维融合特征X，作为分类器部分的输入；

2c)构建分类器部分，输出鉴别结果：

构建第三卷积神经网络C，其包括两层卷积层、两层全连接层和一层softmax分类器层，即第一层卷积层C₁、第二层卷积层C₂、第三层全连接层C₃、第四层全连接层C₄和第五层softmax分类器层C₅；第三卷积神经网络C的各层的参数设置及关系如下：

第一层卷积层C₁，其卷积核K^1'的窗口大小为3×3，滑动步长S^1'为2，用于对输入进行卷积，输出96个特征图m表示第m个特征图；每个特征图经过一个下采样，得到96个降维后的特征图其中下采样核U^1'的窗口大小为3×3，滑动步长V^1'为2，该层作为第二层卷积层C₂的输入；

第二层卷积层C₂，其卷积核K^2'的窗口大小为3×3，滑动步长S^2'为2，用于对第一层卷积层C₁输出的96个降维后的特征图进行卷积，输出128个特征图n表示第n个特征图，n＝1,2…128；每个特征图经过一个下采样，得到128个降维后的特征图其中下采样核U^2'的窗口大小为3×3，滑动步长V^2'为2，该层作为第三层全连接层C₃的输入；

第三层全连接层C₃，其设有1000个神经元，用于将第二层卷积层C₂输出的每个降维后的特征图分别拉成列向量并进行串联拼接得到a维列向量W，并对列向量W进行非线性映射，输出一个1000维列向量Y³，n＝1,2…128，该层作为第四层全连接层C₄的输入；

第四层全连接层C₄，其设有2个神经元，用于对第三层全连接层C₃输出的一个1000维列向量Y³进行非线性映射，输出一个2维特征向量Y⁴，该层作为第五层softmax分类器层C₅的输入。

第五层softmax分类器层C₅，用于将第四层全连接层C₄得到的2维列向量Y⁴输入到两类softmax分类器中，计算输入样本为目标和杂波的概率，输出鉴别结果。

步骤3，将新的训练集Φ'输入到构建好的SAR目标鉴别网络框架Ψ中，通过反向传播算法和随机梯度下降法对网络进行训练，得到训练好的网络框架Ψ'。

步骤4，获取新的测试集T'。

4a)给定测试集T，并对其每个测试样本N进行Lee滤波处理，得到滤波后的测试图像N'，作为训练好的网络框架Ψ'中第一卷积神经网络A的输入；

4b)运用均值比检测算法对每个测试样本N提取梯度幅度测试图像作为训练好的网络框架Ψ'中第二卷积神经网络B的输入；

4c)用滤波后的测试图像N'和梯度幅度测试图像构成新的测试集T'。

步骤5，将新的测试集T'输入到训练好的网络框架Ψ'中，得到分类器部分中第三卷积神经网络C的第五层softmax分类器层C₅的输出结果，作为最终的目标鉴别结果。

本发明的效果可通过以下实验数据进一步说明：

一.实验条件

1)实验数据：

本实验所用的样本图像来自于美国Sandia实验室公开的miniSAR数据集，这些数据下载自Sandia实验室的网站，实验所用6幅图像示例如图3所示，图像分辨率均为0.1m×0.1m。其中，图3(a)所示的第一幅图像Image1的大小为2510×3274，图3(b)～图3(f)所示的第二幅图像至第六幅图像Image2～Image6的大小均为2510×1638。实验中，选择其中一幅图像作为测试图像，另外5幅图像作为训练图像。实验中仅对图3(a)～图3(d)所示的第一幅图像至第四幅图像Image1～Image4进行了测试。对于每幅测试图像，提取的测试目标切片及杂波切片数如表1所示，训练目标切片及杂波切片是从剩余5幅图像中对应的目标及杂波区域中进行密集采样得到，所有切片大小为90×90。

表1测试目标及杂波样本数

测试图像	目标切片数	杂波切片数
			Image1	159	627
Image2	140	599
			Image3	115	305
Image4	79	510

2)实验选择的22个传统特征及1组组合特征：

22个传统特征是：平均距离特征、连续特征1、连续特征2、连续特征3、连续特征4、连续特征5、连续特征6、计数特征、直径特征、分形维特征、质量特征、峰值CFAR特征、均值CFAR特征、最小距离特征、CFAR最亮点百分比特征、标准差特征、排列能量比特征、图像像素质量的平均值特征、图像像素空间离散程度特征、拐点特征、加速度特征；

由CFAR最亮点百分比特征、标准差特征和排列能量比特征，组合成一组组合特征Combine Feature；

3)对22个传统特征及1组组合特征使用的分类器：

实验中，对于传统特征使用高斯SVM分类器进行分类，SVM分类器采用LIBSVM工具包，其参数在训练阶段通过10折交叉验证获得；

二.实验内容：

用现有的22个传统特征及1组组合特征的SAR目标鉴别方法与本发明方

法对复杂场景下的SAR目标鉴别进行对比实验，结果如表2所示：

表2 不同方法的鉴别结果(100％)

表2中的Pd表示检测率，Pf表示虚警率，Pc表示总体精度。

从表2中可见，对于4幅测试图像Image1～Image4，本发明的总体精度Pc最高，说明在复杂场景下，本发明的鉴别性能比现有的方法更好。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利求保护范围之内。

Claims

1.一种基于卷积神经网络的多特征融合SAR目标鉴别方法，包括：

2a)构建特征提取部分：

构建结构完全相同的第一卷积神经网络A和第二卷积神经网络B，这两个卷积神经网络均包括三层卷积层、两层全连接层和一层softmax分类器层，即第一卷积层L₁、第二卷积层L₂、第三卷积层L₃、第四全连接层L₄、第五全连接层L₅、第六softmax分类器层L₆，分别提取网络A和B的第四全连接层L₄的输出作为第一卷积神经网络A的h维列向量特征和第二卷积神经网络B的h维列向量特征

2b)构建特征融合部分：

分别在两个h维列向量特征和后补z个0，使其变为d维列向量，z≥0，再分别变换为l×l的二维矩阵形式和其中l²＝d，再将和拼接成l×l×2的三维融合特征X作为分类器部分的输入；

2c)构建分类器部分：

2.根据权利要求1所述的方法，其中步骤2a)中第一卷积神经网络A和第二卷积神经网络B，其各层的参数设置及关系如下：

第一卷积层L₁，其卷积核K¹的窗口大小为3×3，滑动步长S¹为2，用于输出96个特征图j表示第j个特征图，该层作为第二卷积层L₂的输入；

第二卷积层L₂，其卷积核K²的窗口大小为3×3，滑动步长S²为2，用于输出128个特征图k表示第k个特征图；每个特征图经过一个下采样，得到128个降维后的特征图其中下采样核U²的窗口大小为3×3，滑动步长V²为2，该层作为第三卷积层L₃的输入；

第三卷积层L₃，其卷积核K³的窗口大小为3×3，滑动步长S³为2，用于输出256个特征图q表示第q个特征图；每个特征图经过一个下采样，得到256个降维后的特征图其中下采样核U³的窗口大小为3×3，滑动步长V³为2，该层作为第四全连接层L₄的输入；

第四全连接层L₄，其设有1000个神经元，用于输出一个1000维列向量X⁴，该层作为第五全连接层L₅的输入；

第五全连接层L₅，其设有2个神经元，用于输出一个2维列向量X⁵，该层作为第六softmax分类器层L₆的输入。

3.根据权利要求1所述的方法，其中步骤2c)中第三卷积神经网络C，其各层的参数设置及关系如下：

第一层卷积层C₁，其卷积核K^1'的窗口大小为3×3，滑动步长S^1'为2，用于输出96个特征图m表示第m个特征图；每个特征图经过一个下采样，得到96个降维后的特征图其中下采样核U^1'的窗口大小为3×3，滑动步长V^1'为2，该层作为第二层卷积层C₂的输入；

第二层卷积层C₂，其卷积核K^2'的窗口大小为3×3，滑动步长S^2'为2，用于输出128个特征图n表示第n个特征图；每个特征图经过一个下采样，得到128个降维后的特征图其中下采样核U^2'的窗口大小为3×3，滑动步长V^2'为2，该层作为第三层全连接层C₃的输入；

第三层全连接层C₃，其设有1000个神经元，用于输出一个1000维列向量Y³，该层作为第四层全连接层C₄的输入；

第四层全连接层C₄，其设有2个神经元，用于输出一个2维特征向量Y⁴，该层作为第五层softmax分类器层C₅的输入。