CN112131962A

CN112131962A - 基于电磁散射特征和深度网络特征的sar图像识别方法

Info

Publication number: CN112131962A
Application number: CN202010887495.XA
Authority: CN
Inventors: 邢孟道; 李梦雅; 张金松; 孙光才
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2020-08-28
Filing date: 2020-08-28
Publication date: 2020-12-25
Anticipated expiration: 2040-08-28
Also published as: CN112131962B

Abstract

本发明公开了一种基于电磁散射特征和深度网络特征的SAR图像目标识别方法，包括：利用属性散射中心模型构建视觉词袋；利用所述视觉词袋将电磁散射中心参数集转化为电磁散射特征；利用所述初始化模型对VGG‑16网络的权值参数进行初始化得到所述修改后的VGGNet；利用所述MVGGNet对目标进行特征提取得到深度网络特征；依次对所述电磁散射特征和所述深度网络特征进行转换和融合得到所述电磁散射特征和所述深度网络特征的融合特征，利用RF分类器对所述融合特征进行目标识别。通过本发明的目标识别方法，可实现SAR图像在标准操作条件和扩展操作条件下目标识别的鲁棒性良好。

Description

基于电磁散射特征和深度网络特征的SAR图像识别方法

技术领域

本发明属于目标识别领域，具体涉及一种基于电磁散射特征和深度网络特征的SAR图像目标识别方法。

背景技术

对于合成孔径雷达(SAR，Synthetic Aperture Radar)系统，自动识别感兴趣目标的种类一直是至关重要的问题。SAR目标识别方法主要分为两类：一类从目标幅度图像中利用神经网络提取图像特征并分类；另一类从目标幅度图像中基于电磁散射特性提取散射中心，将测试样本与模板样本进行匹配获得分类结果。

SAR目标识别系统最主要的挑战是由不同的SAR传感器和多种操作条件引起的目标特征的变化性，多种操作条件可分为标准操作条件和扩展操作条件。标准操作条件表示在相似或者相同的雷达成像条件下获取测试和训练图像。但对于扩展操作条件，训练图像和测试图像是在不同的成像条件下获得的，例如在不同的俯角，不同水平的噪声干扰和复杂的地面背景等。对于图像域识别方法而言，卷积神经网络(CNN，Convolutional NeuralNetworks)对于在标准操作条件下获取的图像几乎达到了最高的识别准确性，而在扩展操作条件下获取的图像仅实现了较稳定的性能。因此为了在标准操作条件和扩展操作条件下具有良好的目标识别性能，需要提出对深度网络特征和电磁散射特征有效结合的方法。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于电磁散射特征和深度网络特征的SAR图像目标识别方法。本发明要解决的技术问题通过以下技术方案实现：

一种基于电磁散射特征和深度网络特征的SAR图像目标识别方法，包括：

构建视觉词袋；

利用所述视觉词袋将电磁散射中心参数集转化为电磁散射特征；

获取修改后的VGGNet，所述修改后的VGGNet的权重数小于初始VGGNet的权重数；

根据所述修改后的VGGNet和目标得到深度网络特征；

利用所述电磁散射特征和所述深度网络特征进行目标识别。

在本发明的一个实施例中，构建视觉词袋，包括：

利用参数估计方法估计散射中心的参数集得到散射中心参数集估计；

利用重建方法对所述散射中心参数集估计进行简化得到属性散射中心模型；

利用k均值算法对一对目标实向量进行距离计算得到原始k均值的距离；

利用参数估计方法对所述原始k均值的距离和所述属性散射中心模型进行估计得到所述视觉词袋。

在本发明的一个实施例中，利用所述视觉词袋将电磁散射中心参数集转化为电磁散射特征，包括：

利用参数估计方法，对所述属性散射中心模型进行估计得到所述电磁散射中心参数集；

利用所述视觉词袋将所述电磁散射中心参数集转化为所述电磁散射特征。

在本发明的一个实施例中，获取修改后的VGGNet，包括：

通过对ImageNet数据集进行训练得到初始化模型；

利用所述初始化模型对初始VGGNet的权值参数进行初始化得到所述修改后的VGGNet。

在本发明的一个实施例中，所述初始VGGNet的权值参数包括所述VGG-16网络结构的第1层到第18层的权值参数。

在本发明的一个实施例中，根据所述修改后的VGGNet和目标得到深度网络特征，包括：

利用MSTAR数据集的训练样本对所述修改后的VGGNet进行样本训练得到MVGGNet；

基于t-SNE方法，利用所述MVGGNet对目标进行特征提取得到深度网络特征。

在本发明的一个实施例中，利用所述电磁散射特征和所述深度网络特征进行目标识别，包括：

基于判别相关分析法，通过对所述电磁散射特征和所述深度网络特征进行转换得到去相关的电磁散射特征和深度网络特征；

基于串联策略，将所述去相关的电磁散射特征和深度网络特征进行融合得到融合特征；

利用RF分类器对所述融合特征进行目标识别。

本发明的有益效果：

本发明公开了一种基于电磁散射特征和深度网络特征的SAR图像目标识别方法，通过获取到的视觉词袋将电磁散射中心参数集转化为电磁散射特征，通过获取到的修改后的VGGNet得到深度网络特征，将电磁散射特征和所述深度网络特征进行融合得到融合特征，利用此融合特征进行目标识别，可实现SAR图像在标准操作条件和扩展操作条件下目标识别的鲁棒性良好。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种基于电磁散射特征和深度网络特征的SAR图像目标识别方法流程图；

图2是本发明实施例提供的不同聚类中心的三类目散射中心平均数量分布图；

图3是本发明实施例提供的t-SNE方法可视化的全连接层的测试样本特征图；

图4是本发明实施例提供的改进后的VGG-16网络不同层的特征图；

图5是本发明实施例提供的不同聚类中心的PCC变化曲线图；

图6是本发明实施例提供的基于迭代训练的训练损失/准确度和测试损失/准确度变化曲线示意图；

图7是本发明实施例提供的不同俯仰角下的BRDM2图；

图8是本发明实施例提供的T72不同SNR下幅度图；

图9是本发明实施例提供的不同识别方法在不同水平噪声干扰下的PCC曲线图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1是本发明实施例提供的一种基于电磁散射特征和深度网络特征的SAR图像目标识别方法流程图。一种基于电磁散射特征和深度网络特征的SAR图像目标识别方法，包括：

步骤1、构建视觉词袋。

具体地，视觉词袋(BOVW，Bag of Visual Words)也叫做“词袋”，在信息检索中，视觉词袋为对于一个文本假定忽略其词序、语法和句法，为一个词集合，或者一个词组合，每个词都是独立的。例如将视觉词袋用于图像表示，图像比作文档，则此图像的视觉词袋为由若干“视觉词汇”组成的集合。

在本实施例中，需要构建SAR图像的视觉词袋。

进一步地，步骤1包括：

步骤1.1、利用参数估计方法估计散射中心的参数集得到散射中心参数集估计。

步骤1.2、利用重建方法对所述散射中心参数集估计进行简化得到属性散射中心模型。

在本实施例中，SAR系统的雷达回波为多个散射中心的叠加建模，则所有散射中心的回波的表达式为：

其中，

表示所有散射中心的回波，

表示散射中心p的回波数据，

表示成像过程中的噪声和杂波，f表示雷达频率，

表示雷达方位角。

所有散射中心的回波服从属性散射中心模型，则散射中心p的回波数据可以表示为：

其中，f_c表示雷达中心频率，c表示光速，A_p表示复幅度，α_p表示属于[-1,-0.5,0,0.5,1]的频率依赖因子，x_p表示散射中心的长度，y_p表示散射中心的方位角，γ_p表示方位角依赖因子。

当雷达系统带宽与中心频率之比较小时，可以忽略频率依赖因子α_p。同时，对于SAR系统而言，方位角依赖因子γ_p通常很小，可以忽略。因此，属性散射中心模型可以简化为：

其中，

进一步地，散射中心p的参数集可以表示为

利用参数估计方法估计散射中心p的参数集，将将φ_p、

和

转换成向量

和

特别地，

则散射中心p的参数集估计的表达式为：

其中，

表示散射中心p的参数集估计。

将散射中心p的参数集估计

代入简化后的属性散射中心模型，利用参数估计和重建方法重建散射中心p的信号得到属性散射中心模型，属性散射中心模型的表达式为：

其中，

表示属性散射中心模型。

步骤1.3、利用k均值算法对一对目标实向量进行距离计算得到原始k均值的距离。

步骤1.4、利用参数估计方法对所述原始k均值的距离和所述属性散射中心模型进行估计得到所述视觉词袋。

具体地，把SAR目标复数据用散射中心的参数集估计数据集

表示，基于尺度不变特征变换(SIFT)的视觉词袋中的无监督k均值策略可以在每个梯度方向上快速找到最佳的聚类中心，该策略有利于后续分类器的设计。

对于一对实向量X＝(x₁,x₂,…,x_n)和Y＝(y₁,y₂,…,y_n)，在欧几里得空间中的原始k均值的距离为：

其中，d表示原始k均值的距离，q表示距离顺序。

对于散射中心的参数集估计，除复幅度

外，其他所有参数均可用原始k均值的距离d的公式进行测量。为了对复幅度

进行量化，复幅度

可分解成幅度部分

和相位部分

相位部分

在范围[0,2π]内。因此，对于散射中心p，散射中心p的参数集估计

可以表示为：

其中，

表示散射中心p的参数集估计。

步骤2、利用视觉词袋将电磁散射中心参数集转化为电磁散射特征。

进一步地，步骤2包括：

步骤2.1、利用参数估计方法，对所述属性散射中心模型进行估计得到所述电磁散射中心参数集。

具体地，由步骤1.2得到电磁散射中心参数集为散射中心p的参数集估计

步骤2.2、利用视觉词袋将电磁散射中心参数集转化为电磁散射特征。

通过视觉词袋可得视觉词汇表

此视觉词汇表由多个聚类中心组成，为了将属性散射中心模型转换为固定维矢量，需要将散射中心p进行量化，量化后的k值为：

其中，i∈{1,2,…,N}。

举例说明，以桑迪亚国家实验室SAR传感器平台收集的MSTAR数据集为基准评估本目标识别方法，MSTAR数据集中有十类地面目标：BMP2，BTR70，T72，T62，BRDM2，BTR60，ZSU23/4，D7，ZIL131和2S1。请参见图2，图2是本发明实施例提供的不同聚类中心的三类目散射中心平均数量分布图。图2中分配给BTR70，D7和ZIL131聚类中心的散射中心的数量分布完全不同。

步骤3、获取修改后的VGGNet，所述修改后的VGGNet的权重数小于初始VGGNet的权重数。

具体地，VGGNet由牛津大学计算机视觉组合和Google DeepMind公司研究员一起研发的深度卷积神经网络。VGGNet探索了卷积神经网络的深度和其性能之间的关系，通过反复的堆叠3*3的小型卷积核和2*2的最大池化层，成功的构建了16～19层深的卷积神经网络。

具体地，步骤3包括：

步骤3.1、通过对ImageNet数据集进行训练得到初始化模型。

步骤3.2、利用初始化模型对初始VGGNet的权值参数进行初始化得到修改后的VGGNet。

具体地，通过对ImageNet数据集进行训练得到初始化模型对初始VGGNet的第1层到第18层的权值参数得到修改后的VGGNet，初始VGGNet为VGG-16网络，修改后的VGGNet的完全连接层的权重数从50372608减少到2099712，从而最大程度地利用了小样本。参见表1，表1表示修改后的VGGNet的结构，其中，“类型”表示不同的网络层，例如卷积层(“Conv”)，池化层(“Pool”)，全连接层(“FC”)，和Dropout层(“Drop”)；“大小”、“数量”和“步长”表示不同层中的内核设置；“输出”表示当前层的输出特征图的大小；“参数”表示卷积核中的权值参数的数量，忽略了偏置参数。使用此网络时，输入的SAR图像的大小为128×128像素，它们将被转换为一组512个大小、像素为4×4像素的特征图。因此，该网络的总步长为32×32像素。

表1

步骤4、根据所述修改后的VGGNet和目标得到深度网络特征。

具体地，修改后的VGGNet在标准操作条件下的平均分类精度达到较高水平，为99.27％。

进一步地，步骤4包括：

步骤4.1、利用MSTAR数据集的训练样本对修改后的VGGNet进行样本训练得到MVGGNet。

步骤4.2、基于t-SNE方法，利用MVGGNet对目标进行特征提取得到深度网络特征。

请参见图3和图4，图3是本发明实施例提供的t-SNE方法可视化的全连接层的测试样本特征图，图4是本发明实施例提供的改进后的VGG-16网络不同层的特征图。

具体地，为了可视化VGGNet和MVGGNet的高维特征，利用t-SNE方法将特征维数减少到2维，并将高维空间中的临近点嵌入到邻近的低维点。再次参见图3，图3中的可视化特征表明，虽然MVGGNet中完全连接的神经元数量少于VGGNet的数量，但MVGGNet可以轻松分离不同类型的目标。提取的256-d特征向量在步骤5的特征融合中用作第二种特征。由图4可以看出，训练好的MVGGNet可以从输入SAR图像中提取强大的特征，例如图4中(a)中的轮廓特征和(b)中的关键点。

步骤5、利用电磁散射特征和深度网络特征进行目标识别。

进一步地，步骤5包括：

步骤5.1、基于判别相关分析法，通过对电磁散射特征和深度网络特征进行转换得到去相关的电磁散射特征和深度网络特征。

具体地，基于判别相关分析法，假设c是属于SAR图像数据集D的类别数，对于SAR图像数据集D的特征矩阵为

p表示特征的维数，n表示SAR图像数据集D中的样本数。令X为电磁散射特征，X的n列由c个类别组成，其中n_i列属于i^th类

x_i,j∈X表示从i^th类别中的j^th图像数据中提取的特征向量。

和

表示在i^th类和整个特征集中x_i,j向量的均值，分别表示为

和

则类间散射矩阵的表达式为：

其中，

若目标分类完成，则

应为对角矩阵的表达式为：

其中，Λ是按降序排序的实特征值和非负特征值的对角矩阵，

由与r个最大非零特征值对应的r个特征向量组成。

S_bx可转换为

这可以将特征矩阵X的维数从p减少到r：

因此，W_bx将X映射到一个特殊的空间X′中，并且分成了不同类别的目标，I是类间散射矩阵。与X相似，深度网络特征

的转换如下：

其中，r≤min(c-1,rank(X),rank(Y))。

为了使一组中的特征仅与另一组中的对应特征具有非零相关性，转换后的特征集S′_xy＝X′Y′^T的组间协方差矩阵使用奇异值分解(SVD)：S′_xy(r×r)＝U∑V^T，令W_cx＝U∑^-1/2，

电磁散射特征和深度网络特征的转换如下：

其中，X^*表示转换后的电磁散射特征，Y^*表示转换后的深度网络特征。

步骤5.2、基于串联策略，将去相关的电磁散射特征和深度网络特征进行融合得到融合特征。

具体地，基于串联策略，将去相关的电磁散射特征和深度网络特征进行融合，SAR数据被转换为特征向量。请参见图5，图5是本发明实施例提供的不同聚类中心的PCC变化曲线图，为了利用电磁散射特征和深度网络特征并保持其特征维数一致，在本发明方法中将N设置为256。

然后，基于深度网络特征的提取，重新训练MVGGNet。将softmax层添加到MVGGNet的最后完全连接层上作为分类器。在训练过程中，用交叉熵函数作为损失函数，用初始学习速率为10^-3的随机梯度下降法(SGD)进行损失优化。

请参见图6，图6是本发明实施例提供的基于迭代训练的训练损失/准确度和测试损失/准确度变化曲线示意图，训练好的MVGGNet的正确分类概率(PCC)为99.27％。

步骤5.3、利用RF分类器对融合特征进行目标识别。

具体地，SAR目标识别有多种分类器，例如支撑向量机(SVM)、K近邻(KNN)、稀疏表示分类方法(SRC)和随机森林(RF)等，由于它们对输入特征的敏感性不同，这些分类器具有不同的识别精度。由于RF分类器对于低维特征向量和大量样本表现良好，因此在本发明方法中使用此分类器。

本发明的目标识别方法使用RF分类器对属性散射中心模型特征进行分类。具体而言，首先选择不同数量的聚类中心，然后使用从训练样本中提取的特征来训练RF分类器，最后根据测试样本的正确分类率(PCC)确定最佳聚类中心的数量。

综上所述，本实施例的基于电磁散射特征和深度网络特征的SAR图像目标识别方法，适用于多种操作条件(例如不同的俯角、不同水平的噪声干扰和复杂的地面背景等)的SAR图像目标识别。本实施例的方法首先从输入的SAR复数据参数集中提取散射中心，然后用这些散射中心构造视觉词袋，最后将提取的SAR复数据参数集转换为特征向量。对于深度网络特征提出了一种改进的VGGNet，它不仅可以从幅度图像中提取特征，而且还可以实现目前为止较高的识别精度。对于特征融合，将判别相关分析(DCA)引入到所提方法框架中，该框架不仅使深度网络特征与电磁散射特征之间的相关性最大化，而且使每个特征集中属于不同类别的特征去相关。在MSTAR数据集上进行的实验表明，所提出的方法在标准操作条件和扩展操作条件下均具有出色的有效性和鲁棒性。

实施例二

本发明的效果可以通过以下实验数据进行验证。

实验条件：

以桑迪亚国家实验室SAR传感器平台收集的MSTAR数据集为基准，此MSTAR数据集中有十类地面目标图像：BMP2，BTR70，T72，T62，BRDM2，BTR60，ZSU23/4，D7，ZIL131和2S1。这些图像通过X波段的SAR系统获取，分辨率为0.3m×0.3m，尺寸约为128×128像素，方位角度为0°～360°。MSTAR数据集中的每个数据都是一个复杂的图像，可以将其解耦为幅度部分和相位部分。此处将MSTAR数据集的幅度图像和相位图像都用作本目标识别方法的输入，不同的操作条件将导致不同的图像分布。

实验内容：

分别通过标准操作条件和扩展操作条件下的MSTAR数据集描述。

标准操作条件数据描述：

请参见表2，表2是标准操作条件下的训练和测试图像，标准操作条件(SOC)为在相似的成像条件下获取测试图像和训练图像，联众图像的俯仰角略有不同。训练图像的俯角为17°，而测试图像的俯角为15°，训练图像的数量是2747，测试图像的数量是2425。

表2

扩展操作条件数据描述：

扩展操作条件(EOC)为测试图像在成像条件不同于训练图像的成像条件，例如，不同的俯仰角、不同级别的噪声干扰和不同的分辨率等。MSTAR数据集中的扩展操作条件如下。

EOC-1(俯仰角变化)：由于SAR图像对俯仰角的变化较敏感，因此较大的俯仰角变化将在相应的SAR图像中造成很大差异。请参见表3，表3是EOC-1训练和测试图像，为较大的俯仰角变化。选择2S1、BRDM2和ZSU23/4作为训练数据和测试数据。请参见图7，图7是本发明实施例提供的不同俯仰角下的BRDM2图，图7(a)和图7(c)之间的轮廓特征和散射中心特征存在一些差异，因此，最好选用较大的俯仰角来测试目标识别算法。

表3

EOC-2(噪声干扰)：由雷达系统和背景引起的噪声影响测得的SAR图像，且影响分类精度。一般情况下，MSTAR数据集的信噪比(SNR)≥30dB，自主将复杂的加性高斯白噪声添加到原始SAR数据中。请参见图8，图8是本发明实施例提供的T72不同SNR下幅度图，图8(a)～图8(c)中是不同信噪比(SNR)的噪声干扰的T72幅度图像。

实验结果分析：

表2中的训练数据和测试数据用作标准操作条件的数据源。请参见表4，表4是SOC下所提方法模型的混淆矩阵，原始目标数据会被裁剪为128×128像素的大小，表4为本实施例的目标识别方法的详细识别结果，所有类别的八种目标的PCC均为100％(BRDM2和BTR60除外)。本实施例的目标识别方法的总体PCC为99.59％，这表示测试数据中的大多数目标已正确分类。

表4

为验证本实施例的目标识别方法的鲁棒性，在扩展操作条件下训练，超参数(例如聚类中心的数量)与标准操作条件下的相同。

对于EOC-1(俯仰角变化)：

请参见表5，表5是本识别方法在不同俯仰角下的识别结果，具体为训练样本和测试样本的分布，EOC-1有三种类型的目标：2S1、BMP2和ZSU23/4。训练样本是俯仰角17°时获取的，测试样品分别在俯仰角为15°、30°和45°时采集。本实施例的目标识别方法的混淆矩阵如表5所示。由表5可得，多数15°和30°以下的目标都已正确分类。但是，对于45°的目标，本实施例的目标识别方法的PCC降至81.08％。请参见表6，表6是EOC-1下不同识别方法的识别结果，由表6可得，与幅度图像的方法相比，基于散射中心的方法在较大的俯仰角时表现更好。FGL和本实施例的目标识别方法都可以改善识别PCC。在30°时的PCC为99.19％，在45°时的PCC为81.08％，证明了当俯仰角变化时本实施例的目标识别方法的有效性。

表5

表6

对于EOC-2(噪声干扰)：

为了评估本实施例的目标识别方法在噪声破坏下的识别性能，将MSTAR数据集中的标准操作条件数据用作训练数据。请参见图9，图9是本发明实施例提供的不同识别方法在不同水平噪声干扰下的PCC曲线图，显示了具有十类目标的不同方法的识别PCC。在任何噪声水平下，BFM方法均比其他传统方法获得更好的PCC。添加更多噪声后，因为ACN方法对由噪声引起的特征变量较敏感使其PCC严重降低。FGL通过融合的电磁散射特征和深度网络特征实现了这些方法中最高的PCC。值得注意的是，所提方法在不同的噪声水平下也可以实现较高的PCC。可以认为，本实施例的目标识别方法中的融合功能不仅可以实现属性散射中心模型特征的良好稳定性，而且还可以主动选择卷积神经网络特征的有效信息并加以利用。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种基于电磁散射特征和深度网络特征的SAR图像目标识别方法，其特征在于，包括：

构建视觉词袋；

根据所述修改后的VGGNet和目标得到深度网络特征；

利用所述电磁散射特征和所述深度网络特征进行目标识别。

2.根据权利要求1所述的基于电磁散射特征和深度网络特征的SAR图像目标识别方法，其特征在于，构建视觉词袋，包括：

3.根据权利要求2所述的基于电磁散射特征和深度网络特征的SAR图像目标识别方法，其特征在于，利用所述视觉词袋将电磁散射中心参数集转化为电磁散射特征，包括：

4.根据权利要求1所述的基于电磁散射特征和深度网络特征的SAR图像目标识别方法，其特征在于，获取修改后的VGGNet，包括：

通过对ImageNet数据集进行训练得到初始化模型；

5.根据权利要求4所述的基于电磁散射特征和深度网络特征的SAR图像目标识别方法，其特征在于，所述初始VGGNet的权值参数包括所述VGG-16网络结构的第1层到第18层的权重数。

6.根据权利要求5所述的基于电磁散射特征和深度网络特征的SAR图像目标识别方法，其特征在于，根据所述修改后的VGGNet和目标得到深度网络特征，包括：

7.根据权利要求1所述的基于电磁散射特征和深度网络特征的SAR图像目标识别方法，其特征在于，利用所述电磁散射特征和所述深度网络特征进行目标识别，包括：

利用RF分类器对所述融合特征进行目标识别。