CN110781830A - 基于空-时联合卷积的sar序列图像分类方法 - Google Patents

Abstract

本发明公开了一种基于空‑时联合卷积的SAR序列图像分类方法，主要解决现有SAR目标识别技术中仅利用单张图像特征、时间信息利用不充分、分类准确率低的问题。其实现步骤为：1)生成样本集，并由样本集生成训练序列样本集和测试序列样本集；2)构建空‑时联合卷积神经网络；3)使用训练序列样本集训练空‑时联合卷积神经网络，得到训练好的空‑时联合卷积神经网络；4)将测试序列样本集输入训练完成的空‑时联合卷积神经网络，得到分类结果。本发明利用空‑时联合卷积神经网络，提取了SAR序列图像时间维和空间维的变化特征，提高了SAR目标分类识别的正确率。可用于基于SAR序列图像的自动目标识别。

Description

基于空-时联合卷积的SAR序列图像分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种合成孔径雷达SAR序列图像分类方法，可用于实现基于SAR序列图像的自动目标识别。

背景技术

合成孔径雷达SAR具有全天候、全天时、高分辨等特性，被广泛应用于军事侦察、战场感知和地理信息采集等领域。自动目标识别ATR是基于计算机系统，从传感器获取数据，提取特征，自动给出目标类别属性的算法。近年来，基于合成孔径雷达SAR序列图像的自动目标识别ATR技术不断发展，在雷达目标识别研究中受到广泛关注。

目前，基于SAR序列图像对目标分类的方法，其主要思想是对目标序列图像进行数据融合，从而输出唯一的类别结果。按照融合发生的位置，主流的方法可以分为三类：判决级融合、特征级融合、像素级融合。其中：

判决级融合，是将每张图像分别通过同一个特征提取器和分类器，然后将分类器的各个输出按照某种准则进行判决，并输出分类结果，由于判决级融合依赖于分类器的性能而忽视了图像之间的联系，因此较难取得理想的分类效果。

特征级融合，首先利用相同特征提取器分别提取序列中每张图像的特征向量，进而将这些特征向量合成为一个用于分类的特征，特征级融合考虑了图像之间的相关信息，但是在对每张图像进行特征提取的过程中，可能存在相关信息的损失。

像素级融合，直接将序列图像整体表示在特征域上，在这个特征域上完成相关的分类操作。

上述SAR自动目标识别方法通过对多幅图像的数据融合，提高了系统的稳健性，但还存在着序列图像相关信息利用不充分、时间维特征难以直观表示的不足。

Moussa Amrani,Feng Jiang在其发表的论文“Deep feature extraction andcombination for synthetic aperture radar target classification”(Journal ofApplied Remote Sensing，2017)中提出了一种由卷积神经网络不同层的输出特征进行特征融合的合成孔径雷达SAR自动目标识别ATR方法。该方法的具体步骤为：首先由卷积神经网络提取SAR图像特征，并采用判别相关分析算法对网络不同层提取的深层特征进行融合，最后使用K-NN分类器得到分类结果。该方法有效提取了SAR图像空间特征，但是，该方法仍然存在的问题是没有有效利用图像序列之间的时间信息，因此识别正确率低。

Jifang Pei,Yulin Huang,Yin Zhang,Jianyu Yang,Tat-Soon Yeo在其发表的论文“SAR Automatic Target Recognition Based on Multiview Deep LearningFramework”(IEEE Transactions on Geoscience and Remote Sensing,2018)提出了一种基于并行卷积神经网络融合特征的合成孔径雷达SAR自动目标识别ATR方法。该方法的具体步骤为：首先将数据集的单张SAR图像组合为多视角的样本集，将样本集中不同视角的多幅SAR图像分别输入并行深度卷积神经网络DCNN，每幅单视角的SAR图像分别经DCNN网络提取特征信息，并逐层融合不同视角的图像特征，最终根据多视角图像的融合特征进行分类，得到分类结果。该方法虽说对视角变化具有较好的鲁棒性，但是，由于构造样本集时造成了图像序列信息不连贯，损失了图像序列之间的变化特性，因此对变化目标的识别性能依然有待提升。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于空-时联合卷积的SAR序列图像分类方法，以提高对变化目标的识别性能。

本发明的技术思路是：使用滑窗法对连续SAR图像进行处理，生成序列样本集，构造一个由4组3D扩张卷积-3D池化结构依次级联的深度卷积神经网络，将深度卷积神经网络的最后一层池化层与softmax分类器相连，得到SAR序列图像的目标识别结果，其实现步骤包括如下：

(1)生成样本集：即从公开网络的MSTAR数据集中，选取雷达在17°俯仰角下观测到的3671幅SAR图像及相应的标签，组成原始训练样本集；选取雷达在15°俯仰角下观测到的3203幅SAR图像及相应的标签，组成原始测试样本集；

(2)生成训练序列样本集：

(2a)围绕原始训练样本集中每幅SAR图像的中心，将每幅SAR图像裁剪为60×60个像素,得到裁剪后的训练样本集；

(2b)将裁剪后的训练样本集，按每15幅SAR图像分为一组，并使用滑窗法，生成包含3531组序列的训练序列样本集；

(3)构建空-时联合卷积网络：

(3a)构建一个由4组3D扩张卷积层-3D池化层结构依次级联的深度卷积神经网络，其中：前三组中的每一组卷积层和池化层之间设有相应的批归一化BN、使用ReLU函数进行激活变换和dropout这三种操作，最后一组中的卷积层和池化层之间设有相应的批归一化BN和使用ReLU函数进行激活这两种操作；

(3b)设置各组参数：将深度卷积神经网络按照时间、图像高度、图像宽度这三个维度排列，第一组卷积层的卷积核大小为2×4×4个像素，扩张系数为1,3,3，卷积核数量是128个；后三组卷积层的卷积核大小均为2×3×3个像素，扩张系数分别为2,2,2、4,2,2、8,1,1，卷积核数量分别为256个、512个、10个；四组池化层的核窗口大小均为1×2×2个像素；

(3c)将最后一组结构中的池化层连接至一个softmax分类器，得到一个空-时联合卷积网络；

(4)将训练序列样本集输入到空-时联合卷积网络进行训练，得到训练好的空-时联合卷积网络；

(5)生成测试序列样本集：

(5a)围绕原始测试样本集中每幅SAR图像的中心，将每幅SAR图像裁剪为60×60个像素,得到裁剪后的测试样本集；

(5b)将裁剪后的测试样本集，按每15幅SAR图像分为一组，并使用滑窗法，生成包含3063组序列的测试序列样本集；

(6)将生成的测试序列样本集，输入训练好的空-时联合卷积网络进行测试，得到网络输出的分类结果。

本发明与现有技术相比具有以下优点：

第一，由于本发明采用的三维卷积神经网络在SAR序列图像的空间维和时间维上同时提取特征，克服了现有技术中使用二维卷积神经网络进行提取特征时，破坏序列图像时间信息的问题，使得本发明对空间和时间特征抽取具有相同的处理优先级，提高了利用图像信息的有效性。

第二，由于本发明采用的扩张卷积通过向小卷积核中填充空白元素，增大了卷积核在特征图上的感受野，克服了现有技术中由于序列长度增加引起的训练参数剧烈增加和过拟合的问题，使得本发明能在参数一定的条件下提取输入的SAR图像序列的长期特征，提高了目标识别的正确率。

第三，由于本发明构建的深度卷积神经网络的最后一个池化层直接连接到softmax分类层，克服了现有技术中使用全连接层对卷积核提取到的特征进行混合，并降低特征向量的维度，增加网络参数和破坏图像空间结构的问题，使得本发明的参数数量减少，提高了算法收敛的速度。

第四，由于本发明中每15幅SAR图像分为一组，使用滑窗法，生成包含3531组序列的训练序列样本集，克服了现有技术中将图像序列作为多个独立样本进行分类，损失了图像序列之间的变化特性，对变化目标的识别性能差的问题，使得本发明能提取SAR图像序列之间的变化特征，提高了对变化目标的识别性能。

附图说明

图1是本发明的实现流程图；

图2是本发明的仿真结果图。

具体实施方式

下面结合附图对本发明的实施例和效果做进一步的描述。

参照图1，对本实施例的实现步骤如下。

步骤1，生成样本集。

从MSTAR数据集中，选取雷达在17°俯仰角下观测到的3671幅SAR图像及相应的标签，组成原始训练样本集；选取雷达在15°俯仰角下观测到的3203幅SAR图像及相应的标签，组成原始测试样本集。

步骤2，生成训练序列样本集。

2.1)围绕原始训练样本集中每幅SAR图像的中心，将每幅SAR图像裁剪为60×60个像素,得到裁剪后的训练样本集；

2.2)将裁剪后的训练样本集，按每15幅SAR图像分为一组，并使用滑窗法，生成包含3531组序列的训练序列样本集。

滑窗法的实现步骤如下：

第1步，将裁剪后的样本集所有SAR图像排成一行，得到样本集总序列；

第2步，使用长度为15幅SAR图像，宽度为1幅SAR图像的矩形滑窗，以1幅SAR图像的步长在样本集总序列上滑动，取出滑窗内的所有SAR图像序列，构成混合序列样本集；

第3步，删去混合序列样本集中跨越两类不同标签的序列样本，得到生成的序列样本集，该序列样本的标签与裁剪后样本集的标签一一对应。

步骤3，构建空-时联合卷积神经网络。

SAR图像序列中各图像内部包含了目标的结构特征，称为空间维特征，各图像之间则蕴含着目标的变化特征，称为时间维特征，这些特征对于目标分类有着积极的作用，为结合空间维与时间维特征进行分类，有以下几种用于处理序列数据的网络：

循环神经网络RNN，是处理序列数据的经典网络，它将序列数据映射到隐藏层向量上，并沿着时间维度传播。基本的RNN存在梯度消失的现象，因此难以处理长序列的数据。长短期记忆网络LSTM改进了RNN隐藏层的传播方式，带来了长期有效的序列特征提取能力。

时间卷积网络TCN利用多层卷积来提取一维序列数据的长期特征，它使用因果、扩张卷积和残差连接的结构，将输入一维序列映射为等长的输出向量，输出向量的每个元素分别包含了输入序列不同时间长短的特征。

由于上述网络都只能处理一维信号，不能直接在二维图像上提取特征，为了将上述处理序列数据的网络应用在序列图像识别的任务中，可利用CNN对二维图像进行降维，然后再将一维特征向量输入RNN、LSTM或TCN中进行处理，但在图像降维过程中，会破坏序列图像之间微小的变化，因此这种先对图像降维，再进行特征提取的方法存在着目标局部信息损失的可能。

理想的序列图像分类方法应该在提取图像空间特征的同时，将序列的时间特征一并提取出来，从而得到空间-时间的联合特征表示，为同时提取蕴含在SAR图像序列中的空间和时间特征，并利用特征进行分类，设计空-时联合卷积神经网络，具体实现如下：

3.1)构建一个由4组3D扩张卷积层-3D池化层结构依次级联的深度卷积神经网络，其中：

3D扩张卷积层采用以扩张系数d＝[d₁,d₂,d₃]填充零元素后得到3D卷积核，3D卷积核三个维度的大小分别为U,V,W，在时间维的起始端添上(d₁-1)(U-1)组零元素后，对输入特征图在时间、图像高度、图像宽度三维进行卷积操作，生成的特征图按时间维度排列；

3D池化层在输入三维特征图上滑动3D池化核，选取核内最大值作为输出；

前三组结构中的每一组卷积层和池化层之间设有相应的批归一化BN、使用ReLU函数进行激活变换和dropout这三种操作，最后一组中的卷积层和池化层之间设有相应的批归一化BN和使用ReLU函数进行激活变换这两种操作；

3.2)设置深度卷积神经网络各组参数：将深度卷积神经网络按照时间、图像高度、图像宽度这三个维度排列，第一组卷积层的卷积核大小为2×4×4个像素，扩张系数为1,3,3，卷积核数量是128个；后三组卷积层的卷积核大小均为2×3×3个像素，扩张系数分别为2,2,2、4,2,2、8,1,1，卷积核数量分别为256个、512个、10个；四组池化层的核窗口大小均为1×2×2个像素；

3.3)将最后一组结构中的池化层连接至一个softmax分类器，即采用致密连接方法，令最后一层的卷积核数量等于分类标签个数，卷积核大小等于输入特征图的大小，取最后一组结构中的池化层输出的每个特征向量的最后一个元素，组成长度为输出类别数的向量，将该向量输入到softmax分类器，得到一个空-时联合卷积网络。

步骤4，训练空-时联合卷积神经网络。

将训练序列样本集输入到空-时联合卷积网络，采用前向传播-误差反向传播的方法进行训练，得到训练好的空-时联合卷积网络。

训练的具体步骤如下：

第1步，初始化网络中各卷积层的卷积核权值和偏置，输入特征图经3D扩张卷积并激活，将其产生的输出特征图作为3D池化层的输入，将3D池化层的输出作为下一组3D扩张卷积层的输入特征图，依次逐层沿网络结构进行计算至最后一组池化层的输出；取最后一组池化层输出的每个特征向量的最后一个元素，组成长度为K的输出向量，通过softmax分类器，得到网络输出；

第2步，将交叉熵函数定义为网络的损失函数，具体形式为：

其中，w为网络中所有可训练的参数，y_k是网络输出，t_k是样本的真实标签；

第3步，沿损失函数L(w)的负梯度方向对权值w进行更新，更新公式为：

w^new＝w^old-ηΔL(w^old)

其中，w^new是更新得到的权值，w^old是更新前的权值，η是学习率，ΔL(w^old)是损失函数L(w)对w^old的偏导，即

第4步，使用更新后的权值w^new再次进行第1-3步的计算过程，如此进行多次迭代更新，当损失函数L(w)稳定收敛后，停止迭代，得到权值w的最优值，即得到训练好的网络。

步骤5，生成测试序列样本集。

5.1)围绕原始测试样本集中每幅SAR图像的中心，将每幅SAR图像裁剪为60×60个像素,得到裁剪后的测试样本集；

5.2)将裁剪后的测试样本集，按每15幅SAR图像分为一组，并使用滑窗法，生成包含3063组序列的测试序列样本集，滑窗法的实现步骤与步骤2中所述相同。

步骤6，将生成的测试序列样本集，输入训练好的空-时联合卷积网络进行测试，得到网络输出的分类结果。

本发明的效果可以通过以下仿真实验说明。

1、仿真实验条件：

本发明的仿真实验所用数据为MSTAR数据集，包括雷达俯仰角在15°及17°下的10类地面车辆目标，这10类目标分别为：步兵战车BMP-2、装甲运输车BTR-70、坦克T-72、装甲运输车BTR-60、自行火炮2S1、装甲侦察车BRDM2、推土机D-7、坦克T-62、货运卡车ZIL-131和自行高炮ZSU-234。仿真实验选取雷达在17°俯仰角下的3671幅目标图像和相应的类别标签作为训练样本，选取雷达在15°俯仰角下的3203幅目标图像和相应的类别标签作为测试样本，所有样本图像的大小为128×128像素。仿真实验硬件平台为Intel Xeon E5-2683@2.00GHz CPU、64GB RAM、NVIDIA Geforce GTX1080 Ti GPU，仿真实验软件平台为Python3.6和Tensorflow 1.3。

2、仿真实验内容与结果分析：

仿真实验1：在相同的数据集下，应用本发明方法和传统卷积神经网络方法对目标进行分类，并通过以下公式分别计算两种方法的分类正确率：

其中，c表示测试序列样本集的分类正确率，M表示测试序列样本集的序列样本数量，h(·)表示分类鉴别函数，t_i表示测试序列样本集中第i个测试序列样本的真实类别，y_i表示测试序列样本集中第i个测试序列样本对应的网络输出结果，当t_i和y_i相等时，h(t_i,y_i)等于1，否则，h(t_i,y_i)等于0。

在本发明方法中，首先从训练样本集中生成包含3531组序列的训练序列样本集，使用该序列样本集训练空-时联合卷积网络，得到训练好的空-时联合卷积网络，然后从测试样本集中生成包含3063组序列的测试序列样本集，使用该序列样本集在训练好的空-时联合卷积网络上进行测试，计算得到本发明的分类正确率。

在传统卷积神经网络方法中，直接采用仿真实验条件中所述的训练样本集与测试样本集，使用训练样本集训练二维卷积神经网络，得到训练好的二维卷积神经网络，然后使用测试样本集在训练好的二维卷积神经网络上进行测试，计算得到传统卷积神经网络的分类正确率。

两种方法在30次循环后的分类正确率结果如表1所示。

表1 MSTAR数据目标识别结果对比表

仿真实验方法	传统卷积神经网络方法	本发明方法
			分类正确率	95.22％	99.93％

从表1中可以看出，本发明提出的基于空-时联合卷积的SAR序列图像分类方法相比现有方法有着更高的分类正确率，说明本发明提出的网络结构具有空间-时间联合特征的自动提取能力，能够提高SAR序列图像的分类正确率，具有重要的实际意义。

仿真实验2：将本发明的方法与传统卷积神经网络方法在相同数据集下不同迭代次数的分类正确率进行对比，画出前30次循环中两种方法的分类正确率变化曲线，结果如图2所示。在图2中，横坐标是两种方法在仿真实验中的迭代次数，单位为次，纵坐标是分类正确率，单位为百分比％，灰色折线表示本发明方法的分类正确率随迭代次数的变化情况，黑色折线表示传统卷积神经网络方法的分类正确率随迭代次数的变化情况。

从图2中可以观察到，本发明方法相比传统卷积神经网络方法具有更快的收敛速度和更高的分类正确率，说明本发明提出的网络结构具有并行地处理序列数据的能力，可平衡达到稳健的分类性能和减少时间开支。

Claims (6)

1.基于空-时联合卷积的SAR序列图像分类方法，其特征在于，包括如下：

(1)生成样本集：即从公开网络的MSTAR数据集中，选取雷达在17°俯仰角下观测到的3671幅SAR图像及相应的标签，组成原始训练样本集；选取雷达在15°俯仰角下观测到的3203幅SAR图像及相应的标签，组成原始测试样本集；

(2)生成训练序列样本集：

(2a)围绕原始训练样本集中每幅SAR图像的中心，将每幅SAR图像裁剪为60×60个像素,得到裁剪后的训练样本集；

(2b)将裁剪后的训练样本集，按每15幅SAR图像分为一组，并使用滑窗法，生成包含3531组序列的训练序列样本集；

(3)构建空-时联合卷积网络：

(3a)构建一个由4组3D扩张卷积层-3D池化层结构依次级联的深度卷积神经网络，其中：前三组中的每一组卷积层和池化层之间设有相应的批归一化BN、使用ReLU函数进行激活变换和dropout这三种操作，最后一组中的卷积层和池化层之间设有相应的批归一化BN和使用ReLU函数进行激活变换这两种操作；

(3b)设置各组参数：将深度卷积神经网络按照时间、图像高度、图像宽度这三个维度排列，第一组卷积层的卷积核大小为2×4×4个像素，扩张系数为1,3,3，卷积核数量是128个；后三组卷积层的卷积核大小均为2×3×3个像素，扩张系数分别为2,2,2、4,2,2、8,1,1，卷积核数量分别为256个、512个、10个；四组池化层的核窗口大小均为1×2×2个像素；

(3c)将最后一组结构中的池化层连接至一个softmax分类器，得到一个空-时联合卷积网络；

(4)将训练序列样本集输入到空-时联合卷积网络进行训练，得到训练好的空-时联合卷积网络；

(5)生成测试序列样本集：

(5a)围绕原始测试样本集中每幅SAR图像的中心，将每幅SAR图像裁剪为60×60个像素,得到裁剪后的测试样本集；

(5b)将裁剪后的测试样本集，按每15幅SAR图像分为一组，并使用滑窗法，生成包含3063组序列的测试序列样本集；

(6)将生成的测试序列样本集，输入训练好的空-时联合卷积网络进行测试，得到网络输出的分类结果。

2.根据权利要求1所述的方法，其中所述(2b)的实现如下：

(2b1)将裁剪后的样本集所有SAR图像排成一行，得到样本集总序列；

(2b2)使用长度为15幅SAR图像，宽度为1幅SAR图像的矩形滑窗，以1幅SAR图像的步长在样本集总序列上滑动，取出滑窗内的所有SAR图像序列，构成混合序列样本集；

(2b3)删去混合序列样本集中跨越两类不同标签的序列样本，得到生成的序列样本集，该序列样本的标签与裁剪后样本集的标签一一对应。

3.根据权利要求1所述的方法，其中(3a)中的3D扩张卷积层，采用3D卷积核，即在时间、图像高度、图像宽度三维进行卷积操作，且该卷积核是以扩张系数给小卷积核中每对相邻元素间填充零元素得到的，其生成的特征图按时间维度排列。

4.根据权利要求1所述的方法，其中(3a)中的3D池化层，采用3D最大值进行池化，即在输入三维特征图上滑动3D池化核，选取核内最大值作为输出。

5.根据权利要求1所述的方法，其中(3c)所述的将最后一组结构中的池化层连接至一个softmax分类器，是采用致密连接，即令最后一层的卷积核数量等于分类标签个数，卷积核大小等于输入特征图的大小，得到长度与分类标签个数相等的输出向量，将该向量输入到softmax分类器。

6.根据权利要求1所述的方法，其中(4)所述的将训练序列样本集输入到空-时联合卷积网络进行训练，是按照前向传播-误差反向传播的方法进行训练，实现如下：

(4a)初始化网络中各卷积层的卷积核权值和偏置，输入特征图经3D扩张卷积并激活，将其产生的输出特征图作为3D池化层的输入，将3D池化层的输出作为下一组3D扩张卷积层的输入特征图，依次逐层沿网络结构进行计算至最后一组池化层的输出；取最后一组池化层输出的每个特征向量的最后一个元素，组成长度为K的输出向量，通过softmax分类器，得到网络输出；

(4b)将交叉熵函数定义为网络的损失函数，具体形式为：

其中，w为网络中所有可训练的参数，y_k是网络输出，t_k是样本的真实标签；

(4c)沿损失函数L(w)的负梯度方向对权值w进行更新，更新公式为：

w^new＝w^old-ηΔL(w^old)

其中，w^new是更新得到的权值，w^old是更新前的权值，η是学习率，ΔL(w^old)是损失函数L(w)对w^old的偏导，即

(4d)使用更新后的权值w^new再次进行(4a)-(4c)的计算过程，如此进行多次迭代更新，当损失函数L(w)稳定收敛后，停止迭代，得到权值w的最优值，即得到训练好的网络。

Images