CN108416318A - 基于数据增强的合成孔径雷达图像目标深度模型识别方法 - Google Patents

Abstract

本发明属于雷达图像识别技术领域，涉及一种基于数据增强的合成孔径雷达图像目标深度模型识别方法。本发明基于小数据集难以在深度模型上训练的问题，提出了一种通用的能够在小数据集下结合深度模型应用的方法：基于Gabor滤波器对原始SAR图像数据做数据增强，用增强数据训练深度模型，并应用于SAR目标识别中。通过调整Gabor滤波器的方向和尺度参数，调整增强数据的数量，可以灵活设计不同深度的深度模型，以获得更好的识别性能。

Description

基于数据增强的合成孔径雷达图像目标深度模型识别方法

技术领域

本发明属于雷达图像识别技术领域，涉及一种基于数据增强的合成孔径雷达图像目标深度模型识别方法。

背景技术

合成孔径雷达自动目标识别(Synthetic Aperture Radar Automatic targetrecognition SAR-ATR)已经广泛的应用于军事和国土安全等领域。SAR-ATR利用SAR图像的信息，通过特征提取和训练分类器的方式，实现目标种类、型号等属性的识别，在战场侦察、精确打击等军事领域有着非常明确的应用需求。

Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示。它对目标边缘敏感，可以提供良好的方向选择特性。利用Gabor滤波器很容易提取目标的多尺度多方向信息。

深度模型是一种多层的神经网络，在多个领域得到了非常多的应用，比如：目标识别、目标检测、语义分割等。对于目标识别，深度模型主要分为两个部分，第一个阶段充当一个特征提取器，相比传统的分类器需要手动设计特征提取器，在这一步中深度模型通过卷积层能够自动提取丰富的层级特征，从而减少了手动设计特征的代价。第二阶段充当一个分类器。

SAR-ATR的性能往往和所能够获取的训练样本的完备程度相关。训练一个好的分类器往往需要多的训练数据，但是SAR图像数据的稀少性质会对所训练的分类器的效果造成影响，使识别正确率降低。所以在SAR-ATR领域，训练数据的稀少性是一个比较严重的问题。对于深度模型，训练一个好的网络需要大量的训练数据。如果仅仅用现有的SAR图像数据进行训练，稀少的数据训练将造成网络严重过拟合，使识别效果非常差。SAR图像数据的稀少性与深度模型对数据的极大需求两者是很难达到统一，在以往传统的目标识别方法中，如：KNN、SVM、Adaboost等方法虽然对数据的需求相比深度模型来说要少，但是整体的识别效果不是很好。且有的研究基于深度模型的SAR-ATR，训练数据比较少，所以设计的网络比较浅，达不到提取更深特征的目的，识别效果会大打折扣。

发明内容

本发明是针对上述存在的问题，为了克服深度模型在SAR目标识别中由于数据缺乏而导致过拟合的缺陷，使SAR目标识别能够在深度模型中有更加出众的性能，提供了一种基于数据增强的合成孔径雷达目标深度模型识别方法。

本发明的技术方案是：如图1所示，基于数据增强的合成孔径雷达图像目标深度模型识别方法，其特征在于，包括以下步骤：

步骤1、对现有的SAR图像训练样本数据进行Gabor滤波器变换，每一张原始SAR图像样本数据进行不同方向不同角度的Gabor变换，得到多方向多尺度的特征图像。

此过程对训练过程中的原始SAR图像数据进行特征提取，由于Gabor滤波器方向和尺度参数的不同，可以得到多个不同的特征图像。2维的Gabor函数g(x,y)和它的傅里叶变换G(u,v)可以写成如下的形式：

其中σ_μ＝1/2πσ_x和σ_υ＝1/2πσ_y，σ表示方差，μ表示期望。W表示感兴趣区域中心频率的上限。

Gabor函数形成了一个完整但非正交的基集合。使用此基集合扩展信号提供了一个局部频率描述。现在考虑一类自相似函数，在下面被称为Gabor小波。设g(x,y)为母Gabor小波，则可通过生成函数g(x,y)的适当膨胀和旋转得到该自相似滤波字典：

g_mn(x,y)＝a^-mG(x′,y′),a>1,m,n∈Z

x′＝a^-m(xcosθ+ycosθ)

y′＝a^-m(xcosθ+ycosθ)

其中θ＝nπ/K和K是总的方向数。以上式子中的尺度因子a^-m是为了确保能量与m无关。

基于以上的理论，对于一个原始SAR图像I(x,y)，它的Gabor变换可以表示为：

W_mn(x,y)＝∫I(x₁,y₁)g_mn*(x-x₁,y-y₁)dx₁dy₁

其中*表示复共轭。

基于此，通过改变参数可以得到不同尺度不同方向的多个特征图像。

总的原始SAR训练集图像数据为D，有M个尺度和N个方向，那么通过Gabor变换后，总的Gabor特征图像是D·M·N，通过Gabor变换，得到M·N倍的数据增强，数据增强的多少跟选取的尺度和方向的参数有关。

步骤2、对原始SAR图像测试数据，做同样的Gabor变换，保证测试数据与训练数据的处理方式一样。

总的原始SAR测试集图像数据为T，尺度和方向的参数选取同步骤1一样。所以得到总的Gabor特征图像是T·M·N，在识别阶段，单个原始SAR图像测试样本的识别率是M·N个特征数据识别率的集成。

步骤3、深度模型构建。

步骤3-1、特征提取模块的构建

特征提取模块主要由卷积层和池化层的级联构成，其中卷积层用于对输入进行卷积滤波得到多个特征图像输出。池化层是对输入做池化处理，主要目的是对输入数据进行降维。其中，池化操作采用最大值滤波，用局部区域的最大值来替换池化滤波器区域的整体。

本发明的特征提取模块可分为多个子块，不同子块中的卷积层的卷积核尺寸都是相同的，只是卷积核的数量不同，每个子块内部的卷积层卷积核的尺寸不同，主要目的是为了降低参数数量以及降低计算消耗，每个子块之间级联一个池化层，目的是为了对数据降维。第一个子块的输入来自训练样本，其他子块的第一层的的输入都是来自池化层降维后的输出，子块之间的最大值池化层的核尺寸和步长都是预设值，每个子块内部的卷积层的数量和核的尺寸的大小可以根据实际需求进行设定，这种子块级联的构建方式，随着模型的深度加深，能够提取更丰富的层级特征。

设置特征提取模块有N个子块，X_i ^l-1(n)(i＝1,2,...,I；l＝1,2...L)表示第n个子块的第l层卷积的第i个特征图像。X_j ^l(n)(j＝1,2,...,J；l＝1,2...L)表示第n个子块的第l-1层卷积的第j个特征图像。在一个子块中，卷积层X_j ^l-1(n)的输出构成卷积层X_i ^l(n)的输入，那么卷积的公式可以定义为：

其中k_ij ^l表示与第l-1层第i个特征图像连接的第l层第j个卷积核，b_j ^l表示对应的偏置项。B_j是索引集，表示第l层第j个特征图像与第l-1层第i个特征图像的所有连接集合，即以一定的步长(本发明中步长预设为1)通过滑窗方式对输入进行卷积得到对应位置的输出。卷积层输出的特征图尺寸可以表示为：h_ci ^l＝(h_ci ^l-1-c+2a_c)/s_c+1，其中c表示卷积滤波器核的尺寸，a_c表示做空间0填充的像素个数，s_c表示卷积核在输入特征图像上做滑窗的移动步长。h_ci ^l-1表示第l-1层第i个特征图像的尺寸，h_ci ^l表示对应卷积后的输出尺寸。

在深度模型中，越大的卷积核尺寸在训练过程中将产生越多的参数，不仅训练需要花费比较多的时间，而且很容易造成过拟合，但是卷积核尺寸大将产生大的感受野，要比小尺寸卷积核的效果要好，本发明提出的网络模型，采用空洞卷积的方法，该方法可以结合大尺寸卷积核感受野的优点且可以避免参数过多而出现过拟合，表达式可以定义为：

其中F表示为二维图像，s为定义域，k为核函数，t是其定义域，d＝s+lt表示空洞卷积的定义域，其中l表示膨胀率，通过改变l的值，可以设置不同的感受野范围。本发明设计的模型，选取膨胀率l＝2效果最好。

每一个卷积层输出接一个批量归一化(Batch Normalization)层和非线性激活函数(ReLU)层，其中BN层可以表示为：

B＝BN(f)

其中k＝1,2,3...,d，表示一层的d维输入。E[x^(k)]表示第k个输入的均值，Var[x^(k)]表示方差。BN层是放在激活层的前面，对卷积滤波后的输出进行归一化处理，目的是为了保证通过每一层卷积层后的分布一致，使模型训练更快收敛且防止出现梯度消失和梯度爆炸。相当于一种正则化手段，在使用BN层的情况下，可以减少其他正则化的使用，同样也能达到比较好的效果。而ReLU层作为修正单元可表示为：σ(Z)＝max(0,Z)，即对于卷积输出的每个元素，取其与0中的最大项作为修正结果，目的是对卷积滤波后的输出进行修正处理，此处ReLU修正的是BN层对卷积归一化后的结果。

池化层作为降维操作，可以有效降低模型的参数量。本发明设计的网络，在每一个子块之间有一层池化层，池化操作可以表示为：X_j ^l＝p(X_j ^l-1)，即对前一层的输出根据池化核的大小以及步长设定用局部区域最大值代替池化核区域整体。一个特征图像经过一个池化层后，输出特征图像尺寸为：h_mi ^l＝(h_mi ^l-1-m+2a_m)/s_m+1，其中m代表池化滤波器核的尺寸，a_m表示做空间0填充的像素个数，s_m表示池化核在输入特征图像上做滑窗的移动步长。h_mi ^l-1表示第l-1层第i个特征图像的尺寸，h_mi ^l表示对应池化后的输出图像尺寸。

步骤3-2、分类模块的构建

构建由全局平均池化层、全连接层和softmax分类层组成的分类模块，传统的全连接层是直接作用在特征提取模块的输出，这也是造成模型参数过多和过拟合的重要原因，用全局平均池化层代替传统的全连接层，直接作用在特征提取模块输出特征图像上，对每一个特征图像用全局平均值替代整体，得到一个维度同特征图像个数相同的特征向量，然后再接一个用于类别映射的全连接层即可，通过这种方式可以有效降低模型的参数。全局平均池化可以用公式表示为：

G_i＝Average(S_i)

其中i＝1,2,3,...,M，S_i表示特征提取模块输出的第i个特征图像，Average(·)表示对每一个特征图像做全局平均，即用特征图像的所有像素的平均值来代替整体，通过全局平均池化后，输出是一个向量[G,G₂,G₃,...G_M]^T，向量的维度即是特征图像的个数。

通过全局平均池化层后需要接一层小的全连接层，目的仅仅是为了将多维的特征向量映射到对应的类别，相比传统的直接连全连接层的方式参数量极大的减少。最后通过softmax非线性函数映射得到分类结果。假定，最终的输出为一个K维的向量，向量中每一个元素对应每一类的概率p_n＝P(y＝n|x)其中m＝1,2,3,...,K，因此softmax函数可以定义为：

其中O_n表示输出层上第n个单元的输入的加权和。

步骤4、深度模型训练

步骤4-1、学习率α、迭代次数e、输入模型的块数据(mini-batch)大小、训练集和验证集占比初始设为预设值。

步骤4-2、每次从训练样本中随机抽取包含A个样本的mini-batch作为深度模型第一层的输入进行训练，特征提取模块输出对应输入的特征矩阵，分类提取模块对该特征矩阵映射得到对应输入预测的类别概率。

假定有K个类，d个带标签的训练样本，可以表示为(x_i,y_i)i＝1,2,3,...d，x_i表示第i个训练样本，y_i表示对应样本的真实标签，那么交叉熵损失函数定义为：

采用小批量随机梯度下降法(MSGD)进行参数更新学习，通过最小化交叉熵损失函数，参数w将被迭代更新。

步骤4-3、判断迭代次数是否达到设定的总的迭代次数，若是，则执步骤4-4；否则，再判断验证集正确率在当前模型的变化是否小于阈值，如果小于阈值，则调小学习率，继续执行步骤4-2，进一步更新学习；否则，学习率不做调整，继续执行步骤4-2。

步骤4-4、训练次数达到初始设置的迭代次数阈值，验证集正确率和损失基本上没有变化，达到模型训练终止条件，保存验证集正确率最高的模型，用于接下来的识别处理。

步骤5、一个原始SAR测试图像样本根据方向和尺度参数的不同，将得到不同数量的Gabor特征图像，将得到的Gabor特征图像，输入到步骤4-4中保存的训练好的模型中，每一个Gabor特征图像通过深度模型都将输出对应的类别概率。将每一个特征图像的预测结果融合作为这一张原始SAR测试图像样本的识别率。融合的方式可以选择不同的策略，比如，平均法(简单平均法、加权平均法)、投票法(绝对多数投票法、相对多数投票法、加权投票法)、学习法等，不同的融合策略会有不同的结果。

本发明的有益效果为，在小样本数据集情况下，通过Gabor滤波器提取多尺度多方向的特征图像来作为增强数据，可以克服由于训练数据的缺乏而导致深度模型出现过拟合的难点；随着深度模型的加深，能够提取更加丰富的目标特征，从而提升目标识别的准确度。

附图说明

图1为本发明识别算法流程；

图2为原始SAR图像数据展示；

图3为Gabor变换特征图像展示；

图4为卷积滤波和最大值池化的原理示例展示。

图5为深度模型整体架构。

具体实施方式

以下结合附图及实施例对本发明作进一步说明：

实施例

本例以MSTAR十类目标识别任务为目的，训练样本为64×64的SAR RAW格式数据，训练样本来自俯仰角为17度的目标数据，而测试数据来自俯仰角为15度的目标数据。表1为MSTAR十类目标数据。MSTAR原始SAR图像数据展示见附图2。

表1

本例的Gabor的参数选择为θ＝{0°，15°，30°,...,165°}，每隔15°选择一个角度，总共为8个方向，尺度s＝{0,1,2}，总共3个尺度，那么通过Gabor变换后每个原始SAR测试图像样本变成36个特征图像，Gabor变换特征图像展示见附图3。

本例的深度模型有16个卷积层。特征提取模块由四个子块构成，每一个子块中由四个卷积层构成，以第一个子块为例，输入训练数据的尺寸为64×64，第1个卷积层卷积核尺寸为3×3，有64个卷积核，卷积操作时采用空间0填充，最终输出为64个尺寸为64×64的特征图像。第2层卷积层卷积核尺寸为1×1，有16个卷积核，最终输出16个64×64的特征图像。第3层卷积层的卷积核尺寸为3×3，有16个卷积核，最终输出为16个64×64的特征图像，第四层卷积层的卷积核尺寸为1×1，有64个卷积核，最终输出为64个64×64的特征图像，每个卷积层后跟着一个BN层，然后跟一个ReLU激活函数层。其他子块也是相似的结构，只是随着子块序号的增加，卷积核的个数不同，且由于子块与子块间池化层的降维处理，实验中池化层的核尺寸为2×2，步长为2，那么每次通过池化处理，输入图像尺寸减小一半。特征提取模块的输出作为分类模块的输入，通过映射分类得到每一个类别的输出概率。卷积滤波和最大值池化的原理示例展示见附图4，深度模型的整体架构见附图5。

训练过程，设置迭代次数为50个epochs，初始学习率为0.01，由于采用了BN层的缘故，在网络初始训练时，采用大的学习率可以加速模型收敛，使训练时间大幅度缩短，前期大的学习率可以加速训练，训练到一定的程度，验证集正确率变化很小，根据验证集正确率的变化同设定阈值的比较来自动调小学习率，可以进一步学习。

测试过程，每一个原始SAR测试图像样本通过Gabor滤波器后将得到多个特征图像，测试的时候将多个特征图像的结果采用融合策略中的简单平均法，将该平均值作为对应原始SAR测试图像样本的类别概率，最终预测出对应的类别。

表2展示了本发明实验36个Gabor特征图像中单个特征图像的十类平均识别正确率。

表2

序号	1	2	3	4	5	6	7	8	9	10	11	12
													平均正确率(％)	91.32	87.41	72.30	92.32	87.45	74.90	93.91	87.42	74.59	94.22	85.86	73.71
序号	13	14	15	16	17	18	19	20	21	22	23	24
													平均正确率(％)	93.94	86.33	.73.21	92.91	86.04	71.34	92.23	86.23	71.59	92.54	85.70	72.37
序号	25	26	27	28	29	30	31	32	33	34	35	36
													平均正确率(％)	93.69	85.23	72.12	93.91	86.73	73.59	93.51	87.01	74.93	92.29	87.32	74.40

从表2中可以看出，单个特征图像的识别正确率并不是很高，且不同特征图像的识别率差别较大，但通过集成36个特征图像的识别结果，能够得到总体的十类平均识别正确率为96.32％，具体的每一类的识别正确率如表3中展示：

表3

类型	BMP2	BTR70	T72	BTR60	2S1	BRDM2	D7	T62	ZIL131	ZSU234	平均正确率
												本方法(％)	92.33	100	97.00	96.40	88.30	97.00	98.90	98.20	100	99.60	96.32

相比单个特征图像的识别效果，集成后的识别率有很大的提高。说明，本发明提到的集成方式是一种有效的提升目标识别率的方法，具体的识别过程流程图见附图1中的识别过程。

表4中给出了本发明方法与其他的方法的识别正确率的对比效果：

表4

方法	k-NN	SVM	AdaBoost	SVM(Pose)	AdaBoost(Pose)	SRC	MJSRC	本方法
									平均正确率(％)	88.39	84.28	88.84	90.42	92.96	91.23	92.44	96.32

对应方法具体的学名如表5中展示：

表5

简称	全名
		k-NN	k近邻分类器
SVM	支持向量机
		SVM(Pose	有姿态的支持向量机
AdaBoost	Feature fusion via boosting on RBF net classifiers
		AdaBoost(	Feature fusion via boosting on RBF net classifiers with a pose
SRC	稀疏表示分类器
		MJSRC	多任务联合稀疏表示分类器

其中现有方法k-NN、SVM、有姿态矫正的SVM、Adaboost、有姿态矫正的Adaboost、SRC、MJSRC，上述方法十类平均识别正确率如表4中给出，相比现有的方法，本发明的方法比最高识别率的有姿态矫正的Adaboost高出3.36％，充分表现出本发明提到的方法的有效性，且本发明设计的深度模型架构可以根据数据增强的多少来调整模型中各个子块中卷积层的数量，从而灵活设计网络的层级。随着深度模型的加深，能够提取丰富的目标特征表达，有效提高目标识别正确率，且模型参数极大的减少，过拟合现象得到有效抑制。

Claims (1)

1.基于数据增强的合成孔径雷达图像目标深度模型识别方法，其特征在于，包括以下步骤：

步骤1、对现有的SAR图像训练样本进行Gabor滤波器变换，每一张原始SAR图像样本进行不同方向不同角度的Gabor变换，得到多方向多尺度的特征图像；

步骤2、对原始SAR图像测试数据，做同样的Gabor变换，保证测试数据与训练数据的处理方式一样；

步骤3、构建深度模型：

步骤31、构建特征提取模块：

由卷积层和池化层的级联构成特征提取模块，其中卷积层用于对输入进行卷积滤波得到多个特征图像输出；池化层用于对输入做池化处理，实现对输入数据进行降维；

步骤32、构建分类模块：

由全局平均池化层、全连接层和softmax分类层组成分类模块；所述全局平均池作用在特征提取模块输出特征图像上，对每一个特征图像用全局平均值替代整体，得到一个维度同特征图像个数相同的特征向量；

通过全局平均池化层后需要接一层小的全连接层，用于将多维的特征向量映射到对应的类别，最后通过softmax非线性函数映射得到分类结果。

步骤4、深度模型训练：

步骤41、学习率α、迭代次数e、输入模型的块数据大小、训练集和验证集占比初始设为预设值；

步骤42、每次从训练样本中随机抽取包含A个样本的mini-batch作为深度模型第一层的输入进行训练，特征提取模块输出对应输入的特征矩阵，分类提取模块对该特征矩阵映射得到对应输入类别概率；

设定有K个类，d个带标签的训练样本，表示为(x_i,y_i)i＝1,2,3,...d，x_i表示第i个训练样本，y_i表示对应样本的真实标签，交叉熵损失函数定义为：

采用小批量随机梯度下降法进行参数更新学习，通过最小化交叉熵损失函数，参数w将被迭代更新；

步骤43、判断迭代次数是否达到设定的总的迭代次数，若是，则执步骤44；否则，再判断验证集正确率在当前模型的变化是否小于阈值，如果小于阈值，则调小学习率，继续执行步骤42，进一步更新学习；否则，学习率不做调整，继续执行步骤42；

步骤44、训练次数达到初始设置的迭代次数阈值，保存验证集正确率最高的模型，用于接下来的识别处理；

步骤5、一个原始SAR测试图像样本根据方向和尺度参数的不同，将得到不同数量的Gabor特征图像，将得到的Gabor特征图像，输入到步骤44中保存的训练好的模型中，每一个Gabor特征图像都将输出对应的类别概率，将每一个特征图像的预测结果融合作为这一张原始SAR图像测试样本的识别率。