CN104732243B

CN104732243B - 基于cnn的sar目标识别方法

Info

Publication number: CN104732243B
Application number: CN201510165886.XA
Authority: CN
Inventors: 陈渤; 丁军; 黄孟缘
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2015-04-09
Filing date: 2015-04-09
Publication date: 2018-04-17
Anticipated expiration: 2035-04-09
Also published as: CN104732243A

Abstract

本发明公开了一种基于CNN的SAR目标识别方法，其实现步骤为：1.对每个训练图像中的待识别目标进行多次随机平移变换，得到新样本，并对这些新样本标上原始图像的标签扩充入训练样本中；2.在caffe架构中构建卷积神经网络CNN结构；3.将扩充后的训练样本输入到CNN中进行训练得到训练好的网络模型；4.对测试样本进行多次平移扩充，得到扩充后的测试样本；5.将扩充后的测试样本输入到训练好的CNN网络模型中测试，得到其识别率。本发明对处于样本图像任意位置的待识别目标均具有高的识别率和稳定的性能，解决了现有SAR目标识别方法受样本图像中待识别目标所处位置影响大的问题。

Description

基于CNN的SAR目标识别方法

技术领域

本发明属于雷达技术领域，特别涉及雷达目标的识别方法，用以解决现有目标识别方法对SAR图像中待识别目标的平移敏感性问题。

背景技术

合成孔径雷达SAR具有全天候、全天时、分辨率高以及穿透力强等特点，广泛应用于军事侦察和遥感领域。雷达成像技术在对地面目标特别是地面静止目标探测方面具有独特的优势，随着SAR技术不断成熟，成像分辨率不断提高，使得通过SAR图像的目标识别技术受到越来越广泛的关注。

卷积神经网络CNN是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

当前的SAR图像目标识别方法通常基于MSTAR数据库进行的，在MSTAR数据样本中，待识别目标区域都位于图像正中心位置。但是，实际SAR成像得到的样本其待识别目标区域会处于SAR图像的任意位置，而现有的目标识别方法受目标区域所处位置的影响较大，造成识别率降低。

发明内容

本发明目的在于针对现有技术的不足，提供了一种基于CNN的SAR目标识别方法，以避免受目标区域所在位置的影响，提高目标识别率。

实现本发明目的的技术思路是：首先对MSTAR数据库进行预处理，将MSTAR训练样本中的待识别目标区域进行多次的随机平移，以逼近目标区域在样本中任意位置的可能，产生的新样本扩充入原始样本中一同作为训练样本输入到基于caffe架构的CNN中进行训练，之后对测试样本也同样进行平移扩充再输入到训练好的CNN中检验其识别率，其具体步骤包括如下：

(1)SAR图像样本获取步骤：

从MSTAR数据集中获取698幅SAR图像和相应的类别标签作为训练样本，获取1365幅SAR图像和相应的类别标签作为测试样本，每幅SAR图像的待识别目标区域均在图像正中心位置；

(2)样本训练步骤：

(2A)对训练样本中每个SAR图像的待识别目标区域进行多次的随机平移，每次平移产生一个新的训练样本图像；在新的训练样本图像上标记与原始训练样本图像相同的类别标签，得到扩充后的训练样本；

(2B)构建基于caffe架构的卷积神经网络CNN的网络结构，该CNN网络结构由两层卷积层和两层全连接层构成；

(2C)将扩充后的训练样本输入到CNN网络模型中进行训练，得到训练好的CNN网络模型；

(3)样本测试步骤：

(3A)对测试样本中每个SAR图像的待识别目标区域进行多次随机平移，每次平移后产生一个新的测试样本图像；在新的测试样本图像上标记与原始测试样本图像相同的类别标签，得到扩充后的测试样本；

(3B)将扩充后的测试样本输入到训练好的CNN网络模型中得到特征向量，再将特征向量输入到一个softmax分类器进行分类，根据测试样本的类别标签与分类器的输出结果得出网络识别率。

本发明与现有技术相比具有以下优点：

1.识别率高

本发明首先对训练样本中待识别目标进行大量的平移扩充，样本量充足，而且其训练样本充分涵盖了待识别目标处于样本图像任意位置的可能；再通过CNN两层卷积层的特征提取过程，使得对该训练样本的特征提取全面，提高了识别率。

2.网络结构突出

本发明采用两层卷积层和两层全连接层的CNN网络结构，该CNN网络结构对MSTAR数据集具有很好的拟合性；该网络是利用滑动的卷积核窗口与输入样本卷积的操作来进行特征提取的，因此对SAR图像形变以及平移等几何变换具有高度不变性，进一步提高了识别率。

附图说明

图1是本发明的实现流程图；

具体实施方式

参照图1，本发明的识别方法包括训练和测试两个阶段，具体步骤如下：

一.训练阶段

步骤1，获取SAR图像训练样本和测试样本。

实验所用数据为公开的MSTAR数据集，本实验使用的MSTAR数据集包括俯仰角在15°和17°下三大类目标：BMP2，BTR70和T72。实验中选取17°俯仰角下图像数据作为训练样本，原始训练样本为698幅目标图像和相应的类别标签，选取15°俯仰角下图像数据作为测试样本，原始测试样本为1365幅目标图像和相应的类别标签，所有样本大小为128*128像素,所有原始样本图像的待识别目标区域均在图像正中心位置。

步骤2，将训练样本中的SAR图像目标区域进行随机平移。

(2a)对训练样本中每一个SAR图像的背景采用围绕边界进行镜像反射填充，即在matlab语言中用以下命令实现：

New_image＝padarray(image,padsize,‘symmetric’)；

其中New_image表示填充后的SAR图像，image表示原始图像，padsize表示填充的行数与列数；

(2b)将填充后的SAR图像中任一像素点坐标(x,y)经x轴平移t_x个单位，经y轴平移t_y个单位得到(x',y')，其中x'＝x+t_x，y'＝y+t_y，t_x和t_y分别随机取区间[-width/2,width/2]和[-height/2,height/2]中的任一整数，height为待识别目标区域的长，width为待识别目标区域的宽；

(2c)以(width/2,height/2)为起点坐标，从填充、平移后的SAR图像中截取与原始SAR图像训练样本同样大小的区域，得到一个新的训练样本图像。

步骤3，扩充训练样本。

在随机平移得到的新训练样本图像上标记与原始训练样本图像相同的类别标签，得到扩充后的训练样本。

步骤4，构建基于caffe架构的CNN的网络结构。

CNN网络结构由两层卷积层和两层全连接层构成，其构建步骤如下：

(4a)构建第一层为卷积层：该层用于对128*128*1*n的输入数据进行卷积，n表示输入样本个数，该卷积层的卷积核窗口大小为11*11，相邻局部接受域的中心距离设为4，输出96个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为3*3，相邻局部接受域的中心距离为2，经下采样得到降维后的特征图输入到第二层，其中：

第一层中的卷积采用以下公式：

式中表示第1层卷积层的第j个特征图，X⁰表示输入样本，表示第1层第j个特征图的卷积核，表示第1层的第j个特征图的偏置，*表示卷积操作，f()表示激活函数，f(x)＝max(0,x)；

第一层中的下采样采用以下公式：

式中K(u,v)表示长为u，宽为v的核窗口与第k个输入特征图x^k的重合区域；(i,j)为K(u,v)区域内的任意一点，为第k个特征图x的K(u,v)区域内下采样得到的结果；

(4b)构建第二层为卷积层：该层用于对第一层得到特征图进行卷积，该卷积层的卷积核窗口大小为5*5，相邻局部接受域的中心距离设为2，输出256个特征图，每个特征图经过一个下采样，下采样的核窗口大小为3*3，相邻局部接受域的中心距离为2，经下采样得到降维后的特征图输入到第三层，其中：

第二层中的卷积采用以下公式：

式中表示第2层的第j个特征图，表示由1层第c个特征图与第2层第j个特征图相连接的卷积核，表示第2层的第j个特征图的偏置，*表示卷积操作，f()表示激活函数，f(x)＝max(0,x)。

第二层中的下采样采用以下公式：

式中K(u,v)表示长为u，宽为v的核窗口与输入特征图x的重合区域；(i,j)为K(u,v)区域内的任意一点，为第二层的第k个特征图，为第k个特征图x的K(u,v)区域内下采样得到的结果；

(4c)构建第三层为全连接层：该层有1000个神经元，用于将输入的特征图变换成一个n维列向量，n维列向量与该全连接层的权值矩阵和偏置进行非线性变换得到一个1000维列向量输入到第四层，其中：

第三层中的非线性变换采用以下公式：

式中表示第3层的第j个神经元，表示由2层第c个神经元与第3层第j个神经元相连接的权值，表示第3层的第j个神经元的偏置，·表示相乘，f()表示激活函数，f(x)＝max(0,x)。

(4d)构建第四层为全连接层：该层有3个神经元，用于将输入的1000维列向量与该全连接层的权值矩阵和偏置进行非线性变换得到一个3维特征向量，其中：

第四层中的非线性变换采用以下公式：

式中表示第4层的第j个神经元，表示由第3层第c个神经元与第4层第j个神经元相连接的权值，表示第4层的第j个神经元的偏置，·表示相乘，f()表示激活函数，f(x)＝max(0,x)。

步骤5，将扩充后的训练样本输入到基于caffe架构的CNN网络结构中训练，最终得到训练好的网络模型。

训练的过程是通过随机梯度下降算法向代价函数减小的方向不断更新权值，并通过反向传播算法将输出层的误差灵敏度向前传播，更新每一层的权值，其训练步骤如下：

(5a)定义网络第四层的误差灵敏度如下所示：

式中表示第四层第j个神经元的输入值，J表示代价函数，这里采用softmax的代价函数，m表示样本个数，x_k表示第四层第k个特征值，x_c为第四层对应类别标签c的第c个特征值,λ为权重衰减参数，表示由第l-1层第i个神经元与第l层第j个神经元相连接的权值。

(5b)计算各层的误差灵敏度：

(5b1)将第四层的误差灵敏度通过反向传播算法向第三层传播，计算第三层各个神经元的误差灵敏度

式中，W⁴表示第3层与第4层的权值矩阵，u³表示第三层各个神经元的输入值，这里的“ο”表示每个元素相乘，f()表示激活函数，f(x)＝max(0,x)；

(5b2)将第三层的误差灵敏度通过反向传播算法向第二层传播，计算第二层经下采样后的特征图的误差灵敏度再通过计算第二层各个原始特征图的误差灵敏度

式中，W³表示第2层与第3层的权值矩阵，表示第二层第j个经下采样后的特征图中各个像素的值，up()表示将下采样后的特征图恢复成原来大小的操作，表示第二层第j个原特征图中各个像素的值，这里的“ο”表示每个元素相乘；

(5b3)将第二层的误差灵敏度通过反向传播算法向第一层传播，计算第一层经下采样后的特征图的误差灵敏度再通过计算第一层中各个原始特征图的误差灵敏度

式中，表示第一层第j个经下采样后特征图中各个像素的值，表示第2层第j个原特征图的卷积核，conv2表示卷积操作，rot180表示旋转180度，up()表示将下采样后的特征图恢复成原来大小的操作，表示第1层第j个原特征图中各个像素的值，这里的“ο”表示每个元素相乘；

(5c)根据各层的误差灵敏度计算梯度：

(5c1)计算第一卷积层中代价函数J对卷积核的梯度和代价函数J对偏置的梯度

式中，表示第1层第j个特征图的卷积核，表示第1层第j个特征图的偏置，(P)_uv表示输入图像在卷积的时候与逐元素相乘的重合区域，表示相应(P)_uv区域内的误差灵敏度；

(5c2)计算第二卷积层中代价函数J对卷积核的梯度和代价函数J对偏置的梯度

式中，表示第1层第i个特征图与第2层第j个特征图相连接的卷积核，表示第2层第j个特征图的偏置，(P_i)_uv表示第i个输入特征值与逐元素相乘的重合区域，表示相应(P)_uv区域内的误差灵敏度；

(5c3)在第三全连接层中，计算代价函数J对权值的梯度和代价函数J对偏置的梯度

式中，表示由2层第i个神经元与第3层第j个神经元相连接的权值，表示第2层第i个神经元的值，表示第3层第j个偏置，表示第3层第j个神经元的误差灵敏度；

(5c4)在第四全连接层中，计算代价函数J对权值的梯度和代价函数J对偏置的梯度

式中，表示由3层第i个神经元与第4层第j个神经元相连接的权值，表示第3层第i个神经元的值，表示第4层第j个偏置，表示第4层第j个神经元的误差灵敏度。

(5d)对各层的权值进行更新：

(5d1)在第一卷积层中，计算更新后的卷积核和偏置

式中表示第1层第j个特征图的卷积核，表示第1层的第j个特征图的偏置，α表示学习率；

(5d2)在第二卷积层中，计算更新后的卷积核和偏置

式中表示第1层第i个特征图与第1层第i个特征图相连接的卷积核，表示第1层的第j个特征图的偏置，α表示学习率；

(5d3)在第三全连接层中，计算更新后的权值和偏置

式中表示由2层第i个神经元与第3层第j个神经元相连接的权值，表示第3层第j个偏置，α表示学习率；

(5d3)在第四全连接层中，计算更新后的权值和偏置

式中表示由3层第i个神经元与第4层第j个神经元相连接的权值，表示第3层第j个偏置，α表示学习率；

通过反复迭代使代价函数收敛，则网络训练完毕，得到训练好的网络模型。

二.测试阶段

步骤6，对测试样本中每个SAR图像的待识别目标区域进行多次随机平移。

(6a)对测试样本中每一个SAR图像的背景采用围绕边界进行镜像反射填充，即在matlab语言中用以下命令实现：

New_image＝padarray(image,padsize,‘symmetric’)；

(6b)将填充后的SAR图像中任一像素点坐标(x,y)经x轴平移t_x个单位，经y轴平移t_y个单位得到(x',y')，其中x'＝x+t_x，y'＝y+t_y，t_x和t_y分别随机取区间[-width/2,width/2]和[-height/2,height/2]中的任一整数，height为待识别目标区域的长，width为待识别目标区域的宽；

(6c)以(width/2,height/2)为起点坐标，从填充、平移后的SAR图像中截取与原始SAR图像测试样本同样大小的区域，得到一个新的测试样本图像。

步骤7，每次平移后产生一个新的测试样本图像，在新的测试样本图像上标记与原始测试样本图像相同的类别标签，得到扩充后的测试样本。

步骤8，将扩充后的测试样本输入到训练好的CNN网络模型中，每个测试样本得到一个三维的特征向量:x＝(x₁,x₂,x₃)。

步骤9，将三维特征向量x输入到一个三类的softmax分类器进行分类，根据测试样本的类别标签与分类器的输出结果得出网络识别率。

(9a)将特征向量x输入到三类的softmax分类器中，分别计算输入样本为类别k＝1,2,3的概率y_k：

式中x_k表示特征向量x的第k个特征值。

(9b)取y_c＝max{y_k,k＝1,2,3}，通过分类器将输入样本分为类别c，例如若y₁，y₂，y₃中y₃最大，分类器将输入样本分为类别3，分类器输出3；比较分类器输出结果与测试样本所带类别标签，得出网络识别率Accuracy：

式中，m为输入测试样本数量，cⁱ为第i个测试样本的分类器输出结果，labelⁱ为第i个测试样本所带类别标签。

本发明的效果可以通过以下仿真实验说明：

1.实验条件

实验所用数据为公开的MSTAR数据集。本实验使用的数据集包括俯仰角在15°和17°下三大类目标：BMP2，BTR70和T72。其中，BMP2目标包含三个型号：SNC21、SN9563、SN9566；BTR70目标只包含一个型号C71，T72目标包含三个型号：SN132、SN812、SNS7。因此数据集共包含了7种型号。

实验中选取17°俯仰角下7种型号图像数据作为训练样本，15°俯仰角下7种型号图像数据作为测试样本，所有样本大小为128*128像素，其中MSTAR数据集中的原始训练样本为698幅目标图像，原始测试样本为1365幅目标图像。实验中对训练样本中的目标区域进行随机平移90次，并扩充入原始训练样本中，将扩充后的训练样本输入到CNN中训练，得到训练好的网络模型；为了验证本发明在目标随机平移时的识别效果，对测试样本中的目标区域进行随机平移9次，并扩充入原始测试样本中，分别将原始测试样本和扩充后的测试样本输入到学习好的CNN网络模型中进行测试并比较识别率差异。

2.实验内容与结果：

a)选取17°俯仰角下7种型号图像数据作为原始训练样本；

b)将15°俯仰角下7种型号图像数据作为测试样本；

c)将每个训练样本中的SAR目标区域在matlab中做90次的平移变换；

d)将平移变换得到的新样本标上标签扩充入训练样本中，得到63518幅训练样本；

e)将扩充后的训练样本输入到CNN中训练，得到训练好的网络模型；

f)将每个测试样本中的SAR目标区域在matlab中做9次的平移变换；

g)在平移变换得到的新样本标上标签扩充入测试样本中，得到13650幅测试样本；

h)分别将1365幅原始测试样本和扩充后的13650幅测试样本输入到训练好的CNN网络模型中测试并得出识别率，结果如表1。

表1原始测试样本识别率和平移扩充后的识别率

由表1可以看出，本发明方法的识别率较高，且性能受SAR目标区域平移情况的影响较小。

Claims

1.一种基于CNN的SAR目标识别方法，包括：

(1)SAR图像样本获取步骤：

(2)样本训练步骤：

(3)样本测试步骤：

2.根据权利要求1所述的方法，其中所述步骤(2A)中对训练用的SAR图像待识别目标进行随机平移，按如下步骤进行：

(2A1)对训练样本中每一个SAR图像的背景采用围绕边界进行镜像反射填充，即在matlab语言中用以下命令实现：

New_image＝padarray(image,padsize,‘symmetric’)；

(2A2)将填充后的SAR图像中任一像素点坐标(x,y)经x轴平移t_x个单位，经y轴平移t_y个单位得到(x',y')，其中x'＝x+t_x，y'＝y+t_y，t_x和t_y分别随机取区间[-width/2,width/2]和[-height/2,height/2]中的任一整数，height为待识别目标区域的长，width为待识别目标区域的宽；

(2A3)以(width/2,height/2)为起点坐标，从填充、平移后的SAR图像中截取与原始SAR图像训练样本同样大小的区域，得到一个新的训练样本图像。

3.根据权利要求1所述的方法，其中所述步骤(2B)中的CNN网络，采用如下4层结构：

第一层为卷积层，用于对128*128*1*n的输入数据进行卷积，n表示输入样本个数，该卷积层的卷积核窗口大小为11*11，相邻局部接受域的中心距离设为4，输出96个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为3*3，相邻局部接受域的中心距离为2，经下采样得到降维后的特征图输入到第二层；

第二层为卷积层，用于对上层的得到特征图进行卷积，该卷积层的卷积核窗口大小为5*5，相邻局部接受域的中心距离设为2，输出256个特征图，每个特征图经过一个下采样，下采样的核窗口大小为3*3，相邻局部接受域的中心距离为2，经下采样得到降维后的特征图输入到第三层；

第三层是全连接层，该层有1000个神经元，用于将输入的特征图变换成一个n维列向量，n维列向量与该全连接层的权值矩阵和偏置进行非线性变换得到一个1000维列向量输入到第四层；

第四层是全连接层，该层有3个神经元，用于将输入的1000维列向量与该全连接层的权值矩阵和偏置进行非线性变换得到一个3维特征向量。

4.根据权利要求3所述的方法，其中所述第一、二层中的卷积采用以下公式：

第一层中的卷积采用以下公式：

第二层中的卷积采用以下公式：

<mrow> <msubsup> <mi>X</mi> <mi>j</mi> <mn>2</mn> </msubsup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <munder> <mo>&Sigma;</mo> <mi>c</mi> </munder> <msubsup> <mi>X</mi> <mi>c</mi> <mn>1</mn> </msubsup> <mo>*</mo> <msubsup> <mi>K</mi> <mrow> <mi>c</mi> <mi>j</mi> </mrow> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow>

5.根据权利要求3所述的方法，其中所述第一、二层中的下采样，采用以下公式：

<mrow> <msub> <mi>y</mi> <mrow> <mi>u</mi> <mi>v</mi> </mrow> </msub> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&Element;</mo> <mi>K</mi> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> </munder> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

式中K(u,v)表示长为u，宽为v的核窗口与输入特征图x的重合区域；(i,j)为K(u,v)区域内的任意一点，y_uv为特征图x的K(u,v)区域内下采样得到的结果。

6.根据权利要求3所述的方法，其中所述第三、四层中的非线性变换采用以下公式：

<mrow> <msubsup> <mi>x</mi> <mi>j</mi> <mi>N</mi> </msubsup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <munder> <mo>&Sigma;</mo> <mi>c</mi> </munder> <msubsup> <mi>x</mi> <mi>c</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>&CenterDot;</mo> <msubsup> <mi>W</mi> <mrow> <mi>c</mi> <mi>j</mi> </mrow> <mi>N</mi> </msubsup> <mo>+</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> </mrow>

式中N取值区间为[3,4]，表示第N层的第j个神经元，表示由N-1层第c个神经元与第N层第j个神经元相连接的权值，表示第N层的第j个神经元的偏置，·表示相乘，f()表示激活函数，f(x)＝max(0,x)。