CN105512680B - 一种基于深度神经网络的多视sar图像目标识别方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的多视SAR图像目标识别方法，包括图像预处理、基于CAE的特征提取、基于RNN的多视SAR图像识别三个步骤。首先对输入图形进行裁剪，能量归一化等预处理过程，然后通过对CAE进行无监督训练提取到原始图像的特征，而后先利用上述特征构建多视SAR图像特征序列。之后，用训练集特征序列对RNN进行有监督训练。训练完成后，RNN可用于对测试集特征序列进行识别。本发明能充分利用CNN在学习和提取图像概括性特征方面的能力，及RNN充分提取序列上下文关系的能力，从而有效的提高了多视SAR图像目标的识别率，具有较高的工程价值。

Description

一种基于深度神经网络的多视SAR图像目标识别方法

技术领域

本发明涉及雷达技术领域，具体地说，是指一种基于深度神经网络的多视SAR图像目标识别方法。

背景技术

作为SAR图像解译系统的组成部分，SAR自动目标识别由于其在灾害评估、资源探测、战场侦察等军事和民用领域的重要意义,引起了研究人员的广泛关注。SAR自动目标识别主要包括特征提取和识别器的构建两个部分。对于特征提取方面，PCA、KPCA、KLDA等方法都被比较成功的运用。对于目标识别领域，模板匹配法，HMM，SVM等方法也都进行了尝试。但是，对于特征提取而言，目前的方法主要集中于对图像特征进行空间变换处理，使得不同类特征具有较好的区分性。但是，这样的做法并不能利用图像中的二维结构信息，得到的特征并不具有概括性，对噪声的鲁棒性不强。

另外，SAR图像识别最重要的指标为识别正确率。而一种有效的提升识别正确率的方法即是利用多幅属于同一目标的多视SAR图像进行联合识别。但是，已有的多视SAR图像识别方法，例如联合稀疏表示，决策级融合等等，都并不能充分利用图像之间的相关性，实现识别正确率的提升。

近年来，两种特殊的深度神经网络：卷积神经网络(Convolution NeuralNetwork，简称CNN)和循环神经网络(Recurrent Neural Network，简称RNN)在模式识别领域得到了广泛的应用。前者能够有效的提取图像中的二维结构信息，并且，其中的卷积层、降采样层交替出现的网络结构使得CNN对于图像一定程度的畸变具有识别不变性。而后者则能够有效提取序列中上下文之间的相互关系。因此，需要将两种模型的优势进行结合，在利用CNN提取特征的基础上，运用RNN提取相互关系，实现多视SAR图像目标识别。

发明内容

本发明的目的是从特征提取和目标识别两个角度入手，提升多视SAR图像目标识别率。本发明将CNN中的所有的卷积层和降采样层当做卷积稀疏自编码器(ConvolutionalAuto-Encoder,简称CAE)进行无监督训练，用于特征提取。此后，利用RNN对多视SAR图像经过CAE提取后的特征进行识别。这样可以充分利用CNN和RNN的优势，提升多视SAR图像识别正确率。

一种基于深度神经网络的多视SAR图像目标识别方法，主要包括以下步骤：

步骤一、对输入的训练集图像和测试集图像进行尺寸裁剪，能量归一化等预处理过程。

(1)以原始图像的目标中心为中心进行裁剪，仅保留原图中目标的部分。

(2)对裁剪后的图像进行能量归一化处理

其中式(1)中，x(i,j)表示原图中(i,j)像素点的原始值，m为原图中各个像素点的均值,σ为原图中各个像素点的均方差，为经过归一化后的图像中(i,j)像素点的值；

步骤二、构建包含卷积层和降采样层的卷积稀疏自编码器(Convolutional Auto-Encoder,简称CAE)，并采用类似于稀疏自编码器(Sparse Auto-Encoder，简称SAE)的无监督训练方法对CAE进行无监督训练，利用完成训练的CAE提取原始图像的特征。并对提取到的特征进行降维处理。

(1)初始化CAE；建立含有卷积层L层，降采样层L层的CAE，其中，卷积层与降采样层交替排列，设第k层卷积层和第k层降采样层所含子图个数为M_k；

(2)构建训练所用输入数据X_data；

设输入图像的尺寸为n₁×n₁，个数为N₁，第1层卷积层单元的局部感知域尺寸为m₁×m₁，卷积层的子图个数为M₁，构建尺寸为m₁ ²×N₁(n₁-m₁+1)²的原始输入数据矩阵X。运用m₁×m₁的矩形窗在原始图像上进行滑动，遍历整个图像。同时，将矩形窗在各个位置所对应的窗内原始图像数据转换为向量，构成X中的某一列。随机分配该向量在X中的位置。选取X中的某些列，构建训练所用的输入数据X_data。

(3)构建SAE；

输入层节点的个数为输入数据X_data中数据的维度m₁ ²，隐含层节点的个数为卷积层的子图个数M₁，输出层节点的个数为与输入层相同，隐含层和输出层可以根据下式获得。

h_i＝f(Wx_i+b₁) (2)

y_i＝f(Uh_i+b₂) (3)

其中，x_i表示X_data中的第i列，作为输入数据。h_i为隐含层节点的值。y_i为输出层节点的值，W为隐含层与输出层之间的转移矩阵，U为隐含层与输出层之间的转移矩阵，b₁,b₂分别为隐含层和输出层偏置向量，W，U的初始值在的范围中随机选择，b₁,b₂的初始值为0。f()为sigmoid函数，即

(4)无监督训练SAE；

无监督训练的目标函数为

其中N表示X_data中的数据个数，β为稀疏准则的权重，ρ稀疏参数，ρ_j为隐含层第j个节点的平均值，KL()表示KL散度，λ为权值衰减参数。第一项表示输入和输出的差别，第二项表示对隐含层提取到的特征进行稀疏性限制，最后一项表示对网络参数值的惩罚项。

以式(4)为目标函数，采用L-bfgs优化方法对网络参数进行更新，直至网络收敛为止。

(5)卷积和降采样操作；

对于第1层卷积层和第1层降采样层而言。第1层卷积层中子图的尺寸为(n₁-m₁+1)×(n₁-m₁+1)，子图k中第(i,j)个点的取值c_k(i,j)为：

其中，x_(i,j)为由原始图像中由(i,j),(i+m₁-1,j),(i,j+m₁-1),(i+m₁-1,j+m₁-1)所限定的m₁×m₁的区域转化为的m₁ ²×1的向量，w_k为第k个子图的权重，为第(3)步中获得的W矩阵中的第k行，b₁ ^(k)为第k个子图的偏置，为第(3)步中获得的b₁向量中的第k个元素。

降采样层的子图个数与前一层卷积层的子图个数相同，设第1层降采样层中单元对应的局部感知域大小为p₁×p₁，不同单元对应的局部感知域不重叠，降采样层的子图k中第(i,j)个点的取值s_k(i,j)为：

如果构建的CAE中卷积层和降采样层的个数等于1时，则直接进行第(7)步，否则执行第(6)步。

(6)对下一层卷积层和降采样层进行无监督训练；

设第k层降采样层的子图尺寸为n_k×n_k，子图个数为M_k-1，原始输入图像个数为N，下一层卷积层单元的局部感知域尺寸为m_k×m_k，子图个数为M_k，构建尺寸为 的原始输入数据矩阵X_k。运用m_k×m_k的矩形窗在上一层降采样层中的各个子图上滑动，遍历整个子图。同时，将矩形窗在各个子图同样位置所对应的窗内子图数据合并为一个向量，构成X_k中的某一列。随机分配该向量在X_k中的位置。选取X_k中的某些列，构建训练所用的输入数据X_data。

将X_data作为SAE的输入，重复第(2)～(6)步，逐层训练，直至训练完(1)步中构建的CAE中的所有层。

(7)获取图像特征；

设最后一层降采样层的子图尺寸为n_L×n_L，子图个数为N_L。将每个子图都转化为 的向量，并将这N_L个向量拼接为尺寸为的向量。对该向量采用PCA方法，进行降维处理，获得图像特征。

步骤三、采用步骤二中获取到的特征，构建多视SAR图像特征序列，对循环神经网络(Recurrent Neural Network，简称RNN)进行有监督训练。完成训练后，利用该RNN对测试集数据进行识别。

(1)构建多视SAR图像特征序列；

根据SAR图像的视角信息，将具有固定视角间隔的多幅属于同一目标的SAR图像利用步骤二所提取到的特征进行组合，得到多视SAR图像特征序列。假设共构建了N个序列，每个序列中共含有M个图像特征。

(2)初始化RNN；

设置RNN的输入层左半部节点数与输入特征的维数相同，RNN的输入层右半部节点数与RNN中隐含层的节点数相同，输出层节点数与待分类的类别数相同，每个节点与一种类别相对应。设利用步骤二获得的特征维数为m,RNN的隐含层节点个数为u，输出层节点数为n，则RNN的输入层含有m+u个节点。RNN中相邻两层间的转移矩阵的初始值随机获得，服从标准正态分布。各偏置向量中每个单元的初始值为0。利用步骤(1)中获得的多视SAR图像特征序列作为RNN的输入。设此时输入的特征为x_t

此时，第1层隐含层节点的取值h_t，由式(7)获得

h_t＝f(W₁x_t+W₂h_t-1d_h) (7)

其中，h_t-1为序列中前一特征对应的隐含层节点值，令当t＝1时，序列中前一特征所对应的隐含层取值h₀中每个单元的值为0。W₁为当前时刻输入与隐含层之间的转移矩阵，W₂为序列中前一特征对应的隐含层取值与此时隐含层之间的转移矩阵，d_h为隐含层所对应的偏置向量，f()为sigmoid函数。

输出层节点中第k个节点的值由式(8)获得

其中，W₃为隐含层与输出层之间的转移矩阵，d_o为输出层所对应的偏置向量。h_t为当前时刻隐含层节点的值。为W₃矩阵中的第k行，为d_o向量中的第k个单元。

此后，将序列中下一特征x_t+1和通过式(7)得到的h_t输入到RNN中，重复执行本步，直至处理完序列中所有特征为止。

(3)有监督训练RNN；

网络有监督训练的目标函数为:

其中，N为序列个数，M为序列中图像特征个数，y_ij表示第j个序列中第i个特征对应的输出结果，p_ij为对应特征的标注，设该特征属于第k类，则p_ij中第k个单元值为1，其他单元值为0，λ为权值衰减参数。为矩阵W的Frobenius范数。采用BPTT的更新策略训练RNN，并用共轭梯度法对网络参数进行更新，直至收敛为止。

(4)利用RNN进行识别

采用步骤(1)中的方法对测试集图像构建具有与训练集相同视角间隔的多视SAR图像特征序列。将该序列代入式(7)～(8)，得到网络的输出y_avg。

其中y_t表示序列中第t个特征对应的网络输出。取出y_avg中最大的值，设y_avg中第k个单元值为y_avg中的最大值，则测试图像属于第k类。

本发明的优点在于：

(1)本发明通过将CNN中对特征提取至关重要的卷积层和降采样层独立为CAE，进行无监督训练。这样可以有效的利用CNN的结构特点提取有效利用原始图像信息的特征。从而保证该方法具有较强的鲁棒性；

(2)本发明运用在自然语言处理中得到广泛应用的RNN，将其应用在多视SAR图像目标识别领域。由于RNN具有较强的提取序列中的上下文相关性，因此，本发明可以充分利用多视SAR图像之间的相关性，实现识别正确率的提升。

附图说明

图1为本发明的流程图；

图2为CAE结构示意图

图3为CAE第1层卷积层进行无监督训练所用的数据结构图；

图4为SAE无监督训练的示意图；

图5为CAE卷积降采样操作的示意图；

图6为CAE第k层(k>1)卷积层进行无监督训练所用的数据结构图；

图7为RNN结构示意图；

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种基于深度神经网络的多视SAR图像目标识别方法，流程如图1所示，包括以下几个步骤：

步骤一、对输入的训练集图像和测试集图像进行尺寸裁剪，能量归一化等预处理过程。

(1)以原始图像的目标中心为中心进行裁剪，仅保留原图中目标的部分。

(2)对裁剪后的图像进行能量归一化处理

其中式(1)中，x(i,j)表示原图中(i,j)像素点的原始值，m为原图中各个像素点的均值,σ为原图中各个像素点的均方差，为经过归一化后的图像中(i,j)像素点的值；

步骤二、构建包含卷积层和降采样层的卷积稀疏自编码器(Convolutional Auto-Encoder,简称CAE)，并采用类似于稀疏自编码器(Sparse Auto-Encoder，简称SAE)的无监督训练方法对CAE进行无监督训练，利用完成训练的CAE提取原始图像的特征。并对提取到的特征进行降维处理。

(1)初始化CAE；建立含有卷积层L层，降采样层L层的CAE，构建如图2所示，卷积层与降采样层交替排列，设第k层卷积层和第k层降采样层所含子图个数为M_k；

(2)构建训练所用输入数据X_data；

设输入图像的尺寸为n₁×n₁，个数为N₁，第1层卷积层单元的局部感知域尺寸为m₁×m₁，卷积层的子图个数为M₁，构建尺寸为m₁ ²×N₁(n₁-m₁+1)²的原始输入数据矩阵X。运用m₁×m₁的矩形窗在原始图像上进行滑动，遍历整个图像。同时，将矩形窗在各个位置所对应的窗内原始图像数据转换为向量，构成X中的某一列，随机分配该向量在X中的位置。如图3所示。选取X中的某些列，构建训练所用的输入数据X_data。

(3)构建SAE；

如图4所示，输入层节点的个数为输入数据X_data中数据的维度m₁ ²，隐含层节点的个数为卷积层的子图个数M₁，输出层节点的个数为与输入层相同，隐含层和输出层可以根据下式获得。

h_i＝f(Wx_i+b₁) (2)

y_i＝f(Uh_i+b₂) (3)

其中，x_i表示X_data中的第i列，作为输入数据。h_i为隐含层节点的值。y_i为输出层节点的值，W为隐含层与输出层之间的转移矩阵，U为隐含层与输出层之间的转移矩阵，b₁,b₂分别为隐含层和输出层偏置向量，W，U的初始值在的范围中随机选择，b₁,b₂的初始值为0。f()为sigmoid函数，即

(4)无监督训练SAE；

无监督训练的目标函数为

其中N表示X_data中的数据个数，β为稀疏准则的权重，ρ稀疏参数，ρ_j为隐含层第j个节点的平均值，KL()表示KL散度，λ为权值衰减参数。第一项表示输入和输出的差别，第二项表示对隐含层提取到的特征进行稀疏性限制，最后一项表示对网络参数值的惩罚项。

以式(4)为目标函数，采用L-bfgs优化方法对网络参数进行更新，直至网络收敛为止。

(5)卷积和降采样操作；

对于第1层卷积层和第1层降采样层而言，如图5所示，输入图像的尺寸为n₁×n₁，设第1层卷积层和第1层降采样层所含子图个数为M₁，第1层卷积层单元的局部感知域尺寸为m₁×m₁，第1层卷积层中子图的尺寸为(n₁-m₁+1)×(n₁-m₁+1)，子图k中第(i,j)个点的取值c_k(i,j)为：

其中，x_(i,j)为由原始图像中由(i,j),(i+m₁-1,j),(i,j+m₁-1),(i+m₁-1,j+m₁-1)所限定的m₁×m₁的区域转化为的m₁ ²×1的向量，w_k为第k个子图的权重，为第(3)步中获得的W矩阵中的第k行，b₁ ^(k)为第k个子图的偏置，为第(3)步中获得的b₁向量中的第k个元素。

如图5所示，降采样层的子图个数与前一层卷积层的子图个数相同，设第1层降采样层中单元对应的局部感知域大小为p₁×p₁，不同单元对应的局部感知域不重叠，降采样层的子图k中第(i,j)个点的取值s_k(i,j)为：

如果构建的CAE中卷积层和降采样层的个数等于1时，则直接进行第(7)步，否则执行第(6)步。

(6)对下一层卷积层和降采样层进行无监督训练；

设第k层降采样层的子图尺寸为n_k×n_k，子图个数为M_k-1，原始输入图像个数为N，下一层卷积层单元的局部感知域尺寸为m_k×m_k，子图个数为M_k，构建尺寸为 的原始输入数据矩阵X_k。运用m_k×m_k的矩形窗在上一层降采样层中的各个子图上滑动后，遍历整个子图。同时，将矩形窗在各个子图同样位置所对应的窗内子图数据合并为一个向量，构成X_k中的某一列。如图6所示。随机分配该向量在X_k中的位置。选取X_k中的某些列，构建训练所用的输入数据X_data。

将X_data作为SAE的输入，重复第(2)～(6)步，逐层训练，直至训练完(1)步中构建的CAE中的所有层。

(7)获取图像特征；

设最后一层降采样层的子图尺寸为n_L×n_L，子图个数为N_L。将每个子图都转化为 的向量，并将这N_L个向量拼接为尺寸为的向量，对该向量采用PCA方法，进行降维处理，获得图像特征。

步骤三、采用步骤二中获取到的特征，构建多视SAR图像特征序列，对循环神经网络(Recurrent Neural Network，简称RNN)进行有监督训练。完成训练后，利用该RNN对测试集数据进行识别。

(1)构建多视SAR图像特征序列；

根据SAR图像的视角信息，将具有固定视角间隔的多幅属于同一目标的SAR图像利用步骤二所提取到的特征进行组合，得到多视SAR图像特征序列。假设共构建了N个序列，每个序列中共含有M个图像特征。

(2)初始化RNN；

如图7所示，初始化RNN。设置RNN的输入层左半部节点数与输入特征的维数相同，RNN的输入层右半部节点数与RNN中隐含层的节点数相同，输出层节点数与待分类的类别数相同，每个节点与一种类别相对应。设利用步骤二获得的特征维数为m,RNN的隐含层节点个数为u，输出层节点数为n，则RNN的输入层含有m+u个节点。RNN中相邻两层间的转移矩阵的初始值随机获得，服从标准正态分布。各偏置向量中每个单元的初始值为0。利用步骤(1)中获得的多视SAR图像特征序列作为RNN的输入。设此时输入的特征为x_t

此时，第1层隐含层节点的取值h_t，由式(7)获得

h_t＝f(W₁x_t+W₂h_t-1d_h) (7)

其中，h_t-1为序列中前一特征对应的隐含层节点值，令当t＝1时，序列中前一特征所对应的隐含层取值h₀中每个单元的值为0。W₁为当前时刻输入与隐含层之间的转移矩阵，W₂为序列中前一特征对应的隐含层取值与此时隐含层之间的转移矩阵，d_h为隐含层所对应的偏置向量，f()为sigmoid函数。

输出层节点中第k个节点的值由式(8)获得

其中，W₃为隐含层与输出层之间的转移矩阵，d_o为输出层所对应的偏置向量。h_t为当前时刻隐含层节点的值。为W₃矩阵中的第k行，为d_o向量中的第k个单元。

此后，将序列中下一特征x_t+1和通过式(7)得到的h_t输入到RNN中，重复执行本步，直至处理完序列中所有特征为止。

(3)有监督训练RNN；

网络有监督训练的目标函数为:

其中，N为序列个数，M为序列中图像特征个数，y_ij表示第j个序列中第i个特征对应的输出结果，p_ij为对应特征的标注，设该特征属于第k类，则p_ij中第k个单元值为1，其他单元值为0，λ为权值衰减参数。为矩阵W的Frobenius范数。采用BPTT的更新策略训练RNN，并用共轭梯度法对网络参数进行更新，直至收敛为止。

(4)利用RNN进行识别

采用步骤(1)中的方法对测试集图像构建具有与训练集相同视角间隔的多视SAR图像特征序列。将该序列代入式(7)～(8)，得到网络的输出y_avg。

其中y_t表示序列中第t个特征对应的网络输出。取出y_avg中最大的值，设y_avg中第k个单元值为y_avg中的最大值，则测试图像属于第k类。

实施例：

一种基于深度神经网络的多视SAR图像目标识别方法，具体为：

步骤一、对输入的训练集图像和测试集图像进行尺寸裁剪，能量归一化等预处理过程。

选取MSATR数据库中的T72，BMP2，BTR70三个数据集，其中训练集为在17度俯视角下采集的T72_132，BMP2_S71，BTR70_C71三个数据集，测试集为在15度俯视角才采集的T72_132，T72_812，T72_S7，BMP2_9563，BMP2_9566，BMP2_S71，BTR70_C71这7个数据集。

(1)将原始的训练图像和获得的各种分辨率的测试图像进行裁剪，由128×128裁剪为64×64。

(2)采用能量归一化方法对训练集图像和测试集图像进行归一化操作。公式如下

步骤二、构建包含卷积层和降采样层的卷积稀疏自编码器(Convolutional Auto-Encoder,简称CAE)，并采用类似于稀疏自编码器(Sparse Auto-Encoder，简称SAE)的无监督训练方法对CAE进行无监督训练，利用完成训练的CAE提取原始图像的概括性特征。并对提取到的特征进行降维处理。

(1)构建如图2所示CAE，含有一层卷积层和一层降采样层。其中，卷积层的局部感知域尺寸为23×23，子图个数为16。降采样层的局部感知域尺寸为3×3。

(2)构建训练所用输入数据X_data；

输入训练图像的尺寸为64×64，个数为698，构建尺寸为1225×1231272的原始输入数据矩阵X。通过23×23的矩形窗在原始图像上进行滑动，遍历整个图像。同时，将矩形窗在各个位置所对应的窗内原始图像数据转换为向量，构成X中的某一列，随机分配该向量在X中的位置。如图3所示，选取X中的前1/6列，构建训练所用的输入数据X_data，尺寸为1225×205212。

(3)构建SAE；

如图4所示，输入层节点的个数为数据的维度1225，隐含层节点的个数为16，输出层节点的个数为与输入层相同，隐含层和输出层可以根据下式获得。

h_i＝f(Wx_i+b₁) (2)

y_i＝f(Uh_i+b₂) (3)

其中，W，U的初始值在的范围中随机选择，b₁,b₂的初始值为0。

(4)无监督训练SAE；

无监督训练的目标函数为

其中，取N为205212，β为3，ρ为0.04，λ为8e-2。

以式(4)为目标函数，采用L-bfgs优化方法对网络参数进行更新，步长因子初始值为1，采用Wolfe线性搜索，其中，充分下降条件系数为1e-4，曲率条件系数为0.9。利用过去50代的信息修正Hessian矩阵的估计。最大更新周期为100，收敛的条件为目标函数值的变化小于1e-9或者参数的最大变化幅度小于1e-9。

(5)卷积和降采样操作；

对于第1层卷积层和第1层降采样层而言，如图5所示。第1层卷积层中子图的尺寸为42×42，子图k中第(i,j)个点的取值c_k(i,j)为：

降采样层中，子图k中第(i,j)个点的取值s_k(i,j)为：

(6)获取图像特征；

最后一层降采样层的子图尺寸为14×14，子图个数为16。将每个子图都转化为196×1的向量，并将这16个向量拼接为尺寸为3136×1的向量。并对该向量，采用PCA方法进行降维。取前240个主成分，此时累积方差贡献率大于99％。特征的维度由3136维降至240维。获得图像特征。

步骤三、采用步骤二中获取到的特征，构建多视SAR图像特征序列，对循环神经网络(Recurrent Neural Network，简称RNN)进行有监督训练。完成训练后，利用该RNN对测试集数据进行识别。

(1)构建多视SAR图像特征序列；

根据SAR图像的视角信息，将具有30°视角间隔的3幅属于同一目标的SAR图像利用步骤二所提取到的特征进行组合，得到多视SAR图像特征序列。共构建649个序列。

(2)初始化RNN；

如图7所示，构建RNN。设RNN的隐含层节点个数为200，输出层节点数为3，则RNN的输入层含有440个节点。RNN中相邻两层间的转移矩阵的初始值随机获得，服从标准正态分布。各偏置向量中每个单元的初始值为0。利用步骤(1)中获得的多视SAR图像特征序列作为RNN的输入。设此时输入的特征为x_t

此时，第1层隐含层节点的取值h_t，由式(7)获得

h_t＝f(W₁x_t+W₂h_t-1d_h) (7)

其中，h_t-1为序列中前一特征对应的隐含层节点值，令当t＝1时，序列中前一特征所对应的隐含层取值h₀中每个单元的值为0。W₁为当前时刻输入与隐含层之间的转移矩阵，W₂为序列中前一特征对应的隐含层取值与此时隐含层之间的转移矩阵，d_h为隐含层所对应的偏置向量，f()为sigmoid函数。

输出层节点中第k个节点的值由式(8)获得

其中，W₃为隐含层与输出层之间的转移矩阵，d_o为输出层所对应的偏置向量。h_t为当前时刻隐含层节点的值。为W₃矩阵中的第k行，为d_o向量中的第k个单元。

此后，将序列中下一特征x_t+1和通过式(7)得到的h_t输入到RNN中，重复执行本步，直至处理完序列中所有特征为止。

(3)有监督训练RNN；

网络有监督训练的目标函数为:

其中，N为649，M为3，λ为1e-4。来自于T72_132训练集的数据，p_i定义为[1,0,0]；来自于BMP2_S71训练集的数据，p_i定义为[0,1,0]；来自于BTR70_C71训练集的数据，p_i定义为[0,0,1]。

采用BPTT的更新策略训练RNN，并用共轭梯度方法对网络参数进行更新，直至收敛为止。以式(9)为目标函数，最大更新周期为10，收敛的条件为目标函数值的变化小于1e-9或者参数的最大变化幅度小于1e-9。

(4)利用RNN进行识别

采用步骤(1)中的方法对测试集图像构建具有与训练集相同视角间隔的多视SAR图像特征序列。将该序列代入式(7)～(8)，得到网络的输出y_avg。

其中y_i表示序列中第i个特征对应的网络输出。取出y_avg中最大的值。若y_avg中第一个单元值最大，则该测试图像属于T72类，若y_avg中第二个单元值最大，则该测试图像属于BMP2类，若y_avg中第三个单元值最大，则该测试图像属于BTR70类。

仿真验证：

按照具体实施例中所使用的数据和模型的参数，进行训练和识别。同时，为证明本发明所提出方法的鲁棒性，我们通过采用对原有测试集SAR图像中随机选取的部分极值点置随机值的方法获得具有不同遮挡率的测试集图像，进行模型的训练和识别。另外，也采用PCA、KPCA的特征提取方法，决策级融合、联合稀疏表示的多视SAR图像识别方法进行了对比实验。实验基于Intel(R)Core(TM)i5-3210M@2.50GHz CPU的计算机。实验结果如下：

表1在不同遮挡率下利用PCA特征的多视SAR图像识别结果

表2在不同遮挡率下利用KPCA特征的多视SAR图像识别结果

表3在不同遮挡率下利用CAE特征的多视SAR图像识别结果

根据以上三个表中的结果可得，随着遮挡率的增加，本发明所提出的基于CAE的特征提取方法，和基于RNN的多视SAR图像目标识别方法，都能取得优于其他特征提取和目标识别方法的结果，并且具有较强的鲁棒性。同时，将基于CAE的特征提取方法与基于RNN的目标识别方法相结合，可以取得最优的识别正确率。通过实验的结果，验证了本发明所提出的方法的实用性。

Claims (1)

1.一种基于深度神经网络的多视SAR图像目标识别方法，包括以下步骤：

步骤一、对输入的训练集图像和测试集图像进行尺寸裁剪，能量归一化预处理过程；

(1)以原始图像的目标中心为中心进行裁剪，仅保留原图中目标的部分；

(2)对裁剪后的图像进行能量归一化处理

其中式(1)中，x(i,j)表示原图中(i,j)像素点的原始值，m为原图中各个像素点的均值,σ为原图中各个像素点的均方差，为经过归一化后的图像中(i,j)像素点的值；

步骤二、构建包含卷积层和降采样层的卷积稀疏自编码器CAE，并采用类似于稀疏自编码器SAE的无监督训练方法对CAE进行无监督训练，利用完成训练的CAE提取原始图像的特征，并对提取到的特征进行降维处理；

(1)初始化CAE；建立含有卷积层L层，降采样层L层的CAE，其中，卷积层与降采样层交替排列，设第k层卷积层和第k层降采样层所含子图个数为M_k；

(2)构建训练所用输入数据X_data；

设输入图像的尺寸为n₁×n₁，个数为N₁，第1层卷积层单元的局部感知域尺寸为m₁×m₁，卷积层的子图个数为M₁，构建尺寸为m₁ ²×N₁(n₁-m₁+1)²的原始输入数据矩阵X；运用m₁×m₁的矩形窗在原始图像上进行滑动，遍历整个图像；同时，将矩形窗在各个位置所对应的窗内原始图像数据转换为向量，构成X中的某一列；随机分配该向量在X中的位置；选取X中的某些列，构建训练所用的输入数据X_data；

(3)构建SAE；

输入层节点的个数为输入数据X_data中数据的维度m₁ ²，隐含层节点的个数为卷积层的子图个数M₁，输出层节点的个数为与输入层相同，隐含层和输出层根据下式获得；

h_i＝f(Wx_i+b₁) (2)

y_i＝f(Uh_i+b₂) (3)

其中，x_i表示X_data中的第i列，作为输入数据；h_i为隐含层节点的值；y_i为输出层节点的值，W为隐含层与输出层之间的转移矩阵，U为隐含层与输出层之间的转移矩阵，b₁,b₂分别为隐含层和输出层偏置向量，W，U的初始值在的范围中随机选择，b₁,b₂的初始值为0；f()为sigmoid函数，即

(4)无监督训练SAE；

无监督训练的目标函数为

其中N表示X_data中的数据个数，β为稀疏准则的权重，ρ稀疏参数，ρ_j为隐含层第j个节点的平均值，KL()表示KL散度，λ为权值衰减参数；第一项表示输入和输出的差别，第二项表示对隐含层提取到的特征进行稀疏性限制，最后一项表示对网络参数值的惩罚项；

以式(4)为目标函数，采用L-bfgs优化方法对网络参数进行更新，直至网络收敛为止；

(5)卷积和降采样操作；

第1层卷积层中子图的尺寸为(n₁-m₁+1)×(n₁-m₁+1)，子图k中第(i,j)个点的取值c_k(i,j)为：

其中，x_(i,j)为由原始图像中由(i,j),(i+m₁-1,j),(i,j+m₁-1),(i+m₁-1,j+m₁-1)所限定的m₁×m₁的区域转化为的m₁ ²×1的向量，w_k为第k个子图的权重，为第(3)步中获得的W矩阵中的第k行，b₁ ^(k)为第k个子图的偏置，为第(3)步中获得的b₁向量中的第k个元素；

降采样层的子图个数与前一层卷积层的子图个数相同，设第1层降采样层中单元对应的局部感知域大小为p₁×p₁，不同单元对应的局部感知域不重叠，降采样层的子图k中第(i,j)个点的取值s_k(i,j)为：

如果构建的CAE中卷积层和降采样层的个数等于1时，则直接进行第(7)步，否则执行第(6)步；

(6)对下一层卷积层和降采样层进行无监督训练；

设第k层降采样层的子图尺寸为n_k×n_k，子图个数为M_k-1，原始输入图像个数为N，下一层卷积层单元的局部感知域尺寸为m_k×m_k，子图个数为M_k，构建尺寸为M_k-1m_k ²×N(n_k-m_k+1)²的原始输入数据矩阵X_k；运用m_k×m_k的矩形窗在上一层降采样层中的各个子图上滑动后，遍历整个子图；同时，将矩形窗在各个子图同样位置所对应的窗内子图数据合并为一个向量，构成X_k中的某一列；随机分配该向量在X_k中的位置；选取X_k中的某些列，构建训练所用的输入数据X_data；

将X_data作为SAE的输入，重复第(2)～(6)步，逐层训练，直至训练完(1)步中构建的CAE中的所有层；

(7)获取图像特征；

设最后一层降采样层的子图尺寸为n_L×n_L，子图个数为N_L；将每个子图都转化为n_L ²×1的向量，并将这N_L个向量拼接为尺寸为N_Ln_L ²×1的向量；对该向量采用PCA方法，进行降维处理，获得图像特征；

步骤三、采用步骤二中获取到的特征，构建多视SAR图像特征序列，对循环神经网络RNN进行有监督训练，完成训练后，利用该RNN对测试集数据进行识别；

(1)构建多视SAR图像特征序列；

根据SAR图像的视角信息，将具有固定视角间隔的多幅属于同一目标的SAR图像利用步骤二所提取到的特征进行组合，得到多视SAR图像特征序列；假设共构建了N个序列，每个序列中共含有M个图像特征；

(2)初始化RNN；

设置RNN的输入层左半部节点数与输入特征的维数相同，RNN的输入层右半部节点数与RNN中隐含层的节点数相同，输出层节点数与待分类的类别数相同，每个节点与一种类别相对应；设利用步骤二获得的特征维数为m,RNN的隐含层节点个数为u，输出层节点数为n，则RNN的输入层含有m+u个节点；RNN中相邻两层间的转移矩阵的初始值随机获得，服从标准正态分布；各偏置向量中每个单元的初始值为0；利用步骤(1)中获得的多视SAR图像特征序列作为RNN的输入；设此时输入的特征为x_t

此时，第1层隐含层节点的取值h_t，由式(7)获得

h_t＝f(W₁x_t+W₂h_t-1d_h) (7)

其中，h_t-1为序列中前一特征对应的隐含层节点值，令当t＝1时，序列中前一特征所对应的隐含层取值h₀中每个单元的值为0；W₁为当前时刻输入与隐含层之间的转移矩阵，W₂为序列中前一特征对应的隐含层取值与此时隐含层之间的转移矩阵，d_h为隐含层所对应的偏置向量，f()为sigmoid函数；

输出层节点中第k个节点的值由式(8)获得

其中，W₃为隐含层与输出层之间的转移矩阵，d_o为输出层所对应的偏置向量；h_t为当前时刻隐含层节点的值；w₃ ^(k)为W₃矩阵中的第k行，d_o ^(k)为d_o向量中的第k个单元；

将序列中下一特征x_t+1和通过式(7)得到的h_t输入到RNN中，重复执行本步，直至处理完序列中所有特征为止；

(3)有监督训练RNN；

网络有监督训练的目标函数为：

其中，N为序列个数，M为序列中图像特征个数，y_ij表示第j个序列中第i个特征对应的输出结果，p_ij为对应特征的标注，设该特征属于第k类，则p_ij中第k个单元值为1，其他单元值为0，λ为权值衰减参数；为矩阵W的Frobenius范数；采用BPTT的更新策略训练RNN，并用共轭梯度法对网络参数进行更新，直至收敛为止；

(4)利用RNN进行识别

对测试集图像构建具有与训练集相同视角间隔的多视SAR图像特征序列，将该序列代入式(7)～(8)，得到网络的输出y_avg；

其中y_i表示序列中第i个特征对应的网络输出；取出y_avg中最大的值，设y_avg中第k个单元值y_avg ^(k)为y_avg中的最大值，则测试图像属于第k类。