CN109214452B

CN109214452B - 基于注意深度双向循环神经网络的hrrp目标识别方法

Info

Publication number: CN109214452B
Application number: CN201810998889.5A
Authority: CN
Inventors: 吕帅帅; 潘勉; 李训根; 于彦贞; 刘爱林; 李子璇; 张战
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2018-08-29
Filing date: 2018-08-29
Publication date: 2020-06-23
Anticipated expiration: 2038-08-29
Also published as: CN109214452A

Abstract

本发明公开了一种基于注意深度双向循环神经网络的HRRP目标识别方法，首先提取数据的时域特征并对提取出的时域特征进行切分和非均匀量化编码得到其局部结构的编码，然后利用其局部结构和周围数个局部结构的关系得到其编码之间的共现矩阵，进而通过该共现矩阵得到数据的结构嵌入特征，然后再将提取出的嵌入特征送入由全连接层和基于注意LSTM的双向循环神经网络构成的深度神经网络进行训练，同时根据循环网络隐层的输出，采用softmax层得到注意力模型的权重参数，最后利用softmax层和注意模型的权重对HRRP进行识别并得到识别结果。

Description

基于注意深度双向循环神经网络的HRRP目标识别方法

技术领域

本发明属于雷达目标识别领域，具体的讲，涉及一种基于深度注意循环神经网络的雷达高分辨距离像目标识别方法。

背景技术

雷达高分辨率距离像(HRRP)能够反映散射点目标在雷达视线方向的几何结构信息，且相对于合成孔径雷达(SAR)和逆合成孔径雷达(ISAR)像而言，它包含了目标的尺寸和散射点分布等重要结构信息，具有易于获取和存储量小等优点，因此在雷达目标识别技术中得到了广泛的应用，因此利用HRRP进行目标识别已经成为当前研究的热点。目前，HRRP识别的经典模型主要有基于HRRP的一阶统计特性的模板匹配分类器(MCC-TMM)、基于融合一阶和二阶HRRP特性的自适应高斯分类器(AGC)、基于主成分分析(PCA)子空间投影模型以及冗余字典模型学习等，但上述模型都是将HRRP样本作为一个整体来考虑的，未考虑到样本内部结构的相关性。后来又发展出了基于HRRP样本内部结构特性的隐马尔可夫模型(HMM)和基于注意力机制的循环神经网络模型，它们均利用了HRRP背后所隐含的固定空间结构特性来进行识别。目前已有不少文献应用基于HRRP样本内部结构特性的方法对雷达HRRP的时域特征以及雷达整体HRRP序列进行实验，并且取得了很好的识别效果，然而在实际应用中，还存在以下几个主要的问题：(1)HMM在模型的建立过程中，需假设信号符合一阶马尔可夫性，即当前时间点上的信号仅和前一个时间点信号相关，在对雷达HRRP的时域特征、谱图特征识别时，其当前局部特征结构仅依赖于上一个局部特征结构，未能进一步发掘样本各局部特征结构之间隐含的整体物理结构相关性，尚存在很大改进空间；(2)基于注意力机制的循环神经网络模型为单向的循环神经网络模型，只能朝着一个方向建立依赖性，未能很好的利用HRRP整体的结构信息；(3)基于注意力机制的循环神经网络模型中所采用的循环神经网络过于简单，未使用长短时记忆(LSTM)单元和深度神经网络，其循环神经网络的输出会过度的依赖于局部的结构，而很难顾全全局性的信息。由于这些问题的存在，大大限制了它们在实际工程中的应用，因此解决以上存在的问题在实际工程应用中是十分有意义的。

发明内容

本发明针对上述提到的应用HMM模型和基于注意力机制的循环神经网络模型进行雷达HRRP目标识别中存在的几点不足，提出一种基于深度注意循环神经网络的雷达高分辨距离像目标识别方法，首先提取数据的时域特征并对提取出的时域特征进行切分和非均匀量化编码得到其局部结构的编码，然后利用其局部结构和周围数个局部结构的关系得到其编码之间的共现矩阵，进而通过该共现矩阵得到数据的结构嵌入特征，然后再将提取出的嵌入特征送入由全连接层和基于注意LSTM的双向循环神经网络构成的深度神经网络进行训练，同时根据循环网络隐层的输出，采用softmax层得到注意力模型的权重参数，最后利用softmax层和注意模型的权重对HRRP进行识别并得到识别结果。

为实现上述目的，本发明提供了一种基于注意深度双向循环神经网络的HRRP目标识别方法，包括如下步骤：

包括以下步骤；

S1:获取Q个雷达采集到的HRRP数据集，并依据目标的种类进行合并，训练样本和测试样本分别在每种种类数据的不同数据段里选择，选取过程中保证所选取训练集的数据与雷达所成姿态涵盖测试数据集与雷达所成的姿态；

S2:对经过S1所挑选数据集中的每一个样本采用补偿法对齐法进行对齐，得到对齐后的数据；

S3:对S2处理后的每一个样本进行能量归一化处理，得到归一化后的数据；

S4：对经过S3处理后的雷达训练目标数据，提取时域特征作为识别特征，并用于训练；

S5:循环切分经过处理后的数据集，设定切分的向量长度为p，使p为2的幂级数；之后对数据集内的每一个HRRP样本，将其移位p-1次并进行连接；

S6:提取样本的嵌入表示特征，将每一个经过S5处理后的HRRP样本按10级进行非均匀量化；设定窗口值，初始化一个空矩阵，并依次统计量化向量在窗长度下共现的次数，对矩阵中的对应元素赋值；最后对矩阵中的每个元素限制其动态范围，根据共现矩阵得到HRRP训练样本的结构嵌入特征；

S7:构建深度神经网络模型，并利用HRRP训练样本的结构嵌入特征训练该模型；该深度神经网络模型由三部分组成：首先是一个全连接网络层，用于嵌入特征降维，然后将降维后的数据输入至基于注意LSTM(长短时记忆网络)的深度双向循环神经网络，最后采用softmax层对双向循环神经网络的输出进行识别；

S8:对由S1采集到的测试数据进行训练阶段的步骤S2、S3、S4、S5和S6操作；

S9:将经过S8所提取的嵌入表示特征送入S7构建的深度神经网络得到测试样本所对应的目标。

进一步的，步骤S1具体如下：

采集数据集，将Q个雷达采集到的HRRP数据集依据目标种类进行合并，每种种类的数据分别在不同的数据段里选择训练样本和测试样本，保证所选取的训练集的数据与雷达所成姿态涵盖测试数据集与雷达所成的姿态；各类目标训练集和测试集样本数的比例为8:2，将挑选的数据集记作

其中X_i表示第i个样本，y_k表示第k种目标，一共采集5种目标，i₀表示样本总数。

进一步的，步骤S2具体如下：

对经过S1所提取数据集中的每一个样本做对齐预处理：

S2.1:由S1所选的数据集T中的每个样本皆为256维度，原始数据样本表示为：X_i＝[x₁,x₂,...,x₂₅₆]；

S2.2:将三个原始样本按照横向粘贴在一起构成一个256×3的新样本数据样本，表示为X_i'＝abs([X_i,X_i,X_i])＝[x₁',x'₂,…,x'₇₆₈]，其中abs(·)为对其中每个元素的值取绝对值；

S2.3:构建一个256维的序列L＝[l₁,l₂,…,l₂₅₆]，其中l_i＝exp(-k|i-128.5)，k表示控制因子，k＞0，|·|表示求绝对值操作；

S2.4:求

得到d之后，从X'中取出第d+1到第d+256个连续的点作为对齐后的数据X”＝[x'_d+1,x'_d+2,…,x'_d+256]；

S2.5:将T数据集中的每一个样本重复步骤S3.2、S3.3以及S3.4操作得到对齐后的样本数据，记为T₁。

进一步的，步骤S3具体如下：

对T₁中的每一个样本进行能量归一化，得到归一化后的数据，归一化公式如下：

其中||·||₂表示求2范数。

进一步的，步骤S4具体如下：

S4:对经过S3处理后的雷达训练目标数据，从X_i″′内提取每一帧的时域特征作为识别特征,记作

其中x^(c)表示的是第c个目标的训练样本的时域特征集，其中提取时域特征之后的第i个样本记作

C为目标总数。

进一步的，步骤S5具体如下：

S5.1:

其中i指示第i个目标，k指示的是第k个HRRP；

S5.2:设定切分的向量的长度为p,使得为p为2的幂级数；

S5.3:对数据集内的每一个样本，将其移位p-1次并进行连接，

若

则

进一步的，步骤S6具体如下：

S6.1:对经过S5处理后的每一个

按10级进行非均匀量化，得到其量化编码特征

其中对于每个元素：

若y＜e^-3.6，则量化为0

若e^-3.6≤y＜e^-3.2，则量化为1

若e^-3.2≤y＜e^-2.8，则量化为2

若e^-2.8≤y＜e^-2.4，则量化为3

若e^-2.4≤y＜e^-2.0，则量化为4

若e^-2.0≤y＜e^-1.6，则量化为5

若e^-1.6≤y＜e^-1.2，则量化为6

若e^-1.2≤y＜e^-0.8，则量化为7

若e^-0.8≤y＜e^-0.4，则量化为8

若e^-0.4≤y＜e0，则量化为9

S6.2:设定窗口值K，计算向量与向量之间共同出现的矩阵；

S6.3:首先初始化一个空矩阵，记作

即初始化的空矩阵有10000行和10000列，其中0000代表取出来的列向量[y_i,y_i+1,y_i+2,y_i+3]^T的量化编码为[0,0,0,0]^T，其余的也是一样，矩阵中的每一个元素V_ij为量化编码i和量化编码j之间的共现次数；

S6.4:依次统计列向量之间在窗长度下共现的次数，如

若窗K＝3(为保证左右对称，K一般取奇数)，则当循环至向量

的时候，统计其左侧

和其右侧

不同向量共同出现的次数，我们遍历所有的量化编码特征，将不同量化编码特征共同出现的总次数对应地记录在空矩阵V中，其中V_ij为量化编码特征

与量化编码特征

共同出现的次数，其中i₁、i₂、i₃和i₄分别代表i的千位、百位、十位以及个位数字，j₁、j₂、j₃和j₄分别代表j的千位、百位、十位以及个位数字；

S6.4:对矩阵V中的每个元素限制其动态范围，公式如下：V_ij'＝10ln(1+V_ij)，并将更新后的矩阵记作V'＝{V_ij'}；

S6.5:根据循环切分的结果去V'中查找

所对应的嵌入表示，如

中的第m列为[0,1,3,8]^T，即V'中行标号为第0138所对应的行向量即为该列的嵌入表示，该嵌入表示为10000×1维的，依次查找

中每一列所对应的嵌入表示并记录，遍历

中所有列之后即可得到

的嵌入表示矩阵A，其中A＝[a_1(10000×1)，a_2(10000×1)，…，a_{256(10000×1)}其中a_i(10000×1)代表

第i列所对应的嵌入表示，a_i为10000×1维的向量。

进一步的，步骤S7具体如下：

S7.1:构建一层全连接神经网络，设置第一层(输入层)神经元数目为10000，第二层(输出层)神经元数目为300，将经过步骤S6.5处理后的A按列切分依次送入全连接神经网络，得到输出：

Z＝[z₁＝f(W_ija₁+b),z₂＝f(W_ija₂+b),…,z₂₅₆＝f(W_ija₂₅₆+b)]，

其中z_i代表第i个输出，大小为300×1维，W_ij代表输入层第i个神经元到输出层第j个神经元的权重，b代表输入层神经元到输出层神经元的偏置，所有的神经元共享偏置；

S7.2:构建基于LSTM(的双向循环神经网络，具体操作步骤如下：

S7.2.1:双向循环神经网络为两个单向其方向相反的循环神经网络(前向网络和反向网络)的结合，在每一个时刻t，网络的输出由这两个方向相反的单向循环神经网络共同决定，设置n_in＝256，n_step＝300，n_nums＝128，n_nums1＝128，n_cls＝5，其中n_in＝256基于LSTM的双向循环神经网络的输入层神经元数目，n_step＝300代表每一个神经元的输入向量，为一个300×1的向量，n_nums＝128和n_nums1＝128代表两个LSTM隐层神经元的数目，n_cls＝5代表输出层神经元数目，即代表所挑选的目标类别数目为5类；

S7.2.2:对双向循环神经网络的权重和偏置进行初始化，输入层和隐层之间的权重记为W1，其维度为shape1＝(n_in,n_nums1)，第一个隐层和第二个隐层之间的权重记为W2，shape2＝(n_nums1,n_nums2)第二个隐层和输出层之间的权重记为W3，其维度为shape2＝(n_nums,n_cls)，权重初始化采用服从均值为0，方差为1的高斯分布，输入层和第一个隐层之间的偏置记为bias1，其维度为shape3＝(n_nums1)，第一个隐层和第二个隐层之间的偏置记为bias2，其维度为shape4＝(n_nums2)，第二个隐层之间的偏置记为bias3，其维度为shape5＝(n_cls)，均初始化为常量1，双向的初始状态皆记为state＝0，前向循环神经网络的所有时刻共享前向的权重，偏置和初始，反向相同；

S7.2.3:由S7.1可知，全连接神经网络的输出Z作为循环神经网络的输入，则循环神经网络的输出为X1_out＝tanh(Z×W1+bias1)，同时作为隐层的输入，其中tanh(·)是激活函数，根据tensorflow中的计算公式

lstm_fw_cell＝tf.contrib.rnn.BasicLSTMCell(n_nums,forget_bias＝1.0)

lstm_bw_cell＝tf.contrib.rnn.BasicLSTMCell(n_nums,forget_bias＝1.0)

lstm_fw_cell1＝tf.contrib.rnn.BasicLSTMCell(n_nums1,forget_bias1＝1.0)

lstm_bw_cell1＝tf.contrib.rnn.BasicLSTMCell(n_nums1,forget_bias1＝1.0)

output,_,_＝tf.contrib.rnn.static_bidirectional_rnn(lstm_fw_cell1,lstm_bw

_cell1,X1_out)

其中，lstm_fw_cell和lstm_fw_cell1前向的循环神经网络，lstm_bw_cell和lstm_bw_cell1代表反向循环神经网络，forget_bias＝1.0和forget_bias1＝1.0代表LSTM不会忘记任何信息，output,_,_分别代表X1_out经过两个隐层后的输出，前向循环神经网络和反向循环神经网络被更新后的状态；

S7.2.4:注意力模型权重系数的求取，求取output中每一个神经元输出所对应的能量，根据其能量大小设计softmax进行归一化来求解权重系数，计算公式如下：

output_e_i＝U^Ttanh(W4×output_i)

其中，W4和U为待训练的系数，其维度为L×m，L为神经元的数量，m为隐层的维度，U的维度为1×L。

S7.2.5:根据S7.2.4得到权重系数构建输出层的输入X2_out为

X3＝tanh(X2_out×W2+bias2)为双向循环神经网络每一个时刻256个输出的组合，256个输出中每一个序列的维度是n_cls，X3＝{X3₁,X3₂,X3₃,X3₄,X3₅}；

S7.3:构建输出softmax层，将X3作为softmax分类器的输入特征，进行分类，由S1可知雷达HRRP样本来自5个不同的目标，训练得到softmax回归模型的参数集θ之后，雷达HRRP样本的特征X3对应于第i个目标的概率值p(i|X3)定义为：

其中，i表示目标的标号，i＝1,2,…,5，5为总目标数，θi表示对应于目标i的参数，

表示归一化向量，使雷达HRRP样本对应于所有目标模型的概率和为1。

进一步的，步骤S9具体如下：

将经过S8所提取的嵌入表示特征送入S7构建的基于深度神经网络的模型进行测试求得最后的结果,并通过最大后验概率来对样本进行判决，将测试样本分类到最大目标条件似然值所对应的目标

其中e代表模型判断X3属于5个类别分别会有一个对应的概率，从判断的5个概率中挑选最大概率所属的类别赋给e，即为所判定的雷达目标。

附图说明

图1：基于高分辨距离像结构嵌入特征与深度神经网络的雷达高分辨距离像识别方法的步骤流程图。

具体实施方式

参照图1，为本发明的一种基于高分辨距离像结构嵌入特征与深度神经网络的雷达高分辨距离像识别技术流程图，具体实施步骤如下：

S1:采集数据集，将Q个雷达采集到的HRRP数据集依据目标种类进行合并，每种种类的数据分别在不同的数据段里选择训练样本和测试样本，保证所选取的训练集的数据与雷达所成姿态涵盖测试数据集与雷达所成的姿态。各类目标训练集和测试集样本数的比例为8:2，将挑选的数据集记作

其中X_i表示第i个样本，y_k表示第k种目标，一共采集了5种目标，i₀表示样本总数。

S2:对经过S1所提取数据集中的每一个样本做对齐预处理，具体操作步骤如下：

S2.1:由S1所选的数据集T中的每个样本皆为256维度，原始数据样本表示为：X_i＝[x₁,x₂,...,x₂₅₆]

S2.4:求

S2.5:将T数据集中的每一个样本重复步骤S3.2、S3.3以及S3.4操作得到对齐后的样本数据，记为T₁；

S3:对T₁中的每一个样本进行能量归一化，得到归一化后的数据，归一化公式如下：

其中||·||₂表示求2范数；

C为目标总数；

S5:循环切分经过处理后的数据集，具体操作步骤如下：

S5.1:

其中i指示第i个目标，k指示的是第k个HRRP；

S5.2:设定切分的向量的长度为p,使得为p为2的幂级数，如4；

S5.3:对数据集内的每一个样本，将其移位p-1次并进行连接，

若

则

举例说明切分：

切分：

切分后的数据集可以表示为

S6:提取样本的嵌入表示特征，具体操作步骤如下：

S6.1:对经过S5处理后的每一个

按10级进行非均匀量化，得到其量化编码特征

其中对于每个元素：

若y＜e^-3.6，则量化为0

若e^-3.6≤y＜e^-3.2，则量化为1

若e^-3.2≤y＜e^-2.8，则量化为2

若e^-2.8≤y＜e^-2.4，则量化为3

若e^-2.4≤y＜e^-2.0，则量化为4

若e^-2.0≤y＜e^-1.6，则量化为5

若e^-1.6≤y＜e^-1.2，则量化为6

若e^-1.2≤y＜e^-0.8，则量化为7

若e^-0.8≤y＜e^-0.4，则量化为8

若e^-0.4≤y＜e⁰，则量化为9

S6.2:设定窗口值K，计算向量与向量之间共同出现的矩阵；

S6.3:首先初始化一个空矩阵，记作V＝{V_ij}_{i＝0,1…9999,j＝0,1…9999}，即初始化的空矩阵有10000行和10000列，其中0000代表取出来的列向量[y_i,y_i+1,y_i+2,y_i+3]^T的量化编码为[0,0,0,0]^T，其余的也是一样，矩阵中的每一个元素V_ij为量化编码i和量化编码j之间的共现次数；

S6.4:依次统计列向量之间在窗长度下共现的次数，如

若窗K＝3(为保证左右对称，K一般取奇数)，则当循环至向量

的时候，统计其左侧

和其右侧

与量化编码特征

S6.5:根据循环切分的结果去V'中查找

所对应的嵌入表示，如

中每一列所对应的嵌入表示并记录，遍历

中所有列之后即可得到

的嵌入表示矩阵A，其中A＝[a_1(10000×1)，a_2(10000×1)，…，a_{256(10000×1)}]，其中a_i(10000×1)代表

第i列所对应的嵌入表示，a_i为10000×1维的向量；

S7:构建深度神经网络，该深度神经网络由三部分组成：首先是一个全连接网络层用于嵌入特征降维，然后降维后的数据输入至基于注意LSTM(长短时记忆网络)的深度双向循环神经网络，最后采用softmax层对双向循环神经网络的输出进行识别，具体操作步骤如下：

S7.1:构建一层全连接神经网络，设置第一层(输入层)神经元数目为10000，第二层(输出层)神经元数目为300，将经过步骤S6.5处理后的A按列切分依次送入全连接神经网络，得到输出Z＝[z₁＝f(W_ija₁+b)，z₂＝f(W_ija₂+b)，…，z₂₅₆＝f(W_ija₂₅₆+b)]，其中z_i代表第i个输出，大小为300×1维，W_ij代表输入层第i个神经元到输出层第j个神经元的权重，b代表输入层神经元到输出层神经元的偏置，所有的神经元共享偏置；

S7.2:构建基于LSTM(长短时记忆网络)的双向循环神经网络，具体操作步骤如下：

S7.2.2:对双向循环神经网络的权重和偏置进行初始化，输入层和隐层之间的权重记为W1，其维度为shape1＝(n_in,n_nums1)，第一个隐层和第二个隐层之间的权重记为W2，shape2＝(n_nums1,n_nums2)第二个隐层和输出层之间的权重记为W3，其维度为shape2＝(n_nums,n_cls)，权重初始化采用服从均值为0，方差为1的高斯分布，输入层和第一个隐层之间的偏置记为bias1，其维度为shape3＝(n_nums1)，第一个隐层和第二个隐层之间的偏置记为bias2，其维度为shape4＝(n_nums2)，第二个隐层之间的偏置记为bias3，其维度为shape5＝(n_cls)，均初始化为常量1，双向的初始状态皆记为state＝0，前向循环神经网络的所有时刻共享前向的权重，偏置和初始，反向也是如此；

lstm_fw_cell＝tf.contrib.rnn.BasicLSTMCell(n_nums,forget_bias＝1.0)

lstm_bw_cell＝tf.contrib.rnn.BasicLSTMCell(n_nums,forget_bias＝1.0)

lstm_fw_cell1＝tf.contrib.rnn.BasicLSTMCell(n_nums1,forget_bias1＝1.0)

lstm_bw_cell1＝tf.contrib.rnn.BasicLSTMCell(n_nums1,forget_bias1＝1.0)

output,_,_＝tf.contrib.rnn.static_bidirectional_rnn(lstm_fw_cell1,lstm_bw

_cell1,X1_out)

output_e_i＝U^Ttanh(W4×output_i)

S7.2.5:根据S7.2.4得到权重系数构建输出层的输入X2_out为

其中，i表示目标的标号，i＝1,2,…,5，5为总目标数，θ_i表示对应于目标i的参数，

表示归一化向量，使雷达HRRP样本对应于所有目标模型的概率和为1；

测试阶段：

S8:对由S1采集到的测试数据进行训练阶段的步骤S3、S4、S5、S6和S7操作；

S9:将经过S8所提取的嵌入表示特征送入S7构建的基于深度神经网络的模型进行测试求得最后的结果,并通过最大后验概率来对样本进行判决，将测试样本分类到最大目标条件似然值所对应的目标

经过上述9个步骤，即可得到本发明所提出的一种基于注意的深度双向循环神经网络的雷达高分辨距离像目标识别模型。

本发明的有益效果是：

1:本发明加入了基于注意力模型和LSTM的深度双向循环神经网络，该网络不仅可以较好的从两个方向上利用HRRP样本所蕴含的局部物理结构信息的依赖关系，并且基于LSTM结构的深度循环神经网络较原始神经网络可更好的存储和利用全局结构信息。

2：现有的文献仅利用了HRRP中的一阶马尔可夫性，它只注重于当前距离单元和之前距离单元的局部结构关系，而忽略了各距离单元之间整体所存在的物理关系，在本发明中，通过对HRRP的局部结构提取其嵌入式特征表示可以更好地反映该局部结构之间存在的关联。

3：本发明所采用的基于注意力模型的双向循环神经网络方法可以朝着两个方向建立局部机构的依赖关系，相比单向循环神经网络和简单双向神经网络可以更好地利用HRRP整体的结构信息，同时考虑了样本不同的区域在识别中所起的作用是不相同的，通过对不同区域的隐层进行加权求和得到最终的隐层来进行识别，更符合HRRP目标识别的实际情况。

Claims

1.一种基于注意深度双向循环神经网络的HRRP目标识别方法，包括如下步骤：包括以下步骤；

S2:对经过S1所挑选数据集中的每一个样本采用补偿对齐法进行对齐，得到对齐后的数据；

S7:构建深度神经网络模型，并利用HRRP训练样本的结构嵌入特征训练该模型；该深度神经网络模型由三部分组成：首先是一个全连接网络层，用于嵌入特征降维，然后将降维后的数据输入至基于注意LSTM的深度双向循环神经网络，LSTM为长短时记忆网络，最后采用softmax层对双向循环神经网络的输出进行识别；

S9:将经过S8所提取的嵌入表示特征送入S7构建的深度神经网络得到测试样本所对应的目标；

所述步骤S7具体如下：

S7.1:构建一层全连接神经网络，设置第一层输入层神经元数目为10000，第二层输入层神经元数目为300，将经过步骤S6.5处理后的A按列切分依次送入全连接神经网络，得到输出：

S7.2:构建基于LSTM的双向循环神经网络，具体操作步骤如下：

S7.2.1:双向循环神经网络为两个单向其方向相反的循环神经网络的结合，即前向网络和反向网络的结合，在每一个时刻t，网络的输出由这两个方向相反的单向循环神经网络共同决定，设置n_in＝256，n_step＝300，n_nums＝128，n_nums1＝128，n_cls＝5，其中n_in＝256代表基于LSTM的双向循环神经网络的输入层神经元数目，n_step＝300代表每一个神经元的输入向量，为一个300×1的向量，n_nums＝128和n_nums1＝128代表两个LSTM隐层神经元的数目，n_cls＝5代表输出层神经元数目，即代表所挑选的目标类别数目为5类；

S7.2.2:对双向循环神经网络的权重和偏置进行初始化，输入层和隐层之间的权重记为W1，其维度为shape1＝(n_in,n_nums1)，第一个隐层和第二个隐层之间的权重记为W2，其维度为shape2＝(n_nums1,n_nums2)，第二个隐层和输出层之间的权重记为W3，其维度为shape3＝(n_nums,n_cls)，权重初始化采用服从均值为0，方差为1的高斯分布，输入层和第一个隐层之间的偏置记为bias1，其维度为shape4＝(n_nums1)，第一个隐层和第二个隐层之间的偏置记为bias2，其维度为shape5＝(n_nums2)，第二个隐层和输出层之间的偏置记为bias3，其维度为shape6＝(n_cls)，均初始化为常量1，双向的初始状态皆记为state＝0，前向循环神经网络的所有时刻共享前向网络的权重、偏置和初始状态，反向相同；

S7.2.3:由S7.1可知，全连接神经网络的输出Z作为循环神经网络的输入，则循环神经网络的输出为X1_out＝tanh(Z×W1+bias1)，同时作为隐层的输入，

其中tanh(·)是激活函数，根据tensorflow中的计算公式lstm_fw_cell＝tf.contrib.rnn.BasicLSTMCell(n_nums,forget_bias＝1.0)lstm_bw_cell＝tf.contrib.rnn.BasicLSTMCell(n_nums,forget_bias＝1.0)lstm_fw_cell1＝tf.contrib.rnn.BasicLSTMCell(n_nums1,forget_bias1＝1.0)lstm_bw_cell1＝tf.contrib.rnn.BasicLSTMCell(n_nums1,forget_bias1＝1.0)output,output_state_fw,output_state_bw＝tf.contrib.rnn.static_bidirectional_rnn(lstm_fw_cell1,lstm_bw_cell1,X1_out)

其中，lstm_fw_cell和lstm_fw_cell1代表前向的循环神经网络，lstm_bw_cell和lstm_bw_cell1代表反向循环神经网络，forget_bias＝1.0和forget_bias1＝1.0代表LSTM不会忘记任何信息，output,output_state_fw,output_state_bw分别代表X1_out经过两个隐层后的输出，前向循环神经网络和反向循环神经网络被更新后的状态；

output_e_i＝U^Ttanh(W4×output_i)