CN113806543A - 一种基于残差跳跃连接的门控循环单元的文本分类方法 - Google Patents

Abstract

本发明提供了一种基于残差跳跃连接的门控循环单元的文本分类方法，在现有的门控循环单元的基础上，利用跳跃连接引入残差信息并结合高速公路网络的门控限制，同时使用非饱和激活函数以及批标准化来改进门控循环单元定义公式，使门控循环单元在应对梯度消失问题的同时能够捕获超长期依赖关系，并利用高速公路网络的门控来限制残差信息不占主要地位。本发明利用训练好的网络模型自动对中文文本进行分类，以及对电影影评正/负评价分类，以便降低人力成本。通过多组对比实验，证明了本发明在文本分类任务中有一定的适用性。

Description

一种基于残差跳跃连接的门控循环单元的文本分类方法

技术领域

本发明涉及一种基于残差跳跃连接的门控循环单元的文本分类方法。

背景技术

近年来，深度学习在天文、地理、工业等科技领域得到广泛应用。时间序列数据在我们的日常生活中无处不在，从股市走势、不同城市的气候数据、一段时间的产品销售情况、能源使用状况等等。其中，网络上的文本数据也是日益增多，这些数据主要应用于舆情监测、信息检索、及新闻文本分类等领域。如果能对这些数据进行有效分类，那么就会更有利于从中挖掘出有价值的信息，因此对文本数据的管理和整合显得尤为重要。文本分类属于自然语言处理任务中的一项基础性工作，通过利用计算机相关理论知识及技能，达到对文本资源进行整理和归类的目的。现有的文本分类技术有存在一些不完善之处，比如：FastText方法，其缺点是没有完全考虑词序信息，TextCNN方法，其缺点一方面无法建立更长的序列信息，另一方面它的超参调节额外繁琐。神经网络方法：循环神经网络(RNN)具有捕获和利用顺序依赖性的能力，广泛用于处理此类时间序列数据，尤其是在机器翻译、文本分类、语音识别和其他任务。然而，随着网络的加深，传统的RNN会出现梯度消失的问题。虽然长短期记忆网络(LSTM)及门控循环单元(GRU)方法可以捕获长期上下文信息，但它们的门结构的复杂性使得训练速度变慢。虽然简单循环单元(SRU)方法能减少神经网络的训练时间，但其精度无法满足需求。

发明内容

发明目的：为解决背景技术中存在的技术问题，本发明提出一种基于残差跳跃连接的门控循环单元的文本分类方法。包括以下所述步骤：

步骤1，定义数据集的词汇表并将词汇表的文本数据进行预处理，去除文本中的不规范数据(乱码或空行)；

步骤2，将步骤1得到的文本信息进行门控循环单元神经网络建模；

步骤3，设置门控循环单元神经网络的全连接层以及分类层；

步骤4，为门控循环单元神经网络的表示中建立残差跳跃连接并引入高速公路网络门限控制方法；

步骤5，将残差跳跃连接的门控循环单元的饱和激活函数改为非饱和激活函数；

步骤6，设置残差跳跃连接的门控循环单元神经网络的权重初始化方式为正交初始化；

步骤7，为残差跳跃连接的门控循环单元神经网络设置批标准化；

步骤8，设置残差跳跃连接的门控循环单元神经网络的超参数；

步骤9，配置残差跳跃连接的门控循环单元神经网络的损失函数以及优化器；

步骤10，结合步骤1得到的文本信息，使用残差跳跃连接的门控循环单元神经网络进行文本分类。

步骤1包括：

定义数据集的词汇表，包括统计单词的出现频率和按词频顺序对单词进行排序；

在定义词汇表后，将训练数据转化成单词的数字编号(按一定比例将数据集分为训练集和测试集，比例一般为7：3，训练集包括训练数据)；

对训练数据进行批处理，使用填充的方法，即将同一批块内的句子长度补齐；

定义词向量层：在输入层(这里的输入层指的是数据向量化后，作为输入给门控循环单元神经网络，这层叫输入层)，每个单词用一个实数向量表示，所述实数向量称为词向量，使用Word2Vec方法对文本进行向量化操作。

步骤2包括：

建立门控循环单元的循环神经网络的前向算法：建立更新门和重置门，设z_t和r_t分别为更新门向量和重置门向量，x_t为当前层的t时刻的输入值，W_z和W_r为模型参数，即权重向量，U_z、U_r、U_a为输入时序信息的权重，h_t-1为前一时刻的状态向量，b_z和b_r为偏置向量；更新门向量和重置门向量计算公式如下：

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

式中，σ为Sigmoid激活函数，Sigmoid激活函数Sigmoid(x)的计算公式如下：

其中，x为函数输入；e为自然常数；

使用如下门控循环单元的输出公式：

a_t＝g(W_ax_t+U_a(h_t-1*r_t)+b_a)

h_t＝z_t*a_t+(1-z_t)*h_t-1

式中，a_t是t时刻的候选隐状态，h_t为当前时刻t的隐状态向量，候选隐状态的激活函数g(·)为Tanh，W_a为模型权重参数；

其中，Tanh激活函数Tanh(x)的计算公式如下：

式中，x为函数输入。

步骤3包括：

在门控循环单元神经网络之后需要接全连接层来修正神经元输出值的维度，全连接层公式如下：

f＝W_yh

式中，W_y为维度匹配矩阵；h为网络最后一层的神经元输出；f为全连接层输出值；

在全连接层之后需连接分类层进行分类，通过如下归一化指数函数S(f)_j公式进行分类处理：

式中，N为类别数；f_j表示f的第j元素，j的范围为1到N；f_n表示f的第n元素，n取值为1到N。

步骤4包括：

在门控循环单元结构的时间轴方向和空间轴反向上建立残差的跳跃连接，引入高速公路网络的门控限制，公式定义如下所示：

h_t ^l＝(1-z_t ^l)⊙h_t-1 ^l+z_t ^l⊙a_t ^l

H_t ^l＝T(x)^l⊙h_t ^l+C(x)^l⊙h_t-α ^l

式中，⊙表示矩阵的点乘运算，l表示堆叠层数，

为l层的t时刻的输入值，

和

为l层的模型参数，即权重向量，

和

为l层输入时序信息的权重，

和

分别为门控循环单元(GRU)在l层的更新门、重置门和候选隐状态，

为前一时刻的状态向量，V^l是l层的维度匹配矩阵，当网络前后层维度一致时，则不需要维度匹配矩阵，

是l层未激活的候选隐状态，g(·)为激活函数，

为l层t时刻的输出状态，T(x)^l与C(x)^l是高速网络的门控限制；h_t-α表示在时间轴方向上建立残差连接，α表示神经元个数，其取值与句子的长度有关，

为l层在t时刻的最终输出向量。

步骤5包括：

将残差跳跃连接的门控循环单元的饱和激活函数改为非饱和激活函数ReLU，得到l层t时刻的输出公式为：

式中，

为l层t时刻的输出状态，

为l层高速网络的门控限制，g(·)为ReLU激活函数，公式如下：

其中，x为函数输入值。

步骤6包括：

正交初始化是将权重参数W、W_f、W_r的初始值初始化为单位正交矩阵，单位正交矩阵A需满足如下条件：

A为正交矩阵；

A的转置A^T为正交矩阵；

AA^T＝E，E为单位矩阵；

A的各行是单位向量且两两正交；

A的各列是单位向量且两两正交；

(Ax,Ay)＝(x,y)，x,y都为常数；A是正交矩阵；

|A|＝1或-1；

A的维度为权重所在的神经网络层的神经元个数。

步骤7包括：

批标准化公式如下：

其中，

为输入值Z_i经过标准化之后的新输入值；σ²为方差；μ为均值；m为输入的维度；参数ε等于10^-8。

步骤8包括：

参数设置：隐藏层的神经元数量设置为650，embedding设置为650，初始学习率设置为1，设置每次迭代后若交叉训练集精准度下降则下次迭代的学习率自动衰减。迭代次数epoch设置为40次，batch设置为35，神经元丢弃率dropout设置为50％。使用NVIDIAGeForce RTX 2080TI进行cuda加速训练。

步骤9包括：

针对残差跳跃连接所设计的连接项即单元状态的反向传播有如下推导：

推导误差项之前的部分设定及公式：

ReLU函数的导数ReLU(x)′和Sigmoid函数的导数Sigmoid(x)′分别为：

Sigmoid(x)′＝Sigmoid(x)(1-Sigmoid(x))

式中，x为输入值，符号′为求导符；

对残差跳跃连接的门控循环单元神经网络的单元状态公式进行等效替换，令：

F(m)＝W_ax_t+U_a(h_t-1⊙r_t)+b_a

式中，W_a为权重向量，U_a为输入时序信息的权重，b_a为偏移量；F(m)是一个代数符号；

设定当前状态时刻为t，设l为计算的误差项

所在层数，P为当前网络层数，则有：

式中，

表示在P层未激活的候选隐状态，

表示在l层未激活的候选隐状态；

对

求

的偏导，得到：

式中，

为求偏导符号，I表示单位矩阵；

得出单元状态的第l层的误差项

为：

上式中，

表示激活后的候选隐状态，E_t表示在t时刻的误差，

表示P层t时刻的隐状态向量，I表示单位矩阵，

为P层重置门限。

有益效果：本发明方法基于残差跳跃连接的门控循环单元(RT-GRU)是在误差反向传播(BP)方向将残差信息引入到门控循环单元(GRU)的候选隐藏状态表示中，使网络对梯度变化更加敏感。并且在沿时间轴的反向传播(BPTT)方向建立残差连接，使网络捕获非常长期的依赖。利用高速公路网络的门控来限制残差信息不占主要地位。此外，结合激活函数和批量归一化。本发明进行了三个应用实验测试，语言建模、文本分类和情感分析。实验结果表明，本发明的建模方法在上述三个应用中均得到不错的结果。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明方法架构图。

具体实施方式

如图1所示，本发明提供了一种基于残差跳跃连接的门控循环单元的文本分类方法，包括以下所述步骤：

步骤1，定义数据集的词汇表并将词汇表的文本数据进行预处理；

步骤2，将步骤1得到的文本信息进行门控循环单元神经网络建模；

步骤3，设置门控循环单元神经网络的全连接层以及分类层(softmax层)；

步骤4，为门控循环单元神经网络的表示中建立残差跳跃连接并引入高速公路网络门限控制方法；

步骤5，将残差跳跃连接的门控循环单元的饱和激活函数改为非饱和激活函数；

步骤6，设置残差跳跃连接的门控循环单元神经网络的权重初始化方式为正交初始化；

步骤7，为残差跳跃连接的门控循环单元神经网络设置批标准化；

步骤8，设置残差跳跃连接的门控循环单元神经网络的超参数；

步骤9，配置残差跳跃连接的门控循环单元神经网络的损失函数以及优化器；

步骤10，结合步骤1得到的文本信息，使用残差跳跃连接的门控循环单元神经网络进行文本分类，应用在文本分类任务以及情感分析任务中，验证有效性。

步骤1包括：

确定词汇表包括统计单词的出现频率和按词频顺序对单词进行排序。在确定词汇表后，就可以将训练数据，转化成单词的数字编号。确定词汇表后需要对文本数据进行批处理，由于每个句子的长度不同，又无法像图像一样可以调整到固定高度，所以需要使用填充的方法，即将同一批块内的句子长度补齐。定义词向量层：在输入层，每个单词用一个实数向量表示，这个向量被称为“词向量”。具体来说，词向量可以理解为将词汇表嵌入到一个固定的维度的实数空间中，其单词编号转化为词向量。这样做有两大作用：一是降低输入的维度。如果不使用词向量层，而直接把单词以one-hot vector(独热编码)形式输入神经网络模型中，那么输入的维度大小将和词汇表的大小相同，通常在10000以上。而词向量的维度通常在200-1000之间，这样循环神经网络的参数数量和计算量就得到大大地减少。二是增加语义信息。单纯的单词编号是不包含任何语义信息的，而词向量层将稀疏的编号转化为稠密的向量表示，就使得词向量有可能包含更为丰富的信息。

步骤2包括：

语言文本数据主要是时序数据，当输入数据是具有语义依赖性且是序列模式时，循环神经网络对数据序列的记忆有助于解决连续序列的问题，并且门控循环单元简化了状态计算，降低了神经网络训练耗时。

建立门控循环单元的循环神经网络的前向算法：建立更新门和重置门，设z_t和r_t分别为更新门向量和重置门向量，x_t为当前层的t时刻的输入值，W_z和W_r为模型参数，即权重向量，U_z、U_r、U_a为输入时序信息的权重，h_t-1为前一时刻的状态向量，b_z和b_r为偏置向量；更新门向量和重置门向量计算公式如下：

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

式中，σ为Sigmoid激活函数，Sigmoid激活函数Sigmoid(x)的计算公式如下：

其中，x为函数输入；e为自然常数；

使用如下门控循环单元的输出公式：

a_t＝g(W_ax_t+U_a(h_t-1*r_t)+b_a)

h_t＝z_t*a_t+(1-z_t)*h_t-1

式中，a_t是t时刻的候选隐状态，h_t为当前时刻t的隐状态向量，候选隐状态的激活函数g(·)为Tanh，W_a为模型权重参数；

其中，Tanh激活函数Tanh(x)的计算公式如下：

式中，x为函数输入；

步骤3包括：

为了让输出值与分类层的维度匹配，在门控循环单元神经网络之后需要接全连接层来修正神经元输出值的维度，全连接层公式如下：

f＝W_yh

式中，W_y为维度匹配矩阵，其意义为使h的维度与f的维度保持一致；h为残差门控循环神经网络最后一层的神经元输出；f为全连接层输出值；

在全连接层之后需连接分类层进行分类，这里给出归一化指数函数S(f)_j公式用于分类处理：

式中，f为全连接层的输出，也是此时归一化指数函数的输入；e为自然常数；N为类别数；f_j表示f的第j元素，j的范围为1到N；f_n表示f的第n元素，n取值为1到N。

步骤4包括：

在门控循环单元结构的时间轴方向(BPTT)上及空间轴反向(BP)上建立残差跳跃连接，目的是使其能够回忆更久远的信息，捕获超长期趋势。为使残差信息不占据主要地位，引入高速公路网络的门控限制，仅让网络回忆更久远的信息,以此用来控制信息流。其公式定义如下所示：

h_t ^l＝(1-z_t ^l)⊙h_t-1 ^l+z_t ^l⊙a_t ^l

H_t ^l＝T(x)^l⊙h_t ^l+C(x)^l⊙h_t-α ^l

式中，⊙表示矩阵的点乘运算，l表示堆叠层数，

为l层的t时刻的输入值，

和

为l层的模型参数，即权重向量，

和

为l层输入时序信息的权重，

和

分别为门控循环单元(GRU)在l层的更新门、重置门和候选隐状态，

为前一时刻的状态向量，V^l是l层的维度匹配矩阵，当网络前后层维度一致时，则不需要该矩阵，

是l层未激活的候选隐状态，g(·)为激活函数，

为l层t时刻的输出状态，T(x)^l与C(x)^l是高速网络的门控限制，不仅能够控制残差信息，同时也能在一定程度上防止过拟合问题；h_t-α表示在时间轴方向上建立残差连接，α表示神经元个数，其取值与句子的长度有关，

为l层在t时刻的最终输出向量。

步骤5包括：

为了防止梯度消失并且加快收敛速度，将门控循环单元隐状态的激活函数替换为非饱和激活函数ReLU，由此可得l层t时刻的输出公式为：

式中，

为l层t时刻的输出状态，g(·)为ReLU激活函数，公式如下：

其中，x为函数输入值。

步骤6包括：

正交初始化是将权重参数W、W_f、W_r的初始值初始化为单位正交矩阵，单位正交矩阵A需满足如下条件：

A为正交矩阵；

A的转置A^T为正交矩阵；

AA^T＝E，E为单位矩阵；

A的各行是单位向量且两两正交；

A的各列是单位向量且两两正交；

(Ax,Ay)＝(x,y)，x,y都为常数；

|A|＝1或-1；

A的维度为权重所在的神经网络层的神经元个数。

步骤7包括：

批标准化：用来规范化某些层或者所有层的输入，从而固定每层输入信号的均值与方差。为了加快网络训练，应对非饱和激活函数的梯度爆炸隐患，为网络设置批标准化，批标准化公式如下：

其中，

为输入值Z_i经过标准化之后的新输入值；σ²为方差；μ为均值；m为输入的维度；ε等于10^-8。

步骤9包括：

神经网络的训练是需要经过反复迭代来达到最终的收敛，而每一次的迭代过程都是要经过步骤2的公式进行正向传播，接着根据损失函数计算权重梯度完成反向传播的计算，一般的循环神经网络，误差项的反向传播包括两个方向，一个是沿时间的反向传播，另一个则是将误差在空间上向上一层传播。针对残差跳跃连接所设计的连接项即单元状态的反向传播有如下推导：

推导误差项之前的部分设定及公式：

ReLU以及Sigmoid的导数分别为：

Sigmoid(x)′＝Sigmoid(x)(1-Sigmoid(x))

式中，x为输入值，符号′为求导符；

对残差跳跃连接的门控循环单元神经网络的单元状态公式进行等效替换，同时为了计算方便，令

F(m)＝W_ax_t+U_a(h_t-1⊙r_t)+b_a

式中，W_a为权重向量，U_a为输入时序信息的权重，h_t-1为前一时刻的状态向量，b_a为偏移量。

假设当前状态时刻为t，设l为计算的误差项

所在层数，P为当前网络层数，P层到l层之间有若干个网络层，则有：

式中，

表示在P层未激活的候选隐状态,

表示在l层未激活的候选隐状态；

对

求

的偏导，得到：

式中，

为求偏导符号，I表示单位矩阵；

结合ReLU激活函数的性质以及链式求导法则，得出单元状态的第l层的误差项

为：

上式中，

表示激活后的候选隐状态，E_t表示在t时刻的误差，

表示P层t时刻的隐状态向量，I表示单位矩阵，

为P层重置门限。

在门控循环单元的基础上通过改变激活函数和引入高速连接在单元状态后，该误差项

就能避免因l层到P层之间的空间结构信息传递的连续相乘而引起的梯度消失问题。同原本的GRU相比，基于残差的GRU将会对梯度变化更加敏感。

参数设置：隐藏层的神经元数量设置为650，Embedding设置为650，初始学习率设置为1，设置每次迭代后若交叉训练集精准度下降则下次迭代的学习率自动衰减。迭代次数epoch设置为40次，batch设置为35，神经元丢弃率dropout设置为50％。使用NVIDIAGeForce RTX 2080TI进行cuda加速训练。

实施例

本发明为了更好的对实验效果进行展示，使用的数据集是PTB，实验结果见表1、表2及表3。数据集中包含了9998个不同的单词词汇，加上稀有词语的特殊符号和语句结束标记符，一共是10000个词汇。完成PTB数据集训练和测试的源码是基于Pytorch官方的语言模型示例。为了让对比更充分，这里选择在此数据集上使用循环神经网络(RNN)、长短期记忆网络(LSTM)、门控循环单元(GRU)、Transformer、简单循环单元(SRU)、高速简单循环单元(H-SRU)、残差门控循环单元(R-GRU)、以及本发明提供的基于残差跳跃连接的门控循环单元(RT-GRU)进行对比实验。并且为了更好地比较各个网络的优劣，实验中用到的循环神经网络参数设置都是相同的，即隐藏层均设置650个神经元，Embeddings(词嵌入)的大小均设置为650，丢弃率(drop out)的大小均设置为50％，以层数堆叠的方式来训练神经网络，每种神经网络分别进行3、5、7层的网络训练，权重初始化都为正交初始化；批处理量为4；所有的模型损失函数都为交叉熵损失函数；优化器都为均方根传递优化器，动量为0.95；初始学习率初始为1，设置动态衰减；都使用了批标准化技术；所有模型都进行40次迭代训练。

评价标准采用困惑度(Perplexity,PPL)，其计算公式如下：

其中，S代表句子，N是句子长度，p(ω_i)是第i个词的概率，p(ω_i)越大，则PPL值越小，表明语言模型越好。

表1

表1展示了网络深度在3层时，各类循环神经网络在PTB数据集上构建语言模型的具体PPL值，训练时间损耗及网络结构的参数量，其中relu+GRU、residual+GRU和R-GRU组成消融实验，R-GRU、T-GRU和RT-GRU组成消融实验，R-GRU为仅在BP方向建立残差连接，T-GRU为仅在BPTT方向建立残差连接。

表2

表2展示了网络深度在5层时，各类循环神经网络在PTB数据集上构建语言模型的具体PPL值，训练时间损耗及网络结构的参数量。可以从上表中看出，训练耗时及网络结构参数量会随着网络深度的增加而增加。

表3

表3展示了网络深度在7层时，各类循环神经网络在PTB数据集上构建语言模型的具体PPL值，训练时间损耗及网络结构的参数量。可以从上表中看出，传统的RNN结构在加深网络层数后，其PPL值不降反增，无法有效降低PPL值。

通过表1、表2及表3的实验数据，可以发现：

1)在预测单词的准确率方面：由于传统的RNN并没有任何门控限制其信息流通，因此其PPL值较高，而LSTM、GRU等网络的浅层结构都有着不错的性能，而深层结构性能反而变差，说明是由于梯度消失及网络退化等问题导致。而其他具备缓解梯度消失问题特性的结构，例如：激活函数或者跨层连接方式，相比之下能有效降低PPL值。在SRU类网络中，仅改变激活函数的(relu+SRU)结构，其性能在对应层数上不如原本的SRU，而其他结构都能够优化SRU，尤其是H-SRU结构，在对应层上都有较优的效果，能大幅降低PPL值。在GRU类网络中，特别的RT-GRU结构，其是在BP及BPTT方向上添加了残差信息，在对应的网络层数上，其性能得到极大程度的提升，且都优于其他结构，在5层时，PLL就已经下降到5.98，这是目前已知最好结果。

2)在网络训练耗时方面：SRU及Transformer结构没有依赖前一时刻隐状态向量的输出，因此其具有高并行性，训练耗时在所有结构里都比较低。而基本的RNN结构由于没有类似门控的结构，训练耗时同样是较低。因为LSTM较复杂的网络结构，其具备两个时序信息，以及多个门控结构，因此就训练耗时这方面来考虑，其并不占优。以训练耗时的角度来观察RT-GRU结构，相比于原本的GRU结构，由于添加了残差信息及门控来限制残差信息，因此使其有所增加。

3)在网络结构总参数量方面：RNN结构没有任何门限控制其信息的输入与输出，因此其网络结构的总参数量是最少的。SRU结构由于没有依赖前一时刻隐状态向量的输出，因此同样含有较少的参数量，而有着类似性质的Transformer结构，因为其是由多层的Encoder与Decoder组成，所以在参数量方面Transformer结构并不占优。而由于LSTM复杂的网络结构，其总参数量在所有结构中是最多的。本发明设计的RT-GRU结构相比于原本的GRU结构，其使用了Highway-Networks的门限控制，虽在一定程度上能避免过拟合，但也使网络的参数总量增加。

4)在网络深度方面：通过表1、表2及表3的实验对比，可观察到在浅层网络中，传统的循环神经网络(RNN、LSTM、GRU)性能都得到提升，这也验证了加深网络层数能获得更多特征信息。而随着网络层数深度的继续提升，传统的循环神经网络(RNN、LSTM、GRU)性能都逐渐下滑。而RT-GRU结构在深层网络依然能保持较优的性能。另外，层数堆叠会使模型的参数量随之增多，网络的训练耗时也会越来越高。

综合上述四个对比，可以得出的结论是本发明设计的RT-GRU，在建立残差连接的同时，利用Highway-Networks的门限控制，来控制残差信息。相比于其他的网络结构，能够极大程度的提高网络的性能，降低PPL值。

为了进一步验证本发明设计方法的有效性，将本发明应用在文本分类任务及情感分析任务中。

1)在文本分类任务中，所使用数据集是THUCNews。该数据集是筛选过滤2005-2011年新浪新闻RSS订阅频道的历史数据生成的，包含了74万篇新闻文档。为节约资源，本任务将从数据集中抽取20万条新闻标题，文本长度均在20-30之间，共有10个类别，分别为：娱乐、社会、股票、财经、房产、游戏、教育、科技、时政、体育，每个类别为2万条新闻。在此数据集上本文使用TextCNN、TextRNN(GRU)、TextRNN_Att、R-GRU、RT-GRU进行对比实验，其中TextRNN_Att为引入注意力机制的LSTM结构[65]。实验采用准确率，召回率及f1值作为评估标准。实验中用到的循环神经网络参数设置都是相同的，学习率设置为0.001，批处理设置为100，Embeddings设置为100，隐藏层神经元设置为128，丢弃率(drop out)设置为0.5。其实验结果见表4。

表4

通过表4观察到本发明设计的RT-GRU能提升原本GRU结构的性能，同时对比于TextCNN及引入注意力机制的GRU_Att结构，在分类准确率方面依然具备一定的优势。

2)在情感分析任务中，主要进行电影影评倾向分类，所使用的数据集是IMDB数据集，该数据集一共含有50000条影评，被标记为正面和负面两种评价，其中训练集和测试集各为25000条，且都包含50％的正面评价和50％的负面评价，数据集通过Keras读取，在此数据集上使用LSTM、GRU、R-GRU、RT-GRU进行对比实验。为了让实验对比更具有说服力，对于每种神经网络设置相同的超参数：隐藏层均设置128个神经元；Embeddings(词嵌入)的大小均设置为128；丢弃率(drop out)的大小均设置为0.2；所有神经网络的损失函数都使用交叉熵损失函数；所有神经网络训练的EPOCH设置为10次迭代。实验结果见表5。

表5

通过表5的观察可知，与语言模型及文本分类任务类似，本发明设计的RT-GRU结构依然能提升原本GRU结构的性能。对比于LSTM结构，RT-GRU结构在分类准确率方面也有着优势，这也证明了本文设计的RT-GRU结构具有一定的普适性。

本发明提供了一种基于残差跳跃连接的门控循环单元的文本分类方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (9)

1.一种基于残差跳跃连接的门控循环单元的文本分类方法，其特征在于，包括以下所述步骤：

步骤1，定义数据集的词汇表并将词汇表的文本数据进行预处理，去除文本中的不规范数据；

步骤2，将步骤1得到的文本信息进行门控循环单元神经网络建模；

步骤3，设置门控循环单元神经网络的全连接层以及分类层；

步骤4，为门控循环单元神经网络的表示中建立残差跳跃连接并引入高速公路网络门限控制方法；

步骤5，将残差跳跃连接的门控循环单元的饱和激活函数改为非饱和激活函数；

步骤6，设置残差跳跃连接的门控循环单元神经网络的权重初始化方式为正交初始化；

步骤7，为残差跳跃连接的门控循环单元神经网络设置批标准化；

步骤8，设置残差跳跃连接的门控循环单元神经网络的超参数；

步骤9，配置残差跳跃连接的门控循环单元神经网络的损失函数以及优化器；

步骤10，结合步骤1得到的文本信息，使用残差跳跃连接的门控循环单元神经网络进行文本分类。

2.如权利要求1所述的方法，其特征在于，步骤1包括：

定义数据集的词汇表，包括统计单词的出现频率和按词频顺序对单词进行排序；

将数据集分为训练集和测试集，训练集包括训练数据；在定义词汇表后，将训练数据转化成单词的数字编号；

对训练数据进行批处理，使用填充的方法，即将同一批块内的句子长度补齐；

定义词向量层：在输入层，每个单词用一个实数向量表示，所述实数向量称为词向量，使用Word2Vec方法对文本进行向量化操作。

3.如权利要求2所述的方法，其特征在于，步骤2包括：

建立门控循环单元的循环神经网络的前向算法：建立更新门和重置门，设z_t和r_t分别为更新门向量和重置门向量，x_t为当前层的t时刻的输入值，W_z和W_r为模型参数，即权重向量，U_z、U_r、U_a为输入时序信息的权重，h_t-1为前一时刻的状态向量，b_z和b_r为偏置向量；更新门向量和重置门向量计算公式如下：

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

式中，σ为Sigmoid激活函数，Sigmoid激活函数Sigmoid(x)的计算公式如下：

其中，x为函数输入；e为自然常数；

使用如下门控循环单元的输出公式：

a_t＝g(W_ax_t+U_a(h_t-1*r_t)+b_a)

h_t＝z_t*a_t+(1-z_t)*h_t-1

式中，a_t是t时刻的候选隐状态，h_t为当前时刻t的隐状态向量，候选隐状态的激活函数g(·)为Tanh，W_a为模型权重参数；

其中，Tanh激活函数Tanh(x)的计算公式如下：

式中，x为函数输入。

4.如权利要求3所述的方法，其特征在于，步骤3包括：

在门控循环单元神经网络之后需要接全连接层来修正神经元输出值的维度，全连接层公式如下：

f＝W_yh

式中，W_y为维度匹配矩阵；h为网络最后一层的神经元输出；f为全连接层输出值；

在全连接层之后需连接分类层进行分类，通过如下归一化指数函数S(f)_j公式进行分类处理：

式中，N为类别数；f_j表示f的第j元素，j的范围为1到N；f_n表示f的第n元素，n取值为1到N。

5.如权利要求4所述的方法，其特征在于，步骤4包括：

在门控循环单元结构的时间轴方向和空间轴反向上建立残差的跳跃连接，引入高速公路网络的门控限制，公式定义如下所示：

h_t ^l＝(1-z_t ^l)⊙h_t-1 ^l+z_t ^l⊙a_t ^l

H_t ^l＝T(x)^l⊙h_t ^l+C(x)^l⊙h_t-α ^l

式中，⊙表示矩阵的点乘运算，l表示堆叠层数，

为l层的t时刻的输入值，

和

为l层的模型参数，即权重向量，

和

为l层输入时序信息的权重，

和

分别为门控循环单元在l层的更新门、重置门和候选隐状态，

为前一时刻的状态向量，V^l是l层的维度匹配矩阵，当网络前后层维度一致时，则不需要维度匹配矩阵，

是l层未激活的候选隐状态，g(·)为激活函数，

为l层t时刻的输出状态，T(x)^l与C(x)^l是高速网络的门控限制；h_t-α表示在时间轴方向上建立残差连接，α表示神经元个数，

为l层在t时刻的最终输出向量。

6.如权利要求5所述的方法，其特征在于，步骤5包括：

将残差跳跃连接的门控循环单元的饱和激活函数改为非饱和激活函数ReLU，得到l层t时刻的输出公式为：

式中，

为l层t时刻的输出状态，

为l层高速网络的门控限制，g(·)为ReLU激活函数，公式如下：

其中，x为函数输入值。

7.如权利要求6所述的方法，其特征在于，步骤6包括：

正交初始化是将权重参数W、W_f、W_r的初始值初始化为单位正交矩阵，单位正交矩阵A需满足如下条件：

A为正交矩阵；

A的转置A^T为正交矩阵；

AA^T＝E，E为单位矩阵；

A的各行是单位向量且两两正交；

A的各列是单位向量且两两正交；

(Ax，Ay)＝(x，y)，x，y都为常数；A是正交矩阵；

|A|＝1或-1；

A的维度为权重所在的神经网络层的神经元个数。

8.如权利要求7所述的方法，其特征在于，步骤7包括：

批标准化公式如下：

其中，

为输入值z_i经过标准化之后的新输入值；σ²为方差；μ为均值；m为输入的维度；参数ε等于10^-8。

9.如权利要求8所述的方法，其特征在于，步骤9包括：

针对残差跳跃连接所设计的连接项即单元状态的反向传播有如下推导：

推导误差项之前的部分设定及公式：

ReLU函数的导数ReLU(x)′和Sigmoid函数的导数Sigmoid(x)′分别为：

Sigmoid(x)′＝Sigmoid(x)(1-Sigmoid(x))

式中，x为输入值，符号′为求导符；

对残差跳跃连接的门控循环单元神经网络的单元状态公式进行等效替换，令：

F(m)＝W_ax_t+U_a(h_t-1⊙r_t)+b_a

式中，W_a为权重向量，U_a为输入时序信息的权重，b_a为偏移量；F(m)是一个代数符号；

设定当前状态时刻为t，设l为计算的误差项

所在层数，P为当前网络层数，则有：

式中，

表示在P层未激活的候选隐状态，

表示在l层未激活的候选隐状态；

对

求

的偏导，得到：

式中，

为求偏导符号，I表示单位矩阵；

得出单元状态的第l层的误差项

为：

上式中，

表示激活后的候选隐状态，E_t表示在t时刻的误差，

表示P层t时刻的隐状态向量，I表示单位矩阵，

为P层重置门限。

Images