CN107943967A - 基于多角度卷积神经网络与循环神经网络的文本分类算法 - Google Patents

Abstract

本发明公开了一种基于多角度卷积神经网络与循环神经网络的文本分类算法，包括步骤：1)对文本进行多角度的卷积神经网络的建模，包括不同的滑窗宽度、过滤器和池化类型，得到一种特征表达；2)对文本进行双向LSTM循环神经网络的建模，得到另一种特征表达；3)对文本的两种特征表达进行特征融合，利用SVM分类器，得到文本的分类。本发明将多粒度、多种卷积、多种池化融入到卷积神经网络中，将双向传播引进LSTM循环神经网络，得到两种文本高层特征表达，通过特征融合方式，建立SVM分类模型，得到文本分类结果。本发明能够捕获不同的文本高层特征表达，通过特征融合，得到文本更丰富的特征表达，建立SVM分类模型，提高分类效果。

Description

基于多角度卷积神经网络与循环神经网络的文本分类算法

技术领域

本发明涉及自然语言处理的文本分类领域，尤其是指一种基于多角度卷积神经网络与循环神经网络的文本分类算法。

背景技术

文本分类有多种应用，例如情感极性分类、主题分类等。针对文本分类，有多种常用的方法，例如基于词典和规则的无监督方法，基于机器学习的有监督方法。基于词典的方法，利用权威的词典，依照经验人工构造特征，模型准确率较高，但由于词典覆盖率较低，导致模型召回率较低。基于机器学习的有监督方法，利用SVM、最大熵模型、朴素贝叶斯、KNN等机器学习方法建模。这些机器学习方法较成熟，理论基础较为坚实，应用广泛，分类效果较好，但受限于文本规模。因为基于机器学习方法需要有类别标签的文本作为训练的输入，而文本的标签需要花费大量的人力物力，因此数据规模一般较小。最近，基于深度学习的方法引起广大学者的重视。基于深度学习的方法只需要少量标识文本和大量未标识文本即可。与传统的机器学习方法不同，基于深度学习的方法不需要手动构造特征，而是通过层次结构自动学习特征，高层的特征通过底层特征的不同组合方式构建，得到的特征具有更丰富的抽象表达能力。

获取输入文本句子的句向量的方法可以分成两类，一种方法是基于词向量的方法，通过不同的组合方式构造句向量，称为组合法。另一种是不通过词向量，直接训练句子得到句向量，称为分布法。

组合法中，可使用不同的神经网络结构组合句向量，例如卷积神经网络、循环神经网络等。卷积神经网络是一种经典的神经网络结构，具有局部感知和共享参数的特点，能够较好捕获到局部信息。但普通的卷积神经网络设定固定的过滤器和池化操作类型，捕获到的局部信息粒度固定、较为死板，缺少多样性。基于时间序列的循环神经网络，会出现梯度消失的问题。因此为解决这个问题，LSTM被提出，它引进了遗忘门等机制，解决了长时依赖问题，能够较好地捕获到序列信息。但普通的LSTM循环神经网络对序列信息只是单方向建模，而文本不具有方向性，这样会使得捕获的序列信息较为片面。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多角度卷积神经网络与循环神经网络的文本分类算法，使用卷积神经网络和循环神经网络两种神经网络结构来获取抽象的高层特征表达，使用经典高效的SVM支持向量机作为分类器。另外，对卷积神经网络结构进行改造，引进多种过滤器和池化类型，得到包含多粒度局部隐含信息的文本特征表达。对于LSTM循环神经网络，采用双向传播，获取包含两个方向序列信息的文本特征表达。最后，通过特征融合方式融合两种特征表达，使用SVM分类器对文本建模，得到文本分类模型。该算法能够捕获不同的文本高层特征表达，通过特征融合，得到文本更丰富的特征表达，建立SVM分类模型，提高分类效果。

为实现上述目的，本发明所提供的技术方案为：基于多角度卷积神经网络与循环神经网络的文本分类算法，包括以下步骤：

1)对文本进行多角度的卷积神经网络的建模，包括不同的滑窗宽度、过滤器类型和池化类型，去掉最后一层softmax层，得到文本的第一种特征表达；

2)对文本进行双向LSTM循环神经网络的建模，去掉最后一层softmax层，得到文本的第二种特征表达；

3)对文本的两种特征表达进行特征融合，利用SVM分类器，得到文本的分类。

在步骤1)中，所述多角度的卷积神经网络是指通过组合不同的滑窗宽度、过滤器类型、池化类型得到的卷积神经网络，包含以下步骤：

1.1)建立两种不同类型的过滤器，一种为整体过滤器，就是匹配整个词向量的过滤器，另一种为单维过滤器，就是在词向量的每一维上进行匹配；假设句子输入是len个词语序列，每一个词语由Dim维词向量表示，代表词语序列中第i个词向量，sent_i:j代表第i到j个包括第j个词向量的连接，代表第i个词向量的第k维，代表第i到j个包括第j个词向量的第k维；假设一个整体过滤器F为<ws,w_F,b_F,h_F>元组，其中ws为滑窗宽度，为过滤器F的权重向量，为偏置，h_F为激活函数；当过滤器F应用于输入词语序列sent，w_F和sent内每一个长度为ws的词向量窗口进行内积，加上偏置值b_F，应用激活函数h_F，得到输出向量其中第i项等于out_F[i]＝h_F(w_F·sent_i:i+ws-1+b_F)，其中i∈[1,1+len-ws]；假设一个单维过滤器F^[k]应用于词向量的第k维，由元组表示，其中ws为滑窗宽度，为过滤器F^[k]的权重向量，为偏置，为激活函数；过滤器F^[k]的输出向量其中第i项等于

1.2)对卷积层输出向量使用不同池化操作；假设group(ws,pooling,sent)是针对输入句子sent进行滑窗宽度ws的卷积操作和池化操作的操作对象，其中pooling∈{max,min,mean}；假设对于group(ws,pooling,sent)，它的卷积层有num_F个过滤器，其中过滤器包括整体过滤器、单维过滤器两种；假设池化层的输出向量为其中第j项等于

1.3)在卷积层使用不同滑窗宽度ws的过滤器；

1.4)建立多角度的卷积神经网络，输入文本进行训练；

1.5)训练完成后，去掉最后一层softmax层，输入文本，输出为文本第一种特征表达。

在步骤2)中，对文本进行双向LSTM循环神经网络的建模，包括以下步骤：

2.1)建立双向LSTM循环神经网络模型结构，对于输入文本前向后向序列分别训练一层LSTM循环神经网络，它们连接同一个输出层，利用该结构对文本进行训练；

2.2)训练完成后，去掉最后一层softmax层，输入文本，输出为文本第二种特征表达。

在步骤3)中，对文本的两种特征表达进行特征融合，利用SVM分类器进行分类，包括以下步骤：

3.1)使用连接的融合方式，对两种文本特征表达进行特征融合；假设fea₁为第一种特征表达，fea₂为第二种特征表达，为融合后的特征表达，其中代表向量直接连接操作；

3.2)利用SVM分类器，输入融合后的特征表达，训练，得到分类模型。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明使用多角度的卷积神经网络，引进多种过滤器和池化操作，得到包含多粒度的局部隐含信息的文本特征表达，能够捕获更全面的局部信息。

2、本发明使用双向LSTM循环神经网络，采用双向传播和LSTM结构，得到整个句子两个方向的序列信息的文本特征表达，能够捕获更充分的序列信息。

3、本发明使用卷积神经网络和循环神经网络获取文本丰富的特征表达，使用较成熟的支持向量机SVM分类器代替神经网络最后一层softmax层，作为文本分类器，结合了深度学习能够得到抽象的高层特征表达的特点与机器学习方法成熟、理论基础较为坚实、分类效果较好、应用广泛的优点。

4、本发明通过特征融合方式，融合两种不同的文本特征表达，得到文本更多样化、丰富的特征表达。

附图说明

图1为本发明的文本分类算法流程图。

图2是过滤器的滑窗宽度为ws的卷积层与池化层的基本结构图。

图3为多角度的卷积神经网络基本结构图。

图4为双向LSTM循环神经网络基本结构图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1到图4所示，本实施例所提供的基于多角度卷积神经网络与循环神经网络的文本分类算法，主要通过多角度卷积神经网络与双向LSTM循环神经网络两种神经网络结构，获取文本两种抽象的高层特征表达，通过特征融合方式，使用SVM分类器对文本进行分类，其包括以下步骤：

1)对文本进行多角度的卷积神经网络的建模；多角度的卷积神经网络引进了不同的滑窗宽度、过滤器类型和池化类型，能够捕获不同粒度的局部隐含信息的特征表达，包含以下步骤：

1.1)建立两种不同类型的过滤器，一种为整体过滤器，就是匹配整个词向量的过滤器，另一种为单维过滤器，就是在词向量的每一维上进行匹配。假设句子输入是len个词语序列，每一个词语由Dim维词向量表示，代表词语序列中第i个词向量，sent_i:j代表第i到j个包括第j个词向量的连接，代表第i个词向量的第k维，代表第i到j个包括第j个词向量的第k维。假设一个整体过滤器F为<ws,w_F,b_F,h_F>元组，其中ws为滑窗宽度，为过滤器F的权重向量，为偏置，h_F为激活函数。当过滤器F应用于输入词语序列sent，w_F和sent内每一个长度为ws的词向量窗口进行内积，加上偏置值b_F，应用激活函数h_F，得到输出向量其中第i项等于out_F[i]＝h_F(w_F·sent_i:i+ws-1+b_F)，其中i∈[1,1+len-ws]。假设一个单维过滤器F^[k]应用于词向量的第k维，由元组表示，其中ws为滑窗宽度，为过滤器F^[k]的权重向量，为偏置，为激活函数。过滤器F^[k]的输出向量其中第i项等于

1.2)对卷积层输出向量使用不同池化操作。假设group(ws,pooling,sent)是针对输入句子sent进行滑窗宽度ws的卷积操作和池化操作的操作对象，其中pooling∈{max,min,mean}。假设对于group(ws,pooling,sent)，它的卷积层有num_F个过滤器，其中过滤器包括整体过滤器、单维过滤器两种。假设池化层的输出向量为其中第j项等于

1.3)在卷积层使用不同滑窗宽度ws的过滤器。

1.4)根据步骤1.1)到1.3)所述，建立多角度的卷积神经网络，输入文本进行训练。

1.5)训练完成后，去掉最后一层softmax层，输入文本，输出为文本第一种特征表达。

2)对文本进行双向LSTM循环神经网络的建模，包括以下步骤：

2.1)建立双向LSTM循环神经网络模型结构，对于输入文本前向后向序列分别训练一层LSTM循环神经网络，它们连接同一个输出层，利用该结构对文本进行训练。

2.2)训练完成后，去掉最后一层softmax层，输入文本，输出为文本第二种特征表达。

3)对文本的两种特征表达进行特征融合，利用SVM分类器进行分类，包括以下步骤：

3.1)使用连接的融合方式，对两种文本特征表达进行特征融合。假设fea₁为第一种特征表达，fea₂为第二种特征表达，为融合后的特征表达，其中代表向量直接连接操作。

3.2)利用SVM分类器，输入融合后的特征表达，训练，得到分类模型。

综上所述，在采用以上方案后，本发明为基于深度学习和机器学习的文本分类方法提供了新的分类思路，将多粒度、多种卷积、多种池化融入到卷积神经网络中，将双向传播引进LSTM循环神经网络，得到两种文本抽象高层特征表达，通过特征融合的融合方式，建立SVM支持向量机分类模型，得到文本分类结果。本发明能够捕获不同的文本高层特征表达，通过特征融合，得到文本更丰富的特征表达，建立SVM分类模型，提高分类效果，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.基于多角度卷积神经网络与循环神经网络的文本分类算法，其特征在于，包括以下步骤：

1)对文本进行多角度的卷积神经网络的建模，包括不同的滑窗宽度、过滤器类型和池化类型，去掉最后一层softmax层，得到文本的第一种特征表达；

2)对文本进行双向LSTM循环神经网络的建模，去掉最后一层softmax层，得到文本的第二种特征表达；

3)对文本的两种特征表达进行特征融合，利用SVM分类器，得到文本的分类。

2.根据权利要求1所述的基于多角度卷积神经网络与循环神经网络的文本分类算法，其特征在于：在步骤1)中，所述多角度的卷积神经网络是指通过组合不同的滑窗宽度、过滤器类型、池化类型得到的卷积神经网络，包含以下步骤：

1.1)建立两种不同类型的过滤器，一种为整体过滤器，就是匹配整个词向量的过滤器，另一种为单维过滤器，就是在词向量的每一维上进行匹配；假设句子输入是len个词语序列，每一个词语由Dim维词向量表示，代表词语序列中第i个词向量，sent_i:j代表第i到j个包括第j个词向量的连接，代表第i个词向量的第k维，代表第i到j个包括第j个词向量的第k维；假设一个整体过滤器F为<ws,w_F,b_F,h_F>元组，其中ws为滑窗宽度，为过滤器F的权重向量，为偏置，h_F为激活函数；当过滤器F应用于输入词语序列sent，w_F和sent内每一个长度为ws的词向量窗口进行内积，加上偏置值b_F，应用激活函数h_F，得到输出向量其中第i项等于out_F[i]＝h_F(w_F·sent_i:i+ws-1+b_F)，其中i∈[1,1+len-ws]；假设一个单维过滤器F^[k]应用于词向量的第k维，由元组表示，其中ws为滑窗宽度，为过滤器F^[k]的权重向量，为偏置，为激活函数；过滤器F^[k]的输出向量其中第i项等于

1.2)对卷积层输出向量使用不同池化操作；假设group(ws,pooling,sent)是针对输入句子sent进行滑窗宽度ws的卷积操作和池化pooling操作的操作对象，其中pooling∈{max,min,mean}；假设对于group(ws,pooling,sent)，它的卷积层有num_F个过滤器，其中过滤器包括整体过滤器、单维过滤器两种；假设池化层的输出向量为其中第j项等于

1.3)在卷积层使用不同滑窗宽度ws的过滤器；

1.4)建立多角度的卷积神经网络，输入文本进行训练；

1.5)训练完成后，去掉最后一层softmax层，输入文本，输出为文本第一种特征表达。

3.根据权利要求1所述的基于多角度卷积神经网络与循环神经网络的文本分类算法，其特征在于：在步骤2)中，对文本进行双向LSTM循环神经网络的建模，包括以下步骤：

2.1)建立双向LSTM循环神经网络模型结构，对于输入文本前向后向序列分别训练一层LSTM循环神经网络，它们连接同一个输出层，利用该结构对文本进行训练；

2.2)训练完成后，去掉最后一层softmax层，输入文本，输出为文本第二种特征表达。

4.根据权利要求1所述的基于多角度卷积神经网络与循环神经网络的文本分类算法，其特征在于：在步骤3)中，对文本的两种特征表达进行特征融合，利用SVM分类器进行分类，包括以下步骤：

3.1)使用连接的融合方式，对两种文本特征表达进行特征融合；假设fea₁为第一种特征表达，fea₂为第二种特征表达，为融合后的特征表达，其中代表向量直接连接操作；

3.2)利用SVM分类器，输入融合后的特征表达，训练，得到分类模型。