CN109753567A - 一种结合标题与正文注意力机制的文本分类方法 - Google Patents

Abstract

本发明公开了一种结合标题与正文注意力机制的文本分类方法。首先对每篇文档的标题与正文进行分词预处理，得到标题词集合和正文词集合；采用word2vec的CBOW模型训练词向量，用双向循环神经网络学习每个词结合上下文语义的表示，通过串联词向量及其左右上下文的表示，得到一个词的潜在语义向量；分别将标题词集合及正文词集合中每个词的潜在语义向量进行最大池化处理，得到标题向量及正文向量；使用标题与正文注意力机制，得到注意力向量；在计算整篇文档的向量表示后，通过soft max函数输出概率预测文本的类别。本发明解决了现有的带有标题的文本分类时忽略标题内容的重要性，把标题当作正文的一部分或忽略标题信息，导致分类结果准确度低的问题。

Description

一种结合标题与正文注意力机制的文本分类方法

技术领域

本发明属于自然语言处理领域，具体涉及一种结合标题与正文注意力机制的文本分类方法。

背景技术：

随着我国各行各业信息化平台的迅速发展，在线文本数据已经浩瀚如海。海量的文本数据中蕴含着重要的价值，但如何高效的组织并利用这些数据成了一大问题，自然语言处理中文本分类技术是一个有效的解决方法。

文本分类技术是用先文本数据构造分类器模型，按照建立好的分类器模型对新的文本划分类别的过程。传统的文本分类方法，集中在处理特征工程和选择分类器两大问题上，存在着文本表示高维度高稀疏，特征表达能力弱，需要进行人工特征工程等问题。近年来，词向量和深度神经网络的出现，解决了文本表示以及获取特征表达能力的问题，取得了更优秀的效果。

注意力机制源于对人类视觉的研究，它决定了需要关注输入的哪一部分，分配有限的资源给更重要的部分。目前，注意力机制被广泛应用在自然语言处理、图像识别、语音识别等不同类型的深度学习任务中，均取得了很好的效果。

对于中文文本而言，词是构成文本的基本单位，可以根据一个词的上下文信息可以获取词在文本中的语义并帮助消除歧义。很多结构化含标题的文档，往往都包含标题和正文两部分，且标题大多数对分类有很大帮助。然而，目前针对含标题的文本分类的研究存在一定的缺陷：

首先，现有的文本分类方法直接使用文本预处理后词的词向量作为文本特征，忽略了词在上下文中的语义信息。

其次，与普通的文本不同，含有标题的文本都包括标题和正文两部分，标题往往是正文信息的高度总结的一句话。而现有大多文本分类方法都是把标题当作正文的一部分或者直接忽略标题信息，忽略了标题信息对分类的重要性。

发明内容

本发明的目的在于：提供一种结合标题与正文注意力机制的文本分类方法，解决了现有的含有标题的文本分类方法忽略标题内容的重要性，把标题当作正文的一部分或者直接忽略标题信息，导致分类结果精确度低的问题。

为实现上述目的，本发明采用以下技术方案：一种结合标题与正文注意力机制的文本分类方法，包括以下步骤：

步骤1:对每篇文档的标题与正文进行分词预处理，得到标题词集合和正文词集合；

步骤2:采用词向量训练模型训练标题词集合和正文词集合向量，得到每一个词的分布式表示；

步骤3:通过双向循环神经网络捕捉每个词的上下文语义，得到每个词的左侧上下文向量和右侧上下文向量；

步骤4:将每个词的左上下文向量、词向量、右上下文向量串联，得到每个词结合上下文语义的表示，对词义的表示应用线性变换并使用tanh激活函数获得这个词的潜在语义向量；

步骤5:分别把标题词集合及正文词集合中各个词的潜在语义向量进行最大池化处理，得到标题向量及正文向量；

步骤6:应用标题与正文注意力机制得到每篇文档的注意力向量，代表标题以及正文的权重；

步骤7:计算整篇文本的向量表示，使用softmax函数输出概率来预测文本的类别。

进一步的，步骤1中对每篇文档标题与正文进行分词预处理具体是采用以下步骤：对一篇包含标题和正文的文本，使用jieba分词工具对文本的标题和正文进行分词，分别得到分词后的标题词集合和正文词集合。

进一步的，步骤2的词向量训练模型为Glove模型或者word2vec的CBOW模型。

进一步的，步骤3中通过双向循环神经网络捕捉每个词的上下文语义具体采用以下步骤：单词w_i的左侧上下文c_l(w_i)使用下面公式1计算：

c_l(w_i)＝f(W^(l)c_l(w_i-1)+W^(sl)e(w_i-1)) (1)

其中：c_l(w_i)为词w_i的左侧上下文向量，通过循环神经网络对文本的正向扫描得到；e(w_i-1)是前一个词w_i-1的词向量，c_l(w_i-1)表示词w_i-1的左侧上下文；W^(l)是一个将隐藏层转换为下一个隐藏层的矩阵；W^(sl)是一个用于将当前词的语义与下一个词的左上下文相结合的矩阵，f是一个非线性的激活函数，每篇文档第一个词的左侧上下文使用相同的共享参数c_l(w₁)；右侧上下文c_r(w_i)使用下面公式2计算

c_r(w_i)＝f(W^(r)c_r(w_i+1)+W^(sr)e(w_i+1)) (2)

其中：c_r(w_i)为词w_i的右侧上下文向量表示，通过循环神经网络对文本的反向扫描得到；

e(w_i+1)是后一个词w_i+1的词向量，c_r(w_i+1)表示词w_i+1的右侧上下文；W^(r)是一个将隐藏层转换为下一个隐藏层的矩阵，W^(sr)是一个用于将当前词的语义与上一个词的右上下文相结合的矩阵，f是一个非线性的激活函数；每篇文本中最后一个词的右侧上下文共享参数c_r(w_n)。

进一步的，步骤4中每个词结合上下文语义采用下面公式3表示：

x_i＝[c_l(w_i)；e(w_i)；c_r(w_i)] (3)

其中：x_i是词w_i结合上下文语义；x_i是词w_i结合左侧上下文信息与右侧上下文信息得到的结合上下文语义的表示。

进一步的，步骤4中将每个词结合上下文语义的表示应用线性变换与tanh激活函数获得这个词的潜在语义向量采用下面公式4表示：

其中：W⁽²⁾与b⁽²⁾是随机初始化并在训练中自动学习的权值和偏置。

进一步的，标题向量及正文向量的获得具体采用以下步骤：

采用公式5分别把标题词集合及正文词集合中各个词的潜在语义向量进行最大池化处理：

其中：是词的潜在语义向量，其中每个语义因子都决定用于表示文本的最有用因子；

y⁽³⁾的第k个元素是的第k个元素中的最大元素。

进一步的，中文档的注意力向量具体采用以下步骤获得：

采用非线性激活函数公示6获取标题向量或者正文向量的深层语义向量：

其中：是标题或正文向量，W_s与b_s是在训练时随机初始化并自动学习的权值和偏置参数；使用公式7获取标题与正文的注意力向量：

其中：u_s是一个随机初始化的，在训练中学习的上下文向量；

最后，通过公式8求得整篇文档的向量表示v；

进一步的，步骤7中在得到输出使用softmax函数输出概率具体步骤如下：

soft max函数如公式9，将输出数字转换为概率，预测文本的类别；

p＝soft max(W⁽⁴⁾v+b⁽⁴⁾) (9)

其中W⁽⁴⁾和b⁽⁴⁾为训练时随机初始化并自动学习的权值和偏置参数。

本发明采用以上技术方案与现有的技术相比，具有以下优点：

(1)本发明采用word2vec的CBOW模型来训练词向量，使用双向循环神经网络捕获词的上下文语义，通过将一个词的词向量与上下文语义进行连接来表示一个词的含义，能够更好地消除歧义以及有效的表示词在文本中的信息。

(2)本发明提出一种结合标题与正文注意力机制的文本分类方法，引入了标题与正文注意力机制，强调了标题对含有标题的文档分类的重要性，结合注意力向量来表示一篇文本，能够充分完整的表示整篇文档的特征，从而提高文本分类的准确度。

附图说明

图1是实施例的流程示意图。

图2是实施例词向量训练的示意图。

图3是实施例对词上下文向量编码的示意图。

图4是实施例提取标题或正文向量的示意图。

图5是实施例标题与正文级别注意力机制的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元

如图1所示，本实例的文本分类方法包括以下VII阶段。

阶段I是对每篇文档的标题与正文进行分词预处理，得到每篇文档的标题词集合和正文的词集合；

阶段II是采用word2vec的CBOW模型训练每篇文档的词向量，得到每一个词的分布式表示；

阶段III是通过双向循环神经网络捕捉每个词的上下文语义，得到每个词的左上下文向量和右上下文向量；

阶段IV是将每个词的左上下文向量、词向量、右上下文向量串联，得到每个词结合上下文语义的向量表示；

阶段V是分别把标题词集合及正文词集合中各个词的潜在语义向量进行最大池化处理，得到标题向量及正文向量；

阶段VI是应用标题与正文注意力机制得到每篇文档的注意力向量，代表标题以及正文的权重。

阶段VII是计算整篇文档的向量表示，使用softmax函数输出概率来预测文本的类别。

以下对于本发明所提出的一种结合标题与正文注意力机制的文本分类方法,具体举例说明。

步骤1:使用jieba分词工具，对每篇文档的标题与正文进行分词预处理，得到标题词集合和正文的词集合{w₁,w₂,…,w_n}；

步骤2:采用word2vec的CBOW模型训练词向量，得到每一个词的分布式表示

步骤3:通过双向循环神经网络捕捉每个词的上下文语义，得到每个词的左上下文向量c_l(w_i)和右上下文向量以及c_r(w_i)；

步骤4:将每个词的左上下文向量、词向量、右上下文向量串联，得到每个词结合上下文语义的表示x_i；

步骤5:分别把标题词集合及正文词集合中各个词的潜在语义向量进行最大池化处理，得到标题向量及正文向量

步骤6:应用标题与正文注意力机制得到每篇文档的注意力向量，代表标题以α_i及正文的权重α_j。

步骤7:计算整篇文档的向量表示v，使用softmax函数输出概率来预测文本的类别。

下面详细说明本发明的技术方案以及所依据的科学原理。

本发明使用的训练文本是使用网络爬虫从网上采集的教育政策数据，经过数据清洗后使用jieba分词工具进行分词，划分后得到教育政策训练集与测试集。

词向量的训练过程如图2所示。本发明使用的训练语料是wiki百科中文语料，分词后用word2vec工具的CBOW模型训练词向量。具体过程如下：

(1)CBOW模型输入层：假设教育政策训练文本的词集合为{w₁,w₂,…,w_n}，w_i是集合中的第i个词，用w_i前后t个词来预测它。w_i的上下文c_i＝w_i-t,…,w_i-1,w_i+1,…,w_i+t，根据CBOW模型求出该词w_i出现的条件概率为：

其中c_i表示上下文信息，

则建立词向量的目标函数为

(2)CBOW模型投影层：用嵌入矩阵W^W∈R^T×N把词w_i投影到一个N维度的特征空间中，得到词w_i投影后的向量：

(3)CBOW模型输出层：通过随机梯度算法对嵌入矩阵的结果进行预测，使得F最大化。此时是w_i的词向量，得到文本词向量集合

词的上下文向量编码的示意图如图3所示，本发明使用双向循环神经网络获得词的上下文语义向量表示的具体过程如下：

(1)定义c_l(w_i)作为词w_t的左上下文，c_r(w_i)作为它的右上下文。c_l(w_i)以及c_r(w_i)是含有|c|真正有价值的密集向量。单词w_i的左侧上下文c_l(w_i)使用下面公式计算：

c_l(w_i)＝f(W^(l)c_l(w_i-1)+W^(sl)e(w_i-1))

这里e(w_i-1)是词w_i-1的词向量，c_l(w_i-1)表示前一个词w_i-1的左侧上下文。每篇文档的第一个词的左侧上下文使用相同的共享参数c_l(w₁)。W^(l)是一个将隐藏层(上下文)转换为下一个隐藏层的矩阵。W^(sl)是一个用于将当前词的语义与下一个词的左上下文相结合的矩阵。f是一个非线性的激活函数。

右侧上下文c_r(w_i)以类似的方式计算：

c_r(w_i)＝f(W^(r)c_r(w_i+1)+W^(sr)e(w_i+1))

其中，每篇文档中最后一个词的右侧的上下文共享参数c_r(w_n)。

提取标题或正文向量的示意图如图4所示，分为卷积层和最大池化层。图4为句子“关于加快市域义务教育优质均衡发展的实施意见”的一部分示例。

(1)通过把每个词的左上下文向量、词向量、右上下文向量串联的方式，得到每个词w_i结合上下文语义的表示。获取每个词结合上下文语义的表示公式如下：

x_i＝[c_l(w_i)；e(w_i)；c_r(w_i)]

与仅使用固定窗口的传统神经模型相比，使用该上下文信息可以更好地消除词w_i含义的歧义。

在获得w_i这个词的表示x_i之后，将线性变换与tanh激活函数一起应用于x_i，获取到这个

词的潜在语义向量，使用如下公式：

(2)把标题词集合及正文词集合中各个词的潜在语义向量进行最大池化处理，得到标题向量及正文向量：

是词的潜在语义向量，其中每个语义因子都决定用于表示文本的最有用因子。y⁽³⁾的第k个元素是的第k个元素中的最大元素。

如图5所示，是标题与正文注意力机制示意图，本发明通过标题与正文注意力机制得到每篇文档的注意力向量，具体过程如下：

为了奖励作为正确分类文档的线索的部分，引入标题与正文级别的注意力机制，使用注意力向量来衡量标题或正文的重要性。

首先，用一个非线性激活函数获取标题向量或者正文向量的深层语义向量；

其中是标题或正文向量，b_s是注意力机制的偏置参数；

接着，使用下面的公式获取标题与正文的注意力向量

其中，u_s是一个随机初始化的，在训练中学习的上下文向量。

最后，通过下面公式求得整篇文档的向量表示：

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种结合标题与正文注意力机制的文本分类方法，其特征在于包括以下步骤：

步骤1:对每篇文档的标题与正文进行分词预处理，得到标题词集合和正文词集合；

步骤2:采用词向量训练模型训练标题词集合和正文词集合向量，得到每一个词的分布式表示；

步骤3:通过双向循环神经网络捕捉每个词的上下文语义，得到每个词的左侧上下文向量和右侧上下文向量；

步骤4:将每个词的左上下文向量、词向量、右上下文向量串联，得到每个词结合上下文语义的表示，对词义的表示应用线性变换并使用tanh激活函数获得这个词的潜在语义向量；

步骤5:分别把标题词集合及正文词集合中各个词的潜在语义向量进行最大池化处理，得到标题向量及正文向量；

步骤6:应用标题与正文注意力机制得到每篇文档的注意力向量，代表标题以及正文的权重；

步骤7:计算整篇文本的向量表示，使用soft max函数输出概率来预测文本的类别。

2.根据权利要求1所述的一种结合标题与正文注意力机制的文本分类方法，其特征在于：所述步骤1中对每篇文档标题与正文进行分词预处理具体是采用以下步骤：对一篇包含标题和正文的文本，使用jieba分词工具对文本的标题和正文进行分词，分别得到分词后的标题词集合和正文词集合。

3.根据权利要求1所述的一种结合标题与正文注意力机制的文本分类方法，其特征在于：所述步骤2的词向量训练模型为Glove模型或者word2vec的CBOW模型。

4.根据权利要求1所述的一种结合标题与正文注意力机制的文本分类方法，其特征在于：所述步骤3中通过双向循环神经网络捕捉每个词的上下文语义具体采用以下步骤：

单词w_i的左侧上下文c_l(w_i)使用下面公式1计算：

c_l(w_i)＝f(W^(l)c_l(w_i-1)+W^(sl)e(w_i-1)) (1)

其中：c_l(w_i)为词w_i的左侧上下文向量，通过循环神经网络对文本的正向扫描得到；e(w_i-1)是前一个词w_i-1的词向量，c_l(w_i-1)表示词w_i-1的左侧上下文；W^(l)是一个将隐藏层转换为下一个隐藏层的矩阵；W^(sl)是一个用于将当前词的语义与下一个词的左上下文相结合的矩阵，f是一个非线性的激活函数，每篇文档第一个词的左侧上下文使用相同的共享参数c_l(w₁)；右侧上下文c_r(w_i)使用下面公式2计算

c_r(w_i)＝f(W^(r)c_r(w_i+1)+W^(sr)e(w_i+1)) (2)

其中：c_r(w_i)为词w_i的右侧上下文向量表示，通过循环神经网络对文本的反向扫描得到；e(w_i+1)是后一个词w_i+1的词向量，c_r(w_i+1)表示词w_i+1的右侧上下文；W^(r)是一个将隐藏层转换为下一个隐藏层的矩阵，W^(sr)是一个用于将当前词的语义与上一个词的右上下文相结合的矩阵，f是一个非线性的激活函数；每篇文本中最后一个词的右侧上下文共享参数c_r(w_n)。

5.根据权利要求1所述的一种结合标题与正文注意力机制的文本分类方法，其特征在于：所述步骤4中每个词结合上下文语义采用下面公式3表示：

x_i＝[c_l(w_i)；e(w_i)；c_r(w_i)] (3)

其中：x_i是词w_i结合上下文语义；x_i是词w_i结合左侧上下文信息与右侧上下文信息得到的结合上下文语义的表示。

6.根据权利要求1所述的一种结合标题与正文注意力机制的文本分类方法，其特征在于：所述步骤4中将每个词结合上下文语义的表示应用线性变换与tanh激活函数获得这个词的潜在语义向量采用下面公式4表示：

y_i ⁽²⁾＝tanh(W⁽²⁾x_i+b⁽²⁾) (4)

其中：W⁽²⁾与b⁽²⁾是随机初始化并在训练中自动学习的权值和偏置。

7.根据权利要求1所述的一种结合标题与正文注意力机制的文本分类方法，其特征在于：所述标题向量及正文向量的获得具体采用以下步骤：

采用公式5分别把标题词集合及正文词集合中各个词的潜在语义向量进行最大池化处理：

其中：是词的潜在语义向量，其中每个语义因子都决定用于表示文本的最有用因子；

y⁽³⁾的第k个元素是的第k个元素中的最大元素。

8.根据权利要求1所述的一种结合标题与正文注意力机制的文本分类方法，其特征在于：所述中文档的注意力向量具体采用以下步骤获得：

采用非线性激活函数公示6获取标题向量或者正文向量的深层语义向量：

其中：是标题或正文向量，W_s与b_s是在训练时随机初始化并自动学习的权值和偏置参数；使用公式7获取标题与正文的注意力向量：

其中：u_s是一个随机初始化的，在训练中学习的上下文向量；

最后，通过公式8求得整篇文档的向量表示v：

9.根据权利要求1所述的一种结合标题与正文注意力机制的文本分类方法，其特征在于：所述步骤7中在得到输出使用softmax函数输出概率具体步骤如下：

soft max函数如公式9，将输出数字转换为概率，预测文本的类别；

p＝soft max(W⁽⁴⁾v+b⁽⁴⁾) (9)

其中W⁽⁴⁾和b⁽⁴⁾为训练时随机初始化并自动学习的权值和偏置参数。