CN105955959A - 一种情感分类方法及系统 - Google Patents

Abstract

本发明适用计算机技术领域，提供了一种情感分类方法及系统，该方法包括：根据修辞结构理论对待分类的文本进行解析，得到修辞结构解析树；获取修辞结构解析树中的每个结点的初始向量，该结点包括：输入门、输出门、记忆细胞、隐藏状态以及忘记门；根据结点的输出门与记忆细胞的双曲线正切函数值进行点乘，得到结点的隐藏状态；根据结点的隐藏状态，通过分类器函数进行情感分类。本发明将待分类的文本构建成修辞结构解析树，在修辞结构解析树中每层有两个结点片段，每个结点有自身的忘记门，在学习过程中，通过忘记门来选择孩子结点信息，不断更新细胞状态，丢弃不重要的信息，添加核心内容，提高语义特征表达，从而提高分类准确率。

Description

一种情感分类方法及系统

技术领域

本发明属于计算机技术领域，尤其涉及一种情感分类方法及系统。

背景技术

由于循环神经网络(RNN，Recurrent Neural Networks)存在梯度消失问题，所以近年来，一种链式结构的长短记忆网络(LSTM，Long short-term memory)被提出并得到广泛的研究。它是在原RNN上增加了一个记忆细胞(memory cell)结构用来存放信息，这一改进使得LSTM具有很强的随时间的推移保护序列信息的能力，因此能够捕获长时间，长距离依赖关系，解决了RNN的梯度消失问题。但是先前对LSTM的研究都是基于时间序列的线性链式结构，后来经过研究，将链式LSTM拓展到树结构，通过语法解析树结构来构建，提高了语义特征表达，这些研究也说明基于序列结构的LSTM网络对结构依赖更强，但是基于先进的话语解析进行文本挖掘仍然是不普遍的，这些方法都是基于简单的加权计算的，分类效果最好的也只有百分之七十多。

发明内容

本发明的目的在于提供一种情感分类的方法及系统，旨在解决现有技术中学习到的语义特征不够充分、准确，导致情感分类效果较差的问题。

一方面，本发明提供了一种情感分类方法，所述方法包括下述步骤：

根据修辞结构理论对待分类的文本进行解析，得到修辞结构解析树；

获取所述修辞结构解析树中的每个结点的初始向量，所述结点包括：输入门、输出门、记忆细胞、隐藏状态以及忘记门；

根据所述结点的输出门与记忆细胞的双曲线正切函数值进行点乘，得到所述结点的隐藏状态；

根据所述结点的隐藏状态，通过分类器函数进行情感分类。

另一方面，本发明提供了一种情感分类系统，所述系统包括：

解析单元，用于根据修辞结构理论对待分类的文本进行解析，得到修辞结构解析树；

初始向量获取单元，用于获取所述修辞结构解析树中的每个结点的初始向量，所述结点包括：输入门、输出门、记忆细胞、隐藏状态以及忘记门；

隐藏状态获取单元，用于根据所述结点的输出门与记忆细胞的双曲线正切函数值进行点乘，得到所述结点的隐藏状态；以及

情感分类单元，用于根据所述结点的隐藏状态，通过分类器函数进行情感分类。

在本发明实施例中，将待分类的文本构建成修辞结构解析树，在修辞结构解析树中每层有两个结点片段，每个结点有自身的忘记门，在学习过程中，通过忘记门来选择孩子结点信息，不断更新细胞状态，丢弃不重要的信息，添加核心内容，提高语义特征表达，从而提高分类准确率。

附图说明

图1是本发明实施例一提供的情感分类方法的实现流程图；

图2是本发明实施例二提供的情感分类系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的情感分类方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，根据修辞结构理论对待分类的文本进行解析，得到修辞结构解析树。

在本发明实施例中，修辞结构理论(RST)是一种基于文本局部之间关系的关于文本组织的描述理论。修辞结构理论一共提出了23个修辞关系，包括详述、对照、证明等。修辞结构关系将一段文本分为中心片段和周边片段，称为核心和外围，修辞结构解析树中每一层结点之间的关系包括：主从关系以及并列关系，其中，所述主从关系包括：核心结点以及外围结点，具有同等重要作用的结点都为核心结点。根据修辞结构理论对待分类的文本进行解析，首先把文本基于修辞关系逐层拆分成片段，每个片段不是核心就是外围。例如“女朋友说，她不喜欢看动画片，但很喜欢这部电影”，这句话应该是正向的，但是如果是基于情感词进行计算，那么就会因为正向词和负向词相抵消，使得分类结果有误。在该例句中，前半段却是外围，如果单考虑前半段，那么捕获的信息则影响句子情感倾向的判断。

在步骤S102中，获取修辞结构解析树中的每个结点的初始向量，该结点包括：输入门、输出门、记忆细胞、隐藏状态以及忘记门。

在本发明实施例中，对于任意一个结点t，它包含输入门i_t，输出门o_t，记忆细胞c_t，隐藏状态h_t以及忘记门f_t，使得有选择地整合孩子结点信息，通过训练保留富含核心信息的片段而减弱不重要的外围信息。

优选地，通过随机初始化获取每个结点的初始向量，通过对每个片段进行随机初始化，保存到一个向量矩阵中，从而初始向量。

优选地，利用词向量字典获取每个词语的向量，通过简单的线性组合，片段内的词语的向量进行相加，得到初始向量。

优选地，根据修辞结构理论对待分类的文本进行解析时，由于修辞结构解析树主要基于依赖关系树(dependency tree)和结构树(constituency tree)，那么基于dependency tree构建的网络的输入向量相当于中心词，基于constituencytree构建的网络的输入向量为叶子结点向量。

具体地，对于基于dependency tree构建的网络，适合孩子结点无序的树结构和孩子分支多的结构，假设结点t的孩子结点集合为C(t)，通过如下公式计算：

其中，h_t-1为结点t-1的隐藏状态，h_k为孩子结点k的隐藏状态，k为属于孩子结点集合C(t)的结点；

i_t＝σ(W⁽ⁱ⁾x_t+U⁽ⁱ⁾h_t-1+b⁽ⁱ⁾)，其中，i_t为结点t的输入门，x_t为结点t的向量，W⁽ⁱ⁾为x_t的权值，h_t-1为结点t-1的隐藏状态，U⁽ⁱ⁾为h_t-1的权值，b⁽ⁱ⁾为偏置项；

o_t＝σ(W^(o)x_t+U^(o)h_t-1+b^(o))，其中，o_t为结点t的输出门，x_t为结点t的向量，W^(o)为x_t的权值，h_t-1为结点t-1的隐藏状态，U^(o)为h_t-1的权值，b^(o)为偏置项；

f_tk＝σ(W^(f)x_t+U^(f)h_t-1+b^(f))，其中，f_tk为结点t的第k个孩子结点的忘记门，x_t为结点t的向量，W^(f)为x_t的权值，h_t-1为结点t-1的隐藏状态，U^(f)为h_t-1的权值，b^(f)为偏置项；

u_t＝tanh(W^(u)x_t+U^(u)h_t-1+b^(u))，其中，u_t为状态候选值，x_t为结点t的向量，W^u为x_t的权值，h_t-1为结点t-1的隐藏状态，U^(u)为h_t-1的权值，b^(u)为偏置项；

其中，c_t为结点t记忆细胞，u_t为状态候选值，c_k为孩子结点k记忆细胞；

h_t＝o_t⊙tanh(c_t)，其中，h_t为结点t的隐藏状态。

具体地，对于基于constituency tree构建的网络，适合树结构的分支至少有N个，并且是有序的，可以按照从1到N进行标记，对于任意一个结点t，它的第k个孩子结点的隐藏状态记为h_tk，它的第k个孩子结点的记忆细胞记为c_tk，通过如下公式计算：

其中，i_t为结点t的输入门，x_t为结点t的向量，W⁽ⁱ⁾为x_t的权值，h_tε为结点t第ε个孩子结点的隐藏状态，为h_tε的权值，b⁽ⁱ⁾为偏置项；

其中，f_tk为第k个孩子结点的忘记门，x_t为结点t的向量，W^(f)为x_t的权值，h_tε为第ε个孩子结点的隐藏状态，为h_tε的权值，b^(f)为偏置项；

其中，u_t为状态候选值，x_t为结点t的向量，W^(u)为x_t的权值，h_tε为第ε个孩子结点的隐藏状态，为h_tε的权值，b^(u)为偏置项；

其中，c_t为结点t的记忆细胞，c_tε为第ε个孩子结点的记忆细胞，u_t为状态候选值，f_tk为第ε个孩子结点的忘记门；

h_t＝o_t⊙tanh(c_t)，其中，h_t为结点t的隐藏状态。

在步骤S103中，根据结点的输出门与记忆细胞的双曲线正切函数值进行点乘，得到所述结点的隐藏状态。

在本发明实施例中，结点的隐藏状态的计算公式为：

h_t＝o_t⊙tanh(c_t)，其中，t为结点，h_t为结点t的隐藏状态，o_t为结点t的输出门，c_t为结点t的记忆细胞，tanh(c_t)为结点t的记忆细胞的双曲线正切函数值。

其中，结点的输出门o_t的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(o)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(o)为偏置项。

结点的记忆细胞c_t的计算公式为：

c_t＝i_t⊙u_t+f_tn⊙c_tn+f_ts⊙c_ts，其中，i_t为结点的输入门，u_t为状态候选值，f_tn为核心结点的忘记门，c_tn为核心结点的记忆细胞，f_ts为外围结点的忘记门，c_ts为外围结点的记忆细胞。

结点的输入门i_t的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ⁽ⁱ⁾为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b⁽ⁱ⁾为偏置项。

核心结点的忘记门f_tn的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(f)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(f)为偏置项。

外围结点的忘记门f_ts的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(f)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(f)为偏置项。

状态候选值u_t的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(u)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(u)为偏置项。

在步骤S104中，根据所述结点的隐藏状态，通过分类器函数进行情感分类。

在本发明实施例中，通过分类器函数进行情感分类的计算公式为：p_θ(y|{x}_t)＝softmax(W^(l)h_t+b^(l))，其中，p_θ(y|{x}_t)为结点t处的预测分布，θ是参数，h_t为结点的隐藏状态，W^(l)为h_t权值，{x}_t为结点t的向量，b^(l)为偏置项。

在修辞结构解析树的每个结点上(包括组成初始片段的结点)，添加一个分类器来预测情感分布，将学习到的隐藏状态作为分类器的初始输入，从而进行情感分类，得到分类结果。

在本发明实施例中，将待分类的文本构建成修辞结构解析树，在修辞结构解析树中每层有两个结点片段，每个结点有自身的忘记门，在学习过程中，通过忘记门来选择孩子结点信息，不断更新细胞状态，丢弃不重要的信息，添加核心内容，提高语义特征表达，从而提高分类准确率。

实施例二：

图2示出了本发明实施例二提供的情感分类系统的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：解析单元21、初始向量获取单元22、隐藏状态获取单元23以及情感分类单元24，其中：

解析单元21，用于根据修辞结构理论对待分类的文本进行解析，得到修辞结构解析树。

在本发明实施例中，修辞结构理论(RST)是一种基于文本局部之间关系的关于文本组织的描述理论。修辞结构理论一共提出了23个修辞关系，包括详述、对照、证明等。修辞结构关系将一段文本分为中心片段和周边片段，称为核心和外围，修辞结构解析树中每一层结点之间的关系包括：主从关系以及并列关系，其中，所述主从关系包括：核心结点以及外围结点，具有同等重要作用的结点都为核心结点。

初始向量获取单元22，用于获取所述修辞结构解析树中的每个结点的初始向量，所述结点包括：输入门、输出门、记忆细胞、隐藏状态以及忘记门。

在本发明实施例中，对于任意一个结点t，它包含输入门i_t，输出门o_t，记忆细胞c_t，隐藏状态h_t以及忘记门f_t，使得有选择地整合孩子结点信息，通过训练保留富含核心信息的片段而减弱不重要的外围信息。

隐藏状态获取单元23，用于根据所述结点的输出门与记忆细胞的双曲线正切函数值进行点乘，得到所述结点的隐藏状态。

在本发明实施例中，结点的隐藏状态的计算公式为：

h_t＝o_t⊙tanh(c_t)，其中，t为结点，h_t为结点的隐藏状态，o_t为结点的输出门，c_t为结点的记忆细胞，tanh(c_t)为结点的记忆细胞的双曲线正切函数值。

其中，结点的输出门o_t的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(o)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(o)为偏置项。

结点的记忆细胞c_t的计算公式为：

c_t＝i_t⊙u_t+f_tn⊙c_tn+f_ts⊙c_ts，其中，i_t为结点的输入门，u_t为状态候选值，f_tn为核心结点的忘记门，c_tn为核心结点的记忆细胞，f_ts为外围结点的忘记门，c_ts为外围结点的记忆细胞。

结点的输入门i_t的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ⁽ⁱ⁾为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b⁽ⁱ⁾为偏置项。

核心结点的忘记门f_tn的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(f)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(f)为偏置项。

外围结点的忘记门f_ts的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(f)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(f)为偏置项。

状态候选值u_t的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(u)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(u)为偏置项。

情感分类单元24，用于根据所述结点的隐藏状态，通过分类器函数进行情感分类。

在本发明实施例中，通过分类器函数进行情感分类的计算公式为：p_θ(y|{x}_t)＝softmax(W^(l)h_t+b^(l))，其中，p_θ(y|{x}_t)为结点t处的预测分布，θ是参数，h_t为结点的隐藏状态，W^(l)为h_t权值，{x}_t为结点t的向量，b^(l)为偏置项。

在修辞结构解析树的每个结点上(包括组成初始片段的结点)，添加一个分类器来预测情感分布，将学习到的隐藏状态作为分类器的初始输入，从而进行情感分类，得到分类结果。

在本发明实施例中，情感分类系统的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。该系统各单元的实施方式具体可参考前述实施例一、实施例二的描述，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种情感分类方法，其特征在于，所述方法包括下述步骤：

根据修辞结构理论对待分类的文本进行解析，得到修辞结构解析树；

获取所述修辞结构解析树中的每个结点的初始向量，所述结点包括：输入门、输出门、记忆细胞、隐藏状态以及忘记门；

根据所述结点的输出门与记忆细胞的双曲线正切函数值进行点乘，得到所述结点的隐藏状态；

根据所述结点的隐藏状态，通过分类器函数进行情感分类。

2.如权利要求1所述的方法，其特征在于，所述修辞结构解析树中每一层结点之间的关系包括：主从关系以及并列关系，其中，所述主从关系包括：核心结点以及外围结点。

3.如权利要求1所述的方法，其特征在于，根据所述结点的输出门与记忆细胞的双曲线正切函数值进行点乘，得到所述结点的隐藏状态的计算公式为：h_t＝o_t⊙tanh(c_t)，其中，t为结点，h_t为结点t的隐藏状态，o_t为结点t的输出门，c_t为结点t的记忆细胞，tanh(c_t)为结点t的记忆细胞的双曲线正切函数值。

4.如权利要求3所述的方法，其特征在于，所述结点的输出门o_t的计算公式为：其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(o)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(o)为偏置项；

所述结点的记忆细胞c_t的计算公式为：c_t＝i_t⊙u_t+f_tn⊙c_tn+f_ts⊙c_ts，其中，i_t为结点t的输入门，u_t为状态候选值，f_tn为核心结点的忘记门，c_tn为核心结点的记忆细胞，f_ts为外围结点的忘记门，c_ts为外围结点的记忆细胞。

5.如权利要求4所述的方法，其特征在于，所述结点的输入门i_t的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ⁽ⁱ⁾为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b⁽ⁱ⁾为偏置项；

所述核心结点的忘记门f_tn的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(f)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(f)为偏置项；

所述外围结点的忘记门f_ts的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(f)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(f)为偏置项；

所述状态候选值u_t的计算公式为：

其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(u)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(u)为偏置项。

6.如权利要求1所述的方法，其特征在于，所述通过分类器函数进行情感分类的计算公式为：p_θ(y|{x}_t)＝softmax(W^(l)h_t+b^(l))，其中，pθ(y|{x}_t)为结点t处的预测分布，θ是参数，h_t为结点t的隐藏状态，W^(l)为h_t权值，{x}_t为结点t的向量，b^(l)为偏置项。

7.一种情感分类系统，其特征在于，所述系统包括：

解析单元，用于根据修辞结构理论对待分类的文本进行解析，得到修辞结构解析树；

初始向量获取单元，用于获取所述修辞结构解析树中的每个结点的初始向量，所述结点包括：输入门、输出门、记忆细胞、隐藏状态以及忘记门；

隐藏状态获取单元，用于根据所述结点的输出门与记忆细胞的双曲线正切函数值进行点乘，得到所述结点的隐藏状态；以及

情感分类单元，用于根据所述结点的隐藏状态，通过分类器函数进行情感分类。

8.如权利要求7所述的系统，其特征在于，所述修辞结构解析树中每一层结点之间的关系包括：主从关系以及并列关系，其中，所述主从关系包括：核心结点以及外围结点。

9.如权利要求7所述的系统，其特征在于，根据所述结点的输出门与记忆细胞的双曲线正切函数值进行点乘，得到所述结点的隐藏状态的计算公式为：h_t＝o_t⊙tanh(c_t)，其中，t为结点，h_t为结点t的隐藏状态，o_t为结点t的输出门，c_t为结点t的记忆细胞，tanh(c_t)为结点t的记忆细胞的双曲线正切函数值。

10.如权利要求7所述的系统，其特征在于，所述结点的输出门o_t的计算公式为：其中，x_n为孩子结点n的向量，为x_n的权值，x_s为孩子结点s的向量，W_s ^(o)为x_s的权值，h_tn为核心结点的隐藏状态，为h_tn的权值，h_ts为外围结点的隐藏状态，为h_ts的权值，b^(o)为偏置项；

所述结点的记忆细胞c_t的计算公式为：c_t＝i_t⊙u_t+f_tn⊙c_tn+f_ts⊙c_ts，其中，i_t为结点的输入门，u_t为状态候选值，f_tn为核心结点的忘记门，c_tn为核心结点的记忆细胞，f_ts为外围结点的忘记门，c_ts为外围结点的记忆细胞。