CN109597997A - 基于评论实体、方面级情感分类方法和装置及其模型训练 - Google Patents

Abstract

本发明公开了一种基于评论实体、方面级情感分类方法和装置及其模型训练。模型训练包括：获取包含评论文本、与评论文本关联的不同实体、方面信息和情感信息的训练文本；将训练文本的词、实体、方面转化成词向量表示；基于第一层交互层把评论在对应实体、方面结合表示；基于第二层位置注意力层，为不同位置的词赋予不同的权重；基于第三层LSTM网络和第四层线性层提取基础的词语和句法特征；基于第五层注意力机制和第六层上下文记忆，提取整段评论在该实体、方面下的语义特征。本发明采用的基于位置的注意力机制能更好挖掘不同词语与评论在不同实体、方面下的情感的内在联系，从而获得更准确的预测结果。

Description

基于评论实体、方面级情感分类方法和装置及其模型训练

技术领域

本发明涉及人工智能领域，具体是深度学习领域中的自然语言处理，尤其涉及评论文本在多实体、多方面下不同情感的预测。

背景技术

文本情感分类的核心问题是如何有效地表示文本的情感语义，随着互联网技术的快速发展，社交网络、电商平台上产生了大量包含消费者的需求以及他们的产品体验的评论文本，通过挖掘评论背后的情感可以帮助企业改进他们的产品，情感分析也就成为了自然语言处理领域的重要课题之一。

情感分析分为情感信息的抽取、情感信息的分类以及情感信息的检索与归纳，目前的大多数方法将情感分类看作文本分类问题的一种，大多数基于神经网络的文本情感分类模型只考虑了文本内容相关的情感语义，而忽略了评论主体对不同实体的不同方面的情感信息，难以实现结合实体、方面来进行情感的精确分类，也难以满足企业的需求，因此，现有技术还缺少一种结合实体、方面的细粒度的情感分类模型。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的问题是提供一种能够提取评论文本在不同实体、方面级的语义信息的深层网络，然后通过多轮迭代使得语义信息不断完善，提高预测情感类别的准确率。

本发明的技术方案包括，提供一种基于评论实体、方面级情感分类模型的训练方法，包括如下步骤：

(1)获取包含评论文本、与评论文本关联的不同实体、方面信息和情感信息的训练文本；

(2)将训练文本的词、实体、方面转化成词向量表示，将转化的词向量、实体向量和方面向量输入深度实体方面表示更新网络；

(3)交互层将词向量分别与实体向量、方面向量进行交互，获得针对该实体该方面的上下文表示；

(4)通过基于位置的注意力层利用空间位置信息优化所述上下文表示，为不同词赋予不同的权重；

(5)将所述的优化的上下文表示输入长短期记忆深度神经网络获得上下文表示的信息抽象；

(6)通过线性网络层对所述上下文表示进行信息特征变换；

(7)通过注意力层计算出上下文中各个词针对该实体该方面的重要程度，通过加权平均的方式将所述上下文表示压缩为一个定长向量作为上下文记忆，并更新实体向量、方面向量表示；

(8)根据所述上下文记忆对实体向量和方面向量进行优化，并判断预设的停止条件是否达成，如果未达成，重复执行以上，直到停止条件达成，如果达成，则对预测结果进行损失计算和优化得到最优基于评论实体、方面级情感分类模型。

进一步地，所述步骤(3)中交互层中单词向量、实体向量和方面向量的公式为：

f(w_i，v_e，v_a)＝[w_i；v_e；v_a；w_i⊙v_e；w_i⊙v_a]

其中w_i，v_e，v_a分别表示词向量、实体向量和方面向量，其中i＝1，...，n，n为评论的文本长度，⊙符号表示对应元素相乘，分号表示串联，整段评论的表示为[f(w₁，v_e，v_a)；f(w_i，v_e，v_a)......f(w_n，v_e，v_a)]。

进一步地，所述步骤(4)的基于位置的注意力机制层中，离实体、方面越近的词会获得更高的权重，其权重表示公式为：

其中是第i个词的位置，是离第i个词最近的实体词的位置，是离第i个词最近的方面词的位置，n是评论文本长度。

进一步地，所述步骤(4)的基于位置的注意力机制层中输出结果表达式为：

进一步地，所述步骤(6)包括将所述步骤(5)的输出结果H经过双曲正切函数激活，其表示公式为：

h_i＝tanh(W₁·H+b₁)

其中，W₁，b₁是参数，H是长短期记忆深度神经网络输出结果。

进一步地，所述步骤(7)中注意力层的注意力机制的权重计算公式为：

α_i＝softmax(W₃tanh(W₂[h_i；h_i⊙v_e；h_i⊙v_a])+b₂)

其中，W₂，W₃，b₂是参数。

进一步地，所述步骤(7)中还包括计算上下文记忆c，其公式为：

进一步地，所述步骤(7)中还包括对v_e，v_a的更新，其公式为：

v′_e＝c+v_e

v′_a＝c+v_a

进一步地，所述更新后的v′_e，v′_a包含更多的语义信息。

进一步地，所述步骤(8)中的重复执行次数为3-8次，更优选地为3次。

进一步地，所述步骤(8)还包括最终更新后的v′_e，v′_a经过一层线性网络，最后通过softmax函数决策判断得到评论情感类别，使用交叉熵损失函数作为模型训练的优化目标，通过反向传播算法不断更新模型参数得到最优模型。

本发明的另一方面提供了一种使用上述基于评论实体、方面级情感分类模型的训练方法得到的基于评论实体、方面级情感分类模型进行情感分类的方法，包括如下步骤：

S1：获取包含评论文本、与评论文本关联的不同实体、方面信息和情感信息的训练文本；

S2：将训练文本的词、实体、方面转化成词向量表示；

S3：将转化的词向量、实体向量和方面向量输入所述最优基于评论实体、方面级情感分类模型中进行预测得到预测结果。

本发明的另一方面提供了一种基于评论实体、方面级情感分类模型进行情感分类的装置，包括：

获取模块：用于获取包含评论文本、与评论文本关联的不同实体、方面信息和情感信息的训练文本；

预处理模块：用于将训练文本的词、实体、方面转化成词向量表示；

预测模块：用于将转化的词向量、实体向量和方面向量输入所述最优基于评论实体、方面级情感分类模型中进行预测得到预测结果。

本发明取得的有益效果在于：本发明在广泛应用的LSTM和线性网络的基础上，结合基于位置注意力和本体注意力机制组成深度网络，浅层网络提取基础的词语和句法特征，深层网络提取整段评论在该实体、方面级的语义特征，并且使用多轮迭代的方式进一步减少与现实语义之间的差值，可以更好地挖掘不同词语与评论在不同实体、方面级的情感的内在联系，有效地提高了情感分类的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例的基于评论实体、方面级情感分类模型训练方法的流程图；

图2是本发明一实施例的基于评论实体、方面级情感分类方法的原理示意图；

图3是本发明一实施例的基于评论实体、方面级情感分类方法的流程图；

图4是本发明一实施例的基于评论实体、方面级情感分类装置的结构示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

如图1所示，本发明的一实施例中，基于评论实体、方面级情感分类模型的训练方法，包括如下步骤：

(1)获取包含评论文本、与评论文本关联的不同实体、方面信息和情感信息的训练文本；

(2)将训练文本的词、实体、方面转化成词向量表示，将转化的词向量、实体向量和方面向量输入深度实体方面表示更新网络；

词向量是用词嵌入技术把文本转化为训练好的Glove词向量，如果实体词、方面词在训练好的词向量中，则直接取这些词的词向量；如果实体词、方面词不在训练好的词向量中，则尝试把词拆分，若结果有词向量，则取分词向量的平均；其他情况，则随机为其初始化值在-0.04到0.04之间的300维词向量。这样做的优点是保证所有实体、方面都有词向量，且尽量减小随机性，提升模型效果。

(3)交互层将词向量分别与实体向量、方面向量进行交互，获得针对该实体该方面的上下文表示；

交互层使用元素相乘相乘的方式结合向量、实体向量、方面向量，交互层中单词向量、实体向量和方面向量的公式为：

f(w_i，v_e，v_a)＝[w_i；v_e；v_a；w_i⊙v_e；w_i⊙v_a]

其中w_i，v_e，v_a分别表示词向量、实体向量和方面向量，其中i＝1，...，n，n为评论的文本长度，⊙符号表示对应元素相乘，分号表示串联，整段评论的表示为[f(w₁，v_e，v_a)；f(w_i，v_e，v_a)......f(w_n，v_e，v_a)]。

(4)通过基于位置的注意力层利用空间位置信息优化所述上下文表示，为不同词赋予不同的权重；

基于位置的注意力机制层中，离实体、方面越近的词会获得更高的权重，其权重表示公式为：

其中是第i个词的位置，是离第i个词最近的实体词的位置，是离第i个词最近的方面词的位置，n是评论文本长度。

基于位置的注意力机制层中最终输出结果表达式为：

(5)将所述的优化的上下文表示输入长短期记忆深度神经网络获得上下文表示的信息抽象；

采用单向LSTM结构即通常的LSTM，LSTM的输出为隐藏层。

(6)通过线性网络层对所述上下文表示进行信息特征变换；

将LSTM输出结果H经过双曲正切函数激活，其表示公式为：

h_i＝tanh(W₁·H+b₁)

其中，W₁，b₁是参数，H是长短期记忆深度神经网络输出结果。

(7)通过注意力层计算出上下文中各个词针对该实体该方面的重要程度，通过加权平均的方式将所述上下文表示压缩为一个定长向量作为上下文记忆，并更新实体向量、方面向量表示；

注意力层的注意力机制的权重计算公式为：

α_i＝softmax(W₃tanh(W₂[h_i；h_i⊙v_e；h_i⊙v_a])+b₂)

其中，W₂，W₃，b₂是参数。

上述步骤还包括计算上下文记忆c，其公式为：

上述步骤还包括对v_e，v_a的更新，其公式为：

v′_e＝c+v_e

v′_a＝c+v_a

更新后的v′_e，v′_a包含更多的语义信息。本步骤使用多轮迭代的方式进一步减少与现实语义之间的差值。

(8)根据所述上下文记忆对实体向量和方面向量进行优化，并判断预设的停止条件是否达成，如果未达成，重复执行以上，直到停止条件达成，如果达成，则对预测结果进行损失计算和优化得到最优基于评论实体、方面级情感分类模型。

上述步骤中重复执行次数为3次，最终更新后的v′_e，v′_a经过一层线性网络，最后通过softmax函数决策判断得到评论情感类别，使用交叉熵损失函数作为模型训练的优化目标，通过反向传播算法不断更新模型参数得到最优模型。

如图2-3所示的本发明一实施例的基于评论实体、方面级的情感分类方法，其步骤包括如图3所示的：

S1:获取包含评论文本、与评论文本关联的不同实体、方面信息和情感信息的训练文本；

S2:将训练文本的词、实体、方面转化成词向量表示；

S3:将转化的词向量、实体向量和方面向量输入所述最优基于评论实体、方面级情感分类模型中进行预测得到预测结果。

其原理如图2所示，与模型训练流程不同的是，判断预设的停止条件是否达成，如果未达成，重复执行以上，直到停止条件达成；如果达成，对情感进行预测，并输出预测结果。

如图3所示的本发明一实施例的基于评论实体、方面级的情感分类装置，包括：

获取模块：用于获取包含评论文本、与评论文本关联的不同实体、方面信息和情感信息的训练文本；

预处理模块：用于将训练文本的词、实体、方面转化成词向量表示；

预测模块：用于将转化的词向量、实体向量和方面向量输入所述最优基于评论实体、方面级情感分类模型中进行预测得到预测结果。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在本发明的保护范围内。

Claims (10)

1.一种基于评论实体、方面级情感分类模型的训练方法，利用深度实体方面更新网络进行训练，所述深度实体方面更新网络包括交互层、基于位置的注意力层、长短期记忆深度神经网络、线性网络层以及注意力层，其特征在于，包括如下步骤：

(1)获取包含评论文本、与评论文本关联的不同实体、方面信息和情感信息的训练文本；

(2)将训练文本的词、实体、方面转化成词向量表示，将转化的词向量、实体向量和方面向量输入深度实体方面表示更新网络；

(3)交互层将词向量分别与实体向量、方面向量进行交互，获得针对该实体该方面的上下文表示；

(4)通过基于位置的注意力层利用空间位置信息优化所述上下文表示，为不同词赋予不同的权重；

(5)将所述的优化的上下文表示输入长短期记忆深度神经网络获得上下文表示的信息抽象；

(6)通过线性网络层对所述上下文表示进行信息特征变换；

(7)通过注意力层计算出上下文中各个词针对该实体该方面的重要程度，通过加权平均的方式将所述上下文表示压缩为一个定长向量作为上下文记忆，并更新实体向量、方面向量表示；

(8)根据所述上下文记忆对实体向量和方面向量进行优化，并判断预设的停止条件是否达成，如果未达成，重复执行以上，直到停止条件达成，如果达成，则对预测结果进行损失计算和优化得到最优基于评论实体、方面级情感分类模型。

2.如权利要求1所述的基于评论实体、方面级情感分类模型的训练方法，其特征在于，所述步骤(2)中的词向量是用词嵌入技术把文本转化为训练好的Glove词向量，如果所述实体、方面的词在训练好的词向量中，则直接取这些词的词向量；如果所述实体、方面的词不在训练好的词向量中，则尝试把词拆分，若结果有词向量，则取分词向量的平均；其他情况，则随机为其初始化值在-0.04到0.04之间的300维词向量。

3.如权利要求1所述的基于评论实体、方面级情感分类模型的训练方法，其特征在于，所述步骤(3)中交互层中单词向量、实体向量和方面向量的公式为：f(w_i，v_e，v_a)＝[w_i；v_e；v_a；w_i⊙v_e；w_i⊙v_a]，其中w_i，v_e，v_a分别表示词向量、实体向量和方面向量，其中i＝1，...，n，n为评论的文本长度，⊙符号表示对应元素相乘，分号表示串联，整段评论的表示为[f(w₁v_e，v_a)；f(w_i，v_e，v_a)......f(w_n，v_e，v_a)]。

4.如权利要求1所述的基于评论实体、方面级情感分类模型的训练方法，其特征在于，所述步骤(4)的基于位置的注意力机制层中，离实体、方面越近的词会获得更高的权重，其权重表示公式为：

其中是第i个词的位置，是离第i个词最近的实体词的位置，是离第i个词最近的方面词的位置，n是评论文本长度。

5.如权利要求1所述的基于评论实体、方面级情感分类模型的训练方法，其特征在于，所述步骤(4)的基于位置的注意力机制层中输出结果表达式为：

6.如权利要求1所述的基于评论实体、方面级情感分类模型的训练方法，其特征在于，步骤(6)包括将所述步骤(5)的输出结果H经过双曲正切函数激活，其表示公式为：h_i＝tanh(W₁·H+b₁)，其中，W₁，b₁是参数，H是长短期记忆深度神经网络输出结果。

7.如权利要求1所述的基于评论实体、方面级情感分类模型的训练方法，其特征在于，所述步骤(7)中注意力层的注意力机制的权重计算公式为：α_i＝softmax(W₃ tanh(W₂[h_i；h_i⊙v_e；h_i⊙v_a])+b₂)，其中，W₂，W₃，b₂是参数；所述步骤(7)中还包括计算上下文记忆c，其公式为：所述步骤(7)中还包括对v_e，v_a的更新，其公式为：v′_e＝c+v_e，v′_a＝c+v_a，所述更新后的v′_e，v′_a包含更多的语义信息。

8.如权利要求1所述的基于评论实体、方面级情感分类模型的训练方法，其特征在于，所述步骤(8)还包括最终更新后的v′_e，v′_a经过一层线性网络，最后通过softmax函数决策判断得到评论情感类别，使用交叉熵损失函数作为模型训练的优化目标，通过反向传播算法不断更新模型参数得到最优模型。

9.一种使用根据权利要求1所述的基于评论实体、方面级情感分类模型的训练方法得到的基于评论实体、方面级情感分类模型进行情感分类的方法，其特征在于，包括以下步骤：

S1:获取包含评论文本、与评论文本关联的不同实体、方面信息和情感信息的训练文本；

S2:将训练文本的词、实体、方面转化成词向量表示；

S3:将转化的词向量、实体向量和方面向量输入所述最优基于评论实体、方面级情感分类模型中进行预测得到预测结果。

10.一种使用根据权利要求1所述的基于评论实体、方面级情感分类模型的训练方法得到的基于评论实体、方面级情感分类模型进行情感分类的装置，其特征在于，包括：

获取模块：用于获取包含评论文本、与评论文本关联的不同实体、方面信息和情感信息的训练文本；

预处理模块：用于将训练文本的词、实体、方面转化成词向量表示；

预测模块：用于将转化的词向量、实体向量和方面向量输入所述最优基于评论实体、方面级情感分类模型中进行预测得到预测结果。