CN110866405A - 一种基于语句信息的方面级情感分类方法 - Google Patents

Abstract

本发明公开了一种基于语句信息的方面级情感分类方法，本发明基于语句信息的注意力机制结合句子的整体语义信息捕获给定方面的重要信息，并将整个语句信息加入输出向量表达中，提高了模型处理复杂句子的能力；同时本发明采用基于上下文的注意力机制，与基于位置的注意力机制相比，不仅考虑到了句子的语序信息，还考虑到了单词与方面之间的交互信息，因此能为给定方面构建更合理的定制记忆，使得本发明的分类准确率更高。

Description

一种基于语句信息的方面级情感分类方法

技术领域

本发明涉及情感分析研究领域，具体涉及一种基于语句信息的方面级情感分类方法。

背景技术

随着互联网在现实生活中的普及，网民数量急剧增加，在网上对事物发表评论已经变成了常态，用户对事物的评论数量也随之呈指数型快速增长。方面级情感分类任务的目标在于通过自动化的方式挖掘用户评论语句蕴含的关于给定事物的情感极性，以快速获取大众对事物的喜好信息，近年来受到了各界的青睐。

方面级情感分类问题(aspect based sentiment classification，ABSC)，目的是确定用户在评论中对特定方面所表达的意见是积极、消极还是中性的。对于方面级情感分类问题，如果模型不能区分不同方面，在实际应用中就会出现问题，近年来，为了解决这一问题，引入了一些基于神经网络的注意力模型。然而，现阶段大部分基于神经网络的注意力模型存在一些共同的问题：

第一，在这个领域中大多数注意力建模策略中计算注意力得分时候大多只考虑了方面词的表面语义信息，而忽略了方面所在语句的信息，然而由于相同的词语在不同的语句可能会表示出不同的语义信息。

第二，现有的注意力模型在计算注意力得分时候大多只考虑“词级”的信息，而忽视了句子的整体语句信息。然而，在实际用户评论中常见反讽或讽刺句等复杂句。

第三，一个句子可能包含多个方面。因此，每个上下文词对于句子关于给定的不同方面的情感极性的判断可能有不同的重要性。基于记忆的模型通常建立在位置注意力机制的基础上，该机制通常建立在更接近方面的上下文单词更为重要的假设基础上，但在某些情况下这一假设并不成立。

方面级情感分类旨在确定句子关于给定方面的情感极性。传统的方法通常来自计算语言学领域，这些方法大多是基于手工编制的词汇和句法特征的机器学习模型，这些模型的性能高度依赖于特征工程的质量的优劣。

递归神经网络(Recursive neural networks,RecNNs)最早是由Dong等人引入该领域的，他们提出了一种可以自适应地将上下文词的情感特征传递给目标的自适应递归神经网络。RecNNs已经被证明可以有效地从文本的递归结构中获得句子表达，但是在实践中经常遇到语法分析错误的情况。

Tang等人提出了一种依赖于目标的长短时记忆网络模型(target-dependentlong short-term memory network model，TD-LSTM)，该模型分别利用两个LSTM网络，令左上下文和右上下文学习对于给定方面的表达，但计算量较大。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于语句信息的方面级情感分类方法解决了现有模型在方面级情感中准确率低的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于语句信息的方面级情感分类方法，其包括以下步骤：

S1、将句子S拆分成含有方面的左上下文和含有方面的右上下文，并分别获取左上下文对应的向量表E_ls和右上下文对应的向量表E_rs；

S2、采用神经网络模型分别对E_ls和E_rs进行建模，获取与E_ls相对应的隐状态表H_ls和与E_rs相对应的隐状态表H_rs；

S3、分别获取隐状态表H_ls对应的注意力权重表β_ls和隐状态表H_rs对应的注意力权重表β_rs；

S4、根据注意力权重表β_ls和注意力权重表β_rs获取方面的注意力权重向量，进而得到上下文注意力权重向量；

S5、根据上下文注意力权重向量和对应的记忆切片获取权重记忆向量，并将权重记忆向量中各元素的平均值作为语句信息；

S6、采用三输入的前馈神经网络获取语句信息中各元素对应的注意力权重α_i，并根据注意力权重α_i和存放在记忆模块中的记忆输出对应的向量V_ts；

S7、将句子S的句子表示加入到向量V_ts中，得到融合后的句子表示向量；

S8、采用softmax层对融合后的句子表示向量进行预测，得到句子S关于给定方面的感情极性概率分布，完成基于语句信息的方面级情感分类。

进一步地，步骤S1的具体方法为：

对于句子S＝{s₁,s₂,…,s_i,…s_i+L,…,s_N-1,s_N}，其中方面词组为S_v＝{s_i,…,s_i+L}，将句子中其余部分分为上下文，并将句子中方面词组左边的上下文称为左上下文S_l＝{s₁,…,s_i-1}，右边的上下文称为右上下文S_r＝{s_i+L+1,…,s_N}；即得到含有方面的左上下文S_ls＝{s₁,…,s_i,…s_i+L}和含有方面的右上下文S_rs＝{s_i,…s_i+L,…,s_N}；其中i表示方面中的第一个词的下标；i+L表示方面中最后一个词的下标；N表示句子中单词的个数；

通过无监督方法、距离监督方法或随机初始化的方法产生一个词表示矩阵

其中

为实数集，d为单词向量维度，|V|表示词汇表中单词的数量；根据词表示矩阵将句子S中的单词进行映射，获得对应的向量表示，进而得到左上下文对应的向量表E_ls和右上下文对应的向量表E_rs；其中E_ls＝{e₁,...,e_i-1,e_i,...,e_i+L}，E_rs＝{e_i,...,e_i+L,e_i+L+1,...,e_N}。

进一步地，步骤S2的具体方法包括以下子步骤：

S2-1、将E_ls输入门控神经单元并从右向左运行门控神经单元；

S2-2、在t时间步，对于E_ls＝{e₁,...,e_i-1,e_i,...,e_i+L}中的任一个元素e_t，根据公式：

r_t＝σ(W_re_t+U_rh_t-1)

z_t＝σ(W_ze_t+U_zh_t-1)

获取其内部隐藏状态h_t；将每个元素对应的内部隐藏状态组合起来即得到与E_ls相对应的隐状态表

其中W_r、U_r、W_z、U_z、W_h和U_h均为权重矩阵，且均属于

σ(·)为sigmoid函数；r_t为更新门；z_t为重置门；h_t-1为元素e_t在t-1时间步的内部隐藏状态；tanh(·)为双曲正切函数；

为中间量；⊙为按位相乘运算；1为单位向量；

为元素e_i+L对应的内部隐藏状态；

S2-3、将E_rs输入门控神经单元并从左向右运行门控神经单元；

S2-4、在t时间步，对于E_rs＝{e_i,...,e_i+L,e_i+L+1,...,e_N}中的任一个元素，采用与步骤S2-2相同的公式获取E_rs中每个元素对应的内部隐藏状态，并进一步得到与E_rs相对应的隐状态表

为元素e_i对应的内部隐藏状态。

进一步地，步骤S3的具体方法为：

根据公式：

β_l＝σ(W₁₀h_l+b₅)+b_l

获取隐状态表H_ls中任一元素h_l对应的注意力权重β_l；将每个隐状态表H_ls中的元素对应的注意力权重进行组合即得到隐状态表H_ls对应的注意力权重表β_ls，

其中W₁₀为权重矩阵，

b₅为偏置参数，

b_l为基础的注意力权重，

根据公式：

β_r＝σ(W₁₁h_r+b₆)+b_r

获取隐状态表H_rs中任一元素h_r对应的注意力权重β_r；将每个隐状态表H_rs中的元素对应的注意力权重进行组合即得到隐状态表H_rs对应的注意力权重表β_rs，

其中W₁₁为权重矩阵，

b₆为偏置参数，

b_r为基础的注意力权重，

进一步地，步骤S4的具体方法为：

基于注意力权重表β_ls中第k个元素和注意力权重表β_rs中第k个元素，根据公式：

获取对应方面的注意力权重β_k，进而得到对应方面的注意力权重β_a＝{β_i,...,β_i+L}；其中i≤k≤i+L；

将向量β_lc＝{β₁,...,β_i-1}、β_a＝{β_i,...,β_i+L}和向量β_rc＝{β_i+L+1,...,β_N}拼接为上下文注意力权重向量β＝{β₁,β₂,...,β_N}。

进一步地，步骤S5的具体方法为：

根据公式

m_ωn＝y_n⊙m_n

获取记忆切片m_n对应的权重记忆，进而得到权重记忆向量M_ω＝{m_ω1,m_ω2,...,m_ωN}；将权重记忆向量中各元素的平均值作为语句信息V_s；其中记忆切片m_n为记忆M中的第n个记忆切片，m_n＝e_n，表示句子S所对应的向量表E＝{e₁,e₂,…,e_i,…,e_i+L,…,e_N}中的第n个元素；y_n是在词嵌入的维度上复制β_n共d次获得的向量，y_n∈β，β_n为上下文注意力权重向量β中的第n个元素。

进一步地，步骤S6的具体方法为：

将方面中包含的所有方面词向量的平均值作为方面信息V_a，并根据公式：

c_n＝W₆ tanh(W₇m_i+W₈V_a+W₉V_s+b₄)

获取语句信息中第n个元素对判断句子S对应给定方面情感极性重要性的分数c_n；其中W₆、W₇、W₈、W₉和b₄是三输入的前馈神经网络的模型参数；

根据公式：

获取语句信息中第n个元素对应的注意力权重α_n，进而得到语句信息对应的注意力权重α＝(α₁,...,α_n,...,α_N)；其中exp(·)为以自然常数e为底的指数函数；c_j为语句信息中第j个元素；

根据公式：

V_ts＝Mα

获取三输入的前馈神经网络输出的向量V_ts。

进一步地，步骤S8的具体方法为：

根据公式：

pred＝soft max(W₅V_ns+b₃)

获取融合后的句子表示向量V_ns关于给定方面的感情极性概率分布pred，即句子S关于给定方面的感情极性概率分布；其中soft max(·)为softmax函数；

表示一个空间大小为C的条件概率分布；W₅为权重矩阵，

b₃为偏置向量，

是线性层的参数。

本发明的有益效果为：

1、本发明基于语句信息的注意力机制结合句子的整体语义信息捕获给定方面的重要信息，并将整个语句信息加入输出向量表达中，提高了模型处理复杂句子的能力；同时本发明采用基于上下文的注意力机制，与基于位置的注意力机制相比，不仅考虑到了句子的语序信息，还考虑到了单词与方面之间的交互信息，因此能为给定方面构建更合理的定制记忆，使得本发明的分类准确率更高。

2、本发明不使用多跳计算机制，使得本发明的训练迭代时间更短，更容易训练，有效降低使用难度，提高效率。

3、本发明为模块化结构，且各模块之间的耦合性较低，任意模块可以被相似功能组件替代，因此本方法更容易根据实际应用扩展。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，该基于语句信息的方面级情感分类方法包括以下步骤：

S1、将句子S拆分成含有方面的左上下文和含有方面的右上下文，并分别获取左上下文对应的向量表E_ls和右上下文对应的向量表E_rs；

S2、采用神经网络模型分别对E_ls和E_rs进行建模，获取与E_ls相对应的隐状态表H_ls和与E_rs相对应的隐状态表H_rs；

S3、分别获取隐状态表H_ls对应的注意力权重表β_ls和隐状态表H_rs对应的注意力权重表β_rs；

S4、根据注意力权重表β_ls和注意力权重表β_rs获取方面的注意力权重向量，进而得到上下文注意力权重向量；

S5、根据上下文注意力权重向量和对应的记忆切片获取权重记忆向量，并将权重记忆向量中各元素的平均值作为语句信息；

S6、采用三输入的前馈神经网络获取语句信息中各元素对应的注意力权重α_i，并根据注意力权重α_i和存放在记忆模块中的记忆输出对应的向量V_ts；

S7、将句子S的句子表示加入到向量V_ts中，得到融合后的句子表示向量；

S8、采用softmax层对融合后的句子表示向量进行预测，得到句子S关于给定方面的感情极性概率分布，完成基于语句信息的方面级情感分类。

步骤S1的具体方法为：

对于句子S＝{s₁,s₂,…,s_i,…s_i+L,…,s_N-1,s_N}，其中方面词组为S_v＝{s_i,…,s_i+L}，将句子中其余部分分为上下文，并将句子中方面词组左边的上下文称为左上下文S_l＝{s₁,…,s_i-1}，右边的上下文称为右上下文S_r＝{s_i+L+1,…,s_N}；即得到含有方面的左上下文S_ls＝{s₁,…,s_i,…s_i+L}和含有方面的右上下文S_rs＝{s_i,…s_i+L,…,s_N}；其中i表示方面中的第一个词的下标；i+L表示方面中最后一个词的下标；N表示句子中单词的个数；

通过无监督方法、距离监督方法或随机初始化的方法产生一个词表示矩阵

其中

为实数集，d为单词向量维度，|V|表示词汇表中单词的数量；根据词表示矩阵将句子S中的单词进行映射，获得对应的向量表示，进而得到左上下文对应的向量表E_ls和右上下文对应的向量表E_rs；其中E_ls＝{e₁,...,e_i-1,e_i,...,e_i+L}，E_rs＝{e_i,...,e_i+L,e_i+L+1,...,e_N}。

步骤S2的具体方法包括以下子步骤：

S2-1、将E_ls输入门控神经单元并从右向左运行门控神经单元；

S2-2、在t时间步，对于E_ls＝{e₁,...,e_i-1,e_i,...,e_i+L}中的任一个元素e_t，根据公式：

r_t＝σ(W_re_t+U_rh_t-1)

z_t＝σ(W_ze_t+U_zh_t-1)

获取其内部隐藏状态h_t；将每个元素对应的内部隐藏状态组合起来即得到与E_ls相对应的隐状态表

其中W_r、U_r、W_z、U_z、W_h和U_h均为权重矩阵，且均属于

σ(·)为sigmoid函数；r_t为更新门；z_t为重置门；h_t-1为元素e_t在t-1时间步的内部隐藏状态；tanh(·)为双曲正切函数；

为中间量；⊙为按位相乘运算；1为单位向量；

为元素e_i+L对应的内部隐藏状态；

S2-3、将E_rs输入门控神经单元并从左向右运行门控神经单元；

S2-4、在t时间步，对于E_rs＝{e_i,...,e_i+L,e_i+L+1,...,e_N}中的任一个元素，采用与步骤S2-2相同的公式获取E_rs中每个元素对应的内部隐藏状态，并进一步得到与E_rs相对应的隐状态表

为元素e_i对应的内部隐藏状态。

步骤S3的具体方法为：根据公式：

β_l＝σ(W₁₀h_l+b₅)+b_l

获取隐状态表H_ls中任一元素h_l对应的注意力权重β_l；将每个隐状态表H_ls中的元素对应的注意力权重进行组合即得到隐状态表H_ls对应的注意力权重表β_ls，

其中W₁₀为权重矩阵，

b₅为偏置参数，

b_l为基础的注意力权重，

根据公式：

β_r＝σ(W₁₁h_r+b₆)+b_r

获取隐状态表H_rs中任一元素h_r对应的注意力权重β_r；将每个隐状态表H_rs中的元素对应的注意力权重进行组合即得到隐状态表H_rs对应的注意力权重表β_rs，

其中W₁₁为权重矩阵，

b₆为偏置参数，

b_r为基础的注意力权重，

步骤S4的具体方法为：基于注意力权重表β_ls中第k个元素和注意力权重表β_rs中第k个元素，根据公式：

获取对应方面的注意力权重β_k，进而得到对应方面的注意力权重β_a＝{β_i,...,β_i+L}；其中i≤k≤i+L；

将向量β_lc＝{β₁,...,β_i-1}、β_a＝{β_i,...,β_i+L}和向量β_rc＝{β_i+L+1,...,β_N}拼接为上下文注意力权重向量β＝{β₁,β₂,...,β_N}。

步骤S5的具体方法为：根据公式

m_ωn＝y_n⊙m_n

获取记忆切片m_n对应的权重记忆，进而得到权重记忆向量M_ω＝{m_ω1,m_ω2,...,m_ωN}；将权重记忆向量中各元素的平均值作为语句信息V_s；其中记忆切片m_n为记忆M中的第n个记忆切片，m_n＝e_n，表示句子S所对应的向量表E＝{e₁,e₂,…,e_i,…,e_i+L,…,e_N}中的第n个元素；y_n是在词嵌入的维度上复制β_n共d次获得的向量，y_n∈β，β_n为上下文注意力权重向量β中的第n个元素。

步骤S6的具体方法为：将方面中包含的所有方面词向量的平均值作为方面信息V_a，并根据公式：

c_n＝W₆ tanh(W₇m_i+W₈V_a+W₉V_s+b₄)

获取语句信息中第n个元素对判断句子S对应给定方面情感极性重要性的分数c_n；其中W₆、W₇、W₈、W₉和b₄是三输入的前馈神经网络的模型参数；

根据公式：

获取语句信息中第n个元素对应的注意力权重α_n，进而得到语句信息对应的注意力权重α＝(α₁,...,α_n,...,α_N)；其中exp(·)为以自然常数e为底的指数函数；c_j为语句信息中第j个元素；

根据公式：

V_ts＝Mα

获取三输入的前馈神经网络输出的向量V_ts。

步骤S8的具体方法为：根据公式：

pred＝soft max(W₅V_ns+b₃)

获取融合后的句子表示向量V_ns关于给定方面的感情极性概率分布pred，即句子S关于给定方面的感情极性概率分布；其中soft max(·)为softmax函数；

表示一个空间大小为C的条件概率分布；W₅为权重矩阵，

b₃为偏置向量，

是线性层的参数。

在具体实施过程中，本方法可以采用样本进行预先训练，并以有监督的方式最小化交叉熵损失目标，损失函数为：

los s＝-∑_ilog p_ti

其中log为对数，p_ti为本方法得到的第i个训练案例的可能性。利用反向传播计算参数的梯度，并用随机梯度下降法对其进行更新。

综上所述，本发明基于语句信息的注意力机制结合句子的整体语义信息捕获给定方面的重要信息，并将整个语句信息加入输出向量表达中，提高了模型处理复杂句子的能力；同时本发明采用基于上下文的注意力机制，与基于位置的注意力机制相比，不仅考虑到了句子的语序信息，还考虑到了单词与方面之间的交互信息，因此能为给定方面构建更合理的定制记忆，使得本发明的分类准确率更高，可提高人工智能对文字或语句的理解能力，做出更符合人类表达方式的行为或更符合人类预期的操作。

Claims (8)

1.一种基于语句信息的方面级情感分类方法，其特征在于，包括以下步骤：

S1、将句子S拆分成含有方面的左上下文和含有方面的右上下文，并分别获取左上下文对应的向量表E_ls和右上下文对应的向量表E_rs；

S2、采用神经网络模型分别对E_ls和E_rs进行建模，获取与E_ls相对应的隐状态表H_ls和与E_rs相对应的隐状态表H_rs；

S3、分别获取隐状态表H_ls对应的注意力权重表β_ls和隐状态表H_rs对应的注意力权重表β_rs；

S4、根据注意力权重表β_ls和注意力权重表β_rs获取方面的注意力权重向量，进而得到上下文注意力权重向量；

S5、根据上下文注意力权重向量和对应的记忆切片获取权重记忆向量，并将权重记忆向量中各元素的平均值作为语句信息；

S6、采用三输入的前馈神经网络获取语句信息中各元素对应的注意力权重α_i，并根据注意力权重α_i和存放在记忆模块中的记忆输出对应的向量V_ts；

S7、将句子S的句子表示加入到向量V_ts中，得到融合后的句子表示向量；

S8、采用softmax层对融合后的句子表示向量进行预测，得到句子S关于给定方面的感情极性概率分布，完成基于语句信息的方面级情感分类。

2.根据权利要求1所述的基于语句信息的方面级情感分类方法，其特征在于，所述步骤S1的具体方法为：

对于句子S＝{s₁,s₂,…,s_i,…s_i+L,…,s_N-1,s_N}，其中方面词组为S_v＝{s_i,…,s_i+L}，将句子中其余部分分为上下文，并将句子中方面词组左边的上下文称为左上下文S_l＝{s₁,…,s_i-1}，右边的上下文称为右上下文S_r＝{s_i+L+1,…,s_N}；即得到含有方面的左上下文S_ls＝{s₁,…,s_i,…s_i+L}和含有方面的右上下文S_rs＝{s_i,…s_i+L,…,s_N}；其中i表示方面中的第一个词的下标；i+L表示方面中最后一个词的下标；N表示句子中单词的个数；

通过无监督方法、距离监督方法或随机初始化的方法产生一个词表示矩阵

其中

为实数集，d为单词向量维度，|V|表示词汇表中单词的数量；根据词表示矩阵将句子S中的单词进行映射，获得对应的向量表示，进而得到左上下文对应的向量表E_ls和右上下文对应的向量表E_rs；其中E_ls＝{e₁,...,e_i-1,e_i,...,e_i+L}，E_rs＝{e_i,...,e_i+L,e_i+L+1,...,e_N}。

3.根据权利要求2所述的基于语句信息的方面级情感分类方法，其特征在于，所述步骤S2的具体方法包括以下子步骤：

S2-1、将E_ls输入门控神经单元并从右向左运行门控神经单元；

S2-2、在t时间步，对于E_ls＝{e₁,...,e_i-1,e_i,...,e_i+L}中的任一个元素e_t，根据公式：

r_t＝σ(W_re_t+U_rh_t-1)

z_t＝σ(W_ze_t+U_zh_t-1)

获取其内部隐藏状态h_t；将每个元素对应的内部隐藏状态组合起来即得到与E_ls相对应的隐状态表

其中W_r、U_r、W_z、U_z、W_h和U_h均为权重矩阵，且均属于

σ(·)为sigmoid函数；r_t为更新门；z_t为重置门；h_t-1为元素e_t在t-1时间步的内部隐藏状态；tanh(·)为双曲正切函数；

为中间量；⊙为按位相乘运算；1为单位向量；

为元素e_i+L对应的内部隐藏状态；

S2-3、将E_rs输入门控神经单元并从左向右运行门控神经单元；

S2-4、在t时间步，对于E_rs＝{e_i,...,e_i+L,e_i+L+1,...,e_N}中的任一个元素，采用与步骤S2-2相同的公式获取E_rs中每个元素对应的内部隐藏状态，并进一步得到与E_rs相对应的隐状态表

为元素e_i对应的内部隐藏状态。

4.根据权利要求3所述的基于语句信息的方面级情感分类方法，其特征在于，所述步骤S3的具体方法为：

根据公式：

β_l＝σ(W₁₀h_l+b₅)+b_l

获取隐状态表H_ls中任一元素h_l对应的注意力权重β_l；将每个隐状态表H_ls中的元素对应的注意力权重进行组合即得到隐状态表H_ls对应的注意力权重表β_ls，

其中W₁₀为权重矩阵，

b₅为偏置参数，

b_l为基础的注意力权重，

根据公式：

β_r＝σ(W₁₁h_r+b₆)+b_r

获取隐状态表H_rs中任一元素h_r对应的注意力权重β_r；将每个隐状态表H_rs中的元素对应的注意力权重进行组合即得到隐状态表H_rs对应的注意力权重表β_rs，β_rs＝{β_ir,...,β_i+Lr,β_i+L+1,...,β_N}；其中W₁₁为权重矩阵，

b₆为偏置参数，

b_r为基础的注意力权重，

5.根据权利要求4所述的基于语句信息的方面级情感分类方法，其特征在于，所述步骤S4的具体方法为：

基于注意力权重表β_ls中第k个元素和注意力权重表β_rs中第k个元素，根据公式：

获取对应方面的注意力权重β_k，进而得到对应方面的注意力权重β_a＝{β_i,...,β_i+L}；其中i≤k≤i+L；

将向量β_lc＝{β₁,...,β_i-1}、β_a＝{β_i,...,β_i+L}和向量β_rc＝{β_i+L+1,...,β_N}拼接为上下文注意力权重向量β＝{β₁,β₂,...,β_N}。

6.根据权利要求5所述的基于语句信息的方面级情感分类方法，其特征在于，所述步骤S5的具体方法为：

根据公式

m_ωn＝y_n⊙m_n

获取记忆切片m_n对应的权重记忆，进而得到权重记忆向量M_ω＝{m_ω1,m_ω2,...,m_ωN}；将权重记忆向量中各元素的平均值作为语句信息V_s；其中记忆切片m_n为记忆M中的第n个记忆切片，m_n＝e_n，表示句子S所对应的向量表E＝{e₁,e₂,…,e_i,…,e_i+L,…,e_N}中的第n个元素；y_n是在词嵌入的维度上复制β_n共d次获得的向量，y_n∈β，β_n为上下文注意力权重向量β中的第n个元素。

7.根据权利要求6所述的基于语句信息的方面级情感分类方法，其特征在于，所述步骤S6的具体方法为：

将方面中包含的所有方面词向量的平均值作为方面信息V_a，并根据公式：

c_n＝W₆ tanh(W₇m_i+W₈V_a+W₉V_s+b₄)

获取语句信息中第n个元素对判断句子S对应给定方面情感极性重要性的分数c_n；其中W₆、W₇、W₈、W₉和b₄是三输入的前馈神经网络的模型参数；

根据公式：

获取语句信息中第n个元素对应的注意力权重α_n，进而得到语句信息对应的注意力权重α＝(α₁,...,α_n,...,α_N)；其中exp(·)为以自然常数e为底的指数函数；c_j为语句信息中第j个元素；

根据公式：

V_ts＝Mα

获取三输入的前馈神经网络输出的向量V_ts。

8.根据权利要求7所述的基于语句信息的方面级情感分类方法，其特征在于，所述步骤S8的具体方法为：

根据公式：

pred＝soft max(W₅V_ns+b₃)

获取融合后的句子表示向量V_ns关于给定方面的感情极性概率分布pred，即句子S关于给定方面的感情极性概率分布；其中softmax(·)为softmax函数；

表示一个空间大小为C的条件概率分布；W₅为权重矩阵，

b₃为偏置向量，

是线性层的参数。

Images