CN110069778B - 中文融入嵌入词位置感知的商品情感分析方法 - Google Patents

Abstract

本发明公开一种中文融入嵌入词位置感知的aspect级的商品情感分析方法，主要包括：输入字嵌入向量采用Laplace概率密度函数进行位置权重加权，采用双向GRU神经网络对文档中所有句子的情感语义及句子间的语义关系进行编码，对词向量集合中的每个词向量获取其上下文的信息，得到隐藏层当前的隐状态；给隐藏层当前的隐状态的添加注意力机制，得到句向量的概率分布；根据句向量的概率分布，用全连接层与soft‑max函数判断情感类别。嵌入词向量时同时采用位置感知方法可以有效提高嵌入词的情感信息。采用双向GRU神经网络可以减少训练时间，进一步提升情感分析精确度。

Description

中文融入嵌入词位置感知的商品情感分析方法

技术领域

本发明涉及一种中文融入嵌入词位置感知的aspect级的商品情感分析方法。

背景技术

近年来，情感分析技术目前被广泛地应用于各种互联网应用当中，例如目前比较热门的在线翻译，用户评价分析和用户观点挖掘等热门领域当中。如何快速准确地从互联网海量的评论信息中分析所包含的用户情感已经成为当前人工智能领域的热点。商品情感分析中基本的任务是用户对商品的情感倾向进行分类，其中主要是二元分类。

基于机器学习的情感分析方法在过去取得了不错的成果，然而，传统的机器学习的方法仅考虑文本中单词出现的频率或次数，而忽略了语法结构和上下文信息，这对情感分类的准确度影响较大。除此之外，传统的机器学习方法依赖于人工设计的特征，耗时费力。

由于互联网上数据的快速增长，基于神经网络的深度学习模型在图像和语音识别领域显示出卓越的性能，自然语言处理领域也逐渐开始使用深度学习的方法，并取得了良好的效果。在自然语言处理中，深度学习的方法首先将文本转化为一组向量系列表示，然后将该向量序列输入神经网络模型提取特征，最后将特征输入分类器进行情感分类。

发明内容

本发明要解决的技术问题是：基于循环神经网络的特征提取方法将输入编码为一个定长的特征，但这种方法也没有考虑到用户评论中不同部分对评论的最终情感的贡献程度不同，可能会导致面对较长的用户评论时会降低情感分析的准确度。

为了解决上述技术问题，本发明的技术方案是提供了一种中文融入嵌入词位置感知的商品情感分析方法，其特征在于，包括如下步骤：

步骤一、载入中文商品评论语料库，并将语料库按比例进行分割，分为训练机和测试集；

步骤二、利用jieba分词工具对训练集和测试集分别进行分词处理；

步骤三、利用glove训练语料的词语向量，输入字嵌入向量由位置权重加权，使用位置权重来强调在生成句子向量的过程中对方面词的相关情感信息；

步骤四、利用双向GRU神经网络分别从词嵌入得到句子级情感向量表示，双向GRU神经网络包括采用正向学习的GRU_L及采用反向学习的GRU_R，GRU_L的输入是前面的上下文信息加上目标方面词，GRU_R的输入是后面的上下文信息加上方面词，从左往右运行GRU_L，从右往左运行GRU_R，分别得到对词向量集合中的每个词向量获取其上下文的信息，得到隐藏层当前的隐状态H_L和H_R；

步骤五、给隐藏层当前的隐状态H_L和H_R添加注意力机制，通过自动加权的方式决定输入文本需要关注的部分，分别得到句向量的概率分布：通过隐藏状态和方面词语义向量之间的感情语义相似性来计算注意权重，方位词语义向量包含方面词的语义信息，因此，与方面词相关的词越多，它占据的权重就越大；

步骤六、由注意力机制生成加权隐藏状态表示Y_L和Y_R，两个加权隐状态组合得到最终的句子向量表示；

步骤七、最终的句子向量经过soft-max函数判断情感类别的概率，得到情感结果。

优选地，步骤三中，使用拉普拉斯概率密度函数来获得所述位置权重：

对应于输入字嵌入向量e，e＝{e₁,e₂,...,e_i,...e_n}的位置权重λ定义为：λ＝[λ₁,λ₂,...,λ_i,...,λ_n]，则有：

式中，i是句子中单词的索引；a是方面单词的索引，为单词的不同位置生成不同的输入位置权重；α_l和β_l是方面词左侧的上下文词的参数，而α_r和β_r是右侧的上下文词的参数；α_m是方面词；

然后，输入位置权重被合并到输入字嵌入向量，如下式所示：

E_i＝λ_i×e_i

式中，E_i是由输入位置权重加权的第i个输入字的第i个新单词嵌入向量。

本发明主要是glove词向量嵌入位置感知，利用Laplace概率密度函数进行位置权重加权，输入字嵌入向量采用高斯概率密度函数进行位置权重加权，采用双向GRU获取其上下文的信息，并结合注意力机制进一步提高情感分类的准确率。

附图说明

图1为本发明实施的流程算法；

图2为本发明实施深度神经网络模型。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明提供了一种中文融入嵌入词位置感知的aspect级的商品情感分析方法包括如下步骤：

步骤一：载入中文商品评论语料库，并将语料库按比例进行分割，分为训练机和测试集；

步骤二：利用jieba分词工具对训练集和测试集分别进行分词处理；

步骤三：利用glove训练语料的词语向量，输入字嵌入向量由位置权重加权。直接将词语向量输入到模型中并生成句子向量的表示将包含与方面词无关的信息。因此，本发明使用位置权重来强调在生成句子向量的过程中对方面词的相关情感信息。

最大程度地表达方面词的情感的关键词总是接近方面词本身。越接近方面词，它们可能包含的相关性信息越多。进一步注意到方面词的关键词总是只位于方面词的一侧。直接将单词向量输入到模型中并生成句子向量的表示将包含与方面单词无关的信息。因此，本发明使用位置权重来强调在生成句子向量的过程中对方面词的相关情感信息。与此同时，与方面词无关的词也相应地被削弱了。鉴于位置信息有利于获得更好的结果，输入字嵌入向量由位置权重加权。由于本发明期望远离方面词的词的权重下降得更快，这有助于防止与方面无关的信息的干扰，本发明使用拉普拉斯概率密度函数来获得位置权重。

对应于输入字嵌入向量e，e＝{e₁,e₂,...,e_i,...e_n}的位置权重λ定义为：λ＝[λ₁,λ₂,...,λ_i,...,λ_n]，则有：

式中，i是句子中单词的索引；a是方面单词的索引，为单词的不同位置生成不同的输入位置权重；α_l和β_l是方面词左侧的上下文词的参数，而α_r和β_r是右侧的上下文词的参数；α_m是方面词，所有这些都是用模型训练的。例如，如果左上下文单词的输入位置权重大于训练时的右侧，则表示左上下文单词对方面单词更重要。

然后，输入位置权重被合并到输入字嵌入向量，如下式所示：

E_i＝λ_i×e_i

式中，E_i是由输入位置权重加权的第i个输入字的第i个新单词嵌入向量。

步骤四：利用双向GRU神经网络分别从词嵌入得到句子级情感向量表示，双向GRU神经网络包括采用正向学习的GRU_L及采用反向学习的GRU_R，GRU_L的输入是前面的上下文信息加上目标方面词，GRU_R的输入是后面的上下文信息加上方面词，从左往右运行GRU_L，从右往左运行GRU_R，分别得到对词向量集合中的每个词向量获取其上下文的信息，得到隐藏层当前的隐状态H_L和H_R。

GRU(Gated Recurrent Unit)是LSTM的一种变体，它对LSTM做了很多简化。循环神经网络会以不受控制的方式在每个单位步长内重写自己的记忆，而LSTM有专门的学习机制能够在保持先前的状态的同时，记忆当前数据所输入的特征。LSTM神经网络模型包含有三个门：输入门，遗忘门和输出门。遗忘门用于决定保留多少个上一时刻的单元状态到当前时刻的单元状态；输入门用于决定保留多少个当前时刻的输入到当前时刻的单元状态；输出门用于决定当前时刻的单元状态有多少输出。GRU神经网络则是LSTM的简化版，相比于LSTM来说只有两个门：更新门和重置门。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息被带入的越多；重置门用于控制忽略前一时刻的状态信息的程度，重置门越小说明忽略的信息越多。GRU神经网络的参数比LSTM减少了1/3，不容易产生过拟合，而且在收敛时间和需要的迭代次数上，GRU神经网络更胜一筹.GRU可以在保持LSTM效果的同时，使得模型的结构更加简单。GRU神经网络向前传播公式如下：

r_t＝σ(W_r·[h_t-1,x_t])

z_t＝σ(W_z·[h_t-1,x_t])

y_t＝σ(W₀·h_t)

x_t表示为当前时刻的输入；h_t-1表示上一时刻的输出；W_r、W_z、

W₀为相应的权重矩阵；z_t和r_t分别为更新门和重置门；σ表示sigmoid激活函数；/>

表示更新时刻的输出；h_t表示当前时刻的输出；y_t表示输出结果。

由于循环神经网络模型具有遗忘性，一般来说，最后一个状态所包含的信息是有损的，而且序列越靠前信息损失得越严重。对于包含有许多序列建模任务而言，获取未来以及过去的背景信息对提高模型的准确率来说是有意义的。所以，如果同时训练两个GRU神经网络，一个采用正向学习，一个采用反向学习，将正向和反向的最后一个状态对应的向量连接后得到的向量作为最后的结果，则该模型便能同时利用过去和未来的所有信息。本发明使用双向的GRU神经网络模型。如图2所示，网络包含左右两个序列上下文的两个子网络，分别是前向和后向传递。

步骤五：给隐藏层当前的隐状态H_L和H_R添加注意力机制，通过自动加权的方式决定输入文发明需要关注的部分，分别得到句向量的概率分布。具体地，通过隐藏状态和方面词语义向量之间的感情语义相似性来计算注意权重，方位词语义向量包含方面词的语义信息。因此，与方面词相关的词越多，它占据的权重就越大。引入注意力机制，给不同的方面词赋予不同的权重，从而摒弃一些噪音数据，以此来提高分类器的性能。

步骤六：由注意力机制生成加权隐藏状态表示Y_L和Y_R，两个加权隐状态组合得到最终的句子向量表示。

步骤七：最终的句子向量经过soft-max函数判断情感类别的概率，得到情感结果。

Claims (1)

1.一种中文融入嵌入词位置感知的商品情感分析方法，其特征在于，包括如下步骤：

步骤一、载入中文商品评论语料库，并将语料库按比例进行分割，分为训练机和测试集；

步骤二、利用jieba分词工具对训练集和测试集分别进行分词处理；

步骤三、利用glove训练语料的词语向量，输入字嵌入向量由位置权重加权，使用位置权重来强调在生成句子向量的过程中对方面词的相关情感信息，其中，使用拉普拉斯概率密度函数来获得所述位置权重：

对应于输入字嵌入向量e，e＝{e₁,e₂,...,e_i,...e_n}的位置权重λ定义为：λ＝[λ₁,λ₂,...,λ_i,...,λ_n]，则有：

式中，i是句子中单词的索引；a是方面单词的索引，为单词的不同位置生成不同的输入位置权重；α_l和β_l是方面词左侧的上下文词的参数，而α_r和β_r是右侧的上下文词的参数；α_m是方面词；

然后，输入位置权重被合并到输入字嵌入向量，如下式所示：

E_i＝λ_i×e_i

式中，E_i是由输入位置权重加权的第i个输入字的第i个新单词嵌入向量

步骤四、利用双向GRU神经网络分别从词嵌入得到句子级情感向量表示，双向GRU神经网络包括采用正向学习的GRU_L及采用反向学习的GRU_R，GRU_L的输入是前面的上下文信息加上目标方面词，GRU_R的输入是后面的上下文信息加上方面词，从左往右运行GRU_L，从右往左运行GRU_R，分别得到对词向量集合中的每个词向量获取其上下文的信息，得到隐藏层当前的隐状态H_L和H_R；

步骤五、给隐藏层当前的隐状态H_L和H_R添加注意力机制，通过自动加权的方式决定输入文本需要关注的部分，分别得到句向量的概率分布：通过隐藏状态和方面词语义向量之间的感情语义相似性来计算注意权重，方位词语义向量包含方面词的语义信息，因此，与方面词相关的词越多，它占据的权重就越大；

步骤六、由注意力机制生成加权隐藏状态表示Y_L和Y_R，两个加权隐状态组合得到最终的句子向量表示；

步骤七、最终的句子向量经过soft-max函数判断情感类别的概率，得到情感结果。

Images