CN110502626B - 一种基于卷积神经网络的方面级情感分析方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的方面级情感分析方法，包括建立方面级情感分析模型，通过该模型构建方面级信息在文本中的相对位置矩阵，并将其与文本编码进行融合，对关联矩阵中方面级信息所对应的部分关联矩阵进行抽取，对于由多单词组成的方面级信息再进行均值化处理，将其作为最终的文本与方面信息之间的评分矩阵，其中，方面级情感分析模型包括词嵌入模块、相对位置编码模块、方面级注意力模块和情感分类模块。本发明通过对文本中方面级信息的情感进行建模，进而高效且准确地对文本的方面级情感进行分析。

Description

一种基于卷积神经网络的方面级情感分析方法

技术领域

本发明涉及自然语言处理及人工智能领域，尤其涉及一种基于卷积神经网络的方面级情感分析方法。

背景技术

随着互联网技术的迅猛发展与广泛应用，越来越多的人倾向于通过网络的方式发表意见、表达情绪或阐述观点。社交、电商及自媒体等多种新型网络平台的蓬勃发展导致互联网信息呈现几何数量级增长。如何针对这些信息进行有的分析和挖掘，识别出其情感倾向、预判其观点、预测其情感随时间的演化规律，帮助用户高效、准确以及全面地从海量文本信息中获取人们所关注的内容，并对这些信息进行组织和处理，从而使用户可以得到条理清晰且简单直观的信息分析和挖掘结果，已成为社会化媒体发展中需要迫切解决的重要热点问题。

为了充分挖掘用户评论文本中爆炸性增长的情感表示信息，方面级情感分析算法的运用在此领域有着显著的成效，此类分析算法是一种更细粒度的情感分析算法，算法模型可以针对文本中所包含的不同方面信息给出差异化的情感倾向。例如当面对商品的评论信息时，用户更希望从商品评论中了解已购买用户对产品各个方面的情感倾向，这更有利于他们对商品进行的更全面地评估。传统的情感分析研究更多地聚焦于基于篇章级的情感分析，其中，在从基于Twitter文本进行的分析实验中，存在篇章级的情感分析方法中有40％的分类错误是由于没有考虑方面级信息导致的。所以，应用方面级的情感分析方法不仅可以更完整和全面地评估文本的情感，而且可以在一定程度上提高文本情感分析的准确率。

目前方面级的情感分析方法大致有两类。第一类是基于规则和情感词典的方法，其主要根据人为构建的情感词典和语义规则，对文本中各方面信息所对应的情感词进行提取并根据情感词典对其进行打分，然后根据方面级信息所得的情感总分在人工定义的情感分数对应表中所处的位置得出方面级信息所对应的情感。例如专利CN 104268197 A公开了一种行业评论数据细粒度情感分析方法，利用1-gram和2-gram算法分别计算词在不同情感极性下的分布，然后构建情感词库并利用条件随机场进行命名实体识别，抽取评论特征，计算评论特征评价词的情感倾向值。这种方法需要非常准确且全面的情感词典的构建，以及非常繁复的语义规则定义，由此耗费非常大的人力物力成本，并且这种方法对于不同的领域和不同的应用场景等，均需要构建不同的情感词典和规则，通用性较差且情感分析效果并不明显。

另一类则是基于神经网络的方法。这种方法主要使用各类的神经网络模型对文本进行建模，而后利用训练语料库对模型进行训练，进而就可以通过训练好的模型对需要分析的文本进行分析。为此，专利CN 109472031 A公开了一种基于双记忆注意力的方面级别情感分类模型及方法，其通过GRU循环神经网络构建编码器和解码器，然后使用Softmax分类器对文本进行分类，但是GRU循环神经网络每一步的输出都包含了上一步的输出，所以模型并不能很好地进行并行处理，效率较低。目前公开的方面级情感分析的专利和文献中，对方面级信息在文本中所处的相对位置信息考虑不是很多，但是语义学中一般认为在一段文本中，离单词越近的单词对其的影响越大，所以位置的相对信息非常的重要，尤其对于文本中含有多个方面级信息时，各方面级信息的情感之间容易互相干扰，此时相对位置信息就更为重要了，故此，本领域亟待一种解决此类问题的方面级情感分析方法。

发明内容

本发明的目的在于提供了一种基于卷积神经网络的方面级情感分析方法，通过对文本中方面级信息的情感进行建模，进而高效且准确地对文本的方面级情感进行分析。

本发明解决其技术问题所采用的技术方案是：一种基于卷积神经网络的方面级情感分析方法，包括建立方面级情感分析模型，通过该模型构建方面级信息在文本中的相对位置矩阵，并将其与文本编码进行融合，对关联矩阵中方面级信息所对应的部分关联矩阵进行抽取，对于由多单词组成的方面级信息再进行均值化处理，将其作为最终的文本与方面信息之间的评分矩阵，其中，方面级情感分析模型包括词嵌入模块、相对位置编码模块、方面级注意力模块和情感分类模块：词嵌入模块对输入的语句和待分析的方面级别信息进行编码，并将文本转变成计算机语言；相对位置编码模块根据待预测的方面级别信息在文本中的相对位置进行编码，并将相对位置编码和词嵌入模块所得到的文本编码进行加权处理；方面级注意力模块通过注意力机制对方面级信息的编码和经过相对位置模块处理后的文本编码进行处理，以此得到文本中所有单词对于方面级信息情感提取的优先矩阵，并将其加权融入到文本编码中；情感分类模块通过多层的卷积神经网络将文本信息和方面级信息进行融合处理，通过卷积神经网络中所包括的Softmax层对方面级信息的情感进行分类，进而得出情感结果。

优选地，所述方面级情感分析模型包括以下分析步骤：

S1，输入文本，通过词嵌入模块对输入文本的每个单词进行词嵌入处理，得出文本中的词向量、方面级信息及其对应编码a；设定待预测的方面级信息；

S2，根据待预测的方面级信息对文本中的相对位置进行编码，同时通过相对位置编码函数对输入文本的词向量进行加权处理；

S3，在方面级注意力模块中对矩阵中的参数进行随机初始化，而后开始训练矩阵，最后通过Softmax函数得到注意力矩阵；其中，对于含有多个单词的方面级信息，对其进行均值化处理，得出文本中所有单词对于方面信息的评分矩阵，而后将相对位置层处理后的文本编码与评分矩阵进行加权处理，得到融合了评分矩阵的文本编码；

S4，通过不同大小的卷积核对文本编码M和方面级信息编码进行深度特征的提取，其中，文本编码卷积后的结果通过tanh函数进行非线性化处理，而方面级信息卷积后的结果使用函数relu进行非线性化处理。

优选地，S1中设定输入文本为

文本的词向量为

其中，n代表文本中包含的单词数量；d_e代表词向量的维度；方面级信息表示为：

其中，m代表文本中包含的方面级信息的数量；

设定待预测的方面级信息为

通过词嵌入处理后得到

其中，k代表待预测方面级信息所包含的单词数量。

优选地，S2中的相对位置编码函数为：

其中，

是第i个单词在文本中的位置，p_al是方面级信息最左边单词在文本中的位置，p_ar是方面级信息最右边单词在文本中的位置，

是单词

在文本中的相对位置编码值。

优选地，S2中位置编码函数对输入文本的词向量进行加权处理，该加权处理过程包括加权公式：

其中，h_i为输入单词经过相对位置编码模块编码后的输出，该相对位置编码模块的输出为

优选地，S3中对矩阵中的参数进行随机初始化过程包括以下初始化公式：

其中，

是和x相同维度的注意力矩阵,W⁽¹⁾,

是模型参数,在训练开始前对参数矩阵随机初始化，d_k是x的维度大小；

Softmax函数公式为：

S(x)＝score(x,a)＝mean(F(A_t,index(a,x)))

其中，F(·)是一个矩阵切片操作函数,index(a,x)是方面级信息在文本中的索引位置。

优选地，S3中对于含有多个单词的方面级信息通过mean(·)函数进行均值化处理，而后融合评分矩阵的文本编码M的融合公式为：M＝W(H*score(x,a))+b

其中，W和b分别是权值矩阵和偏置矩阵，方面级注意力模块的输出

优选地，S4中通过函数tanh对文本编码卷积后的结果进行非线性化处理，通过函数relu对方面级信息卷积后的结果进行非线性化处理：

A_i＝relu(a_i:i+h e w_a+b_a)

s_i＝tanh(M_i:i+h e w_m+b_s)

c_i＝relu(M_i:i+h e w_m′+W_aA+b_c)

o_i＝s_i×c_i

其中，A_i为方面级信息的特征信息，S_i为文本编码的特征信息，c_i为融合了方面级信息和文本信息的特征信息，o_i为最终的特征信息。

本发明的有益效果在于：本申请基于卷积神经网络模型和注意力机制，提出了一种带有相对位置编码和方面注意力编码的文本方面级情感分析模型和方法，引入相对位置编码模块构建方面级信息在文本中的相对位置矩阵，并将其与文本编码进行融合，可以有效地引入相对位置信息，进而通过相对位置信息捕捉到文本中单词之间更为关联的情感关系，从而准确从中提取特征。本申请的注意力机制与现有技术中的注意力机制相比，通过注意力机制构建文本和方面级信息之间的关联矩阵，同时考虑到方面级信息存在于文本中，于是对关联矩阵中方面级信息所对应的部分关联矩阵进行抽取，对于由多单词组成的方面级信息再进行均值化操作作为最终的文本与方面信息之间的评分矩阵，能够显著地提高文本方面级别情感分析的准确率，并且具有更好的鲁棒性和通用性，分析的效率也得到提升。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图及实施例对本发明作进一步说明，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图：

图1为本发明一种基于卷积神经网络的方面级情感分析方法中方面级情感分析模型的结构示意图；

图2为本发明一种基于卷积神经网络的方面级情感分析方法中卷积神经网络示意图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

在实施例1中，一种基于卷积神经网络的方面级情感分析方法，包括建立方面级情感分析模型，通过该模型构建方面级信息在文本中的相对位置矩阵，并将其与文本编码进行融合，对关联矩阵中方面级信息所对应的部分关联矩阵进行抽取，对于由多单词组成的方面级信息再进行均值化处理，将其作为最终的文本与方面信息之间的评分矩阵，其中，方面级情感分析模型包括词嵌入模块、相对位置编码模块、方面级注意力模块和情感分类模块：词嵌入模块对输入的语句和待分析的方面级别信息进行编码，并将文本转变成计算机语言；相对位置编码模块根据待预测的方面级别信息在文本中的相对位置进行编码，并将相对位置编码和词嵌入模块所得到的文本编码进行加权处理；方面级注意力模块通过注意力机制对方面级信息的编码和经过相对位置模块处理后的文本编码进行处理，以此得到文本中所有单词对于方面级信息情感提取的优先矩阵，并将其加权融入到文本编码中；情感分类模块通过多层的卷积神经网络将文本信息和方面级信息进行融合处理，通过卷积神经网络中所包括的Softmax层对方面级信息的情感进行分类，进而得出情感结果。对于建立方面级情感分析模型，具体地，如图1所示，方面级情感分析模型为层级结构，其中每一个模块对应一个层级，包括词嵌入模块对应为Word Embedding(词嵌入层)、相对位置编码模块对应为Relative Position(相对位置编码层)、方面级注意力模块对应为Aspect AttentionLayer(方面级注意力层)，以及Max Pooling Layer(最大池化层)、Fully-connected layer(全连接层)、Aspect Embedding(方面级信息嵌入层)和Softmax层。其中，从WordEmbedding输入文本，该文本经Relative Position得到对应编码，而后与对应编码一起进入Aspect Attention Layer并通过注意力机制处理得到融合了评分矩阵的文本编码M，该文本编码M进入不同的卷积神经网络中进行卷积，以进一步地提取特征；另外还包括通过另一个卷积神经网络对文本编码进行特征提取，并将提取的结果和从方面级信息中提取的特征进行结合。所提取的所有特征信息进行矩阵的对应位置元素相乘，相乘后所得信息在MaxPooling Layer进行最大池化和dropout处理，最后通过Fully-connected layer和Softmax进行分类，从而得到最终的情感分类结果。

进一步地，所述方面级情感分析模型包括以下分析步骤：

S1，输入文本，通过词嵌入模块对输入文本的每个单词进行词嵌入处理，得出文本中的词向量、方面级信息及其对应编码a；设定待预测的方面级信息；S2，根据待预测的方面级信息对文本中的相对位置进行编码，同时通过相对位置编码函数对输入文本的词向量进行加权处理；S3，在方面级注意力模块中对矩阵中的参数进行随机初始化，而后开始训练矩阵，最后通过Softmax函数得到注意力矩阵；其中，对于含有多个单词的方面级信息，对其进行均值化处理，得出文本中所有单词对于方面信息的评分矩阵，而后将相对位置层处理后的文本编码与评分矩阵进行加权处理，得到融合了评分矩阵的文本编码；S4，通过不同大小的卷积核对文本编码和方面级信息编码进行深度特征的提取，其中，文本编码卷积后的结果通过函数进行非线性化处理，而方面级信息卷积后的结果使用函数进行非线性化处理。

具体地，不同大小的卷积核的作用在于提取不同范围的特征，以进行深度特征的提取，亦即是更高级别的特征提取，旨在提高分类的准确性。

进一步地，S1中设定输入文本为

文本的词向量为

其中，n代表文本中包含的单词数量；d_e代表词向量的维度；方面级信息表示为：

其中，m代表文本中包含的方面级信息的数量；

设定待预测的方面级信息为

通过词嵌入处理后得到

其中，k代表待预测方面级信息所包含的单词数量。

进一步地，S2中的相对位置编码函数为：

其中，

是第i个单词在文本中的位置，p_al是方面级信息最左边单词在文本中的位置，p_ar是方面级信息最右边单词在文本中的位置，

是单词

在文本中的相对位置编码值。

进一步地，S2中位置编码函数对输入文本的词向量进行加权处理，该加权处理过程包括加权公式：

其中，h_i为输入单词经过相对位置编码模块编码后的输出，该相对位置编码模块的输出为

进一步地，S3中对矩阵中的参数进行随机初始化过程包括以下初始化公式：

其中，

是和x相同维度的注意力矩阵,W⁽¹⁾,

是模型参数,在训练开始前对参数矩阵随机初始化，d_k是x的维度大小；

Softmax函数公式为：

S(x)＝score(x,a)＝mean(F(A_t,index(a,x)))

其中，F(·)是一个矩阵切片操作函数,index(a,x)是方面级信息在文本中的索引位置。

具体地，d_k是x的维度大小，其用于对注意力矩阵的值进行缩放，进而节约了计算力。

进一步地，S3中对于含有多个单词的方面级信息通过mean(·)函数进行均值化处理，而后融合评分矩阵的文本编码M的融合公式为：M＝W(H*score(x,a))+b

其中，W和b分别是权值矩阵和偏置矩阵，方面级注意力模块的输出

具体地，通过mean(·)函数进行均值化后，节约了计算力，同时方便了后面的dropout处理。

进一步地，S4中通过函数tanh对文本编码卷积后的结果进行非线性化处理，通过函数relu对方面级信息卷积后的结果进行非线性化处理：

A_i＝relu(a_i:i+h e w_a+b_a)

s_i＝tanh(M_i:i+h e w_m+b_s)

c_i＝relu(M_i:i+h e w_m′+W_aA+b_c)

o_i＝s_i×c_i

其中，A_i为方面级信息的特征信息，S_i为文本编码的特征信息，c_i为融合了方面级信息和文本信息的特征信息，o_i为最终的特征信息。

具体地，用另一个卷积神经网络对文本编码M进行特征提取，并将提取的结果和从方面级信息中提取的特征A进行结合，再用relu函数对结果进行非线性化处理，进而得到融合了方面级信息和文本信息的特征c_i；而后对c_i和s_i进行矩阵的对应位置元素相乘，得到最终的特征信息o_i，然后对o_i进行最大池化和dropout处理，最后通过全连接层和Softmax层对其进行最后的分类，得到最终的情感分类结果。其中，如图2所示，一个文本通过不同的卷积神经网络卷积后，再经最大池化获取最接近的情感分类。另外，考虑到全连接层和卷积神经网络中特征的对应连接较多，计算成本较大，dropout处理是用于将卷积神经网络中隐层的部分权重和输出随机归零，进而降低节点间的相互依赖性，从而节约了计算开销。

Claims (4)

1.一种基于卷积神经网络的方面级情感分析方法，其特征在于，包括建立方面级情感分析模型，通过该模型构建方面级信息在文本中的相对位置矩阵，并将其与文本编码进行融合，对关联矩阵中方面级信息所对应的部分关联矩阵进行抽取，对于由多单词组成的方面级信息再进行均值化处理，将其作为最终的文本与方面信息之间的评分矩阵，其中，方面级情感分析模型包括词嵌入模块、相对位置编码模块、方面级注意力模块和情感分类模块：

词嵌入模块对输入的语句和待分析的方面级别信息进行编码，并将文本转变成计算机语言；

相对位置编码模块根据待预测的方面级别信息在文本中的相对位置进行编码，并将相对位置编码和词嵌入模块所得到的文本编码进行加权处理；

方面级注意力模块通过注意力机制对方面级信息的编码和经过相对位置模块处理后的文本编码进行处理，以此得到文本中所有单词对于方面级信息情感提取的优先矩阵，并将其加权融入到文本编码中；

情感分类模块通过多层的卷积神经网络将文本信息和方面级信息进行融合处理，通过卷积神经网络中所包括的Softmax层对方面级信息的情感进行分类，进而得出情感结果；方面级情感分析模型包括以下分析步骤：

S1，输入文本，通过词嵌入模块对输入文本的每个单词进行词嵌入处理，得出文本中的词向量、方面级信息及其对应编码a；设定待预测的方面级信息；

S2，根据待预测的方面级信息对文本中的相对位置进行编码，同时通过相对位置编码函数对输入文本的词向量进行加权处理；

S3，在方面级注意力模块中对矩阵中的参数进行随机初始化，而后开始训练矩阵，最后通过Softmax函数得到注意力矩阵；其中，对于含有多个单词的方面级信息，对其进行均值化处理，得出文本中所有单词对于方面信息的评分矩阵，而后将相对位置层处理后的文本编码与评分矩阵进行加权处理，得到融合了评分矩阵的文本编码M；

S4，通过不同大小的卷积核对文本编码M和方面级信息编码进行深度特征的提取，其中，文本编码卷积后的结果通过函数tanh进行非线性化处理，而方面级信息卷积后的结果使用函数relu进行非线性化处理；S1中设定输入文本为

文本的词向量为

其中，n代表文本中包含的单词数量；d_e代表词向量的维度；方面级信息表示为：

其中，m代表文本中包含的方面级信息的数量；

设定待预测的方面级信息为

通过词嵌入处理后得到

其中，k代表待预测方面级信息所包含的单词数量；S2中的相对位置编码函数为：

其中，

是第i个单词在文本中的位置，p_al是方面级信息最左边单词在文本中的位置，p_ar是方面级信息最右边单词在文本中的位置，

是单词

在文本中的相对位置编码值。

2.根据权利要求1所述的基于卷积神经网络的方面级情感分析方法，其特征在于，S2中相对位置编码函数对输入文本的词向量进行加权处理，该加权处理过程包括加权公式：

其中，h_i为输入单词经过相对位置编码模块编码后的输出，该相对位置编码模块的输出为

3.根据权利要求2所述的基于卷积神经网络的方面级情感分析方法，其特征在于，S3中对矩阵中的参数进行随机初始化过程包括以下初始化公式：

其中，

是和x相同维度的注意力矩阵,

是模型参数,在训练开始前对参数矩阵随机初始化，d_k是x的维度大小；

Softmax函数公式为：

S(x)＝score(x,a)＝mean(F(A_t,index(a,x)))

其中，F(·)是一个矩阵切片操作函数,index(a,x)是方面级信息在文本中的索引位置。

4.根据权利要求2或3所述的基于卷积神经网络的方面级情感分析方法，其特征在于，S3中对于含有多个单词的方面级信息通过mean(·)函数进行均值化处理，而后融合评分矩阵的文本编码M的融合公式为：M＝W(H*score(x,a))+b

其中，W和b分别是权值矩阵和偏置矩阵，方面级注意力模块的输出

Images