CN113220825B - 面向个人推文的话题情感倾向性预测模型的建模方法及系统 - Google Patents

Abstract

本发明提供了一种面向个人推文的话题情感倾向性预测模型的建模方法及系统，包括：步骤M1：根据情感词典将推文中的情感词去除，得到去除情感词的推文；步骤M2：在推文语料库中利用去除情感词的推文和情感标签输入BERT模型对BERT模型进行训练，得到训练后的BERT模型；步骤M3：利用训练后的BERT模型对去除情感词的推文以及话题词进行特征提取得到隐层向量；步骤M4：将话题词对应的隐层向量通过注意力机制进行整合，拼接到去除情感词的推文每个字符向量后面，得到新的词向量；步骤M5：新的词向量通过CNN分类器对情感类别进行概率分布预测；本发明提高对潜在话题情感预测的准确率。

Description

面向个人推文的话题情感倾向性预测模型的建模方法及系统

技术领域

本发明涉及数据挖掘技术领域，具体地，涉及面向个人推文的话题情感倾向性预测模型的建模方法及系统。

背景技术

随着人工智能与大数据的发展，预训练语言模型正在越来越多的用于自然语言处理中。BERT是谷歌在2018年提出的处理自然语言处理任务的预训练模型，编码器是由双向Transformer组成，解码器是对应任务中需要预测的信息，以解决之前预训练模型无法充分了解到单词上下文结构这一痛点。BERT和之前的预训练模型类似，主要分成预训练和微调两个阶段：在预训练阶段，BERT是在大量未标记的数据上进行无监督学习，通过MaskedLanguage Model(MLM)和Next Sentence Prediction(NSP)两个新颖的方式进行预训练，捕捉上下文、短语和句子之间的关系，获得句子级别的表示以应用于不同类型的下游任务。

BERT中的词嵌入层是由三个部分组成的：Token Embeddings、SegmentEmbeddings和Position Embeddings。Token Embeddings是token级别的，BERT通过WordPiece将word切成sub-word，并以[CLS]、[SEP]分别作为句子的开始token和结束token；Segment Embeddings主要用以区分句子对，Embedding A和Embedding B分别表示左右两个不同的句子，用于MLM的预训练任务和下游以两个句子为输入的任务；Posit ionEmbeddings描述每个token的位置，是学习得到的值。这三个不同词嵌入相加所得即是BERT最终输入的词嵌入。

由于预训练的模型已经完成了句子和句子对的向量表示，如图1所示，在微调过程中，根据不同的下游任务，可以将具体的输入输出适配到BERT中，在核心模型中添加一个层，采用端到端的方式去微调模型参数。在单句分类任务中，BERT的微调方法是在Transformer的输出加一个分类层：根据[CLS]标志生成一组特征向量，并通过一层全连接进行微调。损失函数根据任务类型自行设计，例如多分类的softmax或者二分类的sigmoid。

本发明提出的用户层级模型是利用个人过去的推文预测他/她对某个潜在话题的情感倾向，是第一个在推文情感分析中加入用户信息，构建个人和不同话题情感倾向之间的关系，而非对单句推文进行基于话题词的情感分类。一项用于对单句同时提取话题词和对话题词的情感分类的方案为INABSA，如图2所示；

该模型对句子中每个单词打标，将话题词和情感词的标注合二为一。在模型中，Boundary Guidance(BG)、Sentiment Consistency(SC)和Opinion-Enhanced Target WordDetection(OE)是三个重要的模块，加上两层LSTM，深度挖掘情感词和话题词之间的关系。但这种结构并不能解决带有用户信息的推文，并对个人对某话题的情感倾向做出预测。

专利文献CN103793503A(申请号：201410035384.0)公开了一种基于web文本的观点挖掘与分类的方法，属于数据挖掘技术领域。本发明通过网络爬虫、观点挖掘、信息抽取、机器学习等技术从互联网中获取、发现新的话题，并持续跟踪和关注该话题，通过对得到话题的情感倾向性及真伪倾向性的综合分析。本发明能快速有效地在大数据时代背景下，通过从中挖掘热点主题倾向性走势，分析影响因子，为减少舆论导向对公众的负面影响，为互联网管理的决策提供参考。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种面向个人推文的话题情感倾向性预测模型的建模方法及系统。

根据本发明提供的一种面向个人推文的话题情感倾向性预测模型的建模方法，包括：

步骤M1：根据情感词典将推文中的情感词去除，得到去除情感词的推文；

步骤M2：在推文语料库中利用去除情感词的推文和情感标签输入BERT模型对BERT模型进行训练，得到训练后的BERT模型；

步骤M3：利用训练后的BERT模型对去除情感词的推文和话题词进行特征提取得到隐层向量；

步骤M4：将话题词对应的隐层向量通过注意力机制进行整合，拼接到去除情感词的推文每个字符向量后面，得到新的词向量；

步骤M5：新的词向量通过CNN分类器对情感类别进行概率分布预测；

所述推文包括标有情感类别y_i∈{负向，正向}以及话题词

优选地，所述步骤M3包括：话题词

利用训练后的BERT模型得到对应的隐层

优选地，所述步骤M4包括：

步骤M4.1：将隐层向量通过注意力机制进行整合；

其中，话题词注意力向量

是基于H⁽ⁱ⁾的自注意力分布；T表示矩阵转置符号；i表示推文集中第i句推文；

α⁽ⁱ⁾＝soft max(tanh(H⁽ⁱ⁾W₁)W₂) (2)

其中，

和

都是注意力机制的权重；K表示词向量的维度，即BERT隐层维度；

表示实数集；

步骤M4.2：将整合后的隐层向量添加到去除情感词的推文中每个字符向量的后面，得到新的词向量；

其中，

j表示第j个token。

优选地，所述步骤M5包括：

步骤M5.1：新的词向量输入CNN分类器通过与卷积核卷积，得到卷积层的隐层向量；

其中，w表示过滤器；°表示卷积操作；

是偏置；f是ReLU激活函数；

步骤M5.2：句子中所有长度为q的序列经过过滤器w生成一个特征映射：

其中，N表示隐层维度/词向量维度；

步骤M5.3：最大值池化选择最大值

作为c在过滤器w下得到的特征；

步骤M5.4：使用不同核大小的过滤器分别提取不同的特征，得到所有的特征；

步骤M5.5：全连接层将所有的特征映射连接起来，通过softmax激活函数得到对于情感类别y_i∈{负向，正向}两个类别的预测概率分布。

根据本发明提供的一种面向个人推文的话题情感倾向性预测模型的建模系统，包括：

模块S1：根据情感词典将推文中的情感词去除，得到去除情感词的推文；

模块S2：在推文语料库中利用去除情感词的推文和情感标签输入BERT模型对BERT模型进行训练，得到训练后的BERT模型；

模块S3：利用训练后的BERT模型对去除情感词的推文和话题词进行特征提取得到隐层向量；

模块S4：将话题词对应的隐层向量通过注意力机制进行整合，拼接到去除情感词的推文每个字符向量后面，得到新的词向量；

模块S5：新的词向量通过CNN分类器对情感类别进行概率分布预测；

所述推文包括标有情感类别y_i∈{负向，正向}以及话题词

优选地，所述模块S3包括：话题词

利用训练后的BERT模型得到对应的隐层

优选地，所述模块S4包括：

模块S4.1：将隐层向量通过注意力机制进行整合；

其中，话题词注意力向量

是基于H⁽ⁱ⁾的自注意力分布；T表示矩阵转置符号；i表示推文集中第i句推文；

α⁽ⁱ⁾＝soft max(tanh(H⁽ⁱ⁾W₁)W₂) (2)

其中，

和

都是注意力机制的权重；K表示词向量的维度，即BERT隐层维度；

表示实数集；

模块S4.2：将整合后的隐层向量添加到去除情感词的推文中每个字符向量的后面，得到新的词向量；

其中，

j表示第j个token。

优选地，所述模块S5包括：

模块S5.1：新的词向量输入CNN分类器通过与卷积核卷积，得到卷积层的隐层向量；

其中，w表示过滤器；°表示卷积操作；

是偏置；f是ReLU激活函数；

模块S5.2：句子中所有长度为q的序列经过过滤器w生成一个特征映射：

其中，N表示隐层维度/词向量维度；

模块S5.3：最大值池化选择最大值

作为c在过滤器w下得到的特征；

模块S5.4：使用不同核大小的过滤器分别提取不同的特征，得到所有的特征；

模块S5.5：全连接层将所有的特征映射连接起来，通过softmax激活函数得到对于情感类别y_i∈{负向，正向}两个类别的预测概率分布。

与现有技术相比，本发明具有如下的有益效果：

1、本发明构建用户和话题情感极性之间的关系，传统的情感分类模型都是针对单句推文的某话题词进行情感分类，模型核心是准确定位话题词及话题词周围的情感词汇，且现有的推文情感分类数据集不包含用户信息。而本发明则是对每个用户过去的推文分别建模，通过去除情感词，来捕捉用户和不同话题情感极性之间的关系，实现对潜在话题的情感预测。

2、本发明基于话题词表示句子，本发明通过微调BERT更全面的捕捉句子内部双向语义依赖关系，话题词级别的注意力机制使得对话题词的表示更为精确，将话题词词向量拼接在句子每个单词词向量之后，使得模型在表示句子时，既捕捉了句子全局的关系又侧重话题词的语义，有助于上层的分类。

3、本发明提高对潜在话题情感预测的准确率，由于没有公开的以用户为单位收集的推文，在三个自己建立并标注的数据集上，用户层级模型在验证集上的分类准确率较现有的情感分类模型相比有提升显著，且在测试集上对潜在话题情感极性的预测误差也比现有的情感分类模型小。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为不同任务中BERT微调示意图

图2为INABSA结构示意图；

图3为面向个人推文的话题情感倾向性预测模型的建模系统的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例1

根据本发明提供的一种面向个人推文的话题情感倾向性预测模型的建模方法，包括：

步骤M1：根据情感词典将推文中的情感词去除，得到去除情感词的推文；

步骤M2：在推文语料库中利用去除情感词的推文和情感标签输入BERT模型对BERT模型进行训练，得到训练后的BERT模型；

步骤M3：利用训练后的BERT模型对去除情感词的推文和话题词进行特征提取得到隐层向量；

步骤M4：将话题词对应的隐层向量通过注意力机制进行整合，拼接到去除情感词的推文每个字符向量后面，得到新的词向量；

步骤M5：新的词向量通过CNN分类器对情感类别进行概率分布预测；

所述推文包括标有情感类别y_i∈{负向，正向}以及话题词

具体地，所述步骤M3包括：话题词

利用训练后的BERT模型得到对应的隐层

具体地，所述步骤M4包括：

步骤M4.1：将隐层向量通过注意力机制进行整合；

其中，话题词注意力向量

是基于H⁽ⁱ⁾的自注意力分布；T表示矩阵转置符号；i表示推文集中第i句推文；

α⁽ⁱ⁾＝soft max(tanh(H⁽ⁱ⁾W₁)W₂) (2)

其中，

和

都是注意力机制的权重；K表示词向量的维度，即BERT隐层维度；

表示实数集；

步骤M4.2：将整合后的隐层向量添加到去除情感词的推文中每个字符向量的后面，得到新的词向量；

其中，

j表示第j个token。

具体地，所述步骤M5包括：

步骤M5.1：新的词向量输入CNN分类器通过与卷积核卷积，得到卷积层的隐层向量；

其中，w表示过滤器；°表示卷积操作；

是偏置；f是ReLU激活函数；

步骤M5.2：句子中所有长度为q的序列经过过滤器w生成一个特征映射：

其中，N表示隐层维度/词向量维度；

步骤M5.3：最大值池化选择最大值

作为c在过滤器w下得到的特征；

步骤M5.4：使用不同核大小的过滤器分别提取不同的特征，得到所有的特征；

步骤M5.5：全连接层将所有的特征映射连接起来，通过softmax激活函数得到对于情感类别y_i∈{负向，正向}两个类别的预测概率分布。

根据本发明提供的一种面向个人推文的话题情感倾向性预测模型的建模系统，包括：

模块S1：根据情感词典将推文中的情感词去除，得到去除情感词的推文；

模块S2：在推文语料库中利用去除情感词的推文和情感标签输入BERT模型对BERT模型进行训练，得到训练后的BERT模型；

模块S3：利用训练后的BERT模型对去除情感词的推文和话题词进行特征提取得到隐层向量；

模块S4：将话题词对应的隐层向量通过注意力机制进行整合，拼接到去除情感词的推文每个字符向量后面，得到新的词向量；

模块S5：新的词向量通过CNN分类器对情感类别进行概率分布预测；

所述推文包括标有情感类别y_i∈{负向，正向}以及话题词

具体地，所述模块S3包括：话题词

利用训练后的BERT模型得到对应的隐层

具体地，所述模块S4包括：

模块S4.1：将隐层向量通过注意力机制进行整合；

其中，话题词注意力向量

是基于H⁽ⁱ⁾的自注意力分布；T表示矩阵转置符号；i表示推文集中第i句推文；

α⁽ⁱ⁾＝soft max(tanh(H⁽ⁱ⁾W₁)W₂) (2)

其中，

和

都是注意力机制的权重；K表示词向量的维度，即BERT隐层维度；

表示实数集；

模块S4.2：将整合后的隐层向量添加到去除情感词的推文中每个字符向量的后面，得到新的词向量；

其中，

j表示第j个token。

具体地，所述模块S5包括：

模块S5.1：新的词向量输入CNN分类器通过与卷积核卷积，得到卷积层的隐层向量；

其中，w表示过滤器；°表示卷积操作；

是偏置；f是ReLU激活函数；

模块S5.2：句子中所有长度为q的序列经过过滤器w生成一个特征映射：

其中，N表示隐层维度/词向量维度；

模块S5.3：最大值池化选择最大值

作为c在过滤器w下得到的特征；

模块S5.4：使用不同核大小的过滤器分别提取不同的特征，得到所有的特征；

模块S5.5：全连接层将所有的特征映射连接起来，通过softmax激活函数得到对于情感类别y_i∈{负向，正向}两个类别的预测概率分布。

实施例2

实施例2是实施例1的变化例

现有的用于推文情感分析的模型大多旨在准确定位推文话题词和情感词，高度依赖情感词汇。模型大多是基于LSTM，叠加和情感词相关的细节处理模块，捕捉话题词与周围情感词的关联。但这样的模型没有考虑用户信息，无法捕捉用户个人和不同话题情感极性之间的关联，所以现有成熟的情感分类模型均不适用于解决上述提到的技术问题。

本发明是对个人建模，通过对推文去除情感词、微调BERT、话题词注意力机制和CNN分类器对个人和话题情感之间的关系建模。该模型在不同的推特用户上无论是分类任务还是对潜在话题预测的量化任务的结果都在现有的情感分类模型上有明显提升。

本发明通过将一个推文首先过滤情感词，和情感标签一起送进BERT进行微调，对推文进行BERT特征提取得到隐层向量，话题词级别注意力机制将话题词的词向量整合并添加到推文中每个字符向量的后面，新的词向量通过CNN分类器得到预测是正向还是负向。

本发明提出的模型是将文本转换成向量，根据不同模块捕捉用户和话题词情感倾向之间的关系，最后得到二元分类的预测概率。从图3中可以看出，用户层级模块主要分成去情感词、微调BERT、话题词级别注意力机制和CNN分类器组成。每个用户有多条推文{s₁，s₂，…，s_m}，一条包含n个单词的推文s_i可表示为

每条推文都标有情感类别y_i∈{NEGATIVE，POSITIVE}以及话题词

具体模块如下：

去情感词

为了更好的构建用户个人和不同话题词情感倾向之间的关系，模型会在最初根据情感词典，将推文中的情感词去除，得到

在送入BERT前，每个推文会被分割成子单词并添加[PAD]填充至长度N。词嵌入层会叠加字符词嵌入、位置词嵌入和段落词嵌入，得到K维的词向量，第i个字符的词向量可表示为

微调BERT，如图1所示

将推文和情感分类标签送入BERT，在用户的推文语料库上对BERT进行分类任务的微调。二元分类任务是对[CLS]进行池化，和全连接层及softmax层相连，得到两个分类的可能性概率分布。在微调阶段，首先用训练数据集对BERT进行二分类的微调，其次通过bert-as-service模块从已微调的BERT提取编码器的最后一层作为推文的隐层，则第i句推文s_i可表示成：

其中，∥是拼接符号，N是序列最大长度，K是BERT编码器隐层大小，和词嵌入维度相等。

对话题词

我们以同样的方式获得它们的隐层向量：

和

话题词级别注意力机制

话题词级别注意力机制是用于将两个单词的话题词向量聚合成一个词向量。由于短语中每个词对词义的贡献占比不同，所以不应该取平均值，而是计算注意力向量。话题词

对应的隐层

我们根据以下公式计算话题词聚合后的词向量：

其中，话题词注意力向量

是基于H⁽ⁱ⁾的自注意力分布，将话题词隐层作为输入送进一个双层感知机：

α⁽ⁱ⁾＝softmax(tanh(H⁽ⁱ⁾W₁)W₂) (3)

其中

和

都是注意力机制的权重。

当聚合话题词向量后，将该向量拼接至推文的每个token词向量之后，以获得话题词相关的词向量：

其中

CNN分类器

由于CNN擅长捕捉句子中短距离依赖关系，CNN越来越多的被用于文本分类任务。

在图3可以看出卷积操作涉及三个不同的卷积核大小，假设

是一个用于q个token长度的过滤器，则特征c_j可表示为：

其中°表示卷积操作，

是偏置，f是ReLU激活函数。句子中所有长度为q的序列经过该过滤器会生成一个特征映射：

最大值池化会选择最大值

作为c在过滤器w下得到的特征。由于一个过滤器可以提取一种特征，模型使用不同核大小的过滤器分别提取不同的特征。全连接层将所有的特征映射连接起来，通过softmax激活函数得到对于{NEGATIVE，POSITIVE}两个类别的预测概率分布。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种面向个人推文的话题情感倾向性预测模型的建模方法，其特征在于，包括：

步骤M1：根据情感词典将推文中的情感词去除，得到去除情感词的推文；

步骤M2：在推文语料库中利用去除情感词的推文和情感标签输入BERT模型对BERT模型进行训练，得到训练后的BERT模型；

步骤M3：利用训练后的BERT模型对去除情感词的推文和话题词进行特征提取得到隐层向量；

步骤M4：将话题词对应的隐层向量通过注意力机制进行整合，拼接到去除情感词的推文每个字符向量后面，得到新的词向量；

步骤M5：新的词向量通过CNN分类器对情感类别进行概率分布预测；

所述推文包括标有情感类别y_i∈{负向，正向}以及话题词

其中，i表示用户个人的第i条推文。

2.根据权利要求1所述的面向个人推文的话题情感倾向性预测模型的建模方法，其特征在于，所述步骤M3包括：

话题词

利用训练后的BERT模型得到对应的隐层

3.根据权利要求1所述的面向个人推文的话题情感倾向性预测模型的建模方法，其特征在于，所述步骤M4包括：

步骤M4.1：将隐层向量通过注意力机制进行整合；

其中，话题词注意力向量

是基于H⁽ⁱ⁾的自注意力分布；T表示矩阵转置符号；

α⁽ⁱ⁾＝softmax(tanh(H⁽ⁱ⁾W₁)W₂) (2)

其中，

和

都是注意力机制的权重；K表示词向量的维度，即BERT隐层维度；

表示实数集；

步骤M4.2：将整合后的隐层向量添加到去除情感词的推文中每个字符向量的后面，得到新的词向量；

其中，

j表示第j个token。

4.根据权利要求1所述的面向个人推文的话题情感倾向性预测模型的建模方法，其特征在于，所述步骤M5包括：

步骤M5.1：新的词向量输入CNN分类器通过与卷积核卷积，得到卷积层的隐层向量；

其中，w表示过滤器；

表示卷积操作；

是偏置；f是ReLU激活函数；q表示句子中所有长度为q的序列；

步骤M5.2：句子中所有长度为q的序列经过过滤器w生成一个特征映射：

其中，N表示隐层维度或词向量维度；

步骤M5.3：最大值池化选择最大值

{c}作为c在过滤器w下得到的特征；

步骤M5.4：使用不同核大小的过滤器分别提取不同的特征，得到所有的特征；

步骤M5.5：全连接层将所有的特征映射连接起来，通过softmax激活函数得到对于情感类别y_i∈{负向，正向}两个类别的预测概率分布。

5.一种面向个人推文的话题情感倾向性预测模型的建模系统，其特征在于，包括：

模块S1：根据情感词典将推文中的情感词去除，得到去除情感词的推文；

模块S2：在推文语料库中利用去除情感词的推文和情感标签输入BERT模型对BERT模型进行训练，得到训练后的BERT模型；

模块S3：利用训练后的BERT模型对去除情感词的推文和话题词进行特征提取得到隐层向量；

模块S4：将话题词对应的隐层向量通过注意力机制进行整合，拼接到去除情感词的推文每个字符向量后面，得到新的词向量；

模块S5：新的词向量通过CNN分类器对情感类别进行概率分布预测；

所述推文包括标有情感类别y_i∈{负向，正向}以及话题词

其中，i表示用户个人的第i条推文。

6.根据权利要求5所述的面向个人推文的话题情感倾向性预测模型的建模系统，其特征在于，所述模块S3包括：话题词

利用训练后的BERT模型得到对应的隐层

7.根据权利要求5所述的面向个人推文的话题情感倾向性预测模型的建模系统，其特征在于，所述模块S4包括：

模块S4.1：将隐层向量通过注意力机制进行整合；

其中，话题词注意力向量

是基于H⁽ⁱ⁾的自注意力分布；T表示矩阵转置符号；

α⁽ⁱ⁾＝softmax(tanh(H⁽ⁱ⁾W₁)W₂) (2)

其中，

和

都是注意力机制的权重；K表示词向量的维度，即BERT隐层维度；

表示实数集；

模块S4.2：将整合后的隐层向量添加到去除情感词的推文中每个字符向量的后面，得到新的词向量；

其中，

j表示第j个token。

8.根据权利要求5所述的面向个人推文的话题情感倾向性预测模型的建模系统，其特征在于，所述模块S5包括：

模块S5.1：新的词向量输入CNN分类器通过与卷积核卷积，得到卷积层的隐层向量；

其中，w表示过滤器；

表示卷积操作；

是偏置；f是ReLU激活函数，q表示句子中所有长度为q的序列；

模块S5.2：句子中所有长度为q的序列经过过滤器w生成一个特征映射：

其中，N表示隐层维度或词向量维度；

模块S5.3：最大值池化选择最大值

{c}作为c在过滤器w下得到的特征；

模块S5.4：使用不同核大小的过滤器分别提取不同的特征，得到所有的特征；

模块S5.5：全连接层将所有的特征映射连接起来，通过softmax激活函数得到对于情感类别y_i∈{负向，正向}两个类别的预测概率分布。

Images