CN114065848A - 一种基于预训练情感嵌入的中文方面级别情感分类方法 - Google Patents

Abstract

本发明公开了一种基于预训练情感嵌入的中文方面级别情感分类方法，提出了结合预训练情感嵌入和语义嵌入的深度学习模型。模型将方面级情感分类问题转化为句子对分类问题，在中文评论的字级别上微调BERT模型，在词级别上利用对抗性学习方法和双层双向LSTM编码器模块训练情感特征向量，并通过线性加权和多头自注意力机制将得到的情感信息与BERT最后几层的语义信息动态地结合起来，从而得到特定方面类别的语义和情感信息，并进行准确地情感分类。本申请结合中文患者评论的特点，不仅为患者提供了丰富的决策信息，还使得一些比较重视绩效而弱化了医德和能力的医生对自己的工作有所改进，为线上医疗质量和医生服务水平的提高提供重要保障。

Description

一种基于预训练情感嵌入的中文方面级别情感分类方法

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种基于预训练情感嵌入的针对中文患者评论的方面级别情感分类方法。

背景技术

随着在线医疗服务平台的发展，越来越多的患者选择线上就医，并且愿意在医疗平台上分享自己在就医过程中的感受和经历。以前的研究对患者评论的情绪进行了分类，可以确定患者对医生是满意还是不满意。然而，一个患者评论可能涉及多个方面，这种分类方式太过于笼统而不能区分一条中文患者评论中多个方面的情感极性。例如，给定评论句“吕医生的态度很冷淡，但他给我做完手术后，我的症状得到明显缓解”，患者对医生“态度”和“医术”方面表达的情绪相反，正确预测出每个方面对应的情感极性是非常有必要的。

在这种背景下，方面级情感分类旨在检测被评论的实体各个方面类别，并预测各方面所表达的情感极性。目前，用于处理方面级情感分类问题的方法主要包括基于统计学习的方法和基于深度学习的方法。他们通常利用预训练的词嵌入作为输入，并设计一些具有复杂句法特征或注意力机制的神经结构，在英文评论数据集上取得了很好的效果。然而，面向中文的方面级别情感分类方法比较少，并且目前还没有针对患者评论的相关方法研究。

发明内容

本申请的目的在于提供一种基于预训练情感嵌入的方面级别情感分类方法，其从多个方面了解患者就诊过程中对医生的评价，在其他患者选择医生时起到一定的借鉴作用，从而提高线上医疗质量和服务水平。

为实现上述目的，本申请提出一种基于预训练情感嵌入的中文方面级别情感分类方法，具体包括：

步骤1：在患者对医生的评论数据中标注方面级别情感标签和对应的情感极性；

步骤2：对标注后的评论数据进行预处理，然后按照训练集、验证集、测试集进行划分；

步骤3：将预处理后的评论数据进行分词处理后送入预训练情感嵌入模块中，所述预训练情感嵌入模块得到的向量再送到双层双向 LSTM模型中进行预先训练，根据全连接层学到的分布式特征表示在中文词级别上提取评论句的情感嵌入；

步骤4：对预处理后的评论数据进行扩展，使用BERT模型将句子中的每个中文字符映射到向量空间，用来在中文字符级别上提取评论句的语义嵌入；

步骤5：将所述情感嵌入和所述语义嵌入进行集成，利用线性加权和多头自注意力机制获得最终的情感和语义特征表示，并将该表示送入softmax层进行训练分类，得到评论句中涉及的方面类别和对应的情感极性。

进一步的，所述方面级别情感标签包括态度、医德和医术；所述情感极性包括积极、消极和无此方面。

进一步的，对标注后的评论数据进行预处理，具体为：去除空文本、重复文本、停用词，再通过正则表达式去除文本中无用字符。

进一步的，所述步骤3具体实现方式为：

步骤31：针对预处理后的评论数据利用python中的Jieba分词进行处理；

步骤32：分词处理后的评论数据送入预训练情感嵌入模块中，得到每一条评论的情感词向量矩阵；

步骤33：将所述情感词向量矩阵送到双层双向LSTM(Long Short TermMemory)模型中进行预先训练，使用门控机制来捕捉单词序列的前后依赖关系，使模型能够学习到哪些信息需要遗忘，哪些信息需要保留，最终获得反映句子情感信息的固定尺寸的特征向量S；

进一步的，所述预训练情感嵌入模块利用一种基于多头注意力机制的对抗学习方法ASWE(Adversarial Learning of Sentiment Word Representations)来学习句子中每个词的情感特征，词向量的维度设为300。

进一步的，所述双层双向LSTM模型是一种包括前向网络和后向网络的双向循环神经网络，给定一个包含n个单词的句子 T＝(t₁,t₂,...,t_n)，前向网络通过第k个输入单词在最后一层网络的输出向量

来预测下一个单词t_k+1，后向网络通过第k个输入单词在最后一层网络的输出向量

来预测前一个单词t_k-1，优化的目标函数为：

其中

和

分别表示前向和后向网络的参数，并且这两个方向上的参数是独立的。

更进一步的，所述步骤4具体实现方式为：

步骤41：通过构造与方面类别和情感极性相关的辅助句子(例如“态度-积极”)，将预处理后的评论数据进行扩展；扩展后的评论数据集包括原始评论X和辅助句子A，标签“0”表示针对某方面的情感极性未在评论中出现，标签“1”表示针对某方面的情感极性在评论中出现，最终BERT模型的输入序列表示为 P＝[CLS,X,SEP,A,SEP]；

步骤42：将所述BERT模型的输入序列表示为令牌嵌入、段嵌入和位置嵌入的总和，并送到L个连续的变压器编码块中；

步骤43：经过训练后，BERT模型中每个编码层的隐藏状态为：

为了动态融合每个BERT编码层包含的空间和分层信息，使用 CLS令牌的隐藏状态序列

表示句子对的语义特征，而不是仅仅将

作为句子的全局聚合表示。

更进一步的，所述步骤5具体实现方式为：

步骤51：将情感嵌入S和语义嵌入h_CLS进行连接，得到维度为d 的情感和语义特征向量表示：

步骤52：使用全连接层将步骤51中每一层对应的d维特征Q^d映射到一维特征空间上，并将获取的一维向量Q¹送入softmax层，得到每一层特征对应的权重，然后通过线性加权动态组合所有特征，得到初始情感和语义特征表示O'：

O′＝Q^d·softmax(W_qQ¹+b_q) (4)

其中W_q和b_q分别是全连接层中的可训练参数矩阵和向量；

步骤53：为了让模型捕捉到整个输入中不同部分之间的相关性，利用多头自我注意力机制获取初始特征表示O’，得到了最终的情感和语义特征表示O，具体步骤如下：

A1.首先在特定的注意力头h下定义每一个输入向量

和

之间的相关性:

其中ψ^(h)(x,y)表示向量x和y的相似性度量函数，

和

是将原始嵌入空间映射到新空间的变换矩阵；

A2.通过相关系数

更新向量e_m的表示为：

其中

是将原始嵌入空间映射到新空间的变换矩阵，

代表多头自注意力机制学习到的新的向量；

步骤54：Softmax函数将步骤53得到的特征表示O转换为标签集y＝{0,1}上的条件概率分布，并输出具有最大概率值的标签，作为最终的预测结果：

其中W_o和b_o分别为可训练的参数矩阵和向量；

步骤55：通过最小化所有数据样本中真实值y和预测值

之间的交叉熵损失来进行训练，交叉熵损失函数L为：

其中i和j分别表示数据样本和标签类别的索引；选取其中分类效果最好的模型并加载，将中文患者评论数据送入模型中，进而预测评论句中提到的方面类别和其对应的情感极性。

本发明由于采用以上技术方案，能够取得如下的技术效果：本发明采用融合预训练情感嵌入和语义嵌入的深度学习模型，从多个不同的方面对中文患者评论进行细粒度分析，可以判断出患者对医生评价的一些具体方面的情感倾向，让公众知道这个医生好在哪里，不好在哪里，使得一些比较看重绩效而将品德、能力等逐渐弱化的医生能对自己的工作有所改进，也对其他患者在选择医生方面起到一定的借鉴作用，从而提高了线上医疗质量和医生服务水平。

附图说明

图1为一种基于预训练情感嵌入的方面级别情感分类方法流程图；

图2为预训练情感嵌入模块结构图。

具体实施方式

本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。

实施例1

本发明从好大夫在线网站上提取了患者对医生的评论，根据筛选构建了中文患者评论数据集；进而提供一种基于预训练情感嵌入的深度学习模型来处理方面级别的情感分类任务，根据中文评论的特点提出两种嵌入方式：1)在中文词的级别上，使用对抗性方法训练了评论句中的情感词嵌入，并将嵌入向量送到双层双向LSTM编码器中进行预先训练，得到了评论句的情感嵌入；2)在中文字的级别上，扩展了评论数据集，使用BERT模型获得评论句的语义嵌入。然后，利用线性加权和多头自注意力机制将提取到的情感特征和语义嵌入层的知识进行集成，进而预测评论涉及的方面类别和其对应的情感极性。

在训练过程中，模型选用Adam优化器，并设置批次大小为32，学习率为1e-5。对BERT网络层的数量k从1到12进行实验，最终选择k＝4作为层数的默认值。该模型有效解决了中文患者评论中基于方面类别的情感分类问题，准确率比目前其他主流的方法有显著的提高。

以下结合实施例和附图对本发明做详细的说明，以使本领域普通技术人员参照本说明书后能够据以实施。

本实施例以Pycharm为开发平台，Python为开发语言，在中文患者评论数据集上进行。以下为具体过程：

步骤1：在患者对医生的评论数据中标注方面级别情感标签和对应的情感极性；

具体的，在好大夫在线网站上患者对医生的108331条评论中标注方面级别情感标签，预先定义了评论数据集的方面类别，包括医生的态度、医德和医术三个方面，并人工标注部分评论句的方面标签(态度，医德，医术)和对应的情感极性(积极，消极，无此方面)；

步骤2：对标注后的评论数据进行预处理，然后按照训练集、验证集、测试集进行划分；

具体的，标注后的评论数据去除空文本、重复文本、停用词，再通过正则表达式去除文本中无用字符等预处理操作，预处理后的评论数据按训练集：验证集：测试集＝8：1：1的比例进行划分。

步骤3：将预处理后的评论数据进行分词处理后送入预训练情感嵌入模块中，所述预训练情感嵌入模块得到的向量再送到双层双向 LSTM模型中进行预先训练，根据全连接层学到的分布式特征表示在中文词级别上提取评论句的情感嵌入；具体为：

步骤31：对预处理后的评论数据进行分词处理，并去除标点符号和停用词；

步骤32：利用一种基于多头注意力机制的对抗学习方法来学习句子中每个词的情感特征，得到情感词向量矩阵；

步骤33：将所述情感词向量矩阵送入双层双向LSTM模型中进行预先训练，并通过全连接层获得反映句子情感信息的特征向量；

步骤4：对预处理后的评论数据进行扩展，使用BERT模型将句子中的每个中文字符映射到向量空间，用来在中文字符级别上提取评论句的语义嵌入；具体为：

步骤41：构造与方面类别和情感极性相关的辅助句子(例如“态度-积极”)；

步骤42：将辅助句子和原始评论作为输入序列，送到BERT模型中训练；

步骤43：模型输出不同网络层的隐藏状态表示，将其作为句子对的不同语义特征表示；

步骤5：将所述情感嵌入和所述语义嵌入进行集成，利用线性加权和多头自注意力机制获得最终的情感和语义特征表示，并将该表示送入softmax层进行训练分类，得到评论句中涉及的方面类别和对应的情感极性。具体为：

步骤51：连接情感嵌入和语义嵌入，得到维度为d的情感和语义特征向量表示；

步骤52：将每一层对应的d维特征映射到一维特征空间上，并通过线性加权得到初始情感和语义特征表示；

步骤53：将初始情感和语义特征表示送入多头自注意力机制中，得到最终的情感和语义特征表示；

步骤54：将步骤53得到的特征表示送入全连接层进行分类，用来预测评论句中提到的方面类别和其对应的情感极性。

根据以上步骤，本发明进行了消融实验来进一步研究模型如何从每个组件中受益，如表1所示，其中w/o表示从模型中移除了某个组件。实验证明，本发明中基于预训练情感嵌入的深度学习模型能够大幅度提高方面级别情感分类任务的准确性。

表1模型在患者评论数据集上的消融实验结果

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (8)

1.一种基于预训练情感嵌入的中文方面级别情感分类方法，其特征在于，具体包括：

步骤1：在患者对医生的评论数据中标注方面级别情感标签和对应的情感极性；

步骤2：对标注后的评论数据进行预处理，然后按照训练集、验证集、测试集进行划分；

步骤3：将预处理后的评论数据进行分词处理后送入预训练情感嵌入模块中，所述预训练情感嵌入模块得到的向量再送到双层双向LSTM模型中进行预先训练，根据全连接层学到的分布式特征表示在中文词级别上提取评论句的情感嵌入；

步骤4：对预处理后的评论数据进行扩展，使用BERT模型将句子中的每个中文字符映射到向量空间，用来在中文字符级别上提取评论句的语义嵌入；

步骤5：将所述情感嵌入和所述语义嵌入进行集成，利用线性加权和多头自注意力机制获得最终的情感和语义特征表示，并将该表示送入softmax层进行训练分类，得到评论句中涉及的方面类别和对应的情感极性。

2.根据权利要求1所述一种基于预训练情感嵌入的中文方面级别情感分类方法，其特征在于，所述方面级别情感标签包括态度、医德和医术；所述情感极性包括积极、消极和无此方面。

3.根据权利要求1所述一种基于预训练情感嵌入的中文方面级别情感分类方法，其特征在于，对标注后的评论数据进行预处理，具体为：去除空文本、重复文本、停用词，再通过正则表达式去除文本中无用字符。

4.根据权利要求1所述一种基于预训练情感嵌入的中文方面级别情感分类方法，其特征在于，所述步骤3具体实现方式为：

步骤31：针对预处理后的评论数据利用python中的Jieba分词进行处理；

步骤32：分词处理后的评论数据送入预训练情感嵌入模块中，得到每一条评论的情感词向量矩阵；

步骤33：将所述情感词向量矩阵送到双层双向LSTM模型中进行预先训练，使用门控机制来捕捉单词序列的前后依赖关系，获得反映句子情感信息的固定尺寸的特征向量S。

5.根据权利要求4所述一种基于预训练情感嵌入的中文方面级别情感分类方法，其特征在于，所述预训练情感嵌入模块利用一种基于多头注意力机制的对抗学习方法ASWE来学习句子中每个词的情感特征。

6.根据权利要求1或4所述一种基于预训练情感嵌入的中文方面级别情感分类方法，其特征在于，所述双层双向LSTM模型是一种包括前向网络和后向网络的双向循环神经网络，给定一个包含n个单词的句子T＝(t₁,t₂,...,t_n)，前向网络通过第k个输入单词在最后一层网络的输出向量

来预测下一个单词t_k+1，后向网络通过第k个输入单词在最后一层网络的输出向量

来预测前一个单词t_k-1，优化的目标函数为：

其中

和

分别表示前向和后向网络的参数，并且这两个方向上的参数是独立的。

7.根据权利要求1所述一种基于预训练情感嵌入的中文方面级别情感分类方法，其特征在于，所述步骤4具体实现方式为：

步骤41：通过构造与方面类别、情感极性相关的辅助句子，将预处理后的评论数据进行扩展；扩展后的评论数据集包括原始评论X和辅助句子A，标签“0”表示针对某方面的情感极性未在评论中出现，标签“1”表示针对某方面的情感极性在评论中出现，最终BERT模型的输入序列表示为P＝[CLS,X,SEP,A,SEP]；

步骤42：将所述BERT模型的输入序列表示为令牌嵌入、段嵌入和位置嵌入的总和，并送到L个连续的变压器编码块中；

步骤43：经过训练后，BERT模型中每个编码层的隐藏状态为：

为了动态融合每个BERT编码层包含的空间和分层信息，使用CLS令牌的隐藏状态序列

表示句子对的语义特征。

8.根据权利要求1所述一种基于预训练情感嵌入的中文方面级别情感分类方法，其特征在于，所述步骤5具体实现方式为：

步骤51：将情感嵌入S和语义嵌入h_CLS进行连接，得到维度为d的情感和语义特征向量表示：

步骤52：使用全连接层将步骤51中每一层对应的d维特征Q^d映射到一维特征空间上，并将获取的一维向量Q¹送入softmax层，得到每一层特征对应的权重，然后通过线性加权动态组合所有特征，得到初始情感和语义特征表示O'：

O′＝Q^d·softmax(W_qQ¹+b_q) (4)

其中W_q和b_q分别是全连接层中的可训练参数矩阵和向量；

步骤53：利用多头自我注意力机制获取初始特征表示O’，得到了最终的情感和语义特征表示O，具体步骤如下：

A1.首先在特定的注意力头h下定义每一个输入向量

和

之间的相关性:

其中ψ^(h)(x,y)表示向量x和y的相似性度量函数，

和

是将原始嵌入空间映射到新空间的变换矩阵；

A2.通过相关系数

更新向量e_m的表示为：

其中

是将原始嵌入空间映射到新空间的变换矩阵，

代表多头自注意力机制学习到的新的向量；

步骤54：Softmax函数将步骤53得到的特征表示O转换为标签集y＝{0,1}上的条件概率分布，并输出具有最大概率值的标签，作为最终的预测结果：

其中W_o和b_o分别为可训练的参数矩阵和向量；

步骤55：通过最小化所有数据样本中真实值y和预测值

之间的交叉熵损失来进行训练，交叉熵损失函数L为：

其中i和j分别表示数据样本和标签类别的索引；选取其中分类效果最好的模型并加载，将中文患者评论数据送入模型中，进而预测评论句中提到的方面类别和其对应的情感极性。

Images