CN111966827A - 基于异构二部图的对话情感分析方法 - Google Patents

Abstract

一种基于异构二部图的对话情感分析方法，属于数据挖掘技术领域，用以解决对话文本中用户的情绪识别任务的问题，要点是包括S1、中文对话情感分析数据集的构建；S2、构建基于依存关系的异构二部图；S3、构建并拼接文本的语义表示和句法表示；S4、利用文本分类模型预测情感极性，效果是将对话文本的依存关系表示为异构二部图形式，与经典的情感分析模型相结合建模文本的语义和句法特征，在对话情感分析任务上实现了优秀的预测性能。

Description

基于异构二部图的对话情感分析方法

技术领域

本发明属于数据挖掘领域，涉及一种将依存关系转化为异构二部 图辅助对话情感分析的方法。

背景技术

随着移动互联网的兴起，社交媒体正在逐渐成为人们表达观点和 情感的主要平台。与传统的交流意见与情感的方式不同(如书信)， 社交媒体平台的交流往往是充满俚语和表情符的短文本对话形式进 行，例如微博评论、电商客服咨询等。短文本对话是多个用户交替发 言产生的，对话的全局语义是多用户在对话上下文中共同构建，且单 次发言的语义具有高度情景化的特点，这使得对社交媒体中对话结构 的文本分析成为自然语言处理领域的难点之一。

文本情感分析旨在识别或提取文本中的情绪信息，如对商品评论、 电影影评等短文本进行情绪识别，但是这些应用领域往往只是针对单 个用户的某一文本进行分析，对于多个用户在对话过程中的情绪识别 目前尚未得到充分研究,近几年，针对社交媒体的情感分析任务越来 越引起研究者的注意。对话情感分析由于涉及到多个用户，用户之间 的交流往往会导致更复杂的上下文语境，如用户之间观点对立等，因 此对对话文本中用户情绪的识别是一个十分具有挑战性的任务。

目前对话情感分析的主流模型为循环神经网络和预训练语言模 型。这些模型往往仅直接对整个句子甚至对话流程进行顺序编码，忽 视了句子本身的语法结构，以及复杂语境下语法成分的复杂上下文关 系。而对话文本中用户的发言多较为口语化的，可能存在词法和结构 等方面的歧义，尤其是循环神经网络存在长距离依赖问题，可能在建 模具有较远距离依赖关系的语法结构时表现不佳。

发明内容

为了解决将依存关系建模为异构二部图辅助对话文本情感分析 的问题，本发明提出如下技术方案：一种基于异构二部图的对话情感 分析方法，包括以下步骤：S1、构建中文对话情感分析数据集；S2、 构建基于依存关系的异构二部图；S3、构建并拼接文本的语义表示和 句法表示；S4、利用文本分类模型预测情感极性。

进一步的，所述的步骤：

S1、构建中文对话情感分析数据集的具体步骤是：通过爬虫程序 获取网页中数据信息，利用HTML解析工具对网页中的有用数据信 息进行解析，对解析的数据进行筛选和清洗，去除数据中的不文明和 涉及隐私的信息；

S2、构建基于依存关系的异构二部图的具体步骤是：将文本的句 法依存关系中的异构边表示为异构节点，形成依存关系的异构二部图；

S3、构建并拼接文本的语义表示和句法表示的具体步骤是：将文 本的语义特征通过BERT模型建模表示，将句法特征通过图卷积网络 提取步骤S2构造的异构二部图蕴含的依存关系信息表示，并将对话 级别拼接；

S4、利用文本分类模型预测情感极性的具体步骤是：将步骤S3 对话级别拼接后的语义特征和句法特征输入前馈神经网络和Softmax 层，基于输入，模型输出每对关系实例在各个类别上的概率值，其中 概率值最大的那一类为候选实例对应的类别标签，从而得到实体间的 关系类型。

进一步的，所述步骤S1具体包括如下步骤：

A1、数据获取:从网页场景的评论区收集对话数据，人工将清洗 筛选后的对话中的每段对话的最后一次发言标注情感标签；

A2、划分数据集：按照比例划分训练集、开发集和测试集；

所述步骤S2具体包括如下步骤：

B1、依存关系分析：对文本数据进行依存关系分析；

B2、依存关系图转化为异构二部图：将文本中的词语视作一类 节点，将所有依存句法中的关系类型视作另一类节点，词语与词语之 间依存关系边不再直接相连，而是由处于支配者的词语连接到对应依 存关系的节点，再从对应依存关系的节点连接到处于从属者的词语， 从而将边异构的依存关系图转化为节点异构的二部图形式；

所述步骤S3具体包括如下步骤：

C1、由BERT建模对话的语义表示，HGCL则建模对话的句法结 构表示，得到的模型包括：

文本输入层：模型的输入为三轮对话形式{s1，s2，s3}，其中si＝ {w₁，w₂，...，w_n}，i＝1，2，3，其中w_i代表句子中的第i个词，n代表句子的词语 数；

语义特征表示层：BERT模型将句子s1,s2,s3表示为[CLS]s1[SEP]s2[SEP]的格式输入BERT中，选取最后一层Transformer 的[CLS]处的隐藏层表示作为全局对话的语义表示；

句法特征表示层：将句子的依存关系图转化为二部异构图，再在 二部异构图上做异构的图卷积运算，提取每个词的句法结构特征表示， 经过特征表示层分别得到句子s₁，s₂，s₃的语义表示

和句法结构 特征表示

其中

代表句子i中第k 个词的j类型特征表示；

C2、基于模型将对话级别拼接：将特征表示层得到的全局语义 向量和全局句法结构特征向量拼接。

进一步的，步骤S1中，

数据获取是从知乎、豆瓣、贴吧社交媒体平台上，通过编写网页 爬虫程序，收集用户多轮对话的文本；

数据清洗和标注是清洗对话文本中的不文明和隐私数据，对剩余 的对话进行情感标注，情感标签包括Happy、Sad、Angry和Others 四类；

划分数据集是将四类标签均按照85％，5％，10％的比例划分训 练集、开发集和测试集，并随机打乱训练集、开发集和测试集。

进一步的，步骤S2中，所述的基于依存关系的异构图卷积网络 的具体表示如下：依存关系图是由词语节点和依存关系边构成的图， 将依存关系图转化为异构二部图，其步骤是：将文本中的词语视作一 类节点，将所有依存句法中的关系类型视作另一类节点，词语与词语 之间依存关系边不再直接相连，由处于支配者的词语连接到对应依存 关系的节点，再从对应依存关系的节点连接到处于从属者的词语，将 所述依存关系图重构为基于依存关系的异构二部图。

进一步的，步骤S3中句法特征表示层具体是：基于依存关系的 异构图卷积层，每张图定义为G＝(V，E)，V是图中节点的集合，E 是图中边的集合，其中V＝V_w∪V_r,V_w为词节点集合，V_r为关系 节点集合，E＝E_wr∪E_rw，E_wr代表从词节点集合V_w指向V_r的边，E_rw代表从词节点集合V_r指向V_w的边，依据E_wr和E_rw和下列第一个公式 分别构造邻接矩阵A_wr和A_rw，运用下列公式,分别计算

和

上式中，e_ij是指由节点i指向节点j的边，A是根据图中边构 造的邻接矩阵，I是单位矩阵，

是加入自循环边后图的邻接矩阵，

是该图的度矩阵，是正则化后的邻接矩阵；

HGCL的卷积操作分为以下两步进行，式中σ(·)是激活函数，H^(t)是第t层隐藏层节点的特征矩阵，W^(t)是特征映射矩阵：

在异构二部图中，模型先更新关系节点的特征向量，再更新词节 点的特征向量，以捕捉依存关系中的由支配者指向从属者的单向链接， 且将词语的语义空间转换到依存关系空间，再从依存关系空间映射回 语义空间，更新后的词的特征向量包含了支配者的信息，还有二者的 依存关系类型信息，卷积的第一步中

为语义空间到依存关系空间 的映射，卷积第二步中的

为依存关系空间到语义空间的映射。

本发明的有益效果在于：本发明提供了一种将依存关系转化为异 构二部图的方法，这种方法可以保留依存关系中支配者和从属者的支 配关系类型，还能减少异构边的种类，将异构边转化为异构节点，极 大减少了异构图卷积网络中参数数量，使模型更容易收敛。同时，本 发明还提出了一种结合异构二部图的句法信息辅助对话情感分析的 框架，在构建的中文对话情感分析数据集上超越了预训练模型BERT 的Micro-F1值0.9％，且高于其他机器学习和深度学习中常用的情感 分析基线模型，验证了本发明发明对对话情感分析任务的有效性。

附图说明

图1为本发明基于异构二部图的对话情感分析的流程示意图。

图2为本发明构建的对话情感分析数据集示例。

图3为本发明运用LPT生成的依存关系图示例。

图4为本发明基于依存关系构造的异构二部图示例。

图5为本发明基于异构二部图解决对话情感分析的模型框架。

具体实施方式

以下结合附图及具体实施方式对本发明进行说明：

一种基于异构二部图的对话情感分析方法，包括以下步骤：

S1、中文对话情感分析数据集的构建：采集社交媒体平台上的用 户评论，对其进行筛选、清洗、标注、划分，其处理方法如下：

A1、数据收集：从知乎、豆瓣、贴吧等社交媒体平台上，通过 编写网页爬虫程序，收集用户多轮对话的文本。

A2、数据清洗和标注：清洗对话文本中的一些不文明和隐私数 据，对剩余的9026场的对话进行情感标注，情感标签包括Happy、 Sad、Angry和Others四类，其中Others是指除Happy、Sad、Angry 标签外的标签。

A3、数据集划分：四类标签均按照85％，5％，10％的比例划分 了训练集、开发集和测试集，然后随机打乱训练集、开发集和测试集。

S2、构建基于依存关系的异构二部图：将对话文本的依存关系转 化为异构二部图，其处理方法如下：

B1、依存关系分析：使用哈工大社会计算与信息检索研究中心 研制的语言技术平台(LPT)对文本数据进行依存关系分析。

B2、依存关系图转化为异构二部图：我们将文本中的词语视作 一类节点，将所有依存句法中的关系类型视作另一类节点，词语与词 语之间依存关系边不再直接相连，而是由处于支配者的词语连接到对 应依存关系的节点，再从对应依存关系的节点连接到处于从属者的词 语，从而将边异构的依存关系图转化为节点异构的二部图形式。

S3、构建并拼接文本的语义表示和句法表示：将文本的语义表示 和句法结构分开表示，语义表示由预训练模型BERT微调得到，句法 结构信息由依存关系构建的异构二部图得到，二者结合提升模型性能， 介绍具体的处理方式。

C1:文本输入层：模型的输入为三轮对话形式{s₁，s₂，s₃}，其中si＝{w₁，w₁，...，w_n}，i＝1，2，3，其中w_i代表句子中的第i个词，n代表句子的词语 数。

C2：语义特征表示层：BERT模型将句子s1,s2,s3表示为 [CLS]s1[SEP]s2[SEP]的格式输入BERT中，选取最后一层Transformer 的[CLS]处的隐藏层表示作为全局对话的语义表示。

C3：句法特征表示层：将S2的依存关系图定义为G＝(V，E)，V 是图中节点的集合，E是图中边的集合，其中V＝V_w∪V_r,V_w为 词节点集合，V_r为关系节点集合，E＝E_wr∪E_rw，E_wr代表从词节 点集合V_w指向V_r的边，E_rw代表从词节点集合V_r指向V_w的边，依据 E_wr和E_rw和下列第一个公式分别构造邻接矩阵A_wr和A_rw，运用下列 公式,分别计算

和

下列公式给出了计算邻接矩阵的算法，

是A_wr和A_rw的一般形式。

上式中，e_ij是指由节点i指向节点j的边，A是根据图中边构 造的邻接矩阵，I是单位矩阵，

是加入自循环边后图的邻接矩阵，

是该图的度矩阵，

是正则化后的邻接矩阵。

HGCL的卷积操作分为以下两步进行，式中σ(·)是激活函数，H^(t)是第t层隐藏层节点的特征矩阵，W^(t)是特征映射矩阵：

在异构二部图中，所有节点的特征向量并不是同步更新的，模型 先更新关系节点的特征向量，再更新词节点的特征向量。这样既可以 捕捉依存关系的由支配者指向从属者的单向链接，又可以将词语的语 义空间转换到依存关系空间，再从依存关系空间映射回语义空间，这 样更新后的词的特征向量不仅包含了支配者的信息，还有二者的依存 关系类型信息。卷积的第一步中

即为语义空间到依存关系空间的 映射，而卷积第二步中的

为依存关系空间到语义空间的映射。

C4：对话级别拼接：将特征表示层得到的全局语义向量和全局 句法结构特征向量拼接。

S4、利用文本分类模型预测情感极性：将S3对话级别拼接后的 语义和句法特征输入前馈神经网络和Softmax层，基于输入，模型会 输出每对关系实例在各个类别上的概率值，其中概率值最大的那一类 即为候选实例对应的类别标签，从而得到实体间的关系类型。

本发明将对话文本的依存关系表示为异构二部图形式，与经典的 情感分析模型相结合建模文本的语义和句法特征，在对话情感分析任 务上实现了优秀的预测性能。

在一种具体方案中，根据上述针对于本发明所涉及方法具体实施 方式的描述，结合具体实施例进行说明。基于异构二部图的对话情感 分析方法的具体步骤如下：

1、中文对话情感分析数据集的构建：本实施例构建的中文对话 情感分析数据集的示例如图1所示，任务是检测用户1第二轮发言时 的情感状态(Happy，Sad，Angry，Others四类)。对收集的数据筛选 标注后，按照85％，5％，10％的比例划分训练集、开发集和测试集， 分类后数据集的数据分布情况如下表所示。

表2中文对话情感分析数据分布

2、构建基于依存关系的异构二部图：如图4是使用LTP对短文 本进行依存分析的实例，图中的Root指向句子的核心词，其余词语 代表文本分词后的结果，蓝色实线代表词与词之间存在依存关系，而 红色词代表对应依存关系的类别，LPT一种存在14种依存关系，如 表2所示。

表2依存句法关系

可以看出即使句子仅含有七个词，其中也包含了六种不同的依存 关系。如果将依存关系图视为同构图，即所有边都视为相同的，无疑 丢失了依存关系图中大量的重要信息。如果将依存关系图中不同的类 型边进行区分(假设依存句法具有r种关系类型)，则在卷积要考虑 每一类型的边对应的映射矩阵R^D×h(D为嵌入式维度，h为隐藏层维 度)，则在图卷积层中需要训练O(r×D×h)的参数规模，这会导致在 小规模数据集上训练过程难以迅速收敛，且反向传播时模型参数梯度 的计算量过大。

针对以上问题，本发明提出一种新颖的基于依存关系的异构图。 我们将文本中的词语视作一类节点，将所有依存句法中的关系类型视 作另一类节点，词语与词语之间依存关系边不再直接相连，而是由处 于支配者的词语连接到对应依存关系的节点，再从对应依存关系的节 点连接到处于从属者的词语。将图3的依存关系重构为我们提出的依 存关系图，如图3所示。由于Root节点既不属于文本中词语，也不 属于关系类型，故其不会出现在我们提出的基于依存关系的异构图中。

通过图3所示的方式，我们可以将依存关系图中边的异构转换为 节点的异构，红色节点全部为词节点，黄色节点全部为关系节点，两 组节点形成了一个有向二部图。二部图中的边分为两种类型，一类为 词节点指向关系节点e_w2r，另一类为关系节点指向词节点e_r2w，对于这 两类边，我们在做图卷积时只需分别对应一个映射矩阵R^D×h，参数规 模为O(2×D×h)，相比于图2的异构图参数量减少了一个量级，使得 模型训练更容易收敛。

3、构建并拼接文本的语义表示和句法表示：随着预训练模型在 自然语言处理的广泛使用，我们还提出了将BERT与HGCL结合的 方案(BERT+HGCL)，由BERT建模对话的语义表示，HGCL则建 模对话的句法结构表示，模型如图4所示。

输入层：模型的输入如图1的三轮对话形式{s1，s2，s3}，其中si＝ {w₁，w₂，...，w_n}，i＝1，2，3，其中w_i代表句子中的第i个词，n代表句子的词语 数。

特征表示层：

(1)、语义表示：BERT模型将句子s₁，s₂，s₃表示为 [CLS]s1[SEP]s2[SEP]的格式输入BERT中，选取最后一层Transformer 的[CLS]处的隐藏层表示作为全局对话的语义表示。

(2)、异构图模块采用图卷积网络，在顶层增加了图池化层，将 句子的所有节点的特征表示作全局平均池化操作

再将句子s₁，s₂，s₃的句法结构表示向量{h₁，h₂，h₃} 输入一个双向LSTM层，得到对话全局的句法结构特征表示。

(3)、对话级别拼接：将特征表示层得到的全局语义向量和全局 句法结构特征向量拼接。

4、利用文本分类模型预测情感极性：将上一步拼接的全局语义 向量和全局句法结构特征向量输入一个前馈神经网络和Softmax激活 函数，即可得到各个标签的概率分布，计算公式如下所示：

p(y＝j|s)＝Softmax(Wh+b)

其中j表示所有分类中的某个类别标签，s表示句子，W是权重 矩阵，b是被学习的偏置向量；选择概率最大的预测概率对应的标签 作为该条数据的预测类型，本发明采用三类情感标签(Happy、Sad、Angry)的平均Micro-F1值评价模型性能，计算公式如下：

上式中，TP(True Positive)表示被判定为正样本，事实上也是 正样本；FP(FalsePositive)表示被判定为正样本，但事实上是负样本； FN(False Negative)代表被判定为负样本，但事实上是正样本。

为了验证方法的有效性，实验选择了十种对比方法：

(1)基于机器学习的模型

机器学习方法主要采取数据预处理、特征工程、模型选择三个步 骤。数据预处理包括分词、去除停用词等步骤，特征工程主要提取句 子的一元分词(Unigram)和二元分词(Bigram)的词频逆文档频率 (TF-IDF)，模型选择部分我们选用了以下五个机器学习算法：

(a)基于高斯分布先验的朴素贝叶斯(GNB)

(b)多层感知机分类器(MLP)

(c)支持向量机(SVM)

(d)随机森林算法(RFC)

(e)梯度提升树(GBDT)

(2)基于深度学习的模型

(f)Text-CNN:将对话中句子以间隔符<EOS>连接成一整段文 本，使用预训练词向量将文本转化为词嵌入矩阵，使用大小分别为2、3、4、5的一维卷积核建模文本的局部语义特征，再通过最大池化层 提取有效特征，将不同卷积核对应的特征拼接起来输入前馈神经网 络和Softmax激活函数，得到各个情感标签的概率分布。

(g)BiLSTM:将对话中句子以间隔符<EOS>连接成一整段文本， 通过两层的双向LSTM对整个对话的上下文进行建模，得到整个对 话的隐层表示后，再使用全连接层和Softmax函数进行分类。

(h)Hierarchical BiLSTM(H-BiLSTM):考虑到对话过程的层 次性，通过底层双向LSTM建模单次发言的上下文信息，通过顶层 双向LSTM建模对话的上下文信息，得到整个对话的特征表示。

(i)BERT:本发明选用BERT-Base中文模型，将对话整个文本 输入预训练模型BERT中，提取最后一层Transformer的第一个字符 [CLS]的隐层向量，然后在训练集上微调BERT模型参数。

(j)H-BiLSTM+HGCL：将方法(h)的方法与本发明的异构图 卷积层相结合，用H-BiLSTM建模语义信息，HGCL建模句法结构 信息，然后二者将特征拼接后进行分类。

表3给出了各个基线模型和我们提出的算法的比较

表3与基线模型的比较

表3是基线模型与我们提出的模型在测试集上的性能，从表中 可以看出(1)基于深度学习的模型全面超越了基于机器学习的方法， 说明深度学习模型在对话情感分析任务上自动提取特征的能力确实 远远强于机器学习模型，即使机器学习模型还有提取手动特征的空 间，但是也很难超越深度学习模型。(2)在机器学习模型中，集成 学习算法RFC和GBDT的整体表现优于其他单模型算法，而朴素贝 叶斯算法的性能表明其不适用于该任务，而表现最佳的GBDT算法 已经接近于深度学习模型的性能。(3)在深度学习方法中，预训练模型BERT远远优于其他未使用预训练的模型，但是将依存关系引 入BERT后，BERT+HGCL相交于BERT提升了0.9％，在其他基线 模型中，H-BiLSTM的性能最佳，将其与句法特征结合后，模型性 能提升了0.7％，充分表明句法结构特征确实是有利于对话情感分析 任务精度的提升。

本发明为更好的比较异构图与同构图在对话情感分析任务的表 现，添加了异构图与同构图的对比实验。我们将图3的依存关系图 仅保留词节点，并将所有的依存关系表示为同一类型，构成了依存 关系的同构图，并将同构图以相同方式嵌入到H-BiLSTM和BERT模型中，形成H-BiLSTM+GCL和BERT+GCL模型。实验过程中， 模型参数和初始化参数保持一致。

表4同构图与异构图对模型影响实验结果对比

从实验结果可以看出，(1)同构图模型H-BiLSTM+GCL比异构 图模型H-BiLSTM+HGCL的性能逊色0.5％，但仍然比H-BiLSTM 模型高0.2％(2)同构图模型BERT+GCL相较于异构图模型 BERT+HGCL大幅下降1.2％，甚至低于BERT模型0.3％。

针对上述实验结果，我们分析了以下几点原因：(1)同构图在 表示依存句法关系时没有区分不同类型的关系，导致同构图包含的 信息量远远少于异构图，因此在两个模型性能上同构图均不如异构 图。(2)同构图中虽然编码了文本的句法信息，但是由于不对边的 类型进行区分，导致图卷积模型中包含了更多“噪声”，句法信息和 “噪声”都在模型中传播，而H-BiLSTM中我们采取词级别拼接， 可以在词级别双向LSTM一定程度去除“噪声”，而在BERT中我们 采用句子级拼接，“噪声”不会得到有效的控制并影响BERT模型的 性能。

以上内容是结合具体的优选技术方案对本发明所作的进一步详 细说明，不能认定本发明的具体实施只局限于这些说明。对于本发 明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提 下，还可以做出若干简单推演或替换，都应当视为属于本发明的保 护范围。

Claims (6)

1.一种基于异构二部图的对话情感分析方法，其特征在于，包括以下步骤：

S1、构建中文对话情感分析数据集；

S2、构建基于依存关系的异构二部图；

S3、构建并拼接文本的语义表示和句法表示；

S4、利用文本分类模型预测情感极性。

2.根据权利要求1所述的一种基于异构二部图的对话情感分析方法，其特征在于，所述的步骤：

S1、构建中文对话情感分析数据集的具体步骤是：通过爬虫程序获取网页中数据信息，利用HTML解析工具对网页中的有用数据信息进行解析，对解析的数据进行筛选和清洗，去除数据中的不文明和涉及隐私的信息；

S2、构建基于依存关系的异构二部图的具体步骤是：将文本的句法依存关系中的异构边表示为异构节点，形成依存关系的异构二部图；

S3、构建并拼接文本的语义表示和句法表示的具体步骤是：将文本的语义特征通过BERT模型建模表示，将句法特征通过图卷积网络提取步骤S2构造的异构二部图蕴含的依存关系信息表示，并将对话级别拼接；

S4、利用文本分类模型预测情感极性的具体步骤是：将步骤S3对话级别拼接后的语义特征和句法特征输入前馈神经网络和Softmax层，基于输入，模型输出每对关系实例在各个类别上的概率值，其中概率值最大的那一类为候选实例对应的类别标签，从而得到实体间的关系类型。

3.根据权利要求1或2所述的一种基于异构二部图的对话情感分析方法，其特征在于，

所述步骤S1具体包括如下步骤：

A1、数据获取：从网页场景的评论区收集对话数据，人工将清洗筛选后的对话中的每段对话的最后一次发言标注情感标签；

A2、划分数据集：按照比例划分训练集、开发集和测试集；

所述步骤S2具体包括如下步骤：

B1、依存关系分析：对文本数据进行依存关系分析；

B2、依存关系图转化为异构二部图：将文本中的词语视作一类节点，将所有依存句法中的关系类型视作另一类节点，词语与词语之间依存关系边不再直接相连，而是由处于支配者的词语连接到对应依存关系的节点，再从对应依存关系的节点连接到处于从属者的词语，从而将边异构的依存关系图转化为节点异构的二部图形式；

所述步骤S3具体包括如下步骤：

C1、由BERT建模对话的语义表示，HGCL则建模对话的句法结构表示，得到的模型包括：

文本输入层：模型的输入为三轮对话形式{s1，s2，s3}，其中si＝{w₁，w₂，..，w_n}，i＝1，2，3，其中w_i代表句子中的第i个词，n代表句子的词语数；

语义特征表示层：BERT模型将句子s1，s2，s3表示为[CLS]s1[SEP]s2[SEP]的格式输入BERT中，选取最后一层Transformer的[CLS]处的隐藏层表示作为全局对话的语义表示；

句法特征表示层：将句子的依存关系图转化为二部异构图，再在二部异构图上做异构的图卷积运算，提取每个词的句法结构特征表示，经过特征表示层分别得到句子s₁，s₂，s₃的语义表示

和句法结构特征表示

其中

代表句子i中第k个词的j类型特征表示；

C2、基于模型将对话级别拼接：将特征表示层得到的全局语义向量和全局句法结构特征向量拼接。

4.根据权利要求3所述的一种基于异构图网络的对话情感分析方法，其特征在于，步骤S1中，

数据获取是从知乎、豆瓣、贴吧社交媒体平台上，通过编写网页爬虫程序，收集用户多轮对话的文本；

数据清洗和标注是清洗对话文本中的不文明和隐私数据，对剩余的对话进行情感标注，情感标签包括Happy、Sad、Angry和Others四类；

划分数据集是将四类标签均按照85％，5％，10％的比例划分训练集、开发集和测试集，并随机打乱训练集、开发集和测试集。

5.根据权利要求3所述的一种基于异构图网络的对话情感分析方法，其特征在于，步骤S2中，所述的基于依存关系的异构图卷积网络的具体表示如下：依存关系图是由词语节点和依存关系边构成的图，将依存关系图转化为异构二部图，其步骤是：将文本中的词语视作一类节点，将所有依存句法中的关系类型视作另一类节点，词语与词语之间依存关系边不再直接相连，由处于支配者的词语连接到对应依存关系的节点，再从对应依存关系的节点连接到处于从属者的词语，将所述依存关系图重构为基于依存关系的异构二部图。

6.根据权利要求3所述的一种基于异构图网络的对话情感分析方法，其特征在于，步骤S3中句法特征表示层具体是：基于依存关系的异构图卷积层，每张图定义为G＝(V，E)，V是图中节点的集合，E是图中边的集合，其中V＝V_w∪V_r，V_w为词节点集合，V_r为关系节点集合，E＝E_wr∪E_rw，E_wr代表从词节点集合V_w指向V_r的边，E_rw代表从词节点集合V_r指向V_w的边，依据E_wr和E_rw和下列第一个公式分别构造邻接矩阵A_wr和A_rw，运用下列公式，分别计算

和

上式中，e_ij是指由节点i指向节点j的边，A是根据图中边构造的邻接矩阵，I是单位矩阵，

是加入自循环边后图的邻接矩阵，

是该图的度矩阵，

是正则化后的邻接矩阵；

HGCL的卷积操作分为以下两步进行，式中σ(·)是激活函数，H^(t)是第t层隐藏层节点的特征矩阵，W^(t)是特征映射矩阵：

在异构二部图中，模型先更新关系节点的特征向量，再更新词节点的特征向量，以捕捉依存关系中的由支配者指向从属者的单向链接，且将词语的语义空间转换到依存关系空间，再从依存关系空间映射回语义空间，更新后的词的特征向量包含了支配者的信息，还有二者的依存关系类型信息，卷积的第一步中

为语义空间到依存关系空间的映射，卷积第二步中的

为依存关系空间到语义空间的映射。

Images