CN111966827B - 基于异构二部图的对话情感分析方法 - Google Patents
基于异构二部图的对话情感分析方法 Download PDFInfo
- Publication number
- CN111966827B CN111966827B CN202010724469.5A CN202010724469A CN111966827B CN 111966827 B CN111966827 B CN 111966827B CN 202010724469 A CN202010724469 A CN 202010724469A CN 111966827 B CN111966827 B CN 111966827B
- Authority
- CN
- China
- Prior art keywords
- dependency
- heterogeneous
- graph
- dialogue
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 60
- 238000004458 analytical method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000013145 classification model Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 23
- KRTSDMXIXPKRQR-AATRIKPKSA-N monocrotophos Chemical compound CNC(=O)\C=C(/C)OP(=O)(OC)OC KRTSDMXIXPKRQR-AATRIKPKSA-N 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 238000011161 development Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 4
- 235000010627 Phaseolus vulgaris Nutrition 0.000 claims description 3
- 244000046052 Phaseolus vulgaris Species 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 2
- 238000007418 data mining Methods 0.000 abstract description 2
- 230000008909 emotion recognition Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000018109 developmental process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
一种基于异构二部图的对话情感分析方法,属于数据挖掘技术领域,用以解决对话文本中用户的情绪识别任务的问题,要点是包括S1、中文对话情感分析数据集的构建;S2、构建基于依存关系的异构二部图;S3、构建并拼接文本的语义表示和句法表示;S4、利用文本分类模型预测情感极性,效果是将对话文本的依存关系表示为异构二部图形式,与经典的情感分析模型相结合建模文本的语义和句法特征,在对话情感分析任务上实现了优秀的预测性能。
Description
技术领域
本发明属于数据挖掘领域,涉及一种将依存关系转化为异构二部 图辅助对话情感分析的方法。
背景技术
随着移动互联网的兴起,社交媒体正在逐渐成为人们表达观点和 情感的主要平台。与传统的交流意见与情感的方式不同(如书信), 社交媒体平台的交流往往是充满俚语和表情符的短文本对话形式进 行,例如微博评论、电商客服咨询等。短文本对话是多个用户交替发 言产生的,对话的全局语义是多用户在对话上下文中共同构建,且单 次发言的语义具有高度情景化的特点,这使得对社交媒体中对话结构 的文本分析成为自然语言处理领域的难点之一。
文本情感分析旨在识别或提取文本中的情绪信息,如对商品评论、 电影影评等短文本进行情绪识别,但是这些应用领域往往只是针对单 个用户的某一文本进行分析,对于多个用户在对话过程中的情绪识别 目前尚未得到充分研究,近几年,针对社交媒体的情感分析任务越来越引起研究者的注意。对话情感分析由于涉及到多个用户,用户之间 的交流往往会导致更复杂的上下文语境,如用户之间观点对立等,因 此对对话文本中用户情绪的识别是一个十分具有挑战性的任务。
目前对话情感分析的主流模型为循环神经网络和预训练语言模 型。这些模型往往仅直接对整个句子甚至对话流程进行顺序编码,忽 视了句子本身的语法结构,以及复杂语境下语法成分的复杂上下文关 系。而对话文本中用户的发言多较为口语化的,可能存在词法和结构等方面的歧义,尤其是循环神经网络存在长距离依赖问题,可能在建 模具有较远距离依赖关系的语法结构时表现不佳。
发明内容
为了解决将依存关系建模为异构二部图辅助对话文本情感分析 的问题,本发明提出如下技术方案:一种基于异构二部图的对话情感 分析方法,包括以下步骤:S1、构建中文对话情感分析数据集;S2、构建基于依存关系的异构二部图;S3、构建并拼接文本的语义表示和 句法表示;S4、利用文本分类模型预测情感极性。
进一步的,所述的步骤:
S1、构建中文对话情感分析数据集的具体步骤是:通过爬虫程序 获取网页中数据信息,利用HTML解析工具对网页中的有用数据信 息进行解析,对解析的数据进行筛选和清洗,去除数据中的不文明和涉及隐私的信息;
S2、构建基于依存关系的异构二部图的具体步骤是:将文本的句 法依存关系中的异构边表示为异构节点,形成依存关系的异构二部图;
S3、构建并拼接文本的语义表示和句法表示的具体步骤是:将文 本的语义特征通过BERT模型建模表示,将句法特征通过图卷积网络 提取步骤S2构造的异构二部图蕴含的依存关系信息表示,并将对话级别拼接;
S4、利用文本分类模型预测情感极性的具体步骤是:将步骤S3 对话级别拼接后的语义特征和句法特征输入前馈神经网络和Softmax 层,基于输入,模型输出每对关系实例在各个类别上的概率值,其中 概率值最大的那一类为候选实例对应的类别标签,从而得到实体间的 关系类型。
进一步的,所述步骤S1具体包括如下步骤:
A1、数据获取:从网页场景的评论区收集对话数据,人工将清洗 筛选后的对话中的每段对话的最后一次发言标注情感标签;
A2、划分数据集:按照比例划分训练集、开发集和测试集;
所述步骤S2具体包括如下步骤:
B1、依存关系分析:对文本数据进行依存关系分析;
B2、依存关系图转化为异构二部图:将文本中的词语视作一类 节点,将所有依存句法中的关系类型视作另一类节点,词语与词语之 间依存关系边不再直接相连,而是由处于支配者的词语连接到对应依 存关系的节点,再从对应依存关系的节点连接到处于从属者的词语,从而将边异构的依存关系图转化为节点异构的二部图形式;
所述步骤S3具体包括如下步骤:
C1、由BERT建模对话的语义表示,HGCL则建模对话的句法结 构表示,得到的模型包括:
文本输入层:模型的输入为三轮对话形式{s1,s2,s3},其中si= {w1,w2,...,wn},i=1,2,3,其中wi代表句子中的第i个词,n代表句子的词语 数;
语义特征表示层:BERT模型将句子s1,s2,s3表示为[CLS]s1[SEP]s2[SEP]的格式输入BERT中,选取最后一层Transformer 的[CLS]处的隐藏层表示作为全局对话的语义表示;
句法特征表示层:将句子的依存关系图转化为二部异构图,再在 二部异构图上做异构的图卷积运算,提取每个词的句法结构特征表示, 经过特征表示层分别得到句子s1,s2,s3的语义表示和句法结构 特征表示/>其中/>代表句子i中第k 个词的j类型特征表示;
C2、基于模型将对话级别拼接:将特征表示层得到的全局语义 向量和全局句法结构特征向量拼接。
进一步的,步骤S1中,
数据获取是从知乎、豆瓣、贴吧社交媒体平台上,通过编写网页 爬虫程序,收集用户多轮对话的文本;
数据清洗和标注是清洗对话文本中的不文明和隐私数据,对剩余 的对话进行情感标注,情感标签包括Happy、Sad、Angry和Others 四类;
划分数据集是将四类标签均按照85%,5%,10%的比例划分训 练集、开发集和测试集,并随机打乱训练集、开发集和测试集。
进一步的,步骤S2中,所述的基于依存关系的异构图卷积网络 的具体表示如下:依存关系图是由词语节点和依存关系边构成的图, 将依存关系图转化为异构二部图,其步骤是:将文本中的词语视作一 类节点,将所有依存句法中的关系类型视作另一类节点,词语与词语之间依存关系边不再直接相连,由处于支配者的词语连接到对应依存 关系的节点,再从对应依存关系的节点连接到处于从属者的词语,将 所述依存关系图重构为基于依存关系的异构二部图。
进一步的,步骤S3中句法特征表示层具体是:基于依存关系的 异构图卷积层,每张图定义为G=(V,E),V是图中节点的集合,E 是图中边的集合,其中V=Vw∪Vr,Vw为词节点集合,Vr为关系 节点集合,E=Ewr∪Erw,Ewr代表从词节点集合Vw指向Vr的边,Erw代表从词节点集合Vr指向Vw的边,依据Ewr和Erw和下列第一个公式 分别构造邻接矩阵Awr和Arw,运用下列公式,分别计算和/>
上式中,eij是指由节点i指向节点j的边,A是根据图中边构 造的邻接矩阵,I是单位矩阵,是加入自循环边后图的邻接矩阵,/>是该图的度矩阵,/>是正则化后的邻接矩阵;
HGCL的卷积操作分为以下两步进行,式中σ(·)是激活函数,H(t)是第t层隐藏层节点的特征矩阵,W(t)是特征映射矩阵:
在异构二部图中,模型先更新关系节点的特征向量,再更新词节 点的特征向量,以捕捉依存关系中的由支配者指向从属者的单向链接, 且将词语的语义空间转换到依存关系空间,再从依存关系空间映射回 语义空间,更新后的词的特征向量包含了支配者的信息,还有二者的依存关系类型信息,卷积的第一步中为语义空间到依存关系空间 的映射,卷积第二步中的/>为依存关系空间到语义空间的映射。
本发明的有益效果在于:本发明提供了一种将依存关系转化为异 构二部图的方法,这种方法可以保留依存关系中支配者和从属者的支 配关系类型,还能减少异构边的种类,将异构边转化为异构节点,极 大减少了异构图卷积网络中参数数量,使模型更容易收敛。同时,本 发明还提出了一种结合异构二部图的句法信息辅助对话情感分析的框架,在构建的中文对话情感分析数据集上超越了预训练模型BERT 的Micro-F1值0.9%,且高于其他机器学习和深度学习中常用的情感 分析基线模型,验证了本发明发明对对话情感分析任务的有效性。
附图说明
图1为本发明基于异构二部图的对话情感分析的流程示意图。
图2为本发明构建的对话情感分析数据集示例。
图3为本发明运用LPT生成的依存关系图示例。
图4为本发明基于依存关系构造的异构二部图示例。
图5为本发明基于异构二部图解决对话情感分析的模型框架。
具体实施方式
以下结合附图及具体实施方式对本发明进行说明:
一种基于异构二部图的对话情感分析方法,包括以下步骤:
S1、中文对话情感分析数据集的构建:采集社交媒体平台上的用 户评论,对其进行筛选、清洗、标注、划分,其处理方法如下:
A1、数据收集:从知乎、豆瓣、贴吧等社交媒体平台上,通过 编写网页爬虫程序,收集用户多轮对话的文本。
A2、数据清洗和标注:清洗对话文本中的一些不文明和隐私数 据,对剩余的9026场的对话进行情感标注,情感标签包括Happy、 Sad、Angry和Others四类,其中Others是指除Happy、Sad、Angry 标签外的标签。
A3、数据集划分:四类标签均按照85%,5%,10%的比例划分 了训练集、开发集和测试集,然后随机打乱训练集、开发集和测试集。
S2、构建基于依存关系的异构二部图:将对话文本的依存关系转 化为异构二部图,其处理方法如下:
B1、依存关系分析:使用哈工大社会计算与信息检索研究中心 研制的语言技术平台(LPT)对文本数据进行依存关系分析。
B2、依存关系图转化为异构二部图:我们将文本中的词语视作 一类节点,将所有依存句法中的关系类型视作另一类节点,词语与词 语之间依存关系边不再直接相连,而是由处于支配者的词语连接到对 应依存关系的节点,再从对应依存关系的节点连接到处于从属者的词语,从而将边异构的依存关系图转化为节点异构的二部图形式。
S3、构建并拼接文本的语义表示和句法表示:将文本的语义表示 和句法结构分开表示,语义表示由预训练模型BERT微调得到,句法 结构信息由依存关系构建的异构二部图得到,二者结合提升模型性能,介绍具体的处理方式。
C1:文本输入层:模型的输入为三轮对话形式{s1,s2,s3},其中si={w1,w1,...,wn},i=1,2,3,其中wi代表句子中的第i个词,n代表句子的词语 数。
C2:语义特征表示层:BERT模型将句子s1,s2,s3表示为 [CLS]s1[SEP]s2[SEP]的格式输入BERT中,选取最后一层Transformer 的[CLS]处的隐藏层表示作为全局对话的语义表示。
C3:句法特征表示层:将S2的依存关系图定义为G=(V,E),V 是图中节点的集合,E是图中边的集合,其中V=Vw∪Vr,Vw为 词节点集合,Vr为关系节点集合,E=Ewr∪Erw,Ewr代表从词节 点集合Vw指向Vr的边,Erw代表从词节点集合Vr指向Vw的边,依据 Ewr和Erw和下列第一个公式分别构造邻接矩阵Awr和Arw,运用下列 公式,分别计算和/>下列公式给出了计算邻接矩阵的算法,/>是Awr和Arw的一般形式。
上式中,eij是指由节点i指向节点j的边,A是根据图中边构 造的邻接矩阵,I是单位矩阵,是加入自循环边后图的邻接矩阵,/>是该图的度矩阵,/>是正则化后的邻接矩阵。
HGCL的卷积操作分为以下两步进行,式中σ(·)是激活函数,H(t)是第t层隐藏层节点的特征矩阵,W(t)是特征映射矩阵:
在异构二部图中,所有节点的特征向量并不是同步更新的,模型 先更新关系节点的特征向量,再更新词节点的特征向量。这样既可以 捕捉依存关系的由支配者指向从属者的单向链接,又可以将词语的语 义空间转换到依存关系空间,再从依存关系空间映射回语义空间,这 样更新后的词的特征向量不仅包含了支配者的信息,还有二者的依存关系类型信息。卷积的第一步中即为语义空间到依存关系空间的 映射,而卷积第二步中的/>为依存关系空间到语义空间的映射。
C4:对话级别拼接:将特征表示层得到的全局语义向量和全局 句法结构特征向量拼接。
S4、利用文本分类模型预测情感极性:将S3对话级别拼接后的 语义和句法特征输入前馈神经网络和Softmax层,基于输入,模型会 输出每对关系实例在各个类别上的概率值,其中概率值最大的那一类 即为候选实例对应的类别标签,从而得到实体间的关系类型。
本发明将对话文本的依存关系表示为异构二部图形式,与经典的 情感分析模型相结合建模文本的语义和句法特征,在对话情感分析任 务上实现了优秀的预测性能。
在一种具体方案中,根据上述针对于本发明所涉及方法具体实施 方式的描述,结合具体实施例进行说明。基于异构二部图的对话情感 分析方法的具体步骤如下:
1、中文对话情感分析数据集的构建:本实施例构建的中文对话 情感分析数据集的示例如图1所示,任务是检测用户1第二轮发言时 的情感状态(Happy,Sad,Angry,Others四类)。对收集的数据筛选 标注后,按照85%,5%,10%的比例划分训练集、开发集和测试集,分类后数据集的数据分布情况如下表所示。
表2中文对话情感分析数据分布
2、构建基于依存关系的异构二部图:如图4是使用LTP对短文 本进行依存分析的实例,图中的Root指向句子的核心词,其余词语 代表文本分词后的结果,蓝色实线代表词与词之间存在依存关系,而 红色词代表对应依存关系的类别,LPT一种存在14种依存关系,如 表2所示。
表2依存句法关系
可以看出即使句子仅含有七个词,其中也包含了六种不同的依存 关系。如果将依存关系图视为同构图,即所有边都视为相同的,无疑 丢失了依存关系图中大量的重要信息。如果将依存关系图中不同的类 型边进行区分(假设依存句法具有r种关系类型),则在卷积要考虑 每一类型的边对应的映射矩阵RD×h(D为嵌入式维度,h为隐藏层维 度),则在图卷积层中需要训练O(r×D×h)的参数规模,这会导致在 小规模数据集上训练过程难以迅速收敛,且反向传播时模型参数梯度 的计算量过大。
针对以上问题,本发明提出一种新颖的基于依存关系的异构图。 我们将文本中的词语视作一类节点,将所有依存句法中的关系类型视 作另一类节点,词语与词语之间依存关系边不再直接相连,而是由处 于支配者的词语连接到对应依存关系的节点,再从对应依存关系的节 点连接到处于从属者的词语。将图3的依存关系重构为我们提出的依 存关系图,如图3所示。由于Root节点既不属于文本中词语,也不 属于关系类型,故其不会出现在我们提出的基于依存关系的异构图中。
通过图3所示的方式,我们可以将依存关系图中边的异构转换为 节点的异构,红色节点全部为词节点,黄色节点全部为关系节点,两 组节点形成了一个有向二部图。二部图中的边分为两种类型,一类为 词节点指向关系节点ew2r,另一类为关系节点指向词节点er2w,对于这 两类边,我们在做图卷积时只需分别对应一个映射矩阵RD×h,参数规 模为O(2×D×h),相比于图2的异构图参数量减少了一个量级,使得 模型训练更容易收敛。
3、构建并拼接文本的语义表示和句法表示:随着预训练模型在 自然语言处理的广泛使用,我们还提出了将BERT与HGCL结合的方案(BERT+HGCL),由BERT建模对话的语义表示,HGCL则建 模对话的句法结构表示,模型如图4所示。
输入层:模型的输入如图1的三轮对话形式{s1,s2,s3},其中si= {w1,w2,...,wn},i=1,2,3,其中wi代表句子中的第i个词,n代表句子的词语 数。
特征表示层:
(1)、语义表示:BERT模型将句子s1,s2,s3表示为 [CLS]s1[SEP]s2[SEP]的格式输入BERT中,选取最后一层Transformer 的[CLS]处的隐藏层表示作为全局对话的语义表示。
(2)、异构图模块采用图卷积网络,在顶层增加了图池化层,将 句子的所有节点的特征表示作全局平均池化操作 再将句子s1,s2,s3的句法结构表示向量{h1,h2,h3} 输入一个双向LSTM层,得到对话全局的句法结构特征表示。
(3)、对话级别拼接:将特征表示层得到的全局语义向量和全局 句法结构特征向量拼接。
4、利用文本分类模型预测情感极性:将上一步拼接的全局语义 向量和全局句法结构特征向量输入一个前馈神经网络和Softmax激活 函数,即可得到各个标签的概率分布,计算公式如下所示:
p(y=j|s)=Softmax(Wh+b)
其中j表示所有分类中的某个类别标签,s表示句子,W是权重 矩阵,b是被学习的偏置向量;选择概率最大的预测概率对应的标签 作为该条数据的预测类型,本发明采用三类情感标签(Happy、Sad、Angry)的平均Micro-F1值评价模型性能,计算公式如下:
上式中,TP(True Positive)表示被判定为正样本,事实上也是 正样本;FP(FalsePositive)表示被判定为正样本,但事实上是负样本; FN(False Negative)代表被判定为负样本,但事实上是正样本。
为了验证方法的有效性,实验选择了十种对比方法:
(1)基于机器学习的模型
机器学习方法主要采取数据预处理、特征工程、模型选择三个步 骤。数据预处理包括分词、去除停用词等步骤,特征工程主要提取句 子的一元分词(Unigram)和二元分词(Bigram)的词频逆文档频率 (TF-IDF),模型选择部分我们选用了以下五个机器学习算法:
(a)基于高斯分布先验的朴素贝叶斯(GNB)
(b)多层感知机分类器(MLP)
(c)支持向量机(SVM)
(d)随机森林算法(RFC)
(e)梯度提升树(GBDT)
(2)基于深度学习的模型
(f)Text-CNN:将对话中句子以间隔符<EOS>连接成一整段文 本,使用预训练词向量将文本转化为词嵌入矩阵,使用大小分别为2、3、4、5的一维卷积核建模文本的局部语义特征,再通过最大池化层 提取有效特征,将不同卷积核对应的特征拼接起来输入前馈神经网 络和Softmax激活函数,得到各个情感标签的概率分布。
(g)BiLSTM:将对话中句子以间隔符<EOS>连接成一整段文本, 通过两层的双向LSTM对整个对话的上下文进行建模,得到整个对 话的隐层表示后,再使用全连接层和Softmax函数进行分类。
(h)Hierarchical BiLSTM(H-BiLSTM):考虑到对话过程的层 次性,通过底层双向LSTM建模单次发言的上下文信息,通过顶层 双向LSTM建模对话的上下文信息,得到整个对话的特征表示。
(i)BERT:本发明选用BERT-Base中文模型,将对话整个文本 输入预训练模型BERT中,提取最后一层Transformer的第一个字符 [CLS]的隐层向量,然后在训练集上微调BERT模型参数。
(j)H-BiLSTM+HGCL:将方法(h)的方法与本发明的异构图 卷积层相结合,用H-BiLSTM建模语义信息,HGCL建模句法结构 信息,然后二者将特征拼接后进行分类。
表3给出了各个基线模型和我们提出的算法的比较
表3与基线模型的比较
表3是基线模型与我们提出的模型在测试集上的性能,从表中 可以看出(1)基于深度学习的模型全面超越了基于机器学习的方法, 说明深度学习模型在对话情感分析任务上自动提取特征的能力确实远远强于机器学习模型,即使机器学习模型还有提取手动特征的空 间,但是也很难超越深度学习模型。(2)在机器学习模型中,集成 学习算法RFC和GBDT的整体表现优于其他单模型算法,而朴素贝叶斯算法的性能表明其不适用于该任务,而表现最佳的GBDT算法 已经接近于深度学习模型的性能。(3)在深度学习方法中,预训练模型BERT远远优于其他未使用预训练的模型,但是将依存关系引 入BERT后,BERT+HGCL相交于BERT提升了0.9%,在其他基线 模型中,H-BiLSTM的性能最佳,将其与句法特征结合后,模型性 能提升了0.7%,充分表明句法结构特征确实是有利于对话情感分析任务精度的提升。
本发明为更好的比较异构图与同构图在对话情感分析任务的表 现,添加了异构图与同构图的对比实验。我们将图3的依存关系图 仅保留词节点,并将所有的依存关系表示为同一类型,构成了依存 关系的同构图,并将同构图以相同方式嵌入到H-BiLSTM和BERT模型中,形成H-BiLSTM+GCL和BERT+GCL模型。实验过程中, 模型参数和初始化参数保持一致。
表4同构图与异构图对模型影响实验结果对比
从实验结果可以看出,(1)同构图模型H-BiLSTM+GCL比异构 图模型H-BiLSTM+HGCL的性能逊色0.5%,但仍然比H-BiLSTM 模型高0.2%(2)同构图模型BERT+GCL相较于异构图模型 BERT+HGCL大幅下降1.2%,甚至低于BERT模型0.3%。
针对上述实验结果,我们分析了以下几点原因:(1)同构图在 表示依存句法关系时没有区分不同类型的关系,导致同构图包含的 信息量远远少于异构图,因此在两个模型性能上同构图均不如异构 图。(2)同构图中虽然编码了文本的句法信息,但是由于不对边的 类型进行区分,导致图卷积模型中包含了更多“噪声”,句法信息和“噪声”都在模型中传播,而H-BiLSTM中我们采取词级别拼接, 可以在词级别双向LSTM一定程度去除“噪声”,而在BERT中我们 采用句子级拼接,“噪声”不会得到有效的控制并影响BERT模型的 性能。
以上内容是结合具体的优选技术方案对本发明所作的进一步详 细说明,不能认定本发明的具体实施只局限于这些说明。对于本发 明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提 下,还可以做出若干简单推演或替换,都应当视为属于本发明的保 护范围。
Claims (5)
1.一种基于异构二部图的对话情感分析方法,其特征在于,包括以下步骤:
S1、构建中文对话情感分析数据集:通过爬虫程序获取网页中数据信息,利用HTML解析工具对网页中的有用数据信息进行解析,对解析的数据进行筛选和清洗,去除数据中的不文明和涉及隐私的信息;
S2、构建基于依存关系的异构二部图:将文本的句法依存关系中的异构边表示为异构节点,形成依存关系的异构二部图;
S3、构建并拼接文本的语义表示和句法表示:将文本的句法依存关系中的异构边表示为异构节点,形成依存关系的异构二部图;
S4、利用文本分类模型预测情感极性:将步骤S3对话级别拼接后的语义特征和句法特征输入前馈神经网络和Softmax层,基于输入,模型输出每对关系实例在各个类别上的概率值,其中概率值最大的那一类为候选实例对应的类别标签,从而得到实体间的关系类型。
2.根据权利要求1所述的一种基于异构二部图的对话情感分析方法,其特征在于,
所述步骤S1具体包括如下步骤:
A1、数据获取:从网页场景的评论区收集对话数据,人工将清洗筛选后的对话中的每段对话的最后一次发言标注情感标签;
A2、划分数据集:按照比例划分训练集、开发集和测试集;
所述步骤S2具体包括如下步骤:
B1、依存关系分析:对文本数据进行依存关系分析;
B2、依存关系图转化为异构二部图:将文本中的词语视作一类节点,将所有依存句法中的关系类型视作另一类节点,词语与词语之间依存关系边不再直接相连,而是由处于支配者的词语连接到对应依存关系的节点,再从对应依存关系的节点连接到处于从属者的词语,从而将边异构的依存关系图转化为节点异构的二部图形式;
所述步骤S3具体包括如下步骤:
C1、由BERT建模对话的语义表示,HGCL则建模对话的句法结构表示,得到的模型包括:
文本输入层:模型的输入为三轮对话形式,其中/>,其中/>代表句子中的第i个词,n代表句子的词语数;
语义特征表示层:BERT模型将句子s1,s2,s3表示为的格式输入BERT中,选取最后一层Transformer的[CLS]处的隐藏层表示作为全局对话的语义表示;
句法特征表示层:将句子的依存关系图转化为二部异构图,再在二部异构图上做异构的图卷积运算,提取每个词的句法结构特征表示,经过特征表示层分别得到句子的语义表示/>和句法结构特征表示/>,其中/>,/>代表句子i中第k个词的j类型特征表示;
C2、基于模型将对话级别拼接:将特征表示层得到的全局语义向量和全局句法结构特征向量拼接。
3.根据权利要求2所述的一种基于异构图网络的对话情感分析方法,其特征在于,步骤S1中,
数据获取是从知乎、豆瓣、贴吧社交媒体平台上,通过编写网页爬虫程序,收集用户多轮对话的文本;
数据清洗和标注是清洗对话文本中的不文明和隐私数据,对剩余的对话进行情感标注,情感标签包括Happy、Sad、Angry和Others四类;
划分数据集是将四类标签均按照85%,5%,10%的比例划分训练集、开发集和测试集,并随机打乱训练集、开发集和测试集。
4.根据权利要求2所述的一种基于异构图网络的对话情感分析方法,其特征在于,步骤S2中,所述的基于依存关系的异构图卷积网络的具体表示如下:依存关系图是由词语节点和依存关系边构成的图,将依存关系图转化为异构二部图,其步骤是:将文本中的词语视作一类节点,将所有依存句法中的关系类型视作另一类节点,词语与词语之间依存关系边不再直接相连,由处于支配者的词语连接到对应依存关系的节点,再从对应依存关系的节点连接到处于从属者的词语,将所述依存关系图重构为基于依存关系的异构二部图。
5.根据权利要求2所述的一种基于异构图网络的对话情感分析方法,其特征在于,步骤S3中句法特征表示层具体是:基于依存关系的异构图卷积层,每张图定义为,/>是图中节点的集合,/>是图中边的集合,其中/> , />为词节点集合,/>为关系节点集合,/>,/>代表从词节点集合/>指向/>的边,/>代表从词节点集合/>指向/>的边,依据/>和/>和下列第一个公式分别构造邻接矩阵/>和/>,运用下列公式,分别计算/>和/>,
上式中,是指由节点/>指向节点/>的边,/>是根据图中边构造的邻接矩阵,/>是单位矩阵,/>是加入自循环边后图的邻接矩阵,/>是该图的度矩阵,/>是正则化后的邻接矩阵;
HGCL的卷积操作分为以下两步进行,式中是激活函数,/>是第/>层隐藏层节点的特征矩阵,/>是特征映射矩阵:
在异构二部图中,模型先更新关系节点的特征向量,再更新词节点的特征向量,以捕捉依存关系中的由支配者指向从属者的单向链接,且将词语的语义空间转换到依存关系空间,再从依存关系空间映射回语义空间,更新后的词的特征向量包含了支配者的信息,还有二者的依存关系类型信息,卷积的第一步中为语义空间到依存关系空间的映射,卷积第二步中的/>为依存关系空间到语义空间的映射。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010724469.5A CN111966827B (zh) | 2020-07-24 | 2020-07-24 | 基于异构二部图的对话情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010724469.5A CN111966827B (zh) | 2020-07-24 | 2020-07-24 | 基于异构二部图的对话情感分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111966827A CN111966827A (zh) | 2020-11-20 |
CN111966827B true CN111966827B (zh) | 2024-06-11 |
Family
ID=73364026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010724469.5A Active CN111966827B (zh) | 2020-07-24 | 2020-07-24 | 基于异构二部图的对话情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111966827B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112632230B (zh) * | 2020-12-30 | 2021-10-15 | 中国科学院空天信息创新研究院 | 一种基于多层级图网络的事件联合抽取方法及装置 |
CN113704460B (zh) * | 2021-03-25 | 2024-05-17 | 腾讯科技(深圳)有限公司 | 一种文本分类方法、装置、电子设备和存储介质 |
CN113158644B (zh) * | 2021-05-13 | 2022-09-20 | 山西大学 | 一种基于多任务学习的修辞格及隐式情绪识别方法 |
CN113553804A (zh) * | 2021-07-15 | 2021-10-26 | 重庆邮电大学 | 一种基于异构图transformer的单文档文本摘要系统 |
CN113672726A (zh) * | 2021-07-20 | 2021-11-19 | 贵州电网有限责任公司 | 一种基于重采样的多轮对话分类方法 |
CN113392190B (zh) * | 2021-08-17 | 2022-02-08 | 财付通支付科技有限公司 | 一种文本识别方法、相关设备及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105630751A (zh) * | 2015-12-28 | 2016-06-01 | 厦门优芽网络科技有限公司 | 一种快速比对文本内容的方法与系统 |
CN109582764A (zh) * | 2018-11-09 | 2019-04-05 | 华南师范大学 | 基于依存句法的交互注意力情感分析方法 |
CN109670039A (zh) * | 2018-11-20 | 2019-04-23 | 华南师范大学 | 基于三部图和聚类分析的半监督电商评论情感分析方法 |
CN109740148A (zh) * | 2018-12-16 | 2019-05-10 | 北京工业大学 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
WO2019214145A1 (zh) * | 2018-05-10 | 2019-11-14 | 平安科技(深圳)有限公司 | 文本情绪分析方法、装置及存储介质 |
CN110717334A (zh) * | 2019-09-10 | 2020-01-21 | 上海理工大学 | 基于bert模型和双通道注意力的文本情感分析方法 |
CN111339260A (zh) * | 2020-03-02 | 2020-06-26 | 北京理工大学 | 一种基于bert和qa思想的细粒度情感分析方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2571373C2 (ru) * | 2014-03-31 | 2015-12-20 | Общество с ограниченной ответственностью "Аби ИнфоПоиск" | Метод анализа тональности текстовых данных |
-
2020
- 2020-07-24 CN CN202010724469.5A patent/CN111966827B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105630751A (zh) * | 2015-12-28 | 2016-06-01 | 厦门优芽网络科技有限公司 | 一种快速比对文本内容的方法与系统 |
WO2019214145A1 (zh) * | 2018-05-10 | 2019-11-14 | 平安科技(深圳)有限公司 | 文本情绪分析方法、装置及存储介质 |
CN109582764A (zh) * | 2018-11-09 | 2019-04-05 | 华南师范大学 | 基于依存句法的交互注意力情感分析方法 |
CN109670039A (zh) * | 2018-11-20 | 2019-04-23 | 华南师范大学 | 基于三部图和聚类分析的半监督电商评论情感分析方法 |
CN109740148A (zh) * | 2018-12-16 | 2019-05-10 | 北京工业大学 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
CN110717334A (zh) * | 2019-09-10 | 2020-01-21 | 上海理工大学 | 基于bert模型和双通道注意力的文本情感分析方法 |
CN111339260A (zh) * | 2020-03-02 | 2020-06-26 | 北京理工大学 | 一种基于bert和qa思想的细粒度情感分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111966827A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111966827B (zh) | 基于异构二部图的对话情感分析方法 | |
US11631007B2 (en) | Method and device for text-enhanced knowledge graph joint representation learning | |
CN109472024B (zh) | 一种基于双向循环注意力神经网络的文本分类方法 | |
CN108363753B (zh) | 评论文本情感分类模型训练与情感分类方法、装置及设备 | |
CN107291693B (zh) | 一种改进词向量模型的语义计算方法 | |
CN108597541B (zh) | 一种增强愤怒与开心识别的语音情感识别方法及系统 | |
CN110059188B (zh) | 一种基于双向时间卷积网络的中文情感分析方法 | |
CN108415953B (zh) | 一种基于自然语言处理技术的不良资产经营知识管理方法 | |
CN113239186B (zh) | 一种基于多依存关系表示机制的图卷积网络关系抽取方法 | |
WO2019080863A1 (zh) | 文本情感分类方法、存储介质及计算机 | |
WO2018218708A1 (zh) | 一种基于深度学习的舆情热点类别划分方法 | |
CN111143576A (zh) | 一种面向事件的动态知识图谱构建方法和装置 | |
CN111858932A (zh) | 基于Transformer的多重特征中英文情感分类方法及系统 | |
CN111382565A (zh) | 基于多标签的情绪-原因对抽取方法及系统 | |
CN108197294A (zh) | 一种基于深度学习的文本自动生成方法 | |
CN113255320A (zh) | 基于句法树和图注意力机制的实体关系抽取方法及装置 | |
CN112231477A (zh) | 一种基于改进胶囊网络的文本分类方法 | |
CN113609289A (zh) | 一种基于多模态对话文本的情感识别方法 | |
CN117236338B (zh) | 一种稠密实体文本的命名实体识别模型及其训练方法 | |
CN112860896A (zh) | 语料泛化方法及用于工业领域的人机对话情感分析方法 | |
CN108363685B (zh) | 基于递归变分自编码模型的自媒体数据文本表示方法 | |
CN111339772B (zh) | 俄语文本情感分析方法、电子设备和存储介质 | |
CN114065749A (zh) | 一种面向文本的粤语识别模型及系统的训练、识别方法 | |
CN113688624A (zh) | 一种基于语言风格的人格预测方法及装置 | |
CN113779966A (zh) | 一种基于注意力的双向cnn-rnn深度模型的蒙文情感分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |