CN115374281A - 基于多粒度融合和图卷积网络的会话情感分析方法 - Google Patents

基于多粒度融合和图卷积网络的会话情感分析方法 Download PDF

Info

Publication number
CN115374281A
CN115374281A CN202211049590.8A CN202211049590A CN115374281A CN 115374281 A CN115374281 A CN 115374281A CN 202211049590 A CN202211049590 A CN 202211049590A CN 115374281 A CN115374281 A CN 115374281A
Authority
CN
China
Prior art keywords
representation
statement
emotion
representing
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211049590.8A
Other languages
English (en)
Other versions
CN115374281B (zh
Inventor
朱小飞
王佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202211049590.8A priority Critical patent/CN115374281B/zh
Publication of CN115374281A publication Critical patent/CN115374281A/zh
Application granted granted Critical
Publication of CN115374281B publication Critical patent/CN115374281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明具体涉及基于多粒度融合和图卷积网络的会话情感分析方法，包括：获取会话序列；将会话序列输入至训练后的情感分类模型，输出得到各个语句的情感预测标签：通过预训练语言模型获取粗粒度上下文信息；其次通过各个语句内的句法依赖关系获取细粒度句法信息；再融合得到多粒度的语句嵌入表示，并输入至星图增强的图卷积网络和有向无环图神经网络，得到各个语句的背景情感语句表示和交互语句表示；进而融合得到各个语句的最终语句表示；最后基于各个语句的最终语句表示生成情感预测标签；本发明能够提取会话中的句子级特征和词级特征，并能够增强会话表征的现实性和可解释性，从而能够提高会话情感分析的准确性。

Description

基于多粒度融合和图卷积网络的会话情感分析方法
技术领域
本发明涉及会话情感分类技术领域，具体涉及基于多粒度融合和图卷积网络的会话情感分析方法。
背景技术
会话情感分析是指对一段会话中的每个语句进行情感分类。最早研究情感分类的方法主要是基于神经网络的方法，社交媒体的兴起也使得具备丰富情感的会话数据激增，因此会话情感分析成为近两年来人工智能领域的一项新兴任务。
对话情感(情绪)分类同样是一个分类任务，具体来说就是对一段会话中的语句进行情感分类，这项任务旨在赋予计算机类似人一样的能力，使得计算机通过像人一样的观察、理解去识别会话中每个语句的情感，该任务在很多领域都具备潜在的应用价值。会话中的每一个语句的情感会受到多方面、多因素的影响，比如说话者之间会有情感传递的影响，因此需要对会话的上下文之间进行有效的建模。
现有技术针对会话情境的建模，主要分为基于图形的建模以及基于递归方式的建模，但这两种方式都存在一定的局限性：1)对于基于图形的建模来说，上下文信息的收集是根据窗口的滑动来收集窗口周围的信息，但是这种方式总是忽略远距离语句的重要信息，并且建模方式也只考虑到了语句之间的交互语句表示，忽略了语句内部的交互语句表示，比如复杂的句法结构和语法信息，而语句内部的依赖结构对于整个语句的理解甚至对会话流程的建模都是至关重要的，这导致会话表征的现实性和可解释性不足。2)基于递归方式的建模也存在忽略远距离信息以及语句内部有效信息的局限性，因为递归方式建模是根据目前语句的时间编码去考虑远距离语句的信息，但这种方式往往只是从最近的语句去获得临近的信息来更新交互语句表示，这样获得的交互语句表示也是受到距离局限的，同样导致会话表征的现实性和可解释性不足。因此，如何设计一种能够增强会话表征的现实性和可解释性的方法是亟需解决的技术问题。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于多粒度融合和图卷积网络的会话情感分析方法，以能够提取会话中的句子级特征和词级特征，并能够增强会话表征的现实性和可解释性，从而能够提高会话情感分析的准确性。
为了解决上述技术问题，本发明采用了如下的技术方案：
基于多粒度融合和图卷积网络的会话情感分析方法，包括：
S1：获取包含若干个语句的会话序列；
S2：将会话序列输入至训练后的情感分类模型，输出得到各个语句的情感预测标签；
情感分类模型通过预训练语言模型获取会话序列中语句之间的粗粒度上下文信息；其次通过各个语句内的句法依赖关系获取单词之间的细粒度句法信息；再融合粗粒度上下文信息和细粒度句法信息得到多粒度的语句嵌入表示；然后将多粒度的语句嵌入表示输入至星图增强的图卷积网络和有向无环图神经网络，建模会话序列的背景情感信息和会话序列中不同说话者之间的说话者交互信息，得到各个语句的背景情感语句表示和交互语句表示；进而融合背景情感语句表示和交互语句表示得到各个语句的最终语句表示；最后基于各个语句的最终语句表示生成情感预测标签；
S3：将会话序列各个语句的情感预测标签作为其会话情感分析结果。
优选的，步骤S2中，将会话序列中的每个语句作为预训练RoBERT-Large模型的输入；然后使用预训练RoBERT-Large模型最后一层的池化嵌入作为对应语句的粗粒度上下文信息。
优选的，步骤S2中，通过如下步骤生成细粒度句法信息：
S201：通过无监督词表示方法将语句中的每个单词映射到一个低维稠密向量，得到语句的向量空间嵌入；
S202：将语句的向量空间嵌入输入至双向LSTM模型，输出语句上下文表示；
向量空间嵌入
Figure BDA0003823267530000021
语句上下文表示
Figure BDA0003823267530000022
其中，
Figure BDA0003823267530000023
Figure BDA0003823267530000024
Figure BDA0003823267530000025
式中：
Figure BDA0003823267530000026
表示可学习参数；
Figure BDA0003823267530000027
Figure BDA0003823267530000028
表示语句的向量空间嵌入表示；
Figure BDA0003823267530000029
表示经过Bi-LSTM的语句表示；
S203：结合Spacy工具对语句的句法结构进行抽取以形成对应的有向图结构；然后将语句上下文表示输入至图卷积神经网络，结合有向图结构进行节点之间的信息传播以捕获到结合了句法结构的语句表示；经过L层图卷积神经网络后，得到语句的语句增强表示；
语句增强表示
Figure BDA00038232675300000210
其中，
Figure BDA00038232675300000211
式中：
Figure BDA0003823267530000031
均表示可学习参数；l＝[1,2,…,L],l∈L表示第l层图卷积神经网络GCN；σ表示非线性激活函数RELU；
Figure BDA0003823267530000032
表示有向图结构；
Figure BDA0003823267530000033
表示有向图结构l-1层中第i个会话中第j个语句的表示；
S204：对语句增强表示进行最大池化，得到对应的细粒度句法信息；
Figure BDA0003823267530000034
式中：
Figure BDA0003823267530000035
表示细粒度句法信息；POOLING表示最大池化操作。
优选的，步骤S2中，通过如下公式计算多粒度的语句嵌入表示：
Figure BDA0003823267530000036
式中：gi表示多粒度的语句嵌入表示；
Figure BDA0003823267530000037
表示细粒度句法信息；vi表示粗粒度上下文信息。
优选的，步骤S2中，通过如下步骤生成交互语句表示：
S211：以会话序列中的语句为节点构建会话序列的有向无环图；
S212：基于有向无环图生成图注意力神经网络，并将融合语句嵌入表示输入至图注意力神经网络，输出拓扑关系语句表示
Figure BDA0003823267530000038
Figure BDA0003823267530000039
Figure BDA00038232675300000310
式中：
Figure BDA00038232675300000311
表示拓扑关系语句表示；
Figure BDA00038232675300000312
表示可训练的参数；Ni表示说话者之间的有向无环图中第i个说话者的邻居；||表示拼接操作；当l＝1时，
Figure BDA00038232675300000313
Figure BDA00038232675300000314
表示注意力分数；
Figure BDA00038232675300000315
表示聚合之后语句的表示。
S213：通过门控循环单元计算拓扑关系语句表示
Figure BDA00038232675300000316
与融合之后的节点表示
Figure BDA00038232675300000317
的交互，得到交互语句表示
Figure BDA00038232675300000318
然后通过门控循环单元和拓扑关系语句表示
Figure BDA00038232675300000319
对节点
Figure BDA00038232675300000320
进行更新，得到更新节点表示
Figure BDA00038232675300000321
Figure BDA00038232675300000322
Figure BDA00038232675300000323
式中：
Figure BDA00038232675300000324
表示交互语句表示；
Figure BDA00038232675300000325
表示更新节点表示；GRU表示门控循环单元；
S214：将交互语句表示
Figure BDA00038232675300000326
和更新节点表示
Figure BDA00038232675300000327
进行融合，得到交互语句表示；
Figure BDA00038232675300000328
式中：
Figure BDA0003823267530000041
表示交互语句表示；
Figure BDA0003823267530000042
表示交互语句表示；
Figure BDA0003823267530000043
表示更新节点表示。
优选的，步骤S2中，通过如下步骤生成背景情感语句表示：
S221：基于会话序列构建会话星图，并在会话星图中构造一个星节点，使得会话星图中的所有节点与星节点完全连接；
S222：对会话序列中所有语句的融合语句嵌入表示进行平均池化操作，作为星节点的初始化表示；
S223：基于自注意力机制，将星节点自身视为query，赋予会话星图中其他节点不同的重要性分数；
Figure BDA0003823267530000044
式中：
Figure BDA0003823267530000045
表示重要性分数；
Figure BDA0003823267530000046
均表示可训练参数；
Figure BDA0003823267530000047
分别通过星节点和其他节点计算；
S224：基于会话星图中其他节点的重要性分数更新星节点表示；
Figure BDA0003823267530000048
式中：
Figure BDA0003823267530000049
表示星节点表示；
Figure BDA00038232675300000410
表示注意力分数；
S225：将拓扑关系语句表示
Figure BDA00038232675300000411
与星节点表示
Figure BDA00038232675300000412
进行拼接，得到背景情感语句表示；
Figure BDA00038232675300000413
式中：
Figure BDA00038232675300000414
表示背景情感语句表示；
Figure BDA00038232675300000415
表示拓扑关系语句表示；
Figure BDA00038232675300000416
表示星节点表示。
优选的，步骤S2中，通过如下公式计算最终语句表示：
Figure BDA00038232675300000417
式中：Ti表示最终语句表示；
Figure BDA00038232675300000418
表示交互语句表示；
Figure BDA00038232675300000419
表示背景情感语句表示。
优选的，步骤S2中，通过如下公式生成对应的情感预测标签：
Figure BDA00038232675300000420
Pi＝Softmax(WzZi+bz)；
Zi＝RELU(WVVi+bV)；
Figure BDA00038232675300000421
式中：
Figure BDA00038232675300000422
表示语句ui的情感预测标签；Pi[k]表示映射函数；Vi表示最终聚合所有层的语句的表示；Zi表示经过激活函数RELU之后的语句表示；Wz、WV表示可学习的参数；S表示情感标签的集合。
优选的，训练情感分类模型时，通过如下的交叉熵损失优化模型参数；
Figure BDA0003823267530000051
式中：L(θ)表示交叉熵损失；θ表示可训练参数；M表示用于训练的会话序列数量；Ni表示第i个用于训练的会话序列中的语句数量；yi,j表示第i个会话中第j条语句的真实标签；Pi,j表示第i个会话中第j条语句情感标签的预测概率函数。
本发明中基于多粒度融合和图卷积网络的会话情感分析方法，具有如下有益效果：
本发明通过情感分类模型获取语句之间的粗粒度上下文信息即句子级特征以及单词之间的细粒度句法信息即词级特征，句子级特征能够反映语句之间上下文的联系，词级特征能够反映语句内部单词之间的交互信息，通过将词级特征和句子级的征进行融合建模，能够更好的捕获会话的局部语义信息和全局语义信息，并且能够将语句内部单词之间的交互信息融入建模，以便更好的理解会话中每个语句所表达的意思，即能够增强会话表征的现实性和可解释性，从而能够提高会话情感分析的准确性。
其次，本发明通过情感分类模型结合星图增强的图卷积网络，建模会话序列的背景情感信息和会话序列中不同说话者之间的说话者交互信息，得到各个语句的背景情感语句表示和交互语句表示并进行融合，使得能够将说话者之间的对话关系和会话的背景情感信息融入到会话中的每个语句中，学习到会话的主体背景情感以及丰富的上下文信息，进而能够大幅提高会话情感识别的准确性，从而能够进一步提高会话情感分析的准确性。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为基于多粒度融合和图卷积网络的会话情感分析方法的逻辑框图；
图2为情感分类模型的网络构架图；
图3为GNN层数在4个数据集上对MGF-ERC和DAG-ERC性能影响的比较示意图；
图4为随着数据迭代次数的增加4个数据集上模型性能的变化示意图；
图5为MELD数据集上对话表示的可视化结果；
图6为实例分析示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面通过具体实施方式进一步详细的说明：
实施例：
本实施例中公开了一种基于多粒度融合和图卷积网络的会话情感分析方法。
如图1所示，基于多粒度融合和图卷积网络的会话情感分析方法，包括：
S1：获取包含若干个语句的会话序列；
S2：将会话序列输入至训练后的情感分类模型，输出得到各个语句的情感预测标签；
结合图2所示，情感分类模型(后续称为MGF-ERC)通过预训练语言模型获取会话序列中语句之间的粗粒度上下文信息；其次通过各个语句内的句法依赖关系获取单词之间的细粒度句法信息；再融合粗粒度上下文信息和细粒度句法信息得到多粒度的语句嵌入表示；然后将多粒度的语句嵌入表示输入至星图增强的图卷积网络和有向无环图神经网络，建模会话序列的背景情感信息和会话序列中不同说话者之间的说话者交互信息，得到各个语句的背景情感语句表示和交互语句表示；进而融合背景情感语句表示和交互语句表示得到各个语句的最终语句表示；最后基于各个语句的最终语句表示生成情感预测标签；
S3：将会话序列各个语句的情感预测标签作为其会话情感分析结果。
本实施例中，情感预测标签是指情感标签的预测概率函数，进而能够根据情感标签的预测概率函数(如[0.04,0,0.92,0.02,0.02])判断语句的标签，其中，预测概率最高的标签便是语句的所属标签，例如：积极、消极、兴奋等。
本发明通过情感分类模型获取语句之间的粗粒度上下文信息即句子级特征以及单词之间的细粒度句法信息即词级特征，句子级特征能够反映语句之间上下文的联系，词级特征能够反映语句内部单词之间的交互信息，通过将词级特征和句子级的征进行融合建模，能够更好的捕获会话的局部语义信息和全局语义信息，并且能够将语句内部单词之间的交互信息融入建模，以便更好的理解会话中每个语句所表达的意思，即能够增强会话表征的现实性和可解释性，从而能够提高会话情感分析的准确性。
其次，本发明通过情感分类模型结合星图增强的图卷积网络，建模会话序列的背景情感信息和会话序列中不同说话者之间的说话者交互信息，得到各个语句的背景情感语句表示和交互语句表示并进行融合，使得能够将说话者之间的对话关系和会话的背景情感信息融入到会话中的每个语句中，学习到会话的主体背景情感以及丰富的上下文信息，进而能够大幅提高会话情感识别的准确性，从而能够进一步提高会话情感分析的准确性。
具体实施过程中，会话序列U＝{u1,u2,…,uN}，ui表示会话序列的第i个语句，N表示会话序列中语句的数量；每个语句ui由n个单词组成，
Figure BDA0003823267530000071
S＝(y1,y2,…,y|V|}是情感标签的集合，yi∈S表示第i个语句ui的情感标签，|V|代表情感标签集合的大小。使用p(.)表示说话者的映射函数，例如：p(ui)∈P表示语句ui所对应的说话者，P表示数据中所有说话者的集合。会话情感分析的目标是识别会话序列U＝{u1,u2,…,uN}中每条语句ui的情感倾向(即情感标签)yi。
具体实施过程中，预训练语言模型例如BERT、RoBERT等能在大规模语料库中训练得到一个通用的语言解释，本发明在句子级特征提取阶段使用了预训练模型RoBERTa-Large进行句子级别的特征提取。
将会话序列中的每个语句ui作为预训练RoBERT-Large模型的输入，输入形式为
Figure BDA0003823267530000072
Figure BDA0003823267530000073
然后使用[CLS]在预训练RoBERT-Large模型最后一层的池化嵌入作为语句ui的句子级特征表示，即粗粒度上下文信息
Figure BDA0003823267530000074
RoBERT-Large是一种现有预训练语言模型，属于BERT的强化版本，也是BERT模型更为精细的调优版本。RoBERT-Large模型是BERT的改进版在模型规模、算力和数据上有更大的模型参数量、更大bacth size以及更多的训练数据。
具体实施过程中，词级特征提取的目标是基于句子内的句法依赖关系来捕获词之间的交互信息以增强语句的表征能力。
通过如下步骤生成细粒度句法信息：
S201：通过无监督词表示方法Glove将语句ui中的每个单词wi,j映射到一个低维稠密向量
Figure BDA0003823267530000081
得到语句ui的向量空间嵌入
Figure BDA0003823267530000082
S202：将语句的向量空间嵌入
Figure BDA0003823267530000083
输入至双向LSTM模型，输出对应的语句上下文表示
Figure BDA0003823267530000084
其中
Figure BDA0003823267530000085
语句上下文表示
Figure BDA0003823267530000086
其中，
Figure BDA0003823267530000087
Figure BDA0003823267530000088
Figure BDA0003823267530000089
式中：
Figure BDA00038232675300000810
表示可学习参数；
Figure BDA00038232675300000811
表示语句的向量空间嵌入表示；
Figure BDA00038232675300000812
表示经过Bi-LSTM的语句表示；
语句的句法结构可以捕获词之间的隐式内联关系，通过建模这种关系可以从语句的句法角度增强单词的表征能力。为此，本发明针对性的设计了一个以语句的句法依赖结构为基础的图神经网络。
S203：结合Spacy工具对语句ui的句法结构进行抽取以形成到对应的有向图结构
Figure BDA00038232675300000813
Figure BDA00038232675300000814
其中n是语句ui中的单词数量；然后将语句上下文表示
Figure BDA00038232675300000815
输入至图卷积神经网络GCN，结合有向图结构
Figure BDA00038232675300000816
进行节点即单词之间的信息传播以捕获到ui的句法结构；经过L层图卷积神经网络GCN后，得到语句ui的语句增强表示
Figure BDA00038232675300000817
有向无环图作为一种特殊类型的图结构出现在自然语言处理领域，逐渐在NLP的多个子任务中发挥作用，在会话情感分析任务中也提出了许多采用有向无环图架构的神经网络模型，该模型允许多层图结构的堆叠，同时可以更有效的聚合上下文信息。
语句增强表示
Figure BDA00038232675300000818
其中，
Figure BDA00038232675300000819
式中：
Figure BDA00038232675300000820
均表示可学习参数；l＝[1,2,…,L],l∈L表示第l层图卷积神经网络GCN；σ表示非线性激活函数RELU；
Figure BDA00038232675300000821
表示有向图结构；
Figure BDA00038232675300000822
表示有向图结构l-1层中第i个会话中第j个语句的表示；
S204：对语句增强表示
Figure BDA0003823267530000091
进行最大池化，得到对应的细粒度句法信息
Figure BDA0003823267530000092
Figure BDA0003823267530000093
式中：
Figure BDA0003823267530000094
表示通过句法结构增强的语句表示，即细粒度句法信息；POOLING表示最大池化操作。
具体实施过程中，语句的词级表示捕获了词之间的句法内联关系，其可以从句法角度来对语句进行表征。并且，语句的句子级表示充分捕获了语句的上下文，其蕴含的是一种句子顺序表示。因此，在得到两种粒度的表征后，将二者进行特征融合以捕获高质量的语句嵌入表示。
通过如下公式计算多粒度的语句嵌入表示：
Figure BDA0003823267530000095
式中：gi表示多粒度的语句嵌入表示；
Figure BDA0003823267530000096
表示细粒度句法信息；vi表示粗粒度上下文信息。
本发明能够有效的获取语句之间的粗粒度上下文信息即句子级特征以及单词之间的细粒度句法信息即词级特征，其中，句子级特征能够反映语句之间上下文的联系，词级特征能够反映语句内部单词之间的交互信息，通过将词级特征和句子级的征进行融合建模，能够更好的捕获会话的局部语义信息和全局语义信息，并且能够将语句内部单词之间的交互信息融入建模，以便更好的理解会话中每个语句所表达的意思，从而能够更好的增强会话表征的现实性和可解释性。
具体实施过程中，会话是以多位说话者之间相互交流的语句形成，说话者之间的对话关系往往蕴含着会话的情感走向。为了捕获此类信息，在建模中以说话者为节点来为每个会话序列构建一张有向无环图并结合图神经网络来使语句的嵌入表示包含说话者之间的信息传播范式。
通过如下步骤生成交互语句表示：
S211：以会话序列中的语句为节点构建会话序列的有向无环图G＝(V,E,R)；
V＝{u1,u2,…,uN}表示会话序列中的语句集合，(i,j,rij)∈E表示有向无环图中节点ui和uj之间的信息传播，rij∈R表示节点之间边的类型，边的类型只有两类R＝{0,1}，1表示两个连接的语句是由同一个说话者说出的，0表示两个连接的语句不是一个说话者说出的；
在构图过程中定义了三个约束去决定是否将信息从ui传给uj：
1)
Figure BDA0003823267530000101
为了捕获会话中说话者之间的顺序关系，该约束表示会话中在前面的说话者的语句可以传递给相对后面的说话者的语句，但是后面的说话者的语句不能向前传递。
2)
Figure BDA0003823267530000102
并且
Figure BDA0003823267530000103
为了捕获语句的同源性，在图中设置同一说话者之间的语句进行关系连接。例如第i个语句的说话者在同一会话中靠后部分发布了第γ个语句uγ，同时为了捕获同一说话者语句间的顺序性，规定存在连边(i,γ,rγj)∈E(p,γ,rγj)∈E。
3)
Figure BDA00038232675300001027
为了捕获说话者之间的高阶关系，若说话者γ和i的语句交流中存在说话者l发布的语句，构图中则规定语句uγ和语句ui之间存在连边。
S212：基于有向无环图生成图注意力神经网络，并将融合语句嵌入表示输入至图注意力神经网络，输出拓扑关系语句表示
Figure BDA0003823267530000104
Figure BDA0003823267530000105
Figure BDA0003823267530000106
式中：
Figure BDA0003823267530000107
表示拓扑关系语句表示；Ni表示说话者之间的有向无环图G中第i个说话者的邻居；
Figure BDA0003823267530000108
表示可训练的参数；||表示拼接操作；当l＝1时，
Figure BDA0003823267530000109
S213：为了缓解由于堆叠过多图神经网络而带来的过度平滑问题，同时为了进一步捕获会话内语句间的顺序关系，通过门控循环单元计算拓扑关系语句表示
Figure BDA00038232675300001010
与融合之后的节点表示
Figure BDA00038232675300001011
的交互，得到交互语句表示
Figure BDA00038232675300001012
为了同属使得聚合词级和句子级的语句表示能够和经过聚合说话者之间拓扑关系的语句表示进行充分交互，通过门控循环单元和拓扑关系语句表示
Figure BDA00038232675300001013
对节点
Figure BDA00038232675300001014
进行更新，得到更新节点表示
Figure BDA00038232675300001015
Figure BDA00038232675300001016
Figure BDA00038232675300001017
式中：
Figure BDA00038232675300001018
表示交互语句表示；
Figure BDA00038232675300001019
表示更新节点表示；GRU表示门控循环单元；
S214：将交互语句表示
Figure BDA00038232675300001020
和更新节点表示
Figure BDA00038232675300001021
进行融合，得到交互语句表示
Figure BDA00038232675300001022
Figure BDA00038232675300001023
式中：
Figure BDA00038232675300001024
表示交互语句表示；
Figure BDA00038232675300001025
表示交互语句表示；
Figure BDA00038232675300001026
表示更新节点表示。
具体实施过程中，在日常会话当中，往往存在着一个会话主题或主体背景情感潜在影响着会话中每句话的情感倾向，基于对会话主体的把握，为了建模此类信息，我们在每个会话中构建了一个星节点来代表每个会话的背景情感信息，将会话的背景情感信息融入到会话中的每个语句中，以此来达到增强情感分析准确性的目的。
通过如下步骤生成背景情感语句表示：
S221：基于会话序列构建会话星图，并在会话星图中构造一个星节点，使得会话星图中的所有节点与星节点完全连接；
S222：对会话序列中所有语句的多粒度的语句嵌入表示进行平均池化操作，作为星节点
Figure BDA0003823267530000111
的初始化表征；
基于对会话主体的把握，为了建模此类信息，我们在每个会话中构建了一个星节点来代表每个会话的背景情感信息，将会话的背景情感信息融入到会话中的每个语句中，以此来达到增强情感分析准确性的目的。
S223：基于自注意力机制，将星节点
Figure BDA0003823267530000112
自身视为query，赋予会话星图中其他节点不同的重要性分数；也可基于会话星图生成图注意力神经网络，并将多粒度的语句嵌入表示输入至图注意力神经网络，输出拓扑关系语句表示
Figure BDA0003823267530000113
并结合拓扑关系语句表示
Figure BDA0003823267530000114
Figure BDA0003823267530000115
更新星节点。
Figure BDA0003823267530000116
式中：
Figure BDA0003823267530000117
表示重要性分数；
Figure BDA0003823267530000118
均表示可训练参数；
Figure BDA0003823267530000119
分别通过星节点和其他节点计算；
S224：基于会话星图中其他节点的重要性分数更新星节点表示
Figure BDA00038232675300001110
Figure BDA00038232675300001111
式中：
Figure BDA00038232675300001112
表示注意力分数；
S225：将拓扑关系语句表示
Figure BDA00038232675300001113
与星节点表示
Figure BDA00038232675300001114
进行拼接，得到背景情感语句表示；
Figure BDA00038232675300001115
式中：
Figure BDA00038232675300001116
表示背景情感语句表示；
Figure BDA00038232675300001117
表示拓扑关系语句表示；
Figure BDA00038232675300001118
表示星节点表示。
本发明能够有效建模会话序列的背景情感信息和会话序列中不同说话者之间的说话者交互信息，得到各个语句的背景情感语句表示和交互语句表示并进行融合，使得能够将说话者之间的对话关系和会话的背景情感信息融入到会话中的每个语句中，学习到会话的主体背景情感以及丰富的上下文信息，进而能够大幅提高会话情感识别的准确性，从而能够进一步提高会话情感分析的准确性。
具体实施过程中，为了缓解深度网络带来的梯度消失的问题，结合残差结构用以进行信息增强。通过如下公式计算最终语句表示：
Figure BDA0003823267530000121
式中：Ti表示最终语句表示；
Figure BDA0003823267530000122
表示交互语句表示；
Figure BDA0003823267530000123
表示背景情感语句表示。
具体实施过程中，将所有层的隐藏状态进行拼接得到语句ui的最终语句表示，并将其放入一个前馈神经网络进行情感倾向预测。通过如下公式生成对应的情感预测标签：
Figure BDA0003823267530000124
Pi＝Softmax(WzZi+bz)；
Zi＝RELU(WVVi+bV)；
Figure BDA0003823267530000125
式中：
Figure BDA0003823267530000126
表示语句ui的情感预测标签；Pi[k]表示映射函数；Vi表示最终聚合所有层的语句的表示；Zi表示经过激活函数RELU之后的语句表示；Wz、WV表示可学习的参数；S表示情感标签的集合。
具体实施过程中，训练情感分类模型时，通过如下的交叉熵损失优化模型参数；
Figure BDA0003823267530000127
式中：K(θ)表示交叉熵损失；θ表示可训练参数；M表示用于训练的会话序列数量；Ni表示第i个用于训练的会话序列中的语句数量；yi,j表示第i个会话中第j条语句的真实标签；Pi,j表示第i个会话中第j条语句情感标签的预测概率函数，基于情感标签的预测概率函数可以确定情感预测标签
Figure BDA0003823267530000128
为了更好的说明本专利申请技术方案的优势，本实施例中公开了如下实验。
1、参数设置及评价指标
本实验提出的模型中所有的隐藏状态维度都是300维，RoBERT-large提取的特征维度是1024维，Bi-LSTM层数为2层，GAT层数为6层，同时我们对模型进行了多次训练，本实验中所报告的结果都是基于测试集上10次随机运行的平均分数。
MGF-ERC模型(即本发明中的情感分类模型)采用F1值作为评价指标，来验证MGF-ERC模型在会话情感分析任务中的性能，如下式所示：
Figure BDA0003823267530000129
Figure BDA00038232675300001210
Figure BDA0003823267530000131
2、数据集统计
本实验在四个数据集上评估MGF-ERC模型，统计结果如表1所示。
表1数据集统计
Figure BDA0003823267530000132
IEMOCAP(来自Busso C,Bulut M,Lee C C,et al.IEMOCAP:Interactiveemotional dyadic motion capture database)：是一个多模态会话情感分析数据集，IEMOCAP里的每一段对话都是两个演员基于剧本的对话，数据集中包含6种情绪，即中性、快乐、悲伤、愤怒、沮丧以及兴奋。
DailyDialog(来自Li Y,Su H,Shen X,et al.Dailydialog:A manuallylabelled multi-turn dialogue dataset)：该数据集是从大量英语学习者网站中收集的对话数据，包括7种情绪标签，即中性、快乐、惊讶、悲伤、愤怒、厌恶以及恐惧。
MELD(来自Poria S,Hazarika D,Majumder N,et al.Meld:A multimodal multi-party dataset for emotion recognition in conversations)：是一个多模态会话情感分析数据集，这个数据是从电视节目《老友记》中收集而来，一共包含7种情绪标签，即中性、快乐、惊讶、悲伤、愤怒、厌恶以及恐惧。
EmoryNLP(来自Zahiri S M,Choi J D.Emotion detection on tv showtranscripts with sequence-based convolutional neural networks)：这个数据集也是从电视剧《老友记》剧本中收集而来的对话，但是和数据集MELD相比，它在场景和情感标签的选择上都是不同的。该数据集包含7种情感标签，即中性、悲伤、疯狂、恐惧、强大、平静以及快乐。
3、对比实验
为了验证本发明MGF-ERC模型的有效性，本实验将MGF-ERC模型与其他基线模型进行对比，总体结果如表2所示。
表2 MGF-ERC模型实验结果(粗体：最优结果；下划线：次优结果)
Figure BDA0003823267530000141
DialogRNN(来自Majumder N,Poria S,Hazarika D,et al.Dialoguernn:Anattentive rnn for emotion detection in conversations)描述了一种基于递归神经网络的新方法，它在整个对话过程中跟踪独立当事人(individual party)的状态，并将这些信息用于会话情感分类。
KET(来自Zhong P,Wang D,Miao C.Knowledge-enriched transformer foremotion detection in textual conversations)的任务是输出给定话语的情感类别，使机器能够分析对话中的情感，这个任务具有挑战性的部分原因是人们经常依赖上下文和常识知识来表达情感，KET对Transformer模型做了一些改进，引入了常识知识库以及情感词典，同时提出了分层注意力:话语级和上下文级自注意力层，分别用来计算话语表示和上下文表示。
DialogX L(来自Shen W,Chen J,Quan X,et al.Dialogxl:All-in-one xlnetfor multi-party conversation emotion recognition)首先将XLNet的重复机制从段落级别修改为话语级别，以便更好地对会话数据进行建模。其次，文中DialogXL在XLNet的基础上引入了对话感知的自我关注来取代普通的自我关注，以捕获有用的说话者内部和说话者之间的依赖关系。
DialogueGCN(来自Ghosal D,Majumder N,Poria S,et al.Dialoguegcn:A graphconvolutional neural network for emotion recognition in conversation)是一种基于图神经网络的ERC方法，它利用了对话者的自我和说话者之间的依存关系来为情感识别建模会话上下文。通过图网络，DialogueGCN解决了当前基于RNN的方法中存在的上下文传播问题。
RGAT(来自Ishiwatari T,Yasuda Y,Miyazaki T,et al.Relation-aware graphattention networks with relational position encodings for emotion recognitionin conversations)提出了关系位置编码，为RGAT提供反映关系图结构的顺序信息，可以同时捕获说话者依赖性和顺序信息。
DAGNN(来自Thost V,Chen J.Directed acyclic graph neural networks)首次提出了有向无环图神经网络，它是一种根据部分顺序定义的流程来处理信息的体系结构，DAGNN通常被看作是一种进行早期工作的框架。
DAG-ERC(来自Shen W,Wu S,Yang Y,et al.Directed acyclic graph networkfor conversational emotion recognition)是使用了有向无环图对会话进行编码的方法，在DAGNN的基础上进行了两项改进：1)基于说话人身份的关系感知特征转换以收集信息；2)利用上下文信息单元，以增强历史上下文信息。
本实验提出的MGF-ERC模型在四个数据集上都具有较好的竞争性能，并且以评价指标也都达到了新的技术水平。
从表2中可以看出，当特征提取方式相同的情况下，基于图的模型分别在IEMOCAP、DailyDialog以及EmoryNLP三个数据集上的表现优于基于递归的模型，这种实验现象表明，基于图形的模型比基于递归的模型能更有效的对会话上下文进行编码，特别是对具有位置信息的局部上下文编码会更加有效。同时，MGF-ERC在IEMOCAP数据集上表现卓越，这能有效证明本实验提出的模型能有效捕捉远程信息并且做到更好的分类效果，因为IEMOCAP数据集中会话的长度是比较长的，平均每个会话都有70条左右的对话，在较长的会话中每条对话都做到大概率的正确分类，说明MGF-ERC模型能对会话上下文信息进行有效的利用和整合。
同时可以看出预训练语言模型RoBERTa的加入对于基于图形的模型以及基于递归的模型都能有相当大的改进，这也是近年来预训练模型作为功能强大的特征提取器在NLP领域中多个任务中发挥作用的原因。
同时，MGF-ERC在四个数据集上都要优于DAGNN以及DAG-ERC，这就进一步证明MGF-ERC具有更好的整合上下文信息的能力，也说明MGF-ERC从对话中提取的句法结构以及主体情感是合理且有效的。
4、消融实验
为了研究模型MGF-ERC各个模块对整体的作用，本实验进行了消融实验，通过分别去除词级特征提取层以及星图来评估MGF-ERC，其实验结果如表3所示。
表3 MGF-ERC在4个数据集上的消融实验结果
Figure BDA0003823267530000151
1)w/o Star-Graph：移除了星图部分，在构图过程中没有将星节点加入有向无环图来更新节点，这样做就是将会话中的主体信息移除，最后得到的会话中句子的表征没有融合会话的背景情感信息。
2)w/o Fine-grained-Feature Extraction：移除了相比使用Robert更加细粒度的词级特征提取层，也就是在模型中图节点的初始化表征没有会话中句子的句法信息，只用到了会话中句子上下文之间的交互信息。
从表3中可以看出，分别删除星图部分和细粒度词级特征提取部分会使得MGF-ERC模型的效果明显下降。通过特征提取部分会使得MGF-ERC模型的效果明显下降。通过实验结果显示，单个加入星节点建模对于模型效果的提升是十分有效的，这说明会话还是有很大比例具有相似的背景情感，这点从常识中也可以判断，比如以一件喜事围绕的对话，那对话中大部分话语是更倾向于积极情绪的，以丧事围绕的对话，对话中大部分话语肯定是比较偏向于消极的。
同时也可以证明，将对话中的句法信息加入建模对于上下文的理解也是很有帮助的，这也是在情感分析领域将句法树加入建模的重要原因。
5、参数敏感性实验
在星图和有向无环图的建模过程中，利用堆叠多层的GNN去获取会话中的远程信息，为了测试建模过程中GNN层数对模型性能的影响，在四个数据集上做了参数敏感性实验，图3中(a)～(d)表示四个数据集的参数敏感性实验图，从图中可以看出，当GNN层数堆叠到一定数量时，会出现过度平滑问题而导致模型的性能下降，但是MGF-ERC相较于DAG-ERC来说性能下降的坡度会更加平缓一些，而且在各个参数下模型的总体性能也优于基线模型DAG-ERC。
6、学习曲线
在训练过程中可以利用学习曲线来查看模型的学习效果，通过学习曲线可以清晰的看出模型对数据的过拟合和欠拟合，本实验在四个数据集上(a)～(d)做了相应的学习曲线实验，如图4所示。从图中可以看到，随着数据迭代次数的增加，模型的度量指标F1Score也在逐渐增加，但是当训练数据的迭代次数达到一定数目时，模型的准确率和F1Score都会趋向于平稳。同时，训练时的损失函数随着训练数据迭代的增加会逐渐下降，在一定的迭代次数后达到平稳，也就说明模型性能趋于平稳。图4是MGF-ERC在四个数据集上随着训练数据迭代次数的增加，模型的准确率的变化曲线。
7、t-SNE可视化
为了更加直观的展现本实验模型MGF-ERC的有效性，在MELD数据集上执行了对应的可视化实验，其他三个数据集(IEMOCAP、DailyDialog以及EmoryNLP)与MELD数据集上的可视化效果类似，该实验是将模型最后训练得到的会话中对话的表征使用了t-SNE进行降维，得到如图5所示的可视化图。
从图5中可以看出，MGF-ERC相较于DAG-ERC能更好的学习到会话中对话的表征，可以看出DAG-ERC模型学习到的可视化图中，具有同一种情感属性的节点之间的联系是比较分散的，而具备不同情感属性的节点之间的类别边界也比较模糊，反观MGF-ERC模型学习到的对话表征，同一类别的节点间比DAG-ERC更加紧凑、不同类别间的区分也要更明显，同时，就学到的可视化图来看，MGF-ERC类别间的边界也要更加圆滑清晰。
8、实例分析
为了进一步探求MGF-ERC的有效性，将DAG-ERC与我们的模型在会话中对话语的情感分类效果进行实例对比分析，其中DAG-ERC与MGF-ERC的分类实例如图6所示。
从图6中可以看出，整个对话是处于一个相对积极的背景，所以会话中每句话的情感倾向都是更偏向于积极的。
因为MGF-ERC提取了每个会话对应的背景情感信息加入了建模，所以能更准确的分析出会话中对话的情感极性，比如图6中的第六句话“Whoa.What an idea.Where wouldyou want to live？”，如果是单独的句子，这句话就可能是其他的情感极性，但是处于这样一个会话情境下，MGF-ERC就可以通过分析整个会话的情感进而判断单个句子的情感倾向，这一点是DAG-ERC做不到的。
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.基于多粒度融合和图卷积网络的会话情感分析方法，其特征在于，包括：
S1：获取包含若干个语句的会话序列；
S2：将会话序列输入至训练后的情感分类模型，输出得到各个语句的情感预测标签；
情感分类模型通过预训练语言模型获取会话序列中语句之间的粗粒度上下文信息；其次通过各个语句内的句法依赖关系获取单词之间的细粒度句法信息；再融合粗粒度上下文信息和细粒度句法信息得到多粒度的语句嵌入表示；然后将多粒度的语句嵌入表示输入至星图增强的图卷积网络和有向无环图神经网络，建模会话序列的背景情感信息和会话序列中不同说话者之间的说话者交互信息，得到各个语句的背景情感语句表示和交互语句表示；进而融合背景情感语句表示和交互语句表示得到各个语句的最终语句表示；最后基于各个语句的最终语句表示生成情感预测标签；
S3：将会话序列各个语句的情感预测标签作为其会话情感分析结果。
2.如权利要求1所述的基于多粒度融合和图卷积网络的会话情感分析方法，其特征在于：步骤S2中，将会话序列中的每个语句作为预训练RoBERT-Large模型的输入；然后使用预训练RoBERT-Large模型最后一层的池化嵌入作为对应语句的粗粒度上下文信息。
3.如权利要求1所述的基于多粒度融合和图卷积网络的会话情感分析方法，其特征在于：步骤S2中，通过如下步骤生成细粒度句法信息：
S201：通过无监督词表示方法将语句中的每个单词映射到一个低维稠密向量，得到语句的向量空间嵌入；
S202：将语句的向量空间嵌入输入至双向LSTM模型，输出语句上下文表示；
向量空间嵌入
Figure FDA0003823267520000011
语句上下文表示
Figure FDA0003823267520000012
其中，
Figure FDA0003823267520000013
Figure FDA0003823267520000014
Figure FDA0003823267520000015
式中：
Figure FDA0003823267520000016
表示可学习参数；
Figure FDA0003823267520000017
表示语句的向量空间嵌入表示；
Figure FDA0003823267520000018
表示经过Bi-LSTM的语句表示；
S203：结合Spacy工具对语句的句法结构进行抽取以形成对应的有向图结构；然后将语句上下文表示输入至图卷积神经网络，结合有向图结构进行节点之间的信息传播以捕获到结合了句法结构的语句表示；经过L层图卷积神经网络后，得到语句的语句增强表示；
语句增强表示
Figure FDA0003823267520000021
其中，
Figure FDA0003823267520000022
式中：
Figure FDA0003823267520000023
均表示可学习参数；l＝[1,2,…,L],l∈L表示第l层图卷积神经网络GCN；σ表示非线性激活函数RELU；
Figure FDA0003823267520000024
表示有向图结构；
Figure FDA0003823267520000025
表示有向图结构l-1层中第i个会话中第j个语句的表示；
S204：对语句增强表示进行最大池化，得到对应的细粒度句法信息；
Figure FDA0003823267520000026
式中：
Figure FDA0003823267520000027
表示细粒度句法信息；POOLING表示最大池化操作。
4.如权利要求3所述的基于多粒度融合和图卷积网络的会话情感分析方法，其特征在于：步骤S2中，通过如下公式计算多粒度的语句嵌入表示：
Figure FDA0003823267520000028
式中：gi表示多粒度的语句嵌入表示；
Figure FDA0003823267520000029
表示细粒度句法信息；vi表示粗粒度上下文信息。
5.如权利要求4所述的基于多粒度融合和图卷积网络的会话情感分析方法，其特征在于：步骤S2中，通过如下步骤生成交互语句表示：
S211：以会话序列中的语句为节点构建会话序列的有向无环图；
S212：基于有向无环图生成图注意力神经网络，并将融合语句嵌入表示输入至图注意力神经网络，输出拓扑关系语句表示
Figure FDA00038232675200000210
Figure FDA00038232675200000211
Figure FDA00038232675200000212
式中：
Figure FDA00038232675200000213
表示拓扑关系语句表示；
Figure FDA00038232675200000214
表示可训练的参数；Ni表示说话者之间的有向无环图中第i个说话者的邻居；||表示拼接操作；当l＝1时，
Figure FDA00038232675200000215
Figure FDA00038232675200000216
表示注意力分数；
Figure FDA00038232675200000217
表示聚合之后语句的表示。
S213：通过门控循环单元计算拓扑关系语句表示
Figure FDA00038232675200000218
与融合之后的节点表示
Figure FDA00038232675200000219
的交互，得到交互语句表示
Figure FDA00038232675200000220
然后通过门控循环单元和拓扑关系语句表示
Figure FDA00038232675200000221
对节点
Figure FDA00038232675200000222
进行更新，得到更新节点表示
Figure FDA00038232675200000223
Figure FDA00038232675200000224
Figure FDA0003823267520000031
式中：
Figure FDA0003823267520000032
表示交互语句表示；
Figure FDA0003823267520000033
表示更新节点表示；GRU表示门控循环单元；
S214：将交互语句表示
Figure FDA0003823267520000034
和更新节点表示
Figure FDA0003823267520000035
进行融合，得到交互语句表示；
Figure FDA0003823267520000036
式中：
Figure FDA0003823267520000037
表示交互语句表示；
Figure FDA0003823267520000038
表示交互语句表示；
Figure FDA0003823267520000039
表示更新节点表示。
6.如权利要求5所述的基于多粒度融合和图卷积网络的会话情感分析方法，其特征在于：步骤S2中，通过如下步骤生成背景情感语句表示：
S221：基于会话序列构建会话星图，并在会话星图中构造一个星节点，使得会话星图中的所有节点与星节点完全连接；
S222：对会话序列中所有语句的融合语句嵌入表示进行平均池化操作，作为星节点的初始化表示；
S223：基于自注意力机制，将星节点自身视为query，赋予会话星图中其他节点不同的重要性分数；
Figure FDA00038232675200000310
式中：
Figure FDA00038232675200000311
表示重要性分数；
Figure FDA00038232675200000312
均表示可训练参数；
Figure FDA00038232675200000313
分别通过星节点和其他节点计算；
S224：基于会话星图中其他节点的重要性分数更新星节点表示；
Figure FDA00038232675200000314
式中：
Figure FDA00038232675200000315
表示星节点表示；
Figure FDA00038232675200000316
表示注意力分数；
S225：将拓扑关系语句表示
Figure FDA00038232675200000317
与星节点表示
Figure FDA00038232675200000318
进行拼接，得到背景情感语句表示；
Figure FDA00038232675200000319
式中：
Figure FDA00038232675200000320
表示背景情感语句表示；
Figure FDA00038232675200000321
表示拓扑关系语句表示；
Figure FDA00038232675200000322
表示星节点表示。
7.如权利要求6所述的基于多粒度融合和图卷积网络的会话情感分析方法，其特征在于：步骤S2中，通过如下公式计算最终语句表示：
Figure FDA00038232675200000323
式中：Ti表示最终语句表示；
Figure FDA00038232675200000324
表示交互语句表示；
Figure FDA00038232675200000325
表示背景情感语句表示。
8.如权利要求7所述的基于多粒度融合和图卷积网络的会话情感分析方法，其特征在于：步骤S2中，通过如下公式生成对应的情感预测标签：
Figure FDA0003823267520000041
Pi＝Softmax(WzZi+bz)；
Zi＝RELU(WVVi+bV)；
Figure FDA0003823267520000042
式中：
Figure FDA0003823267520000043
表示语句ui的情感预测标签；Pi[k]表示概率函数；Vi表示最终聚合所有层的语句的表示；Zi表示经过激活函数RELU之后的语句表示；Wz、WV表示可学习的参数；S表示情感标签的集合。
9.如权利要求1所述的基于多粒度融合和图卷积网络的会话情感分析方法，其特征在于：训练情感分类模型时，通过如下的交叉熵损失优化模型参数；
Figure FDA0003823267520000044
式中：L(θ)表示交叉熵损失；θ表示可训练参数；M表示用于训练的会话序列数量；Ni表示第i个用于训练的会话序列中的语句数量；yi,j表示第i个会话中第j条语句的真实标签；Pi,j表示第i个会话中第j条语句情感标签的预测概率函数。
CN202211049590.8A 2022-08-30 2022-08-30 基于多粒度融合和图卷积网络的会话情感分析方法 Active CN115374281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211049590.8A CN115374281B (zh) 2022-08-30 2022-08-30 基于多粒度融合和图卷积网络的会话情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211049590.8A CN115374281B (zh) 2022-08-30 2022-08-30 基于多粒度融合和图卷积网络的会话情感分析方法

Publications (2)

Publication Number Publication Date
CN115374281A true CN115374281A (zh) 2022-11-22
CN115374281B CN115374281B (zh) 2024-04-05

Family

ID=84069628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211049590.8A Active CN115374281B (zh) 2022-08-30 2022-08-30 基于多粒度融合和图卷积网络的会话情感分析方法

Country Status (1)

Country Link
CN (1) CN115374281B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117590944A (zh) * 2023-11-28 2024-02-23 上海源庐加佳信息科技有限公司 实体人对象和数字虚拟人对象的绑定系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001185A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种结合中文句法和图卷积神经网络的情感分类方法
WO2021109671A1 (zh) * 2019-12-02 2021-06-10 广州大学 一种支持跨语言迁移的细粒度情感分析方法
CN113656564A (zh) * 2021-07-20 2021-11-16 国网天津市电力公司 一种基于图神经网络的电网业务对话数据情感检测方法
US11194972B1 (en) * 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
CN114020897A (zh) * 2021-12-31 2022-02-08 苏州浪潮智能科技有限公司 一种对话情感识别方法及相关装置
KR102365433B1 (ko) * 2020-10-23 2022-02-21 서울대학교산학협력단 교차 어텐션 모델 기반 감정 인식 방법 및 장치
CN114218922A (zh) * 2021-12-17 2022-03-22 重庆理工大学 一种基于双通道图卷积网络的方面情感分析方法
CN114676687A (zh) * 2022-04-15 2022-06-28 重庆理工大学 基于增强语义句法信息的方面级情感分类方法
CN114722838A (zh) * 2022-04-11 2022-07-08 天津大学 基于常识感知和层次化多任务学习的对话情感识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109671A1 (zh) * 2019-12-02 2021-06-10 广州大学 一种支持跨语言迁移的细粒度情感分析方法
CN112001185A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种结合中文句法和图卷积神经网络的情感分类方法
KR102365433B1 (ko) * 2020-10-23 2022-02-21 서울대학교산학협력단 교차 어텐션 모델 기반 감정 인식 방법 및 장치
US11194972B1 (en) * 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
CN113656564A (zh) * 2021-07-20 2021-11-16 国网天津市电力公司 一种基于图神经网络的电网业务对话数据情感检测方法
CN114218922A (zh) * 2021-12-17 2022-03-22 重庆理工大学 一种基于双通道图卷积网络的方面情感分析方法
CN114020897A (zh) * 2021-12-31 2022-02-08 苏州浪潮智能科技有限公司 一种对话情感识别方法及相关装置
CN114722838A (zh) * 2022-04-11 2022-07-08 天津大学 基于常识感知和层次化多任务学习的对话情感识别方法
CN114676687A (zh) * 2022-04-15 2022-06-28 重庆理工大学 基于增强语义句法信息的方面级情感分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117590944A (zh) * 2023-11-28 2024-02-23 上海源庐加佳信息科技有限公司 实体人对象和数字虚拟人对象的绑定系统
CN117590944B (zh) * 2023-11-28 2024-07-12 上海源庐加佳信息科技有限公司 实体人对象和数字虚拟人对象的绑定系统

Also Published As

Publication number Publication date
CN115374281B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
WO2021233112A1 (zh) 基于多模态机器学习的翻译方法、装置、设备及存储介质
CN113987179B (zh) 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质
CN109947912A (zh) 一种基于段落内部推理和联合问题答案匹配的模型方法
Xie et al. Attention-based dense LSTM for speech emotion recognition
CN113255755A (zh) 一种基于异质融合网络的多模态情感分类方法
CN113435211B (zh) 一种结合外部知识的文本隐式情感分析方法
CN114064918A (zh) 一种多模态事件知识图谱构建方法
CN115964467A (zh) 一种融合视觉情境的富语义对话生成方法
CN109376250A (zh) 基于强化学习的实体关系联合抽取方法
Mai et al. A unimodal representation learning and recurrent decomposition fusion structure for utterance-level multimodal embedding learning
CN113312912A (zh) 一种用于交通基础设施检测文本的机器阅读理解方法
CN116402066A (zh) 多网络特征融合的属性级文本情感联合抽取方法及系统
Zheng et al. Multimodal representations learning based on mutual information maximization and minimization and identity embedding for multimodal sentiment analysis
CN115374281B (zh) 基于多粒度融合和图卷积网络的会话情感分析方法
Ai et al. Der-gcn: Dialogue and event relation-aware graph convolutional neural network for multimodal dialogue emotion recognition
CN117150320B (zh) 对话数字人情感风格相似度评价方法及系统
Wu et al. Visual Question Answering
Ding et al. Chinese keyword extraction model with distributed computing
CN113947074A (zh) 一种深度协同交互的情感原因联合抽取方法
CN112560440B (zh) 一种基于深度学习的面向方面级情感分析的句法依赖方法
Yu et al. Multimodal fusion method with spatiotemporal sequences and relationship learning for valence-arousal estimation
Meng et al. Masked graph learning with recurrent alignment for multimodal emotion recognition in conversation
Shou et al. Adversarial alignment and graph fusion via information bottleneck for multimodal emotion recognition in conversations
Lu et al. Bi-stream graph learning based multimodal fusion for emotion recognition in conversation
CN116628203A (zh) 基于动态互补图卷积网络的对话情感识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant