CN113656564A - 一种基于图神经网络的电网业务对话数据情感检测方法 - Google Patents

Abstract

本发明涉及一种基于图神经网络的电网业务对话数据情感检测方法，包括以下步骤：步骤1、提取对话集，构建语句级的自影响和互影响关系图以及特征提取模型；步骤2、构建词级无向图以及特征提取模型；步骤3、构建主题词汇与上下文词之间的关系无向图以及特征提取模型；步骤4、融合步骤1、步骤2和步骤3中的语句级特征、词图特征以及主题词汇与上下文词之间的关系特征，并计算对话情感。本发明能够大大提高交互式情感分析的准确性，从而为构建诸如问答系统、聊天机器人、公共服务机器人等类人交互系统提供重要技术支撑。

Description

一种基于图神经网络的电网业务对话数据情感检测方法

技术领域

本发明属于自然语言处理技术领域，涉及对话数据情感检测方法，尤其是一种基于图神经网络的电网业务对话数据情感检测方法。

背景技术

在客服与客户的交互式聊天信息中，智能化、自动化地检测客服通话过程中的情绪状态、服务过程中的用语是否规范，为客服的质检工作提供及时、客观、有效的分析，能够有效地提高客服质检的工作效率与效果，为用户提供更满意的服务。

相比于交互式地情感分析方法，传统的无交互式地情感分析多采用基于自然语言处理的方式进行，如基于规则和基于机器学习的方法等，并取得了较好的分类效果。而交互式内容是一个持续的过程，且其在交互过程中会有部分隐藏内容并伴随信息的跳跃，这些增大了情感分析的难度。

早期的一些交互式地情感分析方法影响于递归神经网络作为序列编码器并结合注意力机制来推断上下文的隐含语义，但该方法忽略了说话人语句间的关系、语句结构顺序以及聊天过程中主题与上下文之间的关系等对情感状态产生的影响。

因此，本发明提出一种基于图神经网络的电网业务对话数据情感检测方法，能够准确进行交互式情感分析。

经检索，未发现与本发明相同或相近似的现有技术的公开文献。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于图神经网络的电网业务对话数据情感检测方法，能够准确进行交互式情感分析。

本发明解决其现实问题是采取以下技术方案实现的：

一种基于图神经网络的电网业务对话数据情感检测方法，包括以下步骤：

步骤1、提取对话集，构建语句级的自影响和互影响关系图以及特征提取模型；

步骤2、构建词级无向图以及特征提取模型；

步骤3、构建主题词汇与上下文词之间的关系无向图以及特征提取模型；

步骤4、融合步骤1、步骤2和步骤3中的语句级特征、词图特征以及主题词汇与上下文词之间的关系特征，并计算对话情感。

而且，所述步骤1的具体步骤包括：

(1)将单个语句表示为节点，构建图G(S,E),S为所有语句集合，E表示所有语句之间的连边关系集合，一对节点/语句之间的边表示这些语句的说话人之间的影响关系，以及它们在会话中的相对位置；

(2)在自影响关系建模中，设置可变窗口，通过注意力机制提取从第一个窗口到第L个窗口语句间的权重值β_i作为连边关系值，自影响关系语句节点嵌入表示h_self为：

同样得到互影响关系中节点的嵌入表示h_inter为：

(3)基于以上两种权值关系构建邻接矩阵，自影响邻接矩阵和互影响邻接矩阵分别表示为B_A、B_B，通过图卷积网络的互影响特征提取表达式为：

H_S(A→B)和H_S(B→A)分别表示对话双方之间的影响，l为图卷积网络的层数，W为超参数矩阵；

(3)客服和用户双方的语句自影响关系特征提取表达分别为：

(4)基于客服和用户对话过程中的互影响和自身语句之间的影响，得到对话最终特征表示为：

而且，所述步骤2的具体步骤包括：

(1)针对句子S，设W是句子S中所有词的集合，构造图G(W,E)，使得任意w_i,w_j∈W，e_ij∈E代表词w_i和w_j之间的连边；在图G中，句子中的任何一个词都被认为是一个单顶点，通过设置多种可变窗口，针对不同窗口大小时采用点互信息PMI来衡量两个词语之间的语义关系作为连边的权值为：

(2)对于不同窗口大小的设置，得到不同边权值的大小，并通过加权融合得到一个词语另一个词的关系邻接矩阵A,其中a_ij＝m_ke_ij，m_k为不同大小的窗口，k＝2,…10为窗口个数；

(3)将构建的词级图G中的A作为图卷积网络的输入，特征提取方法公式为：

H_W＝σ(AH^lW^l)

而且，所述步骤3的具体方法为：

采用序列标注方法提取上下文所涉及到的主题词表示为W_t＝(w_t1,w_t2,…w_tr)，r＝1,2,…R为主题词汇出现的个数，通过基于图注意力机制的方法提取特征，其中主题词汇与上下文词之间权值α_ti，得到主题词汇的表示向量为：

而且，所述步骤4的具体方法为：

基于以上得到词共现关系，语句自影响和互影响关系，以及对话涉及的主题词汇与上下文词之间的影响关系进行特征提取后，通过全连接操作得到最终的嵌入表示为：

最后通过softmax函数识别客服的情感状态。

本发明的优点和有益效果：

本发明提出一种基于图神经网络的电网业务对话数据情感检测方法，利用有向图和无向图为对话构建句子级、词级和主题级的图表示模型，并基于网络表示学习方法对多种图关系进行特征提取，通过全连接操作融合句子级，词级以及主题级特征后用于最终的情感识别与检测。该方法大大提高交互式情感分析的准确性，从而也为构建诸如问答系统、聊天机器人、公共服务机器人等类人交互系统提供重要技术支撑。

附图说明

图1是本发明的处理流程图；

图2是本发明的语句级图表示模型图；

图3是本发明的词级图表示模型图。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种基于图神经网络的电网业务对话数据情感检测方法，如图1至图3所示，包括以下步骤：

步骤1、提取对话集，构建语句级的自影响和互影响关系图以及特征提取模型；

所述步骤1的具体步骤包括：

(1)将单个语句表示为节点，构建图G(S,E),S为所有语句集合，E表示所有语句之间的连边关系集合，一对节点/语句之间的边表示这些语句的说话人之间的影响关系，以及它们在会话中的相对位置；如图2所示为不同的窗口大小语句之间的自依赖关系和互依赖关系图。

(2)在自影响关系建模中，如图2所示设置可变窗口，通过注意力机制提取从第一个窗口到第L个窗口语句间的权重值β_i作为连边关系值，自影响关系语句节点嵌入表示h_self为：

同样得到互影响关系中节点的嵌入表示h_inter为：

(3)基于以上两种权值关系构建邻接矩阵，自影响邻接矩阵和互影响邻接矩阵分别表示为B_A、B_B，通过图卷积网络的互影响特征提取表达式为：

H_S(A→B)和H_S(B→A)分别表示对话双方之间的影响，l为图卷积网络的层数，W为超参数矩阵；

(3)客服和用户双方的语句自影响关系特征提取表达分别为：

(4)基于客服和用户对话过程中的互影响和自身语句之间的影响，得到对话最终特征表示为：

步骤2、构建词级无向图以及特征提取模型：

所述步骤2的具体步骤包括：

(1)针对句子S，设W是句子S中所有词的集合，构造图G(W,E)，使得任意w_i,w_j∈W，e_ij∈E代表词w_i和w_j之间的连边；在图G中，句子中的任何一个词都被认为是一个单顶点，通过设置多种可变窗口，如图3所示是窗口分别为2，3，……10的词图。针对不同窗口大小时采用点互信息PMI来衡量两个词语之间的语义关系作为连边的权值为：

(3)对于不同窗口大小的设置，得到不同边权值的大小，并通过加权融合得到一个词语另一个词的关系邻接矩阵A,其中a_ij＝m_ke_ij，m_k为不同大小的窗口，k＝2,…10为窗口个数；

(3)将构建的词级图G中的A作为图卷积网络的输入，特征提取方法公式为：

H_W＝σ(AH^lW^l)

步骤3、构建主题词汇与上下文词之间的关系无向图以及特征提取模型：

所述步骤3的具体方法为：

采用序列标注方法提取上下文所涉及到的主题词表示为W_t＝(w_t1,w_t2,…w_tr)，r＝1,2,…R为主题词汇出现的个数，通过基于图注意力机制的方法提取特征，其中主题词汇与上下文词之间权值α_ti，得到主题词汇的表示向量为：

步骤4、融合步骤1、步骤2和步骤3中的语句级特征、词图特征以及主题词汇与上下文词之间的关系特征，并计算对话情感：

所述步骤4的具体方法为：

基于以上得到词共现关系，语句自影响和互影响关系，以及对话涉及的主题词汇与上下文词之间的影响关系进行特征提取后，通过全连接操作得到最终的嵌入表示为：

最后通过softmax函数识别客服的情感状态。

本发明的工作原理是：

本发明为提高交互式聊天数据中客服情绪状态理解准确性提出的一种基于图神经网络建模的方法，该方法将文档中的句子、词、主题以及边关系塑造成图形网络，然后利用网络表示学习方法对图形进行分析。该方法包含三个主要阶段，即图的表示、特征学习和情感分类。

具体为：步骤1,2,3分别是构建语句有向图，无向字图以及主题词和上下文之间的无向图，在构建图的基础上，每个步骤中都会对他们进行特征提取，在前三个步骤得到三类特征的基础上，步骤4对这3种特征进行全连接，并最后用softmax分类得到情感结果。

其中，本发明构建语句级的自影响性和互影响性图表示模型。在交互式聊天中，每一个说话人过去话语对未来话语具有影响，同时说话人之间聊天信息的产生也会相互影响，因此需要对个体语句本身内容构建自影响关系和对个体之间语句构建互影响关系。在本发明中通过使用有向图方法来对这两个因素建模。该有向图中，设置可变窗口选定具体语句数为节点，语句之间的边表示自影响关系和互影响关系，并通过基于注意力机制的图模型提取语句特征。

本发明构建词级的图表示模型。在交互式对话中每个词出现的位置，排列方式以及定位等都会影响语句的情感，因此提出基于可变窗口的图形表示方法，在该图中词表示节点，根据不同窗口大小计算词共现关系，并将不同窗口得到的节点表示进行加权融合，构建词与词之间的连接关系，最终得到的图称之为词图。

本发明构建主题词汇与上下文词之间的图表示模型。语句中包含的单个或多个主题词汇会贯穿整个聊天过程，这也决定了过去话语如何影响未来话语。在该发明中考虑主题词汇和语境话语的相对位置，采用LDA主题模型方法提取主题词，并构建上下文词和主题词汇之间的句法影响关系。

本发明通过采用图卷积网络对词图编码，采用基于注意力机制的图网络模型对语句级的影响关系，以及对主题词汇与上下文之间的句法影响关系进行特征提取，将以上得到的节点嵌入表示矩阵通过全连接层后对客服情感状态进行分类，实现情感状态的检测。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (5)

1.一种基于图神经网络的电网业务对话数据情感检测方法，其特征在于：包括以下步骤：

步骤1、提取对话集，构建语句级的自影响和互影响关系图以及特征提取模型；

步骤2、构建词级无向图以及特征提取模型；

步骤3、构建主题词汇与上下文词之间的关系无向图以及特征提取模型；

步骤4、融合步骤1、步骤2和步骤3中的语句级特征、词图特征以及主题词汇与上下文词之间的关系特征，并计算对话情感。

2.根据权利要求1所述的一种基于图神经网络的电网业务对话数据情感检测方法，其特征在于：所述步骤1的具体步骤包括：

(1)将单个语句表示为节点，构建图G(S,E),S为所有语句集合，E表示所有语句之间的连边关系集合，一对节点/语句之间的边表示这些语句的说话人之间的影响关系，以及它们在会话中的相对位置；

(2)在自影响关系建模中，设置可变窗口，通过注意力机制提取从第一个窗口到第L个窗口语句间的权重值β_i作为连边关系值，自影响关系语句节点嵌入表示h_self为：

同样得到互影响关系中节点的嵌入表示h_inter为：

(3)基于以上两种权值关系构建邻接矩阵，自影响邻接矩阵和互影响邻接矩阵分别表示为B_A、B_B，通过图卷积网络的互影响特征提取表达式为：

H_S(A→B)和H_S(B→A)分别表示对话双方之间的影响，l为图卷积网络的层数，W为超参数矩阵；

(3)客服和用户双方的语句自影响关系特征提取表达分别为：

(4)基于客服和用户对话过程中的互影响和自身语句之间的影响，得到对话最终特征表示为：

3.根据权利要求1所述的一种基于图神经网络的电网业务对话数据情感检测方法，其特征在于：所述步骤2的具体步骤包括：

(1)针对句子S，设W是句子S中所有词的集合，构造图G(W,E)，使得任意w_i,w_j∈W，e_ij∈E代表词w_i和w_j之间的连边；在图G中，句子中的任何一个词都被认为是一个单顶点，通过设置多种可变窗口，针对不同窗口大小时采用点互信息PMI来衡量两个词语之间的语义关系作为连边的权值为：

(2)对于不同窗口大小的设置，得到不同边权值的大小，并通过加权融合得到一个词语另一个词的关系邻接矩阵A,其中a_ij＝m_ke_ij，m_k为不同大小的窗口，k＝2,…10为窗口个数；

(3)将构建的词级图G中的A作为图卷积网络的输入，特征提取方法公式为：

H_W＝σ(AH^lW^l)。

4.根据权利要求1所述的一种基于图神经网络的电网业务对话数据情感检测方法，其特征在于：所述步骤3的具体方法为：

采用序列标注方法提取上下文所涉及到的主题词表示为W_t＝(w_t1,w_t2,…w_tr)，r＝1,2,…R为主题词汇出现的个数，通过基于图注意力机制的方法提取特征，其中主题词汇与上下文词之间权值α_ti，得到主题词汇的表示向量为：

5.根据权利要求1所述的一种基于图神经网络的电网业务对话数据情感检测方法，其特征在于：所述步骤4的具体方法为：

基于以上得到词共现关系，语句自影响和互影响关系，以及对话涉及的主题词汇与上下文词之间的影响关系进行特征提取后，通过全连接操作得到最终的嵌入表示为：

最后通过softmax函数识别客服的情感状态。

Images