CN112380874A - 一种基于图卷积网络的多人对话语篇分析方法 - Google Patents

一种基于图卷积网络的多人对话语篇分析方法 Download PDF

Info

Publication number
CN112380874A
CN112380874A CN202011076361.6A CN202011076361A CN112380874A CN 112380874 A CN112380874 A CN 112380874A CN 202011076361 A CN202011076361 A CN 202011076361A CN 112380874 A CN112380874 A CN 112380874A
Authority
CN
China
Prior art keywords
sentence
vector
semantic
sentences
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011076361.6A
Other languages
English (en)
Other versions
CN112380874B (zh
Inventor
蔡毅
彭淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011076361.6A priority Critical patent/CN112380874B/zh
Publication of CN112380874A publication Critical patent/CN112380874A/zh
Application granted granted Critical
Publication of CN112380874B publication Critical patent/CN112380874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于图卷积网络的多人对话语篇分析方法，包括以下步骤：S1、通过句子编码模块将对话中的句子映射为局部句子向量；S2、通过图卷积网络捕捉句子之间的语义关系，输出全局句子向量；S3、通过拼接句子向量和全局句子向量，输入到语义连接预测模块预测连接的目标句子；S4、通过拼接句子向量和全局句子向量，输入到语义分类模块获取句子间的语义关系；S5、通过模型训练语义连接预测和语义关系分类任务，获取模型参数；S6、模型训练完毕后，输入整个对话的句子，输出句子间存在的语义连接及语义关系，完成多人对话的语篇分析。本发明利用图卷积网络捕捉多人对话的句子间存在的语义关系，从而提高语篇分析的性能。

Description

一种基于图卷积网络的多人对话语篇分析方法
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种基于图卷积网络的多人对话语篇分析方法。
背景技术
语篇分析的任务是研究自然语言文本之间的内在结构以及分析文本单元之间存在的语义关系，其中，文本单元可以是句子、从句或整个段落。语篇分析的结果有利于下游任务的进行，包括问答系统、对话系统、文本摘要等等。
现有的语篇分析的工作都是基于修辞结构理论(Rhetorical Structure Theory,RST)的模型，基于RST的模型最终会将文本中的语篇关系构造成二叉树的结构。而多人对话中的语篇关系更加复杂，其中的语篇关系构造成图结构，因此基于RST的模型不适用于多人对话的语篇分析。
现有的多人对话语篇分析的工作只考虑了单个句子之间的关系，不能完整地捕捉整个对话中句子间存在的语义关系，然而语篇分析是需要对全局的对话信息进行分析的。
因此，需要寻找一种提高多人对话语篇分析性能的方法。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于图卷积网络的多人对话语篇分析方法，该方法利用图卷积网络捕捉多人对话的句子间存在的语义关系，从而提高语篇分析的性能。
本发明的目的能够通过以下技术方案实现：一种基于图卷积网络的多人对话语篇分析方法，包括以下步骤：
S1、通过句子编码模块将对话中的每个句子映射为局部句子向量Hi；
S2、通过图卷积网络捕捉句子之间的语义关系，输出全局句子向量
Figure BDA0002716820180000021
S3、通过拼接局部句子向量Hi和、目标局部句子向量Hj和全局句子向量
Figure BDA0002716820180000022
得到特征向量，并输入到语义连接预测模块预测连接的目标句子oi,j；其中，目标局部句子向量Hj为所有与第i个句子有语义连接的句子的局部句子向量；
S4、通过拼接局部句子向量Hi和目标局部句子向量Hj、全局句子向量
Figure BDA0002716820180000023
得到特征向量，并输入到语义分类模块预测获取两个句子的语义关系；
S5、通过模型联合训练语义连接预测和语义关系分类任务，获取模型参数；
S6、模型联合训练完毕后，输入整个对话的句子，模型输出句子间存在的语义连接及其对应的语义关系，完成多人对话的语篇分析。
本发明与现有技术相比，具有如下优点和有益效果：利用图卷积网络捕捉多人对话中存在的语义连接关系，通过加入语义连接关系提高整个对话的语篇分析性能。
附图说明
图1是本发明语篇分析方法流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例一种基于图卷积网络的多人对话语篇分析方法，主要包括以下步骤：
步骤S1、通过句子编码模块将对话中的每个句子映射为局部句子向量。
本实施例中，将多人对话中的每个句子输入句子编码模块中，获取每句话的句子向量，句子用
Figure BDA0002716820180000031
表示，其中i表示对话中的第i个句子；T表示一句话有T个词。将句子中的文本映射为词嵌入句子向量中，再输入到句子编码器中获取局部句子向量，具体公式如下：
Figure BDA0002716820180000032
Figure BDA0002716820180000033
Figure BDA0002716820180000034
其中，
Figure BDA0002716820180000035
是将单词映射到对应的词嵌入矩阵，1≤t≤T，预训练的词嵌入向量采用的是GloVe预训练的词向量；
Figure BDA0002716820180000036
是将上一时刻的前向GRU(GatedRecurrent Unit，门控循环单元)输出的隐含层向量和当前单词的词嵌入向量输入到前向GRU中；
Figure BDA0002716820180000037
和
Figure BDA0002716820180000038
分别是前向GRU和后向GRU的输出隐含层向量；Hi是第i个句子的局部句子向量，通过拼接该句子中最后一个单词的前后向隐含层向量得到；
Figure BDA0002716820180000039
代表向量拼接。
步骤S2、将步骤S1中获取的局部句子向量输入到图卷积网络GCN中，通过图卷积网络捕捉句子之间存在的语义连接关系，输出全局句子向量
Figure BDA00027168201800000310
计算过程如下：
Figure BDA00027168201800000311
其中，Ni是所有与第i个句子有语义连接的句子；Hj是所有与第i个句子有语义连接的句子的局部句子向量，即目标局部句子向量；j是目标句子；W和b是模型的参数；ReLU是激活函数；
Figure BDA0002716820180000041
是第i个句子的图卷积网络输出，即全局句子向量。
步骤S3、通过拼接局部句子向量Hi、Hj和全局句子向量
Figure BDA0002716820180000042
得到特征向量，再输入到语义连接预测模块，预测获取与当前句子连接的目标句子j，；对于第i个句子，语义连接预测就是预测其与目标句子j有语义连接，其中j＜i，代表目标句子j在当前句子之前。首先，进行句子向量的拼接，即通过拼接当前句子的局部句子向量Hi和目标局部句子向量Hj、全局句子向量
Figure BDA0002716820180000043
获取特征向量Hi,j：
Figure BDA0002716820180000044
获取特征向量Hi,j后，进行线性变换，并预测连接的目标句子，具体公式如下：
oi,j＝fcLink(Hi,j)
Figure BDA0002716820180000045
Figure BDA0002716820180000046
其中，oi,j是语义连接预测模块中对特征向量Hi,j进行线性变换后获取的向量，包含两个句子之间语义连接预测的信息；fcLink是全连接层，其作用是对特征向量Hi,j进行线性变换；pi是与当前句子连接的父句子；uj是当前对话中的第j个目标句子；P是当前句子与对话中的第j个目标句子连接的概率；k是在当前句子之前的所有句子；Hi,＜i是第i个句子与在第i个句子之前的句子的拼接特征向量；对所有候选目标句子j与当前句子的特征向量Hi,j进行完线性变换后，通过指数归一化，选择连接概率最大的候选目标句子j进行连接。
步骤S4、通过拼接当前句子的局部句子向量Hi和、目标局部句子向量Hj和全局句子向量
Figure BDA0002716820180000051
得到特征向量，并输入到语义分类模块中，预测获取两个句子之间的语义关系，设预测与第i个句子连接的是目标句子j，两者的语义关系预测公式如下：
Li,j＝fcrela(Hi,j)
P(rij|Hi,j)＝softmax(WrelHi,j+brel)
其中，fcrela是关系分类模块中的全连接层，对特征向量Hi,j进行线性变换获取Li,j后经过softmax层，取概率最大的关系作为预测分类结果；Li,j是语义关系分类模块中对特征向量Hi,j进行线性变换后获取的向量，包含两个句子之间语义关系分类的信息；rij是第i个句子和第j个句子的预测语义关系；Wrel和brel是关系分类模块的不同参数。
步骤S5、通过模型联合训练语义连接预测和语义关系分类任务，获取最佳模型参数，语义连接预测和语义关系分类使用的损失函数分别如下：
Figure BDA0002716820180000052
Figure BDA0002716820180000053
Loss＝Losslink+Lossrel
其中，Losslink是语义连接预测的损失函数；n是对话中的总句子数；|D|是训练数据数量；
Figure BDA0002716820180000054
是对应的真实父节点；Lossrel是语义关系分类的损失函数；
Figure BDA0002716820180000055
是对应的真实语义关系；Loss是语义连接预测和语义关系分类的损失函数之和，其用于模型联合训练。
步骤S6、模型联合训练完毕后，输入整个对话的句子，模型输出句子间存在的语义连接及其对应的语义关系，完成多人对话的语篇分析。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于图卷积网络的多人对话语篇分析方法，其特征在于，包括以下步骤：
S1、通过句子编码模块将对话中的每个句子映射为局部句子向量Hi；
S2、通过图卷积网络捕捉句子之间的语义关系，输出全局句子向量
Figure FDA0002716820170000011
S3、通过拼接局部句子向量Hi和、目标局部句子向量Hj和全局句子向量
Figure FDA0002716820170000012
得到特征向量，并输入到语义连接预测模块预测连接的目标句子oi，j；其中，目标局部句子向量Hj为所有与第i个句子有语义连接的句子的局部句子向量；
S4、通过拼接局部句子向量Hi和目标局部句子向量Hj、全局句子向量
Figure FDA0002716820170000013
得到特征向量，并输入到语义分类模块预测获取两个句子的语义关系；
S5、通过模型联合训练语义连接预测和语义关系分类任务，获取模型参数；
S6、模型联合训练完毕后，输入整个对话的句子，模型输出句子间存在的语义连接及其对应的语义关系，完成多人对话的语篇分析。
2.根据权利要求1所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，步骤S1将多人对话中的每个句子输入句子编码模块中，获取每句话的句子向量，句子用
Figure FDA0002716820170000014
表示，其中i是对话中的第i个句子；T是一句话有T个词。
3.根据权利要求2所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，将句子中的文本映射为词嵌入句子向量中，再输入到句子编码器中获取局部句子向量，具体公式如下：
Figure FDA0002716820170000015
Figure FDA0002716820170000016
Figure FDA0002716820170000017
其中，
Figure FDA0002716820170000021
是将单词映射到对应的词嵌入矩阵，1≤t≤T；
Figure FDA0002716820170000022
是将上一时刻的前向GRU输出的隐含层向量和当前单词的词嵌入向量输入到前向GRU中；
Figure FDA0002716820170000023
和
Figure FDA0002716820170000024
分别是前向GRU和后向GRU的输出隐含层向量；Hi是第i个句子的局部句子向量，通过拼接该句子中最后一个单词的前后向隐含层向量得到；
Figure FDA0002716820170000025
代表向量拼接。
4.根据权利要求1所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，步骤S2中全局句子向量
Figure FDA0002716820170000026
计算过程如下：
Figure FDA0002716820170000027
其中，Ni是所有与第i个句子有语义连接的句子；是所有与第个句子有语义连接的句子的局部句子向量，即目标局部句子向量；j是目标句子；W和b是模型的参数；ReLU是激活函数；
Figure FDA0002716820170000028
是第i个句子的图卷积网络输出，即全局句子向量。
5.根据权利要求1所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，步骤S3中语义连接预测为预测其与目标句子j有语义连接，其中j＜i，表示目标句子j在当前句子之前。
6.根据权利要求1所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，步骤S3中的拼接方式如下：
Figure FDA0002716820170000029
其中，Hi，j为特征向量。
7.根据权利要求6所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，通过获取特征向量Hi，j，进行线性变换，并预测连接的目标句子，具体公式如下：
oi，j＝fcLink(Hi，j)
Figure FDA0002716820170000031
Figure FDA0002716820170000032
其中，oi，j是语义连接预测模块中对向量Hi，j进行线性变换后获取的向量；fcLink是全连接层，对特征向量Hi，j进行线性变换；pi是与当前句子连接的父句子；uj是当前对话中的第j个目标句子；P是当前句子与对话中的第j个目标句子连接的概率；k是在当前句子之前的所有句子；Hi，＜i是第i个句子与在第i个句子之前的句子的拼接特征向量。
8.根据权利要求1所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，步骤S4中预测与第i个句子连接的是目标句子j，两者的语义关系预测公式如下：
Li，j＝fcrela(Hi，j)
P(rij|Hi，j)＝softmax(WrelHi，j+brel)
其中，fcrela是关系分类模块中的全连接层；Li，j是语义关系分类模块中对向量Hi，j进行线性变换后获取的向量；rij是第u个句子和第j个句子的预测语义关系；Wrel和brel是关系分类模块的参数。
9.根据权利要求1所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，步骤S5中语义连接预测和语义关系分类使用的损失函数分别如下：
Figure FDA0002716820170000033
Figure FDA0002716820170000034
Loss＝Losslink+Lossrel
其中，Losslink是语义连接预测的损失函数；n是对话中的总句子数；|D|是训练数据数量；
Figure FDA0002716820170000041
是对应的真实父节点；Lossrel是语义关系分类的损失函数；
Figure FDA0002716820170000042
是对应的真实语义关系；Loss是语义连接预测和语义关系分类的损失函数之和。
CN202011076361.6A 2020-10-10 2020-10-10 一种基于图卷积网络的多人对话语篇分析方法 Active CN112380874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011076361.6A CN112380874B (zh) 2020-10-10 2020-10-10 一种基于图卷积网络的多人对话语篇分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011076361.6A CN112380874B (zh) 2020-10-10 2020-10-10 一种基于图卷积网络的多人对话语篇分析方法

Publications (2)

Publication Number Publication Date
CN112380874A true CN112380874A (zh) 2021-02-19
CN112380874B CN112380874B (zh) 2023-07-18

Family

ID=74581143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011076361.6A Active CN112380874B (zh) 2020-10-10 2020-10-10 一种基于图卷积网络的多人对话语篇分析方法

Country Status (1)

Country Link
CN (1) CN112380874B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377915A (zh) * 2021-06-22 2021-09-10 厦门大学 对话篇章解析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200065389A1 (en) * 2017-10-10 2020-02-27 Tencent Technology (Shenzhen) Company Limited Semantic analysis method and apparatus, and storage medium
CN110941962A (zh) * 2019-11-26 2020-03-31 中国科学院自动化研究所 基于图网络的答案句选择方法及装置
CN111241294A (zh) * 2019-12-31 2020-06-05 中国地质大学（武汉） 基于依赖解析和关键词的图卷积网络的关系抽取方法
US20200311519A1 (en) * 2019-03-28 2020-10-01 Baidu Usa Llc Systems and methods for deep skip-gram network based text classification
CN111737552A (zh) * 2020-06-04 2020-10-02 中国科学院自动化研究所 训练信息抽取模型和获取知识图谱的方法、装置和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200065389A1 (en) * 2017-10-10 2020-02-27 Tencent Technology (Shenzhen) Company Limited Semantic analysis method and apparatus, and storage medium
US20200311519A1 (en) * 2019-03-28 2020-10-01 Baidu Usa Llc Systems and methods for deep skip-gram network based text classification
CN110941962A (zh) * 2019-11-26 2020-03-31 中国科学院自动化研究所 基于图网络的答案句选择方法及装置
CN111241294A (zh) * 2019-12-31 2020-06-05 中国地质大学（武汉） 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN111737552A (zh) * 2020-06-04 2020-10-02 中国科学院自动化研究所 训练信息抽取模型和获取知识图谱的方法、装置和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴睿智 等: "基于图卷积神经网络的位置语义推断", vol. 49, no. 5, pages 739 - 744 *
陈佳伟;韩芳;王直杰;: "基于自注意力门控图卷积网络的特定目标情感分析", 计算机应用, no. 08, pages 38 - 42 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377915A (zh) * 2021-06-22 2021-09-10 厦门大学 对话篇章解析方法
CN113377915B (zh) * 2021-06-22 2022-07-19 厦门大学 对话篇章解析方法

Also Published As

Publication number Publication date
CN112380874B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN113255755B (zh) 一种基于异质融合网络的多模态情感分类方法
CN110929030B (zh) 一种文本摘要和情感分类联合训练方法
CN111401077B (zh) 语言模型的处理方法、装置和计算机设备
CN109992669B (zh) 一种基于语言模型和强化学习的关键词问答方法
CN110189749A (zh) 语音关键词自动识别方法
CN113569562B (zh) 一种降低端到端语音翻译跨模态跨语言障碍的方法及系统
CN113536804B (zh) 一种基于关键词强化的GRU和Kronecker的自然语言特征提取方法
KR20200119410A (ko) 전역 및 지역 문맥 기반 한국어 대화문 감정 인식 시스템 및 방법
CN111814477B (zh) 一种基于争议焦点实体的争议焦点发现方法、装置及终端
CN113257248B (zh) 一种流式和非流式混合语音识别系统及流式语音识别方法
CN112926337B (zh) 一种结合重构句法信息的端到端方面级情感分析方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN110717341A (zh) 一种以泰语为枢轴的老-汉双语语料库构建方法及装置
CN114595700A (zh) 融合零代词与篇章信息的汉越神经机器翻译方法
CN112380874A (zh) 一种基于图卷积网络的多人对话语篇分析方法
CN117332789A (zh) 一种面向对话场景的语义分析方法及系统
CN111382333B (zh) 基于案件相关性联合学习与图卷积的新闻文本句中案件要素抽取方法
CN116467452A (zh) 一种基于多任务学习混合神经网络的中文投诉分类方法
CN114238605B (zh) 一种智能语音客服机器人自动对话方法及装置
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及系统
Ronghui et al. Application of Improved Convolutional Neural Network in Text Classification.
Yu et al. Semantic extraction for sentence representation via reinforcement learning
CN113535914B (zh) 一种文本语义相似度计算方法
Wang et al. Machine learning music emotion recognition based on audio features
Tom et al. Optimize the translation of Indian languages for large target vocabulary in neural machine translation using multi-head attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant