CN112380874B - 一种基于图卷积网络的多人对话语篇分析方法 - Google Patents

一种基于图卷积网络的多人对话语篇分析方法 Download PDF

Info

Publication number
CN112380874B
CN112380874B CN202011076361.6A CN202011076361A CN112380874B CN 112380874 B CN112380874 B CN 112380874B CN 202011076361 A CN202011076361 A CN 202011076361A CN 112380874 B CN112380874 B CN 112380874B
Authority
CN
China
Prior art keywords
sentence
semantic
vector
sentences
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011076361.6A
Other languages
English (en)
Other versions
CN112380874A (zh
Inventor
蔡毅
彭淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011076361.6A priority Critical patent/CN112380874B/zh
Publication of CN112380874A publication Critical patent/CN112380874A/zh
Application granted granted Critical
Publication of CN112380874B publication Critical patent/CN112380874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于图卷积网络的多人对话语篇分析方法，包括以下步骤：S1、通过句子编码模块将对话中的句子映射为局部句子向量；S2、通过图卷积网络捕捉句子之间的语义关系，输出全局句子向量；S3、通过拼接句子向量和全局句子向量，输入到语义连接预测模块预测连接的目标句子；S4、通过拼接句子向量和全局句子向量，输入到语义分类模块获取句子间的语义关系；S5、通过模型训练语义连接预测和语义关系分类任务，获取模型参数；S6、模型训练完毕后，输入整个对话的句子，输出句子间存在的语义连接及语义关系，完成多人对话的语篇分析。本发明利用图卷积网络捕捉多人对话的句子间存在的语义关系，从而提高语篇分析的性能。

Description

一种基于图卷积网络的多人对话语篇分析方法
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种基于图卷积网络的多人对话语篇分析方法。
背景技术
语篇分析的任务是研究自然语言文本之间的内在结构以及分析文本单元之间存在的语义关系，其中，文本单元可以是句子、从句或整个段落。语篇分析的结果有利于下游任务的进行，包括问答系统、对话系统、文本摘要等等。
现有的语篇分析的工作都是基于修辞结构理论(Rhetorical Structure Theory,RST)的模型，基于RST的模型最终会将文本中的语篇关系构造成二叉树的结构。而多人对话中的语篇关系更加复杂，其中的语篇关系构造成图结构，因此基于RST的模型不适用于多人对话的语篇分析。
现有的多人对话语篇分析的工作只考虑了单个句子之间的关系，不能完整地捕捉整个对话中句子间存在的语义关系，然而语篇分析是需要对全局的对话信息进行分析的。
因此，需要寻找一种提高多人对话语篇分析性能的方法。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于图卷积网络的多人对话语篇分析方法，该方法利用图卷积网络捕捉多人对话的句子间存在的语义关系，从而提高语篇分析的性能。
本发明的目的能够通过以下技术方案实现：一种基于图卷积网络的多人对话语篇分析方法，包括以下步骤：
S1、通过句子编码模块将对话中的每个句子映射为局部句子向量Hi；
S2、通过图卷积网络捕捉句子之间的语义关系，输出全局句子向量
S3、通过拼接局部句子向量Hi和、目标局部句子向量Hj和全局句子向量得到特征向量，并输入到语义连接预测模块预测连接的目标句子oi,j；其中，目标局部句子向量Hj为所有与第i个句子有语义连接的句子的局部句子向量；
S4、通过拼接局部句子向量Hi和目标局部句子向量Hj、全局句子向量得到特征向量，并输入到语义分类模块预测获取两个句子的语义关系；
S5、通过模型联合训练语义连接预测和语义关系分类任务，获取模型参数；
S6、模型联合训练完毕后，输入整个对话的句子，模型输出句子间存在的语义连接及其对应的语义关系，完成多人对话的语篇分析。
本发明与现有技术相比，具有如下优点和有益效果：利用图卷积网络捕捉多人对话中存在的语义连接关系，通过加入语义连接关系提高整个对话的语篇分析性能。
附图说明
图1是本发明语篇分析方法流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例一种基于图卷积网络的多人对话语篇分析方法，主要包括以下步骤：
步骤S1、通过句子编码模块将对话中的每个句子映射为局部句子向量。
本实施例中，将多人对话中的每个句子输入句子编码模块中，获取每句话的句子向量，句子用表示，其中i表示对话中的第i个句子；T表示一句话有T个词。将句子中的文本映射为词嵌入句子向量中，再输入到句子编码器中获取局部句子向量，具体公式如下：
其中，是将单词映射到对应的词嵌入矩阵，1≤t≤T，预训练的词嵌入向量采用的是GloVe预训练的词向量；/>是将上一时刻的前向GRU(GatedRecurrent Unit，门控循环单元)输出的隐含层向量和当前单词的词嵌入向量输入到前向GRU中；/>和/>分别是前向GRU和后向GRU的输出隐含层向量；Hi是第i个句子的局部句子向量，通过拼接该句子中最后一个单词的前后向隐含层向量得到；/>代表向量拼接。
步骤S2、将步骤S1中获取的局部句子向量输入到图卷积网络GCN中，通过图卷积网络捕捉句子之间存在的语义连接关系，输出全局句子向量计算过程如下：
其中，Ni是所有与第i个句子有语义连接的句子；Hj是所有与第i个句子有语义连接的句子的局部句子向量，即目标局部句子向量；j是目标句子；W和b是模型的参数；ReLU是激活函数；是第i个句子的图卷积网络输出，即全局句子向量。
步骤S3、通过拼接局部句子向量Hi、Hj和全局句子向量得到特征向量，再输入到语义连接预测模块，预测获取与当前句子连接的目标句子j，；对于第i个句子，语义连接预测就是预测其与目标句子j有语义连接，其中j＜i，代表目标句子j在当前句子之前。首先，进行句子向量的拼接，即通过拼接当前句子的局部句子向量Hi和目标局部句子向量Hj、全局句子向量/>获取特征向量Hi,j：
获取特征向量Hi,j后，进行线性变换，并预测连接的目标句子，具体公式如下：
oi,j＝fcLink(Hi,j)
其中，oi,j是语义连接预测模块中对特征向量Hi,j进行线性变换后获取的向量，包含两个句子之间语义连接预测的信息；fcLink是全连接层，其作用是对特征向量Hi,j进行线性变换；pi是与当前句子连接的父句子；uj是当前对话中的第j个目标句子；P是当前句子与对话中的第j个目标句子连接的概率；k是在当前句子之前的所有句子；Hi,＜i是第i个句子与在第i个句子之前的句子的拼接特征向量；对所有候选目标句子j与当前句子的特征向量Hi,j进行完线性变换后，通过指数归一化，选择连接概率最大的候选目标句子j进行连接。
步骤S4、通过拼接当前句子的局部句子向量Hi和、目标局部句子向量Hj和全局句子向量得到特征向量，并输入到语义分类模块中，预测获取两个句子之间的语义关系，设预测与第i个句子连接的是目标句子j，两者的语义关系预测公式如下：
Li,j＝fcrela(Hi,j)
P(rij|Hi,j)＝softmax(WrelHi,j+brel)
其中，fcrela是关系分类模块中的全连接层，对特征向量Hi,j进行线性变换获取Li,j后经过softmax层，取概率最大的关系作为预测分类结果；Li,j是语义关系分类模块中对特征向量Hi,j进行线性变换后获取的向量，包含两个句子之间语义关系分类的信息；rij是第i个句子和第j个句子的预测语义关系；Wrel和brel是关系分类模块的不同参数。
步骤S5、通过模型联合训练语义连接预测和语义关系分类任务，获取最佳模型参数，语义连接预测和语义关系分类使用的损失函数分别如下：
Loss＝Losslink+Lossrel
其中，Losslink是语义连接预测的损失函数；n是对话中的总句子数；|D|是训练数据数量；是对应的真实父节点；Lossrel是语义关系分类的损失函数；/>是对应的真实语义关系；Loss是语义连接预测和语义关系分类的损失函数之和，其用于模型联合训练。
步骤S6、模型联合训练完毕后，输入整个对话的句子，模型输出句子间存在的语义连接及其对应的语义关系，完成多人对话的语篇分析。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于图卷积网络的多人对话语篇分析方法，其特征在于，包括以下步骤：
S1、通过句子编码模块将对话中的每个句子映射为局部句子向量Hi；
S2、通过图卷积网络捕捉句子之间的语义关系，输出全局句子向量
S3、通过拼接局部句子向量Hi和、目标局部句子向量Hj和全局句子向量得到特征向量，并输入到语义连接预测模块预测连接的目标句子oi,j；其中，目标局部句子向量Hj为所有与第i个句子有语义连接的句子的局部句子向量；
S4、通过拼接局部句子向量Hi和目标局部句子向量Hj、全局句子向量得到特征向量，并输入到语义分类模块预测获取两个句子的语义关系；
S5、通过模型联合训练语义连接预测和语义关系分类任务，获取模型参数；
S6、模型联合训练完毕后，输入整个对话的句子，模型输出句子间存在的语义连接及其对应的语义关系，完成多人对话的语篇分析；
步骤S2中全局句子向量计算过程如下：
其中，Ni是所有与第i个句子有语义连接的句子；Hj是所有与第i个句子有语义连接的句子的局部句子向量，即目标局部句子向量；j是目标句子；W和b是模型的参数；ReLU是激活函数；是第i个句子的图卷积网络输出，即全局句子向量；
步骤S3中的拼接方式如下：
其中，Hi,j为特征向量；
通过获取特征向量Hi,j，进行线性变换，并预测连接的目标句子，具体公式如下：
oi,j＝fcLink(Hi,j)
其中，oi,j是语义连接预测模块中对向量Hi,j进行线性变换后获取的向量；fcLink是全连接层，对特征向量Hi,j进行线性变换；pi是与当前句子连接的父句子；uj是当前对话中的第j个目标句子；P是当前句子与对话中的第j个目标句子连接的概率；k是在当前句子之前的所有句子；Hi,＜i是第i个句子与在第i个句子之前的句子的拼接特征向量；
步骤S5中语义连接预测和语义关系分类使用的损失函数分别如下：
Loss＝Losslink+Lossrel
其中，Losslink是语义连接预测的损失函数；n是对话中的总句子数；|D|是训练数据数量；是对应的真实父节点；Lossrel是语义关系分类的损失函数；/>是对应的真实语义关系；Loss是语义连接预测和语义关系分类的损失函数之和。
2.根据权利要求1所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，步骤S1将多人对话中的每个句子输入句子编码模块中，获取每句话的句子向量，句子用表示，其中i是对话中的第i个句子；T是一句话有T个词。
3.根据权利要求2所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，将句子中的文本映射为词嵌入句子向量中，再输入到句子编码器中获取局部句子向量，具体公式如下：
其中，是将单词映射到对应的词嵌入矩阵，1≤t≤T；/>是将上一时刻的前向GRU输出的隐含层向量和当前单词的词嵌入向量输入到前向GRU中；/>和/>分别是前向GRU和后向GRU的输出隐含层向量；Hi是第i个句子的局部句子向量，通过拼接该句子中最后一个单词的前后向隐含层向量得到；/>代表向量拼接。
4.根据权利要求1所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，步骤S3中语义连接预测为预测其与目标句子j有语义连接，其中j＜i，表示目标句子j在当前句子之前。
5.根据权利要求1所述的基于图卷积网络的多人对话语篇分析方法，其特征在于，步骤S4中预测与第i个句子连接的是目标句子j，两者的语义关系预测公式如下：
Li,j＝fcrela(Hi,j)
P(rij|Hi，j)＝softmax(WrelHi，j+brel)
其中，fcrela是关系分类模块中的全连接层；Li,j是语义关系分类模块中对向量Hi,j进行线性变换后获取的向量；rij是第i个句子和第j个句子的预测语义关系；Wrel和brel是关系分类模块的参数。
CN202011076361.6A 2020-10-10 2020-10-10 一种基于图卷积网络的多人对话语篇分析方法 Active CN112380874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011076361.6A CN112380874B (zh) 2020-10-10 2020-10-10 一种基于图卷积网络的多人对话语篇分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011076361.6A CN112380874B (zh) 2020-10-10 2020-10-10 一种基于图卷积网络的多人对话语篇分析方法

Publications (2)

Publication Number Publication Date
CN112380874A CN112380874A (zh) 2021-02-19
CN112380874B true CN112380874B (zh) 2023-07-18

Family

ID=74581143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011076361.6A Active CN112380874B (zh) 2020-10-10 2020-10-10 一种基于图卷积网络的多人对话语篇分析方法

Country Status (1)

Country Link
CN (1) CN112380874B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377915B (zh) * 2021-06-22 2022-07-19 厦门大学 对话篇章解析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941962A (zh) * 2019-11-26 2020-03-31 中国科学院自动化研究所 基于图网络的答案句选择方法及装置
CN111241294A (zh) * 2019-12-31 2020-06-05 中国地质大学（武汉） 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN111737552A (zh) * 2020-06-04 2020-10-02 中国科学院自动化研究所 训练信息抽取模型和获取知识图谱的方法、装置和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509411B (zh) * 2017-10-10 2021-05-11 腾讯科技（深圳）有限公司 语义分析方法和装置
US11494615B2 (en) * 2019-03-28 2022-11-08 Baidu Usa Llc Systems and methods for deep skip-gram network based text classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941962A (zh) * 2019-11-26 2020-03-31 中国科学院自动化研究所 基于图网络的答案句选择方法及装置
CN111241294A (zh) * 2019-12-31 2020-06-05 中国地质大学（武汉） 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN111737552A (zh) * 2020-06-04 2020-10-02 中国科学院自动化研究所 训练信息抽取模型和获取知识图谱的方法、装置和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴睿智 等.基于图卷积神经网络的位置语义推断.电子科技大学学报.2020,第49卷(第5期),第739-744页. *
基于自注意力门控图卷积网络的特定目标情感分析;陈佳伟;韩芳;王直杰;;计算机应用(08);第38-42页 *

Also Published As

Publication number Publication date
CN112380874A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
TWI732271B (zh) 人機對話方法、裝置、電子設備及電腦可讀媒體
CN109472024B (zh) 一种基于双向循环注意力神经网络的文本分类方法
CN106919646B (zh) 中文文本摘要生成系统及方法
CN108416065B (zh) 基于层级神经网络的图像-句子描述生成系统及方法
CN111143576A (zh) 一种面向事件的动态知识图谱构建方法和装置
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN113641820A (zh) 基于图卷积神经网络的视角级文本情感分类方法及系统
CN111401077A (zh) 语言模型的处理方法、装置和计算机设备
CN109992669B (zh) 一种基于语言模型和强化学习的关键词问答方法
CN109919221B (zh) 基于双向双注意力机制图像描述方法
CN112232087B (zh) 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法
CN111858932A (zh) 基于Transformer的多重特征中英文情感分类方法及系统
CN109325242B (zh) 基于词对和翻译判断句子是否对齐的方法、装置及设备
CN111222338A (zh) 基于预训练模型和自注意力机制的生物医学关系抽取方法
CN111985205A (zh) 一种方面级情感分类模型
CN110991290A (zh) 基于语义指导与记忆机制的视频描述方法
CN111428481A (zh) 一种基于深度学习的实体关系抽取方法
CN113806554A (zh) 面向海量会议文本的知识图谱构建方法
CN114091450A (zh) 一种基于图卷积网络的司法领域关系抽取方法和系统
Wei et al. EdgeCRNN: an edge-computing oriented model of acoustic feature enhancement for keyword spotting
CN112380874B (zh) 一种基于图卷积网络的多人对话语篇分析方法
CN111382333B (zh) 基于案件相关性联合学习与图卷积的新闻文本句中案件要素抽取方法
CN110888944B (zh) 基于多卷积窗尺寸注意力卷积神经网络实体关系抽取方法
CN116776287A (zh) 融合多粒度视觉与文本特征的多模态情感分析方法及系统
Zhang et al. Keyword-driven image captioning via Context-dependent Bilateral LSTM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant