CN111460132B - 一种基于图卷积神经网络的生成式会议摘要方法 - Google Patents

一种基于图卷积神经网络的生成式会议摘要方法 Download PDF

Info

Publication number
CN111460132B
CN111460132B CN202010163281.8A CN202010163281A CN111460132B CN 111460132 B CN111460132 B CN 111460132B CN 202010163281 A CN202010163281 A CN 202010163281A CN 111460132 B CN111460132 B CN 111460132B
Authority
CN
China
Prior art keywords
conference
node
neural network
sentence
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010163281.8A
Other languages
English (en)
Other versions
CN111460132A (zh
Inventor
冯骁骋
秦兵
冯夏冲
刘挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010163281.8A priority Critical patent/CN111460132B/zh
Publication of CN111460132A publication Critical patent/CN111460132A/zh
Application granted granted Critical
Publication of CN111460132B publication Critical patent/CN111460132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

一种基于图卷积神经网络的生成式会议摘要方法，本发明涉及基于图卷积神经网络的生成式会议摘要方法。本发明的目的是为了解决现有方法仅仅使用句子和词语的序列结构建模会议文本，忽略了会议丰富的对话篇章结构信息的问题。过程为：一：得到会议的对话篇章结构；二：构建会议篇章结构图，以及会议中句子之间的对话篇章结构；三：构建伪数据和对应的伪数据的会议篇章结构图；四：得到预训练好的图神经网络的生成式会议摘要模型和初始化参数；得到训练好的图神经网络的生成式会议摘要模型和模型参数；利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。本发明用于自然语言处理领域下的生成式会议摘要方法。

Description

一种基于图卷积神经网络的生成式会议摘要方法
技术领域
本发明涉及基于图卷积神经网络的生成式会议摘要方法。
背景技术
基于自然语言处理—自动文本摘要(Automatic Summarization)[1](题目：Constructing literature abstracts by computer:techniques andprospects，作者：Chris D Paice，年份：1990年，文献引自Information Processing&Management)领域下的生成式会议摘要(Abstractive Meeting Summarization)，即给定多人会议的文字记录，生成一段简短的、包含会议关键信息的文本描述，如图2(a)，展示了一个会议片段及其对应的标准摘要。
对于会议摘要，现有方法可以分为抽取式(Extractive)与生成式(Abstractive)两类。抽取式方法从会议记录中选择重要的句子构成最终摘要，所有文本均来自于原文，保证了基本语法正确的同时，也存在连贯性差等问题[2](题目：Extracting decisions frommulti-party dialogue using directed graphical models and semantic similarity，作者：Trung H Bui,Matthew Frampton,John Dowding,and Stanley Peters，年份：2009年，文献引自：Proceedings ofthe SIGDIAL 2009Conference:The 10th Annual Meetingof the Special Interest Group on Discourse andDialogue)。生成式方法由模型生成摘要，可以生成不属于原文的词语和短语，更加流畅。近几年的研究大多集中于生成式会议摘要[3](题目：Keep meeting summaries on topic:Abstractive multi-modal meetingsummarization，作者：Manling Li,Lingyu Zhang,Heng Ji,and Richard J.Radke，年份：2019年，文献引自：Proceedings ofthe 57th Annual Meeting ofthe Association forComputational Linguistics)。然而，现有技术大多基于序列到序列(sequence-to-sequence)模型，将会议内容视为句子和词语的序列，利用序列编码器进行建模，尽管取得了一定的效果，但是依旧存在一定的不足，生成的摘要往往无法准确的理解会议内容，如图2(b)，展示了基线模型Sentence-Gated[4](题目：Abstractive dialogue summarizationwith sentencegated modeling optimized by dialogue acts，作者：Chih-Wen Goo andYun-Nung Chen，年份：2018，文献引自：2018IEEE Spoken Language Technology Workshop(SLT))生成的摘要，与标准摘要对比，该模型没有准确的理解原文中句子3与句子1构成的“反驳”关系。仅仅使用句子和词语的序列结构建模会议文本，忽略了会议丰富的对话篇章结构信息，对话篇章结构表示了两句话之间的语义关系，例如“问答”、“反驳”、“赞同”等。
发明内容
本发明的目的是为了解决现有方法仅仅使用句子和词语的序列结构建模会议文本，忽略了会议丰富的对话篇章结构信息的问题，而提出一种融入对话篇章结构信息的生成式会议摘要方法。
一种基于图卷积神经网络的生成式会议摘要方法具体过程为：
步骤一：训练对话篇章结构解析器，并对会议数据进行标注，得到会议的对话篇章结构；
步骤二：对于会议数据集中每一条会议及根据步骤一得到的会议的对话篇章结构，构建会议篇章结构图，会议篇章结构图包括了会议中的所有句子，会议中的所有参与者，以及会议中句子之间的对话篇章结构；
将会议篇章结构图表示为GD＝(VD,ED,RD)，其中vi∈VD代表图节点，(vi,r,vj)∈ED代表图中边，r∈RD代表图中边关系；
步骤三：利用“问答”对话篇章结构构建伪数据和对应的伪数据的会议篇章结构图；
步骤四：利用步骤三构建好的伪数据和对应的伪数据的会议篇章结构图预训练基于图神经网络的生成式会议摘要模型，得到预训练好的图神经网络的生成式会议摘要模型和初始化参数；
将步骤一得到的会议数据的对话篇章结构和步骤二得到的会议篇章结构图输入预训练好的图神经网络的生成式会议摘要模型进行训练，得到训练好的图神经网络的生成式会议摘要模型和模型参数；
利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。
本发明的有益效果为：
本发明引入对话篇章结构，将会议构建为一个对话篇章结构图，并利用图卷积神经网络建模整个会议，整个模型采用图到序列(graph-to-sequence)框架，生成最终会议摘要，可以更好的理解会议内容。除此以外，本发明还利用“问答”对话篇章结构构建伪数据，对模型进行预训练，可以隐式的增加训练数据，允许模型在真实数据上“热启动”。解决了现有生成式会议摘要仅采用序列方式建模会议，忽略了会议丰富的对话篇章结构信息的问题。如图2(c)，展示了在引入对话篇章结构以后，本发明的模型生产的摘要。
在本发明方法进行实验后生成的摘要中，生成了包含关键信息的内容，并生成了与会议对话篇章结构相对应的描述文本，更好的概括了会议内容，显示了本发明方法的有效性，在评价指标ROUGE上本发明方法比之前的方法取得了更好的结果。ROUGE是一种基于召回率的相似性度量方法，是评估自动文摘以及机器翻译的一组指标，考察翻译的充分性和忠实性，值越高越好。ROUGE-1、ROUGE-2、ROUGE-L的计算分别涉及一元语法、二元语法和最长公共子序列。
附图说明
图1为本发明流程图；
图2(a)为一个会议片段记录及其对应的标准摘要示意图；
图2(b)为基线模型Sentence-Gated生成的摘要示意图；
图2(c)为本发明模型生成的摘要示意图；
图3(a)为会议片段及其标注好的对话篇章结构示意图；
图3(b)为Levi图转换示意图；
图4(a)为自连接边与全局连接边示意图；
图4(b)为正向入边与正向出边示意图；
图4(c)为反向入边与反向出边示意图；
图4(d)为对话篇章图示意图；
图5为伪数据构建英文示意图；
图6为本发明模型示意图。
具体实施方式
具体实施方式一：结合图1说明本实施方式，本实施方式一种基于图卷积神经网络的生成式会议摘要方法具体过程为：
步骤一：训练对话篇章结构解析器，并对会议数据进行标注，得到会议的对话篇章结构；
步骤二：对于会议数据集中每一条会议及根据步骤一得到的会议的对话篇章结构，构建会议篇章结构图，会议篇章结构图包括了会议中的所有句子，会议中的所有参与者，以及会议中句子之间的对话篇章结构；
将会议篇章结构图表示为GD＝(VD,ED,RD)，其中vi∈VD代表图节点，(vi,r,vj)∈ED代表图中边，r∈RD代表图中边关系；
步骤三：利用“问答”对话篇章结构构建伪数据和对应的伪数据的会议篇章结构图；
步骤四：利用步骤三构建好的伪数据和对应的伪数据的会议篇章结构图预训练基于图神经网络的生成式会议摘要模型，得到预训练好的图神经网络的生成式会议摘要模型和初始化参数；
步骤三构建好的伪数据包括了“讨论”“问题”对，以及根据步骤三二得到的伪数据的会议篇章结构图，将“讨论”“问题”对和对应的伪数据的会议篇章结构图输入模型，预训练以后得到模型的初始化参数；
伪数据作为预训练数据，有两点优势：(1)隐式的增加了训练数据，(2)通过使用伪数据对基于图神经网络的生成式会议摘要模型进行预训练，可以给该模型一个热启动，使得该模型有一个较好地初始化参数；
将步骤一得到的会议数据的对话篇章结构和步骤二得到的会议篇章结构图输入预训练好的图神经网络的生成式会议摘要模型进行训练，得到训练好的图神经网络的生成式会议摘要模型和模型参数；
利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中训练对话篇章结构解析器，并对会议数据进行标注，得到会议的对话篇章结构；具体过程为：
步骤一一、利用现有STAC数据集[5](题目：Discourse structure and dialogueacts in multiparty dialogue:The stac corpus，作者：Nicholas Asher,Julie Hunter,Mathieu Morey,Farah Benamara,and Stergos Afantenos，年份：2016)训练现有对话篇章结构解析器Deep Sequential[6](题目：Adeep sequential model for discourse parsingon multi-party dialogues，作者：Zhouxing Shi and Minlie Huang，时间：2019年，文献引自：Proceedings oftheAAAI Conference onArtificial Intelligence)，得到训练好的对话篇章结构解析器Deep Sequential；
步骤一二、利用训练好的对话篇章结构解析器Deep Sequential对AMI会议数据进行对话篇章结构的标注，得到AMI会议的对话篇章结构。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤一一中利用现有STAC数据集训练现有对话篇章结构解析器Deep Sequentia，得到训练好的对话篇章结构解析器Deep Sequential；具体过程为：
STAC数据集为英文游戏多人聊天数据集，该语料标注了对话中基本语义单元(EDU)之间的语义关系；
所述多人为3人及以上。
根据统计，STAC中共含有1091个对话，10677个基本语义单元，11348个关系实例；
根据任务定义，每个对话至少有3名讲者参与其中。每名讲者每次发送的消息通常为1～2句话，在多人对话语篇解析中每句话通常作为一个基本语义单元(EDU)。基本语义单元(EDU)与基本语义单元(EDU)之间的篇章语义关系共分类16类，分别是：Comment(评论)、Clarification_question(澄清问题)、Elaboration(详述)、Acknowledgement(致谢)、Continuation(延续)、Explanation(解释)、Conditional(条件)、Question-answer_pair(问答对)、Alternation(交替)、Q-Elab(问题详述)、Result(结果)、Background(背景)、Narration(叙述)、Correction(纠正)、Parallel(平行)和Contrast(对比)；
本发明的实验具体在AMI[7]会议数据集(题目：The ami meeting corpus:A pre-announcement，作者：Jean Carletta,SimoneAshby,Sebastien Bourban,Mike Flynn,MaelGuillemot,Thomas Hain,Jaroslav Kadlec,Vasilis Karaiskos,Wessel Kraaij,MelissaKronenthal,et al，年份：2005，文献引自：International workshop on machinelearning for multimodal interaction)上进行，该数据集为会议数据集，包含了四个参与者，分别是：项目经理，营销专家，工业设计师，用户界面设计师。四位参与者针对一款产品开发进行讨论。该数据集包含了137个会议，本发明按照前人的方法，将其划分为训练集(97个会议)、开发集(20个会议)和测试集(20个会议)。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤一二中利用训练好的对话篇章结构解析器Deep Sequential对AMI会议数据进行对话篇章结构的标注，得到AMI会议的对话篇章结构；具体过程为：
AMI会议数据为会议数据集，包含了四个参与者，分别是：项目经理，营销专家，工业设计师，用户界面设计师；四位参与者针对一款产品开发进行讨论；
AMI会议数据集包含了137个会议，将AMI会议数据集划分为训练集(97个会议)、开发集(20个会议)和测试集(20个会议)；
训练好的对话篇章结构解析器Deep Sequential模型首先判断AMI会议中的两句话之间是否有关系，例如：对于句子A和句子B，将两句话输入DeepSequential模型之中，该模型首先判断两句话是否有关系，输出有关系或者无关系。如果句子A和B有关系，DeepSequential模型继续判断是哪一种关系，关系属于评论、澄清问题、详述、致谢、延续、解释、条件、问答对、交替、问题详述、结果、背景、叙述、纠正、平行和对比16种关系中的一种；通过上述步骤最终得到两个句子之间的关系；
对会议数据进行标注，得到AMI会议的对话篇章结构；
如果句子A和B没有关系，就不进行标注。
标注结果如图3(a)所示，示例中包含了四个句子U1，U2，U3和U4，其中U2和U1构成了“问答”关系，U3和U1构成了“延续”关系，U4和U2构成了“解释”关系。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤二中对于会议数据集中每一条会议及根据步骤一得到的会议的对话篇章结构，构建会议篇章结构图，会议篇章结构图包括了会议中的所有句子，会议中的所有参与者，以及会议中句子之间的对话篇章结构；
将会议篇章结构图表示为GD＝(VD,ED,RD)，其中vi∈VD代表图节点，(vi,r,vj)∈ED代表图中边，r∈RD代表图中边关系；
具体过程为：
步骤二一、对步骤一得到的AMI会议的对话篇章结构进行Levi图[8](题目：Handbookofgraphtheory，作者：JonathanLGross,JayYellen,andPingZhang，年份：2013)转换；具体过程为：
对步骤一得到的AMI会议的对话篇章结构(如图3(a))进行Levi图转换，将边转换为关系节点，这种转换方式可以有效的利用边信息；Levi图转换结果如图3(b)所示；经过Levi图转换之后，篇章结构关系类型将会变为图中的一个节点，例如图3(a)中的“问答”边在图3(b)中成为一个新的节点；为了更好地促进信息在整个图上的的传播，在句子节点和关系节点之间添加正向与反向边，正向边保留了原有的边方向，例如图3(a)中句子2通过“问答”关系指向句子1，经过转换以后，句子2通过“正向边”指向“问答”节点，“问答”节点通过“正向边”指向句子1。反相边与正向边的方向相反；
步骤二二、增加全局节点G与全局连接边；
为了有效的获得整个图谱的信息，促进信息传播，本发明在上述步骤一的基础上增加全局节点G。增加全局节点G，全局节点G与图中所有节点全部增加一条连接边，称为全局连接边；如图4(a)中所示：全局连接边；增加全局连接边来收集整个图的全局信息；
步骤二三、增加自连接边；
在上述步骤二二的基础上，本发明增加自连接边来获得自身信息，自连接边由每一个节点指向自身；
句子节点U1，U2，U3和U4、关系节点“问答”“延续”和“解释”以及全局节点都有指向自身的自连接边，同时全局节点G有指向句子节点和关系节点的全局连接边；
步骤二四、修改正向边为正向入边与正向出边(如图4(b))，修改反向边为反向入边与反向出边(如图4(c))；
句子节点和关系节点属于两种不同类型的节点，使用统一的正向边与反向边传播信息会导致信息损失。本发明根据节点类型对两种边进行修改，以促进不同类型节点之间信息更好的传播。例如图3(b)中U2通过正向边连接“问答”节点，修改后变为U2通过正向入边连接“问答”节点，“问答”节点通过正向出边连接U1节点。反向边同理，如图4(c)。
步骤二五、经过步骤二一到二四，本发明最终构建出会议篇章结构图如图4(d)；
会议篇章结构图包含6种类型的边关系：自连接边、全局连接边、正向入边、正向出边、反向入边、反向出边；
会议篇章结构图包含三种类型的节点：全局节点、句子节点和关系节点；
其中自连接边包括三种形式：全局节点指向全局节点，句子节点指向句子节点，关系节点指向关系节点；
全局连接边包括两种形式：全局节点指向句子节点，全局节点指向关系节点；
正向入边为句子节点指向关系节点，正向出边为关系节点指向句子节点、反向入边为句子节点指向关系节点，反向出边为关系节点指向句子节点。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤三中利用“问答”对话篇章结构构建伪数据和对应的伪数据的会议篇章结构图；具体过程为：
步骤三一、根据步骤一得到的AMI会议的对话篇章结构，利用对话篇章结构关系中“问答对”判断一句话是否为“问题”，(对于句子A与句子B，当两个句子被判断为“问答对”结构以后，句子A为“问题”，在得到“问题”以后，将该“问题”之后的10句话作为针对这个“问题”的一段“讨论”。本发明发现一个“问题”往往引起针对这一问题的一段“讨论”，如图5，界面设计师问“什么是标准的颜色？”，之后引发了一段关于颜色的讨论。)若是“问题”，将“问题”作为伪摘要，“问题”之后的一段“讨论”作为伪会议，根据“讨论”“问题”对构建伪数据；
伪数据中的每一条数据为“讨论”和“问题”对，即给定一段“讨论”，目标为生成相应的“问题”。“讨论”表示一段小的会议，由“问题”之后的10句话组成，“问题”表示针对这段讨论的总结，根据“问答对”关系得到；
若不是“问题”，结束；
步骤三二、得到伪数据以后，根据步骤二进行同样的处理，得到伪数据的会议篇章结构图。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述步骤四中利用步骤三构建好的伪数据和对应的伪数据的会议篇章结构图预训练基于图神经网络的生成式会议摘要模型，得到预训练好的图神经网络的生成式会议摘要模型和初始化参数；
将步骤一得到的会议数据的对话篇章结构和步骤二得到的会议篇章结构图输入预训练好的图神经网络的生成式会议摘要模型进行训练，得到训练好的图神经网络的生成式会议摘要模型和模型参数；
利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要；
具体过程为：
步骤四一、获取节点表示；具体过程为：
按照步骤二构建出的对话篇章结构图一共包含三种类型的节点；
对于全局节点和关系节点，从一个随机初始化的词嵌入矩阵中获得对应的全局节点和关系节点的初始表示
Figure BDA0002406539440000091
该词嵌入矩阵存储了全局节点和关系节点的初始表示，对于全局节点，有一个向量表示，对于每一个关系节点，也有一个向量表示。这些表示是随机初始化得到的。
对于句子节点，一个会议包含了|U|个句子[u1,u2,...,u|U|]，其中第i个句子被表示为ui＝[ui,1,ui,2,…,ui,|U|]，uij代表了第i个句子中的第j个词语；每一个句子ui都对应一个说话人pi，pi∈P，P是说话人集合；
利用步骤一二划分出的AMI会议训练集(97个会议)构建词表，词表包含了AMI会议训练集中所有的词语及其对应的ID索引，每一个词语都拥有唯一索引；
对于句子节点，使用双向长短时记忆网络(BiLSTM)获得每一个词语uij的表示hi,j，如图6句子编码器：
hi,j＝BiLSTM(hi,j-1,ei,j) (1)
式(1)中，hi,j代表了BiLSTM的隐层状态，ei,j代表了句子中词语的词向量；ei,j由预训练好的词向量和说话人pi对应的独热向量拼接而成；ei,j＝[wui,j||wpi]，其中wui,j为词语uij对应的现有的预训练好的词向量，对于一个词语，可以根据词表对应的索引在预训练好的词嵌入矩阵中得到，wpi为说话人pi对应的独热向量，独热向量为一种向量表示形式，例如：有4种说话人A、B、C、D，那么这四种角色的独热向量分别为，A：[1，0，0，0]，B：[0，1，0，0]，C：[0，0，1，0]，D：[0，0，0，1]，||代表两个向量拼接；
将BiLSTM前向和后向的表示相拼接，得到句子ui的初始表示
Figure BDA0002406539440000092
Figure BDA0002406539440000093
其中，
Figure BDA0002406539440000094
代表前向表示，
Figure BDA0002406539440000095
代表后向表示；
至此，全局节点、关系节点、句子节点得到了初始表示
Figure BDA0002406539440000096
步骤四二、利用图卷积神经网络更新表示，如图6图编码器。
对于每一个节点vi∈VD，将步骤四一得到的初始表示
Figure BDA0002406539440000097
送入到现有图卷积神经网络中更新节点表示：
Figure BDA0002406539440000101
式(2)中，Nr(vi)代表节点vi在关系r下的邻居节点；|Nr(vi)|代表节点vi在关系r下的邻居节点的数量；
Figure BDA0002406539440000102
代表第l层对于关系r可学习的参数；ReLU为激活函数；
Figure BDA0002406539440000103
代表节点vi在l+1层的表示；
Figure BDA0002406539440000104
代表节点vj在l层的表示；
根据式(2)更新节点表示利用卷积操作，根据下一层邻居节点的表示来更新得到上一层的节点表示，这种方式可以充分的利用对话篇章结构图的信息，学习得到更好的节点表示。
不同的节点拥有不同的重要程度，为了更有效地获取不同节点的信息。本发明利用门控机制对来自不同节点的信息进行控制：
Figure BDA0002406539440000105
式(3)中，
Figure BDA0002406539440000106
代表节点vj在l层的表示，
Figure BDA0002406539440000107
代表第l层对于关系r可学习的参数，sigmoid为激活函数，
Figure BDA0002406539440000108
的范围为
Figure BDA0002406539440000109
采用门控机制以后，式(2)的卷积操作变为式(4)：
Figure BDA00024065394400001010
步骤四三、利用单向长短时记忆网络(LSTM)解码器来生成摘要，如图6解码器；具体过程为：
步骤四二得到了每一个节点的更新表示，将步骤四二更新后的全局节点G表示赋值给解码器的细胞状态和隐层状态来初始化解码器的初始状态；
在解码的每一步，利用注意力机制，根据解码器状态st计算词语级别上下文向量
Figure BDA00024065394400001011
和句子级别上下文向量
Figure BDA00024065394400001012
词语级别的上下文向量
Figure BDA00024065394400001013
计算方式为：
Figure BDA00024065394400001014
at＝softmax(et)
Figure BDA0002406539440000111
式(5)中，Wa为可学习的参数，
Figure BDA0002406539440000112
是步骤四一(公式1的)获得的词语初始表示；
Figure BDA0002406539440000113
为对于第i句话第j个词语，未归一化的权重；
Figure BDA0002406539440000114
为解码器t时刻状态；at为经过归一化以后的权重；et为归一化之前的权重；
Figure BDA0002406539440000115
为词语级别的向量表示；
Figure BDA0002406539440000116
为归一化以后的，对于第i句话第j个词语的权重；
句子级别的上下文向量
Figure BDA0002406539440000117
计算方式为：
Figure BDA0002406539440000118
式(6)中，Wb为可学习的参数，
Figure BDA0002406539440000119
是经过现有的图卷积神经网络更新后的最后一层的句子表示；
Figure BDA00024065394400001116
为对于句子j未归一化的权重；a′t为对于句子j归一化之后的权重；
将词语级别和句子级别的上下文向量拼接得到最终上下文向量
Figure BDA00024065394400001110
根据上下文向量
Figure BDA00024065394400001111
和当前时刻解码器隐藏层状态st计算词表中生成每一个词语的概率Pvocab，词表为步骤四一得到的词表：
Pvocab＝softmax(V′(V[st||ht *]+b)+b′) (7)
式(7)中，V,V′,b和b′为可学习的参数；
Figure BDA00024065394400001112
代表st和
Figure BDA00024065394400001113
的拼接；softmax为归一化函数；Pvocab(w)代表了生成词表中词语w的概率；
除了从词表中生成词语，本发明模型还允许从原文中拷贝词语。首先计算从词表中生成词语的概率pgen，该概率说明了有多大可能性从词表中生成词语，例如pgen为0.8，代表了有80％的可能性从词表中生成词语，有20％的可能性从原文中拷贝词语：
Figure BDA00024065394400001114
式(8)中，
Figure BDA00024065394400001115
ws，wx和bptr为可学习的参数；sigmoid为激活函数；pgen代表了从词表中生成的概率，1-pgen代表了从原文中拷贝的概率；
Figure BDA0002406539440000121
为对
Figure BDA0002406539440000122
求转置；
Figure BDA0002406539440000123
为对ws求转置；
Figure BDA0002406539440000124
为对wx求转置；xt为t时刻解码器输入词语的现有的预训练好的词向量；
因此对于一个词语w，综合考虑从词表中生成的概率和从原文中拷贝的概率，最终概率如式(9)：
Figure BDA0002406539440000125
式(9)中，
Figure BDA0002406539440000126
为经过归一化以后的对于第i句话第j个词语的权重；
使用极大似然估计训练基于图神经网络的生成式会议摘要模型，得到训练好的图神经网络的生成式会议摘要模型；
利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。
根据步骤四一到四三，首先使用步骤三构建好的伪数据预训练模型，得到训练好的模型以后，接着使用AMI会议数据集微调模型，得到最终的生成式会议摘要模型。给定一段会议和对应的会议篇章结构图，我们使用训练好的基于图神经网络的生成式会议摘要模型根据式(9)来生成最终摘要。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：所述使用极大似然估计(公式10)训练基于图神经网络的生成式会议摘要模型，得到训练好的图神经网络的生成式会议摘要模型；具体过程为：
在解码器的每一步，根据式(9)预测的词语的概率和标准词语(带标签的
Figure BDA0002406539440000127
等)计算交叉熵损失；过程为：
对于一个会议U，给定标准摘要
Figure BDA0002406539440000128
训练目标是最小化式(10)：
Figure BDA0002406539440000129
式(10)中，
Figure BDA00024065394400001210
为标准摘要中的第一个词语；
Figure BDA00024065394400001211
为标准摘要中的最后一个词语；
Figure BDA00024065394400001212
为t时刻需要预测的标准摘要的词语；L为损失函数。
其它步骤及参数与具体实施方式一至七之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
本发明对提出的模型进行了实现，同时和目前的基线模型(Sentence-Gated模型)和标准摘要进行了对比。
目前的Sentence-Gated模型生成的摘要：
The need to incorporate a fruit theme into the design ofthe remote.
需要将水果主题融入遥控器的设计中。
本发明模型生成的摘要：
The buttons will be included in a fruit and vegetable theme into theshape of the remote control.
这些按钮将包含在一个以水果和蔬菜为主题的遥控器中。
标准摘要：
The Marketing Expert presented trends in the remote control marketand the fruit and vegetable and spongy material trends in fashion.
市场专家介绍了市场的发展趋势，以及果蔬、海绵状材料的流行趋势。
可以看出
本发明的模型可以生成与标准摘要更加相似的结果，通过引入对话篇章结构，可以更全面的理解会议信息。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述方法具体过程为：
步骤一：训练对话篇章结构解析器，并对会议数据进行标注，得到会议的对话篇章结构；
步骤二：对于会议数据集中每一条会议及根据步骤一得到的会议的对话篇章结构，构建会议篇章结构图，会议篇章结构图包括了会议中的所有句子，会议中的所有参与者，以及会议中句子之间的对话篇章结构；
将会议篇章结构图表示为GD＝(VD,ED,RD)，其中vi∈VD代表图节点，(vi,r,vj)∈ED代表图中边，r∈RD代表图中边关系；
步骤三：利用“问答”对话篇章结构构建伪数据和对应的伪数据的会议篇章结构图；
步骤四：利用步骤三构建好的伪数据和对应的伪数据的会议篇章结构图预训练基于图神经网络的生成式会议摘要模型，得到预训练好的图神经网络的生成式会议摘要模型和初始化参数；
将步骤一得到的会议数据的对话篇章结构和步骤二得到的会议篇章结构图输入预训练好的图神经网络的生成式会议摘要模型进行训练，得到训练好的图神经网络的生成式会议摘要模型和模型参数；
利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。
2.根据权利要求1所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤一中训练对话篇章结构解析器，并对会议数据进行标注，得到会议的对话篇章结构；具体过程为：
步骤一一、利用现有STAC数据集训练现有对话篇章结构解析器Deep Sequential，得到训练好的对话篇章结构解析器Deep Sequential；
步骤一二、利用训练好的对话篇章结构解析器Deep Sequential对AMI会议数据进行对话篇章结构的标注，得到AMI会议的对话篇章结构。
3.根据权利要求2所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤一一中利用现有STAC数据集训练现有对话篇章结构解析器Deep Sequential，得到训练好的对话篇章结构解析器Deep Sequential；具体过程为：
STAC数据集为英文游戏多人聊天数据集，STAC数据集标注了对话中基本语义单元之间的语义关系；
所述多人为3人以上。
4.根据权利要求3所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤一二中利用训练好的对话篇章结构解析器Deep Sequential对AMI会议数据进行对话篇章结构的标注，得到AMI会议的对话篇章结构；具体过程为：
AMI会议数据为会议数据集，包含了四个参与者，四位参与者针对一款产品开发进行讨论；
将AMI会议数据集划分为训练集、开发集和测试集；
训练好的对话篇章结构解析器Deep Sequential模型首先判断AMI会议中的两句话之间是否有关系，如果句子A和B有关系，Deep Sequential模型继续判断是哪一种关系，关系属于评论、澄清问题、详述、致谢、延续、解释、条件、问答对、交替、问题详述、结果、背景、叙述、纠正、平行和对比16种关系中的一种；
对会议数据进行标注，得到AMI会议的对话篇章结构；
如果句子A和B没有关系，就不进行标注。
5.根据权利要求4所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤二中对于会议数据集中每一条会议及根据步骤一得到的会议的对话篇章结构，构建会议篇章结构图，会议篇章结构图包括了会议中的所有句子，会议中的所有参与者，以及会议中句子之间的对话篇章结构；
将会议篇章结构图表示为GD＝(VD,ED,RD)，其中vi∈VD代表图节点，(vi,r,vj)∈ED代表图中边，r∈RD代表图中边关系；
具体过程为：
步骤二一、对步骤一得到的AMI会议的对话篇章结构进行Levi图转换；具体过程为：
对步骤一得到的AMI会议的对话篇章结构进行Levi图转换，将边转换为关系节点；在句子节点和关系节点之间添加正向与反向边，正向边保留了原有的边方向，反向边与正向边的方向相反；
步骤二二、增加全局节点G与全局连接边：
增加全局节点G，全局节点G与图中所有节点全部增加一条连接边，称为全局连接边；
步骤二三、增加自连接边：
自连接边由每一个节点指向自身；
步骤二四、修改正向边为正向入边与正向出边，修改反向边为反向入边与反向出边；
步骤二五、经过步骤二一到二四，构建出会议篇章结构图；
会议篇章结构图包含6种类型的边关系：自连接边、全局连接边、正向入边、正向出边、反向入边、反向出边；
会议篇章结构图包含三种类型的节点：全局节点、句子节点和关系节点；
其中自连接边包括三种形式：全局节点指向全局节点，句子节点指向句子节点，关系节点指向关系节点；
全局连接边包括两种形式：全局节点指向句子节点，全局节点指向关系节点；
正向入边为句子节点指向关系节点，正向出边为关系节点指向句子节点、反向入边为句子节点指向关系节点，反向出边为关系节点指向句子节点。
6.根据权利要求5所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤三中利用“问答”对话篇章结构构建伪数据和对应的伪数据的会议篇章结构图；具体过程为：
步骤三一、根据步骤一得到的AMI会议的对话篇章结构，利用对话篇章结构关系中“问答对”判断一句话是否为“问题”，若是“问题”，将“问题”作为伪摘要，“问题”之后的一段“讨论”作为伪会议，根据“讨论”“问题”对构建伪数据；
若不是“问题”，结束；
步骤三二、得到伪数据以后，根据步骤二进行同样的处理，得到伪数据的会议篇章结构图。
7.根据权利要求6所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤四中利用步骤三构建好的伪数据和对应的伪数据的会议篇章结构图预训练基于图神经网络的生成式会议摘要模型，得到预训练好的图神经网络的生成式会议摘要模型和初始化参数；
将步骤一得到的会议数据的对话篇章结构和步骤二得到的会议篇章结构图输入预训练好的图神经网络的生成式会议摘要模型进行训练，得到训练好的图神经网络的生成式会议摘要模型和模型参数；
利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要；
具体过程为：
步骤四一、获取节点表示；具体过程为：
对于全局节点和关系节点，从一个随机初始化的词嵌入矩阵中获得对应的全局节点和关系节点的初始表示
Figure FDA0003007251200000048
对于句子节点，一个会议包含了|U|个句子[u1,u2,...,u|U|]，其中第i个句子被表示为ui＝[ui,1,ui,2,...,ui,|U|]，uij代表了第i个句子中的第j个词语；每一个句子ui都对应一个说话人pi，pi∈P，P是说话人集合；
利用步骤一二划分出的AMI会议训练集构建词表，词表包含了AMI会议训练集中所有的词语及其对应的ID索引，每一个词语都拥有唯一索引；
对于句子节点，使用双向长短时记忆网络获得每一个词语uij的表示hi,j：
hi,j＝BiLSTM(hi,j-1,ei,j) (1)
式(1)中，hi,j代表了BiLSTM的隐层状态，ei,j代表了句子中词语的词向量；
将BiLSTM前向和后向的表示相拼接，得到句子ui的初始表示
Figure FDA0003007251200000041
Figure FDA0003007251200000042
其中，
Figure FDA0003007251200000043
代表前向表示，
Figure FDA0003007251200000044
代表后向表示；
至此，全局节点、关系节点、句子节点得到了初始表示
Figure FDA0003007251200000045
步骤四二、对于每一个节点vi∈VD，将步骤四一得到的初始表示
Figure FDA0003007251200000046
送入到现有图卷积神经网络中更新节点表示：
Figure FDA0003007251200000047
式(2)中，Nr(vi)代表节点vi在关系r下的邻居节点；|Nr(vi)|代表节点vi在关系r下的邻居节点的数量；
Figure FDA0003007251200000051
代表第l层对于关系r可学习的参数；ReLU为激活函数；
Figure FDA0003007251200000052
代表节点vi在l+1层的表示；
Figure FDA0003007251200000053
代表节点vj在l层的表示；
利用门控机制对来自不同节点的信息进行控制：
Figure FDA0003007251200000054
式(3)中，
Figure FDA0003007251200000055
代表节点vj在l层的表示，
Figure FDA0003007251200000056
代表第l层对于关系r可学习的参数，sigmoid为激活函数，
Figure FDA0003007251200000057
的范围为
Figure FDA0003007251200000058
采用门控机制以后，式(2)的卷积操作变为式(4)：
Figure FDA0003007251200000059
步骤四三、利用单向长短时记忆网络解码器来生成摘要；具体过程为：
利用注意力机制，根据解码器状态st计算词语级别上下文向量
Figure FDA00030072512000000510
和句子级别上下文向量
Figure FDA00030072512000000511
词语级别的上下文向量
Figure FDA00030072512000000512
计算方式为：
Figure FDA00030072512000000513
式(5)中，Wa为可学习的参数，
Figure FDA00030072512000000514
是步骤四一获得的词语初始表示；
Figure FDA00030072512000000515
为对于第i句话第j个词语，未归一化的权重；
Figure FDA00030072512000000516
为解码器t时刻状态；at为经过归一化以后的权重；et为归一化之前的权重；
Figure FDA00030072512000000517
为词语级别的向量表示；
Figure FDA00030072512000000518
为归一化以后的，对于第i句话第j个词语的权重；
句子级别的上下文向量
Figure FDA00030072512000000519
计算方式为：
Figure FDA00030072512000000520
a′t＝softmax(e′t)
Figure FDA0003007251200000061
式(6)中，Wb为可学习的参数，
Figure FDA0003007251200000062
是经过现有的图卷积神经网络更新后的最后一层的句子表示；
Figure FDA0003007251200000063
为对句子i未归一化的权重；
Figure FDA0003007251200000064
为对句子i归一化之后的权重；
将词语级别和句子级别的上下文向量拼接得到最终上下文向量
Figure FDA0003007251200000065
根据上下文向量
Figure FDA0003007251200000066
和当前时刻解码器隐藏层状态st计算词表中生成每一个词语的概率Pvocab：
Figure FDA0003007251200000067
式(7)中，V,V′,b和b′为可学习的参数；
Figure FDA0003007251200000068
代表st和
Figure FDA0003007251200000069
的拼接；softmax为归一化函数；Pvocab(w)代表了生成词表中词语w的概率；
计算从词表中生成词语的概率pgen：
Figure FDA00030072512000000610
式(8)中，
Figure FDA00030072512000000611
ws，wx和bptr为可学习的参数；sigmoid为激活函数；pgen代表了从词表中生成的概率，1-pgen代表了从原文中拷贝的概率；
Figure FDA00030072512000000612
为对
Figure FDA00030072512000000613
求转置；
Figure FDA00030072512000000614
为对ws求转置；
Figure FDA00030072512000000615
为对wx求转置；xt为t时刻解码器输入词语的现有的预训练好的词向量；
因此对于一个词语w，综合考虑从词表中生成的概率和从原文中拷贝的概率，最终概率如式(9)：
Figure FDA00030072512000000616
式(9)中，
Figure FDA00030072512000000617
为经过归一化以后的对于第i句话第j个词语的权重；
使用极大似然估计训练基于图神经网络的生成式会议摘要模型，得到训练好的图神经网络的生成式会议摘要模型；
利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。
8.根据权利要求7所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述使用极大似然估计训练基于图神经网络的生成式会议摘要模型，得到训练好的图神经网络的生成式会议摘要模型；具体过程为：
在解码器的每一步，根据式(9)预测的词语的概率和标准词语计算交叉熵损失；过程为：
对于一个会议U，给定标准摘要
Figure FDA0003007251200000071
训练目标是最小化式(10)：
Figure FDA0003007251200000072
式(10)中，
Figure FDA0003007251200000073
为标准摘要中的第一个词语；
Figure FDA0003007251200000074
为标准摘要中的最后一个词语；
Figure FDA0003007251200000075
为t时刻需要预测的标准摘要的词语；L为损失函数。
CN202010163281.8A 2020-03-10 2020-03-10 一种基于图卷积神经网络的生成式会议摘要方法 Active CN111460132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010163281.8A CN111460132B (zh) 2020-03-10 2020-03-10 一种基于图卷积神经网络的生成式会议摘要方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010163281.8A CN111460132B (zh) 2020-03-10 2020-03-10 一种基于图卷积神经网络的生成式会议摘要方法

Publications (2)

Publication Number Publication Date
CN111460132A CN111460132A (zh) 2020-07-28
CN111460132B true CN111460132B (zh) 2021-08-10

Family

ID=71681799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010163281.8A Active CN111460132B (zh) 2020-03-10 2020-03-10 一种基于图卷积神经网络的生成式会议摘要方法

Country Status (1)

Country Link
CN (1) CN111460132B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085942B (zh) * 2020-09-25 2021-12-31 汉桑（南京）科技有限公司 一种根据遥控设备图像配置遥控功能数据的方法和系统
CN112148863B (zh) * 2020-10-15 2022-07-01 哈尔滨工业大学 一种融入常识知识的生成式对话摘要方法
CN112463424B (zh) * 2020-11-13 2023-06-02 扬州大学 一种基于图的端到端程序修复方法
CN112765313B (zh) * 2020-12-31 2022-06-28 太原理工大学 一种基于原文和评论信息分析算法的虚假信息检测方法
US12026199B1 (en) * 2022-03-09 2024-07-02 Amazon Technologies, Inc. Generating description pages for media entities
JP7223469B1 (ja) 2022-09-07 2023-02-16 株式会社Aces 発話情報資料化装置
CN115982342B (zh) * 2022-12-27 2023-08-25 中科天网(广东)标准技术研究有限公司 基于成果转换标准的整合制定方法及系统
CN116541505B (zh) * 2023-07-05 2023-09-19 华东交通大学 一种基于自适应对话分割的对话摘要生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4935405B2 (ja) * 2007-02-16 2012-05-23 日本電気株式会社 因果関係分析装置、因果関係分析方法及びプログラム
CN103617158A (zh) * 2013-12-17 2014-03-05 苏州大学张家港工业技术研究院 一种对话文本情感摘要的生成方法
CN109670035B (zh) * 2018-12-03 2021-03-23 科大讯飞股份有限公司 一种文本摘要生成方法
CN110609891B (zh) * 2019-09-18 2021-06-08 合肥工业大学 一种基于上下文感知图神经网络的视觉对话生成方法

Also Published As

Publication number Publication date
CN111460132A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111460132B (zh) 一种基于图卷积神经网络的生成式会议摘要方法
TWI732271B (zh) 人機對話方法、裝置、電子設備及電腦可讀媒體
US20230048218A1 (en) On-Device Projection Neural Networks for Natural Language Understanding
CN109753566B (zh) 基于卷积神经网络的跨领域情感分析的模型训练方法
CN109472024B (zh) 一种基于双向循环注意力神经网络的文本分类方法
CN109844743B (zh) 在自动聊天中生成响应
CN106919646B (zh) 中文文本摘要生成系统及方法
CN109844741B (zh) 在自动聊天中生成响应
Vinyals et al. Show and tell: A neural image caption generator
CN113255755B (zh) 一种基于异质融合网络的多模态情感分类方法
CN113420807A (zh) 基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法
US11862145B2 (en) Deep hierarchical fusion for machine intelligence applications
CN110321563B (zh) 基于混合监督模型的文本情感分析方法
CN111414461B (zh) 一种融合知识库与用户建模的智能问答方法及系统
CN111275401B (zh) 一种基于位置关系的智能面试方法及系统
CN110222163A (zh) 一种融合cnn与双向lstm的智能问答方法及系统
CN111241250B (zh) 一种情感对话生成系统和方法
CN112818861A (zh) 一种基于多模态上下文语义特征的情感分类方法及系统
CN111400461B (zh) 智能客服问题匹配方法及装置
CN112349294B (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN109271636B (zh) 词嵌入模型的训练方法及装置
CN117094291B (zh) 基于智能写作的自动新闻生成系统
CN111353040A (zh) 基于gru的属性级别情感分析方法
CN112131345A (zh) 文本质量的识别方法、装置、设备及存储介质
CN113947074A (zh) 一种深度协同交互的情感原因联合抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant