CN111753523B - 基于注意力分布已知的抽象式神经网络生成摘要的方法 - Google Patents

基于注意力分布已知的抽象式神经网络生成摘要的方法 Download PDF

Info

Publication number
CN111753523B
CN111753523B CN202010610681.9A CN202010610681A CN111753523B CN 111753523 B CN111753523 B CN 111753523B CN 202010610681 A CN202010610681 A CN 202010610681A CN 111753523 B CN111753523 B CN 111753523B
Authority
CN
China
Prior art keywords
attention
score
abstract
distribution
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010610681.9A
Other languages
English (en)
Other versions
CN111753523A (zh
Inventor
马晔
宗璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong Liverpool University
Original Assignee
Xian Jiaotong Liverpool University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong Liverpool University filed Critical Xian Jiaotong Liverpool University
Priority to CN202010610681.9A priority Critical patent/CN111753523B/zh
Publication of CN111753523A publication Critical patent/CN111753523A/zh
Application granted granted Critical
Publication of CN111753523B publication Critical patent/CN111753523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于注意力分布已知的抽象式神经网络生成摘要的方法，所述方法包括如下步骤：步骤S1，将源文本输入摘要模型，利用beam search生成多个候选摘要及相应的注意力分布，并经过摘要模型的编码后得到句向量；步骤S2，将所述句向量输入到预先训练好的注意力分布预测模型中，得到预测出的最优注意力分布；步骤S3，根据每个候选摘要的注意力分布与最优注意力分布的距离，计算各个候选摘要的注意力得分；步骤S4，根据每个摘要序列的条件概率以及注意力得分，计算各个候选摘要的最终得分；步骤S5，选择最终得分最高的候选摘要作为最终摘要。本发明得到的最终摘要更贴近源文本。

Description

基于注意力分布已知的抽象式神经网络生成摘要的方法
技术领域
本发明涉及人工智能技术领域，特别涉及一种基于注意力分布已知的抽象式神经网络生成摘要的方法。
背景技术
Beam search算法是目前最常用的抽象式神经网络摘要的生成算法，其以最大化序列出现概率为前提逐字生成摘要，但是该算法存在着一些问题，比如说为了追求概率最大化，常常会生成常见的短语，反而忽略了源文本中的特有信息。
发明内容
鉴于目前现有技术的不足，本发明的目的在于提供一种基于注意力分布已知的抽象式神经网络生成摘要的方法，生成的摘要更贴近源文本。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于注意力分布已知的抽象式神经网络生成摘要的方法，所述方法包括如下步骤：
步骤S1，将源文本输入摘要模型，利用beam search生成多个候选摘要及相应的注意力分布，并经过摘要模型的编码后得到句向量；
步骤S2，将所述句向量输入到预先训练好的注意力分布预测模型中，得到预测出的最优注意力分布；
步骤S3，根据每个候选摘要的注意力分布与最优注意力分布的距离，计算各个候选摘要的注意力得分；
步骤S4，根据每个摘要序列的条件概率以及注意力得分，计算各个候选摘要的最终得分；
步骤S5，选择最终得分最高的候选摘要作为最终摘要。
进一步，其中所述步骤S3中，计算各个候选摘要的注意力得分是按照如下公式：
其中，attAw(Y)为注意力得分，αt,p为第t个单词对第p个句子的注意力权重，Y为生成的序列，|Y|为生成的序列的长度，为真实生成摘要的注意力分布，ψp(X)为预测出的最优的注意力分布，如果某个候选摘要对一些句子赋予过低的注意力比重，那么注意力得分就会下降，如果某些句子被分配的注意力比重过高，虽其本身的分数不变，但会降低其他句子的注意力比重，从而导致分数下降。
进一步，其中所述步骤S4中，计算各个候选摘要的最终得分是按照如下公式：
其中，Score为最终得分，p(Y|X)为每个摘要序列Y的条件概率，β为比例系数，用来均衡条件概念和注意力得分，最终得分是等于去除摘要长度影响的条件概率加上一定比例的注意力得分。
进一步，其中所述步骤S2中，所述注意力分布预测模型为句向量与注意力分布之间的依存关系，所述注意力分布预测模型的训练学习过程为：将句向量的集合输入一个Transformer编码器后得到包含上下文信息的句向量集合，每个句向量再经过一个单神经元的全连接层得到对应的注意力权重，这些注意力权重经过softmax归一化后就可以得到注意力分布，将之前训练摘要模型得到的注意力分布作为最优的注意力分布，训练所述注意力分布预测模型来最小化其输出的注意力分布与最优的流产力分布之间的均方差。
进一步，其中所述句向量的集合是将源文本以句子的形式分开然后将它们输入到一个摘要模型而得到，同时还得到各个预测单词对各个句子分配的注意力。
进一步，其中所述注意力权重经过softmax归一化后就可以得到注意力分布的计算过程如下：
其中，αp为第p个句子被分配的总注意力权重，αt,p为第t个单词对第p个句子的注意力权重，将所有的单词对第p个句子的注意力权重相加后归一化得到第p个句子被分配的总注意力权重，这些权重组成了注意力分布。
本发明一种基于注意力分布已知的抽象式神经网络生成摘要的方法，包括如下步骤：步骤S1，将源文本输入摘要模型，利用beam search生成多个候选摘要及相应的注意力分布，并经过摘要模型的编码后得到句向量；步骤S2，将所述句向量输入到预先训练好的注意力分布预测模型中，得到预测出的最优注意力分布；步骤S3，根据每个候选摘要的注意力分布与最优注意力分布的距离，计算各个候选摘要的注意力得分；步骤S4，根据每个摘要序列的条件概率以及注意力得分，计算各个候选摘要的最终得分；步骤S5，选择最终得分最高的候选摘要作为最终摘要。所以，得到的最终摘要更贴近源文本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施方式一种基于注意力分布已知的抽象式神经网络生成摘要的方法的流程示意图；
图2为本发明一实施方式一种基于注意力分布已知的抽象式神经网络生成摘要的方法中注意力分布预测模型的训练学习流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请首先参见图1所示，本发明一实施方式一种基于注意力分布已知的抽象式神经网络生成摘要的方法，所述方法包括如下步骤：
步骤S1，将源文本输入摘要模型，利用beam search生成多个候选摘要及相应的注意力分布，并经过摘要模型的编码后得到句向量；
步骤S2，将所述句向量输入到预先训练好的注意力分布预测模型中，得到预测出的最优注意力分布；
步骤S3，根据每个候选摘要的注意力分布与最优注意力分布的距离，计算各个候选摘要的注意力得分；
步骤S4，根据每个摘要序列的条件概率以及注意力得分，计算各个候选摘要的最终得分；
步骤S5，选择最终得分最高的候选摘要作为最终摘要。
其中，所述步骤S3中，计算各个候选摘要的注意力得分是按照如下公式：
其中，attAw(Y)为注意力得分，αt,p为第t个单词对第p个句子的注意力权重，Y为生成的序列，|Y|为生成的序列的长度，为真实生成摘要的注意力分布，ψp(X)为预测出的最优的注意力分布。如果某个候选摘要对一些句子赋予过低的注意力比重，那么注意力得分就会下降，如果某些句子被分配的注意力比重过高，虽其本身的分数不变，但会降低其他句子的注意力比重，从而导致分数下降。总的来说，如果某个候选摘要的注意力分布与预测出的最优注意力分布越接近，那么它的注意力得分就越高。
所述步骤S4中，计算各个候选摘要的最终得分是按照如下公式：
其中，Score为最终得分，p(Y|X)为每个摘要序列Y的条件概率，β为比例系数，用来均衡条件概念和注意力得分。最终得分是等于去除摘要长度影响的条件概率加上一定比例的注意力得分。
所述步骤S2中，所述注意力分布预测模型为句向量与注意力分布之间的依存关系，请参见图2所示，所述注意力分布预测模型的训练学习过程为：将句向量的集合输入一个Transformer编码器后得到包含上下文信息的句向量集合，每个句向量再经过一个单神经元的全连接层得到对应的注意力权重，这些注意力权重经过softmax归一化后就可以得到注意力分布，将之前训练摘要模型得到的注意力分布作为最优的注意力分布，训练所述注意力分布预测模型来最小化其输出的注意力分布与最优的注意力分布之间的均方差。
其中，所述句向量的集合是将源文本以句子的形式分开然后将它们输入到一个摘要模型而得到，同时还得到各个预测单词对各个句子分配的注意力。
所述注意力权重经过softmax归一化后就可以得到注意力分布的计算过程如下：
其中，αp为第p个句子被分配的总注意力权重，αt,p为第t个单词对第p个句子的注意力权重，将所有的单词对第p个句子的注意力权重相加后归一化得到第p个句子被分配的总注意力权重，这些权重组成了注意力分布。
本发明一种基于注意力分布已知的抽象式神经网络生成摘要的方法，包括如下步骤：步骤S1，将源文本输入摘要模型，利用beam search生成多个候选摘要及相应的注意力分布，并经过摘要模型的编码后得到句向量；步骤S2，将所述句向量输入到预先训练好的注意力分布预测模型中，得到预测出的最优注意力分布；步骤S3，根据每个候选摘要的注意力分布与最优注意力分布的距离，计算各个候选摘要的注意力得分；步骤S4，根据每个摘要序列的条件概率以及注意力得分，计算各个候选摘要的最终得分；步骤S5，选择最终得分最高的候选摘要作为最终摘要。所以，得到的最终摘要更贴近源文本。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于注意力分布已知的抽象式神经网络生成摘要的方法，其特征在于，所述方法包括如下步骤：
步骤S1，将源文本输入摘要模型，利用beam search生成多个候选摘要及相应的注意力分布，并经过摘要模型的编码后得到句向量；
步骤S2，将所述句向量输入到预先训练好的注意力分布预测模型中，得到预测出的最优注意力分布；所述注意力分布预测模型的训练学习过程为：将句向量的集合输入一个Transformer编码器后得到包含上下文信息的句向量集合，每个句向量再经过一个单神经元的全连接层得到对应的注意力权重，这些注意力权重经过softmax归一化后就可以得到注意力分布，将之前训练摘要模型得到的注意力分布作为最优的注意力分布，训练所述注意力分布预测模型来最小化其输出的注意力分布与最优的流产力分布之间的均方差；
步骤S3，根据每个候选摘要的注意力分布与最优注意力分布的距离，计算各个候选摘要的注意力得分；
步骤S4，根据每个摘要序列的条件概率以及注意力得分，计算各个候选摘要的最终得分；
步骤S5，选择最终得分最高的候选摘要作为最终摘要。
2.根据权利要求1所述的方法，其特征在于，其中所述步骤S3中，计算各个候选摘要的注意力得分是按照如下公式：
其中，attAw(Y)为注意力得分，αt，p为第t个单词对第p个句子的注意力权重，Y为生成的序列，|Y|为生成的序列的长度，为真实生成摘要的注意力分布，ψp(X)为预测出的最优的注意力分布，如果某个候选摘要对一些句子赋予过低的注意力比重，那么注意力得分就会下降，如果某些句子被分配的注意力比重过高，虽其本身的分数不变，但会降低其他句子的注意力比重，从而导致分数下降。
3.根据权利要求2所述的方法，其特征在于，其中所述步骤S4中，计算各个候选摘要的最终得分是按照如下公式：
其中，Score为最终得分，p(Y|X)为每个摘要序列Y的条件概率，β为比例系数，用来均衡条件概念和注意力得分，最终得分是等于去除摘要长度影响的条件概率加上一定比例的注意力得分。
4.根据权利要求1所述的方法，其特征在于，其中所述步骤S2中，所述注意力分布预测模型为句向量与注意力分布之间的依存关系。
5.根据权利要求4所述的方法，其特征在于，其中所述句向量的集合是将源文本以句子的形式分开然后将它们输入到一个摘要模型而得到，同时还得到各个预测单词对各个句子分配的注意力。
6.根据权利要求5所述的方法，其特征在于，其中所述注意力权重经过softmax归一化后就可以得到注意力分布的计算过程如下：
其中，αp为第p个句子被分配的总注意力权重，αt，p为第t个单词对第p个句子的注意力权重，将所有的单词对第p个句子的注意力权重相加后归一化得到第p个句子被分配的总注意力权重，这些权重组成了注意力分布。
CN202010610681.9A 2020-06-29 2020-06-29 基于注意力分布已知的抽象式神经网络生成摘要的方法 Active CN111753523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010610681.9A CN111753523B (zh) 2020-06-29 2020-06-29 基于注意力分布已知的抽象式神经网络生成摘要的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010610681.9A CN111753523B (zh) 2020-06-29 2020-06-29 基于注意力分布已知的抽象式神经网络生成摘要的方法

Publications (2)

Publication Number Publication Date
CN111753523A CN111753523A (zh) 2020-10-09
CN111753523B true CN111753523B (zh) 2023-11-03

Family

ID=72678258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010610681.9A Active CN111753523B (zh) 2020-06-29 2020-06-29 基于注意力分布已知的抽象式神经网络生成摘要的方法

Country Status (1)

Country Link
CN (1) CN111753523B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209801A (zh) * 2019-05-15 2019-09-06 华南理工大学 一种基于自注意力网络的文本摘要自动生成方法
CN110378409A (zh) * 2019-07-15 2019-10-25 昆明理工大学 一种基于要素关联注意力机制的汉越新闻文档摘要生成方法
CN110413768A (zh) * 2019-08-06 2019-11-05 成都信息工程大学 一种文章题目自动生成方法
CN111324728A (zh) * 2020-01-22 2020-06-23 腾讯科技（深圳）有限公司 文本事件摘要的生成方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209801A (zh) * 2019-05-15 2019-09-06 华南理工大学 一种基于自注意力网络的文本摘要自动生成方法
CN110378409A (zh) * 2019-07-15 2019-10-25 昆明理工大学 一种基于要素关联注意力机制的汉越新闻文档摘要生成方法
CN110413768A (zh) * 2019-08-06 2019-11-05 成都信息工程大学 一种文章题目自动生成方法
CN111324728A (zh) * 2020-01-22 2020-06-23 腾讯科技（深圳）有限公司 文本事件摘要的生成方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Topic Attentional Neural Network for Abstractive Document Summarization;Hao Liu et al.;PAKDD 2019;全文 *

Also Published As

Publication number Publication date
CN111753523A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
US11941522B2 (en) Address information feature extraction method based on deep neural network model
CN109871451B (zh) 一种融入动态词向量的关系抽取方法和系统
CN108416058B (zh) 一种基于Bi-LSTM输入信息增强的关系抽取方法
CN110134771B (zh) 一种基于多注意力机制融合网络问答系统的实现方法
CN109635124B (zh) 一种结合背景知识的远程监督关系抽取方法
WO2022057669A1 (zh) 基于结构化上下文信息的知识图谱预训练方法
CN111708882B (zh) 基于Transformer的中文文本信息缺失的补全方法
CN111881677A (zh) 基于深度学习模型的地址匹配算法
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
CN115496072A (zh) 一种基于对比学习的关系抽取方法
Zaharia et al. Dialect identification through adversarial learning and knowledge distillation on romanian bert
CN115098673A (zh) 基于变体注意力及层次结构的业务文书信息抽取方法
CN114547300A (zh) 一种结合远程监督和有监督的关系分类方法
CN112463956B (zh) 基于对抗学习和分层神经网络的文本摘要生成系统和方法
CN112818698B (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN111753523B (zh) 基于注意力分布已知的抽象式神经网络生成摘要的方法
Yu et al. Neural network language model compression with product quantization and soft binarization
CN114548090B (zh) 基于卷积神经网络和改进级联标注的快速关系抽取方法
CN111243578A (zh) 一种基于自注意力机制的中文普通话字音转换方法
CN116842934A (zh) 一种基于持续学习的多文档融合深度学习标题生成方法
CN116663501A (zh) 一种基于多模态共享权重的中文变体文本转换方法
CN115759102A (zh) 一种中国诗酒文化命名实体识别方法
CN112464673B (zh) 融合义原信息的语言含义理解方法
CN115238693A (zh) 一种基于多分词和多层双向长短期记忆的中文命名实体识别方法
Kolosov et al. Correction of vector representations of words to improve the semantic similarity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant