CN109271629B - 基于强化学习的生成式文本摘要方法 - Google Patents

基于强化学习的生成式文本摘要方法 Download PDF

Info

Publication number
CN109271629B
CN109271629B CN201811045639.6A CN201811045639A CN109271629B CN 109271629 B CN109271629 B CN 109271629B CN 201811045639 A CN201811045639 A CN 201811045639A CN 109271629 B CN109271629 B CN 109271629B
Authority
CN
China
Prior art keywords
actor
state
moment
reinforcement learning
critic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811045639.6A
Other languages
English (en)
Other versions
CN109271629A (zh
Inventor
李雅美
潘嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201811045639.6A priority Critical patent/CN109271629B/zh
Publication of CN109271629A publication Critical patent/CN109271629A/zh
Application granted granted Critical
Publication of CN109271629B publication Critical patent/CN109271629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及人工智能自然语言处理的技术领域，更具体地，涉及基于强化学习的生成式文本摘要方法。基于强化学习的生成式文本摘要方法，包括Actor部分与Critic部分，其中，包括以下步骤：S1.Actor部分用Seq2Seq方法生成摘要序列，Seq2Seq由编码器和解码器组成，同时应用了Attention机制；S2.Critic部分通过监督学习的方式估计Actor部分的状态价值V(s)；S3.不断重复步骤S1和步骤S2，使得Actor部分与Critic部分的网络参数不断优化，直到收敛；S4.最终Actor部分的模型即为文本摘要生成模型。本发明将Rouge评估指标通过强化学习方法融入到训练目标中，即最终的训练目标是最大似然和Rouge指标的加权平均。

Description

基于强化学习的生成式文本摘要方法
技术领域
本发明涉及人工智能自然语言处理的技术领域，更具体地，涉及基于强化学习的生成式文本摘要方法。
背景技术
主流的生成式文本摘要是基于Seq2Seq框架的。Seq2Seq由编码器(Encoder)和解码器(Decoder)组成。Encoder部分将输入编码到语义空间，得到一个固定维数的向量，表示输入的语义，生成式文本摘要中，通常用神经网络做语义编码；Decoder部分将这个语义向量解码，获得所需要的输出，对于文本输出，Decoder通常就是语言模型。这种生成式文本摘要的学习方式是基于最大似然估计的有监督学习，通过Rouge指标评估模型生成文本的性能。
基于最大似然估计的监督式训练只鼓励模型生成一模一样的摘要，但是对于一篇文本，往往可以有不同的摘要，因此监督式学习的要求太过绝对。与此相反，用于评价生成摘要的Rouge指标却能考虑到这一灵活性，通过比较参考摘要和生成的摘要，给出摘要的评价。但是因为Rouge指标不可导，所以在模型训练中无法直接融入Rouge。训练目标与评估指标不一致的问题，对我们的文本摘要的生成结果带来不良的影响。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供基于强化学习的生成式文本摘要方法，由于Rouge并不可导的，传统的求梯度与反向传播的方法并不能直接应用Rouge。而通过强化学习技术，我们可以将Rouge指标加入到训练目标中，这样评估目标可以直接指导我们的模型进行训练。
本发明的技术方案是：基于强化学习的生成式文本摘要方法，包括Actor部分与Critic部分，其中，包括以下步骤：
S1.Actor部分用Seq2Seq方法生成摘要序列，Seq2Seq由编码器和解码器组成，同时应用了Attention机制；
S2.Critic部分通过监督学习的方式估计Actor部分的状态价值V(s)；
S3.不断重复步骤S1和步骤S2，使得Actor部分与Critic部分的网络参数不断优化，直到收敛；
S4.最终Actor部分的模型即为文本摘要生成模型。
本技术以强化学习Actor-Critic作为基本框架。Actor部分生成摘要文本序列，仍使用Seq2Seq方法，Critic部分评估序列生成质量。
在Seq2Seq方法中强化学习的几个关键要素是如下定义的：
State：在Decoder阶段，时刻t的State定义为前面已经选择的t-1个单词和当前模型的输入；
Action：Action是根据某种策略选择一个单词作为时刻t的输出；
Reward：奖励考虑即时奖励和未来的奖励，这里的奖励可以理解为当生成完整个句子之后，通过Rouge等评估方法得到的反馈。
进一步的，所述的步骤S1的具体过程是：
S11.Encoder部分对于输入的句子，用一个双向LSTM网络进行编码；其中在embedding部分使用预训练好的word2vec词向量进行初始化，加快训练速度，该部分的输出是编码后的语义向量；该语义向量由各个时刻的隐藏状态加权得到，权重由Attention机制计算得到；
S12.Decoder部分是LSTM语言模型；每个时刻的输入包括3部分：上一时刻的输出、上一时刻的隐藏状态、Encoder部分的语义向量；每时刻的输出是一个词表长度的向量，每一维表示对应单词的生成概率；对应单词的Reward越高，则改词出现的概率越大；
S13.关于Attention的计算；在Decoder阶段，每一时刻的Attention权重由上一时刻的隐藏状态与Encoder各个时刻的隐状态点乘并做softmax变换得到。
进一步的，所述的步骤S2的具体过程是：
S21.输入State和Action，经过一个三层神经网络后，输出对状态评分结果即状态价值V(s)；
S22.根据状态价值与即时Reward的综合计算结果，得到该状态下对该Action的评估结果，用该结果指导Actor部分的概率输出；
S23.Reward的计算是最大似然和Rouge指标的加权平均。
与现有技术相比，有益效果是：本发明将Rouge评估指标通过强化学习方法融入到训练目标中，即最终的训练目标是最大似然和Rouge指标的加权平均。最大似然使模型生成语法正确、文字流畅的文本；而Rouge指标则允许摘要拥有更多的灵活性，同时针对Rouge的优化也直接提升了模型的Rouge评分。
附图说明
图1是本发明算法流程示意图。
图2是本发明模块示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
如图1所示，
S1：Actor部分用Seq2Seq方法生成摘要序列，Seq2Seq由编码器(Encoder)和解码器(Decoder)组成，同时应用了Attention机制；
S2：Critic部分通过监督学习的方式估计Actor部分的状态价值V(s)；
S3：不断重复S1和S2，使得Actor与Critic的网络更优，直到收敛；
S4：最终Actor部分的模型即为我们的文本摘要生成模型。
进一步地，所述步骤S1的具体过程如图2所示：
S11：Encoder部分对于输入的句子，用一个双向单层LSTM网络进行编码。其中在embedding部分使用预训练好的word2vector词向量进行初始化，加快训练速度，该部分的输出是编码后的语义向量。该语义向量由各个时刻的隐藏状态加权得到，权重由Attention机制计算得到；
S12：Decoder部分是LSTM语言模型。每个时刻的输入包括3部分：上一时刻的输出、上一时刻的隐藏状态、Encoder部分的语义向量。每时刻的输出是一个词表长度的向量，每一维表示对应单词的生成概率。对应单词的Raword越高，则改词出现的概率越大；
S13：关于Attention的计算。在Decoder阶段，每一时刻的Attention权重由上一时刻的隐藏状态与Encoder各个时刻的隐状态点乘并做softmax变换得到。
进一步地，所述步骤S2的具体过程是：
S21：输入State和Action，经过一个三层神经网络后，输出对状态评分结果即状态价值V(s)；
S22：根据状态价值与即时Reward的综合计算结果，得到该状态下对该Action的评估结果，用该结果指导Actor部分的概率输出；
S23：Reward的计算是最大似然和Rouge指标的加权平均。
与现有技术相比，本发明技术方案的有益效果是：
将Rouge评估指标通过强化学习方法融入到训练目标中，即最终的训练目标是最大似然和Rouge指标的加权平均。最大似然使模型生成语法正确、文字流畅的文本；而Rouge指标则允许摘要拥有更多的灵活性，同时针对Rouge的优化也直接提升了模型的Rouge评分。
除了模型的结构部分，还包括模型的训练部分：
正常的模型训练方法是采用adam算法，然后逐batch训练，并且根据验证集数据进行早停操作；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (2)

1.基于强化学习的生成式文本摘要方法，包括Actor部分与Critic部分，其特征在于，包括以下步骤：
S1. Actor部分用Seq2Seq方法生成摘要序列，Seq2Seq由编码器和解码器组成，同时应用了Attention机制；
S2. Critic部分通过监督学习的方式估计Actor部分的状态价值V(s)；
所述的步骤S2的具体过程是：
S21.输入State和Action，经过一个三层神经网络后，输出对状态评分结果即状态价值V(s)；
S22.根据状态价值与即时Reward的综合计算结果，得到该状态下对该Action的评估结果，用该结果指导Actor部分的概率输出；
S23. Reward的计算是最大似然和Rouge指标的加权平均；
S3.不断重复步骤S1和步骤S2，使得Actor部分与Critic部分的网络参数不断优化，直到收敛；
S4. 最终Actor部分的模型即为文本摘要生成模型。
2.根据权利要求1所述的基于强化学习的生成式文本摘要方法，其特征在于：所述的步骤S1的具体过程是：
S11. Encoder部分对于输入的句子，用一个双向LSTM网络进行编码；其中在embedding部分使用预训练好的word2vec词向量进行初始化，加快训练速度，该部分的输出是编码后的语义向量；该语义向量由各个时刻的隐藏状态加权得到，权重由Attention机制计算得到；
S12. Decoder部分是LSTM语言模型；每个时刻的输入包括3部分：上一时刻的输出、上一时刻的隐藏状态、Encoder部分的语义向量；每时刻的输出是一个词表长度的向量，每一维表示对应单词的生成概率；对应单词的Reword越高，则改词出现的概率越大；
S13. 关于Attention的计算；在Decoder阶段，每一时刻的Attention权重由上一时刻的隐藏状态与Encoder各个时刻的隐状态点乘并做softmax变换得到。
CN201811045639.6A 2018-09-07 2018-09-07 基于强化学习的生成式文本摘要方法 Active CN109271629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811045639.6A CN109271629B (zh) 2018-09-07 2018-09-07 基于强化学习的生成式文本摘要方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811045639.6A CN109271629B (zh) 2018-09-07 2018-09-07 基于强化学习的生成式文本摘要方法

Publications (2)

Publication Number Publication Date
CN109271629A CN109271629A (zh) 2019-01-25
CN109271629B true CN109271629B (zh) 2023-07-14

Family

ID=65188150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811045639.6A Active CN109271629B (zh) 2018-09-07 2018-09-07 基于强化学习的生成式文本摘要方法

Country Status (1)

Country Link
CN (1) CN109271629B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018820B (zh) * 2019-04-08 2022-08-23 浙江大学滨海产业技术研究院 一种基于深度强化学习的Graph2Seq自动生成Java代码注释的方法
CN110196903B (zh) * 2019-05-06 2023-05-23 中国海洋大学 一种用于为文章生成摘要的方法及系统
CN110287490B (zh) * 2019-06-25 2022-11-25 广西师范大学 一种突显核心内容的文本自动摘要方法
CN110688479B (zh) * 2019-08-19 2022-06-17 中国科学院信息工程研究所 一种用于生成式摘要的评估方法及排序网络
CN111241789A (zh) * 2020-01-14 2020-06-05 平安科技（深圳）有限公司 一种文本生成的方法及装置
US11294945B2 (en) 2020-05-19 2022-04-05 International Business Machines Corporation Unsupervised text summarization with reinforcement learning
CN116737129B (zh) * 2023-08-08 2023-11-17 杭州比智科技有限公司 一种供应链控制塔生成式大语言模型及其构建方法
CN116776868B (zh) * 2023-08-25 2023-11-03 北京知呱呱科技有限公司 一种模型生成文本的评估方法及计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980683A (zh) * 2017-03-30 2017-07-25 中国科学技术大学苏州研究院 基于深度学习的博客文本摘要生成方法
CN108427771A (zh) * 2018-04-09 2018-08-21 腾讯科技（深圳）有限公司 摘要文本生成方法、装置和计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2018000942A (es) * 2015-07-24 2018-08-09 Deepmind Tech Ltd Control continuo con aprendizaje de refuerzo profundo.
CN107832300A (zh) * 2017-11-17 2018-03-23 合肥工业大学 面向微创医疗领域文本摘要生成方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980683A (zh) * 2017-03-30 2017-07-25 中国科学技术大学苏州研究院 基于深度学习的博客文本摘要生成方法
CN108427771A (zh) * 2018-04-09 2018-08-21 腾讯科技（深圳）有限公司 摘要文本生成方法、装置和计算机设备

Also Published As

Publication number Publication date
CN109271629A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109271629B (zh) 基于强化学习的生成式文本摘要方法
CN110298436B (zh) 基于指针生成网络的数据到文本的生成模型
CN108804611B (zh) 一种基于自我评论序列学习的对话回复生成方法及系统
CN111160467A (zh) 一种基于条件随机场和内部语义注意力的图像描述方法
CN108763444B (zh) 利用分层编码解码器网络机制来解决视频问答的方法
CN108491514B (zh) 对话系统中提问的方法及装置、电子设备、计算机可读介质
CN110717334A (zh) 基于bert模型和双通道注意力的文本情感分析方法
CN108763504A (zh) 一种基于强化双通道序列学习的对话回复生成方法及系统
CN111159368A (zh) 一种个性化对话的回复生成方法
CN109242090B (zh) 一种基于gan网络的视频描述及描述一致性判别方法
CN113435211B (zh) 一种结合外部知识的文本隐式情感分析方法
CN111966800A (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN111666756B (zh) 一种基于主题融合的序列模型文本摘要生成方法
CN112182161B (zh) 一种基于用户对话历史的个性化对话生成方法和系统
CN111626041B (zh) 一种基于深度学习的音乐评论生成方法
CN111767694B (zh) 文本生成方法、装置和计算机可读存储介质
CN113408430B (zh) 基于多级策略和深度强化学习框架的图像中文描述系统及方法
CN111738006A (zh) 基于商品评论命名实体识别的问题生成方法
CN110569505A (zh) 一种文本输入方法及装置
CN115841119B (zh) 一种基于图结构的情绪原因提取方法
CN110866101A (zh) 一种基于近端策略优化与对抗学习的对话生成方法
CN113609284A (zh) 一种融合多元语义的文本摘要自动生成方法及装置
CN111291175A (zh) 一种基于策略梯度算法的自动生成提交需求摘要的方法
CN114387537A (zh) 一种基于描述文本的视频问答方法
CN110046239B (zh) 基于情感编辑的对话方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant