CN109271629A - 基于强化学习的生成式文本摘要方法 - Google Patents
基于强化学习的生成式文本摘要方法 Download PDFInfo
- Publication number
- CN109271629A CN109271629A CN201811045639.6A CN201811045639A CN109271629A CN 109271629 A CN109271629 A CN 109271629A CN 201811045639 A CN201811045639 A CN 201811045639A CN 109271629 A CN109271629 A CN 109271629A
- Authority
- CN
- China
- Prior art keywords
- actor
- moment
- text snippet
- critic
- intensified learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 13
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000007476 Maximum Likelihood Methods 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 230000009471 action Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及人工智能自然语言处理的技术领域，更具体地，涉及基于强化学习的生成式文本摘要方法。基于强化学习的生成式文本摘要方法，包括Actor部分与Critic部分，其中，包括以下步骤：S1.Actor部分用Seq2Seq方法生成摘要序列，Seq2Seq由编码器和解码器组成，同时应用了Attention机制；S2.Critic部分通过监督学习的方式估计Actor部分的状态价值V(s)；S3.不断重复步骤S1和步骤S2，使得Actor部分与Critic部分的网络参数不断优化，直到收敛；S4.最终Actor部分的模型即为文本摘要生成模型。本发明将Rouge评估指标通过强化学习方法融入到训练目标中，即最终的训练目标是最大似然和Rouge指标的加权平均。
Description
技术领域
本发明涉及人工智能自然语言处理的技术领域，更具体地，涉及基于强化学习的生成式文本摘要方法。
背景技术
主流的生成式文本摘要是基于Seq2Seq框架的。Seq2Seq由编码器(Encoder)和解码器(Decoder)组成。Encoder部分将输入编码到语义空间，得到一个固定维数的向量，表示输入的语义，生成式文本摘要中，通常用神经网络做语义编码；Decoder部分将这个语义向量解码，获得所需要的输出，对于文本输出，Decoder通常就是语言模型。这种生成式文本摘要的学习方式是基于最大似然估计的有监督学习，通过Rouge指标评估模型生成文本的性能。
基于最大似然估计的监督式训练只鼓励模型生成一模一样的摘要，但是对于一篇文本，往往可以有不同的摘要，因此监督式学习的要求太过绝对。与此相反，用于评价生成摘要的Rouge指标却能考虑到这一灵活性，通过比较参考摘要和生成的摘要，给出摘要的评价。但是因为Rouge指标不可导，所以在模型训练中无法直接融入Rouge。训练目标与评估指标不一致的问题，对我们的文本摘要的生成结果带来不良的影响。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供基于强化学习的生成式文本摘要方法，由于Rouge并不可导的，传统的求梯度与反向传播的方法并不能直接应用Rouge。而通过强化学习技术，我们可以将Rouge指标加入到训练目标中，这样评估目标可以直接指导我们的模型进行训练。
本发明的技术方案是：基于强化学习的生成式文本摘要方法，包括Actor部分与Critic部分，其中，包括以下步骤：
S1.Actor部分用Seq2Seq方法生成摘要序列，Seq2Seq由编码器和解码器组成，同时应用了Attention机制；
S2.Critic部分通过监督学习的方式估计Actor部分的状态价值V(s)；
S3.不断重复步骤S1和步骤S2，使得Actor部分与Critic部分的网络参数不断优化，直到收敛；
S4.最终Actor部分的模型即为文本摘要生成模型。
本技术以强化学习Actor-Critic作为基本框架。Actor部分生成摘要文本序列，仍使用Seq2Seq方法，Critic部分评估序列生成质量。
在Seq2Seq方法中强化学习的几个关键要素是如下定义的：
State：在Decoder阶段，时刻t的State定义为前面已经选择的t-1个单词和当前模型的输入；
Action：Action是根据某种策略选择一个单词作为时刻t的输出；
Reward：奖励考虑即时奖励和未来的奖励，这里的奖励可以理解为当生成完整个句子之后，通过Rouge等评估方法得到的反馈。
进一步的，所述的步骤S1的具体过程是：
S11.Encoder部分对于输入的句子，用一个双向LSTM网络进行编码；其中在embedding部分使用预训练好的word2vec词向量进行初始化，加快训练速度，该部分的输出是编码后的语义向量；该语义向量由各个时刻的隐藏状态加权得到，权重由Attention机制计算得到；
S12.Decoder部分是LSTM语言模型；每个时刻的输入包括3部分：上一时刻的输出、上一时刻的隐藏状态、Encoder部分的语义向量；每时刻的输出是一个词表长度的向量，每一维表示对应单词的生成概率；对应单词的Reword越高，则改词出现的概率越大；
S13.关于Attention的计算；在Decoder阶段，每一时刻的Attention权重由上一时刻的隐藏状态与Encoder各个时刻的隐状态点乘并做softmax变换得到。
进一步的，所述的步骤S2的具体过程是：
S21.输入State和Action，经过一个三层神经网络后，输出对状态评分结果即状态价值V(s)；
S22.根据状态价值与即时Reword的综合计算结果，得到该状态下对该Action的评估结果，用该结果指导Actor部分的概率输出；
S23.Reword的计算是最大似然和Rouge指标的加权平均。
与现有技术相比，有益效果是：本发明将Rouge评估指标通过强化学习方法融入到训练目标中，即最终的训练目标是最大似然和Rouge指标的加权平均。最大似然使模型生成语法正确、文字流畅的文本；而Rouge指标则允许摘要拥有更多的灵活性，同时针对Rouge的优化也直接提升了模型的Rouge评分。
附图说明
图1是本发明算法流程示意图。
图2是本发明模块示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
如图1所示，
S1：Actor部分用Seq2Seq方法生成摘要序列，Seq2Seq由编码器(Encoder)和解码器(Decoder)组成，同时应用了Attention机制；
S2：Critic部分通过监督学习的方式估计Actor部分的状态价值V(s)；
S3：不断重复S1和S2，使得Actor与Critic的网络更优，直到收敛；
S4：最终Actor部分的模型即为我们的文本摘要生成模型。
进一步地，所述步骤S1的具体过程如图2所示：
S11：Encoder部分对于输入的句子，用一个双向单层LSTM网络进行编码。其中在embedding部分使用预训练好的word2vector词向量进行初始化，加快训练速度，该部分的输出是编码后的语义向量。该语义向量由各个时刻的隐藏状态加权得到，权重由Attention机制计算得到；
S12：Decoder部分是LSTM语言模型。每个时刻的输入包括3部分：上一时刻的输出、上一时刻的隐藏状态、Encoder部分的语义向量。每时刻的输出是一个词表长度的向量，每一维表示对应单词的生成概率。对应单词的Reword越高，则改词出现的概率越大；
S13：关于Attention的计算。在Decoder阶段，每一时刻的Attention权重由上一时刻的隐藏状态与Encoder各个时刻的隐状态点乘并做softmax变换得到。
进一步地，所述步骤S2的具体过程是：
S21：输入State和Action，经过一个三层神经网络后，输出对状态评分结果即状态价值V(s)；
S22：根据状态价值与即时Reword的综合计算结果，得到该状态下对该Action的评估结果，用该结果指导Actor部分的概率输出；
S23：Reword的计算是最大似然和Rouge指标的加权平均。
与现有技术相比，本发明技术方案的有益效果是：
将Rouge评估指标通过强化学习方法融入到训练目标中，即最终的训练目标是最大似然和Rouge指标的加权平均。最大似然使模型生成语法正确、文字流畅的文本；而Rouge指标则允许摘要拥有更多的灵活性，同时针对Rouge的优化也直接提升了模型的Rouge评分。
除了模型的结构部分，还包括模型的训练部分：
正常的模型训练方法是采用adam算法，然后逐batch训练，并且根据验证集数据进行早停操作；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (3)
1.基于强化学习的生成式文本摘要方法，包括Actor部分与Critic部分，其特征在于，包括以下步骤：
S1.Actor部分用Seq2Seq方法生成摘要序列，Seq2Seq由编码器和解码器组成，同时应用了Attention机制；
S2.Critic部分通过监督学习的方式估计Actor部分的状态价值V(s)；
S3.不断重复步骤S1和步骤S2，使得Actor部分与Critic部分的网络参数不断优化，直到收敛；
S4.最终Actor部分的模型即为文本摘要生成模型。
2.根据权利要求1所述的基于强化学习的生成式文本摘要方法，其特征在于：所述的步骤S1的具体过程是：
S11.Encoder部分对于输入的句子，用一个双向LSTM网络进行编码；其中在embedding部分使用预训练好的word2vec词向量进行初始化，加快训练速度，该部分的输出是编码后的语义向量；该语义向量由各个时刻的隐藏状态加权得到，权重由Attention机制计算得到；
S12.Decoder部分是LSTM语言模型；每个时刻的输入包括3部分：上一时刻的输出、上一时刻的隐藏状态、Encoder部分的语义向量；每时刻的输出是一个词表长度的向量，每一维表示对应单词的生成概率；对应单词的Reword越高，则改词出现的概率越大；
S13.关于Attention的计算；在Decoder阶段，每一时刻的Attention权重由上一时刻的隐藏状态与Encoder各个时刻的隐状态点乘并做softmax变换得到。
3.根据权利要求1所述的基于强化学习的生成式文本摘要方法，其特征在于：所述的步骤S2的具体过程是：
S21.输入State和Action，经过一个三层神经网络后，输出对状态评分结果即状态价值V(s)；
S22.根据状态价值与即时Reword的综合计算结果，得到该状态下对该Action的评估结果，用该结果指导Actor部分的概率输出；
S23.Reword的计算是最大似然和Rouge指标的加权平均。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811045639.6A CN109271629B (zh) | 2018-09-07 | 2018-09-07 | 基于强化学习的生成式文本摘要方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811045639.6A CN109271629B (zh) | 2018-09-07 | 2018-09-07 | 基于强化学习的生成式文本摘要方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109271629A true CN109271629A (zh) | 2019-01-25 |
| CN109271629B CN109271629B (zh) | 2023-07-14 |
Family
ID=65188150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811045639.6A Active CN109271629B (zh) | 2018-09-07 | 2018-09-07 | 基于强化学习的生成式文本摘要方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109271629B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110018820A (zh) * | 2019-04-08 | 2019-07-16 | 浙江大学滨海产业技术研究院 | 一种基于深度强化学习的Graph2Seq自动生成Java代码注释的方法 |
| CN110196903A (zh) * | 2019-05-06 | 2019-09-03 | 中国海洋大学 | 一种用于为文章生成摘要的方法及系统 |
| CN110287490A (zh) * | 2019-06-25 | 2019-09-27 | 广西师范大学 | 一种突显核心内容的文本自动摘要方法 |
| CN110688479A (zh) * | 2019-08-19 | 2020-01-14 | 中国科学院信息工程研究所 | 一种用于生成式摘要的评估方法及排序网络 |
| WO2021143022A1 (zh) * | 2020-01-14 | 2021-07-22 | 平安科技（深圳）有限公司 | 一种文本生成的方法及装置 |
| US11294945B2 (en) | 2020-05-19 | 2022-04-05 | International Business Machines Corporation | Unsupervised text summarization with reinforcement learning |
| CN116737129A (zh) * | 2023-08-08 | 2023-09-12 | 杭州比智科技有限公司 | 一种供应链控制塔生成式大语言模型及其构建方法 |
| CN116776868A (zh) * | 2023-08-25 | 2023-09-19 | 北京知呱呱科技有限公司 | 一种模型生成文本的评估方法及计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170024643A1 (en) * | 2015-07-24 | 2017-01-26 | Google Inc. | Continuous control with deep reinforcement learning |
| CN106980683A (zh) * | 2017-03-30 | 2017-07-25 | 中国科学技术大学苏州研究院 | 基于深度学习的博客文本摘要生成方法 |
| CN107832300A (zh) * | 2017-11-17 | 2018-03-23 | 合肥工业大学 | 面向微创医疗领域文本摘要生成方法及装置 |
| CN108427771A (zh) * | 2018-04-09 | 2018-08-21 | 腾讯科技（深圳）有限公司 | 摘要文本生成方法、装置和计算机设备 |
-
2018
- 2018-09-07 CN CN201811045639.6A patent/CN109271629B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170024643A1 (en) * | 2015-07-24 | 2017-01-26 | Google Inc. | Continuous control with deep reinforcement learning |
| CN106980683A (zh) * | 2017-03-30 | 2017-07-25 | 中国科学技术大学苏州研究院 | 基于深度学习的博客文本摘要生成方法 |
| CN107832300A (zh) * | 2017-11-17 | 2018-03-23 | 合肥工业大学 | 面向微创医疗领域文本摘要生成方法及装置 |
| CN108427771A (zh) * | 2018-04-09 | 2018-08-21 | 腾讯科技（深圳）有限公司 | 摘要文本生成方法、装置和计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| WOJCIECH KRYSCINSKI 等: "improving abstraction in text summarization", 《HTTPS://ARXIV.ORG/PDF/1808.07913.PDF》 * |
| WOJCIECH KRYSCINSKI 等: "improving abstraction in text summarization", 《HTTPS://ARXIV.ORG/PDF/1808.07913.PDF》, 23 August 2018 (2018-08-23), pages 1 - 10 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110018820B (zh) * | 2019-04-08 | 2022-08-23 | 浙江大学滨海产业技术研究院 | 一种基于深度强化学习的Graph2Seq自动生成Java代码注释的方法 |
| CN110018820A (zh) * | 2019-04-08 | 2019-07-16 | 浙江大学滨海产业技术研究院 | 一种基于深度强化学习的Graph2Seq自动生成Java代码注释的方法 |
| CN110196903A (zh) * | 2019-05-06 | 2019-09-03 | 中国海洋大学 | 一种用于为文章生成摘要的方法及系统 |
| CN110196903B (zh) * | 2019-05-06 | 2023-05-23 | 中国海洋大学 | 一种用于为文章生成摘要的方法及系统 |
| CN110287490A (zh) * | 2019-06-25 | 2019-09-27 | 广西师范大学 | 一种突显核心内容的文本自动摘要方法 |
| CN110287490B (zh) * | 2019-06-25 | 2022-11-25 | 广西师范大学 | 一种突显核心内容的文本自动摘要方法 |
| CN110688479A (zh) * | 2019-08-19 | 2020-01-14 | 中国科学院信息工程研究所 | 一种用于生成式摘要的评估方法及排序网络 |
| CN110688479B (zh) * | 2019-08-19 | 2022-06-17 | 中国科学院信息工程研究所 | 一种用于生成式摘要的评估方法及排序网络 |
| WO2021143022A1 (zh) * | 2020-01-14 | 2021-07-22 | 平安科技（深圳）有限公司 | 一种文本生成的方法及装置 |
| US11294945B2 (en) | 2020-05-19 | 2022-04-05 | International Business Machines Corporation | Unsupervised text summarization with reinforcement learning |
| CN116737129A (zh) * | 2023-08-08 | 2023-09-12 | 杭州比智科技有限公司 | 一种供应链控制塔生成式大语言模型及其构建方法 |
| CN116737129B (zh) * | 2023-08-08 | 2023-11-17 | 杭州比智科技有限公司 | 一种供应链控制塔生成式大语言模型及其构建方法 |
| CN116776868A (zh) * | 2023-08-25 | 2023-09-19 | 北京知呱呱科技有限公司 | 一种模型生成文本的评估方法及计算机设备 |
| CN116776868B (zh) * | 2023-08-25 | 2023-11-03 | 北京知呱呱科技有限公司 | 一种模型生成文本的评估方法及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109271629B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271629A (zh) | 基于强化学习的生成式文本摘要方法 | |
| Oord et al. | Parallel wavenet: Fast high-fidelity speech synthesis | |
| Li et al. | Deep reinforcement learning for dialogue generation | |
| CN106126507B (zh) | 一种基于字符编码的深度神经翻译方法及系统 | |
| CN110717334A (zh) | 基于bert模型和双通道注意力的文本情感分析方法 | |
| CN108763444B (zh) | 利用分层编码解码器网络机制来解决视频问答的方法 | |
| WO2021077974A1 (zh) | 一种个性化对话内容生成方法 | |
| CN107133224B (zh) | 一种基于主题词的语言生成方法 | |
| CN108804611B (zh) | 一种基于自我评论序列学习的对话回复生成方法及系统 | |
| CN110929030A (zh) | 一种文本摘要和情感分类联合训练方法 | |
| CN111159368A (zh) | 一种个性化对话的回复生成方法 | |
| CN110110140A (zh) | 基于注意力扩展编解码网络的视频摘要方法 | |
| CN106448670A (zh) | 基于深度学习和强化学习的自动回复对话系统 | |
| CN109543722A (zh) | 一种基于情感分析模型的情感趋势预测方法 | |
| CN113435211B (zh) | 一种结合外部知识的文本隐式情感分析方法 | |
| CN110413729A (zh) | 基于尾句-上下文双重注意力模型的多轮对话生成方法 | |
| CN109063164A (zh) | 一种基于深度学习的智能问答方法 | |
| CN111966800A (zh) | 情感对话生成方法、装置及情感对话模型训练方法、装置 | |
| CN112182161B (zh) | 一种基于用户对话历史的个性化对话生成方法和系统 | |
| CN112115247A (zh) | 一种基于长短时记忆信息的个性化对话生成方法和系统 | |
| CN111144553A (zh) | 一种基于时空记忆注意力的图像描述方法 | |
| CN106847271A (zh) | 一种用于对话交互系统的数据处理方法及装置 | |
| CN115510814B (zh) | 一种基于双重规划的篇章级复杂问题生成方法 | |
| CN110347819A (zh) | 一种基于正负样本对抗训练的文本摘要生成方法 | |
| CN110032636A (zh) | 基于强化学习的情感对话异步生成模型生成文本的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |