CN112395842B - 一种提高内容一致性的长文本故事生成方法及系统 - Google Patents

一种提高内容一致性的长文本故事生成方法及系统 Download PDF

Info

Publication number
CN112395842B
CN112395842B CN202011380561.0A CN202011380561A CN112395842B CN 112395842 B CN112395842 B CN 112395842B CN 202011380561 A CN202011380561 A CN 202011380561A CN 112395842 B CN112395842 B CN 112395842B
Authority
CN
China
Prior art keywords
story
training
module
title
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011380561.0A
Other languages
English (en)
Other versions
CN112395842A (zh
Inventor
杨坚新
卓汉逵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202011380561.0A priority Critical patent/CN112395842B/zh
Publication of CN112395842A publication Critical patent/CN112395842A/zh
Application granted granted Critical
Publication of CN112395842B publication Critical patent/CN112395842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种提高内容一致性的长文本故事生成方法及系统，该方法包括：获取数据集并对数据集进行预处理，得到训练集；基于训练集的故事标题、故事内容和故事情节序列对预构建故事生成模型进行训练，得到训练完成的故事生成模型；将待测标题输入到训练完成的故事生成模型，生成故事文本。该系统包括：数据获取模块、训练模块和生成模块。本发明可提高模型生成的故事的内容一致性。本发明作为一种提高内容一致性的长文本故事生成方法及系统，可广泛应用于故事生成领域。

Description

一种提高内容一致性的长文本故事生成方法及系统
技术领域
本发明属于故事生成领域，尤其涉及一种提高内容一致性的长文本故事生成方法及系统。
背景技术
长文本故事生成是自然语言处理领域的一项重要的工作，已成为自然语言处理的重要组成部分。然而，实现一个好的故事生成模型一直是一个非常具有挑战性的任务。故事生成是指自动确定故事的内容并使用适当的语言来编写故事的任务。这些故事最重要的一个方面就是它们的连贯性。整体连贯的范围包括：按照合理的顺序安排内容、生成的内容贴合主题、文字表达上尽可能流畅等。在传统方法中，自动故事生成往往是通过符号规划系统来完成的。这些符号规划系统通常包含一个层次化的结构流程，一般包括高层模块与底层模块：高层模块用来执行文本规划，根据文章的主题思想，确定每个句子的子主题以及句子之间的关系；低级模块则根据高层模块的规划，生成每个句子的具体内容。尽管这种层次化的文本规划系统能够产生流畅连贯的故事，但其很大程度上仍然依赖人工知识工程来选择每个句子的动作、角色等，因此该系统在某些领域中的表现难以令人满意。
发明内容
为了解决上述技术问题，本发明的目的是提供一种提高内容一致性的长文本故事生成方法及系统，实现了在保证可拓展性前提下具有更高预测准确率。
本发明所采用的第一技术方案是：一种提高内容一致性的长文本故事生成方法，包括以下步骤：
获取数据集并对数据集进行预处理，得到训练集；
基于训练集的故事标题、故事内容和故事情节序列对预构建故事生成模型进行训练，得到训练完成的故事生成模型；
将待测标题输入到训练完成的故事生成模型，生成故事文本。
进一步，所述故事生成模型包括故事情节自编码模块、故事规划模块和故事生成模块。
进一步，所述基于训练集的故事标题、故事内容和故事情节序列对预构建故事生成模型进行训练，得到训练完成的故事生成模型这一步骤，其具体包括：
基于训练集的故事内容训练故事情节自编码模块，得到训练完成的故事情节自编码模块；
基于训练集中标题和对应故事内容得到对应故事情节序列，并训练故事规划模块，得到训练完成的故事规划模块；
根据训练集中标题、对应故事内容和对应故事情节序列训练故事生成模块，得到训练完成的故事生成模块；
根据训练完成的故事情节自编码模块、训练完成的故事规划模块和训练完成的故事生成模块，得到训练完成的故事生成模型。
进一步，所述基于训练集的故事内容训练故事情节自编码模块，得到训练完成的故事情节自编码模块这一步骤，其具体还包括：
对训练集中多个故事内容分别编码压缩，得到多个特征图；
将多个特征图映射成向量情节序列，得到故事情节向量表；
存储故事情节向量表，得到训练完成的故事情节自编码模块。
进一步，所述将待测标题输入到训练完成的故事生成模型，生成故事文本这一步骤，其具体包括：
基于故事情节自编码模块对待测标题进行编码，得到标题编码信息；
将标题编码信息输入到训练完成的故事规划模块，映射得到故事情节序列；
将故事情节序列输入到训练完成的故事生成模块，将故事情节向量序列解码得到故事文本。
进一步，所述标题编码信息具体为特征图。
进一步，所述故事生成模块采用反卷积神经网络。
本发明所采用的第二技术方案是：一种提高内容一致性的长文本故事生成系统，包括以下模块：
数据集获取模块，用于获取数据集并对数据集进行预处理，得到训练集；
训练模块，用于基于训练集的故事标题、故事内容和故事情节序列对预构建故事生成模型进行训练，得到训练完成的故事生成模型；
生成模块，用于将待测标题输入到训练完成的故事生成模型，生成故事文本。
本发明方法及系统的有益效果是：本发明从大规模的故事语料中自动总结归纳出各种抽象的故事情节并制作成向量表，并将故事生成分解为两个阶段，首先根据标题对故事情节进行规划，得到故事情节序列，然后根据标题与故事情节序列，依次生成每个故事情节对应的具体内容，提高模型生成的故事内容一致性。
附图说明
图1是本发明具体实施例一种提高内容一致性的长文本故事生成方法的步骤流程图；
图2是本发明具体实施例一种提高内容一致性的长文本故事生成系统的结构框图；
图3是本发明具体实施例故事生成模型的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的故事生成中，所要实现的目标为：给定title＝{t1，t2，…，tn}，生成一个story＝{s1，s2，…，sm}。其中ti表示title的第i个单词，story由m个故事情节对应的文本组成，si表示story的第i个故事情节对应的文本内容。
如图1所示，本发明提供了一种单步逆向合成方法，该方法包括以下步骤：
S1、获取数据集并对数据集进行预处理，得到训练集；
具体地，获取大量训练样本，设样本数量为N，样本形式为(title，story)，其中title表示故事标题，story表示故事的具体内容。
S2、基于训练集的故事标题、故事内容和故事情节序列对预构建故事生成模型进行训练，得到训练完成的故事生成模型；
S3、将待测标题输入到训练完成的故事生成模型，生成故事文本。
具体地，本发明设计了一种故事情节自编码器，可以从大规模的故事语料中自动总结归纳出各种抽象的故事情节。本发明提出的层次故事生成方法，将故事生成分解为两个阶段，首先根据标题对故事情节进行规划，得到故事情节序列。然后根据标题与故事情节序列，依次生成每个故事情节对应的具体内容。该策略能够提高模型生成的故事内容一致性。
进一步作为本方法的优选实施例，所述故事生成模型包括故事情节自编码模块、故事规划模块和故事生成模块。
具体地，故事情节自编码模块，由多个卷积层堆叠而成的，每个卷积层可以捕获输入文本不同粒度的语义信息。经过故事情节自编码模块之后，输入的故事文本被编码压缩成一个特征图，特征图中包含一系列的特征向量。故事规划模块将特征图映射成为一个故事情节向量序列。更具体的，计算特征图中的每个特征向量与每个故事情节向量的距离，将特征向量映射为距离最近的故事情节向量，从而得到该故事情节序列。故事生成模块由反卷积神经网络组成，反卷积神经网络由多个反卷积操作堆叠而成。参照图3。
进一步作为本方法优选实施例，所述基于训练集的故事标题、故事内容和故事情节序列对预构建故事生成模型进行训练，得到训练完成的故事生成模型这一步骤，其具体包括：
基于训练集的故事内容训练故事情节自编码模块，得到训练完成的故事情节自编码模块；
具体地，使用N个story，训练故事情节自编码模块，对大规模故事语料的故事情节自动进行总结归纳，并且得到每个故事情节对应的故事情节向量。从而得到一个故事情节向量表，表示为<e1，e2，...，en>，其中ei表示第i个故事情节对应的向量，n为故事情节的个数。
基于训练集中标题和对应故事内容得到对应故事情节序列，并训练故事规划模块，得到训练完成的故事规划模块；
具体地，对于每个数据(title，story)，得到story对应的故事情节序列，然后使用(title，故事情节序列)训练故事情节规划模块，使得故事情节规划模块能够学会根据title生成故事情节序列。
根据训练集中标题、对应故事内容和对应故事情节序列训练故事生成模块，得到训练完成的故事生成模块；
具体地，使用(title，故事情节序列，story)训练故事生成模块，使得故事生成模块学会如何根据title与故事情节序列生成对应的story。故事生成模块的训练目标为：给定上文，一次性预测接下来的n个单词，使得模型在生成每个单词时候，能够考虑更加长期的收益。
根据训练完成的故事情节自编码模块、训练完成的故事规划模块和训练完成的故事生成模块，得到训练完成的故事生成模型。
进一步作为本发明的优选实施例，所述基于训练集的故事内容训练故事情节自编码模块，得到训练完成的故事情节自编码模块这一步骤，其具体还包括：
对训练集中多个故事内容分别编码压缩，得到多个特征图；
将多个特征图映射成向量情节序列，得到故事情节向量表；
具体地，该故事情节向量表由若干个故事情节向量组成，每个向量表示一个抽象的故事情节，向量表的规模由人为设定。
存储故事情节向量表，得到训练完成的故事情节自编码模块。
具体地，进一步作为本发明优选实施例，所述将待测标题输入到训练完成的故事生成模型，生成故事文本这一步骤，其具体包括：
基于故事情节自编码模块对待测标题进行编码，得到标题编码信息；
将标题编码信息输入到训练完成的故事规划模块，映射得到故事情节序列；
将故事情节序列输入到训练完成的故事生成模块，将故事情节向量序列解码得到故事文本。
具体地，在故事生成阶段，根据输入的title，首先使用柜式规划模块对故事情节进行规划，得到故事情节序列。然后故事生成模块再根据title与故事情节序列，生成每个故事情节的具体内容。
进一步作为本发明优选实施例，所述标题编码信息具体为特征图。
具体地，输入的故事文本或标题被编码压缩成一个特征图，特征图中包含一系列的特征向量。
进一步作为本发明优选实施例，所述故事生成模块采用反卷积神经网络。
如图2所示，一种提高内容一致性的长文本故事生成系统，包括以下模块：
数据集获取模块，用于获取数据集并对数据集进行预处理，得到训练集；
训练模块，用于基于训练集的故事标题、故事内容和故事情节序列对预构建故事生成模型进行训练，得到训练完成的故事生成模型；
生成模块，用于将待测标题输入到训练完成的故事生成模型，生成故事文本。
上述系统实施例中的内容均适用于本方法实施例中，本方法实施例所具体实现的功能与上述系统实施例相同，并且达到的有益效果与上述系统实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.一种提高内容一致性的长文本故事生成方法，其特征在于，包括以下步骤：
获取数据集并对数据集进行预处理，得到训练集；
基于训练集的故事标题、故事内容和故事情节序列对预构建故事生成模型进行训练，得到训练完成的故事生成模型；
将待测标题输入到训练完成的故事生成模型，生成故事文本；
所述故事生成模型包括故事情节自编码模块、故事规划模块和故事生成模块；
所述基于训练集的故事标题、故事内容和故事情节序列对预构建故事生成模型进行训练，得到训练完成的故事生成模型这一步骤，其具体包括：
基于训练集的故事内容训练故事情节自编码模块，得到训练完成的故事情节自编码模块；
基于训练集中标题和对应故事内容得到对应故事情节序列，并训练故事规划模块，得到训练完成的故事规划模块；
根据训练集中标题、对应故事内容和对应故事情节序列训练故事生成模块，得到训练完成的故事生成模块；
根据训练完成的故事情节自编码模块、训练完成的故事规划模块和训练完成的故事生成模块，得到训练完成的故事生成模型；
所述基于训练集的故事内容训练故事情节自编码模块，得到训练完成的故事情节自编码模块这一步骤，其具体还包括：
对训练集中多个故事内容分别编码压缩，得到多个特征图；
将多个特征图映射成向量情节序列，得到故事情节向量表；
存储故事情节向量表，得到训练完成的故事情节自编码模块；
所述将待测标题输入到训练完成的故事生成模型，生成故事文本这一步骤，其具体包括：
基于故事情节自编码模块对待测标题进行编码，得到标题编码信息；
将标题编码信息输入到训练完成的故事规划模块，映射得到故事情节序列；
将故事情节序列输入到训练完成的故事生成模块，将故事情节向量序列解码得到故事文本；
故事情节自编码模块，由多个卷积层堆叠而成，每个卷积层捕获输入文本不同粒度的语义信息。
2.根据权利要求1所述一种提高内容一致性的长文本故事生成方法，其特征在于，所述标题编码信息具体为特征图。
3.根据权利要求2所述一种提高内容一致性的长文本故事生成方法，其特征在于，所述故事生成模块采用反卷积神经网络。
4.一种提高内容一致性的长文本故事生成系统，其特征在于，用于执行如权利要求1所述的长文本故事生成方法，包括以下模块：
数据获取模块，用于获取数据集并对数据集进行预处理，得到训练集；
训练模块，用于基于训练集的故事标题、故事内容和故事情节序列对预构建故事生成模型进行训练，得到训练完成的故事生成模型；
生成模块，用于将待测标题输入到训练完成的故事生成模型，生成故事文本。
CN202011380561.0A 2020-12-01 2020-12-01 一种提高内容一致性的长文本故事生成方法及系统 Active CN112395842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011380561.0A CN112395842B (zh) 2020-12-01 2020-12-01 一种提高内容一致性的长文本故事生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011380561.0A CN112395842B (zh) 2020-12-01 2020-12-01 一种提高内容一致性的长文本故事生成方法及系统

Publications (2)

Publication Number Publication Date
CN112395842A CN112395842A (zh) 2021-02-23
CN112395842B true CN112395842B (zh) 2024-02-02

Family

ID=74604898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011380561.0A Active CN112395842B (zh) 2020-12-01 2020-12-01 一种提高内容一致性的长文本故事生成方法及系统

Country Status (1)

Country Link
CN (1) CN112395842B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762474A (zh) * 2021-08-26 2021-12-07 厦门大学 自适应主题的故事结尾生成方法、存储介质
CN114139524B (zh) * 2021-11-29 2022-09-13 浙江大学 故事文本的预测方法、装置以及电子设备
CN115081402B (zh) * 2022-07-13 2023-05-09 平安科技（深圳）有限公司 基于溯因推理的故事情节拓展方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287999A (zh) * 2019-05-28 2019-09-27 清华大学 基于隐变量模型的故事生成方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070099684A1 (en) * 2005-11-03 2007-05-03 Evans Butterworth System and method for implementing an interactive storyline
US10825227B2 (en) * 2018-04-03 2020-11-03 Sri International Artificial intelligence for generating structured descriptions of scenes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287999A (zh) * 2019-05-28 2019-09-27 清华大学 基于隐变量模型的故事生成方法及装置

Also Published As

Publication number Publication date
CN112395842A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112395842B (zh) 一种提高内容一致性的长文本故事生成方法及系统
CN113128229B (zh) 一种中文实体关系联合抽取方法
CN113158665B (zh) 一种基于文本摘要生成与双向语料改善对话文本生成的方法
CN110334361A (zh) 一种面向小语种语言的神经机器翻译方法
CN109753567A (zh) 一种结合标题与正文注意力机制的文本分类方法
CN108170686A (zh) 文本翻译方法及装置
CN108763227A (zh) 一种基于分块机制的机器翻译方法
CN113221571B (zh) 基于实体相关注意力机制的实体关系联合抽取方法
CN115906815B (zh) 一种用于修改一种或多种类型错误句子的纠错方法及装置
CN112214996A (zh) 一种面向科技信息文本的文本摘要生成方法及系统
CN114780723B (zh) 基于向导网络文本分类的画像生成方法、系统和介质
CN114238652A (zh) 一种用于端到端场景的工业故障知识图谱建立方法
CN115687638A (zh) 基于三元组森林的实体关系联合抽取方法及系统
CN113326367B (zh) 基于端到端文本生成的任务型对话方法和系统
CN112417118B (zh) 一种基于标记文本和神经网络的对话生成方法
CN110909174B (zh) 一种基于知识图谱的简单问答中实体链接的改进方法
CN114997143B (zh) 文本生成模型训练方法和系统、文本生成方法及存储介质
CN111931461A (zh) 一种用于文本生成的变分自编码器
CN116109978A (zh) 基于自约束动态文本特征的无监督视频描述方法
CN113312448B (zh) 一种诗歌生成方法、系统及可读存储介质
CN115309886A (zh) 基于多模态信息输入的人工智能文本创作方法
CN112069777B (zh) 一种基于骨架的二阶段数据到文本生成方法
CN115169363A (zh) 一种融合知识的增量编码的对话情感识别方法
CN114036268A (zh) 基于意图门的任务型多轮对话方法及系统
Zhang et al. Image caption generation method based on an interaction mechanism and scene concept selection module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant