CN116681049A - 一种文本生成方法及设备 - Google Patents

一种文本生成方法及设备 Download PDF

Info

Publication number
CN116681049A
CN116681049A CN202310709454.5A CN202310709454A CN116681049A CN 116681049 A CN116681049 A CN 116681049A CN 202310709454 A CN202310709454 A CN 202310709454A CN 116681049 A CN116681049 A CN 116681049A
Authority
CN
China
Prior art keywords
text
node
tree
new
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310709454.5A
Other languages
English (en)
Inventor
张炯
王沛泓
田远
葛翔
刘瑾
贾雪丽
贾雪娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xingtubit Information Technology Service Co ltd
Original Assignee
Shanghai Xingtubit Information Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xingtubit Information Technology Service Co ltd filed Critical Shanghai Xingtubit Information Technology Service Co ltd
Priority to CN202310709454.5A priority Critical patent/CN116681049A/zh
Publication of CN116681049A publication Critical patent/CN116681049A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

本申请的目的是提供一种文本生成方法及设备，本申请通过将获取的样例文本输入至用于识别文本结构的自然语言处理模型，生成用于指示样例文本的文章大纲的结构树，结构树包括每个节点及其对应的原有文本内容和结构类型；获取用户输入的待生成文本的文本主题；将结构树、文本主题作为提示词，输入至所述自然语言处理模型，对结构树进行改写，得到新的结构树，新的结构树包括每个节点及其对应的段落主旨和结构类型；将新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至所述自然语言处理模型，逐个生成每个所述节点对应的新文本内容，无需人工参与，提高新文本生成的质量及效率。

Description

一种文本生成方法及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种文本生成方法及设备。
背景技术
日常生活中常会对报告、通知、简报等具备统一格式或相似风格文章进行编写或改写，通常在编写或改写过程中需要人工进行研究、整理、编辑、润色等，耗费大量时间和精力，并且在人工处理过程中，会面临信息筛选、结构安排、语言表达等多个问题，导致编写效率低下，且文章质量参差不齐。
在现有技术中，常用模板填充法生成文本，模板填充是一种基于模板和占位符的文本生成技术，其原理为通过将特定的值插入到模板的占位符中来生成文本，并且在模板中包含预定义文本和占位符的字符串，占位符可以被替换为特定的值，具体填充方法如下：
1.字符串格式化：使用字符串格式化函数将特定值插入到字符串中的占位符中。例如，Python中的字符串格式化可以使用“％”运算符或者.format()方法来实现。
2.文本模板引擎：使用文本模板引擎来实现模板填充。常见的文本模板引擎包括Jinja2和Mustache等，这些引擎提供了丰富的功能，如条件语句，循环语句和过滤器等。
3.自然语言生成(NLG)技术：使用自然语言生成技术来实现模板填充。NLG技术可以将结构化数据转换为自然语言文本，并提供更高的灵活性和语言自然度。
然而，在模板填充使用过程中，由于模板填充法是根据预设格式和规则而设定的，故在添加或修改内容时，会在模板的框架内操作，这就导致无法按照用户需求进行排版和设计，并且在模板内容方面均为通用内容，无法针对具体的需求进行精细化的设计和撰写，导致文档质量和准确性下降，此外利用模版填充得到文章，需定制化修改，使得耗费更多的时间成本和人力成本。
发明内容
本申请的一个目的是提供一种文本生成方法及设备，实现自动识别样例文本中结构关系并得到样例文本对应的结构树，再将结构树与待生成文本的文本主题结合从而生成新文本内容，达到自动化快速生成结构，得到风格类似的文章，提供工作效率和生成质量。
根据本申请的一个方面，提供了一种文本生成方法，其中，所述方法包括：
将获取的样例文本输入至用于识别文本结构的自然语言处理模型，生成用于指示所述样例文本的文章大纲的结构树，所述结构树包括每个节点及其对应的原有文本内容和结构类型；
获取用户输入的待生成文本的文本主题；
将所述结构树、所述文本主题作为提示词，输入至所述自然语言处理模型，对所述结构树进行改写，得到新的结构树，所述新的结构树包括每个所述节点及其对应的段落主旨和结构类型；
将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至所述自然语言处理模型，逐个生成每个所述节点对应的新文本内容。
进一步地，上述方法中，所述将获取的样例文本输入至用于识别文本结构的自然语言处理模型，生成用于指示所述样例文本的文章大纲的结构树，所述结构树包括每个节点及其对应的原有文本内容和结构类型，包括：
获取样例文本；
通过用于识别文本结构的自然语言处理模型，对所述样例文本进行分词，以将所述样例文本转化为相互独立的单词；
分别对所述样例文本中的每个句子中的各单词进行标记化处理，得到每个句子中的各单词对应的标记符；
使用多层变换模型Transformer网络，分别对每个所述句子中的各单词对应的标记符进行编码，生成每个所述句子对应的高维向量；
将每个所述句子对应的高维向量输入至已训练好的分类器，进行每个所述句子所属的结构类型的判断与分类，得到每个所述句子对应的结构类型；
构建一棵空的结构树，将所述样例文本的文章标题作为所述空的结构树的根节点；
遍历所述样例文本中的每个所述句子，按照所述结构类型的逻辑关系，将每个所述句子插入到所述空的结构树中，生成所述样例文本对应的文档结构树；
遍历样例文本对应的文档结构树，将所述文档结构树中的每个节点的原有文本内容和结构类型作为所述样例文本的文章大纲，以生成用于指示所述样例文本的文章大纲的结构树。
进一步地，上述方法中，所述将所述结构树、所述文本主题作为提示词，输入至所述自然语言处理模型，对所述结构树进行改写，得到新的结构树，所述新的结构树包括每个所述节点及其对应的段落主旨和结构类型，包括：
通过所述自然语言处理模型，根据所述结构树，分别为每个所述节点对应的结构类型生成一个新的结构内容，以替换对应的所述结构类型的原有内容，逐步生成一个包含新文章大纲的新的结构树；所述新的结构树包括每个所述节点及其对应的结构类型；
为所述新的结构树中的每个所述节点创建一个对应的段落主旨。
进一步地，上述方法中，所述将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至所述自然语言处理模型，逐个生成每个所述节点对应的新文本内容，包括：
将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至以所述自然语言处理模型为基础的子回归的文本生成器中，逐个生成每个所述节点对应的新文本内容。
进一步地，上述方法中，所述一种文本生成方法还包括：
对所述新的结构树中的每个所述节点对应的新文本内容进行校对。
根据本申请的另一方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述一种文本生成方法。
根据本申请的另一方面，还提供了一种文本生成设备，其中，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述一种文本生成方法。
与现有技术相比，本申请通过将获取的样例文本输入至用于识别文本结构的自然语言处理模型，生成用于指示所述样例文本的文章大纲的结构树，所述结构树包括每个节点及其对应的原有文本内容和结构类型；获取用户输入的待生成文本的文本主题；将所述结构树、所述文本主题作为提示词，输入至所述自然语言处理模型，对所述结构树进行改写，得到新的结构树，所述新的结构树包括每个所述节点及其对应的段落主旨和结构类型；将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至所述自然语言处理模型，逐个生成每个所述节点对应的新文本内容，实现利用自然语言处理模型自动分析并提取样例文本的文章大纲和结构逻辑关系以得到结构树，再将结构树与待生成文本的文本主题融合得到新的结构树，根据新的结构树以及用户描述信息生成新文本内容，达到文本生成过程中无需人工研究整理，大大节省人力和时间成本，并生成与样例文本结构、风格类似的新文本内容，提高新文本生成的质量及效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种文本生成方法的流程示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
如图1所示，本申请一个方面的一种文本生成方法的流程示意图，其中，所述方法包括步骤S11、步骤S12、步骤S13及步骤S14，具体包括如下步骤：
步骤S11，将获取的样例文本输入至用于识别文本结构的自然语言处理模型，生成用于指示所述样例文本的文章大纲的结构树，所述结构树包括每个节点及其对应的原有文本内容和结构类型，实现对样本文本的快速识别和分析，并提取出样例文本大纲，无需人工进行样例文本的研读、整理等操作流程，有效节省人力和物力成本。
在此，样例文本是指根据用户需求或待生成文本需求等需求确定的、具有与需求内容或需求结构类似的文本，在实际应用场景中，每次生成新文本内容时，可对样例文本进行适应性选择，并且，还可对样例文本中部分内容进行添加或修改，以使后续结构树的生成更加贴合目标需求，增加灵活性，从而规避模板填充法中无法按照用户想法进行文章排版和文章设计的问题。
同时，在自然语言处理模型中设有预设的处理样例文本的文本语义和语法规则，已实现对样例文本的分析、处理，在实际应用场景中，自然语言处理模型通常使用GPT-3(Generative Pre-trained Transformer，生成型预训练变换模型)，所述GPT-3是由OpenAI提出和开发，是一种无监督学习的预训练模型，通过在大规模文本数据上训练得到通用的语言表示，然后在此基础上进行有监督学习，完成不同的NLP(Natural LanguageProcessing，自然语言处理)任务。
GPT是基于Transformer架构，使用多层自注意力机制来建模文本的上下文信息。它采用了深度双向语言模型(Deep Bidirectional Language Model，DBLM)的思想，即在预训练阶段使用大量的无标注数据来训练模型，学习到通用的语言表示，然后在具体任务上进行微调，以完成特定的NLP任务，如文本分类、命名实体识别、情感分析等。
在生成的结构树中，包括多个节点，每个节点对应原有文本内容和结构类型，其中，原有文本内容指根据对样例文本的识别，将样例文本的文章内容解析至每个节点的文本内容中，得到该节点的原有文本内容；结构类型包括但不限于标题、小标题、正文和列表项等。
步骤S12，获取用户输入的待生成文本的文本主题；在此，用户输入的文本主题可以为主题词，也可以为主题句等，在实际应用场景中可根据文本生成场景等选择确定。
步骤S13，将所述结构树、所述文本主题作为提示词，输入至所述自然语言处理模型，对所述结构树进行改写，得到新的结构树，所述新的结构树包括每个所述节点及其对应的段落主旨和结构类型；在此，提示词通常用来指示机器学习模型需要生成的文本内容或方向，在生成文本的过程中，使用提示词可以帮助模型更好地理解生成的语境和要表达的意思，从而生成更加准确、自然的文本，并且模型会根据提示词的语义和上下文信息来判断生成的内容和表达方式，使用合适的提示词可以帮助模型更快速地收敛和生成高质量的文本，同时也可以提高用户体验和满意度；在新的结构树中每个节点对应的结构类型包括但不限于标题、小标题、正文和列表项等，达到样本文本结构树与待生成的文本主题的融合，并利用自然语言处理模型生成具有段落主旨和结构类型的新的结构树，实现样例文本对应结构树向待生成文本主题词对应结构树的过渡转换。
步骤S14，将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至所述自然语言处理模型，逐个生成每个所述节点对应的新文本内容；在此，所述描述信息包括但不限于词语、句子、段落等。
通过上述步骤S11至步骤S14，基于自然语言处理模型，对样例文本中内容进行识别，并生成指示文章大纲的结构树，无需人工进行样例文本的研读与修改，直线提高工作速率，再获取用户提供的待生成文本的主题，从而得到与待生成文本主题的相关的、且与样例文本结构一致的新的结构树，加上提示词的加持，完成新文本内容的生成，促使新文本内容全面贴合提示词的同时，提高文本生成质量，具备更高的灵活性和可扩展性。
在本申请一优选实施例中，将样例文本1输入至GPT-3，生成包含样例文本1的文章大纲的结构树A，其中，在结构树A中包括节点1，节点2，……，节点(n-1)和节点n，并且节点1对应原有文本内容1以及节点1的结构类型(大标题)、节点2对应有原有文本内容2以及节点2的结构类型(小标题)、……、节点(n-1)对应有原有文本内容(n-1)以及节点(n-1)的结构类型(正文)和节点n对应有原有文本内容n以及节点n的结构类型(正文)。
获取用户输入的待生成文本的文本主题词；将文本主题词和结构树A确定为提示词，并输入至GPT-3，以对结构树A改写，得到在本文主题词环境下的，与结构树A结构类似的新的结构树B，其中，新的结构树B包括节点1’，节点2’，……，节点(n-1)’和节点n’，并且节点1’对应段落主旨1以及节点1’的结构类型(大标题)，节点2’对应段落主旨2以及节点2’的结构类型(小标题)、……、节点(n-1)’对应段落主旨(n-1)以及节点(n-1)’的结构类型(正文)和节点n’对应段落主旨n以及节点n’的结构类型(正文)。
将新的结构树B中节点1’至节点n’对应段落主旨1至段落主旨n，以及用户输入的描述词确定为提示词，并输入至G PT-3，得到节点1’的新文本内容1、节点2’的新文本内容2、……、节点(n-1)’的新文本内容(n-1)和节点n’的新文本内容n，完成新文本内容的文本生成。
接着本申请上述实施例，所述步骤S11将获取的样例文本输入至用于识别文本结构的自然语言处理模型，生成用于指示所述样例文本的文章大纲的结构树，所述结构树包括每个节点及其对应的原有文本内容和结构类型，具体包括：
获取样例文本；
通过用于识别文本结构的自然语言处理模型，对所述样例文本进行分词，以将所述样例文本转化为相互独立的单词；
分别对所述样例文本中的每个句子中的各单词进行标记化处理，得到每个句子中的各单词对应的标记符；在此，所述标记符可以包括但不限于token标记等。
使用多层变换模型Transformer网络，分别对每个所述句子中的各单词对应的标记符进行编码，生成每个所述句子对应的高维向量；在此，所述Transformer网络为encode-decode框架，即编码解码。
将每个所述句子对应的高维向量输入至已训练好的分类器，进行每个所述句子所属的结构类型的判断与分类，得到每个所述句子对应的结构类型；
构建一棵空的结构树，将所述样例文本的文章标题作为所述空的结构树的根节点；
遍历所述样例文本中的每个所述句子，按照所述结构类型的逻辑关系，将每个所述句子插入到所述空的结构树中，生成所述样例文本对应的文档结构树；
遍历样例文本对应的文档结构树，将所述文档结构树中的每个节点的原有文本内容和结构类型作为所述样例文本的文章大纲，以生成用于指示所述样例文本的文章大纲的结构树。
在本申请一优选实施例中，将样例文本1输入至GPT-3，GPT-3对样例文本1进行分词，得到句子1的单词、句子2的单词、……、句子(m-1)单词和句子m的单词；将样例文本1中句子1的单词均标记为token1，句子2的单词均标记为token 2、……、句子(m-1)的单词均标记为token(m-1)和句子m的单词均标记为tokenm；通过多层变换模型Transformer网络，对句子1的token1编码得到句子1的高维向量1，对句子2的token2编码得到句子2的高纬向量2、……、对句子(m-1)的token(m-1)编码得到句子(m-1)的高纬向量(m-1)和对句子m的tokenm编码得到句子m的高纬向量m；将高维向量1、高维向量2、……、高纬向量(m-1)和高纬向量m输入至已训练好的分类器，得到句子1为大标题，句子2为大标题、……、句子(m-1)为正文和句子m为正文。
构建空的结构树a，将样例文本1的文章标题作为空的结构树a的根节点；根据结构类型的逻辑关系，遍历句子1至句子m，将句子1至句子m插入至空的结构树a，得到样例文本的文档结构树a’；遍历文档结构树a’，将文档结构树a’中的每个节点的原有文本内容和结构类型作为样例文本1的文章大纲，生成用于指示样例文本1的文章大纲的结构树A，实现自动化分解样例文本，无需人工研读与分析，并根据分解后的样例文本构建可指示文章大纲的结构树，突破现有文本分析的常规方式，利用结构树体现文章结构逻辑，使文本分解更加清晰准确。
接着本申请上述实施例，所述步骤S13将所述结构树、所述文本主题作为提示词，输入至所述自然语言处理模型，对所述结构树进行改写，得到新的结构树，所述新的结构树包括每个所述节点及其对应的段落主旨和结构类型，具体包括：
通过所述自然语言处理模型，根据所述结构树，分别为每个所述节点对应的结构类型生成一个新的结构内容，以替换对应的所述结构类型的原有内容，逐步生成一个包含新文章大纲的新的结构树；所述新的结构树包括每个所述节点及其对应的结构类型；
为所述新的结构树中的每个所述节点创建一个对应的段落主旨。
在此，每个节点对应的新的结构内容是指每个节点在该节点对应的结构类型下所对应的文本内容，并在实际应用场景中，新的结构内容将结合获取的待生成文本的文本主题生成，例如，某一节点对应的结构类型为标题，其结构内容为“文本生成方法”，并且当为每个节点的结构类型生成新的结构内容时，将每个节点的结构类型结合待生成文本的文本主题，得到每个节点的结构类型的结构内容；基于上述对新的结构内容的描述，原有内容指节点的结构类型的原本的结构内容。
本实施例中，在获取得到样例文本后，分析样例文本，并自动生成样例文本的主旨句，当为每个所述节点创建对应的段落主旨时，基于该节点的结构类型，将样例文本的主旨句和待生成文本的文本主题结合，生成该节点的段落主旨，实现样本文本与待生成文本的文本主题的充分融合，避免因文本主题体现不清晰而导致后续文本内容生成的质量低、内容差的现象发生。
在本申请一优选实施例中，在GPT-3中根据结构树A，结合待生成文本的文本主题词，生成节点1对应的新的结构内容1、节点2对应的新的结构内容2、……、节点(n-1)对应的新的结构内容(n-1)和节点n对应的新的结构内容n，并将结构树A中节点1的原有内容1替换为新的结构内容1、节点2的原有内容2替换为新的结构内容2、……、节点(n-1)的原有内容(n-1)替换为新的结构内容(n-1)以及节点n的原有内容n替换为新的结构内容n，逐渐形成新的结构树B。
分析样例文本1，生成样例文本1的主旨句，根据新的结构树B中每个节点的结构类型，将样例文本1的主旨句与待生成文本的文本主题词结合，为每个节点创建对应的段落主旨。
接着本申请上述实施例，所述步骤S14将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至所述自然语言处理模型，逐个生成每个所述节点对应的新文本内容，具体包括：
将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至以所述自然语言处理模型为基础的子回归的文本生成器中，逐个生成每个所述节点对应的新文本内容，实现根据用户描述信息的、生成段落主旨的新文本内容的生成，进一步融入提示词，以使新文本内容符合用户需求的同时，保留样例文本的结构逻辑，质量更高。
接着本申请上述实施例，本申请的一个方面提供的一种文本生成方法还包括：
对所述新的结构树中的每个所述节点对应的新文本内容进行校对，进一步确认新的文本内容，提高文本生成质量的同时，增加文本生成安全性，确认新的文本内容是否符合用户需求，以为用户提供合格的新的文本内容，提升用户使用的满意度。
例如，首先，收集样例文本，并提供给GPT-3等自然语言处理模型用于识别样例文本的文章结构，具体的，GPT-3模型对样例文本进行分词，将样例文本转化为一个个单独的词语；将样例文本中每个句子中的单词进行标记化处理，即，将每个单词转化为对应的token；使用多层变换模型Transformer网络来对每个句子中的token进行编码，从而产生每个句子对应的高维向量；对每个句子，使用已训练好的分类器进行分类，判断其所属的文章结构类型(例如：标题、小标题、正文、列表项等)；构建一颗空树，以样例文本的标题为根结点；遍历每个句子，按照结构类型的逻辑关系，将每个句子形插入到树中；遍历生成的文档结构树，得到每个节点的文本内容以及对应的结构类型，作为文章的大纲。
然后，获取用户输入的待生成文本的文本主题。
接着，进行结构树的改写，具体的，确定待生成文本的文本主题的标题和目的；根据结构树，结合待生成文本的文本主题和样例文本的主旨句，分别为每个节点对应的结构类型生成一个新的结构内容，以替换对应的结构类型的原有内容(例如利用原有的小标题和新主题，生成新的小标题替换原有的小标题)；逐步生成一个新的结构树(即，新的大纲)；为新的结构树的每个节点创建一个新的段落主旨(即大纲的每个分段)。
其次，以段落主旨和用户输入描述信息为提示词，输入以GPT-3等模型为基础的子回归的文本生成器中，生成新文本内容，最后，进行人工文本校对，完成文本生成。
需要说明的是，在实施本申请的所有实施例时，可以使用Python语言和相应的深度学习框架等，如PyTorch或Tensorflow。
在本申请的所有实施例中，实现使用基于预训练模型的自然语言处理模型学习文本结构，自动识别文档中的元素和它们之间的关系；将识别出的文本结构和待生成文本的文本主题结合，作为提示词，生成全新文本大纲，在新大纲的基础上，以生成的段落主旨句和用户补充的描述信息为提示词，利用基于预训练模型的自然语言处理模型逐个生成每个段落的文本内容。
根据本申请的另一方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述一种文本生成方法。
根据本申请的另一方面，还提供了一种文本生成设备，其中，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述一种文本生成方法。
在此，所述一种文本生成设备中的各实施例的详细内容，具体可参见上述一种文本生成方法的实施例的对应部分，在此，不再赘述。
综上所述，本申请通过将获取的样例文本输入至用于识别文本结构的自然语言处理模型，生成用于指示所述样例文本的文章大纲的结构树，所述结构树包括每个节点及其对应的原有文本内容和结构类型；获取用户输入的待生成文本的文本主题；将所述结构树、所述文本主题作为提示词，输入至所述自然语言处理模型，对所述结构树进行改写，得到新的结构树，所述新的结构树包括每个所述节点及其对应的段落主旨和结构类型；将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至所述自然语言处理模型，逐个生成每个所述节点对应的新文本内容，实现利用自然语言处理模型自动分析并提取样例文本的文章大纲和结构逻辑关系以得到结构树，再将结构树与待生成文本的文本主题融合得到新的结构树，根据新的结构树以及用户描述信息生成新文本内容，达到文本生成过程中无需人工研究整理，大大节省人力和时间成本，并生成与样例文本结构、风格类似的新文本内容，提高新文本生成的质量及效率。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (7)

1.一种文本生成方法，其中，所述方法包括：
将获取的样例文本输入至用于识别文本结构的自然语言处理模型，生成用于指示所述样例文本的文章大纲的结构树，所述结构树包括每个节点及其对应的原有文本内容和结构类型；
获取用户输入的待生成文本的文本主题；
将所述结构树、所述文本主题作为提示词，输入至所述自然语言处理模型，对所述结构树进行改写，得到新的结构树，所述新的结构树包括每个所述节点及其对应的段落主旨和结构类型；
将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至所述自然语言处理模型，逐个生成每个所述节点对应的新文本内容。
2.根据权利要求1所述的方法，其中，所述将获取的样例文本输入至用于识别文本结构的自然语言处理模型，生成用于指示所述样例文本的文章大纲的结构树，所述结构树包括每个节点及其对应的原有文本内容和结构类型，包括：
获取样例文本；
通过用于识别文本结构的自然语言处理模型，对所述样例文本进行分词，以将所述样例文本转化为相互独立的单词；
分别对所述样例文本中的每个句子中的各单词进行标记化处理，得到每个句子中的各单词对应的标记符；
使用多层变换模型Transformer网络，分别对每个所述句子中的各单词对应的标记符进行编码，生成每个所述句子对应的高维向量；
将每个所述句子对应的高维向量输入至已训练好的分类器，进行每个所述句子所属的结构类型的判断与分类，得到每个所述句子对应的结构类型；
构建一棵空的结构树，将所述样例文本的文章标题作为所述空的结构树的根节点；
遍历所述样例文本中的每个所述句子，按照所述结构类型的逻辑关系，将每个所述句子插入到所述空的结构树中，生成所述样例文本对应的文档结构树；
遍历样例文本对应的文档结构树，将所述文档结构树中的每个节点的原有文本内容和结构类型作为所述样例文本的文章大纲，以生成用于指示所述样例文本的文章大纲的结构树。
3.根据权利要求1所述的方法，其中，所述将所述结构树、所述文本主题作为提示词，输入至所述自然语言处理模型，对所述结构树进行改写，得到新的结构树，所述新的结构树包括每个所述节点及其对应的段落主旨和结构类型，包括：
通过所述自然语言处理模型，根据所述结构树，分别为每个所述节点对应的结构类型生成一个新的结构内容，以替换对应的所述结构类型的原有内容，逐步生成一个包含新文章大纲的新的结构树；所述新的结构树包括每个所述节点及其对应的结构类型；
为所述新的结构树中的每个所述节点创建一个对应的段落主旨。
4.根据权利要求1所述的方法，其中，所述将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至所述自然语言处理模型，逐个生成每个所述节点对应的新文本内容，包括：
将所述新的结构树中的每个所述节点的段落主旨和所述用户输入的描述信息作为提示词，输入至以所述自然语言处理模型为基础的子回归的文本生成器中，逐个生成每个所述节点对应的新文本内容。
5.根据权利要求1至4所述的任一项方法，其中，所述方法还包括：
对所述新的结构树中的每个所述节点对应的新文本内容进行校对。
6.一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如权利要求1至5中任一项所述的方法。
7.一种文本生成设备，其中，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5所述的方法。
CN202310709454.5A 2023-06-14 2023-06-14 一种文本生成方法及设备 Pending CN116681049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310709454.5A CN116681049A (zh) 2023-06-14 2023-06-14 一种文本生成方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310709454.5A CN116681049A (zh) 2023-06-14 2023-06-14 一种文本生成方法及设备

Publications (1)

Publication Number Publication Date
CN116681049A true CN116681049A (zh) 2023-09-01

Family

ID=87780771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310709454.5A Pending CN116681049A (zh) 2023-06-14 2023-06-14 一种文本生成方法及设备

Country Status (1)

Country Link
CN (1) CN116681049A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117743567A (zh) * 2024-02-18 2024-03-22 成都帆点创想科技有限公司 长文本生成方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117743567A (zh) * 2024-02-18 2024-03-22 成都帆点创想科技有限公司 长文本生成方法及装置
CN117743567B (zh) * 2024-02-18 2024-05-07 成都帆点创想科技有限公司 长文本生成方法及装置

Similar Documents

Publication Publication Date Title
US10223586B1 (en) Multi-modal electronic document classification
CN112541337B (zh) 一种基于递归神经网络语言模型的文档模板自动生成方法及系统
CN111309313A (zh) 一种快速生成html以及存储表单数据的方法
CN116681049A (zh) 一种文本生成方法及设备
CN114218379B (zh) 一种面向智能问答系统的无法回答问题的归因方法
CN112016271A (zh) 语言风格转换模型的训练方法、文本处理方法以及装置
CN113076133A (zh) 基于深度学习的Java程序内部注释的生成方法及系统
WO2023231576A1 (zh) 混合语言语音识别模型的生成方法及装置
CN116484808A (zh) 一种公文用可控文本生成方法及装置
CN115795039A (zh) 基于深度学习的风格标题生成方法、设备及介质
CN114461366A (zh) 多任务模型训练方法、处理方法、电子设备及存储介质
CN114817528A (zh) 基于提示模板的金融文本分类方法、装置及电子设备
CN114333838A (zh) 语音识别文本的修正方法及系统
CN110347921B (zh) 一种多模态数据信息的标签抽取方法及装置
CN116909435A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN116702765A (zh) 一种事件抽取方法、装置及电子设备
Ríos-Vila et al. Complete optical music recognition via agnostic transcription and machine translation
US11423228B2 (en) Weakly supervised semantic entity recognition using general and target domain knowledge
CN112579768A (zh) 一种情感分类模型训练方法、文本情感分类方法及装置
CN114189740B (zh) 视频合成对话构建方法、装置、计算机设备及存储介质
CN117573870B (zh) 一种多模态数据的文本标签提取方法、装置、设备及介质
CN115358186B (zh) 一种槽位标签的生成方法、装置及存储介质
CN115376153B (zh) 一种合同比对方法、装置及存储介质
CN115017258A (zh) 一种歌曲信息生成方法以及装置
Bui Hand sign language recognition with artificial intelligence: Using “You Only Look Once”(Yolo) model as a case

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination