CN112541348A - 长文本生成方法、装置、设备及存储介质 - Google Patents

长文本生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112541348A
CN112541348A CN202011432584.1A CN202011432584A CN112541348A CN 112541348 A CN112541348 A CN 112541348A CN 202011432584 A CN202011432584 A CN 202011432584A CN 112541348 A CN112541348 A CN 112541348A
Authority
CN
China
Prior art keywords
vector
preset
short
inputting
short sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011432584.1A
Other languages
English (en)
Inventor
回艳菲
王健宗
吴天博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011432584.1A priority Critical patent/CN112541348A/zh
Publication of CN112541348A publication Critical patent/CN112541348A/zh
Priority to PCT/CN2021/083496 priority patent/WO2022121165A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及人工智能领域，公开了一种长文本生成方法、装置、设备及存储介质。该方法包括：获取待处理的多个关键词并将各关键词输入预置向量编码器进行向量转换，得到词向量；拼接词向量和预置变量并将得到的初始向量输入预置短句生成器进行短句生成，得到多个第一短句；分别对各第一短句进行平均池化运算并将得到的多个特征短句向量输入预置短句编码器进行编码转换，得到短句编码；将短句编码、初始向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量；将各第一短句、随机变量和上下文关联向量输入预置长文本生成器进行文本生成，得到长文本。本发明能够将生成长文本的上下文关联起来，提高了长文本的连贯性。

Description

长文本生成方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种长文本生成方法、装置、设备及存储介质。
背景技术
随着人工智能的高速发展，人工智能技术被广泛用于各个行业，同时也带动了文本生成领域的发展，利用数据直接生成文本越来越多。传统的文本生成方法可以分为三个步骤：一、内容规划；二、句子规划；三、句子实现。这三个步骤实现了该生成什么内容以及该如何生成内容。
然而，传统生成文本的方法中生成的内容和如何生成对应的内容，这两个部分是根据不同步骤分别去获得，导致生成的长文本中前后文的语义不连贯，句子间缺乏关联性。
发明内容
本发明的主要目的在于解决现有文本生成效果不佳的技术问题。
本发明第一方面提供了一种长文本生成方法，所述长文本生成方法包括：
获取待处理的多个关键词，并将所述各关键词输入预置向量编码器进行向量转换，得到词向量；
拼接所述词向量和预置变量，得到初始向量，并将所述初始向量输入预置短句生成器进行短句生成，得到多个第一短句；
分别对所述各第一短句进行平均池化运算，得到多个特征短句向量，并将所述各特征短句向量输入预置短句编码器进行编码转换，得到短句编码；
拼接所述短句编码和所述初始向量，得到第一融合向量，并将所述第一融合向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量；
将所述各第一短句、所述随机变量和所述上下文关联向量输入预置长文本生成器进行文本生成，得到长文本。
可选的，在本发明第一方面的第一种实现方式中，所述向量编码器包括多个双向GRU神经网络，所述获取待处理的多个关键词，并将所述各关键词输入预置向量编码器进行向量转换，得到词向量包括：
获取待处理的多个关键词；
将所述关键词输入所述双向GRU神经网络进行向量转换，得到前向隐藏状态向量和后向隐藏状态向量；
对所述前向隐藏状态向量和后向隐藏状态向量进行拼接，得到词向量。
可选的，在本发明第一方面的第二种实现方式中，所述短句生成器包括多个第一单向GRU神经网络，所述将所述初始向量输入预置短句生成器进行短句生成，得到多个第一短句包括：
将所述初始向量输入所述第一单向GRU神经网络进行短句生成，得到多个第一短句；
调用预置休止函数，对所述第一单向GRU神经网络中的全连接层进行计算，得到隐层神经元输出值；
判断所述隐层神经元输出值是否超过预置阈值；
若是，则停止生成短句，并将停止生成前得到的短句作为所述第一单向 GRU神经网络的输出，得到多个第一短句；
若否，则继续通过所述第一单向GRU神经网络生成短句，直至所述隐层神经元输出值超过预置阈值，则停止生成短句，并将停止生成前得到的短句作为所述第一单向GRU神经网络的输出，得到多个第一短句。
可选的，在本发明第一方面的第三种实现方式中，所述分别对所述各第一短句进行平均池化运算，得到多个特征短句向量包括：
调用预置平均池化函数，分别对所述各第一短句计算平均值，得到各短句对应的多个特征值；
根据所述各短句对应的多个特征值，生成多个特征短句向量。
可选的，在本发明第一方面的第四种实现方式中，所述短句编码器包括多个第二单向GRU神经网络，所述将所述各特征短句向量输入预置短句编码器进行编码转换，得到短句编码包括：
将所述各特征短句向量输入所述第二单向GRU神经网络；
通过所述第二单向GRU神经网络，对所述各特征短句向量进行编码转换，得到短句编码。
可选的，在本发明第一方面的第五种实现方式中，所述语句关联器包括多个第三单向GRU神经网络，所述拼接所述短句编码和所述初始向量，得到第一融合向量，并将所述第一融合向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量包括：
拼接所述短句编码和所述初始向量，得到第一融合向量；
将所述第一融合向量和预置随机变量输入所述第三单向GRU神经网络进行上下文关联特征提取，得到上下文关联向量。
可选的，在本发明第一方面的第六种实现方式中，所述长文本生成器包括多个第四单向GRU神经网络，所述将所述各第一短句、所述随机变量和所述上下文关联向量输入预置长文本生成器进行文本生成，得到长文本包括：
拼接所述各第一短句、所述随机变量和所述上下文关联向量，得到第二融合向量；
将所述第二融合向量输入所述第四单向GRU神经网络进行解码，得到多个第二短句；
依次对所述各第二短句进行拼接，得到长文本。
本发明第二方面提供了一种长文本生成装置，所述长文本生成装置包括：
获取模块，用于获取待处理的多个关键词，并将所述各关键词输入预置向量编码器进行向量转换，得到词向量；
处理模块，用于拼接所述词向量和预置变量，得到初始向量，并将所述初始向量输入预置短句生成器进行短句生成，得到多个第一短句；
转换模块，用于分别对所述各第一短句进行平均池化运算，得到多个特征短句向量，并将所述各特征短句向量输入预置短句编码器进行编码转换，得到短句编码；
提取模块，用于拼接所述短句编码和所述初始向量，得到第一融合向量，并将所述第一融合向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量；
生成模块，用于将所述各第一短句、所述随机变量和所述上下文关联向量输入预置长文本生成器进行文本生成，得到长文本。
可选的，在本发明第二方面的第一种实现方式中，所述向量编码器包括多个双向GRU神经网络，所述获取模块具体用于：
获取待处理的多个关键词；
将所述关键词输入所述双向GRU神经网络进行向量转换，得到前向隐藏状态向量和后向隐藏状态向量；
对所述前向隐藏状态向量和后向隐藏状态向量进行拼接，得到词向量。
可选的，在本发明第二方面的第二种实现方式中，所述短句生成器包括多个第一单向GRU神经网络，所述处理模块具体用于：
将所述初始向量输入所述第一单向GRU神经网络进行短句生成，得到多个第一短句；
调用预置休止函数，对所述第一单向GRU神经网络中的全连接层进行计算，得到隐层神经元输出值；
判断所述隐层神经元输出值是否超过预置阈值；
若是，则停止生成短句，并将停止生成前得到的短句作为所述第一单向 GRU神经网络的输出，得到多个第一短句；
若否，则继续通过所述第一单向GRU神经网络生成短句，直至所述隐层神经元输出值超过预置阈值，则停止生成短句，并将停止生成前得到的短句作为所述第一单向GRU神经网络的输出，得到多个第一短句。
可选的，在本发明第二方面的第三种实现方式中，所述转换模块还包括运算单元，所述运算单元具体用于：
调用预置平均池化函数，分别对所述各第一短句计算平均值，得到各短句对应的多个特征值；根据所述各短句对应的多个特征值，生成多个特征短句向量。
可选的，在本发明第二方面的第四种实现方式中，所述短句编码器包括多个第二单向GRU神经网络，所述转换模块还包括编码单元，所述编码单元具体用于：
将所述各特征短句向量输入所述第二单向GRU神经网络；通过所述第二单向GRU神经网络，对所述各特征短句向量进行编码转换，得到短句编码。
可选的，在本发明第二方面的第五种实现方式中，所述语句关联器包括多个第三单向GRU神经网络，所述提取模块具体用于：
拼接所述短句编码和所述初始向量，得到第一融合向量；将所述第一融合向量和预置随机变量输入所述第三单向GRU神经网络进行上下文关联特征提取，得到上下文关联向量。
可选的，在本发明第二方面的第六种实现方式中，所述长文本生成器包括多个第四单向GRU神经网络，所述生成模块具体用于：
拼接所述各第一短句、所述随机变量和所述上下文关联向量，得到第二融合向量；
将所述第二融合向量输入所述第四单向GRU神经网络进行解码，得到多个第二短句；
依次对所述各第二短句进行拼接，得到长文本。
本发明第三方面提供了一种长文本生成设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述长文本生成设备执行上述的长文本生成方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的长文本生成方法。
本发明提供的技术方案中，为了生成语义连贯的长文本可以将长文本看作多个短句的拼接，再将短句看作多个单词的拼接，具体为：获取多个关键词并对所述关键词进行向量转换，得到词向量，关键词选取时添加了随机变量，这样生成的短句每次都有较大的不同，从而大大增加了句式的多样性。然后通过词向量生成对应的第一短句，再对第一短句进行编码，得到短句编码，将短句编码和第一短句和随机变量输入长文本生成器生成多个第二短句，并依次拼接多个第二短句得到长文本。本发明将多个关键词作为生成长文本的基础，提高了长文本的连贯性而且文本的丰富性较好。
附图说明
图1为本发明实施例中长文本生成方法的第一个实施例示意图；
图2为本发明实施例中长文本生成方法的第二个实施例示意图；
图3为本发明实施例中长文本生成装置的一个实施例示意图；
图4为本发明实施例中长文本生成设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种长文本生成方法、装置、设备及存储介质。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中长文本生成方法的第一个实施例包括：
101、获取待处理的多个关键词，并将所述各关键词输入预置向量编码器进行向量转换，得到词向量；
可以理解的是，本发明的执行主体可以为长文本生成装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，向量编码器包括多个双向GRU神经网络，双向GRU神经网络分为两个cell，一个是前向的cell一个是逆向的cell，前向的cell其实就是正常的GRU，将数据一个个喂给正向cell，逆向则是将数据倒过来再一个个喂给逆向cell，最后将对应的隐藏层放在一起就是双向GRU。双向GRU就是隐藏层部分的变量变为双倍，一半给正向计算，一半给逆向计算。
本实施例中，将关键词通过双向GRU神经网络进行向量转换，得到的词向量是将关键词表示为向量，利用GRU神经网络把每个词表示为一个长向量。
例如：苹果[0，0，0，1，0，0，0，0，0，……]。
可选的，在一实施例中，所述向量编码器包括多个双向GRU神经网络，所述获取待处理的多个关键词，并将所述各关键词输入预置向量编码器进行向量转换，得到词向量包括：
获取待处理的多个关键词；
将所述关键词输入所述双向GRU神经网络进行向量转换，得到前向隐藏状态向量和后向隐藏状态向量；
对所述前向隐藏状态向量和后向隐藏状态向量进行拼接，得到词向量。
本实施例中，双向GRU神经网络的前向输出一个前向隐藏状态向量，后向输出一个后向隐藏状态向量，对前向隐藏状态向量和后向隐藏状态向量进行拼接，得到词向量。
例如：前向隐藏状态向量为[0，1，2],后向隐藏状态向量为[1，0，0],拼接后得到的词向量为[0，1，2，1，0，0]。
102、拼接所述词向量和预置变量，得到初始向量，并将所述初始向量输入预置短句生成器进行短句生成，得到多个第一短句；
本实施例中，短句生成器包括多个单向GRU神经网络，单向GRU神经网络就只有一个cell，通过每步接收上一步GRU处理后的数据，从而更新cell 里的隐藏层，每一个GRU输出一个对应的短句。短句生成器决定了长文本中的每个句子需要说哪些关键词，每个GRU输出一次就代表这是一句话，输出包含了这句话用到了哪些关键词的信息。
例如：第一个GRU生成的短句为：我爱北京。第二个GRU生成的短句为：我爱祖国。其中关键词为：北京、祖国。
103、分别对所述各第一短句进行平均池化运算，得到多个特征短句向量，并将所述各特征短句向量输入预置短句编码器进行编码转换，得到短句编码；
本实施例中，对于输出的每一个GRU输出的短句中的所有词计算一个平均值，经过平均池化之后就得到一个维度等于类别数的特征向量，然后直接输入到softmax层，进行softmax运算，得到多个特征短句向量。平均池化运算可以更好的将关键词与短句对应起来，降低了参数量，平均池化层没有参数，可防止在该层过拟合，并且整合了全局空间信息。本实施例中，短句编码器包括多个GRU神经网络，对输入的多个特征短句向量进行编码，短句编码器最后输出一个整体的短句编码。
可选的，在一实施例中，所述分别对所述各第一短句进行平均池化运算，得到多个特征短句向量包括：
调用预置平均池化函数，分别对所述各第一短句计算平均值，得到各短句对应的多个特征值；
根据所述各短句对应的多个特征值，生成多个特征短句向量。
本实施例中，平均池化就是对每一个GRU输出的短句中的关键词求平均值，然后得到一个新的1*1的特征向量。
例如：第一短句为[我,爱,北,京]，经过全局平均池化之后，得到的特征向量为[2,3,1,1]。
可选的，在一实施例中，所述短句编码器包括多个第二单向GRU神经网络，所述将所述各特征短句向量输入预置短句编码器进行编码转换，得到短句编码包括：
将所述各特征短句向量输入所述第二单向GRU神经网络；
通过所述第二单向GRU神经网络，对所述各特征短句向量进行编码转换，得到短句编码。
本实施例中，第二单向GRU神经网络是对平均池化输出的特征向量进行编码，得到短句编码。
例如：特征向量为[2,3,1,1]和[5,4,1,1]时，得到的短句编码为[2,3,5,4,0,0,0,0], 短句编码中包括的关键信息为：北京，中国。
104、拼接所述短句编码和所述初始向量，得到第一融合向量，并将所述第一融合向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量；
本实施例中，文本关联器包括多个单向GRU神经网络，每一个GRU神经网络对应输出一个上下文关联向量，文本关联器进行特征提取是对关键词进行二次采样，使生成的短句丰富性较好，因为每次生成的短句差异较大，不会出现大量重复的片段。潜在变量，是新建的一个变量，用于控制生成一句话应该包含哪些单词。
可选的，在一实施例中，所述语句关联器包括多个第三单向GRU神经网络，所述拼接所述短句编码和所述初始向量，得到第一融合向量，并将所述第一融合向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量包括：
拼接所述短句编码和所述初始向量，得到第一融合向量；
将所述第一融合向量和预置随机变量输入所述第三单向GRU神经网络进行上下文关联特征提取，得到上下文关联向量。
本实施例中，拼接所述短句编码和所述初始向量，得到第一融合向量。
例如：短句编码为[0,2,1,0]和初始向量为[1,0,1,2]时，第一融合向量为 [0,2,1,0,1,0,1,2]。
105、将所述各第一短句、所述随机变量和所述上下文关联向量输入预置长文本生成器进行文本生成，得到长文本。
本实施例中，长文本生成器包括多个单向GRU神经网络，其中，每一个GRU神经网络输出一个短句，将每次生成的第一个短句、第二个短句……第 N个短句依次相连，得到长文本。
可选的，在一实施例中，所述长文本生成器包括多个第四单向GRU神经网络，所述将所述各第一短句、所述随机变量和所述上下文关联向量输入预置长文本生成器进行文本生成，得到长文本包括：
拼接所述各第一短句、所述随机变量和所述上下文关联向量，得到第二融合向量；
将所述第二融合向量输入所述第四单向GRU神经网络进行解码，得到多个第二短句；
依次对所述各第二短句进行拼接，得到长文本。
本实施例中，对所述各第一短句、所述随机变量和所述上下文关联向量进行拼接，得到第二融合向量。将第二融合向量输入第四单向GRU神经网络，第四单向GRU神经网络中的每个GRU神经网络输出一个短句，最后依次对短句进行拼接得到长文本。
本发明实施例中，为了生成语义连贯的长文本可以将长文本看作多个短句的拼接，再将短句看作多个单词的拼接，具体为：获取多个关键词并对所述关键词进行向量转换，得到词向量，关键词选取时添加了随机变量，这样生成的短句每次都有较大的不同，从而大大增加了句式的多样性。然后通过词向量生成对应的第一短句，再对第一短句进行编码，得到短句编码，将短句编码和第一短句和随机变量输入长文本生成器生成多个第二短句，并依次拼接多个第二短句得到长文本。本发明将多个关键词作为生成长文本的基础，提高了长文本的连贯性而且文本的丰富性较好。
请参阅图2，本发明实施例中长文本生成方法的第二个实施例包括：
201、获取待处理的多个关键词，并将所述各关键词输入预置向量编码器进行向量转换，得到词向量；
202、拼接所述词向量和预置变量，得到初始向量；
203、将所述初始向量输入所述第一单向GRU神经网络进行短句生成，得到多个第一短句；
204、调用预置休止函数，对所述第一单向GRU神经网络中的全连接层进行计算，得到隐层神经元输出值；
205、判断所述隐层神经元输出值是否超过预置阈值；
206、若是，则停止生成短句，并将停止生成前得到的短句作为所述第一单向GRU神经网络的输出，得到多个第一短句；
207、若否，则继续通过所述第一单向GRU神经网络生成短句，直至所述隐层神经元输出值超过预置阈值，则停止生成短句，并将停止生成前得到的短句作为所述第一单向GRU神经网络的输出，得到多个第一短句；
本实施例中，休止函数为：
Figure RE-GDA0002926474270000101
其中，
Figure RE-GDA0002926474270000102
为隐层神经元输出值，σ为sigmoid函数，用于将数据映射到(0,1)区间，wc和bc分别代表短句生成器的全连接层的权重和偏置，
Figure RE-GDA0002926474270000103
代表GRU神经网络。
本实施例中，
Figure RE-GDA0002926474270000104
用于控制生成的短句长短，不同的
Figure RE-GDA0002926474270000105
大小设置可以使生成的句子长短不同，若
Figure RE-GDA0002926474270000106
到达预置阈值后，则停止继续生成短句。短句生成器决定了长文本中的每个句子需要包含关键词，每个GRU神经网络输出一次就输出一句话，输出的短句中包含了这句话用到了哪些关键词的信息。多个GRU神经网络的多个输出代表了生成的长文本中会包含多句话。
208、分别对所述各第一短句进行平均池化运算，得到多个特征短句向量，并将所述各特征短句向量输入预置短句编码器进行编码转换，得到短句编码；
209、拼接所述短句编码和所述初始向量，得到第一融合向量，并将所述第一融合向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量；
210、将所述各第一短句、所述随机变量和所述上下文关联向量输入预置长文本生成器进行文本生成，得到长文本。
本发明实施例中，将长文本生成切分为数个短文本生成，再利用关键词来进行短文本生成，同时保证前后短文本语义连贯。短句生成器生成多个包含关键词的短句，既能保证每个短语语义通顺，同时也能提高整个长文本的连贯性，在关键词生成短句的过程中加入了暂停指令
Figure RE-GDA0002926474270000111
的设置，可以有效地控制文本长度，当
Figure RE-GDA0002926474270000112
的值超过预置阈值时，即停止生成短句，使生成文本的长度在可控范围内。
上面对本发明实施例中长文本生成方法进行了描述，下面对本发明实施例中长文本生成装置进行描述，请参阅图3，本发明实施例中长文本生成装置一个实施例包括：
获取模块301，用于获取待处理的多个关键词，并将所述各关键词输入预置向量编码器进行向量转换，得到词向量；
处理模块302，用于拼接所述词向量和预置变量，得到初始向量，并将所述初始向量输入预置短句生成器进行短句生成，得到多个第一短句；
转换模块303，用于分别对所述各第一短句进行平均池化运算，得到多个特征短句向量，并将所述各特征短句向量输入预置短句编码器进行编码转换，得到短句编码；
提取模块304，用于拼接所述短句编码和所述初始向量，得到第一融合向量，并将所述第一融合向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量；
生成模块305，用于将所述各第一短句、所述随机变量和所述上下文关联向量输入预置长文本生成器进行文本生成，得到长文本。
可选的，在本发明第二方面的第一种实现方式中，所述向量编码器包括多个双向GRU神经网络，所述获取模块301具体用于：
获取待处理的多个关键词；
将所述关键词输入所述双向GRU神经网络进行向量转换，得到前向隐藏状态向量和后向隐藏状态向量；
对所述前向隐藏状态向量和后向隐藏状态向量进行拼接，得到词向量。
可选的，在本发明第二方面的第二种实现方式中，所述短句生成器包括多个第一单向GRU神经网络，所述处理模块302具体用于：
将所述初始向量输入所述第一单向GRU神经网络进行短句生成，得到多个第一短句；
调用预置休止函数，对所述第一单向GRU神经网络中的全连接层进行计算，得到隐层神经元输出值；
判断所述隐层神经元输出值是否超过预置阈值；
若是，则停止生成短句，并将停止生成前得到的短句作为所述第一单向 GRU神经网络的输出，得到多个第一短句；
若否，则继续通过所述第一单向GRU神经网络生成短句，直至所述隐层神经元输出值超过预置阈值，则停止生成短句，并将停止生成前得到的短句作为所述第一单向GRU神经网络的输出，得到多个第一短句。
可选的，在本发明第二方面的第三种实现方式中，所述转换模块303还包括运算单元3031，所述运算单元3031具体用于：
调用预置平均池化函数，分别对所述各第一短句计算平均值，得到各短句对应的多个特征值；根据所述各短句对应的多个特征值，生成多个特征短句向量。
可选的，在本发明第二方面的第四种实现方式中，所述短句编码器包括多个第二单向GRU神经网络，所述转换模块303还包括编码单元3032，所述编码单元3032具体用于：
将所述各特征短句向量输入所述第二单向GRU神经网络；通过所述第二单向GRU神经网络，对所述各特征短句向量进行编码转换，得到短句编码。
可选的，在本发明第二方面的第五种实现方式中，所述语句关联器包括多个第三单向GRU神经网络，所述提取模块304具体用于：
拼接所述短句编码和所述初始向量，得到第一融合向量；将所述第一融合向量和预置随机变量输入所述第三单向GRU神经网络进行上下文关联特征提取，得到上下文关联向量。
可选的，在本发明第二方面的第六种实现方式中，所述长文本生成器包括多个第四单向GRU神经网络，所述生成模块305具体用于：
拼接所述各第一短句、所述随机变量和所述上下文关联向量，得到第二融合向量；
将所述第二融合向量输入所述第四单向GRU神经网络进行解码，得到多个第二短句；
依次对所述各第二短句进行拼接，得到长文本。
本发明实施例中，为了生成语义连贯的长文本可以将长文本看作多个短句的拼接，再将短句看作多个单词的拼接，具体为：获取多个关键词并对所述关键词进行向量转换，得到词向量，关键词选取时添加了随机变量，这样生成的短句每次都有较大的不同，从而大大增加了句式的多样性。然后通过词向量生成对应的第一短句，再对第一短句进行编码，得到短句编码，将短句编码和第一短句和随机变量输入长文本生成器生成多个第二短句，并依次拼接多个第二短句得到长文本。本发明将多个关键词作为生成长文本的基础，提高了长文本的连贯性而且文本的丰富性较好。
上面图3从模块化功能实体的角度对本发明实施例中的长文本生成装置进行详细描述，下面从硬件处理的角度对本发明实施例中长文本生成设备进行详细描述。
图4是本发明实施例提供的一种长文本生成设备的结构示意图，该长文本生成设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)410(例如，一个或一个以上处理器)和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对长文本生成设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430 通信，在长文本生成设备400上执行存储介质430中的一系列指令操作。
长文本生成设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作系统431，例如Windows Serve，Mac OS X，Unix，Linux， FreeBSD等等。本领域技术人员可以理解，图4示出的长文本生成设备结构并不构成对长文本生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种长文本生成设备，所述长文本生成设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述长文本生成方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述长文本生成方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种长文本生成方法，其特征在于，所述长文本生成方法包括：
获取待处理的多个关键词，并将所述各关键词输入预置向量编码器进行向量转换，得到词向量；
拼接所述词向量和预置变量，得到初始向量，并将所述初始向量输入预置短句生成器进行短句生成，得到多个第一短句；
分别对所述各第一短句进行平均池化运算，得到多个特征短句向量，并将所述各特征短句向量输入预置短句编码器进行编码转换，得到短句编码；
拼接所述短句编码和所述初始向量，得到第一融合向量，并将所述第一融合向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量；
将所述各第一短句、所述随机变量和所述上下文关联向量输入预置长文本生成器进行文本生成，得到长文本。
2.根据权利要求1所述的长文本生成方法，其特征在于，所述向量编码器包括多个双向GRU神经网络，所述获取待处理的多个关键词，并将所述各关键词输入预置向量编码器进行向量转换，得到词向量包括：
获取待处理的多个关键词；
将所述关键词输入所述双向GRU神经网络进行向量转换，得到前向隐藏状态向量和后向隐藏状态向量；
对所述前向隐藏状态向量和后向隐藏状态向量进行拼接，得到词向量。
3.根据权利要求1或2所述的长文本生成方法，其特征在于，所述短句生成器包括多个第一单向GRU神经网络，所述将所述初始向量输入预置短句生成器进行短句生成，得到多个第一短句包括：
将所述初始向量输入所述第一单向GRU神经网络进行短句生成，得到多个第一短句；
调用预置休止函数，对所述第一单向GRU神经网络中的全连接层进行计算，得到隐层神经元输出值；
判断所述隐层神经元输出值是否超过预置阈值；
若是，则停止生成短句，并将停止生成前得到的短句作为所述第一单向GRU神经网络的输出，得到多个第一短句；
若否，则继续通过所述第一单向GRU神经网络生成短句，直至所述隐层神经元输出值超过预置阈值，则停止生成短句，并将停止生成前得到的短句作为所述第一单向GRU神经网络的输出，得到多个第一短句。
4.根据权利要求1所述的长文本生成方法，其特征在于，所述分别对所述各第一短句进行平均池化运算，得到多个特征短句向量包括：
调用预置平均池化函数，分别对所述各第一短句计算平均值，得到各短句对应的多个特征值；
根据所述各短句对应的多个特征值，生成多个特征短句向量。
5.根据权利要求1或4所述的长文本生成方法，其特征在于，所述短句编码器包括多个第二单向GRU神经网络，所述将所述各特征短句向量输入预置短句编码器进行编码转换，得到短句编码包括：
将所述各特征短句向量输入所述第二单向GRU神经网络；
通过所述第二单向GRU神经网络，对所述各特征短句向量进行编码转换，得到短句编码。
6.根据权利要求4所述的长文本生成方法，其特征在于，所述语句关联器包括多个第三单向GRU神经网络，所述拼接所述短句编码和所述初始向量，得到第一融合向量，并将所述第一融合向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量包括：
拼接所述短句编码和所述初始向量，得到第一融合向量；
将所述第一融合向量和预置随机变量输入所述第三单向GRU神经网络进行上下文关联特征提取，得到上下文关联向量。
7.根据权利要求1或6所述的长文本生成方法，其特征在于，所述长文本生成器包括多个第四单向GRU神经网络，所述将所述各第一短句、所述随机变量和所述上下文关联向量输入预置长文本生成器进行文本生成，得到长文本包括：
拼接所述各第一短句、所述随机变量和所述上下文关联向量，得到第二融合向量；
将所述第二融合向量输入所述第四单向GRU神经网络进行解码，得到多个第二短句；
依次对所述各第二短句进行拼接，得到长文本。
8.一种长文本生成装置，其特征在于，所述长文本生成装置包括：
获取模块，用于获取待处理的多个关键词，并将所述各关键词输入预置向量编码器进行向量转换，得到词向量；
处理模块，用于拼接所述词向量和预置变量，得到初始向量，并将所述初始向量输入预置短句生成器进行短句生成，得到多个第一短句；
转换模块，用于分别对所述各第一短句进行平均池化运算，得到多个特征短句向量，并将所述各特征短句向量输入预置短句编码器进行编码转换，得到短句编码；
提取模块，用于拼接所述短句编码和所述初始向量，得到第一融合向量，并将所述第一融合向量和预置随机变量输入预置文本关联器进行特征提取，得到上下文关联向量；
生成模块，用于将所述各第一短句、所述随机变量和所述上下文关联向量输入预置长文本生成器进行文本生成，得到长文本。
9.一种长文本生成设备，其特征在于，所述长文本生成设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述长文本生成设备执行如权利要求1-7中任一项所述的长文本生成方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的长文本生成方法。
CN202011432584.1A 2020-12-10 2020-12-10 长文本生成方法、装置、设备及存储介质 Pending CN112541348A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011432584.1A CN112541348A (zh) 2020-12-10 2020-12-10 长文本生成方法、装置、设备及存储介质
PCT/CN2021/083496 WO2022121165A1 (zh) 2020-12-10 2021-03-29 长文本生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011432584.1A CN112541348A (zh) 2020-12-10 2020-12-10 长文本生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112541348A true CN112541348A (zh) 2021-03-23

Family

ID=75019850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011432584.1A Pending CN112541348A (zh) 2020-12-10 2020-12-10 长文本生成方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112541348A (zh)
WO (1) WO2022121165A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022121165A1 (zh) * 2020-12-10 2022-06-16 平安科技（深圳）有限公司 长文本生成方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280112B (zh) * 2017-06-22 2021-05-28 腾讯科技（深圳）有限公司 摘要生成方法、装置及计算机设备
CN109558583A (zh) * 2017-09-27 2019-04-02 株式会社理光 一种自动生成文摘的方法、装置及设备
CN110110331B (zh) * 2019-04-30 2021-02-26 清华大学 文本生成方法、装置、介质和计算设备
CN111241294B (zh) * 2019-12-31 2023-05-26 中国地质大学（武汉） 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN111476038B (zh) * 2020-05-06 2023-04-25 中国人民解放军国防科技大学 长文本生成方法、装置、计算机设备和存储介质
CN112541348A (zh) * 2020-12-10 2021-03-23 平安科技（深圳）有限公司 长文本生成方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022121165A1 (zh) * 2020-12-10 2022-06-16 平安科技（深圳）有限公司 长文本生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022121165A1 (zh) 2022-06-16

Similar Documents

Publication Publication Date Title
CN110990555B (zh) 端到端检索式对话方法与系统及计算机设备
CN112560456A (zh) 一种基于改进神经网络的生成式摘要生成方法和系统
CN110942774A (zh) 一种人机交互系统、其对话方法、介质和设备
CN113761868A (zh) 文本处理方法、装置、电子设备及可读存储介质
CN112541348A (zh) 长文本生成方法、装置、设备及存储介质
CN113779190B (zh) 事件因果关系识别方法、装置、电子设备与存储介质
CN113935312A (zh) 长文本匹配方法及装置、电子设备及计算机可读存储介质
CN113343692A (zh) 搜索意图的识别方法、模型训练方法、装置、介质及设备
CN112988967A (zh) 基于两阶段解码的对话生成方法及装置、介质和计算设备
CN111126047B (zh) 一种同义文本生成的方法及装置
CN114611529A (zh) 意图识别方法和装置、电子设备及存储介质
CN112818688A (zh) 文本处理方法、装置、设备及存储介质
CN109065016B (zh) 语音合成方法、装置、电子设备及非暂态计算机存储介质
CN113486160A (zh) 基于跨语言知识的对话方法及系统
CN112732869B (zh) 车载语音信息管理方法、装置、计算机设备和存储介质
CN114666077B (zh) Dga域名检测方法及系统、电子设备及存储介质
CN117787293B (zh) 一种基于大语言模型的个性化对话生成方法及系统
CN117493553A (zh) 文本分类方法、装置、电子设备及存储介质
CN115204118B (zh) 文章生成方法、装置、计算机设备及存储介质
CN116822632B (zh) 一种文本数据的推理方法、装置、存储介质和电子设备
CN114118065B (zh) 一种电力领域中文文本纠错方法、装置、存储介质及计算设备
CN114154481A (zh) 一种语句复述方法和语句复述装置
CN114372480A (zh) 机器翻译模型的训练方法和机器翻译方法
CN115357705A (zh) 问题文本中实体属性的生成方法、装置、设备及存储介质
WO2024065028A1 (en) Application of an ai-based model to a preprocessed data set

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination