CN111783455B - 文本生成模型的训练方法及装置、文本生成方法及装置 - Google Patents
文本生成模型的训练方法及装置、文本生成方法及装置 Download PDFInfo
- Publication number
- CN111783455B CN111783455B CN202010670301.0A CN202010670301A CN111783455B CN 111783455 B CN111783455 B CN 111783455B CN 202010670301 A CN202010670301 A CN 202010670301A CN 111783455 B CN111783455 B CN 111783455B
- Authority
- CN
- China
- Prior art keywords
- text
- sample
- target
- control information
- generation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 108
- 230000008451 emotion Effects 0.000 claims description 98
- 238000012986 modification Methods 0.000 claims description 62
- 230000004048 modification Effects 0.000 claims description 62
- 230000011218 segmentation Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 21
- 239000012634 fragment Substances 0.000 claims description 17
- 230000002441 reversible effect Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 206010044565 Tremor Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009429 distress Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种文本生成模型的训练方法及装置、文本生成方法及装置，所述训练方包括：获取第一训练数据，第一训练数据中包括多维度的样本控制信息和第一样本文本，第一样本文本中包括多个单句文本；将样本控制信息作为文本生成模型的输入，获取文本生成模型基于第一参数和样本控制信息的输出结果，根据输出结果和第一样本文本，调整第一参数，直至文本生成模型的输出结果和第一样本文本相一致，得到包括训练好的第二参数的文本生成模型。本申请中，训练好的文本生成模型能够基于输入的多维度的目标控制信息输出包括完整的目标文本(也即包括多个单句文本的目标文本)，保证了长文本之间的相关性和流畅性，提高了生成的目标文本的文本质量。
Description
技术领域
本申请涉及深度学习技术领域，具体而言，涉及一种文本生成模型的训练方法及装置、文本生成方法及装置。
背景技术
随着深度学习技术和计算机计算力的迅猛发展，在自然语言处理的各个研究方向都取得了突破性的进展，如机器翻译、文本生成(比如生成歌词)。
在文本生成领域，基于现有方式训练的歌词生成模型，该歌词生成模型的输入是歌词类型，输出是单句歌词，当生成单句歌词后，基于已生成的单句歌词再次生成下一句单句歌词，以此往复，最终得到整首歌词。
但是，现有技术的歌词生成模型是通过输出单句歌词迭代生成整首歌词，该种输出单句歌词的方式，使得生成的歌词质量低，并且，前后间隔较长的单句歌词之间缺乏相关性和一致性，进一步导致了生成的歌词质量低。
发明内容
有鉴于此，本申请的目的在于提供一种文本生成模型的训练方法及装置、文本生成方法及装置，基于多维度的样本控制信息和整体样本文本作为训练数据训练文本生成模型，这样，训练好的文本生成模型能够基于输入的多维度的目标控制信息输出完整的目标文本，保证了长文本之间的相关性和流畅性，提高了生成的目标文本的文本质量。
第一方面，本申请实施例提供了一种文本生成模型的训练方法，所述训练方法包括：
获取第一训练数据，所述第一训练数据中包括多维度的样本控制信息和第一样本文本，所述第一样本文本中包括多个单句文本；
将所述样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和所述样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，调整所述文本生成模型的第一参数，直至所述文本生成模型的输出结果和所述第一样本文本相一致，得到包括训练好的第二参数的文本生成模型；其中，所述文本生成模型用于基于输入的多维度的目标控制信息输出匹配所述目标控制信息的目标文本，所述目标文本包括多个单句文本。
在一种可能的实施方式中，通过如下方法确定所述文本生成模型的第一参数：
获取第二训练数据，所述第二训练数据中包括第二样本文本；
将所述第二样本文本中的每一个文字作为语言模型的输入，获取所述语言模型基于第三参数、该文字和该文字之前的文字的输出结果，根据所述输出结果和该文字的下一个文字，调整所述语言模型的第三参数，直至所述语言模型的输出结果和该文字对应的下一个文字相一致，得到包括训练好的第四参数的语言模型；
基于所述语言模型的第四参数，确定所述文本生成模型的第一参数。
在一种可能的实施方式中，所述样本控制信息包括所述第一样本文本的以下信息中至少两种的拼接信息：
文本类型；文本情感；文本关键词。
在一种可能的实施方式中，通过如下方式确定所述第一样本文本的文本情感：
将所述第一样本文本输入到预先训练好的情绪分类器中，获取所述情绪分类器输出的所述第一样本文本的文本情感。
在一种可能的实施方式中，通过如下方式训练所述情绪分类器：
获取第三训练数据，所述第三训练数据中包括第三样本文本和所述第三样本文本对应的目标文本情感；
将所述第三样本文本作为所述情绪分类器的输入，获取所述情绪分类器基于第五参数和所述第三样本文本的输出结果，根据所述输出结果和所述第三样本文本对应的目标文本情感，调整所述情绪分类器的第五参数，直至所述情绪分类器的输出结果和所述第三样本文本对应的目标文本情感相一致，得到包括训练好的第六参数的情绪分类器。
在一种可能的实施方式中，通过如下方式确定所述第一样本文本的文本关键词：
对所述第一样本文本进行分词处理，得到所述第一样本文本对应的多个分词；
基于所述多个分词分别对应的词性，从所述多个分词中选取所述第一样本文本的文本关键词。
在一种可能的实施方式中，每一个所述第一样本文本对应多个关键词集合；每一个所述关键词集合中包括多个文本关键词；不同的关键词集合中包括的文本关键词不同。
在一种可能的实施方式中，其中，所述文本生成模型基于第一参数和所述样本控制信息的输出结果呈倒序排列。
在一种可能的实施方式中，所述文本生成模型包括编码器和解码器；所述将所述样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和所述样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，调整所述文本生成模型的第一参数，包括：
将所述样本控制信息作为所述编码器的输入，获取所述编码器基于第一参数和所述样本控制信息的编码结果，将所述编码结果作为所述解码器的输入，获取所述解码器基于第一参数和所述编码结果的解码结果，根据所述解码结果和所述第一样本文本，调整所述文本生成模型的第一参数。
第二方面，本申请实施例提供了一种文本生成方法，所述方法包括：
获取多维度的目标控制信息；
将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本；其中，所述目标文本中包括多个单句文本。
在一种可能的实施方式中，所述目标控制信息包括以下信息中至少两种的拼接信息：
目标文本类型；目标文本情感；目标场景关键词；目标文本关键词；目标文本行数、每行文本字数；每行文本韵脚。
在一种可能的实施方式中，通过如下方式确定所述目标场景关键词：
获取用户输入的目标文本场景；
根据预设的文本场景和场景关键词的映射关系，确定所述目标文本场景对应的目标场景关键词。
在一种可能的实施方式中，通过如下方式确定所述文本场景和场景关键词的映射关系：
获取每个文本场景对应的场景分词；
获取第一样本文本对应的多个分词，并从所述多个分词中选取与所述场景分词的相关性满足第一预设条件的目标分词；
将所述场景分词和所述目标分词确定为该文本场景对应的场景关键词。
在一种可能的实施方式中，所述从所述多个分词中选取与所述场景分词的相关性满足第一预设条件的目标分词，包括：
基于每一个分词分别与所述场景分词的相关性，从所述多个分词中选取对应的相关性满足第一阈值的候选分词；
基于每一个候选分词分别与所述场景分词的向量距离，从所述候选分词中选取对应的向量距离满足第二阈值的目标分词。
在一种可能的实施方式中，所述将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本，包括：
将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的多个候选文本；
从所述多个候选文本中选取符合第二预设条件的目标文本。
在一种可能的实施方式中，所述候选文本呈倒序排列；所述从所述多个候选文本中选取符合第二预设条件的目标文本，包括：
对每一个候选文本进行重排序处理，得到呈正序排列的多个目标候选文本；
根据每一个目标候选文本与所述目标控制信息的匹配分值，从所述多个目标候选文本中选取对应的匹配分值满足第三阈值的目标文本。
在一种可能的实施方式中，所述候选文本中每两个单句文本之间通过分隔符连接；
其中，所述文本生成模型在解码时，根据所述目标文本行数，确定所述分隔符的个数；根据所述每行文本字数，确定所述分隔符在所述候选文本中的位置；根据所述每行文本韵脚，确定所述分隔符之后特定位置的文字的韵脚标记，并在匹配该特定位置的解码时间解码匹配所述韵脚标记的特定文字。
在一种可能的实施方式中，在将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本之后，所述方法还包括：
获取所述目标文本的待修改片段；
将所述待修改片段输入到预先训练好的修改模型中，获取所述修改模型输出的所述待修改片段对应的修改文本。
在一种可能的实施方式中，通过如下方式训练所述修改模型：
获取训练数据，所述训练数据中包括样本文本和样本修改文本，所述样本文本中包括多个单句文本和样本待修改片段；
将所述样本文本作为修改模型的输入，获取所述修改模型基于第一参数和所述样本文本的输出结果，根据所述输出结果和所述样本修改文本，调整所述修改模型的第一参数，直至所述修改模型的输出结果和所述样本修改文本相一致，得到包括训练好的第二参数的修改模型。
在一种可能的实施方式中，所述待修改片段包括以下之一：
单句；短语；分词。
第三方面，本申请实施例提供了一种文本生成模型的训练装置，所述训练装置包括：
获取模块，用于获取第一训练数据，所述第一训练数据中包括多维度的样本控制信息和第一样本文本，所述第一样本文本中包括多个单句文本；
训练模块，用于将所述样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和所述样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，调整所述文本生成模型的第一参数，直至所述文本生成模型的输出结果和所述第一样本文本相一致，得到包括训练好的第二参数的文本生成模型；其中，所述文本生成模型用于基于输入的多维度的目标控制信息输出匹配所述目标控制信息的目标文本，所述目标文本包括多个单句文本。
第四方面，本申请实施例提供了一种文本生成装置，所述装置包括：
获取模块，用于获取多维度的目标控制信息；
处理模块，用于将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本；其中，所述目标文本中包括多个单句文本。
第五方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面任一项所述的文本生成模型的训练方法的步骤。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的文本生成模型的训练方法的步骤。
第七方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面任一项所述的文本生成方法的步骤。
第八方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的文本生成方法的步骤。
本申请实施例提供的一种文本生成模型的训练方法及装置、文本生成方法及装置，获取多维度的样本控制信息和整体样本文本作为训练数据，并基于该训练数据训练文本生成模型，这样，在文本生成模型的训练过程中使得模型学习到了长文本之间的相关性和流畅性。相应的，在训练好文本生成模型之后，该文本生成模型能够基于输入的多维度的目标控制信息输出完整的目标文本，保证了长文本之间的相关性和流畅性，提高了生成的目标文本的文本质量。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1a示出了本申请实施例提供的一种文本生成模型的训练方法的流程图；
图1b示出了训练阶段训练文本生成模型的流程示意图；
图2示出了本申请实施例提供的另一种文本生成模型的训练方法的流程图；
图3示出了本申请实施例提供的另一种文本生成模型的训练方法的流程图；
图4示出了本申请实施例提供的另一种文本生成模型的训练方法的流程图；
图5a示出了本申请实施例提供的一种文本生成方法的流程图；
图5b示出了应用阶段文本生成模型生成歌词的流程示意图；
图6示出了本申请实施例提供的另一种文本生成方法的流程图；
图7示出了本申请实施例提供的另一种文本生成方法的流程图；
图8a示出了本申请实施例提供的另一种文本生成方法的流程图；
图8b示出了训练阶段训练修改模型的流程示意图；
图8c示出了应用阶段文本生成方法的整体流程示意图；
图9示出了本申请实施例提供的一种文本生成模型的训练装置的结构示意图；
图10示出了本申请实施例提供的一种文本生成装置的结构示意图；
图11示出了本申请实施例提供的一种电子设备的结构示意图；
图12示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
考虑到现有技术中的歌词生成模型是通过输出单句歌词迭代生成整首歌词的方式，使得生成的歌词质量低，并且，前后间隔较长的单句歌词之间缺乏相关性和一致性，进一步导致了生成的歌词质量低。
基于此，本申请实施例提供了一种文本生成模型的训练方法及装置、文本生成方法及装置，基于多维度的样本控制信息和整体样本文本作为训练数据训练文本生成模型，这样，训练好的文本生成模型能够基于输入的多维度的目标控制信息输出完整的目标文本，保证了长文本之间的相关性和流畅性，提高了生成的目标文本的文本质量。本申请实施例可以应用于进行文本生成，比如，生成歌词、新闻、诗词、诗歌等。
下面对本申请实施例提供的一种文本生成模型的训练方法及装置、文本生成方法及装置进行详细介绍。
如图1a和图1b所示，为本申请第一实施例提供的一种文本生成模型的训练方法，所述训练方法包括：
S111、获取第一训练数据，所述第一训练数据中包括多维度的样本控制信息和第一样本文本，所述第一样本文本中包括多个单句文本。
S112、将所述样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和所述样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，调整所述文本生成模型的第一参数，直至所述文本生成模型的输出结果和所述第一样本文本相一致，得到包括训练好的第二参数的文本生成模型；其中，所述文本生成模型用于基于输入的多维度的目标控制信息输出匹配所述目标控制信息的目标文本，所述目标文本包括多个单句文本。
本申请实施例提供的一种文本生成模型的训练方法，通过获取多维度的样本控制信息和整体样本文本作为训练数据，并基于该训练数据训练文本生成模型，这样，在文本生成模型的训练过程中使得模型学习到了长文本之间的相关性和流畅性。相应的，在训练好文本生成模型之后，该文本生成模型能够基于输入的多维度的目标控制信息输出完整的目标文本，保证了长文本之间的相关性和流畅性，提高了生成的目标文本的文本质量。
下面对本申请实施例示例性的各步骤进行说明：
S111、获取第一训练数据，所述第一训练数据中包括多维度的样本控制信息和第一样本文本，所述第一样本文本中包括多个单句文本。
本申请实施例中，第一训练数据为多个，每一个第一训练数据中均包括多维度的样本控制信息和第一样本文本。其中，该样本控制信息包括第一样本文本的以下信息中至少两种的拼接信息：文本类型；文本情感；文本关键词。以训练歌词生成模型为例，第一样本文本为完整的歌词文本，相应的，上述样本控制信息包括：歌词类型、歌词情感(也即，歌词情绪)、歌词的关键词。
示例性的，通过如下方式构造第一训练数据：获取第一样本文本，并确定该第一样本文本的多维度的样本控制信息。可选的，该多维度的样本控制信息包括文本类型、文本情感、文本关键词。
第一样本文本对应有文本类型标签，因此，还需要构造第一样本文本对应的文本情感标签和文本关键词标签，在得到该文本情感标签和该文本关键词标签之后，基于第一样本文本对应的文本类型标签、文本情感标签和文本关键词标签，构造第一样本文本多维度的样本控制信息，并基于该样本控制信息和第一样本文本构造第一训练数据。结合图1b的S201，以训练歌词生成模型为例，构造第一训练数据，获取歌词文本(该歌词文本为整首歌的歌词文本)以及该歌词文本的歌词类型，相应的，还需要构造歌词文本的歌词情感(也即歌词情绪)和歌词的关键词。
本申请实施例中，在获得文本类型、文本情感和文本关键词之后，基于分隔符“<s>”对上述三者进行拼接，作为多维度的样本控制信息，并将该样本控制信息作为文本生成模的输入数据。可选的，文本类型包括流行、嘻哈、摇滚等；文本情感包括积极、消极、中性等；文本关键词包括文本场景对应的场景关键词，文本场景包括爱情、思乡、校园等；爱情场景对应的关键词比如为颤抖、分手、难受等。
以训练歌词生成模型为例，歌词文本对应的歌词类型为“流行”、歌词情感为“消极”、歌词的关键词为“朋友、问候、街头”。示例性的，如图1b中的S202所示，文本生成模型的输入数据(也即样本控制信息)如下：
<关键词><s><情绪><s><类型>；
e.g.“朋友问候街头<s>消极<s>流行”。
S112、将所述样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和所述样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，调整所述文本生成模型的第一参数，直至所述文本生成模型的输出结果和所述第一样本文本相一致，得到包括训练好的第二参数的文本生成模型；其中，所述文本生成模型用于基于输入的多维度的目标控制信息输出匹配所述目标控制信息的目标文本，所述目标文本包括多个单句文本。
本申请实施例中，针对任一个第一训练数据，将该训练数据中的样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和该样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，确定文本生成模型的第一损失信息，并基于第一损失信息调整所述文本生成模型的第一参数；重复上述过程(这里，在重复上述过程时，第一训练数据可以重复使用。可选的，重复的过程中保证所有的第一训练数据均被使用)，直至所述文本生成模型的输出结果和所述第一样本文本相一致，得到包括训练好的第二参数的文本生成模型。
本申请实施例中，结合图1b中的S203，文本生成模型采用seq2seq序列到序列模型(s sequence to sequence，seq2seq)的技术框架，该seq2seq包括编码器(即Encoder)和解码器(即Decoder)，其中，编码器将输入数据编码为中间表示向量(该中间表示向量即编码器的输出)，解码器用于结合编码器的输出和已经解码出的部分序列，解码出下一个输出单句文本；通过上述方式训练seq2seq后，seq2seq能够基于输入的多维度的目标控制信息输出完整的目标文本(比如，整首歌词)。可选的，编码器和解码器的实现形式可以是循环神经网络(Recurrent Neural Network，RNN)，卷积神经网络(Convolutional NeuralNetworks，CNN)，Transformer等神经网络结构。其中，图1b中的S203模型采用Transformer的神经网络结构。另外，seq2seq引入注意力(即attention)机制加强编码器和解码器之间的信息交互，以获得更好的解码效果。
示例性的，以文本生成模型包括seq2seq(即编码器和解码器)为例，文本生成模型的训练过程如下：
将所述样本控制信息作为所述编码器的输入，获取所述编码器基于第一参数和所述样本控制信息的编码结果，将所述编码结果作为所述解码器的输入，获取所述解码器基于第一参数和所述编码结果的解码结果，根据所述解码结果和所述第一样本文本，调整所述文本生成模型的第一参数。
结合图1b中的S204，文本生成模型的输出端，即文本生成模型需要拟合的目标，是第一样本文本(比如原始的歌词文本)，本申请实施例中构建的文本生成模型的输出是并不是按照第一样本文本(比如原始的歌词文本)进行构造，而是使文本生成模型的输出结果(即文本生成模型基于第一参数和样本控制信息的输出结果)呈倒序排列。
这样的目的是在应用阶段，保证文本生成模型在解码时的概率控制，控制文本生成模型输出的整体文本(比如，整首歌词)每个单句文本的韵脚，以实现用户同时指定文本生成模型输出的整体文本(比如，整首歌词)每个单句文本的韵脚、字数(该字数可以为整首歌词的总字数，也可以为每行歌词的字数)及总行数。
例如，以歌词为例，原始的歌词为“十年之前<s>我们是朋友<s>还可以问候<s>走过渐渐熟悉的街头<s>……”，经过句内倒序后变为“前之年十<s>友朋是们我<s>候问以可还<s>头街的悉熟渐渐过走<s>……”，并将倒序的歌词作为生成模型的输出。经过实验证明，模型输出结果的倒序排列并不影响模型学习的性能。
另外，在训练好文本生成模型后，用户将多维度的目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本，该目标文本包括多个单句文本。比如，用户将歌词类型(流行)、歌词情感(积极)和关键词(校园)输入到先训练好的文本生成模型，得到匹配的完整歌词。
现有技术中，是随机初始化文本生成模型的第一参数，让文本生成模型从头开始训练学习，以文本生成模型生成歌词为例，该文本生成模型只能学习到歌词的语料(即歌词的训练数据)，这样，文本生成模型学习到的相关性有限，且无法很好的学习到文本之间的相关性。基于此，本申请实施例中，为了提升文本生成模型的语言流畅性和前后单句文本之间的相关性，是用预训练的语言模型参数初始化文本生成模型(即编码器encoder和解码器decoder)的第一参数，使初始化的文本生成模型就获知文本之间的相关性。基于此，如图2所示，本申请实施例提供的文本生成模型的训练方法中，通过如下方法确定所述文本生成模型的第一参数：
S211、获取第二训练数据，所述第二训练数据中包括第二样本文本。
本申请实施例中，第二样本文本可以与第一样本文本相同，也可以与第一样本文本不同。比如，第一样本文本为歌词文本，第二样本文本可以为歌词文本，也可以为其他文本，比如小说文本，新闻文本等。
S212、将所述第二样本文本中的每一个文字作为语言模型的输入，获取所述语言模型基于第三参数、该文字和该文字之前的文字的输出结果，根据所述输出结果和该文字的下一个文字，调整所述语言模型的第三参数，直至所述语言模型的输出结果和该文字对应的下一个文字相一致，得到包括训练好的第四参数的语言模型。
本申请实施例中，针对任一个第二训练数据，将该第二训练数据中的第一个文字作为语言模型(Language Model，LM)的输入，获取该语言模型基于第一参数和该第一个文字的输出结果，根据所述输出结果和该第一个文字的下一个文字，确定文本生成模型的第二损失信息，并基于第二损失信息调整所述语言模型的第三参数；然后，将该第二训练数据中的第二个文字作为语言模型的输入，获取该语言模型基于第一参数、该第二训练数据中的第一个文字和该第二个文字的输出结果，根据所述输出结果和该第二个文字的下一个文字，确定语言模型的第二损失信息，并基于第二损失信息调整语言模型的第四参数；迭代上述过程，直至所述语言模型的输出结果和输入的文字对应的下一个文字相一致，得到包括训练好的第四参数的语言模型。
S213、基于所述语言模型的第四参数，确定所述文本生成模型的第一参数。
这里，基于语言模型的第四参数初始化文本生成模型的第一参数，也即，将语言模型的第四参数确定为文本生成模型的第一参数。这样，初始化的文本生成模型即获知长文本之间的相关性和流畅性，对该文本生成模型进一步训练，能够使该文本生成模型更好的学习到长文本歌词之间的相关性和语言流畅性，这样，能够提高训练好的文本生成模型生成的歌词的质量。
其中，预训练的语言模型是使用大量的无监督文本语料进行训练的生成式预训练(Generative Pre-Training，GPT模型)，该模型是自回归的语言模型，即利用已经出现的词预测未来的词，并对预测词的概率计算多层感知机(MLP，Multilayer Perceptron)损失优化模型参数。因为GPT模型的参数较多，且预训练文本很大，所以其更能抓住长文本歌词之间的相关性，并且提升生成的语言流畅性。
在构造第一样本文本多维度的样本控制信息，需要构造第一样本文本对应的文本情感标签和文本关键词标签，结合图1b的S201，下面分别进行说明：
第一，通过如下方式确定所述第一样本文本的文本情感：
将所述第一样本文本输入到预先训练好的情绪分类器中，获取所述情绪分类器输出的所述第一样本文本的文本情感，得到该第一样本文本对应的文本情感标签。
本申请实施例中，文本情感标签包括积极、消极、中性等。
比如，情绪分类器输出的结果如下：第一样本文本1-积极；第一样本文本2-消极；第一样本文本3-中性；第一样本文本4-积极；第一样本文本5-消极；第一样本文本6-中性。
如图3所示，本申请实施例中，通过如下方式训练所述情绪分类器：
S311、获取第三训练数据，所述第三训练数据中包括第三样本文本和所述第三样本文本对应的目标文本情感。
这里，第三训练数据中的第三样本文本可以是部分第一样本文本，也可以与第一样本文本不同。
比如，第三样本文本为部分第一样本文本，预先对这部分第一样本文本进行标注，获得该部分第一样本文对应的目标文本情感，该目标文本情感包括以下之一：积极、消极、中性。
S312、将所述第三样本文本作为所述情绪分类器的输入，获取所述情绪分类器基于第五参数和所述第三样本文本的输出结果，根据所述输出结果和所述第三样本文本对应的目标文本情感，调整所述情绪分类器的第五参数，直至所述情绪分类器的输出结果和所述第三样本文本对应的目标文本情感相一致，得到包括训练好的第六参数的情绪分类器。这里，基于第三训练数据训练情绪分类器，直至得到训练好的情绪分类器。
本申请实施例中，针对任一个第三训练数据，将该第三训练数据中的第三样本文本作为情绪分类器的输入，获取所述情绪分类器基于第五参数和第三样本文本的输出结果，根据所述输出结果和所述第三样本文本对应的目标文本情感，确定情绪分类器的第三损失信息，并基于第三损失信息调整该情绪分类器的第一参数；重复上述过程(这里，在重复上述过程时，第三训练数据可以重复使用。可选的，重复的过程中保证所有的第三训练数据均被使用)，直至所述情绪分类器的输出结果和所述第三样本文本对应的目标文本情感相一致，得到包括训练好的第六参数的情绪分类器。
第二，如图4所示，通过如下方式确定所述第一样本文本的文本关键词：
S411、对所述第一样本文本进行分词处理，得到所述第一样本文本对应的多个分词。
本申请实施例中，对第一样本文本进行分词处理，得到该第一样本文本对应的多个分词，并对这多个分词分别进行词性标注。
S412、基于所述多个分词分别对应的词性，从所述多个分词中选取所述第一样本文本的文本关键词。
本申请实施例中，从第一样本文本对应的多个具有词性标注的分词中，中提取名词、形容词、动词作为该第一样本文本的文本关键词。这里，考虑到第一样本文本对应的文本关键词数量较多的情况，从多个文本关键词中选取部分文本关键词组成关键词集合。其中，每一个所述第一样本文本对应多个关键词集合；每一个所述关键词集合中包括多个文本关键词；不同的关键词集合中包括的文本关键词不同。通过该种方式，能够构造第一训练数据的时候做输入端数据增强，即让不同采样的输入都对应相同第一样本文本的输出。
结合步骤411和步骤412，以第一样本文本为歌词为例进行说明：关键词标签：通过对歌词进行分词和词性标注，提取出其中的名词、形容词、动词作为该首歌词的关键词。但是由于歌词文本一般较长，这种方式会提取出数量较多的关键词，因此，在构造数据输入的时候，采用对关键词集合进行多次采样输入。例如，对于歌词“如果那两个字没有颤抖我不会发现我难受怎么说出口也不会是分手如果对于明天没有要求……”提出的文本关键词包括“颤抖、发现、难受、分手、明天、要求”，构造的关键词集合包括：关键词集合1“颤抖、难受、分手”，关键词集合2“难受、明天、要求”等。
本申请实施例提供的一种文本生成模型的训练方法，获取多维度的样本控制信息和整体样本文本作为训练数据，并基于该训练数据训练文本生成模型，这样，在文本生成模型的训练过程中使得模型学习到了长文本之间的相关性和流畅性。相应的，在训练好文本生成模型之后，该文本生成模型能够基于输入的多维度的目标控制信息输出完整的目标文本，保证了长文本之间的相关性和流畅性，提高了生成的目标文本的文本质量。
本申请实施例中，在训练好文本生成模型之后，在该文本生成模型的应用阶段的过程如下:
如图5a和5b所示，为本申请第二实施例提供的一种文本生成方法，所述方法包括：
S511、获取多维度的目标控制信息。
本申请实施例中，多维度包括内容维度，对应的目标控制信息包括：目标文本类型；目标文本情感；目标文本场景；目标场景关键词；目标文本关键词；多维度还包括属于格式维度，对应的目标控制信息包括：目标文本行数、每行文本字数；每行文本韵脚。
示例性的，以生成歌词为例，多维度的目标控制信息包括：歌词类型、歌词情感(或者歌词情绪)、歌词的场景关键词，用户定义的歌词关键词；整首歌词的行数、每行歌词的字数；每行歌词的韵脚。
以输入数据为歌词对应的控制信息为例：输入数据(即目标控制信息)的构造，用户输入歌词类型(比如，流行)、歌词情绪(比如，消极)、歌词场景(比如，校园)和自定义歌词关键词(比如，爱情)，然后，将用户输入的歌词类型、歌词情绪、歌词场景关键词和自定义的歌词关键词进行拼接作为模型的输入数据。
示例性的，如图5b的S302所示，输入数据如下：
<关键词><s><情绪><s><类型>；
e.g.“失恋分手发泄爱情<s>消极<s>流行”。这里，关键词，包括歌词场景、场景关键词和用户自定义歌词关键词的拼接信息。
S512、将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本；其中，所述目标文本中包括多个单句文本。
本申请实施例中，将上述输入数据(也即目标控制信息)输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的多个候选文本；然后，从所述多个候选文本中选取符合第二预设条件的目标文本。
其中，针对得到的每个候选文本，所述候选文本中每两个单句文本之间通过分隔符连接；其中，所述文本生成模型在解码时，根据所述目标文本行数，确定所述分隔符的个数；根据所述每行文本字数，确定所述分隔符在所述候选文本中的位置；根据所述每行文本韵脚，确定所述分隔符之后特定位置的文字的韵脚标记，并在匹配该特定位置的解码时间解码匹配所述韵脚标记的特定文字。
训练好的文本生成模型对输入经过encoder编码信息，并通过decoder经过beamsearch和sampling解码预测出多首歌词候选集合，但是与训练阶段不同的是，有额外用户输入的韵脚和行字数要求。根据用户指定的歌词行数、每行字数和韵脚，通过训练阶段的句内倒序和应用阶段解码时的概率控制实现格式要求。具体来说，行数控制可以在解码的时候记录生成的句之间的分隔符的个数来记录目前是第几行。韵脚控制，在句内倒序训练的情况下，只要保证句间分隔符后一个生成的字符符合韵脚规则，并通过限制对应时间步解码时选择符合韵脚要求的词汇表来进行输出即可。同样针对字数要求，当生成某句话时，限制在字数要求前不生成句间分隔符，并且在满足字数要求后增大生成句间分隔符的概率值，从而实现字数要求的控制。
这里，得到的候选文本呈倒序排列的；相应的，在得到候选文本后，需要对每一个候选文本进行重排序处理，得到呈正序排列的多个目标候选文本；然后，根据每一个目标候选文本与所述目标控制信息的匹配分值，从所述多个目标候选文本中选取对应的匹配分值满足第三阈值的目标文本。示例性的，第二预设条件可以为预设分值；比如，多个目标候选文本中选取对应的匹配分值大于预设分值的目标文本。这里，目标文本可以为一个，也可以为多个。
在图5b的S303中可以获得生成的歌词候选集合，图5b的S304中要进一步对候选集合的歌词进行后处理和重排序。其中，后处理操作包括过滤一些重复比较严重的歌词，将生成的歌词恢复正向排序(训练的时候是倒序的，所以生成的歌词也是倒序的)；排序的维度包括与输入关键词的相关性、与用户限制格式的差异大小、生成歌词内部词汇的多样性。图5b的S305，最终返回经过重排序之后输出的正序排列的歌词。
本申请实施例提供的一种文本生成方法，获取多维度的样本控制信息和整体样本文本作为训练数据，并基于该训练数据训练文本生成模型，这样，在文本生成模型的训练过程中使得模型学习到了长文本之间的相关性和流畅性。相应的，在训练好文本生成模型之后，该文本生成模型能够基于输入的多维度的目标控制信息输出完整的目标文本，保证了长文本之间的相关性和流畅性，提高了生成的目标文本的文本质量。
进一步的，在应用阶段多了场景维度，本申请实施例中，用户可以选择歌词场景，相应的，通过一个“场景扩展关键词”模块将场景映射到相应的关键词上。如图6所示，本申请实施例提供的文本生成方法中，通过如下方式确定所述目标场景关键词：
S611、获取用户输入的目标文本场景。
S612、根据预设的文本场景和场景关键词的映射关系，确定所述目标文本场景对应的目标场景关键词。
结合步骤611和步骤612，服务器中预先存储有预设的文本场景和场景关键词的映射关系，比如，校园-操场、同学、老师、爱情、学习；思乡-月亮、送别、想念；爱情-陪伴、牵手、亲吻。比如，用户输入的目标文本场景为“校园”，相应的，基于上述映射关系，确定“校园”对应的场景关键词为：“操场、同学、老师、爱情、学习”。
本申请实施例中，如图7所示，通过如下方式确定所述文本场景和场景关键词的映射关系：
S711、获取每个文本场景对应的场景分词。
这里，每一个文本场景对应的一个或多个场景分词；比如，场景“校园”对应的场景分词为“操场、同学”。
S712、获取第一样本文本对应的多个分词，并从所述多个分词中选取与所述场景分词的相关性满足第一预设条件的目标分词。
本申请实施例中，获取第一样本文本(比如，训练歌词文本)，并对第一样本文本进行分词处理，得到第一样本文本对应的多个分词。
在一种实施方式中，针对每一个场景分词，基于每一个分词分别与该场景分词的相关性，从所述多个分词中选取对应的相关性满足第一阈值的目标分词。本申请实施例中，通过计算分词分别与场景分词的逐点互信息(Pointwise Mutual Information，PMI)，表征分词与场景分词的相关性。
在另一种实施方式中，针对每一个场景分词，基于每一个分词分别与该场景分词的相关性(比如，PMI值)，从所述多个分词中选取对应的相关性满足第一阈值的候选分词，为了避免PMI偏好低频词的缺点，基于每一个候选分词分别与该场景分词的向量距离，从所述候选分词中选取对应的向量距离满足第二阈值的目标分词。
S713、将所述场景分词和所述目标分词确定为该文本场景对应的场景关键词。
结合步骤711-步骤713，以第一样本文本为歌词文本为例，通过“场景扩展关键词”模块将文本场景映射到相应的关键词上，主要流程如下：针对任一场景，通过分析所有歌词文本中词和词之间的PMI值，并按照词频过滤，筛选出与场景PMI分值大于第一阈值的词语集合。同时为了避免PMI偏好低频词的缺点，针对筛选出来的分词再次照词语的向量距离进行排序，并从中选取对应的向量距离大于第二阈值的扩展词语集合。在生成歌词时，根据用户所选的目标文本场景对应的扩展词语集合里随机选出多个目标文本场景对应的目标场景关键词，并将目标场景关键词作为文本生成模型输入的一部分进行编码，从而控制解码端的生成的内容。
例如，对于“失恋”这个场景，基于上述方法得到对应关键词集合为“分手分开苦闷忘掉振作失忆痛哭心酸落泪哭诉苦楚煎熬烦恼发泄醉酒苦恼忘怀活该抚慰讨厌悲哀”，这里，可以随机选择两个“分手发泄”作为“失恋”场景扩展的关键词(即“失恋”场景对应的目标场景关键词)。在得到用户输入的目标文本场景对应的目标场景关键词后(比如，“分手和发泄”)，用户自定义的关键词(即目标文本关键词)为“爱情”，因此，将场景、扩展的关键词(即目标文本关键词)、用户自定义关键词(即目标文本关键词)三者拼接为“失恋-分手-发泄-爱情”，作为最终输入给文本生成模型的关键词。
进一步的，如图8a所示，本申请实施例提供的文本生成方法中，在将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本之后，所述方法还包括：
S811、获取所述目标文本的待修改片段。
本申请实施例中，待修改片段为用户不满意、需要调整的文本片。可选的，上述待修改片段可以为目标文本中的单句、短语或者分词。
以歌词为例，上述待修改片段可以为某一句歌词、某一句歌词中的短语、某一句歌词中的分词。
S812、将所述待修改片段输入到预先训练好的修改模型中，获取所述修改模型输出的所述待修改片段对应的修改文本。
本申请实施例中，在返回给用户歌词之后，用户可能对歌词中的分词(可以为单个文字，也可以为词语)、短语、句子有不满意的地方，可以自己编辑修改。或者，用户可以与服务器进行交互，选中待修改片段，让服务器推荐待修改片段对应的修改文本，服务器可以支持单句推荐、短语推荐、分词推荐三种。
其中，服务器中预先训练有修改模型，该修改模型的具体训练方式如下：
获取训练数据(即第四训练数据)，所述训练数据中包括第二样本文本和样本修改文本，所述第二样本文本中包括多个单句文本和样本待修改片段；将所述样本文本作为修改模型的输入，获取所述修改模型基于第一参数和所述样本文本的输出结果，根据所述输出结果和所述样本修改文本，调整所述修改模型的第一参数，直至所述修改模型的输出结果和所述样本修改文本相一致，得到包括训练好的第二参数的修改模型。
本申请实施例中，针对每一个第四训练数据，将该第四训练数据中的第二样本文本作为修改模型的输入，获取所述修改模型基于第一参数和所述第二样本文本的输出结果，根据所述输出结果和所述样本修改文本，确定所述修改模型的第四损失信息，根据所述第四损失信息调整所述修改模型的第一参数，重复上述过程(这里，在重复上述过程时，第四训练数据可以重复使用。可选的，重复的过程中保证所有的第四训练数据均被使用)，直至所述修改模型的输出结果和所述样本修改文本相一致，得到包括训练好的第二参数的修改模型。
如图8b所示，以训练歌词修改模型，在图8b中包括S401～S404为例：
S401、用户输入：用户选中歌词中需要修改的部分，形成待修改歌词(即masked歌词)，并输入歌词的歌词类型、歌词情绪等参数，以及想要控制修改部分的韵脚和字数要求。
S402、输入示例。根据用户的输入的masked歌词、歌词情绪、歌词类型，构造输入示例。例如，原始歌词是“如果那两个字没有颤抖我不会发现我难受怎么说出口也不会是分手如果对于明天没有要求”，需要修改“我不会发现我难受”，所以对其进行标记，得到masked歌词“如果那两个字没有颤抖<mask>怎么说出口也不会是分手如果对于明天没有要求”(<mask>代表要修改的部分)。另外，歌词情绪是“消极”，歌词类型是“流行”，相应的，构造得到图8b中S401步骤的输入示例。
S403、修改模型。该步骤同样训练一个seq2seq模型，编码器和解码器对应的第以参数同样是基于预训练语言模型参数初始化得到的。与整首歌词生成训练阶段不同的就是模型的输入数据不同，在这个修改模型中，模型的输出是要原始歌词中“masked”部分对应的修改后的歌词。
S404、输出示例。修改模型要预测的被masked的文本内容，在上述例子中则为“我不会发现我难受”。
图8c示出了文本生成模型(具体为歌词生成模型)在应用阶段生成歌词的整体流程示意图，如图8c所示：
S101：用户输入，该步骤接收用户输入的多维度内容控制和格式控制的选项，用户在创作歌词之前，可以从多个维度限制生成的歌词，包括指定歌词的类型，如“流行、嘻哈、民谣等”；歌词的情绪，包括“积极、消极、中性”；歌词想要描绘的场景，如“相恋、校园、励志等”；或者用户自定义一些描绘歌词场景的关键词，如“照片、操场、街角等”。除了从内容方面限制歌词，用户还可以对格式进行控制，例如输入想要的歌词行数，每行的字数，整首歌词的韵脚甚至可以指定每句话有不同的韵脚。
S102：歌词生成。该模块根据用户的输入经过训练好的文本生成模型中，生成歌词的候选集，供用户选择。
S103：交互修改。在返回给用户歌词之后，用户可能对其中的词语、短语、句子有不满意的地方，可以自己编辑修改；或者，用户可以与修改模型进行交互，选中想要修改的片段，修改模型针对用户想要修改的片段进行推荐修改后的歌词。其中，修改模型可以支持单句推荐、短语推荐、分词推荐等。
本申请实施例提供的一种文本生成方法，获取多维度的样本控制信息和整体样本文本作为训练数据，并基于该训练数据训练文本生成模型，这样，在文本生成模型的训练过程中使得模型学习到了长文本之间的相关性和流畅性。相应的，在训练好文本生成模型之后，该文本生成模型能够基于输入的多维度的目标控制信息输出完整的目标文本，保证了长文本之间的相关性和流畅性，提高了生成的目标文本的文本质量。
基于同一发明构思，本申请第三实施例中还提供了与第一实施例中文本生成模型的训练方法对应的文本生成模型的训练装置，由于本申请第三实施例中的装置解决问题的原理与本申请第一实施例中文本生成模型的训练方法相似，因此，装置的实施可以参见方法的实施，重复之处不再赘述。
如图9所示，本申请实施例提供了一种文本生成模型的训练装置，所述训练装置包括：
第一获取模块901，用于获取第一训练数据，所述第一训练数据中包括多维度的样本控制信息和第一样本文本，所述第一样本文本中包括多个单句文本；
第一训练模块902，用于将所述样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和所述样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，调整所述文本生成模型的第一参数，直至所述文本生成模型的输出结果和所述第一样本文本相一致，得到包括训练好的第二参数的文本生成模型；其中，所述文本生成模型用于基于输入的多维度的目标控制信息输出匹配所述目标控制信息的目标文本，所述目标文本包括多个单句文本。
在一种可能的实施方式中，所述训练装置还包括：
第二获取模块，用于获取第二训练数据，所述第二训练数据中包括第二样本文本；
第二训练模块，用于将所述第二样本文本中的每一个文字作为语言模型的输入，获取所述语言模型基于第三参数、该文字和该文字之前的文字的输出结果，根据所述输出结果和该文字的下一个文字，调整所述语言模型的第三参数，直至所述语言模型的输出结果和该文字对应的下一个文字相一致，得到包括训练好的第四参数的语言模型；
确定模块，用于基于所述语言模型的第四参数，确定所述文本生成模型的第一参数。
在一种可能的实施方式中，所述样本控制信息包括所述第一样本文本的以下信息中至少两种的拼接信息：
文本类型；文本情感；文本关键词。
在一种可能的实施方式中，所述训练装置还包括：
第三获取模块，用于将所述第一样本文本输入到预先训练好的情绪分类器中，获取所述情绪分类器输出的所述第一样本文本的文本情感。
在一种可能的实施方式中，所述训练装置还包括：
第四获取模块，用于获取第三训练数据，所述第三训练数据中包括第三样本文本和所述第三样本文本对应的目标文本情感；
第三训练模块，用于将所述第三样本文本作为所述情绪分类器的输入，获取所述情绪分类器基于第五参数和所述第三样本文本的输出结果，根据所述输出结果和所述第三样本文本对应的目标文本情感，调整所述情绪分类器的第五参数，直至所述情绪分类器的输出结果和所述第三样本文本对应的目标文本情感相一致，得到包括训练好的第六参数的情绪分类器。
在一种可能的实施方式中，所述训练装置还包括：
分词模块，用于对所述第一样本文本进行分词处理，得到所述第一样本文本对应的多个分词；
选取模块，用于基于所述多个分词分别对应的词性，从所述多个分词中选取所述第一样本文本的文本关键词。
在一种可能的实施方式中，每一个所述第一样本文本对应多个关键词集合；每一个所述关键词集合中包括多个文本关键词；不同的关键词集合中包括的文本关键词不同。
在一种可能的实施方式中，其中，所述文本生成模型基于第一参数和所述样本控制信息的输出结果呈倒序排列。
在一种可能的实施方式中，所述文本生成模型包括编码器和解码器；第一训练模块902将所述样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和所述样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，调整所述文本生成模型的第一参数，包括：
将所述样本控制信息作为所述编码器的输入，获取所述编码器基于第一参数和所述样本控制信息的编码结果，将所述编码结果作为所述解码器的输入，获取所述解码器基于第一参数和所述编码结果的解码结果，根据所述解码结果和所述第一样本文本，调整所述文本生成模型的第一参数。
基于同一发明构思，本申请第四实施例中还提供了与第二实施例中的文本生成方法对应的文本生成装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述文本生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
如图10所示，为本申请第四实施例提供的一种文本生成装置，所述装置包括：
第一获取模块1001，用于获取多维度的目标控制信息；
第一处理模块1002，用于将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本；其中，所述目标文本中包括多个单句文本。
在一种可能的实施方式中，所述目标控制信息包括以下信息中至少两种的拼接信息：
目标文本类型；目标文本情感；目标文本场景；目标场景关键词；目标文本关键词；目标文本行数、每行文本字数；每行文本韵脚。
在一种可能的实施方式中，所述装置还包括：
第二获取模块，用于获取用户输入的目标文本场景；
第一确定模块，用于根据预设的文本场景和场景关键词的映射关系，确定所述目标文本场景对应的目标场景关键词。
在一种可能的实施方式中，所述装置还包括：
第三获取模块，用于获取每个文本场景对应的场景分词；
第二处理模块，用于获取第一样本文本对应的多个分词，并从所述多个分词中选取与所述场景分词的相关性满足第一预设条件的目标分词；
第二确定模块，将所述场景分词和所述目标分词确定为该文本场景对应的场景关键词。
在一种可能的实施方式中，所述第二处理模块从所述多个分词中选取与所述场景分词的相关性满足第一预设条件的目标分词，包括：
基于每一个分词分别与所述场景分词的相关性，从所述多个分词中选取对应的相关性满足第一阈值的候选分词；
基于每一个候选分词分别与所述场景分词的向量距离，从所述候选分词中选取对应的向量距离满足第二阈值的目标分词。
在一种可能的实施方式中，第一处理模块1002将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本，包括：
将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的多个候选文本；
从所述多个候选文本中选取符合第二预设条件的目标文本。
在一种可能的实施方式中，所述候选文本呈倒序排列；第一处理模块1002从所述多个候选文本中选取符合第二预设条件的目标文本，包括：
对每一个候选文本进行重排序处理，得到呈正序排列的多个目标候选文本；
根据每一个目标候选文本与所述目标控制信息的匹配分值，从所述多个目标候选文本中选取对应的匹配分值满足第三阈值的目标文本。
在一种可能的实施方式中，所述候选文本中每两个单句文本之间通过分隔符连接；
其中，所述文本生成模型在解码时，根据所述目标文本行数，确定所述分隔符的个数；根据所述每行文本字数，确定所述分隔符在所述候选文本中的位置；根据所述每行文本韵脚，确定所述分隔符之后特定位置的文字的韵脚标记，并在匹配该特定位置的解码时间解码匹配所述韵脚标记的特定文字。
在一种可能的实施方式中，所述装置还包括：
第四获取模块，用于在将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本之后，获取所述目标文本的待修改片段；
第三处理模块，用于将所述待修改片段输入到预先训练好的修改模型中，获取所述修改模型输出的所述待修改片段对应的修改文本。
在一种可能的实施方式中，所述装置包括：
第五获取模块，用于获取训练数据，所述训练数据中包括样本文本和样本修改文本，所述样本文本中包括多个单句文本和样本待修改片段；
第四处理模块，用于将所述样本文本作为修改模型的输入，获取所述修改模型基于第一参数和所述样本文本的输出结果，根据所述输出结果和所述样本修改文本，调整所述修改模型的第一参数，直至所述修改模型的输出结果和所述样本修改文本相一致，得到包括训练好的第二参数的修改模型。
在一种可能的实施方式中，所述待修改片段包括以下之一：
单句；短语；分词。
本申请实施例提供的一种文本生成装置，在文本生成模型的训练过程中使得模型学习到了长文本之间的相关性和流畅性。相应的，在训练好文本生成模型之后，该文本生成模型能够基于输入的多维度的目标控制信息输出完整的目标文本，保证了长文本之间的相关性和流畅性，提高了生成的目标文本的文本质量。
如图11所示，本申请第五实施例提供的一种电子设备1100，包括：处理器1101、存储器1102和总线，所述存储器1102存储有所述处理器1101可执行的机器可读指令，当电子设备运行时，所述处理器1101与所述存储器1102之间通过总线通信，所述处理器1101执行所述机器可读指令，以执行如上述第一实施例中的文本生成模型的训练方法的步骤。
具体地，上述存储器1102和处理器1101能够为通用的存储器和处理器，这里不做具体限定，当处理器1101运行存储器1102存储的计算机程序时，能够执行上述第一实施例中的文本生成模型的训练方法。
对应于上述第一实施例中的文本生成模型的训练方法，本申请第六实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一实施例中的文本生成模型的训练方法的步骤。
如图12所示，本申请第七实施例提供的一种电子设备1200，包括：处理器1201、存储器1202和总线，所述存储器1202存储有所述处理器1201可执行的机器可读指令，当电子设备运行时，所述处理器1201与所述存储器1202之间通过总线通信，所述处理器1201执行所述机器可读指令，以执行如上述第二实施例中的文本生成方法的步骤。
具体地，上述存储器1202和处理器1201能够为通用的存储器和处理器，这里不做具体限定，当处理器1201运行存储器1202存储的计算机程序时，能够执行上述第二实施例中的文本生成方法。
对应于上述第二实施例中的文本生成方法，本申请第八实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第二实施例中的文本生成方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (22)
1.一种文本生成模型的训练方法，其特征在于，所述训练方法包括：
获取第一训练数据，所述第一训练数据中包括多维度的样本控制信息和第一样本文本，所述第一样本文本中包括多个单句文本；所述样本控制信息包括所述第一样本文本的以下信息中至少两种的拼接信息：文本类型；文本情感；文本关键词；
所述第一样本文本的文本关键词通过如下方式确定：对所述第一样本文本进行分词处理，得到所述第一样本文本对应的多个分词；基于所述多个分词分别对应的词性，从所述多个分词中选取所述第一样本文本的文本关键词；
将所述样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和所述样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，调整所述文本生成模型的第一参数，直至所述文本生成模型的输出结果和所述第一样本文本相一致，得到包括训练好的第二参数的文本生成模型；其中，所述文本生成模型用于基于输入的多维度的目标控制信息输出匹配所述目标控制信息的目标文本，所述目标文本包括多个单句文本。
2.根据权利要求1所述的文本生成模型的训练方法，其特征在于，通过如下方法确定所述文本生成模型的第一参数：
获取第二训练数据，所述第二训练数据中包括第二样本文本；
将所述第二样本文本中的每一个文字作为语言模型的输入，获取所述语言模型基于第三参数、该文字和该文字之前的文字的输出结果，根据所述输出结果和该文字的下一个文字，调整所述语言模型的第三参数，直至所述语言模型的输出结果和该文字对应的下一个文字相一致，得到包括训练好的第四参数的语言模型；
基于所述语言模型的第四参数，确定所述文本生成模型的第一参数。
3.根据权利要求1所述的文本生成模型的训练方法，其特征在于，通过如下方式确定所述第一样本文本的文本情感：
将所述第一样本文本输入到预先训练好的情绪分类器中，获取所述情绪分类器输出的所述第一样本文本的文本情感。
4.根据权利要求3所述的文本生成模型的训练方法，其特征在于，通过如下方式训练所述情绪分类器：
获取第三训练数据，所述第三训练数据中包括第三样本文本和所述第三样本文本对应的目标文本情感；
将所述第三样本文本作为所述情绪分类器的输入，获取所述情绪分类器基于第五参数和所述第三样本文本的输出结果，根据所述输出结果和所述第三样本文本对应的目标文本情感，调整所述情绪分类器的第五参数，直至所述情绪分类器的输出结果和所述第三样本文本对应的目标文本情感相一致，得到包括训练好的第六参数的情绪分类器。
5.根据权利要求1所述的文本生成模型的训练方法，其特征在于，每一个所述第一样本文本对应多个关键词集合；每一个所述关键词集合中包括多个文本关键词；不同的关键词集合中包括的文本关键词不同。
6.根据权利要求1所述的文本生成模型的训练方法，其特征在于，其中，所述文本生成模型基于第一参数和所述样本控制信息的输出结果呈倒序排列。
7.根据权利要求1所述的文本生成模型的训练方法，其特征在于，所述文本生成模型包括编码器和解码器；所述将所述样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和所述样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，调整所述文本生成模型的第一参数，包括：
将所述样本控制信息作为所述编码器的输入，获取所述编码器基于第一参数和所述样本控制信息的编码结果，将所述编码结果作为所述解码器的输入，获取所述解码器基于第一参数和所述编码结果的解码结果，根据所述解码结果和所述第一样本文本，调整所述文本生成模型的第一参数。
8.一种文本生成方法，其特征在于，所述方法包括：
获取多维度的目标控制信息；所述目标控制信息包括以下信息中至少两种的拼接信息：目标文本类型；目标文本情感；目标文本场景；目标场景关键词；目标文本关键词；目标文本行数、每行文本字数；每行文本韵脚；
将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本；其中，所述目标文本中包括多个单句文本；
所述将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本，包括：
将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的多个候选文本；从所述多个候选文本中选取符合第二预设条件的目标文本。
9.根据权利要求8所述的文本生成方法，其特征在于，通过如下方式确定所述目标场景关键词：
获取用户输入的目标文本场景；
根据预设的文本场景和场景关键词的映射关系，确定所述目标文本场景对应的目标场景关键词。
10.根据权利要求9所述的文本生成方法，其特征在于，通过如下方式确定所述文本场景和场景关键词的映射关系：
获取每个文本场景对应的场景分词；
获取第一样本文本对应的多个分词，并从所述多个分词中选取与所述场景分词的相关性满足第一预设条件的目标分词；
将所述场景分词和所述目标分词确定为该文本场景对应的场景关键词。
11.根据权利要求10所述的文本生成方法，其特征在于，所述从所述多个分词中选取与所述场景分词的相关性满足第一预设条件的目标分词，包括：
基于每一个分词分别与所述场景分词的相关性，从所述多个分词中选取对应的相关性满足第一阈值的候选分词；
基于每一个候选分词分别与所述场景分词的向量距离，从所述候选分词中选取对应的向量距离满足第二阈值的目标分词。
12.根据权利要求8所述的文本生成方法，其特征在于，所述候选文本呈倒序排列；所述从所述多个候选文本中选取符合第二预设条件的目标文本，包括：
对每一个候选文本进行重排序处理，得到呈正序排列的多个目标候选文本；
根据每一个目标候选文本与所述目标控制信息的匹配分值，从所述多个目标候选文本中选取对应的匹配分值满足第三阈值的目标文本。
13.根据权利要求12所述的文本生成方法，其特征在于，所述候选文本中每两个单句文本之间通过分隔符连接；
其中，所述文本生成模型在解码时，根据所述目标文本行数，确定所述分隔符的个数；根据所述每行文本字数，确定所述分隔符在所述候选文本中的位置；根据所述每行文本韵脚，确定所述分隔符之后特定位置的文字的韵脚标记，并在匹配该特定位置的解码时间解码匹配所述韵脚标记的特定文字。
14.根据权利要求8所述的文本生成方法，其特征在于，在将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本之后，所述方法还包括：
获取所述目标文本的待修改片段；
将所述待修改片段输入到预先训练好的修改模型中，获取所述修改模型输出的所述待修改片段对应的修改文本。
15.根据权利要求14所述的文本生成方法，其特征在于，通过如下方式训练所述修改模型：
获取训练数据，所述训练数据中包括样本文本和样本修改文本，所述样本文本中包括多个单句文本和样本待修改片段；
将所述样本文本作为修改模型的输入，获取所述修改模型基于第一参数和所述样本文本的输出结果，根据所述输出结果和所述样本修改文本，调整所述修改模型的第一参数，直至所述修改模型的输出结果和所述样本修改文本相一致，得到包括训练好的第二参数的修改模型。
16.根据权利要求14所述的文本生成方法，其特征在于，所述待修改片段包括以下之一：
单句；短语；分词。
17.一种文本生成模型的训练装置，其特征在于，所述训练装置包括：
获取模块，用于获取第一训练数据，所述第一训练数据中包括多维度的样本控制信息和第一样本文本，所述第一样本文本中包括多个单句文本；所述样本控制信息包括所述第一样本文本的以下信息中至少两种的拼接信息：文本类型；文本情感；文本关键词；所述第一样本文本的文本关键词通过如下方式确定：对所述第一样本文本进行分词处理，得到所述第一样本文本对应的多个分词；基于所述多个分词分别对应的词性，从所述多个分词中选取所述第一样本文本的文本关键词；
训练模块，用于将所述样本控制信息作为文本生成模型的输入，获取所述文本生成模型基于第一参数和所述样本控制信息的输出结果，根据所述输出结果和所述第一样本文本，调整所述文本生成模型的第一参数，直至所述文本生成模型的输出结果和所述第一样本文本相一致，得到包括训练好的第二参数的文本生成模型；其中，所述文本生成模型用于基于输入的多维度的目标控制信息输出匹配所述目标控制信息的目标文本，所述目标文本包括多个单句文本。
18.一种文本生成装置，其特征在于，所述装置包括：
获取模块，用于获取多维度的目标控制信息；所述目标控制信息包括以下信息中至少两种的拼接信息：目标文本类型；目标文本情感；目标文本场景；目标场景关键词；目标文本关键词；目标文本行数、每行文本字数；每行文本韵脚；
处理模块，用于将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本；其中，所述目标文本中包括多个单句文本；所述将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的目标文本，包括：将所述目标控制信息输入到预先训练好的文本生成模型中，得到匹配所述目标控制信息的多个候选文本；从所述多个候选文本中选取符合第二预设条件的目标文本。
19.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一项所述的文本生成模型的训练方法的步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的文本生成模型的训练方法的步骤。
21.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求8至16任一项所述的文本生成方法的步骤。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求8至16任一项所述的文本生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010670301.0A CN111783455B (zh) | 2020-07-13 | 2020-07-13 | 文本生成模型的训练方法及装置、文本生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010670301.0A CN111783455B (zh) | 2020-07-13 | 2020-07-13 | 文本生成模型的训练方法及装置、文本生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111783455A CN111783455A (zh) | 2020-10-16 |
| CN111783455B true CN111783455B (zh) | 2024-06-04 |
Family
ID=72768071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010670301.0A Active CN111783455B (zh) | 2020-07-13 | 2020-07-13 | 文本生成模型的训练方法及装置、文本生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783455B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112966712B (zh) * | 2021-02-01 | 2023-01-20 | 北京三快在线科技有限公司 | 语言模型训练方法、装置、电子设备和计算机可读介质 |
| CN113268952B (zh) * | 2021-04-26 | 2024-03-01 | 网易（杭州）网络有限公司 | 文本生成方法、装置和电子设备 |
| CN114970524B (zh) * | 2022-05-31 | 2024-02-02 | 北京深言科技有限责任公司 | 可控文本生成方法及装置 |
| CN116244416A (zh) * | 2023-03-03 | 2023-06-09 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法、基于模型的人机语音交互方法 |
| CN116561350B (zh) * | 2023-07-07 | 2024-01-09 | 腾讯科技（深圳）有限公司 | 一种资源生成方法及相关装置 |
| CN117033934B (zh) * | 2023-08-02 | 2024-04-19 | 中信联合云科技有限责任公司 | 一种基于人工智能的内容生成方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427665A (zh) * | 2018-03-15 | 2018-08-21 | 广州大学 | 一种基于lstm型rnn模型的文本自动生成方法 |
| CN109002433A (zh) * | 2018-05-30 | 2018-12-14 | 出门问问信息科技有限公司 | 一种文本生成方法及装置 |
| CN109992771A (zh) * | 2019-03-13 | 2019-07-09 | 北京三快在线科技有限公司 | 一种文本生成的方法及装置 |
| CN110097085A (zh) * | 2019-04-03 | 2019-08-06 | 阿里巴巴集团控股有限公司 | 歌词文本生成方法、训练方法、装置、服务器及存储介质 |
| CN110134960A (zh) * | 2019-05-15 | 2019-08-16 | 北京奇艺世纪科技有限公司 | 一种文本的生成方法及相关设备 |
| CN110457718A (zh) * | 2019-08-21 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 一种文本生成方法、装置、计算机设备及存储介质 |
| CN110795552A (zh) * | 2019-10-22 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种训练样本生成方法、装置、电子设备及存储介质 |
| CN111221940A (zh) * | 2020-01-03 | 2020-06-02 | 京东数字科技控股有限公司 | 一种文本生成方法、装置、电子设备及存储介质 |
| CN111259665A (zh) * | 2020-01-14 | 2020-06-09 | 成都嗨翻屋科技有限公司 | 一种基于神经网络的交互式歌词生成方法及系统 |
-
2020
- 2020-07-13 CN CN202010670301.0A patent/CN111783455B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427665A (zh) * | 2018-03-15 | 2018-08-21 | 广州大学 | 一种基于lstm型rnn模型的文本自动生成方法 |
| CN109002433A (zh) * | 2018-05-30 | 2018-12-14 | 出门问问信息科技有限公司 | 一种文本生成方法及装置 |
| CN109992771A (zh) * | 2019-03-13 | 2019-07-09 | 北京三快在线科技有限公司 | 一种文本生成的方法及装置 |
| CN110097085A (zh) * | 2019-04-03 | 2019-08-06 | 阿里巴巴集团控股有限公司 | 歌词文本生成方法、训练方法、装置、服务器及存储介质 |
| CN110134960A (zh) * | 2019-05-15 | 2019-08-16 | 北京奇艺世纪科技有限公司 | 一种文本的生成方法及相关设备 |
| CN110457718A (zh) * | 2019-08-21 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 一种文本生成方法、装置、计算机设备及存储介质 |
| CN110795552A (zh) * | 2019-10-22 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种训练样本生成方法、装置、电子设备及存储介质 |
| CN111221940A (zh) * | 2020-01-03 | 2020-06-02 | 京东数字科技控股有限公司 | 一种文本生成方法、装置、电子设备及存储介质 |
| CN111259665A (zh) * | 2020-01-14 | 2020-06-09 | 成都嗨翻屋科技有限公司 | 一种基于神经网络的交互式歌词生成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111783455A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111783455B (zh) | 文本生成模型的训练方法及装置、文本生成方法及装置 | |
| US11423233B2 (en) | On-device projection neural networks for natural language understanding | |
| CN109840287B (zh) | 一种基于神经网络的跨模态信息检索方法和装置 | |
| Neishi et al. | A bag of useful tricks for practical neural machine translation: Embedding layer initialization and large batch size | |
| CN106202010B (zh) | 基于深度神经网络构建法律文本语法树的方法和装置 | |
| Mesnil et al. | Using recurrent neural networks for slot filling in spoken language understanding | |
| CN110782870A (zh) | 语音合成方法、装置、电子设备及存储介质 | |
| CN110264991A (zh) | 语音合成模型的训练方法、语音合成方法、装置、设备及存储介质 | |
| Deselaers et al. | A deep learning approach to machine transliteration | |
| CN112528637B (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
| CN110717017A (zh) | 一种处理语料的方法 | |
| CN114118065B (zh) | 一种电力领域中文文本纠错方法、装置、存储介质及计算设备 | |
| CN111881677A (zh) | 基于深度学习模型的地址匹配算法 | |
| CN110990555B (zh) | 端到端检索式对话方法与系统及计算机设备 | |
| CN108153864A (zh) | 基于神经网络生成文本摘要的方法 | |
| Zheng et al. | BLSTM-CRF Based End-to-End Prosodic Boundary Prediction with Context Sensitive Embeddings in a Text-to-Speech Front-End. | |
| CN110678882A (zh) | 使用机器学习从电子文档选择回答跨距 | |
| CN113033182B (zh) | 文本创作的辅助方法、装置及服务器 | |
| CN114756681B (zh) | 一种基于多注意力融合的评教文本细粒度建议挖掘方法 | |
| Gao et al. | Generating natural adversarial examples with universal perturbations for text classification | |
| Huang et al. | C-Rnn: a fine-grained language model for image captioning | |
| CN117216234A (zh) | 基于人工智能的话术改写方法、装置、设备及存储介质 | |
| CN112349294A (zh) | 语音处理方法及装置、计算机可读介质、电子设备 | |
| KR101929509B1 (ko) | 형태소 합성 장치 및 방법 | |
| CN114298031A (zh) | 文本处理方法、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |