CN111339749B - 无条件文本生成方法、文本生成装置及存储介质 - Google Patents
无条件文本生成方法、文本生成装置及存储介质 Download PDFInfo
- Publication number
- CN111339749B CN111339749B CN202010137498.1A CN202010137498A CN111339749B CN 111339749 B CN111339749 B CN 111339749B CN 202010137498 A CN202010137498 A CN 202010137498A CN 111339749 B CN111339749 B CN 111339749B
- Authority
- CN
- China
- Prior art keywords
- text
- sub
- training
- data
- unconditional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种无条件文本生成方法，包括以下步骤：控制生成器生成文本数据；通过第一鉴别器计算所述文本数据中每一子文本的第一文本得分；根据每一所述子文本的所述第一文本得分确定目标子文本，并将所述目标子文本作为文本生成结果。本发明还公开了一种文本生成装置及计算机可读存储介质，达成了在保障文本生成质量的同时，提高文本生成结果的多样性的效果。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及无条件文本生成方法、文本生成装置及计算机可读存储介质。
背景技术
在文本生成过程中，一般通过NLM(Neural Language Model，神经网络语言模型)实现。常见的有基于循环神经网的LSTM(Long Short-Term Memory，长短期记忆)模型。NLM均采用自回归的方式，采用最大似然方法训练。由于通过NLM进行句子生成时存在曝光偏差(exposure bias)问题。
在现有技术中，为解决上述曝光偏差问题，一般基于GAN,(GenerativeAdversarial Networks，生成式对抗网络)改进NLM。该方式首先预训练一个NLM作为初始生成器，然后通过鉴别器对生成器生成的文本进行打分，将每一个生成句子的得分作为反馈信号传回给生成器。生成器根据这些反馈信号调整自己的参数，重新生成新一批句子。而鉴别器根据新生成的句子也调整自己的参数，对这些新生成的句子进行打分。这些打分作为反馈信号再回传给生成器用于其调参。如此往复，直至最后生成器和鉴别器都收敛。但是由于单词是离散型变量(有别于图像的像素是连续型变量)不可导，故导致反馈信号无法直接反传回生成器调参。因此需要通过基于强化学习或Gumble-softmax的方式使用GAN来改进NLM。基于强化学习的方法在对抗学习阶段，每生成一个词，便采用蒙特卡洛采样法将后面可能的单词补齐成一句话。然后鉴别器对这句话的真假进行判定。这样导致现有的无条件文本生成方法存在反馈稀疏且高方差等问题。基于Gumble-softmax的方式采用Gumble-Max技巧和近似策略使得独热向量可微分。这样做只是一种近似且取巧的做法，实际效果并不好。
由于现有技术都是基于GAN，通过修改预训练好的NLM的参数方式改善文本生成，而GAN会产生模式崩塌(mode collapse)，从而导致生成的句子的多样性很差。
发明内容
本发明的主要目的在于提供一种无条件文本生成方法、文本生成装置及计算机可读存储介质，旨在达成在保障文本生成质量的同时，提高文本生成结果的多样性的效果。
为实现上述目的，本发明提供一种无条件文本生成方法，所述无条件文本生成方法包括以下步骤：
控制生成器生成文本数据；
通过第一鉴别器计算所述文本数据中每一子文本的第一文本得分；
根据每一所述子文本的所述第一文本得分确定目标子文本，并将所述目标子文本作为文本生成结果。
可选地，所述控制生成器生成文本数据的步骤之前，还包括：
控制所述生成器生成目标数据量的训练文本；
根据所述训练文本及预设语料数据确定目标训练数据以及验证数据；
基于所述验证数据训练所述第一鉴别器。
可选地，所述目标数据量根据所述预设语料数据对应的文本数据量确定。
可选地，所述根据每一所述子文本的所述第一文本得分确定目标子文本，并将所述目标子文本作为文本生成结果的步骤包括：
将所述第一文本得分大于第一阈值的所述子文本作为所述目标子文本，并将所述目标子文本作为文本生成结果。
可选地，所述根据每一所述子文本的所述第一文本得分确定目标子文本，并将所述目标子文本作为文本生成结果的步骤包括：
将所述第一文本得分大于第一阈值的所述子文本作为第一子文本；
通过第二鉴别器计算所述第一子文本的第二文本得分；
将所述第二文本得分大于第二阈值的所述第一子文本作为所述目标子文本，并将所述目标子文本作为文本生成结果。
可选地，所述无条件文本生成方法还包括：
获取初始阈值，并将所述第一文本得分大于所述初始阈值的所述子文本作为阈值训练文本；
计算所述阈值训练文本的文本分布偏差；
在所述文本分布偏差满足预设要求时，将所述初始阈值作为所述第一阈值。
可选地，所述计算所述阈值训练文本的文本分布偏差的步骤之后，还包括：
在所述文本分布偏差不满足所述预设要求时，根据预设修正参数对所述初始阈值进行修正，并执行所述获取初始阈值，并将所述第一文本得分大于所述初始阈值的所述子文本作为阈值训练文本的步骤。
此外，为实现上述目的，本发明还提供一种文本生成装置，所述文本生成装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文本生成装置的控制程序，所述文本生成装置的控制程序被所述处理器执行时实现如上所述的无条件文本生成方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有文本生成装置的控制程序，所述文本生成装置的控制程序被处理器执行时实现如上所述的无条件文本生成方法的步骤。
本发明实施例提出的一种无条件文本生成方法、文本生成装置及计算机可读存储介质，先控制生成器生成文本数据，然后通过第一鉴别器计算所述文本数据中每一子文本的第一文本得分，最后根据每一所述子文本的所述第一文本得分确定目标子文本，并将所述目标子文本作为文本生成结果。由于采用一个充分训练的鉴别器，对生成器生成的样本进行打分。然后设定一个阈值，舍弃低分句子，保留高分句子。我们可简单认为生成器和鉴别器“焊接”在一起，视做一个新的生成器。这些被保留的句子作为新生成器的输出。新生成器生成的句子在质量和多样性两个方面都好于原生成器。使用这种对生成结果进行过滤而不是更新生成器本身参数的方法，彻底避开了不可导问题。进一步的，该方法还可以迭代使用：通过不断“焊接”更多的鉴别器来改善生成器的性能。实际应用中，还可以根据使用场景，通过调节阈值大小，以更倾向于质量或多样性：阈值越高，越适用于对质量要求高的场景；反之，更适用于对多样性要求高的场景。这样达成了在保障文本生成质量的同时，提高文本生成结果的多样性的效果。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明无条件文本生成方法一实施例的流程示意图；
图3为本发明无条件文本生成方法另一实施例的流程示意图；
图4为本发明文本生成装置的运行逻辑示意图；
图5为本发明文本生成装置的另一运行逻辑示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
由于现有技术的无条件文本生成方法存在生成的句子的多样性很差的缺陷，本申请为解决上述缺陷，提出一种无条件文本生成方法、文本生成装置及计算机可读存储介质，其中，所述无条件文本生成方法的主要解决方案为：
控制生成器生成文本数据；
通过第一鉴别器计算所述文本数据中每一子文本的第一文本得分；
根据每一所述子文本的所述第一文本得分确定目标子文本，并将所述目标子文本作为文本生成结果。
由于采用一个充分训练的鉴别器，对生成器生成的样本进行打分。然后设定一个阈值，舍弃低分句子，保留高分句子，将生成器和鉴别器“焊接”在一起，看做一个新的生成器。这些被保留的句子作为新生成器的输出。新生成器生成的句子在质量和多样性两个方面都好于原生成器。使用这种对生成结果进行过滤而不是更新生成器本身参数的方法，彻底避开了不可导问题。进一步的，该方法还可以迭代使用：通过不断“焊接”更多的鉴别器来改善生成器的性能。实际应用中，还可以根据使用场景，通过调节阈值大小，以更倾向于质量或多样性：阈值越高，越适用于对质量要求高的场景；反之，更适用于对多样性要求高的场景。这样达成了在保障文本生成质量的同时，提高文本生成结果的多样性的效果。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC机。
如图1所示，该终端可以包括：处理器1001，例如CPU，存储器1003，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。存储器1003可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1003可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1003中可以包括操作系统以及文本生成装置的控制程序或者终端的控制程序。
在图1所示的终端中，处理器1001可以用于调用存储器1003中存储的文本生成装置的控制程序，并执行以下操作：
控制生成器生成文本数据；
通过第一鉴别器计算所述文本数据中每一子文本的第一文本得分；
根据每一所述子文本的所述第一文本得分确定目标子文本，并将所述目标子文本作为文本生成结果。
进一步地，处理器1001可以调用存储器1003中存储的数据处理装置的控制程序，还执行以下操作：
控制所述生成器生成目标数据量的训练文本；
根据所述训练文本及预设语料数据确定目标训练数据以及验证数据；
基于所述验证数据训练所述第一鉴别器。
进一步地，处理器1001可以调用存储器1003中存储的数据处理装置的控制程序，还执行以下操作：
将所述第一文本得分大于第一阈值的所述子文本作为所述目标子文本，并将所述目标子文本作为文本生成结果。
进一步地，处理器1001可以调用存储器1003中存储的数据处理装置的控制程序，还执行以下操作：
将所述第一文本得分大于第一阈值的所述子文本作为第一子文本；
通过第二鉴别器计算所述第一子文本的第二文本得分；
将所述第二文本得分大于第二阈值的所述第一子文本作为所述目标子文本，并将所述目标子文本作为文本生成结果。
进一步地，处理器1001可以调用存储器1003中存储的数据处理装置的控制程序，还执行以下操作：
获取初始阈值，并将所述第一文本得分大于所述初始阈值的所述子文本作为阈值训练文本；
计算所述阈值训练文本的文本分布偏差；
在所述文本分布偏差满足预设要求时，将所述初始阈值作为所述第一阈值。
进一步地，处理器1001可以调用存储器1003中存储的数据处理装置的控制程序，还执行以下操作：
在所述文本分布偏差不满足所述预设要求时，根据预设修正参数对所述初始阈值进行修正，并执行所述获取初始阈值，并将所述第一文本得分大于所述初始阈值的所述子文本作为阈值训练文本的步骤。
参照图2，在本发明无条件文本生成方法的一实施例中，所述无条件文本生成方法包括以下步骤：
步骤S10、控制生成器生成文本数据；
步骤S20、通过第一鉴别器计算所述第一文本数据中每一子文本的第一文本得分；
步骤S30、根据每一所述子文本的所述第一文本得分确定目标子文本，并将所述目标子文本作为文本生成结果。
在本实施例中，可以预先通过最大似然训练一个语言模型，作为所述生成器。
具体地，可以预先训练一个神经网络语言模型。其中，神经网络语言模型的结构可以是基于RNN(Recurrent Neural Network，循环神经网络)的语言模型。比如LSTM模型；也可以是基于自我注意力(self-attention)的语言模型，比如Transformer(一种模型)。在语言模型的训练过程中，可以输入是大量真实的句子，用最大似然方法进行训练。具体何时终止训练，可以事先把训练样本划分一部分出来作为验证集，通过观察模型在该集合上的语言模型PPL(perplexity，混淆度)，来决定是否终止训练。
示例性地，可以从大量真实语句中事先划分一小部分句子作为验证数据集。以下简称验证集。为便于描述，不妨设有真实语句100万句，划分10万句作为验证集。用剩下的90万句训练NLM。每训练一个epoch(将所有训练样本训练一次)，便观察其在验证集上的PPL；反复训练，直到PPL不再下降时，将当前NLM作为所述生成器。
进一步地，在确定所述生成器后，基于所述生成器训练鉴别器。其中所述鉴别器可以是基于CNN(Convolutional Neural Networks，卷积神经网络)的鉴别器，也可以是与所述生成器(神经语言模型)具有相同结构的鉴别器，例如，可以采用LSTM或者Transformer。
需要说明的是，所述鉴别器的训练过程不同于生成对抗网(GAN)，在本方案所述鉴别器训练过程中，鉴别器需要充分训练直至其收敛，整个训练过程可能需要数十甚至上百个epoch，具体轮数和模型超参数有关。而GAN为了避免陷入局部最优，通常每次对抗只训练3-5个epoch。
示例性地，可以基于以下流程判断所述鉴别器是否收敛：
A、将用于训练所述生成器的预设预料数据设定为正样本。
B、控制所述生成器生成目标数据量的句子，作为训练文本，并将所述训练文本设定为负样本。其中，还可以从所述正样本及负样本中选定预设比例的划分出一部分样本，组成正样本验证集以及负样本验证集；剩余的正样本和负样本组成训练集。
可以理解的是，所述目标数量可以根据所述预设语料数据对应的文本数据量确定。例如，当所述预设语料数据包含100万个句子时，所述预设数量可以设置为100万。所述预设比例可以由开发人员自定义设定，可以设置5％至20％。示例性地，可以设置为10％。
C、用所述训练集，训练鉴别器。并在每训练一个epoch，让其对验证集中的正样本验证集和负样本验证集进行预测，以获取其准确率。反复训练，直到准确率收敛。
当完成生成器的训练以及鉴别器的训练后，可以获取预设的入参数据。其中，所述预设的入参数据可以是预先保存于数据库中的，用于文本生成的最小文本单元。例如，可以是词或者字。
在获取到入参数据后，通过预先训练的生成器生成第一文本数据。其中，所述第一文本数据可以包括子文本。其中，所述子文本可以是句子。
进一步地，当所述生成器生成第一文本数据后，可以通过第一鉴别器计算所述文本数据中每一子文本的第一文本得分，并将所述文本得分大于第一阈值的所述子文本作为所述目标子文本，并将所述目标子文本作为文本生成结果。
可选地，如图3所示，所述步骤S30可以包括以下步骤：
步骤S31、将所述第一文本得分大于第一阈值的所述子文本作为第一子文本；
步骤S32、通过第二鉴别器计算所述第一子文本的第二文本得分；
步骤S33、将所述第二文本得分大于第二阈值的所述第一子文本作为所述目标子文本，并将所述目标子文本作为文本生成结果。
需要说明的是，在设定所述第一阈值以及所述第二阈值时，可以先获取初始阈值，并将所述第一文本得分大于所述初始阈值的所述子文本作为阈值训练文本，然后计算所述阈值训练文本的文本分布偏差，并在所述文本分布偏差满足预设要求时，将所述初始阈值作为所述第一阈值。可选地，在所述文本分布偏差不满足所述预设要求时，根据预设修正参数对所述初始阈值进行修正，并执行所述获取初始阈值，并将所述第一文本得分大于所述初始阈值的所述子文本作为阈值训练文本的步骤。
其中，所述文本分布偏差可以根据以下公式计算：
dλ＝∫|pd(x)-pλ(x)|dx
其中，dλ为文本分布偏差，Pd(x)和Pλ(x)分别为文本x(真实文本和所述第一文本)在真实文本和生成文本中概率。
可以理解的是，也可以可以根据BLEU和SBLEU指标的方式，确定所述第一阈值和第二阈值。
需要说明的是，上述第一鉴别器和第二鉴别器并不用于限定本方案只能迭代多个鉴别器，本方案可以根据需要，迭代多个鉴别器。
参照图4，生成器Gmeld的密度函数是pmeld(x)。一般来说，pmeld(x)和pd(x)之间还存在偏差。对于新的生成器Gmeld，我们得到新的鉴别器
通过这个鉴别器，我们可以反复执行步骤2、3。每增加一个新的鉴别器
就得到一个新的生成器
反复循环迭代进行，直到收敛。循环迭代过滤法具体过程见图5。
可以理解的是：在无条件生成中，文本生成结果的多样性和质量同等重要。已有方法比如GAN通常是通过牺牲多样性来改善质量。而本申请要求保护的技术方案通过过滤掉和真实文本分别偏差大的生成样本，从而使得剩下的生成样本和真实样本的分布偏差变小。也即在质量和多样性两个方面同时改善生成器。
在本实施例公开的技术方案中，控制生成器生成文本数据，然后通过第一鉴别器计算所述文本数据中每一子文本的第一文本得分，最后根据每一所述子文本的所述第一文本得分确定目标子文本，并将所述目标子文本作为文本生成结果。由于采用一个充分训练的鉴别器，对生成器生成的样本进行打分。然后设定一个阈值，舍弃低分句子，保留高分句子，将生成器和鉴别器“焊接”在一起，看做一个新的生成器。这些被保留的句子作为新生成器的输出。新生成器生成的句子在质量和多样性两个方面都好于原生成器。使用这种对生成结果进行过滤而不是更新生成器本身参数的方法，彻底避开了不可导问题。进一步的，该方法还可以迭代使用：通过不断“焊接”更多的鉴别器来改善生成器的性能。实际应用中，还可以根据使用场景，通过调节阈值大小，以更倾向于质量或多样性：阈值越高，越适用于对质量要求高的场景；反之，更适用于对多样性要求高的场景。这样达成了在保障文本生成质量的同时，提高文本生成结果的多样性的效果。
此外，本发明实施例还提出一种文本生成装置，所述文本生成装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文本生成装置的控制程序，所述数据处理装置的控制程序被所述处理器执行时实现如上各个实施例所述的无条件文本生成方法的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理装置的控制程序，所述数据处理装置的控制程序被处理器执行时实现如上各个实施例所述的无条件文本生成方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是文本生成装置、PC机等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种无条件文本生成方法，其特征在于，所述无条件文本生成方法包括以下步骤：
控制生成器生成文本数据；
通过第一鉴别器计算所述文本数据中每一子文本的第一文本得分；
将所述第一文本得分大于第一阈值的所述子文本作为第一子文本；
通过第二鉴别器计算所述第一子文本的第二文本得分；
将所述第二文本得分大于第二阈值的所述第一子文本作为目标子文本，并将所述目标子文本作为文本生成结果；
所述无条件文本生成方法还包括：
获取初始阈值，并将所述第一文本得分大于所述初始阈值的所述子文本作为阈值训练文本；
计算所述阈值训练文本的文本分布偏差，其中，所述文本分布偏差为阈值训练文本在真实文本概率和在生成文本中概率的差的绝对值的积分；
在所述文本分布偏差满足预设要求时，将所述初始阈值作为所述第一阈值；其中，所述文本分布偏差可以根据以下公式计算：dλ＝∫|pd(x)-pλ(x)|dx ，其中，dλ为文本分布偏差，pd(x)和pλ(x)分别为文本x在真实文本和生成文本中概率。
2.如权利要求1所述的无条件文本生成方法，其特征在于，所述控制生成器生成文本数据的步骤之前，还包括：
控制所述生成器生成目标数据量的训练文本；
根据所述训练文本及预设语料数据确定目标训练数据以及验证数据；
基于目标训练数据以及所述验证数据训练所述第一鉴别器。
3.如权利要求2所述的无条件文本生成方法，其特征在于，所述目标数据量根据所述预设语料数据对应的文本数据量确定。
4.如权利要求1所述的无条件文本生成方法，其特征在于，所述计算所述阈值训练文本的文本分布偏差的步骤之后，还包括：
在所述文本分布偏差不满足所述预设要求时，根据预设修正参数对所述初始阈值进行修正，并执行所述获取初始阈值，并将所述第一文本得分大于所述初始阈值的所述子文本作为阈值训练文本的步骤。
5.一种文本生成装置，其特征在于，所述文本生成装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文本生成装置的控制程序，所述文本生成装置的控制程序被所述处理器执行时实现如权利要求1至4中任一项所述的无条件文本生成方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有文本生成装置的控制程序，所述文本生成装置的控制程序被处理器执行时实现如权利要求1至4中任一项所述的无条件文本生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010137498.1A CN111339749B (zh) | 2020-03-02 | 2020-03-02 | 无条件文本生成方法、文本生成装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010137498.1A CN111339749B (zh) | 2020-03-02 | 2020-03-02 | 无条件文本生成方法、文本生成装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111339749A CN111339749A (zh) | 2020-06-26 |
| CN111339749B true CN111339749B (zh) | 2022-05-20 |
Family
ID=71184934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010137498.1A Active CN111339749B (zh) | 2020-03-02 | 2020-03-02 | 无条件文本生成方法、文本生成装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111339749B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686282A (zh) * | 2020-12-11 | 2021-04-20 | 天津中科智能识别产业技术研究院有限公司 | 一种基于自学习数据的目标检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464955A (zh) * | 2007-12-18 | 2009-06-24 | 佳能株式会社 | 模式识别单元生成方法及信息处理装置 |
| CN101842809A (zh) * | 2007-11-01 | 2010-09-22 | 佳能株式会社 | 信息处理装置及信息处理方法 |
| CN110362997A (zh) * | 2019-06-04 | 2019-10-22 | 广东工业大学 | 一种基于生成对抗网络的恶意url过采样方法 |
| CN110717582A (zh) * | 2018-09-27 | 2020-01-21 | 谷歌有限责任公司 | 使用鉴别器神经网络从生成器神经网络采样 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5675214B2 (ja) * | 2010-08-18 | 2015-02-25 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US10540446B2 (en) * | 2018-01-31 | 2020-01-21 | Jungle Disk, L.L.C. | Natural language generation using pinned text and multiple discriminators |
| CN109657054B (zh) * | 2018-12-13 | 2021-02-02 | 北京百度网讯科技有限公司 | 摘要生成方法、装置、服务器及存储介质 |
| CN109918627B (zh) * | 2019-01-08 | 2024-03-19 | 平安科技（深圳）有限公司 | 文本生成方法、装置、电子设备及存储介质 |
| CN109885667A (zh) * | 2019-01-24 | 2019-06-14 | 平安科技（深圳）有限公司 | 文本生成方法、装置、计算机设备及介质 |
-
2020
- 2020-03-02 CN CN202010137498.1A patent/CN111339749B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101842809A (zh) * | 2007-11-01 | 2010-09-22 | 佳能株式会社 | 信息处理装置及信息处理方法 |
| CN101464955A (zh) * | 2007-12-18 | 2009-06-24 | 佳能株式会社 | 模式识别单元生成方法及信息处理装置 |
| CN110717582A (zh) * | 2018-09-27 | 2020-01-21 | 谷歌有限责任公司 | 使用鉴别器神经网络从生成器神经网络采样 |
| CN110362997A (zh) * | 2019-06-04 | 2019-10-22 | 广东工业大学 | 一种基于生成对抗网络的恶意url过采样方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111339749A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lu et al. | Attractor reconstruction by machine learning | |
| US11348570B2 (en) | Method for generating style statement, method and apparatus for training model, and computer device | |
| CN110110861B (zh) | 确定模型超参数及模型训练的方法和装置、存储介质 | |
| KR102300614B1 (ko) | 배치 재정규화 계층 | |
| US11132516B2 (en) | Sequence translation probability adjustment | |
| CN110546656A (zh) | 前馈生成式神经网络 | |
| JP7483751B2 (ja) | 教師なしデータ拡張を使用した機械学習モデルのトレーニング | |
| CN110751941B (zh) | 语音合成模型的生成方法、装置、设备及存储介质 | |
| CN111339749B (zh) | 无条件文本生成方法、文本生成装置及存储介质 | |
| KR102129161B1 (ko) | 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치 | |
| KR102079027B1 (ko) | 딥러닝 기술을 이용한 위상최적설계 방법 | |
| US8538901B2 (en) | Method for approximation of optimal control for nonlinear discrete time systems | |
| CN117093684A (zh) | 企业服务领域预训练对话式大语言模型的构建方法及系统 | |
| CN116955569A (zh) | 对话生成方法、装置、设备及存储介质 | |
| CN110390093B (zh) | 一种语言模型建立方法及装置 | |
| McKinleigh et al. | Optimizing knowledge distillation in large language models via recursive multi-modal distribution alignment | |
| KR20200032441A (ko) | 사용자 적응형 자동번역 모델 선택 강화 장치 및 방법 | |
| Yang et al. | Enabling Large Language Models to Learn from Rules | |
| CN111950579A (zh) | 分类模型的训练方法和训练装置 | |
| CN117975475A (zh) | 视觉语言模型指令微调方法及装置 | |
| CN117369796A (zh) | 代码构建方法、模型微调方法、设备及存储介质 | |
| CN115757749A (zh) | 一种对话处理方法、装置、电子设备及存储介质 | |
| CN115795303A (zh) | 一种搜索动态学习率的客户端状态识别方法及装置 | |
| Kapoor | Policy Gradients in a Nutshell | |
| CN115529350A (zh) | 参数优化方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |