CN113761845A - 一种文本生成方法、装置、存储介质及电子设备 - Google Patents

一种文本生成方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113761845A
CN113761845A CN202110117687.7A CN202110117687A CN113761845A CN 113761845 A CN113761845 A CN 113761845A CN 202110117687 A CN202110117687 A CN 202110117687A CN 113761845 A CN113761845 A CN 113761845A
Authority
CN
China
Prior art keywords
word
text
determining
decoder
current predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110117687.7A
Other languages
English (en)
Inventor
梁嘉辉
鲍军威
吴友政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110117687.7A priority Critical patent/CN113761845A/zh
Publication of CN113761845A publication Critical patent/CN113761845A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Abstract

本发明实施例公开了一种文本生成方法、装置、存储介质及电子设备，其中方法包括：获取初始文本，根据所述初始文本中各词的相关性并生成所述初始文本的关联词图；将所述初始文本输入至预先训练的文本生成模型中，获取所述解码器循环输出的当前预测词，基于所述关联词图确定所述当前预测词的关联子图，其中，所述关联子图中包括所述当前预测词的至少一个相邻词；基于所述关联子图确定所述当前预测词的更新特征，将所述更新特征输入至所述解码器，确定下一预测词；基于所述解码器输出的各预测词得到所述初始文本对应的目标文本。在解码器循环解码过程中，将聚合了相邻词的特征信息的更新特征输入至解码器，降低了上一循环的输出特征信息中的误差的影响。

Description

一种文本生成方法、装置、存储介质及电子设备
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种文本生成方法、装置、存储介质及电子设备。
背景技术
随着人工智能技术的不断提升，机器已经可以不断替代人工在各个场景下进行工作。具体到文案创作场景，在新闻评论、商品营销文案、商品评论等方向上AI的创作能力都发光发热。
在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：现有的序列到序列生成模型框架在解码时存在累计偏差(exposure bias)问题，由于在测试阶段解码器每一步的输入是上一时刻解码器的输出，所以如果模型某一时刻的解码输出出现误差，那么误差会一直向后传播，对最终生成的文本质量有很大的影响。
发明内容
本发明实施例提供一种文本生成方法、装置、存储介质及电子设备，以降低文本生成过程中的累积误差。
第一方面，本发明实施例提供了一种文本生成方法，包括：
获取初始文本，根据所述初始文本中各词的相关性并生成所述初始文本的关联词图；
将所述初始文本输入至预先训练的文本生成模型中，其中，所述文本生成模型包括编码器和解码器；
获取所述解码器循环输出的当前预测词，基于所述关联词图确定所述当前预测词的关联子图，其中，所述关联子图中包括所述当前预测词的至少一个相邻词；
基于所述关联子图确定所述当前预测词的更新特征，将所述更新特征输入至所述解码器，确定下一预测词；
基于所述解码器输出的各预测词得到所述初始文本对应的目标文本。
第二方面，本发明实施例还提供了一种文本生成装置，包括：
关联词图获取模块，用于获取初始文本，根据所述初始文本中各词的相关性并生成所述初始文本的关联词图；
初始文本输入模块，用于将所述初始文本输入至预先训练的文本生成模型中，其中，所述文本生成模型包括编码器和解码器；
关联子图确定模块，用于获取所述解码器循环输出的当前预测词，基于所述关联词图确定所述当前预测词的关联子图，其中，所述关联子图中包括所述当前预测词的至少一个相邻词；
更新特征确定模块，用于基于所述关联子图确定所述当前预测词的更新特征，将所述更新特征输入至所述解码器，确定下一预测词；
目标文本确定模块，用于基于所述解码器输出的各预测词得到所述初始文本对应的目标文本。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例提供的文本生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的文本生成方法。
本实施例的技术方案，通过预先确定初始文本中各词的关联词图，在文本生成模型对初始文本的处理过程中，文本生成模型的解码器对编码器输出的编码特征进行循环解码处理，每一次循环输出一个预测词，通过该预测词在关联词图中确定具有关联关系的相邻词，形成关联子图，该关联子图中包括预测词与相邻词的关联关系，基于上述相邻词以及对应的关联关系生成预测词的更新特征，该更新特征聚合了相邻词的特征信息，将更新特征输入至解码器进行下一循环解码，得到下一预测词，该下一预测词基于更新特征和上一循环的输出特征信息共同确定，降低了上一循环的输出特征信息中的误差的影响，提高了预测词的准确度，以及目标文本的准确度。
附图说明
图1为本发明实施例一提供的文本生成方法的流程示意图；
图2是本发明实施例提供的一种关联词图的创建过程示意图；
图3是本发明实施例提供的文本生成模型的处理流程示意图；
图4是本发明实施例二提供的一种文本生成装置的结构示意图；
图5为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的文本生成方法的流程示意图，本实施例可适用于条件文本的自动生成情况，该方法可以由本发明实施例提供的文本生成装置来执行，该装置可通过软件和/或硬件的方式实现，该装置可集成于诸如计算机、手机、服务器等的电子设备中。该方法具体包括如下步骤：
S110、获取初始文本，根据所述初始文本中各词的相关性并生成所述初始文本的关联词图。
S120、将所述初始文本输入至预先训练的文本生成模型中，其中，所述文本生成模型包括编码器和解码器。
S130、获取所述解码器循环输出的当前预测词，基于所述关联词图确定所述当前预测词的关联子图，其中，所述关联子图中包括所述当前预测词的至少一个相邻词。
S140、基于所述关联子图确定所述当前预测词的更新特征，将所述更新特征输入至所述解码器，确定下一预测词。返回执行步骤S130，直到所述当前预测词为结束词，执行步骤S150。
S150、基于所述解码器输出的各预测词得到所述初始文本对应的目标文本。
本实施例中，基于预先训练的文本生成模型对初始文本进行处理得到目标文本。在一实施例中，文本生成模型为翻译文本生成模型，初始文本为待翻译文本，目标文本为初始文本的翻译文本，该翻译文本生成模型基于初始样本文本和上述初始样本文本对应的标准翻译文本训练得到。在一些实施例中，文本生成模型为摘要文本生成模型，初始文本为待提取摘要的全文稿，例如新闻全稿、论文全稿或者其他文章全稿等，目标文本为初始文本的摘要文本，相应的，该摘要文本生成模型基于初始样本文本和上述初始样本文本对应的标准摘要文本训练得到。在其他实施例中，文本生成模型还可以是其他条件文本生成模型，用于基于初始文本生成对应的条件文本，对此不作限定。
本实施例中，在获取初始文本之后，对初始文本进行预处理，得到初始文本的关联词图。例如可以是对初始文本进程分词处理，得到初始文本中多个词，对得到的各个词进行低频词过来，剔除低频词，降低低频词对文本生成过程的干扰。进一步的，将各筛选后的各词设置索引标识，例如可以是词序号，诸如1、2…N等。创建各词与索引标识的对应关系，便于后续通过索引标识快速确定对应的词。在一些实施例中，还包括将各词转换为词向量，便于对各个词进行处理。
对筛选后得到的词进行任意两次词之间的相关性计算，得到任意两次词之间的相关性系数，基于该相关性系数创建关联词图，其中，相关性系数表征该相关性系数对应的两个词之间的关联关系越密切。本实施例中不限定相关性系数的计算方式。在一些实施例中，可以是将任意两个词的点互信息((point mutual information，PMI)确定为相关性系数。例如词x和词y的点互信息为：
Figure BDA0002921336270000051
其中，p(x,y)为词x和词y在初始文本中作为相邻词出现的概率，p(x)和p(y)分别为词x和词y在初始文本中出现的概率。其中，上述p(x,y)、p(x)以及p(y)分别基于共现矩阵确定。
在上述实施例的基础上，根据所述初始文本中各词的相关性并生成所述初始文本的关联词图，包括：基于预设窗口在初始文本中滑动，确定初始文本中在所述预设窗口中的各个词；确定所述预设窗口中的各个词之间的相关性系数，将所述相关性系数满足预设阈值的词之间建立关联关系，形成关联词图。
预设窗口用于决定每一次词的相邻范围，若任意两个词的距离满足相邻范围，则确定上述两个词在预设窗口内。通过将预设窗口在初始文本中滑动，以确定每一个词的相邻范围，以及该相邻范围内进行相关性计算的各个词。示例性的，预设窗口的窗口大小可根据用户需求设置，例如可以是3或5。以窗口大小为3为例，对于任一词，将该词前后的3个词作为该词的相邻范围内的词，分别与该任一词进行相关性计算。通过设置预设窗口，限定了进行相关性计算的词的范围，降低了相关性计算量，减少了大量无效计算，提高了初始文本的处理效率。
对于相邻范围内的任意两词，基于初始文本的共现矩阵，确定上述任意两词的PMI值，即相关性系数。根据预设阈值对上述任意两词的相关性系数进行验证，如果上述任意两词的相关性系数大于等于预设阈值，则创建上述任意两词的关联关系，例如通过连线将上述任意两词连接，其中，该关联关系中携带有上述任意两词的相关性系数。
可选的，在计算任意两词的PMI值之前，确定关联词图中是否已包括上述任意两词的关联关系，若是，则取消计算任意两词的PMI值，若否，则计算任意两词的PMI值。
示例性的，参见图2，图2是本发明实施例提供的一种关联词图的创建过程示意图。其中，图2中预设窗口的窗口大小为1，预设阈值为1.5，需要说明的是，图2仅是一种示例，在其他实施例中，可根据需求设置预设窗口和预设阈值。其中，图2中词“is”与词“a”之间的相关性系数为4.52，大于预设阈值，相应的，在关联词图中词“is”与词“a”之间设置有关联关系，即连接线，并以此类推。相应的，具有关联关系的两个词互为相邻词。
本实施例中，通过对初始文本进行预处理，得到初始文本的关联词图，用于表征各个词之间的关联关系，便于查询任一词的具有关联关系的相邻词。
本实施例中，在文本生成模型对初始文本进行处理过程中，通过关联词图提供辅助信息，参考各个词的相邻词，降低处理过程中误差累积，提高目标文本的质量。
其中，文本生成模型包括编码器和解码器，是基于序列到序列(Sequence2Sequence)的框架形成的模型。可选的，编码器和解码器分别为循环网络模型，示例性的，可以是LSTM(Long Short-Term Memory，长短期记忆网络)和GRU等循环神经网络。编码器对初始文本进行循环处理得到初始文本的编码特征，将该编码特征输入至解码器，解码器对所述编码特征进行循环解码，得到初始文本对应的目标文本。
示例性的，参见图3，图3是本发明实施例提供的文本生成模型的处理流程示意图。解码器对编码特征进行解码处理，输出第一预测值t1，基于关联词图确定第一预测值t1的关联子图，并基于t1的关联子图确定第一预测值t1的更新特征，将更新特征和解码器上一循环输出的特征信息输入至解码器，确定下一预测词，即第二预测词t2，并依次类推。当解码器完成解码时，将各预测性进行组合得到目标文本。本实施例中，下一预测词基于上一预测词的关联子图以及上一循环输出的特征信息公共确定，替代了现有技术中下一预测词仅基于上一循环输出的特征信息确定的情况，降低了上一循环输出的特征信息中误差对下一预测词的影响，提高了下一预测词的准确度，进一步提高了目标文本的准确度。
其中，在解码器的任一次循环中，解码器输出的预测结果中可以是包括多个候选词，以及各候选词的置信概率，可以是将置信概率最大的后续词确定为当前预测词。在一些实施例中，解码器输出的预测结果可以是各词的索引标识，根据预先设置的初始文本中词与索引标识的对应关系，确定解码器输出的索引标识对应的当前预测词。
将当前预测词在关联词图中进行匹配，确定关联词图中当前预测词对应的当前节点。可选的，基于所述关联词图确定所述当前预测词的关联子图，包括：确定所述当前预测词在所述关联词图中的相邻词，基于所述相邻词确定所述当前预测词的关联子图。具体的，通过当前节点的关联节点确定相邻词，即各关联节点对应的词为当前预测词的相邻词。在一些实施例中，可以是基于至少一个相邻词确定当前预测词的关联子图，可选的，从关联词图中截取包括当前预测词以及至少一个相邻词的子图，确定为关联子图，例如可以是从关联词图中截取当前节点与各个关联节点的子图，或者从关联词图中截取与局部关联节点的子图。可选的，从关联词图中提取当前预测词和至少一个相邻词的关联关系，并基于当前预测词、至少一个相邻词以及提取的当前预测词和各个相邻词的关联关系绘制关联子图。
通过当前预测词的各个相邻词与当前预测词的相关性系数更新当前预测词的特征信息，即更新特征中聚合了相邻词的特征信息，提高了当前预测词的特征信息的准确性。
在一些实施例中，基于所述相邻词确定所述当前预测词的关联子图，包括：对所述相邻词进行采样，得到预设数量或预设数量比例的采样相邻词；基于所述采样相邻词确定所述当前预测词的关联子图。其中，预设数量和预设数量比例根据用户需求设置，例如预设数量可以是5，预设数量比例可以是50％。
可选的，在当前预测词的相邻词中进行随机采样，得到预设数量的采样相邻词，其中，若当前预测词的相邻词数量小于预设数量，则将当前预测词的相邻词全部采样，作为采样相邻词。可选的，在当前预测词的相邻词中进行随机采样，基于相邻词的数量，采样得到预设数量比例的采样相邻词，其中，若预设数量比例与相邻词的数量乘积为小数时，向上取整确定采样相邻词的数量。
在上述实施例的基础上，关联子图中包括当前预测词对应的当前节点，各采样相邻词对应的关联节点(即子图节点)，携带有相关性系数的关联关系(即子图中节点连接线)。
本实施例中，通过对当前预测词的相邻词中进行随机采样，对于相同的预测词，在每次采样时确定不同的采样相邻词，以生成不同的更新特征，进一步预测得到不同的下一预测词，提高目标文本的多样性，避免目标文件千篇一律的情况。
在上述实施例的基础上，基于所述关联子图确定所述当前预测词的更新特征，包括：将所述关联子图输入至预先训练的图自注意力模型中，得到所述当前预测词的更新特征。示例性的，图自注意力模型为GAT(graph attention network)模型，图自注意力模型能够对关联子图进行处理，得到关联子图的图结构信息，作为当前预测词的更新特征，以将当前预测词的更新特征作为下一预测词的指导信息。
在一些实施例中，在对文本生成模型与图自注意力模型应用之前，还包括创建初始文本生成模型以及初始图自注意力模型，并对初始文本生成模型以及初始图自注意力模型进行同步训练，调节模型参数，以得到具有目标文本生成功能的文本生成模型与以及图自注意力确定功能的图自注意力模型。具体的，将初始样本文本输入至待训练的初始文本生成模型中，在文本生成模型对始样本文本进行循环解码中，基于初始的图自注意力模型对各个循环输出的预测词的关联子图进行自注意力处理，得到更新特征，输入至上述初始文本生成模型的解码器中，以进行下一预测词的解码，得到预测文本。基于预测文本与初始样本文本对应的标准文本确定损失函数，并基于损失函数对初始文本生成模型以及初始图自注意力模型进行同步的参数调节。迭代执行上述训练过程，直到满足训练结束条件，得到最终的文本生成模型与图自注意力模型。
可选的，基于所述关联子图确定所述当前预测词的更新特征，包括：将所述关联子图中各词的词向量进行非线性映射，确定各词的特征信息；基于所述各词的特征信息确定所述当前预测词对各相邻词的注意力权重，对所述注意力权重进行归一化处理得到所述当前预测词更新特征。
关联子图中各词的词向量为h＝{h1，h2，…，hN}，
Figure BDA0002921336270000101
其中，h1可以是当前预测词的词向量，h2…hN可以是相邻词的词向量。N为节点个数，F为节点特征的个数。矩阵h的大小是N×F,代表了关联子图中所有节点的特征，而
Figure BDA0002921336270000102
只代表了某一个节点的特征，所以它的大小为F×1。
对关联子图中各词的词向量进行非线性映射可以是通过那个参数矩阵运算和非线性激活函数运算，得到各词的新表征，即各词的特征信息。即
Figure BDA0002921336270000111
Figure BDA0002921336270000112
可选的，基于所述各词的特征信息确定所述当前预测词对各相邻词的注意力权重，可以是基于各词的特征信息确定自注意系数，基于自注意系数确定当前预测词对各相邻词的注意力权重。
示例性的，对于当前预测词i和相邻词j，确定当前预测词i的自注意力权重，可以是
Figure BDA0002921336270000113
其中，W为所有节点的权重矩阵，
Figure BDA0002921336270000114
a(·)为预先设置参数。相应的，注意力权重可以是基于如下公式确定：
Figure BDA0002921336270000115
其中，Ni为相邻词的集合。
可选的，对所述注意力权重进行归一化处理得到所述当前预测词更新特征可以是基于如下公式实现：
Figure BDA0002921336270000116
其中，hi'为当前预测词更新特征，σ(·)是激活函数。
在上述实施例的基础上，将更新特征输入至所述解码器，以使解码器基于聚合有相邻词的特征信息的更新特征进行解码，得到下一预测词，提高了下一预测词的准确度。可选的，将更新特征输入至所述解码器，确定下一预测词，包括：将所述更新特征与解码器上一循环输出的特征信息进行合并，得到合并特征；将所述合并特征输入至所述解码器，确定下一预测词。其中，解码器上一循环输出的特征信息可以是解码器在当前时刻的隐状态。示例性的，对更新特征与解码器上一循环输出的特征信息进行合并可以是将更新特征与上一循环输出的特征信息按列合并，得到合并特征。解码器对该合并特征进行解码处理，得到下一预测词。
判断该下一预测词是否为结束词，若是，则基于已输出的各个预测词生成目标文本，若否，基于该下一预测词循环执行上述过程，确定下一预测词的关联子图以及更新特征，并返回至解码器，直到确定结束词。
在一些实施例中，当下一预测词为预先输入的结束标识时，确定该下一预测词为结束词。在一些实施例中，确定下一预测词是否满足预设循环次数，若是，则确定该下一预测词为结束词。其中，预设循环次数可根据目标文本的预测词长度确定，示例性的，目标文本的预测词长度为10，当下一预测词对应的循环次数为10时，确定满足预设循环次数，即该下一预测词为结束词。
本实施例的技术方案，通过预先确定初始文本中各词的关联词图，在文本生成模型对初始文本的处理过程中，文本生成模型的解码器对编码器输出的编码特征进行循环解码处理，每一次循环输出一个预测词，通过该预测词在关联词图中确定具有关联关系的相邻词，形成关联子图，该关联子图中包括预测词与相邻词的关联关系，基于上述相邻词以及对应的关联关系生成预测词的更新特征，该更新特征聚合了相邻词的特征信息，将更新特征输入至解码器进行下一循环解码，得到下一预测词，该下一预测词基于更新特征和上一循环的输出特征信息共同确定，降低了上一循环的输出特征信息中的误差的影响，提高了预测词的准确度，以及目标文本的准确度。
实施例二
图4是本发明实施例二提供的一种文本生成装置的结构示意图，该装置包括：
关联词图获取模块210，用于获取初始文本，根据所述初始文本中各词的相关性并生成所述初始文本的关联词图；
初始文本输入模块220，用于将所述初始文本输入至预先训练的文本生成模型中，其中，所述文本生成模型包括编码器和解码器；
关联子图确定模块230，用于获取所述解码器循环输出的当前预测词，基于所述关联词图确定所述当前预测词的关联子图，其中，所述关联子图中包括所述当前预测词的至少一个相邻词；
更新特征确定模块240，用于基于所述关联子图确定所述当前预测词的更新特征，将所述更新特征输入至所述解码器，确定下一预测词；
目标文本确定模块250，用于基于所述解码器输出的各预测词得到所述初始文本对应的目标文本。
在上述实施例的基础上，关联词图获取模块210用于：
基于预设窗口在初始文本中滑动，确定初始文本中在所述预设窗口中的各个词；
确定所述预设窗口中的各个词之间的相关性系数，将所述相关性系数满足预设阈值的词之间建立关联关系，形成关联词图。
在上述实施例的基础上，关联子图确定模块230包括：
相邻词确定单元，用于确定所述当前预测词在所述关联词图中的相邻词；
关联子图确定单元，用于基于所述相邻词确定所述当前预测词的关联子图。
在上述实施例的基础上，关联子图确定单元用于：
对所述相邻词进行采样，得到预设数量或预设数量比例的采样相邻词；
基于所述采样相邻词确定所述当前预测词的关联子图。
在上述实施例的基础上，更新特征确定模块240用于：
将所述关联子图输入至预先训练的图自注意力模型中，得到所述当前预测词的更新特征。
在上述实施例的基础上，更新特征确定模块240用于：
将所述关联子图中各词的词向量进行非线性映射，确定各词的特征信息；
基于所述各词的特征信息确定所述当前预测词对各相邻词的注意力权重，对所述注意力权重进行归一化处理得到所述当前预测词更新特征。
在上述实施例的基础上，更新特征确定模块240用于：
将所述更新特征与解码器上一循环输出的特征信息进行合并，得到合并特征；
将所述合并特征输入至所述解码器，确定下一预测词。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例三
图5为本发明实施例三提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的电子设备12的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担图像分类功能的电子设备。
如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器16，存储装置28，连接不同系统组件(包括存储装置28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块26的程序36，可以存储在例如存储装置28中，这样的程序模块26包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块26通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、摄像头、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的文本生成方法。
实施例四
本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的文本生成方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的文本生成方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的源代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的源代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机源代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。源代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种文本生成方法，其特征在于，包括：
获取初始文本，根据所述初始文本中各词的相关性并生成所述初始文本的关联词图；
将所述初始文本输入至预先训练的文本生成模型中，其中，所述文本生成模型包括编码器和解码器；
获取所述解码器循环输出的当前预测词，基于所述关联词图确定所述当前预测词的关联子图，其中，所述关联子图中包括所述当前预测词的至少一个相邻词；
基于所述关联子图确定所述当前预测词的更新特征，将所述更新特征输入至所述解码器，确定下一预测词；
基于所述解码器输出的各预测词得到所述初始文本对应的目标文本。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始文本中各词的相关性并生成所述初始文本的关联词图，包括：
基于预设窗口在初始文本中滑动，确定初始文本中在所述预设窗口中的各个词；
确定所述预设窗口中的各个词之间的相关性系数，将所述相关性系数满足预设阈值的词之间建立关联关系，形成关联词图。
3.根据权利要求1所述的方法，其特征在于，所述基于所述关联词图确定所述当前预测词的关联子图，包括：
确定所述当前预测词在所述关联词图中的相邻词，基于所述相邻词确定所述当前预测词的关联子图。
4.根据权利要求3所述的方法，其特征在于，所述基于所述相邻词确定所述当前预测词的关联子图，包括：
对所述相邻词进行采样，得到预设数量或预设数量比例的采样相邻词；
基于所述采样相邻词确定所述当前预测词的关联子图。
5.根据权利要求1所述的方法，其特征在于，所述基于所述关联子图确定所述当前预测词的更新特征，包括：
将所述关联子图输入至预先训练的图自注意力模型中，得到所述当前预测词的更新特征。
6.根据权利要求1所述的方法，其特征在于，所述基于所述关联子图确定所述当前预测词的更新特征，包括：
将所述关联子图中各词的词向量进行非线性映射，确定各词的特征信息；
基于所述各词的特征信息确定所述当前预测词对各相邻词的注意力权重，对所述注意力权重进行归一化处理得到所述当前预测词更新特征。
7.根据权利要求1所述的方法，其特征在于，所述将所述更新特征输入至所述解码器，确定下一预测词，包括：
将所述更新特征与解码器上一循环输出的特征信息进行合并，得到合并特征；
将所述合并特征输入至所述解码器，确定下一预测词。
8.一种文本生成装置，其特征在于，包括：
关联词图获取模块，用于获取初始文本，根据所述初始文本中各词的相关性并生成所述初始文本的关联词图；
初始文本输入模块，用于将所述初始文本输入至预先训练的文本生成模型中，其中，所述文本生成模型包括编码器和解码器；
关联子图确定模块，用于获取所述解码器循环输出的当前预测词，基于所述关联词图确定所述当前预测词的关联子图，其中，所述关联子图中包括所述当前预测词的至少一个相邻词；
更新特征确定模块，用于基于所述关联子图确定所述当前预测词的更新特征，将所述更新特征输入至所述解码器，确定下一预测词；
目标文本确定模块，用于基于所述解码器输出的各预测词得到所述初始文本对应的目标文本。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的文本生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的文本生成方法。
CN202110117687.7A 2021-01-28 2021-01-28 一种文本生成方法、装置、存储介质及电子设备 Pending CN113761845A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110117687.7A CN113761845A (zh) 2021-01-28 2021-01-28 一种文本生成方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110117687.7A CN113761845A (zh) 2021-01-28 2021-01-28 一种文本生成方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113761845A true CN113761845A (zh) 2021-12-07

Family

ID=78786495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110117687.7A Pending CN113761845A (zh) 2021-01-28 2021-01-28 一种文本生成方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113761845A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185896A1 (zh) * 2022-03-31 2023-10-05 北京有竹居网络技术有限公司 一种文本生成方法、装置、计算机设备及存储介质
CN117313656A (zh) * 2023-09-21 2023-12-29 成都明途科技有限公司 文本生成方法、训练方法、模型、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185896A1 (zh) * 2022-03-31 2023-10-05 北京有竹居网络技术有限公司 一种文本生成方法、装置、计算机设备及存储介质
CN117313656A (zh) * 2023-09-21 2023-12-29 成都明途科技有限公司 文本生成方法、训练方法、模型、装置、设备及存储介质
CN117313656B (zh) * 2023-09-21 2024-05-07 成都明途科技有限公司 文本生成方法、训练方法、模型、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107293296B (zh) 语音识别结果纠正方法、装置、设备及存储介质
US10762305B2 (en) Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium
CN111783451A (zh) 用于增强文本样本的方法和装置
CN110580308B (zh) 信息审核方法及装置、电子设备、存储介质
CN109697292B (zh) 一种机器翻译方法、装置、电子设备和介质
CN111382271B (zh) 文本分类模型的训练方法及装置、文本分类方法及装置
CN113434683B (zh) 文本分类方法、装置、介质及电子设备
WO2022174496A1 (zh) 基于生成模型的数据标注方法、装置、设备及存储介质
CN110263218B (zh) 视频描述文本生成方法、装置、设备和介质
CN112988753B (zh) 一种数据搜索方法和装置
CN113327599B (zh) 语音识别方法、装置、介质及电子设备
CN113761845A (zh) 一种文本生成方法、装置、存储介质及电子设备
CN112200173B (zh) 多网络模型训练方法、图像标注方法和人脸图像识别方法
CN111767833A (zh) 模型生成方法、装置、电子设备及存储介质
CN115221516A (zh) 恶意应用程序识别方法及装置、存储介质、电子设备
CN116166271A (zh) 代码生成方法、装置、存储介质及电子设备
CN113408507B (zh) 基于履历文件的命名实体识别方法、装置和电子设备
CN113761895A (zh) 文本摘要的生成方法、装置、电子设备及存储介质
CN116467485A (zh) 一种视频图像检索构建系统及其方法
CN115270719A (zh) 基于多模态信息的文本摘要生成方法、训练方法及其装置
CN114625860A (zh) 一种合同条款的识别方法、装置、设备及介质
CN112699272B (zh) 信息输出方法、装置和电子设备
CN113762459A (zh) 一种模型训练方法、文本生成方法、装置、介质及设备
CN110826616B (zh) 信息处理方法及装置、电子设备、存储介质
CN113762308A (zh) 分类模型的训练方法、分类方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination