CN111626044B - 文本生成方法、装置、电子设备及计算机可读存储介质 - Google Patents

文本生成方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111626044B
CN111626044B CN202010408195.9A CN202010408195A CN111626044B CN 111626044 B CN111626044 B CN 111626044B CN 202010408195 A CN202010408195 A CN 202010408195A CN 111626044 B CN111626044 B CN 111626044B
Authority
CN
China
Prior art keywords
text
graph
feature vector
inputting
texts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010408195.9A
Other languages
English (en)
Other versions
CN111626044A (zh
Inventor
封江涛
周浩
陈云博
李磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010408195.9A priority Critical patent/CN111626044B/zh
Publication of CN111626044A publication Critical patent/CN111626044A/zh
Application granted granted Critical
Publication of CN111626044B publication Critical patent/CN111626044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开实施例公开了一种文本生成方法、装置、电子设备和计算机可读存储介质。其中该文本生成方法包括：获取原始文本的第一文本和第二文本；根据所述第二文本生成第三文本的图，其中所述第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；根据所述第一文本和所述第三文本的图生成第四文本。上述方法通过生成第三文本的图，并使用第三文本的图和第一文本来生成第四文本，解决了现有技术中生成的关键词缺乏多样性的技术问题。

Description

文本生成方法、装置、电子设备及计算机可读存储介质
技术领域
本公开涉及文本生成领域，尤其涉及一种文本生成方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网技术的发展，互联网的传播形态正在不断的变革之中，从早期的PC电脑端，到今天的智能手机端，网民接入网络的方式越来越便捷，人们进入了一个移动互联网时代，以智能手机、平板电脑等为代表的移动终端已经日益大众化，移动互联网应用逐渐渗透到人们的日常生活当中，人们可以随时随地的享受着新技术带来的便利。
用户可以在互联网中搜索各种各样的信息，如商品信息、文章等等。在召回与用户搜索匹配的信息时，通常可以给信息设置一些推荐词，如与商品属性相关的关键词，与文章内容或标题相关的关键词等等，以使用户可以快速确定自己想要的信息。但是现有技术中确定推荐词的方式比较固定，以文章为例，一般通过文章的标题或内容提取其中的关键词作为推荐词，但是这样对于每个文章来说，其关键词就缺乏多样性，无法扩展出与文章相关的其他关键词。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开实施例提供一种文本生成方法，包括：
获取原始文本的第一文本和第二文本；
根据所述第二文本生成第三文本的图，其中所述第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；
根据所述第一文本和所述第三文本的图生成第四文本。
第二方面，本公开实施例提供一种文本生成模型的训练方法，包括：
获取训练集合，其中所述训练集合中包括第一文本和第二文本的文本对；
获取关系图；
将所述第二文本输入所述关系图生成第三文本的图；
初始化所述文本生成模型的参数；
将所述第一文本和所述第三文本的图输入所述文本生成模型得到第四文本的概率值；
根据所述概率值以及损失函数计算误差值；
根据所述误差值更新所述参数；
迭代上述参数的更新过程直至达到收敛条件得到所述文本生成模型的参数。
第三方面，本公开实施例提供一种文本生成装置，包括：
文本获取模块，用于获取原始文本的第一文本和第二文本；
图生成模块，用于根据所述第二文本生成第三文本的图，其中第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；
文本生成模块，用于根据所述第一文本和所述第三文本的图生成第四文本。第四方面，本公开实施例提供一种文本生成模型的训练装置，包括：
训练集合获取模块，用于获取训练集合，其中所述训练集合中包括第一文本和与其对应的第二文本；
关系图获取模块，用于获取关系图；
第三文本的图生成模块，用于将所述第二文本输入所述关系图生成第三文本的图；
参数初始化模块，用于初始化所述文本生成模型的参数；
预测模块，用于将所述第一文本和所述第三文本的图输入所述文本生成模型得到第四文本的概率值；
误差计算模块，用于根据所述概率值以及损失函数计算误差值；
更新模块，用于根据所述误差值更新所述参数；
迭代模块，迭代上述参数的更新过程直至达到收敛条件得到所述文本生成模型的参数。
第五方面，本公开实施例提供一种电子设备，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面或第二方面中的任一所述的方法。
第六方面，本公开实施例提供一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行前述第一方面或第二方面中的任一所述的方法。
本公开实施例公开了一种文本生成方法、装置、电子设备和计算机可读存储介质。其中该文本生成方法包括：获取原始文本的第一文本和第二文本；根据所述第二文本生成第三文本的图，其中所述第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；根据所述第一文本和所述第三文本的图生成第四文本。上述方法通过生成第三文本的图，并使用第三文本的图和第一文本来生成第四文本，解决了现有技术中生成的关键词缺乏多样性的技术问题。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例提供的文本生成方法的流程示意图；
图2a为本公开实施例提供的文本生成方法中的步骤S102的流程示意图；
图2b-2d为本公开实施例提供的关系图的示例；
图2e为本公开实施例中根据关系图得到的第三文本的图的示例；
图3为本公开实施例提供的文本生成方法中的步骤S103进一步具体实例示意图；
图4为本公开实施例提供的文本生成方法中的步骤S302的一个具体实例示意图；
图5为本公开实施例提供的文本生成方法中的步骤S401的一个具体实例示意图；
图6为本公开实施例提供的文本生成方法中的步骤S303的一个具体实例示意图；
图7为本公开实施例提供的文本生成方法中的后处理过程的一个具体实例示意图；
图8为本公开实施例提供的文本生成方法中的后处理过程的另一个具体实例示意图；
图9a为本公开实施例中的文本生成方法的一个具体实例示例图；
图9b为本公开实施例中的文本生成模型的一个具体实例示例图；
图10为本公开实施例提供的文本生成装置的实施例的结构示意图；
图11为根据本公开实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1为本公开实施例提供的文本生成方法实施例的流程图，本实施例提供的该文本生成方法可以由一文本生成装置来执行，该文本生成装置可以实现为软件，或者实现为软件和硬件的组合，该文本生成装置可以集成设置在文本生成系统中的某设备中，比如文本生成服务器或者文本生成终端设备中。如图1所示，该方法包括如下步骤：
步骤S101，获取原始文本的第一文本和第二文本；
示例性的，所述原始文本为任何形式的文章或广告的落地页等带有文字或者可以转换成文字的资源。
可选的，所述步骤S101包括：根据原始文本获取所述原始文本的第一文本；根据所述原始文本和/或所述原始文本的第一文本获取所述原始文本的第二文本。
示例性的，所述第一文本为原始文本的标题，如文章的标题和广告的标题等；第二文本为通过关键词提取算法提取出的关键词等，所述关键词为所述原始文本中的词或者原始文本的标题中的词。可以理解的，所述词为具有具体含义的词，其可以只包括一个字，在此不再赘述。
步骤S102，根据所述第二文本生成第三文本的图；
其中，所述第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系。
可选的，如图2a所示，所述步骤S102包括：
步骤S201，将所述第二文本输入关系图，其中所述关系图的节点为第三文本，所述关系图中的边为所述第三文本之间的关系；
步骤S202，根据所述关系图中与所述第二文本符合匹配规则的第三文本以及所述与第二文本匹配的第三文本之间的关系形成所述第三文本的图。
其中，步骤S201中的关系图为预先生成的关系图，其中可以包括多种图，示例性的，所述关系图中包括标题和关键词的关系图，其生成过程为：获取一个标题，将其与从标题中获取到的关键词建立连接关系，这样可以形成一个以标题和关键词为节点，以标题和关键词之间的连接关系为边的关系图。示例性的，所述标题为“abdc”，所述关键词为“12”、“34”、“56”，则如图2b所示，所述关系图中包括表示标题的节点“ab”、“bc”、“cd”和表示关键词的节点“12”、“34”、“56”之间均建立一条边，以“ab”为例，其与节点“12”、“34”、“56”之间均包括一条边。
所述关系图中还可以包括关键词和字的关系图，其生成过程为：获取一个关键词中的每一个字，将其与每个字建立连接关系，这样可以形成一个以关键词和关键词中的字为节点，以关键词和字之间的链接关系为边的关系图。示例性的，所述关键词为“123”、“345”、“678”，则如图2c所示，所述关系图中包括表示关键词的节点“123”、“345”、“678”和表示关键词中的字的节点“1”、“2”、……“7”、“8”，其中每个关键词和其包含的字之间有一条边。
所述关系图中还可以包括关键词和关键词的关系图，其生成过程为：获取文本中的关键词，如果关键词同时出现在同一个文本中，则建立这两个关键词之间的连接关系，这样可以形成一个以关键词为节点，关键词之间的连接关系为边的关系图。示例性的，所述关键词为“123”、“345”、“678”，则如图2d所示，所述关系图中包括表示关键词的节点“123”、“345”、“678”两两之间有一条边。
可以理解的，步骤S201中的关系图可以包括上述关系图中的任意一个或多个，并且本公开对关系图的具体定义并不做限制，使用其他规则建立的关系图也可以应用到本公开的实施例中，在此不再赘述。示例性的，为了生成与关键词提取算法提取的关键词不同的关键词，在生成所述关系图时，可以将上述关系图中标题和其关键词的连接关系删除，而只包括标题和不在标题中的关键词之间的连接关系。
在步骤S202中，将第二文本输入所述关系图中，使用预先设定的匹配规则从所述关系图中提取第三文本的图。示例性的，所述第二文本为“cde3”,将所述“cde3”输入所述关系图中，以上述附图2b-2d中的例子为例，将所述“cde3”输入附图2b所示的关系图中，则“cd”可以匹配到“12”、“34”“56”，则可以将其对应的子图提取出来；将所述“cde3”输入附图2c所示的关系图中，则通过“3”可以匹配到“123”和“345”，则可以将其对应的子图提取出来；将所述“cde3”输入附图2d所示的关系图中，没有可以匹配的节点，因此在该关系图中没有提取出子图。如果上述关系图为步骤S201中所述的三种关系图，则最终提取出的第三文本的图如图2e所示。也即是说，所述第三文本的图为所述关系图的子图，通过输入第二文本将与第二文本关联的节点以及节点的边都提取出来以形所述第三文本的图。
可选的，在得到所述第三文本的图之后，可以对所述第三文本的图进行进一步的处理：在所述第三文本的图中设置一个初始节点，其中该初始节点与所述第三文本的图中的所有节点都相连，所述初始节点为默认文本。该初始节点设置为默认文本，示例性的，该默认文本为占位符。所述初始节点与第三文本的图中的每个节点之间都有一条边。
步骤S103，根据所述第一文本和所述第三文本的图生成第四文本。
可选的，所述步骤S103包括：将所述第一文本和所述第三文本的图输入文本生成模型以生成第四文本。可选的，所述文本生成模型包括第一文本编码器、图编码器以及解码器，如图3所示，所述将所述第一文本和所述第三文本的图输入文本生成模型以生成第四文本，包括：
步骤S301,将所述第一文本输入所述第一文本编码器生成所述第一文本的特征向量；
步骤S302，将所述第三文本的图输入所述图编码器生成所述第三文本的图的特征向量；
步骤S303，将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器得到所述第四文本。
可选的，所述步骤S301包括：将所述第一文本中的多个字输入所述第一文本编码器得到所述第一文本中的多个字的向量作为所述第一文本的特征向量。示例性的，所述第一文本编码器为序列到序列的生成模型，示例性的，所述序列到序列的生成模型为transformer模型，第一文本被输入所述transformer模型而转换成其对应特征向量。在输入所述第一文本编码器之前，所述第一文本被拆分成多个字，将每个字转换成向量形式输入所述第一文本编码器，经过所述第一文本编码器的编码得到所述多个字中的每个字的特征向量形成所述第一文本的特征向量。
在该示例中，transformer模型作为第一文本编码器将第一文本转换成其对应的特征向量：
t1:N＝Transformer1(T1:N) (1)
其中，T1:N为第一文本，t1:N为第一文本的特征向量，Transformer1()表示第一文本编码器的函数形式。
可选的，所述步骤S302中的图编码器包括第二文本编码器和图卷积网络，所述步骤S302进一步包括：
步骤S401,将所述第三文本的图中的节点所表示的第三文本输入所述第二文本编码器得到所述第三文本的特征向量；
步骤S402，以所述第三文本的特征向量表示所述第三文本的图的节点，将所述第三文本的图输入所述图卷积网络得到所述第三文本的图的特征向量。
示例性的，所述第二文本编码器也是序列到序列的模型，示例性的所述序列到序列的模型为另外一个transformer模型，第三文本的图中的节点表示第三文本，将第三文本输入所述transformer模型以转换成其对应特征向量。在输入所述第二文本编码器之前，所述第三文本被拆分成多个字，将每个字转换成向量形式输入所述第二文本编码器，经过所述第二文本编码器的编码得到所述多个字中的每个字的特征向量以形成所述第三文本的特征向量。
在该示例中，transformer模型作为第二文本编码器将第三文本转换成其对应的特征向量，以
Figure BDA0002492127350000061
表示第三文本的图中的节点：
Figure BDA0002492127350000062
其中，
Figure BDA0002492127350000063
为第三文本中的多个字，/>
Figure BDA0002492127350000064
为第三文本中的字的特征向量，Transformer2()表示二文本编码器的函数形式。
可选的，如图5所示，所述步骤S401包括：
步骤S501，将所述第三文本中的多个字输入所述第二文本编码器得到所述第三文本中的多个字的特征向量；
步骤S502，将所述多个字的特征向量做最大池化处理得到所述第三文本的特征向量。
其中，所述最大池化处理为将多个字的特征向量按位取最大值以形成一个特征向量，将该特征向量作为该节点所对应的第三文本的特征向量。示例性的，以
Figure BDA0002492127350000065
表示将所述多个字的特征向量做最大池化处理得到的所述第三文本的特征向量。
在步骤S402中，将在步骤S401中得到的第三文本的特征向量表示第三文本的图的节点，即第三文本的图的节点的值使用第三文本的特征向量来替换。之后，将所述第三文本的图输入所述图卷积网络得到所述第三文本的图的特征向量。所述第三文本的图的边可以表示为一个关系矩阵AK*K，矩阵AK*K＝[aij]中的每个点aij表示图中两个节点之间的连接关系，如果aij＝1表示节点i和节点j之间有边，如果aij＝0，表示节点i和节点j之间没有边，所述图编码器中的每一个卷积层包括计算每个节点的特征值的权重，该权重为所述图卷积网络的参数，也是所述文本生成模型的部分参数，每个节点都可以使用该权重值以及其相邻节点的值计算出其加权值作为该卷积层输出的特征值，可以理解的，所述图卷积网络包括一个或多个所述卷积层，每一层的参数不同，由此可以通过卷积层得到所述第三文本的特征向量，所述图卷积网络的输出还是一个图，该图中的边与所述第三文本的图中的边相同，该图中的节点的值为所述第三文本的特征向量。
在该示例中，图卷积网络将第三文本的图的转换成其对应的特征向量：
Figure BDA0002492127350000071
其中s0:K为第三文本的图的特征向量，GNC()表示图卷积网络的函数形式。
可选的，如图6所示，所述步骤S303包括：
步骤S601，将所述第一文本的特征向量做最大池化处理得到第一文本的最大池化特征向量；
步骤S602，根据所述第一文本的最大池化特征向量生成初始输入向量；
步骤S603，将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器的注意力层；
步骤S604，将所述初始输入向量输入所述解码器的输入层；
步骤S605，所述解码器输出所述第四文本。
在步骤S601中，将通过步骤S301得到的第一文本的特征向量做最大池化处理得到第一文本的最大池化特征向量，所述最大池化处理可以参考步骤S502中的处理方式，在此不再赘述。
在步骤S602中生成初始输出向量，所述初始出入向量为所述解码器的初始输入值，示例性的，可以将所述第一文本的最大池化特征向量直接作为初始输入向量；或者将所述将第三文本的图的特征向量中表示所述初始节点的图特征向量与所述第一文本的最大池化特征向量合并成所述初始输入向量。示例性的，以将初始节点的图的特征向量和第一文本的最大池化特征向量合并为例：
Figure BDA0002492127350000072
其中seed表示初始输入向量，
Figure BDA0002492127350000073
表示t1:N的最大池化特征向量，s0表示初始节点的图特征向量，·表示合并处理，W为合并的系数。
在步骤S603中，将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器的注意力层，以提取所述解码器的输出应该注意的输入序列的部分，所述注意力层包括权重值，所述权重值用来计算当前解码器的输出与输入序列中的哪部分相关，以经过权重计算之后的第一文本的特征向量和所述第三文本的图的特征向量作为所述解码器的另外一部分输入。示例性的，将t1:N和s1:K合并成m1:(N+K)＝[t1:N；s1:K]作为解码器的注意力层的输入。
在步骤S604中将所述初始输入向量输入所述解码器的输入层，之后在步骤S605中所述解码器根据输入层的输入数据以及注意力层的输入数据输出所述第四文本。其中所述第四文本即为所述原始文本所对应的关键词，由于经过的关系图生成了第三文本的图作为生成所述关键词的依据，因此相对于现有技术中的从原始文本中直接通过关键词提取算法提取关键词的方法，本公开中的方法可以增加生成的关键词的多样性，如可以生成原始文本中并不存在关键词作为所述原始文本的关键词。示例性的，所述解码器为LSTM模型，此时：
Figure BDA0002492127350000081
其中，
Figure BDA0002492127350000082
文本生成模型预测出的第四文本，LSTM()表示LSTM模型的函数形式。
对于文本生成模型整体来说，其输入为T1:N和S0:K，输出为
Figure BDA0002492127350000083
该输出通过如下条件概率分布得出：
Figure BDA0002492127350000084
上述文本生成模型通过以下训练方法生成：
获取训练集合，其中所述训练集合中包括第一文本和第二文本的文本对；
获取关系图；
将所述第二文本输入所述关系图生成第三文本的图；
初始化所述文本生成模型的参数；
将所述第一文本和所述第三文本的图输入所述文本生成模型得到第四文本的概率值；
根据所述概率值以及损失函数计算误差值；
根据所述误差值更新所述参数；
迭代上述参数的更新过程直至达到收敛条件得到所述文本生成模型的参数。
示例性的，上述训练过程所使用的损失函数为：
Figure BDA0002492127350000085
其中θ表示所述文本生成模型的参数集合，Oj表示第j时刻的输出，O1:j-1表示第j时刻之前的输出。其中(7)表示训练集合中的一个样本的损失函数值，在实际训练中可以将多个样本的损失函数值一起计算全局的损失函数值，在此不再赘述。
另外，在训练的过程中，为了加快训练的速度，可以随机将第三文本的图中的节点丢弃一些，示例性的可以以10％的概率随机丢弃一些第三文本的图中的节点以及与该节点相关的边，之后使用剩下的第三文本的图进行训练，这样可以使得模型的鲁棒性增强，以应对输入中的噪声。
为了增加第四文本的多样性，所述步骤S303进一步包括：
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器；
确定所述解码器输出的第四文本中的第一个字；
所述解码器根据所述第一个字输出所述第四文本中剩余的字。
示例性的，所述解码器为LSTM模型，该模型每个时刻输出该时刻输出的字的概率，如模型可以输出5000个字，则每个时刻输出的是一个包括5000位的向量，向量中的每一位表示该时刻输出的字的概率，一般情况下是选取概率最高的字作为当前时刻输出的字，但是这样输出的话可能会导致输出的第四文本缺乏多样性，因此在输出第一个字的时候，可以指定第一个字，示例性的，需要输出k个第四文本，则可以选取固定的k个第一个字，之后所述解码器根据不同的第一个字再按照概率选取剩余的字以得到第四文本，这样能够得到k个第四文本，且由于第一个字不同，因此得到的每个第四文本都不同。
在一个实施例中，为了保证最终得到的第四文本的准确性和数量，在步骤S103得到所述第四文本之后还包括后处理的过程，所述后处理的过程包括：根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本。
可选的，如图7所示，所述根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本，包括：
步骤S701，计算多个所述第四文本与所述第一文本或所述原始文本的相关度；
步骤S702，将相关度高于第一阈值的第四文本确定为目标文本。
在该实施例中，预先设置第一阈值作为相关度阈值。示例性的，所述相关度由相关度计算模型来计算，所述相关度计算模型为单独训练的模型。通过相关度计算模型计算每个第四文本与第一文本或原始文本的相关度，之后仅保留相关度高于第一阈值的第四文本作为目标文本。
可选的，如图8所示，所述根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本，包括：
步骤801，计算多个所述第四文本之间的相似度；
步骤802，将相似度高于第二阈值的多个第四文本进行去重处理得到目标文本。
在该实施例中，预先设置第二阈值为相似度阈值。计算多个第四文本两两之间的相似度，之后将高于第二阈值的第四文本进行去重，示例性的，去重可以通过随机保留相似度高的两个第四文本中的一个来实现。示例性的，所述相似度可以通过以下公式计算：
Figure BDA0002492127350000091
其中X和Y表示第四文本，如关键词；|·|表示第四文本中的字的个数。示例性的，X为“1234”，Y为“3456”，则2|X∩Y|＝2*2＝4，|X|+|Y|＝4+4＝8，则sim(X,Y)＝4/8＝0.5,即“1234”和“3456”的相似度为0.5。
可以理解的，上述两个过程也可以混合，即先计算相关度，相关度大的第四文本再计算相似度；或者先计算相似度，再计算去重之后的第四文本的相关度。
为了增加第四文本的多样性和数量，还可以将步骤S102中得到的第三文本的图中的节点所表示的第三文本作为第四文本输出到后处理过程中，经过上述后处理得到最终的第四文本。则最终得到的第四文本中包括通过步骤S103计算得到的第四文本还包括通过步骤S102中通过关系图得到的第四文本。
如图9a所示为本公开实施例的一个具体实例。其中原始文本为文章，该文章首先被分为主体部分和标题部分，其中标题部分可以被直接输入文本生成模型，主体部分和标题部分经过关键词提取，提取出文章的关键词，此时的关键词是通过常规的关键词提取算法提取的，其提取出的关键词比较固定。之后将提取出的关键词输入关系图，得到关键词的子图。此时将标题和所述子图输入所述文本生成模型得到模型预测的关键词，在预测阶段可以通过控制模型第一个输出来控制模型输出多个不同的关键词，之后将多个不同的关键词经过上述后处理得到最终的结果。上述实例中的具体处理过程可以参见上述图1-8中的实施例的描述，在此不再赘述。
如图9b所示，为本公开实施例中文本生成模型的具体实例。其中包括编码器和解码器。其中编码器包括标题编码器transformer1、关键词编码器transformer2和图卷积网络GNC。transformer1将标题中的字进行编码得到其特征向量；关键词编码器transformer2将第三文本的图中的节点进行编码得到第三文本中的字的特征向量并将其进行最大池化得到一个第三文本的特征向量作为输入图卷积网络中的图的节点的值。之后将第三文本的图输入GNC得到每个节点的图的特征向量，此时将初始节点(黑色)对应的图的特征向量和标题特征向量的最大池化特征向量合并作为解码器LSTM的一个初始出入，将标题的特征向量和除了初始节点之外的图中的其他节点对应的图的特征向量合并作为LSTM的注意力层的输入，通过LSTM得到预测的关键词。上述模型的细节同样可以参考上述文本生成方法的实施例中的描述，在此不再赘述。
本公开实施例公开了一种文本生成方法。其中该文本生成方法包括：获取原始文本的第一文本和第二文本；根据所述第二文本生成第三文本的图，其中所述第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；根据所述第一文本和所述第三文本的图生成第四文本。上述方法通过生成第三文本的图，并使用第三文本的图和第一文本来生成第四文本，解决了现有技术中生成的关键词缺乏多样性的技术问题。
在上文中，虽然按照上述的顺序描述了上述方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。
图10为本公开实施例提供的文本生成装置实施例的结构示意图，如图10所示，该装置1000包括：文本获取模块1001、图生成模块1002和文本生成模块1003。其中，
文本获取模块1001，用于获取原始文本的第一文本和第二文本；
图生成模块1002，用于根据所述第二文本生成第三文本的图，其中第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；
文本生成模块1003，用于根据所述第一文本和所述第三文本的图生成第四文本。
进一步的，所述文本获取模块1001，还用于：
根据原始文本获取所述原始文本的第一文本；
根据所述原始文本和/或所述原始文本的第一文本获取所述原始文本的第二文本。
进一步的，所述图生成模块1002，还用于：
将所述第二文本输入关系图，其中所述关系图的节点为第三文本，所述关系图中的边为所述第三文本之间的关系；
根据所述关系图中与所述第二文本符合匹配规则的第三文本以及所述与第二文本匹配的第三文本之间的关系形成所述第三文本的图。
进一步的，所述第三文本的图中设置有一个初始节点，其中该初始节点与所述第三文本的图中的所有节点都相连，所述初始节点为默认文本。
进一步的，所述文本生成模块1003，还用于：
将所述第一文本和所述第三文本的图输入文本生成模型以生成第四文本。
进一步的，所述文本生成模型包括第一文本编码器、图编码器以及解码器，其中所述文本生成模块1003，还用于：
将所述第一文本输入所述第一文本编码器生成所述第一文本的特征向量；
将所述第三文本的图输入所述图编码器生成所述第三文本的图的特征向量；
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器得到所述第四文本。
进一步的，所述文本生成模块1003，还用于：
将所述第一文本中的多个字输入所述第一文本编码器得到所述第一文本中的多个字的向量作为所述第一文本的特征向量。
进一步的，所述图编码器包括第二文本编码器和图卷积网络，其中所述文本生成模块1003，还用于：
将所述第三文本的图中的节点所表示的第三文本输入所述第二文本编码器得到所述第三文本的特征向量；
以所述第三文本的特征向量表示所述第三文本的图的节点，将所述第三文本的图输入所述图卷积网络得到所述第三文本的图的特征向量。
进一步的，所述文本生成模块1003，还用于：
将所述第三文本中的多个字输入所述第二文本编码器得到所述第三文本中的多个字的特征向量；
将所述多个字的特征向量做最大池化处理得到所述第三文本的特征向量。
进一步的，所述文本生成模块1003，还用于：
将所述第一文本的特征向量做最大池化处理得到第一文本的最大池化特征向量；
根据所述第一文本的最大池化特征向量生成初始输入向量；
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器的注意力层；
将所述初始输入向量输入所述解码器的输入层；
所述解码器输出所述第四文本。
进一步的，所述文本生成模块1003，还用于：
将第三文本的图的特征向量中表示所述初始节点的图的特征向量与所述第一文本的最大池化特征向量合并成所述初始输入向量。
进一步的，所述文本生成模块1003，还用于：
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器；
确定所述解码器输出的第四文本中的第一个字；
所述解码器根据所述第一个字输出所述第四文本中剩余的字。
进一步的，所述装置1000，还包括：
后处理模块，用于根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本。
进一步的，所述后处理模块，还用于：
计算多个所述第四文本与所述第一文本或所述原始文本的相似度；
将相关度高于第一阈值的第四文本确定为目标文本。
进一步的，所述后处理模块，还用于：
计算多个所述第四文本之间的相似度；
将相似度高于第二阈值的多个第四文本进行去重处理得到目标文本。
图10所示装置可以执行图1-图8所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图8所示实施例中的描述，在此不再赘述。
本公开实施例还提供了一种文本生成模型的训练装置，其特征在于，包括：
训练集合获取模块，用于获取训练集合，其中所述训练集合中包括第一文本和与其对应的第二文本；
关系图获取模块，用于获取关系图；
第三文本的图生成模块，用于将所述第二文本输入所述关系图生成第三文本的图；
参数初始化模块，用于初始化所述文本生成模型的参数；
预测模块，用于将所述第一文本和所述第三文本的图输入所述文本生成模型得到第四文本的概率值；
误差计算模块，用于根据所述概率值以及损失函数计算误差值；
更新模块，用于根据所述误差值更新所述参数；
迭代模块，迭代上述参数的更新过程直至达到收敛条件得到所述文本生成模型的参数。
上述文本生成模型的训练装置可以上述实施例的文本生成模型的训练方法的实施例中的方法，本实施例未详细描述的部分，可参考对上述文本生成模型的训练方法实施例的相关说明，在此不再赘述。
下面参考图11，其示出了适于用来实现本公开实施例的电子设备1100的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图11示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100可以包括处理装置(例如中央处理器、图形处理器等)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储装置1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有电子设备1100操作所需的各种程序和数据。处理装置1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
通常，以下装置可以连接至I/O接口1105：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1106；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1107；包括例如磁带、硬盘等的存储装置1108；以及通信装置1109。通信装置1109可以允许电子设备1100与其他设备进行无线或有线通信以交换数据。虽然图11示出了具有各种装置的电子设备1100，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1109从网络上被下载和安装，或者从存储装置1108被安装，或者从ROM 1102被安装。在该计算机程序被处理装置1101执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取原始文本的第一文本和第二文本；根据所述第二文本生成第三文本的图，其中所述第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；根据所述第一文本和所述第三文本的图生成第四文本。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，提供了一种文本生成方法，包括：
获取原始文本的第一文本和第二文本；
根据所述第二文本生成第三文本的图，其中所述第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；
根据所述第一文本和所述第三文本的图生成第四文本。
进一步的，获取原始文本的第一文本和第二文本，包括：
根据原始文本获取所述原始文本的第一文本；
根据所述原始文本和/或所述原始文本的第一文本获取所述原始文本的第二文本。
进一步的，所述根据所述第二文本生成第三文本的图，包括：
将所述第二文本输入关系图，其中所述关系图的节点为第三文本，所述关系图中的边为所述第三文本之间的关系；
根据所述关系图中与所述第二文本符合匹配规则的第三文本以及所述与第二文本匹配的第三文本之间的关系形成所述第三文本的图。
进一步的，所述第三文本的图中设置有一个初始节点，其中该初始节点与所述第三文本的图中的所有节点都相连，所述初始节点为默认文本。
进一步的，所述根据所述第一文本和所述第三文本的图生成第四文本，包括：
将所述第一文本和所述第三文本的图输入文本生成模型以生成第四文本。
进一步的，所述文本生成模型包括第一文本编码器、图编码器以及解码器，其中所述将所述第一文本和所述第三文本的图输入文本生成模型以生成第四文本，包括：
将所述第一文本输入所述第一文本编码器生成所述第一文本的特征向量；
将所述第三文本的图输入所述图编码器生成所述第三文本的图的特征向量；
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器得到所述第四文本。
进一步的，所述将所述第一文本输入所述第一文本编码器生成所述第一文本的特征向量，包括：
将所述第一文本中的多个字输入所述第一文本编码器得到所述第一文本中的多个字的向量作为所述第一文本的特征向量。
进一步的，所述图编码器包括第二文本编码器和图卷积网络，其中所述将所述第三文本的图输入所述图编码器生成所述第三文本的图的特征向量，包括：
将所述第三文本的图中的节点所表示的第三文本输入所述第二文本编码器得到所述第三文本的特征向量；
以所述第三文本的特征向量表示所述第三文本的图的节点，将所述第三文本的图输入所述图卷积网络得到所述第三文本的图的特征向量。
进一步的，所述将所述第三文本的图中的节点所表示的第三文本输入所述第二文本编码器得到所述第三文本的特征向量，包括：
将所述第三文本中的多个字输入所述第二文本编码器得到所述第三文本中的多个字的特征向量；
将所述多个字的特征向量做最大池化处理得到所述第三文本的特征向量。
进一步的，所述将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器得到所述第四文本，包括：
将所述第一文本的特征向量做最大池化处理得到第一文本的最大池化特征向量；
根据所述第一文本的最大池化特征向量生成初始输入向量；
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器的注意力层；
将所述初始输入向量输入所述解码器的输入层；
所述解码器输出所述第四文本。
进一步的，所述根据所述第一文本的最大池化特征向量生成初始输入向量，包括：
将第三文本的图的特征向量中表示所述初始节点的图的特征向量与所述第一文本的最大池化特征向量合并成所述初始输入向量。
进一步的，所述将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器得到所述第四文本，包括：
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器；
确定所述解码器输出的第四文本中的第一个字；
所述解码器根据所述第一个字输出所述第四文本中剩余的字。
进一步的，在所述根据所述第一文本和所述第三文本的图生成第四文本之后，还包括：
根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本。
进一步的，所述根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本，包括：
计算多个所述第四文本与所述第一文本或所述原始文本的相似度；
将相关度高于第一阈值的第四文本确定为目标文本。
进一步的，所述根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本，包括：
计算多个所述第四文本之间的相似度；
将相似度高于第二阈值的多个第四文本进行去重处理得到目标文本。
根据本公开的一个或多个实施例，提供了一种文本生成模型的训练方法，包括：
获取训练集合，其中所述训练集合中包括第一文本和第二文本的文本对；
获取关系图；
将所述第二文本输入所述关系图生成第三文本的图；
初始化所述文本生成模型的参数；
将所述第一文本和所述第三文本的图输入所述文本生成模型得到第四文本的概率值；
根据所述概率值以及损失函数计算误差值；
根据所述误差值更新所述参数；
迭代上述参数的更新过程直至达到收敛条件得到所述文本生成模型的参数。
根据本公开的一个或多个实施例，提供了一种文本生成装置，包括：
文本获取模块，用于获取原始文本的第一文本和第二文本；
图生成模块，用于根据所述第二文本生成第三文本的图，其中第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；
文本生成模块，用于根据所述第一文本和所述第三文本的图生成第四文本。
进一步的，所述文本获取模块，还用于：
根据原始文本获取所述原始文本的第一文本；
根据所述原始文本和/或所述原始文本的第一文本获取所述原始文本的第二文本。
进一步的，所述图生成模块，还用于：
将所述第二文本输入关系图，其中所述关系图的节点为第三文本，所述关系图中的边为所述第三文本之间的关系；
根据所述关系图中与所述第二文本符合匹配规则的第三文本以及所述与第二文本匹配的第三文本之间的关系形成所述第三文本的图。
进一步的，所述第三文本的图中设置有一个初始节点，其中该初始节点与所述第三文本的图中的所有节点都相连，所述初始节点为默认文本。
进一步的，所述文本生成模块，还用于：
将所述第一文本和所述第三文本的图输入文本生成模型以生成第四文本。
进一步的，所述文本生成模型包括第一文本编码器、图编码器以及解码器，其中所述文本生成模块，还用于：
将所述第一文本输入所述第一文本编码器生成所述第一文本的特征向量；
将所述第三文本的图输入所述图编码器生成所述第三文本的图的特征向量；
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器得到所述第四文本。
进一步的，所述文本生成模块，还用于：
将所述第一文本中的多个字输入所述第一文本编码器得到所述第一文本中的多个字的向量作为所述第一文本的特征向量。
进一步的，所述图编码器包括第二文本编码器和图卷积网络，其中所述文本生成模块，还用于：
将所述第三文本的图中的节点所表示的第三文本输入所述第二文本编码器得到所述第三文本的特征向量；
以所述第三文本的特征向量表示所述第三文本的图的节点，将所述第三文本的图输入所述图卷积网络得到所述第三文本的图的特征向量。
进一步的，所述文本生成模块，还用于：
将所述第三文本中的多个字输入所述第二文本编码器得到所述第三文本中的多个字的特征向量；
将所述多个字的特征向量做最大池化处理得到所述第三文本的特征向量。
进一步的，所述文本生成模块，还用于：
将所述第一文本的特征向量做最大池化处理得到第一文本的最大池化特征向量；
根据所述第一文本的最大池化特征向量生成初始输入向量；
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器的注意力层；
将所述初始输入向量输入所述解码器的输入层；
所述解码器输出所述第四文本。
进一步的，所述文本生成模块，还用于：
将第三文本的图的特征向量中表示所述初始节点的图的特征向量与所述第一文本的最大池化特征向量合并成所述初始输入向量。
进一步的，所述文本生成模块，还用于：
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器；
确定所述解码器输出的第四文本中的第一个字；
所述解码器根据所述第一个字输出所述第四文本中剩余的字。
进一步的，所述装置，还包括：
后处理模块，用于根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本。
进一步的，所述后处理模块，还用于：
计算多个所述第四文本与所述第一文本或所述原始文本的相似度；
将相关度高于第一阈值的第四文本确定为目标文本。
进一步的，所述后处理模块，还用于：
计算多个所述第四文本之间的相似度；
将相似度高于第二阈值的多个第四文本进行去重处理得到目标文本。
根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一所述方法。
根据本公开的一个或多个实施例，提供了一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行前述任一所述方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (20)

1.一种文本生成方法，其特征在于，包括：
获取原始文本的第一文本和第二文本；其中，根据所述原始文本获取所述原始文本的第一文本，根据所述原始文本提取关键词得到所述原始文本的第二文本；
根据所述第二文本生成第三文本的图，其中所述第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；其中，所述第三文本为根据符合预设匹配规则的第二文本生成的；
根据所述第一文本和所述第三文本的图生成第四文本。
2.如权利要求1所述的文本生成方法，其中，所述获取原始文本的第一文本和第二文本，包括：
根据原始文本获取所述原始文本的第一文本；
根据所述原始文本和/或所述原始文本的第一文本获取所述原始文本的第二文本。
3.如权利要求1所述的文本生成方法，其中所述根据所述第二文本生成第三文本的图，包括：
将所述第二文本输入关系图，其中所述关系图的节点为第三文本，所述关系图中的边为所述第三文本之间的关系；
根据所述关系图中与所述第二文本符合匹配规则的第三文本以及所述与第二文本匹配的第三文本之间的关系形成所述第三文本的图。
4.如权利要求3所述的文本生成方法，其中：
所述第三文本的图中设置有一个初始节点，其中该初始节点与所述第三文本的图中的所有节点都相连，所述初始节点为默认文本。
5.如权利要求1-4中任一项所述的文本生成方法，其中所述根据所述第一文本和所述第三文本的图生成第四文本，包括：
将所述第一文本和所述第三文本的图输入文本生成模型以生成第四文本。
6.如权利要求5所述的文本生成方法，其中所述文本生成模型包括第一文本编码器、图编码器以及解码器，其中所述将所述第一文本和所述第三文本的图输入文本生成模型以生成第四文本，包括：
将所述第一文本输入所述第一文本编码器生成所述第一文本的特征向量；
将所述第三文本的图输入所述图编码器生成所述第三文本的图的特征向量；
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器得到所述第四文本。
7.如权利要求6所述的文本生成方法，其中所述将所述第一文本输入所述第一文本编码器生成所述第一文本的特征向量，包括：
将所述第一文本中的多个字输入所述第一文本编码器得到所述第一文本中的多个字的向量作为所述第一文本的特征向量。
8.如权利要求6所述的文本生成方法，其中所述图编码器包括第二文本编码器和图卷积网络，其中所述将所述第三文本的图输入所述图编码器生成所述第三文本的图的特征向量，包括：
将所述第三文本的图中的节点所表示的第三文本输入所述第二文本编码器得到所述第三文本的特征向量；
以所述第三文本的特征向量表示所述第三文本的图的节点，将所述第三文本的图输入所述图卷积网络得到所述第三文本的图的特征向量。
9.如权利要求8所述的文本生成方法，其中所述将所述第三文本的图中的节点所表示的第三文本输入所述第二文本编码器得到所述第三文本的特征向量，包括：
将所述第三文本中的多个字输入所述第二文本编码器得到所述第三文本中的多个字的特征向量；
将所述多个字的特征向量做最大池化处理得到所述第三文本的特征向量。
10.如权利要求6所述的文本生成方法，其中所述将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器得到所述第四文本，包括：
将所述第一文本的特征向量做最大池化处理得到第一文本的最大池化特征向量；
根据所述第一文本的最大池化特征向量生成初始输入向量；
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器的注意力层；
将所述初始输入向量输入所述解码器的输入层；
所述解码器输出所述第四文本。
11.如权利要求10所述的文本生成方法，其中所述根据所述第一文本的最大池化特征向量生成初始输入向量，包括：
将第三文本的图的特征向量中表示所述初始节点的图的特征向量与所述第一文本的最大池化特征向量合并成所述初始输入向量。
12.如权利要求6所述的文本生成方法，其中所述将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器得到所述第四文本，包括：
将所述第一文本的特征向量和所述第三文本的图的特征向量输入所述解码器；
确定所述解码器输出的第四文本中的第一个字；
所述解码器根据所述第一个字输出所述第四文本中剩余的字。
13.如权利要求1所述的文本生成方法，其中，在所述根据所述第一文本和所述第三文本的图生成第四文本之后，还包括：
根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本。
14.如权利要求13所述的文本生成方法，其中所述根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本，包括：
计算多个所述第四文本与所述第一文本或所述原始文本的相似度；
将相关度高于第一阈值的第四文本确定为目标文本。
15.如权利要求13所述的文本生成方法，其中所述根据预设的规则从多个所述第四文本中筛选得到至少一个目标文本，包括：
计算多个所述第四文本之间的相似度；
将相似度高于第二阈值的多个第四文本进行去重处理得到目标文本。
16.一种文本生成模型的训练方法，其特征在于，包括：
获取训练集合，其中所述训练集合中包括第一文本和第二文本的文本对；
获取关系图；
将所述第二文本输入所述关系图生成第三文本的图；
初始化所述文本生成模型的参数；
将所述第一文本和所述第三文本的图输入所述文本生成模型得到第四文本的概率值；
根据所述概率值以及损失函数计算误差值；
根据所述误差值更新所述参数；
迭代上述参数的更新过程直至达到收敛条件得到所述文本生成模型的参数。
17.一种文本生成装置，其特征在于，包括：
文本获取模块，用于获取原始文本的第一文本和第二文本；其中，根据所述原始文本获取所述原始文本的第一文本，根据所述原始文本提取关键词得到所述原始文本的第二文本；
图生成模块，用于根据所述第二文本生成第三文本的图，其中第三文本的图中的节点表示第三文本，所述第三文本的图中的边表示第三文本之间的关系；其中，所述第三文本为根据符合预设匹配规则的第二文本生成的；
文本生成模块，用于根据所述第一文本和所述第三文本的图生成第四文本。
18.一种文本生成模型的训练装置，其特征在于，包括：
训练集合获取模块，用于获取训练集合，其中所述训练集合中包括第一文本和与其对应的第二文本；
关系图获取模块，用于获取关系图；
第三文本的图生成模块，用于将所述第二文本输入所述关系图生成第三文本的图；
参数初始化模块，用于初始化所述文本生成模型的参数；
预测模块，用于将所述第一文本和所述第三文本的图输入所述文本生成模型得到第四文本的概率值；
误差计算模块，用于根据所述概率值以及损失函数计算误差值；
更新模块，用于根据所述误差值更新所述参数；
迭代模块，迭代上述参数的更新过程直至达到收敛条件得到所述文本生成模型的参数。
19.一种电子设备，包括：
存储器，用于存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，使得所述处理器运行时实现根据权利要求1-16中任意一项所述的方法。
20.一种非暂态计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-16中任意一项所述的方法。
CN202010408195.9A 2020-05-14 2020-05-14 文本生成方法、装置、电子设备及计算机可读存储介质 Active CN111626044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408195.9A CN111626044B (zh) 2020-05-14 2020-05-14 文本生成方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408195.9A CN111626044B (zh) 2020-05-14 2020-05-14 文本生成方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111626044A CN111626044A (zh) 2020-09-04
CN111626044B true CN111626044B (zh) 2023-06-30

Family

ID=72270951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408195.9A Active CN111626044B (zh) 2020-05-14 2020-05-14 文本生成方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111626044B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800186B (zh) * 2021-04-08 2021-10-12 北京金山数字娱乐科技有限公司 阅读理解模型的训练方法及装置、阅读理解方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846023A (zh) * 2018-05-24 2018-11-20 普强信息技术（北京）有限公司 文本的非常规特性挖掘方法及装置
CN110795569A (zh) * 2019-10-08 2020-02-14 北京百度网讯科技有限公司 知识图谱的向量表示生成方法、装置及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8874432B2 (en) * 2010-04-28 2014-10-28 Nec Laboratories America, Inc. Systems and methods for semi-supervised relationship extraction
US10825227B2 (en) * 2018-04-03 2020-11-03 Sri International Artificial intelligence for generating structured descriptions of scenes
US10902208B2 (en) * 2018-09-28 2021-01-26 International Business Machines Corporation Personalized interactive semantic parsing using a graph-to-sequence model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846023A (zh) * 2018-05-24 2018-11-20 普强信息技术（北京）有限公司 文本的非常规特性挖掘方法及装置
CN110795569A (zh) * 2019-10-08 2020-02-14 北京百度网讯科技有限公司 知识图谱的向量表示生成方法、装置及设备

Also Published As

Publication number Publication date
CN111626044A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN109902186B (zh) 用于生成神经网络的方法和装置
CN111625645B (zh) 文本生成模型的训练方法、装置和电子设备
CN112270200B (zh) 一种文本信息的翻译方法、装置、电子设备和存储介质
CN112650841A (zh) 信息处理方法、装置和电子设备
CN113327599B (zh) 语音识别方法、装置、介质及电子设备
CN113449070A (zh) 多模态数据检索方法、装置、介质及电子设备
CN111898338B (zh) 文本生成方法、装置和电子设备
CN116128055A (zh) 图谱构建方法、装置、电子设备和计算机可读介质
CN117290477A (zh) 一种基于二次检索增强的生成式建筑知识问答方法
CN114765025A (zh) 语音识别模型的生成方法、识别方法、装置、介质及设备
CN118071428A (zh) 用于多模态监测数据的智能处理系统及方法
CN111626044B (zh) 文本生成方法、装置、电子设备及计算机可读存储介质
CN111797263A (zh) 图像标签生成方法、装置、设备和计算机可读介质
CN111967584A (zh) 生成对抗样本的方法、装置、电子设备及计算机存储介质
CN114625876B (zh) 作者特征模型的生成方法、作者信息处理方法和装置
CN115129877B (zh) 标点符号预测模型的生成方法、装置和电子设备
CN111581455B (zh) 文本生成模型的生成方法、装置和电子设备
CN113986958B (zh) 文本信息的转换方法、装置、可读介质和电子设备
CN111582456B (zh) 用于生成网络模型信息的方法、装置、设备和介质
CN111898658B (zh) 图像分类方法、装置和电子设备
CN111737572B (zh) 搜索语句生成方法、装置和电子设备
CN111460214B (zh) 分类模型训练方法、音频分类方法、装置、介质及设备
CN111860518B (zh) 用于分割图像的方法、装置、设备和计算机可读介质
CN110688508A (zh) 图文数据扩充方法、装置及电子设备
CN113283115B (zh) 图像模型生成方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant