CN113065336A - 一种基于深度学习和内容规划的文本自动生成方法及装置 - Google Patents

一种基于深度学习和内容规划的文本自动生成方法及装置 Download PDF

Info

Publication number
CN113065336A
CN113065336A CN202110488572.9A CN202110488572A CN113065336A CN 113065336 A CN113065336 A CN 113065336A CN 202110488572 A CN202110488572 A CN 202110488572A CN 113065336 A CN113065336 A CN 113065336A
Authority
CN
China
Prior art keywords
planning
attention
grained
attribute
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110488572.9A
Other languages
English (en)
Other versions
CN113065336B (zh
Inventor
郑海涛
柏杨
李自然
沈颖
肖喜
江勇
夏树涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110488572.9A priority Critical patent/CN113065336B/zh
Publication of CN113065336A publication Critical patent/CN113065336A/zh
Application granted granted Critical
Publication of CN113065336B publication Critical patent/CN113065336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于深度学习和内容规划的文本自动生成方法及装置，本发明利用分层自注意力机制对结构化数据进行层次化编码表示，并通过分层规划技术对数据进行从粗到细的规划，最后通过双重注意力机制解码生成高质量的文本描述，本发明解决了传统的文本自动生成技术在数据到文本生成时面临的信息冗余、逻辑混乱等问题，相对于传统端到端的文本生成方法以及过去的规划方法，本发明将分层规划融入到多粒度的语言模型中，极大减小人工参与程度，且可以生成更加准确、流畅、简洁且逻辑严谨的文本。

Description

一种基于深度学习和内容规划的文本自动生成方法及装置
技术领域
本发明涉及计算机应用、计算机系统及其技术产品技术领域，尤其涉及一种基于深度学习和内容规划的文本自动生成方法及装置。
背景技术
随着移动互联网的高速发展，富媒体数据(文本、图像、视频等)呈现爆炸式增长，同时随着计算机技术的不断发展，人们已经不能满足于简单的检索来利用这些大规模的富媒体数据，更需要根据这些数据来制定新的想法并进行沟通，甚至要求利用这些数据来辅助创作，生成所需要的内容。文本自动生成的主要的好处在于它能够将数据集转换为人类理解的清晰叙述，例如在处理电子表格中存在的统计数据时，利用文本自动生成技术可以生成丰富的信息，从而可以准确地评估、分析和传达数据。通过常规分析和相关任务的智能自动化，可以提高生产力，这样人类就可以专注于更具创造性、高价值的回报活动。因此文本自动生成技术近来受到了越来越多的关注，并在很多应用中都取得了很好的效果。在电商领域，我们可以自动地生成商品海报，也可以自动的生成商品标题；在创作领域，机器可以自动写诗作曲，而生成的内容已基本接近人类的效果；除此之外，自动生成图片描述，生成新闻文章也取得了很大进展。通过文本自动生成技术的应用，极大的减少了生成过程中的人工参与，提高了内容生成的效率，同时保证了生成内容的质量。
虽然基于深度学习的文本自动生成技术取得了一系列成果，但其在结构化数据的文本生成任务上依然存在很多问题。传统的文本生成系统通常将生成过程分为三个阶段——内容选择、文本规划和表面实现，这三个阶段严重依赖于人类设计的规则和模板。而近年来随着深度学习的发展，很多研究将整个生成阶段看作是一个端到端的学习问题，融合到一个统一的框架中，并通过训练一个基于编码器-解码器(Encoder-decoder)结构的神经网络模型来进行学习。这种方法直接将输入数据看作是一个序列，通过端到端的方式直接生成文本，而没有对内容选择和规划进行显式建模，因此尽管可以生成流畅且语法正确的文本描述，但难以保证输入数据和输出文本之间的一致性，并且往往导致生成的文本中存在信息冗余和逻辑混乱等问题。
为了缓解这些问题，对规划阶段进行显式建模是非常必要的。一方面，如果一个模型可以由显式规划进行引导，就可以得到一个更加连贯有序的输入数据，并以更一致和可控的方式来处理表面实现。另一方面，从数据生成的文本描述需要保持简洁易读。因此，使用内容选择机制从输入数据中选择关键信息来生成是非常必要的。要从给定的结构化数据来生成一段简短而翔实的介绍，既需要粗粒度的规划(也就是确定要呈现哪些属性以及以什么顺序呈现)，也需要细粒度的规划(从每一条属性中选择比较重要的词)。近年来也有一些神经网络方法对规划过程进行建模，然而，这些方法面临以下两个问题：首先，它们要么只是对内容选择阶段进行建模，要么只是对输入数据的顺序进行建模，而内容选择和顺序规划都是必不可少的。其次，这些方法只关注属性级或句子级别等粗粒度的规划，而对细粒度的规划关注较少，使得生成的结果信息冗余，不够简洁。
发明内容
本发明目的就是为了弥补已有技术信息冗余、逻辑混乱的缺陷，提供一种基于深度学习和内容规划的文本自动生成方法及装置。
本发明是通过以下技术方案实现的：
一种基于深度学习和内容规划的文本自动生成装置，包括有表示模块、规划模块和生成模块；
所述的表示模块将输入数据进行层次化编码表示；
所述的规划模块将层次化编码表示后的输入数据进行粗粒度的规划和细粒度的规划，所述的粗粒度的规划是对输入数据从属性级别进行排序和内容挑选，所述细粒度的规划是对每条属性中的所有词的重要性进行建模，对重要性高的词给予更高的权重；
所述的生成模块对进行粗粒度的规划和细粒度的规划后的输入数据进行解码并生成文本。
所述的表示模块将输入数据进行层次化编码表示，具体如下：首先将输入数据中的词通过嵌入层表示为向量，然后使用分层自注意力机制对输入数据进行编码和表示。
所述的使用分层自注意力机制对输入数据进行编码和表示，具体步骤如下：首先通过多个不共享参数的多头自注意力层对输入数据中的每个属性进行分别表示，挖掘同一属性中不同词之间的依赖关系；另外通过每个属性中的所有词的向量表示求平均得到每个属性的向量表示。
所述的粗粒度的规划是通过基于自注意力机制的指针网络实现的，首先采用基于双向自注意力机制的编码器挖掘不同属性之间的依赖关系并对输入的属性进行编码，然后采用基于单向自注意力机制的解码器解码，最后通过指针注意力模块指向输入的属性，从而对输入的属性进行排序。
在每一步采用基于单向自注意力机制的解码器解码过程中，首先得到解码器输出的隐状态，然后通过指针注意力模块来计算该步要指向每个输入属性的概率，根据指针网络得到的概率分布，并得到一个指向输入属性的指针索引，根据所述索引构建邻接矩阵并对输入的属性进行排序。
所述的细粒度的规划是采用有监督的选择注意力机制来实现的，通过注意力的方式对每个词的重要性进行建模，并鼓励模型给重要性高的词以更高的权重。
所述的生成模块是通过基于自注意力机制和双重注意力机制的解码器来实现的。
所述的生成模块具体的工作过程如下：首先通过单向的自注意力层得到一个隐状态，然后双重注意力机制通过输入数据的属性级别的编码信息计算注意力，然后对词级别的编码信息计算注意力，将属性级别的注意力权重和词级别的注意力权重相乘及归一化之后，得到修正后的词级别的注意力权重，并解码生成文本。
一种基于深度学习和内容规划的文本自动生成方法，具体包括以下步骤：
S1、将输入数据进行层次化编码表示；
S2、将层次化编码表示后的输入数据进行粗粒度的规划和细粒度的规划，所述的粗粒度的规划是对输入数据从属性级别进行排序和内容挑选，所述细粒度的规划是对每条属性中的所有词的重要性进行建模，对重要性高的词给予更高的权重；
S3、对进行粗粒度的规划和细粒度的规划后的输入数据进行解码并生成文本。
一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，所述程序指令被计算机的处理器执行时使所述处理器执行上述方法
本发明的优点是：本发明利用分层自注意力机制对结构化数据进行层次化编码表示，并通过分层规划技术对数据进行从粗到细的规划，最后通过双重注意力机制解码生成高质量的文本描述，本发明解决了传统的文本自动生成技术在数据到文本生成时面临的信息冗余、逻辑混乱等问题，相对于传统端到端的文本生成方法以及过去的规划方法，本发明将分层规划融入到多粒度的语言模型中，极大减小人工参与程度，且可以生成更加准确、流畅、简洁且逻辑严谨的文本。
附图说明
图1为本发明实施例装置结构框图。
图2本发明实施例为粗粒度顺序规划示意图。
图3本发明实施例为细粒度的规划示意图。
图4本发明实施例为本发明方法流程图。
具体实施方式
注意力神经网络(Hierarchical PLanning basedAttention Network,H-PLAN)，将分层规划融入到多粒度的语言模型中。我们先利用基于分层的自注意力机制的表示模块来对输入数据从细粒度到粗粒度进行层次化的表示。然后设计了一个层次化的规划，对输入数据从属性级别(粗粒度)到词级别(细粒度)来进行规划。(1)对于属性级别的规划，我们使用基于自注意力机制的指针网络来确定要呈现哪些属性以及以什么顺序呈现。(2)对于词级别的规划，我们设计了一个有监督的内容选择模块来对每条属性中不同的词的贡献度进行建模，目的是在有监督的情况下训练该模块来给更重要的词分配以更高的权重，并通过对属性中的词进行加权求和来对属性进行进一步的重新表示。然后用基于分层注意力的编码器对规划后的数据从两个粒度进行进一步的关系捕捉和编码。最后在显式规划的指导下，通过一个基于双重注意力机制的解码器来生成文本描述，其中双重注意力机制的作用是在解码过程中首先从粗粒度选择相关的属性，然后再关注属性中细粒度的信息来生成每个单词。
如图1、4所示，本发明装置，包含三个子模块：表示模块1，规划模块2和和生成模块3。各个模块的实施细节如下。
表示模块1：
表示模块1使用基于分层的多头自注意力实现。多头注意力的计算方法如下：
Multihead(Q，K，V)＝[z1；...；zH]Wo,
Figure BDA0003051502260000051
Figure BDA0003051502260000052
而多头自注意力机制，则是由于式中Q，K和V都是输入数据本身，从而挖掘内部的词与词之间的依赖关系来进行编码和表示。
对于输入的结构化数据，可以表示为一组属性的序列x＝{a1，a2，...，an}，其中每个属性又是一个词(或值)的序列ai＝{wi，1，wi，2，...，wi，m}，首先通过嵌入得到数据中所有词(或值)的向量表示，然后通过多个不共享参数的多头自注意力层来对数据中的每个属性进行分别表示，这样可以挖掘同一属性中不同词(或值)之间的依赖关系：
Figure BDA0003051502260000053
进一步将每个属性中的所有词的向量表示求平均来得到属性级别的向量表示。
规划模块：
规划模块2主要包括属性级别(粗粒度)的内容挑选和排序以及词级别(细粒度)的内容选择。
属性级别的规划通过基于自注意力机制的指针网络(Pointer Network)来实现。规划可以表示为一个有序的属性序列，是对输入数据的一个排序。由于静态规划的输出对应于属性在输入序列中的位置，因此我们使用一个基于编码器-解码器结构的指针网络来对输入数据的各项属性信息进行排序，从而实现属性级别的规划。该指针网络的结构如图2所示，首先用一个基于双向自注意力(Self-attention)机制的编码器来挖掘不同属性之间的依赖关系并对输入的属性进行编码，然后用一个基于单向自注意力机制的解码器来解码，最后通过一个指针注意力模块来指向输入的属性，从而对输入的属性进行排序。在每一步的解码过程中，首先得到解码器输出的隐状态，然后通过一个指针注意力来计算该步要指向每个输入属性的概率：
Figure BDA0003051502260000061
根据指针网络得到的概率分布可以得到一个指向输入属性的指针索引，根据这个索引可以构建邻接矩阵并用来对输入的属性进行排序。由于该解码过程是逐个指向下一个属性，一直到指向终止符号为止，有可能会在遍历所有属性前就结束，因此还有属性挑选的功能。
词级别的规划是通过一个可监督的内容挑选注意力机制来实现，如图3所示，我们通过注意力机制来对每条属性中的所有词的重要性(或贡献度)进行建模，计算方式如下：
ui，j＝tanh(vi，jWw+bw)，
Figure BDA0003051502260000062
Figure BDA0003051502260000063
Figure BDA0003051502260000064
其中ci，j表示第i个属性中的第j个词在这个属性中的重要性，重要性越高则给它以越高的权重。然后对所有属性根据加权求和的方法进行重新表示。
生成模块：
生成模块3是通过基于自注意力机制和双重注意力机制的解码器来实现的，对于每一步解码过程，首先通过一个单向的自注意力层得到一个隐状态hi，然后双重注意力机制通过和先属性级别的编码信息计算注意力，然后对词级别的编码信息计算注意力，将属性级别的注意力权重和词级别的注意力权重相乘及归一化之后，得到修正后的词级别的注意力权重，并进一步进行解码。计算方式如下
ht＝Multihead(ht-1，ht-1，ht-1)，
Figure BDA0003051502260000065
Figure BDA0003051502260000066
其中Multihoadγ表示使用修正的词级别注意力权重来计算词级别注意力。通过这种方式，相当于在每一步解码过程中先看需要选择哪一条属性，然后进一步从这个属性中选择需要的词。
然后通过一个门结构对上面的三个隐状态进行融合，计算方式如下：
Figure BDA0003051502260000071
Figure BDA0003051502260000072
dt＝rh*gh+(1-gh)*ht，
最后通过一个线性层和Softmax激活函数后，得到该步目标词的概率：
p(yt|y＜t，z，x)＝softmax(dt Wy)，
而训练过程则是采用最大似然估计来最大化这个概率进行训练，同时和规划过程进行联合训练，直至收敛。

Claims (10)

1.一种基于深度学习和内容规划的文本自动生成方法，其特征在于：具体包括以下步骤：
S1、将输入数据进行层次化编码表示；
S2、将层次化编码表示后的输入数据进行粗粒度的规划和细粒度的规划，所述的粗粒度的规划是对输入数据从属性级别进行排序和内容挑选，所述细粒度的规划是对每条属性中的所有词的重要性进行建模，对重要性高的词给予更高的权重；
S3、对进行粗粒度的规划和细粒度的规划后的输入数据进行解码并生成文本。
2.根据权利要求1所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：步骤S1所述的将输入数据进行层次化编码表示，具体如下：首先将输入数据中的词通过嵌入层表示为向量，然后使用分层自注意力机制对输入数据进行编码和表示。
3.根据权利要求2所述的一种基于深度学习和内容规划的文本自动生成装置，其特征在于：所述的使用分层自注意力机制对输入数据进行编码和表示，具体步骤如下：首先通过多个不共享参数的多头自注意力层对输入数据中的每个属性进行分别表示，挖掘同一属性中不同词之间的依赖关系；另外通过每个属性中的所有词的向量表示求平均得到每个属性的向量表示。
4.根据权利要求1所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：所述的粗粒度的规划是通过基于自注意力机制的指针网络实现的，首先采用基于双向自注意力机制的编码器挖掘不同属性之间的依赖关系并对输入的属性进行编码，然后采用基于单向自注意力机制的解码器解码，最后通过指针注意力模块指向输入的属性，从而对输入的属性进行排序。
5.根据权利要求4所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：在每一步采用基于单向自注意力机制的解码器解码过程中，首先得到解码器输出的隐状态，然后通过指针注意力模块来计算该步要指向每个输入属性的概率，根据指针网络得到的概率分布，并得到一个指向输入属性的指针索引，根据所述索引构建邻接矩阵并对输入的属性进行排序。
6.根据权利要求1所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：所述的细粒度的规划是采用有监督的选择注意力机制来实现的，通过注意力的方式对每个词的重要性进行建模，并鼓励模型给重要性高的词以更高的权重。
7.根据权利要求1所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：所述的步骤S3是通过基于自注意力机制和双重注意力机制的解码器来实现的。
8.根据权利要求7所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：所述的步骤S3具体的工作过程如下：首先通过单向的自注意力层得到一个隐状态，然后双重注意力机制通过输入数据的属性级别的编码信息计算注意力，然后对词级别的编码信息计算注意力，将属性级别的注意力权重和词级别的注意力权重相乘及归一化之后，得到修正后的词级别的注意力权重，并解码生成文本。
9.根据权利要求1所述的一种基于深度学习和内容规划的文本自动生成方法的装置，其特征在于：包括有表示模块、规划模块和生成模块；
所述的表示模块将输入数据进行层次化编码表示；
所述的规划模块将层次化编码表示后的输入数据进行粗粒度的规划和细粒度的规划，所述的粗粒度的规划是对输入数据从属性级别进行排序和内容挑选，所述细粒度的规划是对每条属性中的所有词的重要性进行建模，对重要性高的词给予更高的权重；
所述的生成模块对进行粗粒度的规划和细粒度的规划后的输入数据进行解码并生成文本。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有程序指令，所述程序指令被计算机的处理器执行时使所述处理器执行根据权利要求1至8任一项所述方法。
CN202110488572.9A 2021-05-06 2021-05-06 一种基于深度学习和内容规划的文本自动生成方法及装置 Active CN113065336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488572.9A CN113065336B (zh) 2021-05-06 2021-05-06 一种基于深度学习和内容规划的文本自动生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488572.9A CN113065336B (zh) 2021-05-06 2021-05-06 一种基于深度学习和内容规划的文本自动生成方法及装置

Publications (2)

Publication Number Publication Date
CN113065336A true CN113065336A (zh) 2021-07-02
CN113065336B CN113065336B (zh) 2022-11-25

Family

ID=76568071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488572.9A Active CN113065336B (zh) 2021-05-06 2021-05-06 一种基于深度学习和内容规划的文本自动生成方法及装置

Country Status (1)

Country Link
CN (1) CN113065336B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115510814A (zh) * 2022-11-09 2022-12-23 东南大学 一种基于双重规划的篇章级复杂问题生成方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582501B1 (en) * 2014-06-16 2017-02-28 Yseop Sa Techniques for automatic generation of natural language text
US20170358295A1 (en) * 2016-06-10 2017-12-14 Conduent Business Services, Llc Natural language generation, a hybrid sequence-to-sequence approach
CN109582789A (zh) * 2018-11-12 2019-04-05 北京大学 基于语义单元信息的文本多标签分类方法
JP2019057023A (ja) * 2017-09-20 2019-04-11 ヤフー株式会社 生成装置、学習装置、生成方法、学習方法、生成プログラム、学習プログラム、及びモデル
US20190130248A1 (en) * 2017-10-27 2019-05-02 Salesforce.Com, Inc. Generating dual sequence inferences using a neural network model
CN110110331A (zh) * 2019-04-30 2019-08-09 清华大学 文本生成方法、装置、介质和计算设备
CN110298436A (zh) * 2019-06-28 2019-10-01 乐山金蜜工业卫士服务股份有限公司 基于指针生成网络的数据到文本的生成模型
CN111400468A (zh) * 2020-03-11 2020-07-10 苏州思必驰信息科技有限公司 对话状态跟踪系统及方法和人机对话装置及方法
CN111488726A (zh) * 2020-03-31 2020-08-04 成都数之联科技有限公司 基于指针网络的非结构文本抽取多任务联合训练方法
CN111651970A (zh) * 2020-07-14 2020-09-11 华侨大学 基于表格型数据生成文本的方法、装置、设备及存储介质
CN112069827A (zh) * 2020-07-30 2020-12-11 国网天津市电力公司 一种基于细粒度主题建模的数据到文本生成方法
CN112100375A (zh) * 2020-09-10 2020-12-18 清华大学 文本信息生成方法、装置、存储介质及设备
CN112417092A (zh) * 2020-11-11 2021-02-26 南京邮电大学 基于深度学习的智能化文本自动生成系统及其实现方法
CN112463956A (zh) * 2020-11-26 2021-03-09 重庆邮电大学 基于对抗学习和分层神经网络的文本摘要生成系统和方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582501B1 (en) * 2014-06-16 2017-02-28 Yseop Sa Techniques for automatic generation of natural language text
US20170358295A1 (en) * 2016-06-10 2017-12-14 Conduent Business Services, Llc Natural language generation, a hybrid sequence-to-sequence approach
JP2019057023A (ja) * 2017-09-20 2019-04-11 ヤフー株式会社 生成装置、学習装置、生成方法、学習方法、生成プログラム、学習プログラム、及びモデル
US20190130248A1 (en) * 2017-10-27 2019-05-02 Salesforce.Com, Inc. Generating dual sequence inferences using a neural network model
CN109582789A (zh) * 2018-11-12 2019-04-05 北京大学 基于语义单元信息的文本多标签分类方法
CN110110331A (zh) * 2019-04-30 2019-08-09 清华大学 文本生成方法、装置、介质和计算设备
CN110298436A (zh) * 2019-06-28 2019-10-01 乐山金蜜工业卫士服务股份有限公司 基于指针生成网络的数据到文本的生成模型
CN111400468A (zh) * 2020-03-11 2020-07-10 苏州思必驰信息科技有限公司 对话状态跟踪系统及方法和人机对话装置及方法
CN111488726A (zh) * 2020-03-31 2020-08-04 成都数之联科技有限公司 基于指针网络的非结构文本抽取多任务联合训练方法
CN111651970A (zh) * 2020-07-14 2020-09-11 华侨大学 基于表格型数据生成文本的方法、装置、设备及存储介质
CN112069827A (zh) * 2020-07-30 2020-12-11 国网天津市电力公司 一种基于细粒度主题建模的数据到文本生成方法
CN112100375A (zh) * 2020-09-10 2020-12-18 清华大学 文本信息生成方法、装置、存储介质及设备
CN112417092A (zh) * 2020-11-11 2021-02-26 南京邮电大学 基于深度学习的智能化文本自动生成系统及其实现方法
CN112463956A (zh) * 2020-11-26 2021-03-09 重庆邮电大学 基于对抗学习和分层神经网络的文本摘要生成系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI WANG ET.AL: "SELF-ATTENTION AND RETRIEVAL ENHANCED NEURAL NETWORKS FOR ESSAY GENERATION", 《ICASSP 2020》 *
YANG BAI ET.AL: "Infobox-to-text Generation with Tree-like PLanning based Attention Network", 《PROCEEDINGS OF THE TWENTY-NINTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE (IJCAI-20)》 *
许晓泓 等: "结合Transformer模型与深度神经网络的数据到文本生成方法", 《重庆大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115510814A (zh) * 2022-11-09 2022-12-23 东南大学 一种基于双重规划的篇章级复杂问题生成方法

Also Published As

Publication number Publication date
CN113065336B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
Chen et al. Deep reinforcement learning in recommender systems: A survey and new perspectives
CN111126218A (zh) 一种基于零样本学习的人体行为识别方法
CN107169031B (zh) 一种基于深度表达的图片素材推荐方法
CN110866542A (zh) 一种基于特征可控融合的深度表示学习方法
CN115145551A (zh) 一种面向机器学习应用低代码开发的智能辅助系统
CN114443899A (zh) 视频分类方法、装置、设备及介质
CN113449801A (zh) 一种基于多级图像上下文编解码的图像人物行为描述生成方法
CN111930915A (zh) 会话信息处理方法、装置、计算机可读存储介质及设备
CN113065336B (zh) 一种基于深度学习和内容规划的文本自动生成方法及装置
CN115994223A (zh) 序列化多标签分类方法、装置、设备和介质
CN116127175A (zh) 一种基于多模态特征融合的移动应用分类与推荐方法
CN110019796A (zh) 一种用户文本信息分析方法及装置
Wu et al. Switchtab: Switched autoencoders are effective tabular learners
Xie et al. Sequential gesture learning for continuous labanotation generation based on the fusion of graph neural networks
Li Cross-border E-commerce intelligent information recommendation system based on deep learning
CN115129807A (zh) 基于自注意的社交媒体主题评论的细粒度分类方法及系统
CN109979461A (zh) 一种语音翻译方法及装置
CN113065496A (zh) 神经网络机器翻译模型训练方法、机器翻译方法和装置
CN114610871B (zh) 基于人工智能算法的情报系统建模分析方法
US20220058842A1 (en) Generating handwriting via decoupled style descriptors
CN115689639A (zh) 一种基于深度学习的商业广告点击率预测方法
CN115422329A (zh) 一种基于知识驱动的多路筛选融合对话生成方法
CN113486180A (zh) 一种基于关系层级交互的远程监督关系抽取方法及系统
Fatkhulin et al. Analysis of the Basic Image Generation Methods by Neural Networks
CN113642630A (zh) 基于双路特征编码器的图像描述方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant