CN111753497B - 基于多文本利用分阶层Transformer生成摘要的方法及系统 - Google Patents

基于多文本利用分阶层Transformer生成摘要的方法及系统 Download PDF

Info

Publication number
CN111753497B
CN111753497B CN202010609274.6A CN202010609274A CN111753497B CN 111753497 B CN111753497 B CN 111753497B CN 202010609274 A CN202010609274 A CN 202010609274A CN 111753497 B CN111753497 B CN 111753497B
Authority
CN
China
Prior art keywords
paragraph
vector
word
vectors
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010609274.6A
Other languages
English (en)
Other versions
CN111753497A (zh
Inventor
马晔
宗璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong Liverpool University
Original Assignee
Xian Jiaotong Liverpool University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong Liverpool University filed Critical Xian Jiaotong Liverpool University
Priority to CN202010609274.6A priority Critical patent/CN111753497B/zh
Publication of CN111753497A publication Critical patent/CN111753497A/zh
Application granted granted Critical
Publication of CN111753497B publication Critical patent/CN111753497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种一种基于多文本利用分阶层Transformer生成摘要的方法，所述方法包括如下步骤：步骤S1，对多文本按段落进行划分、排序，选取部分重要的段落作为后续编码器的输入；步骤S2，将所述部分重要的段落逐个输入编码器，生成词向量集合和段落向量；步骤S3，将所述词向量集合和段落向量输入解码器，生成摘要。本发明所述基于多文本利用分阶层Transformer生成摘要的方法，会先学习每个文本中的依存关系，再对文本间的关系建模，这样做不仅大大缩短了单次输入的序列长度，而且可以很方便地学习跨文本关联，使得生成摘要既快速又精确。

Description

基于多文本利用分阶层Transformer生成摘要的方法及系统
技术领域
本发明涉及人工智能技术领域，特别涉及一种基于多文本利用分阶层Transformer生成摘要的方法。
背景技术
Transformer(Vaswani,2017)是一个序列神经网络模型，最早被用于机器翻译模型中，它由编码器和解码器组成，编码器可以将输入的文本信息压缩至一个连续的向量中，解码器接受这个向量，然后逐字的生成摘要。传统的Transformer是为单文本设计的，在进行多文本生成摘要时面临了两个问题，首先是多文本摘要通常有大量的文本数据，如果将这些文本拼接成一个序列，那么这个序列会非常长，但普通的Transformer无法学习长期依存关系，也就无法对长序列建模，其次多文本之间存在依存关系，因此需要摘要模型去学习这些跨文本的关系来使生成的摘要更加精确，但是普通的无法捕获多文本间的依赖关系。
发明内容
鉴于目前现有技术的不足，本发明的目的在于提供一种基于多文本利用分阶层Transformer生成摘要的方法，能够快速、精确的生成摘要。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于多文本利用分阶层Transformer生成摘要的方法，所述方法包括如下步骤：
步骤S1，对多文本按段落进行划分、排序，选取部分重要的段落作为后续编码器的输入；
步骤S2，将所述部分重要的段落逐个输入编码器，生成词向量集合和段落向量；
步骤S3，将所述词向量集合和段落向量输入解码器，生成摘要。
进一步，其中所述步骤S1中，所述对多文本按段落进行划分、排序，是利用TextRank算法进行。
进一步，其中所述步骤S2中，所述编码器包括Transformer的编码器，针对每一个段落中的每一个单词，采用Transformer中的位置编码器生成位置向量，并将位置向量与单词向量相加得到包含词序信息的单词向量，每一个段落中的所有包含词序信息的单词向量形成一个包含上下文信息的上下文已知的词向量集合。
进一步，其中所述步骤S2中，所述编码器还包括段落向量编码器，将所述词向量集合输入所述段落向量编码器，生成所述段落向量。
进一步，其中所述段落向量编码器为多头的注意力池化模型，多头的注意力池化模型将词向量集合以加权求和的形式转化成一个段落向量，计算过程如下：
首先将词向量集合经过线性转化后截断成多个子向量，其中，为子向量，Cp为词向量集合，W1为第一可训练的线性转换矩阵。
然后对这些子向量计算注意力后，加权求和得到子段落向量，其中，为子段落向量，W2为第二可训练的线性转换矩阵，T为转秩符号。
再将得到的所有子段落向量拼接后得到最终的段落向量，其中，为段落向量，W3为第三可训练的线性转换矩阵。
进一步，为一个正向的多头注意力模块，根据输入的首字符参数，生成上文已知的词向量X1。
进一步，其中所述步骤S3中，所述解码器还包括第二部分，所述第二部分包括段落层级多头注意力模块，运用Transformer中的位置编码器生成段落间的位置向量，将所有段落向量组成了一个段落矩阵，根据下述公式计算，得到表征了所有段落信息的文本向量以及段落的注意力分布：
Xpara,Apara＝MultiHead(X-1,Φ,Φ)
其中，Xpara为文本向量，Apara为段落的注意力分布，X1为解码器的第一部分输出的上文已知的词向量，作为段落层级多头注意力模块的query值，Φ为段落矩阵，由所有的段落向量组成，作为段落层级多头注意力模块的key值和value值。
进一步，所述第二部分还包括词层级多头注意力模块，根据下述公式计算词层级上下文向量，
其中，为词层级上下文向量，X1为解码器的第一部分输出的上文已知的词向量，作为词层级多头注意力模块的query值，Cp为词向量集合，作为司层级多头注意力模块的key值和value值；每个段落的单词向量都计算一次，得到了一个一个词层级的上下文向量，再利用之前得到的段落的注意力分布，给予每个段落的词层级的上下文向量相应的注意力权重，最后相加得到一个整合了所有段落单词间上下文信息的段落注意力优化文本向量：
Xint＝XwordApara
其中，Xint为段落注意力优化文本向量
最后按下述公式计算作为第二部分的输出：
X2＝LayerNorm(X1+Xpara+Xint)
其中，X2为表征了多种信息的归一化向量，包括了解码器的第一部分的输入信息、段落间的关联信息以及每个段落内单词间的关联信息。
进一步，所述步骤S3中，所述解码器还包括第三部分，所述第三部分包括一个双层的前馈神经网络FFN，将所述第二部分的输出归一化向量X2，再经过一个softmax算法，得到最终概率分布。
进一步，所述步骤S3中，还包括采用beam search算法逐字生成摘要。
本发明所述基于多文本利用分阶层Transformer生成摘要的方法，会先学习每个文本中的依存关系，再对文本间的关系建模，这样做不仅大大缩短了单次输入的序列长度，而且可以很方便地学习跨文本关联，使得生成摘要既快速又精确。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施方式一种基于多文本利用分阶层Transformer生成摘要的方法的流程示意图；
图2为本发明一种基于多文本利用分阶层Transformer生成摘要的方法的一具体实施例的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请首先参见图1所示，本发明一实施方式一种基于多文本利用分阶层Transformer生成摘要的方法，所述方法包括如下步骤：
步骤S1，对多文本按段落进行划分、排序，选取部分重要的段落作为后续编码器的输入；
步骤S2，将所述部分重要的段落逐个输入编码器，生成词向量集合和段落向量；
步骤S3，将所述词向量集合和段落向量输入解码器，生成摘要。
其中，所述步骤S1中，所述对多文本按段落进行划分、排序，是利用TextRank算法进行。由于多文本常常会有大量的源文本，如果将他们全部投入运算的话，会给运算带来很大压力。因此需要先将这些多文本以段落的形式分隔开。TextRank(Mihalcea,2004)算法能够将多文本按段落分隔开，并给这些段落排序，重要的段落排在前面，不重要的段落排在后面。所以，可以选取前面重要的一批段落作为后续编码器的输入，以进一步降低后续运算的压力，提高运算的速度。
选取好重要的段落后，即可输入编码器进行编码。请参见图2所示，为本发明一种基于多文本利用分阶层Transformer生成摘要的方法的一具体实施例的流程示意图。其中，图中左边部分是编码器工作的部分，右边部分是解码器工作的部分。所述步骤S2中，所述编码器包括Transformer的编码器，针对每一个段落中的每一个单词，采用Transformer中的位置编码器生成位置向量，并将位置向量与单词向量相加得到包含词序信息的单词向量，每一个段落中的所有包含词序信息的单词向量形成一个包含上下文信息的上下文已知的词向量集合。
进一步，其中所述步骤S2中，所述编码器还包括段落向量编码器，将所述词向量集合输入所述段落向量编码器，生成所述段落向量。所述段落向量编码器为多头的注意力池化模型，多头的注意力池化模型将词向量集合以加权求和的形式转化成一个段落向量，计算过程如下：
首先将词向量集合经过线性转化后截断成多个子向量，其中，为子向量，Cp为词向量集合，W1为第一可训练的线性转换矩阵。
然后对这些子向量计算注意力后，加权求和得到子段落向量，其中，为子段落向量，W2为第二可训练的线性转换矩阵，T为转秩符号。
再将得到的所有子段落向量拼接后得到最终的段落向量，其中，为段落向量，W3为第三可训练的线性转换矩阵。由于每组子向量都有不同的注意力分配，因此最后得到的段落向量可以包含更丰富的信息。
编码器计算出词向量集合和段落向量后，即投入到解码器中进行后续的运算。请再参见图2右边部分，所述解码器分为三个部分，第一和第三部分和Transformer(Vaswani，2017)相似。所以，所述步骤S3中，所述解码器包括第一部分，为一个正向的多头注意力模块，根据输入的首字符参数，生成上文已知的词向量X1。需要说明的是，所述解码器的第一部分的输入实际上是变化的，一开始是首字符参数，生成首个单词，然后把这个生成的单词拼接在首字符参数后面再次输入解码器的第一部分，然后输出第二个单词，这样循环直到生成结束标记。
所述步骤S3中，所述解码器还包括第二部分，所述第二部分包括段落层级多头注意力模块，用于表征每个段落间的关系，运用Transformer中的位置编码器生成段落间的位置向量，将所有段落向量组成了一个段落矩阵，根据下述公式计算，得到表征了所有段落信息的文本向量以及段落的注意力分布：
Xpara，Apara＝MultiHead(X1，Φ，Φ)
其中，Xpara为文本向量，Apara为段落的注意力分布，X1为解码器的第一部分输出的上文已知的词向量，作为段落层级多头注意力模块的query值，Φ为段落矩阵，由所有的段落向量组成，作为段落层级多头注意力模块的key值和value值。
进一步，所述第二部分还包括词层级多头注意力模块，用于表征段落内单词间的关联，根据下述公式计算词层级上下文向量，
其中，为词层级上下文向量，X1为解码器的第一部分输出的上文已知的词向量，作为词层级多头注意力模块的query值，Cp为词向量集合，作为司层级多头注意力模块的key值和value值；
每个段落的单词向量都计算一次，得到了一个一个词层级的上下文向量，再利用之前得到的段落的注意力分布，给予每个段落的词层级的上下文向量相应的注意力权重，最后相加得到一个整合了所有段落单词间上下文信息的段落注意力优化文本向量：
Xint＝XwardApara
其中，Xint为段落注意力优化文本向量，
最后按下述公式计算作为第二部分的输出：
X2＝LayerNorm(X1+Xpara+Xint)
其中，X2为表征了多种信息的归一化向量，包括了解码器的第一部分的输入信息、段落间的关联信息以及每个段落内单词间的关联信息。
所述步骤S3中，所述解码器还包括第三部分，所述第三部分包括一个双层的前馈神经网络FFN，将所述第二部分的输出归一化向量X2，再经过一个softmax算法，得到最终概率分布。
最后，所述步骤S3中，还包括采用beam search算法逐字生成摘要。
需要补充说明的是，该模型的训练方式依然采用常见的seq2seq模型的训练方法，即采用teacher force training以及最大化目标序列可能性的训练目标。在训练时，解码器的第一部分的输入则为目标摘要。
本发明所述基于多文本利用分阶层Transformer生成摘要的方法，会先学习每个文本中的依存关系，再对文本间的关系建模，这样做不仅大大缩短了单次输入的序列长度，而且可以很方便地学习跨文本关联，使得生成摘要既快速又精确。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于多文本利用分阶层Transformer生成摘要的方法，其特征在于，所述方法包括如下步骤：
步骤S1，对多文本按段落进行划分、排序，选取部分重要的段落作为后续编码器的输入；
步骤S2，将所述部分重要的段落逐个输入编码器，生成词向量集合和段落向量；
步骤S3，将所述词向量集合和段落向量输入解码器，生成摘要；
其中所述步骤S2中，所述编码器还包括段落向量编码器，将所述词向量集合输入所述段落向量编码器，生成所述段落向量；
其中所述段落向量编码器为多头的注意力池化模型，多头的注意力池化模型将词向量集合以加权求和的形式转化成一个段落向量，计算过程如下：
首先将词向量集合经过线性转化后截断成多个子向量，其中，为子向量，Cp为词向量集合，W1为第一可训练的线性转换矩阵，
然后对这些子向量计算注意力后，加权求和得到子段落向量，其中，为子段落向量，W2为第二可训练的线性转换矩阵，T为转秩符号，
再将得到的所有子段落向量拼接后得到最终的段落向量，其中，为段落向量，W3为第三可训练的线性转换矩阵。
2.根据权利要求1所述的方法，其特征在于，其中所述步骤S1中，所述对多文本按段落进行划分、排序，是利用TextRank算法进行。
3.根据权利要求1所述的方法，其特征在于，其中所述步骤S2中，所述编码器包括Transformer的编码器，针对每一个段落中的每一个单词，采用Transformer中的位置编码器生成位置向量，并将位置向量与单词向量相加得到包含词序信息的单词向量，每一个段落中的所有包含词序信息的单词向量形成一个包含上下文信息的上下文已知的词向量集合。
4.根据权利要求1所述的方法，其特征在于，其中所述步骤S3中，所述解码器包括第一部分，为一个正向的多头注意力模块，根据输入的首字符参数，生成上文已知的词向量X1。
5.根据权利要求4所述的方法，其特征在于，其中所述步骤S3中，所述解码器还包括第二部分，所述第二部分包括段落层级多头注意力模块，运用Transformer中的位置编码器生成段落间的位置向量，将所有段落向量组成了一个段落矩阵，根据下述公式计算，得到表征了所有段落信息的文本向量以及段落的注意力分布：
Xpara,Apara＝MultiHead(X1,Φ,Φ)
其中，Xpara为文本向量，Apara为段落的注意力分布，X1为解码器的第一部分输出的上文已知的词向量，作为段落层级多头注意力模块的query值，Φ为段落矩阵，由所有的段落向量组成，作为段落层级多头注意力模块的key值和value值。
6.根据权利要求5所述的方法，其特征在于，所述第二部分还包括词层级多头注意力模块，根据下述公式计算词层级上下文向量，
其中，为词层级上下文向量，X1为解码器的第一部分输出的上文已知的词向量，作为词层级多头注意力模块的query值，Cp为词向量集合，作为司层级多头注意力模块的key值和value值；每个段落的单词向量都计算一次，得到了一个一个词层级的上下文向量，再利用之前得到的段落的注意力分布，给予每个段落的词层级的上下文向量相应的注意力权重，最后相加得到一个整合了所有段落单词间上下文信息的段落注意力优化文本向量:
Xint＝XwordApara
其中，Xint为段落注意力优化文本向量，
最后按下述公式计算作为第二部分的输出：
X2＝LayerNorm(X1+Xpara+xint)
其中，X2为表征了多种信息的归一化向量，包括了解码器的第一部分的输入信息、段落间的关联信息以及每个段落内单词间的关联信息。
7.根据权利要求6所述的方法，其特征在于，所述步骤S3中，所述解码器还包括第三部分，所述第三部分包括一个双层的前馈神经网络FFN，将所述第二部分的输出归一化向量X2，再经过一个softmax算法，得到最终概率分布。
8.根据权利要求7所述的方法，其特征在于，所述步骤S3中，还包括采用beam search算法逐字生成摘要。
CN202010609274.6A 2020-06-29 2020-06-29 基于多文本利用分阶层Transformer生成摘要的方法及系统 Active CN111753497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010609274.6A CN111753497B (zh) 2020-06-29 2020-06-29 基于多文本利用分阶层Transformer生成摘要的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010609274.6A CN111753497B (zh) 2020-06-29 2020-06-29 基于多文本利用分阶层Transformer生成摘要的方法及系统

Publications (2)

Publication Number Publication Date
CN111753497A CN111753497A (zh) 2020-10-09
CN111753497B true CN111753497B (zh) 2023-11-03

Family

ID=72678089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010609274.6A Active CN111753497B (zh) 2020-06-29 2020-06-29 基于多文本利用分阶层Transformer生成摘要的方法及系统

Country Status (1)

Country Link
CN (1) CN111753497B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209801A (zh) * 2019-05-15 2019-09-06 华南理工大学 一种基于自注意力网络的文本摘要自动生成方法
CN110737769A (zh) * 2019-10-21 2020-01-31 南京信息工程大学 一种基于神经主题记忆的预训练文本摘要生成方法
CN110765264A (zh) * 2019-10-16 2020-02-07 北京工业大学 一种增强语义相关性的文本摘要生成方法
CN110795556A (zh) * 2019-11-01 2020-02-14 中山大学 一种基于细粒度插入式解码的摘要生成方法
CN111191023A (zh) * 2019-12-30 2020-05-22 北京航空航天大学 一种话题标签自动生成方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209801A (zh) * 2019-05-15 2019-09-06 华南理工大学 一种基于自注意力网络的文本摘要自动生成方法
CN110765264A (zh) * 2019-10-16 2020-02-07 北京工业大学 一种增强语义相关性的文本摘要生成方法
CN110737769A (zh) * 2019-10-21 2020-01-31 南京信息工程大学 一种基于神经主题记忆的预训练文本摘要生成方法
CN110795556A (zh) * 2019-11-01 2020-02-14 中山大学 一种基于细粒度插入式解码的摘要生成方法
CN111191023A (zh) * 2019-12-30 2020-05-22 北京航空航天大学 一种话题标签自动生成方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hie-Transformer: A Hierarchical Hybrid Transformer for Abstractive Article Summarization;Xuewen Zhang et al.;ICONIP 2019;全文 *

Also Published As

Publication number Publication date
CN111753497A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111694924B (zh) 一种事件抽取方法和系统
CN109960506B (zh) 一种基于结构感知的代码注释生成方法
US20210390873A1 (en) Deep knowledge tracing with transformers
CN111611810B (zh) 一种多音字读音消歧装置及方法
CN107562792A (zh) 一种基于深度学习的问答匹配方法
CN110929515A (zh) 基于协同注意力和自适应调整的阅读理解方法及系统
CN106202010A (zh) 基于深度神经网络构建法律文本语法树的方法和装置
CN113051399B (zh) 一种基于关系型图卷积网络的小样本细粒度实体分类方法
JP7315065B2 (ja) 質問生成装置、質問生成方法及びプログラム
CN108701253A (zh) 使用规范化的目标输出训练神经网络
CN108536735B (zh) 基于多通道自编码器的多模态词汇表示方法与系统
CN112084301B (zh) 文本修正模型的训练方法及装置、文本修正方法及装置
CN109918647A (zh) 一种安全领域命名实体识别方法及神经网络模型
CN110956039A (zh) 一种基于多维度向量化编码的文本相似度计算方法及装置
CN111507101B (zh) 一种基于多层次语义胶囊路由的反讽检测方法
CN118318222A (zh) 使用序列到序列转换器的自动笔记本补全
Lange et al. Feature-dependent confusion matrices for low-resource NER labeling with noisy labels
CN113204679B (zh) 一种代码查询模型的生成方法和计算机设备
CN112131363B (zh) 自动问答方法、装置、设备及存储介质
CN114048314A (zh) 一种自然语言隐写分析方法
CN113723058A (zh) 文本摘要与关键词抽取方法、装置、设备及介质
CN111753497B (zh) 基于多文本利用分阶层Transformer生成摘要的方法及系统
CN114925197B (zh) 基于主题注意力的深度学习文本分类模型训练方法
CN116226357A (zh) 一种输入中包含错误信息场景下的文档检索方法
CN112711949B (zh) 一种命名实体识别和实体关系抽取的联合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant