CN111339763B - 一种基于多层级神经网络的英文邮件主题生成方法 - Google Patents

一种基于多层级神经网络的英文邮件主题生成方法 Download PDF

Info

Publication number
CN111339763B
CN111339763B CN202010119380.6A CN202010119380A CN111339763B CN 111339763 B CN111339763 B CN 111339763B CN 202010119380 A CN202010119380 A CN 202010119380A CN 111339763 B CN111339763 B CN 111339763B
Authority
CN
China
Prior art keywords
mail
sentence
sentences
generating
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010119380.6A
Other languages
English (en)
Other versions
CN111339763A (zh
Inventor
吕建成
薛明峰
彭德中
杨可心
孙亚楠
桑永胜
贺喆南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010119380.6A priority Critical patent/CN111339763B/zh
Publication of CN111339763A publication Critical patent/CN111339763A/zh
Application granted granted Critical
Publication of CN111339763B publication Critical patent/CN111339763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种基于多层级神经网络的英文邮件主题生成方法，本发明提出了基于Transformer的融合词、句、全文多级信息的多层级网络结构，从抽取到生成，逐步凝练邮件信息并生成最终结果，本发明将邮件正文输入抽取器，输出抽取的句子与全文表达，通过TextRank关键词提取器提取的关键词与抽取的句子、全文表达共同输入摘要器，输出主题。本发明提出了使用关键词、全文信息和邮件重要句信息智能生成邮件主题的方案，综合考虑了邮件的字词、句、全文三个级别的信息；本发明在主题生成任务中使用ElMo算法和拷贝技术，解决由于邮件易见词典外单词而引起的编码与输出偏差问题。

Description

一种基于多层级神经网络的英文邮件主题生成方法
技术领域
本发明属于邮件生成技术领域，尤其涉及一种基于多层级神经网络的英文邮件主题生成方法。
背景技术
邮件是人们生活工作中的一种重要交流方式，尤其在工作中，很多重要的信息都通过邮件进行通知和交流。同时，大量网站和公司利用邮件投放广告，更有甚者，少数不法分子利用邮件进行诈骗。在现实生活中，人们往往忽略邮件主题的作用，在写邮件时不添加主题或者随意填写与内容相关性不高的主题。伴随着大量垃圾邮件和无主题的邮件，人们每天需要花费大量时间阅读和处理邮件。为了解决这一问题，我们使用一种分层的深度学习方法，根据邮件正文内容智能生成相对应的邮件主题，在写和读邮件时，简练而智能地生成主题能够节省撰写和阅读时间，在邮件的分类和垃圾邮件识别等任务中，智能生成主题能够凝练邮件的内容，对邮件进行信息压缩，为后续工作提供高层次的语义信息。因此，智能地生成邮件主题有着重要的意义。
深度神经网络模拟人脑的神经元工作，利用大量的数据对数据的特征进行提取和学习，通过计算深度神经网络生成的结果与真实结果之间的偏差，来对神经网络的参数进行调整，从而达到训练神经网络的目的。目前，针对自然语言处理的问题已经有了大量的深度神经网络模型，代表性的RNN网络、Transformer等都在文本的分类、生成等任务上取得了不错的结果。目前，邮件主题生成方案中，可以发现有以下缺点：1、重要句子索引过程只考虑单词的重复，正文中同一单词出现次数可能很多，重要句子信息过于冗余。2、使用LSTM作为摘要器，对长句子处理效果不好，容易产生遗忘，导致准确率降低。3、摘要过程没有考虑邮件中除主题外的关键单词与全文信息的利用，导致部分重要信息无法捕捉。4、使用固定的word embedding方法对单词进行编码，在输入中无法处理已有词典外的新单词。邮件主题生成与文章的自动摘要具有一定的相似性，不过邮件主题更为凝练，通常为几个单词，而文章摘要则通常有几十到一百个单词，可见主题生成的任务需要对正文信息进行高度压缩。在实现方法上，有一些自动摘要方案与我们的方案具有一定的相似性，现在列出进行比较。
“SummaRuNNer:A Recurrent Neural Network based Sequence Model forExtractive Summarization of Documents”一文中使用rouge分数排序来标记重要句子，但是使用了LSTM作为摘要器。“A Unified Model for Extractive and AbstractiveSummarization using Inconsistency Loss”一文使用按rouge分数逐句加入的方法标记重要句子，但是使用了Pointer-generator network作为摘要器，只能从输入拷贝单词，生成能力较弱。“On Extractive and Abstractive Neural Document Summarization withTransformer Language Models”使用了Transformer作为摘要器，但是也存在着以上几个方案都存在的问题：邮件中易出现特定的时间、地点、人名等，而为了保证神经网络的效率与准确性，这些信息不会加入词典，以上模型使用了传统word embedding方法而无法表示词典外单词，导致大量未知节点作为输入，降低了模型性能；忽略了关键词级别和全文级别的语义信息。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于多层级神经网络的英文邮件主题生成方法解决了上述不足的问题。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种基于多层级神经网络的英文邮件主题生成方法，包括以下步骤：
S1、根据获取的英文邮件数据中出现的单词顺序构建词典，并建立单词和单词索引的映射；
S2、将英文邮件的正文输入至抽取器，并利用抽取器抽取其部分句子，得到句子在英文邮件正文中的索引；
S3、根据步骤S2得到的索引以及通过Rouge分数抽取的重要句子的索引，计算得到第一偏差，并将所述第一偏差作为更新抽取器的参数；
S4、判断抽取器的参数是否收敛，若是，则进入步骤S5，否则，返回步骤S3；
S5、利用TextRank关键词提取器提取英文邮件正文中的关键词；
S6、将抽取器抽取的重要句子表达进行平均池化处理，并将经平均池化处理后的重要句子表达进行拼接，得到全文信息表达；
S7、将通过Rouge分数抽取的重要句子、邮件正文中的关键词以及全文信息表达输入至摘要器的生成端和拷贝端，并根据所述词典以及单词和单词索引的映射，利用生成和拷贝机制生成英文邮件主题；
S8、根据所述英文邮件主题与其对应的真实主题，计算得到第二偏差，并利用所述第二偏差反向更新摘要器的参数；
S9、判断摘要器的参数是否收敛，若是，则训练结束，利用摘要器生成英文邮件主题，否则，返回步骤S8。
进一步地，所述步骤S2包括以下步骤：
A1、根据英文邮件正文中的每个句子，利用ELMo算法计算得到所有单词的embedding编码表示；
A2、根据所述单词的embedding编码表示利用单词层双向LSTM，获取每个单词的隐层表示；
A3、将每个句子中单词的最后时刻隐层表示进行平均池化处理，并将单词层双向LSTM中两个方向的隐层表示进行拼接处理；
A4、将经平均池化处理后的隐层表示以及经拼接处理后的隐层表示传入句子层双向LSTM，得到句子的隐层表示；
A5、将句子层双向LSTM两个方向的句子隐层表示进行拼接处理，得到全文表达；
A6、将每个句子在句子层的最后时刻隐层表示与平均池化后的全文表达进行拼接，并将拼接后的结果传入至全连接层进行二分类处理；
A7、根据分类结果表示提取被抽取句子的索引，并进入步骤S3。
再进一步地，所述步骤A7具体为：
若分类结果表示为1，则抽取该句子的索引，得到句子在英文邮件正文中的索引，并进入步骤S3；若分类结果表示为0，则不抽取，并进入步骤S3。
再进一步地，所述步骤S3中通过Rouge分数抽取重要句子的索引，包括以下步骤：
B1、根据英文邮件正文中的每一个句子以及真实主题计算得到Rouge分数，并按照Rouge分数从高到低进行排序；
B2、检查所述Rouge分数不为0的句子数量是否超过5个，若是，则选取Rouge分数从高到低的前5句作为抽取的重要句子，并获取对应的索引，否则，选取所有Rouge分数不为0的句子作为抽取的重要句子，并获取对应的索引。
再进一步地，所述步骤S7中的利用生成和拷贝机制生成英文邮件主题包括以下步骤：
C1、将通过Rouge分数抽取的重要句子、邮件正文中的关键词以及全文信息表达输入至摘要器，利用生成和拷贝机制得到最终生成结果Pfinal；
C2、根据所述最终生成结果Pfinal将每个位置单词出现的概率进行区分，形成概率列表；
C3、从所述概率列表中找到每个位置的单词出现概率最大的单词索引，并在所述词典中找到对应索引映射的单词；
C4、将所有单词映射完毕，组成句子，并将所述组成的句子作为最终生成的英文邮件主题。
再进一步地，所述步骤C1包括以下步骤：
D1、根据摘要器生成端中Encoder-多头注意力层的输出与其拷贝端中部分主题Decoder层的输出，计算得到注意力信息Attn；
D2、将所述注意力信息Attn与上下文信息输入至全连接网络，得到生成概率P；
D3、利用摘要器的拷贝端将所述注意力信息Attn进行归一化处理，得到拷贝结果分布概率Pcopy；
D4、根据摘要器中部分主题Decoder层输出的生成结果概率分布Pgene、拷贝结果分布概率Pcopy以及生成概率P，计算得到最终生成结果。
再进一步地，所述步骤D4中最终生成结果Pfinal的表达式如下：
Pfinal＝(1-P)*Pcopy+P*Pgene
其中，P表示生成概率，Pcopy表示注意力信息Attn作为拷贝结果概率分布，Pgene表示部分主题Decoder的计算输出作为生成结果概率分布。
本发明的有益效果：
(1)本发明提供了一种基于多层级神经网络的英文邮件主题生成方法，本发明将邮件正文输入抽取器，输出抽取的句子与全文表达，通过TextRank关键词提取器提取的关键词与抽取的句子、全文表达共同输入摘要器，输出主题。本发明提出了使用关键词、全文信息和邮件重要句信息智能生成邮件主题的方案，综合考虑了邮件的字词、句、全文三个级别的信息，有效地提高了模型输出的准确率；
(2)本发明中重要句子索引采取选择适当数目Rouge分数较高的句子，使得重要句子提取更为简练准确，同时减小了模型计算量；
(3)本发明中使用Transformer作为摘要器，其能对长句子也可以进行很好的建模；
(4)本发明中在摘要器中融入邮件关键字和全文信息的高层语义表达，信息利用充分；
(5)本发明中使用ELMo算法对单词进行编码，可处理所有单词，且融合了句子上下文信息，编码更为准确，鲁棒性更强；
(6)本发明使用拷贝机制输出词典外单词，使得输出可选性与准确性更高。
附图说明
图1为本发明的方法流程图。
图2为本发明的方法流程框图。
图3为本发明中抽取器的网络结构图。
图4为本发明中摘要器的网络结构图。
图5为本发明中拷贝机制的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
如图1-2所示，本发明提供了一种基于多层级神经网络的英文邮件主题生成方法，其实现方法如下：
S1、根据获取的英文邮件数据中出现的单词顺序构建词典，并建立单词和单词索引的映射；
S2、将英文邮件的正文输入至抽取器，并利用抽取器抽取其部分句子，得到句子在英文邮件正文中的索引，其实现方法如下：
A1、根据英文邮件正文中的每个句子，利用ELMo算法计算得到所有单词的embedding编码表示；
A2、根据单词的embedding编码表示利用单词层双向LSTM，获取每个单词的隐层表示；
A3、将每个句子中单词的最后时刻隐层表示进行平均池化处理，并将单词层双向LSTM中两个方向的隐层表示进行拼接处理；
A4、将经平均池化处理后的隐层表示以及经拼接处理后的隐层表示传入句子层双向LSTM，得到句子的隐层表示；
A5、将句子层双向LSTM两个方向的句子隐层表示进行拼接处理，得到全文表达；
A6、将每个句子在句子层的最后时刻隐层表示与平均池化后的全文表达进行拼接，并将拼接后的结果传入至全连接层进行二分类处理，得到分类结果表示；
A7、根据所述分类结果表示提取被抽取句子的索引，并进入步骤S3，其具体为：若分类结果表示为1，则抽取该句子的索引，得到句子在英文邮件正文中的索引，并进入步骤S3；若分类结果表示为0，则不抽取，并进入步骤S3。
本实施例中，如图2所示，图中s1-s5分别表示邮件正文中的句子，w1和w2为关键词提取器提取的关键词。在训练阶段，抽取器和摘要器分开训练，训练抽取器时，将邮件正文输入抽取器，抽取器抽取其中信息量较为丰富的部分句子，得到结果为句子在正文中的索引。将索引与通过rouge分数抽取的重要句子索引计算偏差作为抽取器的损失更新抽取器的参数，直至参数收敛。训练摘要器时，通过TextRank关键词提取器获得邮件中的几个关键词，将抽取器的句子表达进行平均池化并连接得到全文表达，将通过rouge分数抽取的重要句子、关键词和全文表达输入摘要器，摘要器逐步生成主题，将主题与对应的真实主题计算偏差作为摘要器的损失，反向更新摘要器的参数，直至参数收敛。至此，训练结束。在使用阶段，不进行图中的偏差计算与更新参数过程，输入摘要器的句子为抽取器输出的句子。即整体流程为将邮件正文输入抽取器，输出抽取的句子与全文表达，通过TextRank输出关键词并与抽取的句子、全文表达共同输入摘要器，输出主题。
本实施例中，如图3所示，图3为抽取器的网络结构图，图中双向横线表示双向LSTM结构，句子1、2、3表示一个邮件中的多个句子，w1-w6分别为句子1、2、3中的单词。将邮件每个句子通过ELMo算法获得所有单词的embedding编码表示；将单词编码表示通过单词层双向LSTM，获得每个单词的隐层表示；将句子中单词的最后时刻隐层表示平均池化，并将双向LSTM两个方向的隐层拼接并传入句子层双向LSTM，获得句子的隐层表示；将句子层双向LSTM两个方向的隐层拼接得到全文表达；将每个句子的最后时刻隐层与平均池化后的全文表达拼接并传入全连接层进行二分类，得到的结果表示该句是否被抽取。在训练过程中，全连接层输出的结果将与标记的重要句子计算偏差，损失函数使用二分类交叉熵损失函数。
S3、根据步骤S2得到的索引以及通过Rouge分数抽取的重要句子的索引，计算得到第一偏差，并将第一偏差作为更新抽取器的参数；其中,通过Rouge分数抽取重要句子的索引，包括以下步骤：
B1、根据英文邮件正文中的每一个句子以及真实主题计算得到Rouge分数，并按照Rouge分数从高到低进行排序；
B2、检查Rouge分数不为0的句子数量是否超过5个，若是，则选取Rouge分数从高到低的前5句作为抽取的重要句子，并获取对应的索引，否则，选取所有Rouge分数不为0的句子作为抽取的重要句子，并获取对应的索引；
S4、判断抽取器的参数是否收敛，若是，则进入步骤S5，否则，返回步骤S3；
S5、利用TextRank关键词提取器提取英文邮件正文中的关键词；
S6、将抽取器抽取的重要句子表达进行平均池化处理，并将经平均池化处理后的重要句子表达进行拼接，得到全文信息表达；
S7、将通过Rouge分数抽取的重要句子、邮件正文中的关键词以及全文信息表达输入至摘要器的生成端和拷贝端，并根据词典以及单词和单词索引的映射，利用生成和拷贝机制生成英文邮件主题，其实现方法如下：
C1、将通过Rouge分数抽取的重要句子、邮件正文中的关键词以及全文信息表达输入至摘要器，利用生成和拷贝机制得到最终生成结果Pfinal，其实现方法如下：
D1、根据摘要器生成端中Encoder-多头注意力层的输出与其拷贝端中部分主题Decoder层的输出，计算得到注意力信息Attn；
D2、将注意力信息Attn与上下文信息输入至全连接网络，得到生成概率P；
D3、利用摘要器的拷贝端将注意力信息Attn进行归一化处理，得到拷贝结果分布概率Pcopy；
D4、根据摘要器中部分主题Decoder层输出的生成结果概率分布Pgene、拷贝结果分布概率Pcopy以及生成概率P，计算得到最终生成结果；
C2、根据最终生成结果Pfinal将每个位置单词出现的概率进行区分，形成概率列表；
C3、从所述概率列表中找到每个位置的单词出现概率最大的单词索引，并在所述词典中找到对应索引映射的单词；
C4、将所有单词映射完毕，组成句子，并将组成的句子作为最终生成的英文邮件主题；
最终生成结果Pfinal的表达式如下：
Pfinal＝(1-P)*Pcopy+P*Pgene
其中，P表示生成概率，Pcopy表示注意力信息Attn作为拷贝结果概率分布，Pgene表示部分主题Decoder的计算输出作为生成结果概率分布；
S8、根据英文邮件主题与其对应的真实主题，计算得到第二偏差，并利用第二偏差反向更新摘要器的参数；
本实施例中，如图4所示，摘要器是Encoder-Decoder结构，Encoder将邮件正文编码为向量表示，Decoder则生成主题，其中，融入了抽取器计算得到的全文表达和关键词通过另一个Encoder得到的关键词表达，因为关键词之间并无词序关系，所以该Encoder不使用位置编码。
本实施例中，如图5所示，拷贝机制允许摘要器从输入的邮件正文中直接拷贝单词作为当前时间步的输出，该输出可以在当前词典之外，拷贝机制在邮件中含有词典外重要名词时效果明显，而邮件中易出现特定的地点、时间、人名等，故拷贝机制非常重要。如图5所示，根据摘要器Encoder的多头注意力与部分主题计算得到的输出Output计算注意力信息Attn，再将该注意力信息与输出Output共同输入全连接网络得到生成概率P。注意力信息Attn作为拷贝结果概率分布Pcopy，Decoder计算输出作为生成结果概率分布Pgene，得到最终结果概率分布Pfinal。
S9、判断摘要器的参数是否收敛，若是，则利用摘要器生成英文邮件主题，否则，返回步骤S8。
本发明通过以上设计，提出了基于Transformer的融合词、句、全文多级信息的多层级网络结构，从抽取到生成，逐步凝练邮件信息并生成最终结果，本发明将邮件正文输入抽取器，输出抽取的句子与全文表达，通过TextRank关键词提取器提取的关键词与抽取的句子、全文表达共同输入摘要器，最后输出主题，提高了模型输出的准确率，以及减少了模型的计算难度。

Claims (5)

1.一种基于多层级神经网络的英文邮件主题生成方法，其特征在于，包括以下步骤：
S1、根据获取的英文邮件数据中出现的单词顺序构建词典，并建立单词和单词索引的映射；
S2、将英文邮件的正文输入至抽取器，并利用抽取器抽取其部分句子，得到句子在英文邮件正文中的索引；
S3、根据步骤S2得到的索引以及通过Rouge分数抽取的重要句子的索引，计算得到第一偏差，并将所述第一偏差作为更新抽取器的参数；
S4、判断抽取器的参数是否收敛，若是，则进入步骤S5，否则，返回步骤S3；
S5、利用TextRank关键词提取器提取英文邮件正文中的关键词；
S6、将抽取器抽取的重要句子表达进行平均池化处理，并将经平均池化处理后的重要句子表达进行拼接，得到全文信息表达；
S7、将通过Rouge分数抽取的重要句子、邮件正文中的关键词以及全文信息表达输入至摘要器的生成端和拷贝端，并根据所述词典以及单词和单词索引的映射，利用生成和拷贝机制生成英文邮件主题；
所述步骤S7中的利用生成和拷贝机制生成英文邮件主题包括以下步骤：
C1、将通过Rouge分数抽取的重要句子、邮件正文中的关键词以及全文信息表达输入至摘要器，利用生成和拷贝机制得到最终生成结果P final ；
C2、根据所述最终生成结果P final 将每个位置单词出现的概率进行区分，形成概率列表；
C3、从所述概率列表中找到每个位置的单词出现概率最大的单词索引，并在所述词典中找到对应索引映射的单词；
C4、将所有单词映射完毕，组成句子，并将所述组成的句子作为最终生成的英文邮件主题；
所述步骤C1包括以下步骤：
D1、根据摘要器生成端中Encoder-多头注意力层的输出与其拷贝端中部分主题Decoder层的输出，计算得到注意力信息Attn；
D2、将所述注意力信息Attn与上下文信息输入至全连接网络，得到生成概率P；
D3、利用摘要器的拷贝端将所述注意力信息Attn进行归一化处理，得到拷贝结果分布概率P copy ；
D4、根据摘要器中部分主题Decoder层输出的生成结果概率分布P gene 、拷贝结果分布概率P copy 以及生成概率P，计算得到最终生成结果P final ；
S8、根据所述英文邮件主题与其对应的真实主题，计算得到第二偏差，并利用所述第二偏差反向更新摘要器的参数；
S9、判断摘要器的参数是否收敛，若是，则训练结束，利用摘要器生成英文邮件主题，否则，返回步骤S8。
2.根据权利要求1所述的基于多层级神经网络的英文邮件主题生成方法，其特征在于，所述步骤S2包括以下步骤：
A1、根据英文邮件正文中的每个句子，利用ELMo算法计算得到所有单词的embedding编码表示；
A2、根据所述单词的embedding编码表示利用单词层双向LSTM，获取每个单词的隐层表示；
A3、将每个句子中单词的最后时刻隐层表示进行平均池化处理，并将单词层双向LSTM中两个方向的隐层表示进行拼接处理；
A4、将经平均池化处理后的隐层表示以及经拼接处理后的隐层表示传入句子层双向LSTM，得到句子的隐层表示；
A5、将句子层双向LSTM两个方向的句子隐层表示进行拼接处理，得到全文表达；
A6、将每个句子在句子层的最后时刻隐层表示与平均池化后的全文表达进行拼接，并将拼接后的结果传入至全连接层进行二分类处理，得到分类结果表示；
A7、根据所述分类结果表示提取被抽取句子的索引，并进入步骤S3。
3.根据权利要求2所述的基于多层级神经网络的英文邮件主题生成方法，其特征在于，所述步骤A7具体为：
若分类结果表示为1，则抽取该句子的索引，得到句子在英文邮件正文中的索引，并进入步骤S3；若分类结果表示为0，则不抽取，并进入步骤S3。
4.根据权利要求1所述的基于多层级神经网络的英文邮件主题生成方法，其特征在于，所述步骤S3中通过Rouge分数抽取重要句子的索引，包括以下步骤：
B1、根据英文邮件正文中的每一个句子以及真实主题计算得到Rouge分数，并按照Rouge分数从高到低进行排序；
B2、检查所述Rouge分数不为0的句子数量是否超过5个，若是，则选取Rouge分数从高到低的前5句作为抽取的重要句子，并获取对应的索引，否则，选取所有Rouge分数不为0的句子作为抽取的重要句子，并获取对应的索引。
5.根据权利要求1所述的基于多层级神经网络的英文邮件主题生成方法，其特征在于，所述步骤D4中最终生成结果P final 的表达式如下：
P final =（1-P）*P copy +P*P gene
其中，P表示生成概率，P copy 表示注意力信息Attn作为拷贝结果概率分布，P gene 表示部分主题Decoder的计算输出作为生成结果概率分布。
CN202010119380.6A 2020-02-26 2020-02-26 一种基于多层级神经网络的英文邮件主题生成方法 Active CN111339763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010119380.6A CN111339763B (zh) 2020-02-26 2020-02-26 一种基于多层级神经网络的英文邮件主题生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119380.6A CN111339763B (zh) 2020-02-26 2020-02-26 一种基于多层级神经网络的英文邮件主题生成方法

Publications (2)

Publication Number Publication Date
CN111339763A CN111339763A (zh) 2020-06-26
CN111339763B true CN111339763B (zh) 2022-06-28

Family

ID=71185520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119380.6A Active CN111339763B (zh) 2020-02-26 2020-02-26 一种基于多层级神经网络的英文邮件主题生成方法

Country Status (1)

Country Link
CN (1) CN111339763B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10312380A (ja) * 1997-05-13 1998-11-24 Nippon Telegr & Teleph Corp <Ntt> 電子メールサブジェクト生成方法及び装置及び電子メールサブジェクト生成プログラムを格納した記憶媒体
CN104408173A (zh) * 2014-12-11 2015-03-11 焦点科技股份有限公司 一种基于b2b平台的核心关键词自动提取方法
CN106776562A (zh) * 2016-12-20 2017-05-31 上海智臻智能网络科技股份有限公司 一种关键词提取方法和提取系统
CN108804495A (zh) * 2018-04-02 2018-11-13 华南理工大学 一种基于增强语义的自动文本摘要方法
CN109062897A (zh) * 2018-07-26 2018-12-21 苏州大学 基于深度神经网络的句子对齐方法
CN109302336A (zh) * 2018-08-14 2019-02-01 平安科技（深圳）有限公司 邮件生成方法、装置、计算机设备及存储介质
CN109684452A (zh) * 2018-12-25 2019-04-26 中科国力(镇江)智能技术有限公司 一种基于答案与答案位置信息的神经网络问题生成方法
CN109948162A (zh) * 2019-03-25 2019-06-28 北京理工大学 融合序列语法标注框架的生成式文本摘要方法
CN110008313A (zh) * 2019-04-11 2019-07-12 重庆华龙网海数科技有限公司 一种抽取式无监督文本摘要方法
CN110321426A (zh) * 2019-07-02 2019-10-11 腾讯科技（深圳）有限公司 摘要抽取方法、装置及计算机设备
CN110597979A (zh) * 2019-06-13 2019-12-20 中山大学 一种基于自注意力的生成式文本摘要方法
CN110619034A (zh) * 2019-06-27 2019-12-27 中山大学 基于Transformer模型的文本关键词生成方法
CN110782002A (zh) * 2019-09-12 2020-02-11 成都四方伟业软件股份有限公司 一种lstm神经网络训练方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563603B2 (en) * 2013-06-18 2017-02-07 International Business Machines Corporation Providing known distribution patterns associated with specific measures and metrics

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10312380A (ja) * 1997-05-13 1998-11-24 Nippon Telegr & Teleph Corp <Ntt> 電子メールサブジェクト生成方法及び装置及び電子メールサブジェクト生成プログラムを格納した記憶媒体
CN104408173A (zh) * 2014-12-11 2015-03-11 焦点科技股份有限公司 一种基于b2b平台的核心关键词自动提取方法
CN106776562A (zh) * 2016-12-20 2017-05-31 上海智臻智能网络科技股份有限公司 一种关键词提取方法和提取系统
CN108804495A (zh) * 2018-04-02 2018-11-13 华南理工大学 一种基于增强语义的自动文本摘要方法
CN109062897A (zh) * 2018-07-26 2018-12-21 苏州大学 基于深度神经网络的句子对齐方法
CN109302336A (zh) * 2018-08-14 2019-02-01 平安科技（深圳）有限公司 邮件生成方法、装置、计算机设备及存储介质
CN109684452A (zh) * 2018-12-25 2019-04-26 中科国力(镇江)智能技术有限公司 一种基于答案与答案位置信息的神经网络问题生成方法
CN109948162A (zh) * 2019-03-25 2019-06-28 北京理工大学 融合序列语法标注框架的生成式文本摘要方法
CN110008313A (zh) * 2019-04-11 2019-07-12 重庆华龙网海数科技有限公司 一种抽取式无监督文本摘要方法
CN110597979A (zh) * 2019-06-13 2019-12-20 中山大学 一种基于自注意力的生成式文本摘要方法
CN110619034A (zh) * 2019-06-27 2019-12-27 中山大学 基于Transformer模型的文本关键词生成方法
CN110321426A (zh) * 2019-07-02 2019-10-11 腾讯科技（深圳）有限公司 摘要抽取方法、装置及计算机设备
CN110782002A (zh) * 2019-09-12 2020-02-11 成都四方伟业软件股份有限公司 一种lstm神经网络训练方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Detection of online phishing email using dynamic evolving neural network based on reinforcement learning";Sami Smadi 等;《Decision Support Systems》;20180331;第107卷;第88-102页 *
"Recurrent Neural Network for Text Classification with Multi-Task Learning";Pengfei Liu 等;《Computer Science（Computation and Language）》;20160517;第1-6页 *
"基于双向时间深度卷积网络的中文文本情感分类";韩建胜 等;《计算机应用与软件》;20191212;第36卷(第12期);第225-231页 *
"多邮件自动文摘的关键技术研究";王宝勋;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20120715;第I138-2787页 *
"面向中文文本的本体学习方法研究";官莹莹;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20090915;第I138-858页 *

Also Published As

Publication number Publication date
CN111339763A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN110825881B (zh) 一种建立电力知识图谱的方法
CN108416058B (zh) 一种基于Bi-LSTM输入信息增强的关系抽取方法
CN110427461B (zh) 智能问答信息处理方法、电子设备及计算机可读存储介质
CN106599032B (zh) 一种结合稀疏编码和结构感知机的文本事件抽取方法
CN112269868B (zh) 一种基于多任务联合训练的机器阅读理解模型的使用方法
CN110263325B (zh) 中文分词系统
WO2022252636A1 (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN111563166A (zh) 一种针对数学问题分类的预训练模型方法
CN111581350A (zh) 一种基于预训练语言模型的多任务学习阅读理解方法
CN111858932A (zh) 基于Transformer的多重特征中英文情感分类方法及系统
CN114020906A (zh) 基于孪生神经网络的中文医疗文本信息匹配方法及系统
CN111368542A (zh) 一种基于递归神经网络的文本语言关联抽取方法和系统
CN112417170B (zh) 面向不完备知识图谱的关系链接方法
CN115759119B (zh) 一种金融文本情感分析方法、系统、介质和设备
CN110597968A (zh) 一种回复选择方法及装置
CN114154504A (zh) 一种基于多信息增强的中文命名实体识别算法
CN115526236A (zh) 一种基于多模态对比学习的文本网络图分类方法
CN114564563A (zh) 一种基于关系分解的端到端实体关系联合抽取方法及系统
CN116595023A (zh) 地址信息的更新方法和装置、电子设备及存储介质
CN115274086A (zh) 一种智能导诊方法及系统
CN113010690B (zh) 一种基于文本信息增强实体嵌入的方法
CN114372454B (zh) 文本信息抽取方法、模型训练方法、装置及存储介质
CN116522165B (zh) 一种基于孪生结构的舆情文本匹配系统及方法
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
CN113051886A (zh) 一种试题查重方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant