CN111178053B - 一种结合语义和文本结构进行生成式摘要抽取的文本生成方法 - Google Patents

Abstract

本发明提出一种结合语义和文本结构进行生成式摘要抽取的文本生成方法，考虑到中文语言结构上的特殊性，将文本结构和文本语义作为网络输入，从而考虑文本的语义和结构两个方面的内容，然后通过编码网络中的编码将语义和结构两方面的数据进行编码和融合，然后利用解码网络进行结果输出。本发明将文本结构也作为元素提高了编码网络获取文本信息的能力；加入了注意力机制提高了解码网络的解码能力。

Description

一种结合语义和文本结构进行生成式摘要抽取的文本生成 方法

技术领域

本发明属于文本生成技术，具体涉及一种结合语义和文本结构的生成式摘要抽取技术。

背景技术

目前，互联网正处于高速发展时期，网络信息也出现了爆炸式增长的情况。随着各种移动终端设备的流斤，人们逐渐摒弃了纯手工文本，开始频繁使用电子文本进行工作、记录和交流等，尤其依赖于从网络上获取有效的信息资源。然而，网络环境中的信息资源数量极其庞大，杂乱无章，如何使得人们可快速、准确地从网络上获取有用的信息，是目前正在被积极研究的一个热点领域。自动文本摘要(简称自动文摘)技术作为该研究领域的一个重要分支，可从海量文本中提取出简短的关键信息来帮助人们快速理解原来的文本内容，有效节省了人们获取有用信息的时间和精力。近年来，自动文摘系统作为一个有力的辅助工具，在各个领域发挥了作用，包括网络信息检索、新闻、邮件和会议记录等，成功地帮助了人们更加快速高效的方式获取了他们想要的信息。

文本自动摘要是一个既传统又前沿的研究领域。自20世纪50年代自动摘要技术出现以来，每出现一波新技术浪潮，都会涌现出一大批相应的自动摘要新方法，然而效果一直与人工摘要有差距。在互联网大数据时代，文本信息的数量已经远远超出了人工处理的极限，自动摘要研究显得越发迫切和重要。深度学习方法在相关领域的出色表现，让研究人员看到了一丝曙光。但传统经典方法对深度学习方法仍有帮助作用。实际上自动摘要方法发展历程也印证了这一点，即，某些经典的文档特征和理念，无论是对于传统旧方法，还是对新兴方法，都极为有用，最出色的方法通常是结合了新旧理念的方法。研究的文本摘要在海量数据的信息提取中显得非常重要，减少文本冗余程度使得文本信息更利于人类进行信息的提取。

文本摘要通常是指从单个或多个文档中产生一段文本，该文本传达了原始文本中的主要信息，但是仅有不到原始文本一半甚至更少的篇幅。文本自动摘要是利用计算机生成文本摘要的理论方法和技术。自动文本摘要问题按照文档数量可分为单文档摘要和多文档摘要问题。其中单文挡摘要是为单个文挡形成摘要，类似于文章标题，将文章中最重要的内容压缩的形式呈现出来。多文档摘要则是为多个主题相同或相近的文档产生摘要，有别于单文档摘要，除了需要剔除多份文档中大量的冗余信息之外，还要能够识别出不同文档中的独特内容，使得生成的摘要能够尽可能的简介完整。按照实现方式可分为抽取式和抽象式。其中抽取式摘要通过抽取出原文中己存在的重要句子组成摘要，而抽象式摘要则是通过理解相关语义信息，使用自然语言技术生成新的句子作为摘要。摘要问题的恃点是输出的文本要比输入的文本篇幅小很多，但却蕴藏着非常多的有效信息在内。

目前理解式摘要抽取方法主要是基于深度学习。通过搭建网络，将文本进行预处理以后，将预处理文本输入到网络，网络通过对训练文本的学习，学习到文本的各种特征，得到摘要抽取的具体网络。这种方法在很大程度上依赖于语料库，属于有监督式的深度学习方法。随着深度学习的发展，将神经网络运用在文本的自动摘要方面也越来越受到关注。

目前比较实用的理解式的摘要抽取的方式是seq2seq模型。这类方法的大体思路是将原文本通过encoder网络编码成固定大小的向量表示，然后通过decoder网路将文本的编译信息转换为所需要的文本摘要，通过选择好的训练集对网络进行训练，得到训练完成的网络。随后由于attention思想的提出，在很多方面都有非常良好的效果，所以将attention机制运用在文本的自动摘要上也取得了较好的效果，使得网络在不同序输出时知道该关注的重要文本，由《A Neural Attention Model for Abstractive SentenceSummarization》首先在此方面实现，在自动文本摘要上取得了良好的效果。

根据目前已有的生成式摘要算法，选择不同的数据库，生成式摘要的效果还达不到可以直接作为语法合理且语义完整表达文本的短文本形式。所以研究生成式摘要的方法成为现在人工智能中自然语言处理方面的一个热点方向和待解决问题。

发明内容

本发明所要解决的技术问题是，考虑文本的语义和结构两个方面的内容，提出一种基于生成式摘要抽取的文本生成方法。

本发明为解决上述技术问题所采用的技术方案是，一种结合语义和文本结构进行生成式摘要抽取的文本生成方法，包括以下步骤：

步骤1、文本语义数值化：将文本做分句处理，然后做分词和去停用词处理，得到文本的有效词语，在词表中查找有效词语对应的数值，得到的数值为数值化的文本语义；所述词表中包含有词语以及与词语一一对应的数值；

步骤2、文本结构数值化：对分句处理后的文本进行句子结构因素的提取，得到句子结构因素的数值为数值化的文本结构；句子结构因素包括：关键词相关度、命名实体数量、句子长度、总结性关键词个数、与关键性句子的相似度；

步骤3、将数值化的文本语义输入至编码网络的Bi-LSTM模型中进行编码，同时将数值化的文本结构输入编码网络的单层LSTM模型中进行编码，然后文本结构编码和文本语义编码结合作为编码器的编码输出至解码器；

步骤4、采用单层LSTM模型的解码器结合注意力机制网络完成解码后输出摘要文本。

本发明将文本结构和文本语义作为网络输入，从而考虑文本的语义和结构两个方面的内容，然后通过编码网络中的编码将语义和结构两方面的数据进行编码和融合，然后利用解码网络进行结果输出。

本发明的有益效果是：

1.提高了编码网络获取文本信息的能力；本发明通过多层网络实现其功能，编码网络中Bi-LSTM模型主要是第一层LSTM用于语义的正向的编码，而第二层LSTM为语义的反向编码，由此构成语义的编码器。第三层LSTM是将文本结构进行编码，然后与语义编码相结合，构成整体的编码器。

2.可以获取更多的文本信息能力：本发明通过将文本结构也作为元素，将其数值化，作为编码网络的输入，从而获取到了更多的文本信息。

3.提高了解码网络的解码能力；利用一层LSTM将编码的向量进行解码，然后加入注意力机制，可对当前和已输出的文本设置下一输出的不同部分权重。由于加入了注意力机制，解码时不仅会考虑前一时刻的输出和对应的当前时刻的输入文本语义信息，还会考虑当前输入文本的结构信息，由此得到最好的结果输出。

附图说明

图1为结合语义和文本结构的生成式摘要抽取方法的模型结构图；

图2为单层LSTM网络结构图，其中σ为sigmoid的神经层，tanh为tanh函数层，输出的h_t为输入序列t的LSTM神经单元的隐藏状态向量。

具体实施方法

如图1所示，一种结合语义和文本结构的生成式摘要抽取方法，包括加入了句子结构的数值元素，使得在编码和解码时将句子的结构考虑进去，然后构建了三层LSTM网络作为编码网络和单层LSTM网络结合注意力机制作为解码网络，从而提高模型的效率。

一种结合语义和文本结构的生成式摘要抽取方法，具体包括以下步骤：

步骤1：文本语义数值化

将文本做分句处理，然后做分词和去停用词处理，得到文本的有效词语，统计词语的词频，根据词频从大到小进行排序，选择词频前10000的词语作为词表。

步骤2：文本结构数值化

将文本做分句处理，然后考虑句子结构的因素为：关键词相关度、命名实体数量、句子长度、总结性关键词个数、与关键性句子的相似度。

关键词相关度：将利用基于图的排序算法textrank，根据图的计算得到评分高的词语作为本文的关键词。统计句子中包含关键词的数量作为句子的关键词相关度得分。

命名实体数量：在一个句子中，经过分析可知道句子包含人名、机构名、地名以及其他所有以名称为标识的实体，此句子的重要程度会更大一些。由此，根据命名实体的数量会给出不同程度的打分。对句子做分词，然后对每个词语做词性的标注，根据词语和相对应的词性得到句子中的命名实体词语，计算命名实体的数量。

句子长度：由于更长的句子所包含的信息更多，所以在一定程度上，更长的句子会重要。因此需要统计句子的长度。将句子利用哈工大的pyltp的中文预处理工具将句子分词，然后统计分词的长度作为句子长度。

总结性关键词个数：考虑到一般句子中，如果出现“总之”、“由此可得”等词语时，该句子一般作为一种总结性句子存在，而这种句子比起一般性阐述性句子会更加重要。因此，建立总结性词语词表，判断句子是否包含总结性词语，由此包含总结性词语的句子获得更高的得分。

关键性句子的相似度：从文本中抽取出关键性句子，主要是利用textrank的图排序算法得到。然后使用杰卡德系数(Jaccard index)计算两个句子的相似度。用于比较有限样本集之间的相似性与差异性。Jaccard系数值越大，样本相似度越高。计算方式：两个样本的交集除以并集得到的数值，当两个样本完全一致时，结果为1，当两个样本完全不同时，结果为0。由此得到了每个句子与关键性句子的相似度。

给定两个集合A，B，Jaccard系数定义为A与B交集的大小与A与B并集的大小的比值。

根据此原理即可得到句子的相似度。

步骤3：编码层网络

通过多层网络实现其功能，编码网络主要是第一层LSTM用于语义的正向的编码，而第二层LSTM为语义的反向编码，由此构成语义的编码器。第三层LSTM是将文本结构进行编码，然后与语义编码相结合，构成整体的编码器。

单层LSTM网络：

Long Short Term Mermory network(LSTM)是一种特殊的RNNs，可以很好地解决长时依赖问题。单层的LSTM网络如图2所示。

LSTM使RNN能够长时间记住他们的输入。这是因为LSTM将他们的信息包含在内存中，这很像计算机的内存，因为LSTM可以从内存读取、写入和删除信息。

这个内存可以被看作一个门控单元，门控意味着单元决定是否存储或删除信息(例如它是否打开门)，这取决于它赋予信息的重要性。重要性的分配发生在权重上，这也是算法学习到的。这仅仅意味着它随着时间的推移学习哪些信息是重要的，哪些不重要。

在RNN中，有三个门：输入、忘记和输出门。这些门决定是否让新的输入(输入门)，删除信息，因为它不重要(忘记门)或让它在当前时间步(输出门)影响输出。

由于需要考虑句子的“长时间记忆”功能，采用Bi-LSTM结构进行语义的编码。文本结构方面采用单层的LSTM进行编码工作，其中，将文本的结构数值化以后利用LSTM将文本结构编码，然后和语义编码结合，作为编码器的结果。

步骤4：解码层网络

采用单层LSTM网络结合注意力机制的网络进行解码，得到输出。

注意力机制；即解码时不仅会考虑前一时刻的输出和对应的当前时刻的输入文本语义信息，还会考虑当前输入文本的结构信息。将前一时刻的输出信息和此时刻也作为元素进行权重设置，可以将解码的“注意力”集中在重要的当前信息。

Attention机制的基本思想是：打破了传统编码器-解码器结构在编解码时都依赖于内部一个固定长度向量的限制。

Attention机制的实现是通过保留LSTM编码器对输入序列的中间输出结果，然后训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。

换一个角度而言，输出序列中的每一项的生成概率取决于在输入序列中选择了哪些项。

Attention-based Model其实就是一个相似性的度量，当前的输入与目标状态约相似，那么在当前的输入的权重就会越大。就是在原有的model上加入了Attention的思想。

根据这个模型实现该算法，由此得到合理的摘要结果。

这个模型的输入是将词语根据出现次数进行统计，然后根据词频从大到小进行排序，然后给词语进行数值编号，得到相应词语对应的编码。由此，将文本根据此编码方式转为数值化的向量表示。

对于SS-EDA模型，将上述词语的编码构成句子和整篇文本的数值化表示，得到模型的双向文本语义层的输入。而文本结构层的输入则是根据上述的步骤2的文本结构数值化得到。然后将三层网络的中间状态向量进行卷积得到了h_i，然后得到了每个序列i的向量化，然后根据所有序列的向量构成了整个文本序列的编码向量s。然后将编码向量作为译码网络的输入，将网络进行训练和运行得到相应的输出向量，得到的输出向量为一维的向量表示，然后将数值化向量转化为文本，需要根据上述统计得到的词语编码进行转换，根据输出向量的每个数值，根据词表找到相应数值对应的文本词语，然后存储为一个文本格式的文件，然后得到了向量所对应的文本文字表示，即是生成方法得到的摘要。

其中的注意力机制在现有技术已经有比较具体的介绍，因此此算法是按照比较通用的注意力机制进行softmax函数进行处理以后，通过卷积加入到上述的编码网络向量h里面，然后又进行模型的迭代训练即可。

综上所述，整个SS-EDA模型的网路结构的搭建完成。由于目前在文本摘要的前沿技术方向中大多数以英文作为研究的数据源，因此在考虑中文摘要时，由于不同的语言特征，因此在考虑文本语义时，文本的结构是非常重要的。这种文本结构的特殊性是基于中文比较特殊，而且相对于英文，中文更加负载，在理解方面和文本表示表示方面，会更加特殊和具象化，才可以理解中文文本所表示的争抢意思。因此，SS-EDA模型主要是在基于中文的文本生成式摘要，改进了中文文本在语言上对生成式模型的影响，加入了文本的结构，使得在生成中文摘要时获得更好的效果。

Claims (6)

1.一种结合语义和文本结构进行生成式摘要抽取的文本生成方法，其特征在于，包括以下步骤：

步骤1、文本语义数值化：将文本做分句处理，然后做分词和去停用词处理，得到文本的有效词语，在词表中查找有效词语对应的数值，得到的数值为数值化的文本语义；所述词表中包含有词语以及与词语一一对应的数值；

步骤2、文本结构数值化：对分句处理后的文本进行句子结构因素的提取，得到句子结构因素的数值为数值化的文本结构；句子结构因素包括：关键词相关度、命名实体数量、句子长度、总结性关键词个数、与关键性句子的相似度；

步骤3、将数值化的文本语义输入至编码网络的Bi-LSTM模型中进行编码，同时将数值化的文本结构输入编码网络的单层LSTM模型中进行编码，然后文本结构编码和文本语义编码结合作为编码器的编码输出至解码器；

步骤4、采用单层LSTM模型的解码器结合注意力机制网络完成解码后输出摘要文本；

所述词表的生成方法为：将数据源中各文本做分句处理，然后做分词和去停用词处理，得到文本的有效词语，统计有效词语的词频，根据词频从大到小进行对有效词语进行排序，选出排序中词频高的设定数值个有效词语，对选出的设定数值个有效词语赋予一一对应的数值形成词表。

2.如权利要求1所述方法，其特征在于，得到关键词相关度的数值具体方法为：利用基于图的排序算法，将根据图的计算得到评分高的词语作为本文的关键词，再统计句子中包含关键词的数量作为句子的关键词相关度的数值。

3.如权利要求1所述方法，其特征在于，得到命名实体数量的数值具体方法为：对句子做分词，然后对每个词语作词性的标注，根据词语和相对应的词性得到句子中的命名实体词语，计算命名实体的数量作为句子的命名实体数量的数值；所述命名实体词语的词性包括人名、机构名、地名以及其他以名称为标识的实体。

4.如权利要求1所述方法，其特征在于，得到句子长度的数值的具体方法为：利用中文预处理工具pyltp将句子分词，将统计分词的个数作为句子长度的数值。

5.如权利要求1所述方法，其特征在于，得到总结性关键词个数的数值的具体方法为：建立总结性词语词表，判断句子是否包含总结性词语，为包含总结性词语的句子赋予得分数值，将句子中的总结性词语的得分数值作为总结性关键词个数的数值。

6.如权利要求1所述方法，其特征在于，得到关键性句子的相似度的数值的具体方法为：利用图排序算法从文本中抽取出关键性句子，再使用杰卡德系数计算两个句子的相似度：杰卡德系数越大，句子相似度越高，两个句子的交集除以并集得到的数值作为关键性句子的相似度的数值。