CN109726281A - 一种文本摘要生成方法、智能终端及存储介质 - Google Patents
一种文本摘要生成方法、智能终端及存储介质 Download PDFInfo
- Publication number
- CN109726281A CN109726281A CN201811516983.9A CN201811516983A CN109726281A CN 109726281 A CN109726281 A CN 109726281A CN 201811516983 A CN201811516983 A CN 201811516983A CN 109726281 A CN109726281 A CN 109726281A
- Authority
- CN
- China
- Prior art keywords
- text
- data
- output
- input
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000013598 vector Substances 0.000 claims abstract description 82
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 239000013604 expression vector Substances 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文本摘要生成方法、智能终端及存储介质，所述方法包括：获取待生成摘要的输入信息，并将所述输入信息转换为数字向量数据；通过编码器将数字向量数据输入到双向循环神经网络进行运算，输出句子到选择门网络生成新的门状态序列；通过注意力层将选择门网络中输出的门状态序列加一个高斯窗，进行计算后得到当前时刻包含上下文信息的向量输出到解码器；通过解码器通过解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。本发明根据用户的需求快速、准确生成文本摘要，可以准确表达文章的主旨，更加符合用户的阅读习惯，使得用户可以根据文本摘要迅速获取文章的主要信息。
Description
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种文本摘要生成方法、智能终端及存储介质。
背景技术
随着科技的飞速发展，网络上的各种各样的文章资料让人眼花缭乱，这些杂乱的文章很多时候利用价值并不大，而且很多吸引人的标题并不符实，导致容易被“标题党”欺骗，尤其是对一些资料投入精力进行阅读后才发现并不是自己想要的，既浪费了大量的时间，又大大的降低了工作效率，为了确定当前所掌握的资料是否是自己真正想要的，更快捷的找到自己满意的内容，需要对未知的资料进行快速的浏览对其进行甄别，从而得到自己真正需要的有价值的资料。
现有相对成熟的摘要生成方法一般都采用的是抽取式的方式，其核心思想就是在原文中寻找一些关键词、句来组成一篇摘要，这种方式有很大的局限性，关键词、句的产生一般都是通过对文章进行分词处理后寻找那些出现频率较高的标签来确定，生成的摘要很难准确的捕捉到文章的所有信息。导致摘要效果差强人意，无法满足用户的需要。
也就是说，传统方式的核心思路是在原文中抽取出现频率高的关键句子或者词语，将这些词语或者句子拼接在一起生成一个摘要，由于关键词前后之间并无关联，使得生成的摘要往往词不达意，晦涩难懂，并不能清晰的表达原文的核心思想，需要用户“半读半猜”，并不能达到摘要的真正目的。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种文本摘要生成方法、智能终端及存储介质，根据用户的需求快速、准确生成文本摘要，可以准确表达文章的主旨，更加符合用户的阅读习惯，使得用户可以根据文本摘要迅速获取文章的主要信息。
本发明解决技术问题所采用的技术方案如下：
一种文本摘要生成方法，其中，所述文本摘要生成方法包括：
获取待生成摘要的输入信息，并将所述输入信息转换为数字向量数据 ；
将所述数字向量数据输入至摘要生成模型中，其中，所述摘要生成模型包括编码器、选择门网络、注意力层和解码器；
通过所述编码器将数字向量数据输入到双向循环神经网络进行运算，输出句子到所述选择门网络生成新的门状态序列；
通过所述注意力层将所述选择门网络中输出的门状态序列加一个高斯窗，进行计算后得到当前时刻包含上下文信息的向量输出到所述解码器；
通过所述解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。
所述的文本摘要生成方法，其中，所述获取待生成摘要的输入信息，并将所述输入信息转换为数字向量数据 具体包括：
将用户搜集的多种需要筛选或者辅助阅读的数据进行预处理，筛选出包含直接输入的文本、存储文本信息的多种格式的文档以及包含文本信息的可识别文件；
将输入信息进行文本化处理，输出为可识别和可处理的纯文本数据；
将纯文本数据的文本进行分词处理，转换为一定长度的句子；
通过嵌入层将分词处理后的数据变为可识别的数字向量数据。
所述的文本摘要生成方法，其中，所述文本化处理用于将带有图片的文档和PDF数据转化为只包含文字和符号的文本数据。
所述的文本摘要生成方法，其中，所述编码器将数字向量数据输入到双向循环神经网络进行运算具体包括：
通过所述编码器将数字向量数据输入到双向循环神经网络进行运算；
通过双向循环神经网络全面提取数字向量数据中的所有信息；
自左向右计算输入向量的信息，并生成正向隐藏层状态序列；
将输入序列反向进行计算，并生成反向隐藏层状态序列；
将正向隐藏层状态序列和反向隐藏层状态序列结合，生成一个基本的句子表示作为输出。
所述的文本摘要生成方法，其中，所述输出句子到所述选择门网络生成新的门状态序列具体包括：
将输入的句子处理为句子字向量和句子表示向量；
通过所述选择门网络调用sigmod函数进行计算得到一个新的门状态序列，输入到所述注意力层中进行进一步处理；
其中，所述句子字向量为所述编码器输出的包含上下文的所有隐藏层状态序列；所述句子表示向量则由所述编码器中双向循环神经网络的最后一个正向隐藏层状态序列和反向隐藏层状态序列结合而成，用于表示句子的意思。
所述的文本摘要生成方法，其中，所述通过所述注意力层将所述选择门网络中输出的门状态序列加一个高斯窗，进行计算后得到当前时刻包含上下文信息的向量输出到所述解码器具体包括：
通过所述注意力层获取门状态序列的注意力中心点，以注意力中心点为中心对所述选择门网络中输出的门状态序列加一个高斯窗；
将窗口内的值与门状态序列的值进行计算后得到当前时刻包含上下文信息的向量作为输出。
所述的文本摘要生成方法，其中，所述通过解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要具体包括：
通过所述解码器使用多层循环神经网络将上一时刻所述注意力层生成的上下文信息的向量、上一时刻的输出以及中间的隐藏层状态序列进行解码；
与当前上下文向量一起输入全连接层，得到对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。
所述的文本摘要生成方法，其中，所述通过所述解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要之后还包括：
接收用户选择需要的文本数据后修改生成的摘要的内容，并将修改后的摘要和对应的文本数据反馈回神经网络进行进一步训练。
一种智能终端，其中，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文本摘要生成程序，所述文本摘要生成程序被所述处理器执行时实现如上所述的文本摘要生成方法的步骤。
一种存储介质，其中，所述存储介质存储有文本摘要生成程序，所述文本摘要生成程序被处理器执行时实现如上所述的文本摘要生成方法的步骤。
本发明公开了一种文本摘要生成方法、智能终端及存储介质，所述方法包括：获取待生成摘要的输入信息，并将所述输入信息转换为数字向量数据 ；将所述数字向量数据输入至摘要生成模型中，其中，所述摘要生成模型包括编码器、选择门网络、注意力层和解码器；通过所述编码器将数字向量数据输入到双向循环神经网络进行运算，输出句子到所述选择门网络生成新的门状态序列；通过所述注意力层将所述选择门网络中输出的门状态序列加一个高斯窗，进行计算后得到当前时刻包含上下文信息的向量输出到所述解码器；通过所述解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。本发明根据用户的需求快速、准确生成文本摘要，可以准确表达文章的主旨，更加符合用户的阅读习惯，使得用户可以根据文本摘要迅速获取文章的主要信息。
附图说明
图1是本发明文本摘要生成方法的较佳实施例的流程图；
图2是本发明文本摘要生成方法的较佳实施例中步骤S10的流程图；
图3是本发明文本摘要生成方法的较佳实施例中步骤S30的流程图；
图4是本发明文本摘要生成方法的较佳实施例中步骤S40的流程图；
图5是本发明文本摘要生成方法的较佳实施例中步骤S50的流程图；
图6为本发明智能终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的文本摘要生成方法，如图1所示，所述文本摘要生成方法包括以下步骤：
步骤S10、获取待生成摘要的输入信息，并将所述输入信息转换为数字向量数据 。
具体地，首先是用户自己选择需要快速浏览或辅助阅读的资料进行数据筛选和摘要生成，用户可以选择直接阅读所选择的文档，或者选择快速阅读模式；在快速阅读模式下，将相应的资料转换成纯文本的格式，进一步转换成数字向量以便继续进行运算处理，将计算结果转化成所需要的文本摘要的形式反馈给用户；最后用户判断摘要是否对自己有帮助，如果有可以将其存入数据库中方便接下来的阅读，即下一次阅读时可以直接调取数据库中的摘要来进行辅助，或者其他的阅读者也可以获取生成的摘要进行辅助阅读。
具体过程请参阅图2，其为本发明提供的文本摘要生成方法中步骤S10的流程图。
如图2所示，所述步骤S10包括：
S11、将用户搜集的多种需要筛选或者辅助阅读的数据进行预处理，筛选出包含直接输入的文本、存储文本信息的多种格式的文档以及包含文本信息的可识别文件；
S12、将输入信息进行文本化处理，输出为可识别和可处理的纯文本数据；
S13、将纯文本数据的文本进行分词处理，转换为一定长度的句子；
S14、通过嵌入层将分词处理后的数据变为可识别的数字向量数据。
其中，所述文本化处理用于将带有图片的文档和PDF数据转化为只包含文字和符号的文本数据。
对用户搜集的多种需要筛选或者辅助阅读的数据进行预处理，筛选出其中包含直接输入的文本、存储文本信息的多种格式的文档以及包含大量文本信息的图像等可识别的文件，然后将输入信息进行文本化处理，例如：将带有图片的文档、PDF等数据转化为只包含文字、符号的文本数据，确保处理后的数据为可识别、可处理的纯文本数据。将文本数据的文本进行分词处理，将其转换为一定长度的句子；最后通过Embedding层（嵌入层）把分词处理后的数据变为可识别的数字向量数据，可以直接传入下一步进行运算。
步骤S20、将所述数字向量数据输入至摘要生成模型中，其中，所述摘要生成模型包括编码器、选择门网络、注意力层和解码器。
具体地，摘要生成模型主要用来完成对输入的文本数据生成的文字序列进行处理，本模型采取当下自然语言处理中常用的一种Sequence To Sequence网络模型，使用该网络模型的原因很简单：文本摘要的目的就是用一些精炼的句子来概括一个篇幅比较大的文章，抽象来说就是将一个长文本序列转化为一个较短的文本序列的过程，而此网络模型的主要工作就是将序列转换成另一个序列，为了使得文本的关键信息捕捉更加准确，于是在该网络模型的基础上进行了一些优化，为其添加了注意力层和选择门网络。
步骤S30、通过所述编码器将数字向量数据输入到双向循环神经网络进行运算，输出句子到所述选择门网络生成新的门状态序列。
生成摘要的目的就是用一些精炼的句子来概括一个篇幅比较大的文章，抽象来说就是将一个长文本序列转化为一个较短的文本序列的过程。
具体地，编码器将数字向量数据输入双向RNN网络（双向循环神经网络）进行运算，采用双向RNN网络的目的主要是为了全面的提取数字向量数据中的所有信息，保证尽量避免数据的丢失，从而更好地理解文本的上下文语义。
首先自左向右计算输入向量的信息，并产生一个正向隐藏层状态序列；然后将输入序列反向进行计算，并得出反向隐藏层状态序列，分为前后两个方向分别计算隐层信息的目的是更好的理解语意；最后将正向和反向隐层状态序列结合起来，得到一个基本的句子表示作为输出。
接下来进入选择门网络，选择门网络的主要目的是模拟抽象摘要的选择过程，保留序列中摘要任务的重点，删除不必要的信息。为了更好的将输入的文本中的有效信息提取出来，选择门网络则需要两个向量输入：句子字向量和句子表示向量，句子字向量就是编码器的输出，包含上下文的所有隐层状态信息；句子的表示向量则由编码器中RNN网络的最后一个正向隐层状态和反向隐层状态结合而成，来表示句子的意思，接下来选择门网络通过sigmod函数（Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线，在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间）进行计算得到一个新的门状态序列，输入到注意力层中进行进一步处理。
具体的过程请参阅图3，其为本发明提供的文本摘要生成方法中步骤S30的流程图。
如图3所示，所述步骤S30包括：
S31、通过所述编码器将数字向量数据输入到双向循环神经网络进行运算；
S32、通过双向循环神经网络全面提取数字向量数据中的所有信息（避免数据的丢失）；
S33、自左向右计算输入向量的信息，并生成正向隐藏层状态序列；
S34、将输入序列反向进行计算，并生成反向隐藏层状态序列；
S35、将正向隐藏层状态序列和反向隐藏层状态序列结合，生成一个基本的句子表示作为输出；
S36、将输入的句子处理为句子字向量和句子表示向量；
S37、通过所述选择门网络调用sigmod函数进行计算得到一个新的门状态序列，输入到所述注意力层中进行进一步处理。
其中，所述句子字向量为所述编码器输出的包含上下文的所有隐藏层状态序列；所述句子表示向量则由所述编码器中双向循环神经网络的最后一个正向隐藏层状态序列和反向隐藏层状态序列结合而成，用于表示句子的意思。
步骤S40、通过所述注意力层将所述选择门网络中输出的门状态序列加一个高斯窗，进行计算后得到当前时刻包含上下文信息的向量输出到所述解码器。
具体地，注意力层是提高系统对文本理解能力最关键部分，因为编码器中的隐层状态包含句子的语义信息，如果没有注意力层，解码器在译码的过程中仅依赖编码器最后的状态，而这一个状态很难包含句子所有的信息，导致语义理解出现偏差，当使用注意力机制后，在编码器的每一个隐层状态中都包含前一时刻的信息，从而保证了句子信息的完整性和准确性；另外，注意力层使得输入层输入不必再固定长度，因为在解码的时候，每一步都会选择性的从向量序列中挑选一个子集进行处理。主要原理就是找到序列的注意力中心点P，以P为中心对选择门网络中输出的门状态序列加一个高斯窗（一种窗函数，窗口大小D的值由经验所得），用窗口内的值与序列的值进行计算后得到当前时刻包含上下文信息的向量作为输出，采用这种滑动窗口的方式在计算一个字时不需要将序列所有时刻的隐层状态信息都计算出来，大大提高系统的运算速率。
具体过程请参阅图4，其为本发明提供的文本摘要生成方法中步骤S40的流程图。
如图4所示，所述步骤S40包括：
S41、通过所述注意力层获取门状态序列的注意力中心点，以注意力中心点为中心对所述选择门网络中输出的门状态序列加一个高斯窗；
S42、将窗口内的值与门状态序列的值进行计算后得到当前时刻包含上下文信息的向量作为输出。
步骤S50、通过所述解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。
具体地，解码器使用多层循环神经网络，将上一时刻注意力层生成的上下文向量、上一时刻的输出以及中间的隐层向量进行解码，再与此刻的上下文向量一起输入全连接层，得到对应于真实训练结果的预测概率最高、最准确的输出结果，将该输出结果作为输入信息的摘要，从而完成快速准确的摘要生成任务。
在本实施例中，在生成摘要后，可以将生成的摘要存储至数据库中，以供用户在需要阅读文章的摘要时，可以从数据库中直接获取到该摘要并反馈给用户。
具体过程请参阅图5，其为本发明提供的文本摘要生成方法中步骤S50的流程图。
如图5所示，所述步骤S50包括：
S51、通过所述解码器使用多层循环神经网络将上一时刻所述注意力层生成的上下文信息的向量、上一时刻的输出以及中间的隐藏层状态序列进行解码；
S52、与当前上下文向量一起输入全连接层，得到对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。
进一步地，本发明为用户提供更高效的阅读体验，当用户选择了需要的文本数据后可以修改生成的摘要内容，系统将修改后的摘要和对应的文本数据反馈回神经网络进行进一步训练，长时间的使用也会不断地提高系统摘要的准确度。
本发明生成的文本摘要具有相关性，相关性指的是摘要所用的句子最能代表文档的意思，本方法生成的摘要准确性高，与原文的契合度强；并且文本摘要的句子包含的冗余信息要少，每句话都可以表达出独立的意思，采用本方法生成的摘要可读性高，更加符合人的阅读习惯。
如图6所示，基于上述文本摘要生成方法，本发明还相应提供了一种智能终端，所述智能终端包括处理器10、存储器20及显示器30。图6仅示出了智能终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能终端的内部存储单元，例如智能终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能终端的外部存储设备，例如所述智能终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述智能终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能终端的应用软件及各类数据，例如所述安装智能终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有文本摘要生成程序40，该文本摘要生成程序40可被处理器10所执行，从而实现本申请中文本摘要生成方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述文本摘要生成方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述智能终端的信息以及用于显示可视化的用户界面。所述智能终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中文本摘要生成程序40时实现以下步骤：
获取待生成摘要的输入信息，并将所述输入信息转换为数字向量数据 ；
将所述数字向量数据输入至摘要生成模型中，其中，所述摘要生成模型包括编码器、选择门网络、注意力层和解码器；
通过所述编码器将数字向量数据输入到双向循环神经网络进行运算，输出句子到所述选择门网络生成新的门状态序列；
通过所述注意力层将所述选择门网络中输出的门状态序列加一个高斯窗，进行计算后得到当前时刻包含上下文信息的向量输出到所述解码器；
通过所述解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。
所述获取待生成摘要的输入信息，并将所述输入信息转换为数字向量数据 具体包括：
将用户搜集的多种需要筛选或者辅助阅读的数据进行预处理，筛选出包含直接输入的文本、存储文本信息的多种格式的文档以及包含文本信息的可识别文件；
将输入信息进行文本化处理，输出为可识别和可处理的纯文本数据；
将纯文本数据的文本进行分词处理，转换为一定长度的句子；
通过嵌入层将分词处理后的数据变为可识别的数字向量数据。
所述编码器将数字向量数据输入到双向循环神经网络进行运算具体包括：
通过所述编码器将数字向量数据输入到双向循环神经网络进行运算；
通过双向循环神经网络全面提取数字向量数据中的所有信息；
自左向右计算输入向量的信息，并生成正向隐藏层状态序列；
将输入序列反向进行计算，并生成反向隐藏层状态序列；
将正向隐藏层状态序列和反向隐藏层状态序列结合，生成一个基本的句子表示作为输出。
所述输出句子到所述选择门网络生成新的门状态序列具体包括：
将输入的句子处理为句子字向量和句子表示向量；
通过所述选择门网络调用sigmod函数进行计算得到一个新的门状态序列，输入到所述注意力层中进行进一步处理。
所述通过所述注意力层将所述选择门网络中输出的门状态序列加一个高斯窗，进行计算后得到当前时刻包含上下文信息的向量输出到所述解码器具体包括：
通过所述注意力层获取门状态序列的注意力中心点，以注意力中心点为中心对所述选择门网络中输出的门状态序列加一个高斯窗；
将窗口内的值与门状态序列的值进行计算后得到当前时刻包含上下文信息的向量作为输出。
所述通过解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要具体包括：
通过所述解码器使用多层循环神经网络将上一时刻所述注意力层生成的上下文信息的向量、上一时刻的输出以及中间的隐藏层状态序列进行解码；
与当前上下文向量一起输入全连接层，得到对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。
所述通过所述解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要之后还包括：
接收用户选择需要的文本数据后修改生成的摘要的内容，并将修改后的摘要和对应的文本数据反馈回神经网络进行进一步训练。
本发明还提供一种存储介质，其中，所述存储介质存储有文本摘要生成程序，所述文本摘要生成程序被处理器执行时实现如上所述的文本摘要生成方法的步骤。
综上所述，本发明提供一种文本摘要生成方法、智能终端及存储介质，所述方法包括：获取待生成摘要的输入信息，并将所述输入信息转换为数字向量数据 ；将所述数字向量数据输入至摘要生成模型中，其中，所述摘要生成模型包括编码器、选择门网络、注意力层和解码器；通过所述编码器将数字向量数据输入到双向循环神经网络进行运算，输出句子到所述选择门网络生成新的门状态序列；通过所述注意力层将所述选择门网络中输出的门状态序列加一个高斯窗，进行计算后得到当前时刻包含上下文信息的向量输出到所述解码器；通过所述解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。本发明根据用户的需求快速、准确生成文本摘要，可以准确表达文章的主旨，更加符合用户的阅读习惯，使得用户可以根据文本摘要迅速获取文章的主要信息。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种文本摘要生成方法，其特征在于，所述文本摘要生成方法包括：
获取待生成摘要的输入信息，并将所述输入信息转换为数字向量数据 ；
将所述数字向量数据输入至摘要生成模型中，其中，所述摘要生成模型包括编码器、选择门网络、注意力层和解码器；
通过所述编码器将数字向量数据输入到双向循环神经网络进行运算，输出句子到所述选择门网络生成新的门状态序列；
通过所述注意力层将所述选择门网络中输出的门状态序列加一个高斯窗，进行计算后得到当前时刻包含上下文信息的向量输出到所述解码器；
通过所述解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。
2.根据权利要求1所述的文本摘要生成方法，其特征在于，所述获取待生成摘要的输入信息，并将所述输入信息转换为数字向量数据具体包括：
将用户搜集的多种需要筛选或者辅助阅读的数据进行预处理，筛选出包含直接输入的文本、存储文本信息的多种格式的文档以及包含文本信息的可识别文件；
将输入信息进行文本化处理，输出为可识别和可处理的纯文本数据；
将纯文本数据的文本进行分词处理，转换为一定长度的句子；
通过嵌入层将分词处理后的数据变为可识别的数字向量数据。
3.根据权利要求2所述的文本摘要生成方法，其特征在于，所述文本化处理用于将带有图片的文档和PDF数据转化为只包含文字和符号的文本数据。
4.根据权利要求2所述的文本摘要生成方法，其特征在于，所述编码器将数字向量数据输入到双向循环神经网络进行运算具体包括：
通过所述编码器将数字向量数据输入到双向循环神经网络进行运算；
通过双向循环神经网络全面提取数字向量数据中的所有信息；
自左向右计算输入向量的信息，并生成正向隐藏层状态序列；
将输入序列反向进行计算，并生成反向隐藏层状态序列；
将正向隐藏层状态序列和反向隐藏层状态序列结合，生成一个基本的句子表示作为输出。
5.根据权利要求4所述的文本摘要生成方法，其特征在于，所述输出句子到所述选择门网络生成新的门状态序列具体包括：
将输入的句子处理为句子字向量和句子表示向量；
通过所述选择门网络调用sigmod函数进行计算得到一个新的门状态序列，输入到所述注意力层中进行进一步处理；
其中，所述句子字向量为所述编码器输出的包含上下文的所有隐藏层状态序列；所述句子表示向量则由所述编码器中双向循环神经网络的最后一个正向隐藏层状态序列和反向隐藏层状态序列结合而成，用于表示句子的意思。
6.根据权利要求5所述的文本摘要生成方法，其特征在于，所述通过所述注意力层将所述选择门网络中输出的门状态序列加一个高斯窗，进行计算后得到当前时刻包含上下文信息的向量输出到所述解码器具体包括：
通过所述注意力层获取门状态序列的注意力中心点，以注意力中心点为中心对所述选择门网络中输出的门状态序列加一个高斯窗；
将窗口内的值与门状态序列的值进行计算后得到当前时刻包含上下文信息的向量作为输出。
7.根据权利要求6所述的文本摘要生成方法，其特征在于，所述通过解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要具体包括：
通过所述解码器使用多层循环神经网络将上一时刻所述注意力层生成的上下文信息的向量、上一时刻的输出以及中间的隐藏层状态序列进行解码；
与当前上下文向量一起输入全连接层，得到对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要。
8.根据权利要求1所述的文本摘要生成方法，其特征在于，所述通过所述解码器解码生成对应于真实训练结果的预测概率最高的输出结果，并将所述输出结果作为所述输入信息的摘要之后还包括：
接收用户选择需要的文本数据后修改生成的摘要的内容，并将修改后的摘要和对应的文本数据反馈回神经网络进行进一步训练。
9.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文本摘要生成程序，所述文本摘要生成程序被所述处理器执行时实现如权利要求1-8任一项所述的文本摘要生成方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有文本摘要生成程序，所述文本摘要生成程序被处理器执行时实现如权利要求1-8任一项所述的文本摘要生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811516983.9A CN109726281A (zh) | 2018-12-12 | 2018-12-12 | 一种文本摘要生成方法、智能终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811516983.9A CN109726281A (zh) | 2018-12-12 | 2018-12-12 | 一种文本摘要生成方法、智能终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109726281A true CN109726281A (zh) | 2019-05-07 |
Family
ID=66295897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811516983.9A Pending CN109726281A (zh) | 2018-12-12 | 2018-12-12 | 一种文本摘要生成方法、智能终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109726281A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377902A (zh) * | 2019-06-21 | 2019-10-25 | 北京百度网讯科技有限公司 | 描述文本生成模型的训练方法和装置 |
| CN110377808A (zh) * | 2019-06-14 | 2019-10-25 | 北京达佳互联信息技术有限公司 | 文档处理方法、装置、电子设备及存储介质 |
| CN110489541A (zh) * | 2019-07-26 | 2019-11-22 | 昆明理工大学 | 基于案件要素及BiGRU的涉案舆情新闻文本摘要方法 |
| CN110826338A (zh) * | 2019-10-28 | 2020-02-21 | 桂林电子科技大学 | 一种单选择门与类间度量的细粒度语义相似识别的方法 |
| CN111159394A (zh) * | 2019-12-31 | 2020-05-15 | 重庆觉晓教育科技有限公司 | 一种文本摘要生成方法和装置 |
| CN111797225A (zh) * | 2020-06-16 | 2020-10-20 | 北京北大软件工程股份有限公司 | 一种文本摘要生成方法和装置 |
| WO2020232864A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安科技（深圳）有限公司 | 一种数据处理的方法及相关装置 |
| CN112069309A (zh) * | 2020-09-14 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 信息获取方法、装置、计算机设备及存储介质 |
| CN112133279A (zh) * | 2019-06-06 | 2020-12-25 | Tcl集团股份有限公司 | 车载信息播报方法、装置及终端设备 |
| CN112926329A (zh) * | 2021-03-10 | 2021-06-08 | 招商银行股份有限公司 | 文本生成方法、装置、设备及计算机可读存储介质 |
| CN113434642A (zh) * | 2021-08-27 | 2021-09-24 | 广州云趣信息科技有限公司 | 文本摘要生成方法、装置及电子设备 |
| CN114610871A (zh) * | 2022-05-12 | 2022-06-10 | 北京道达天际科技有限公司 | 基于人工智能算法的情报系统建模分析方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930314A (zh) * | 2016-04-14 | 2016-09-07 | 清华大学 | 基于编码-解码深度神经网络的文本摘要生成系统及方法 |
| CN108280112A (zh) * | 2017-06-22 | 2018-07-13 | 腾讯科技（深圳）有限公司 | 摘要生成方法、装置及计算机设备 |
| CN108415977A (zh) * | 2018-02-09 | 2018-08-17 | 华南理工大学 | 一个基于深度神经网络及强化学习的生成式机器阅读理解方法 |
| US20180300400A1 (en) * | 2017-04-14 | 2018-10-18 | Salesforce.Com, Inc. | Deep Reinforced Model for Abstractive Summarization |
| DE102018108856A1 (de) * | 2017-04-14 | 2018-10-18 | Salesforce.Com, Inc. | Tiefes verstärktes Modell für abstrahierungsfähige Verdichtung |
-
2018
- 2018-12-12 CN CN201811516983.9A patent/CN109726281A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930314A (zh) * | 2016-04-14 | 2016-09-07 | 清华大学 | 基于编码-解码深度神经网络的文本摘要生成系统及方法 |
| US20180300400A1 (en) * | 2017-04-14 | 2018-10-18 | Salesforce.Com, Inc. | Deep Reinforced Model for Abstractive Summarization |
| DE102018108856A1 (de) * | 2017-04-14 | 2018-10-18 | Salesforce.Com, Inc. | Tiefes verstärktes Modell für abstrahierungsfähige Verdichtung |
| CN108280112A (zh) * | 2017-06-22 | 2018-07-13 | 腾讯科技（深圳）有限公司 | 摘要生成方法、装置及计算机设备 |
| CN108415977A (zh) * | 2018-02-09 | 2018-08-17 | 华南理工大学 | 一个基于深度神经网络及强化学习的生成式机器阅读理解方法 |
Non-Patent Citations (1)
| Title |
|---|
| MINH-THANG LUONG ET AL: "Effective Approaches to Attention-based Neural Machine Translation", 《HTTPS：//ARXIV.ORG/PDF/1508.04025.PDF》, pages 1 - 11 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020232864A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安科技（深圳）有限公司 | 一种数据处理的方法及相关装置 |
| CN112133279A (zh) * | 2019-06-06 | 2020-12-25 | Tcl集团股份有限公司 | 车载信息播报方法、装置及终端设备 |
| CN112133279B (zh) * | 2019-06-06 | 2024-06-21 | Tcl科技集团股份有限公司 | 车载信息播报方法、装置及终端设备 |
| CN110377808A (zh) * | 2019-06-14 | 2019-10-25 | 北京达佳互联信息技术有限公司 | 文档处理方法、装置、电子设备及存储介质 |
| CN110377902B (zh) * | 2019-06-21 | 2023-07-25 | 北京百度网讯科技有限公司 | 描述文本生成模型的训练方法和装置 |
| CN110377902A (zh) * | 2019-06-21 | 2019-10-25 | 北京百度网讯科技有限公司 | 描述文本生成模型的训练方法和装置 |
| CN110489541A (zh) * | 2019-07-26 | 2019-11-22 | 昆明理工大学 | 基于案件要素及BiGRU的涉案舆情新闻文本摘要方法 |
| CN110826338B (zh) * | 2019-10-28 | 2022-06-17 | 桂林电子科技大学 | 一种单选择门与类间度量的细粒度语义相似识别的方法 |
| CN110826338A (zh) * | 2019-10-28 | 2020-02-21 | 桂林电子科技大学 | 一种单选择门与类间度量的细粒度语义相似识别的方法 |
| CN111159394A (zh) * | 2019-12-31 | 2020-05-15 | 重庆觉晓教育科技有限公司 | 一种文本摘要生成方法和装置 |
| CN111797225A (zh) * | 2020-06-16 | 2020-10-20 | 北京北大软件工程股份有限公司 | 一种文本摘要生成方法和装置 |
| CN111797225B (zh) * | 2020-06-16 | 2023-08-22 | 北京北大软件工程股份有限公司 | 一种文本摘要生成方法和装置 |
| CN112069309A (zh) * | 2020-09-14 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 信息获取方法、装置、计算机设备及存储介质 |
| CN112069309B (zh) * | 2020-09-14 | 2024-03-15 | 腾讯科技（深圳）有限公司 | 信息获取方法、装置、计算机设备及存储介质 |
| CN112926329A (zh) * | 2021-03-10 | 2021-06-08 | 招商银行股份有限公司 | 文本生成方法、装置、设备及计算机可读存储介质 |
| CN112926329B (zh) * | 2021-03-10 | 2024-02-20 | 招商银行股份有限公司 | 文本生成方法、装置、设备及计算机可读存储介质 |
| CN113434642A (zh) * | 2021-08-27 | 2021-09-24 | 广州云趣信息科技有限公司 | 文本摘要生成方法、装置及电子设备 |
| CN114610871A (zh) * | 2022-05-12 | 2022-06-10 | 北京道达天际科技有限公司 | 基于人工智能算法的情报系统建模分析方法 |
| CN114610871B (zh) * | 2022-05-12 | 2022-07-08 | 北京道达天际科技有限公司 | 基于人工智能算法的情报系统建模分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109726281A (zh) | 一种文本摘要生成方法、智能终端及存储介质 | |
| Li et al. | Selfdoc: Self-supervised document representation learning | |
| Niu et al. | Multi-modal multi-scale deep learning for large-scale image annotation | |
| CN104735468B (zh) | 一种基于语义分析将图像合成新视频的方法及系统 | |
| CN103294815B (zh) | 基于关键字分类并有多种呈现方式的搜索引擎装置与方法 | |
| Zhang et al. | Query-conditioned three-player adversarial network for video summarization | |
| CN109657054A (zh) | 摘要生成方法、装置、服务器及存储介质 | |
| CN103984772B (zh) | 文本检索字幕库生成方法和装置、视频检索方法和装置 | |
| CN111324797B (zh) | 一种高速精准获取数据的方法和装置 | |
| KR20120053211A (ko) | 멀티미디어 데이터 검색 방법, 장치 및 패턴인식 방법 | |
| CN111190997A (zh) | 一种使用神经网络和机器学习排序算法的问答系统实现方法 | |
| CN109275047B (zh) | 视频信息处理方法及装置、电子设备、存储介质 | |
| CN107193987A (zh) | 获取与页面相关的搜索词的方法、装置和系统 | |
| CN110489649B (zh) | 标签关联内容的方法及装置 | |
| CN112612761B (zh) | 一种数据清洗方法、装置、设备及存储介质 | |
| TW200925895A (en) | System and method for real-time new event detection on video streams | |
| CN107368489A (zh) | 一种资讯数据处理方法及装置 | |
| CN111552802A (zh) | 文本分类模型训练方法和装置 | |
| CN117011737A (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
| US20160125006A1 (en) | Indexing content and source code of a software application | |
| Tran et al. | V-first: A flexible interactive retrieval system for video at vbs 2022 | |
| CN116029280A (zh) | 一种文档关键信息抽取方法、装置、计算设备和存储介质 | |
| Medida et al. | An optimized E-lecture video retrieval based on machine learning classification | |
| US11514103B1 (en) | Image search using intersected predicted queries | |
| TWI636370B (zh) | Establishing chart indexing method and computer program product by text information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190507 |