CN114706973A - 抽取式文本摘要生成方法、装置、计算机设备及存储介质 - Google Patents

抽取式文本摘要生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114706973A
CN114706973A CN202210433352.0A CN202210433352A CN114706973A CN 114706973 A CN114706973 A CN 114706973A CN 202210433352 A CN202210433352 A CN 202210433352A CN 114706973 A CN114706973 A CN 114706973A
Authority
CN
China
Prior art keywords
sentence
level information
information entropy
text
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210433352.0A
Other languages
English (en)
Inventor
王伟
张黔
陈焕坤
郑毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Runlian Software System Shenzhen Co Ltd
Original Assignee
Runlian Software System Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Runlian Software System Shenzhen Co Ltd filed Critical Runlian Software System Shenzhen Co Ltd
Priority to CN202210433352.0A priority Critical patent/CN114706973A/zh
Publication of CN114706973A publication Critical patent/CN114706973A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例属于人工智能技术领域，涉及一种抽取式文本摘要生成方法，包括将训练语料中的每个句子进行句子编号，将编号后的每个句子进行分词处理，得到分词结果，根据分词结果分别计算每个句子的词级信息熵和短语级信息熵，对句子进行特征提取，根据提取到的句子特征向量得到句子级信息熵，根据词级信息熵、短语级信息熵以及句子级信息熵，计算得到句子的贡献度，基于贡献度选取目标训练句子，根据目标训练句子对预构建的神经网络进行训练，得到文本摘要生成模型，将目标文本输入文本摘要生成模型，输出文本摘要。本申请还提供一种抽取式文本摘要生成装置、计算机设备及存储介质。本申请可以提高文本摘要的信息量，进一步提高文本摘要的质量。

Description

抽取式文本摘要生成方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种抽取式文本摘要生成方法、装置、计算机设备及存储介质。
背景技术
伴随着互联网技术的发展以及自媒体平台兴起，使得互联网中信息数量呈指数型快速增长，人们每天能够接触到海量的信息，例如时政新闻、热搜话题、社交聊天、讲座报告、学术论文等。面对复杂、多样的互联网环境，如何快速有效地获取有价值的信息就显得非常重要。为了缓解过量信息对用户造成的阅读压力、帮助用户快速从互联网获取有效信息，自动文本摘要技术应运而生。自动文本摘要技术能从单个文本或文本集合中提炼出一段反应原文中心内容的简洁连贯的短文，方便用户获取、查询所需要的信息，减缓阅读压力。
目前文本摘要的主要技术根据其生成形式划分为抽取式和生成式两大类，前者通过各种方法直接选择被压缩文本中的某些句子，形成文本摘要；而后者通过神经网络直接将原始文本压缩为较短的文本序列，作为最后的文本摘要。但是，这类方法容易生成不符合语法和事实的词和短语。因此，实践中抽取式和生成式摘要技术仍处于并存的发展阶段，可视情形进行选择。
在文本摘要技术的发展历程中，TextRank是一种经典的方法。其通过给被压缩文本中的每个句子打分，将其所得分数视为该句子权重，最后选择权重排名靠前的指定数量句子，形成最终的文本摘要。但其计算公式中的参数多根据主观经验设置，在实践中难以达到理想效果。
近年来，有不少学者提出了基于神经网络的抽取式文本摘要模型，以NeuSUM模型为例，其改变了在以往抽取式摘要中句子打分以及选择是独立两个部分的现状，将打分以及选择联合在一起训练模型。在REFRESH模型中，将文本摘要视为句子排序工作，并加入强化学习进行训练，其奖励值为ROUGE指标。也有学者提出了基于预训练语言模型的文本摘要抽取方法，例如BertSum，该模型通过预训练语言模型Bert获取到被压缩文本中每个句子的句向量后，捕获文档级语义特征用于摘要提取。
上述模型通常使用交叉熵损失函数训练更新模型，使得训练后的模型容易倾向于选择冗长和信息量低的句子作为文本摘要。
发明内容
本申请实施例的目的在于提出一种抽取式文本摘要生成方法、装置、计算机设备及存储介质，以解决相关技术中生成的文本摘要冗长、信息量低，导致文本摘要不能准确反应原始文本的内容信息。
为了解决上述技术问题，本申请实施例提供一种抽取式文本摘要生成方法，采用了如下所述的技术方案：
获取训练语料，将所述训练语料中的每个句子进行句子编号；
将编号后的每个所述句子进行分词处理，得到分词结果；
根据分词结果分别计算每个所述句子的词级信息熵和短语级信息熵；
对所述句子进行特征提取，获得句子特征向量；
根据所述句子特征向量得到所述句子的句子级信息熵；
根据所述词级信息熵、所述短语级信息熵以及所述句子级信息熵，计算得到句子的贡献度；
基于所述贡献度选取目标训练句子，根据所述目标训练句子对预构建的多层神经网络模型进行训练，得到文本摘要生成模型；
获取目标文本，将所述目标文本输入所述文本摘要生成模型，输出文本摘要。
进一步的，所述根据分词结果分别计算每个所述句子的词级信息熵和短语级信息熵的步骤包括：
确定所述分词结果中每个词语的词语概率；
根据所述词语概率计算得到所述词级信息熵；
从所述分词结果中抽取目标短语，并确定目标短语的短语概率；
根据所述短语概率计算得到所述短语级信息熵。
进一步的，所述根据所述句子特征向量得到所述句子的句子级信息熵的步骤包括：
计算每个句子之间的相似度，根据所述相似度得到每个句子的句子出现频率；
根据所述句子出现频率计算得到所述句子级信息熵。
进一步的，所述根据所述词级信息熵、所述短语级信息熵以及所述句子级信息熵，计算得到句子的贡献度的步骤包括：
确定所述词级信息熵、所述短语级信息熵以及所述句子级信息熵分别对应的权重系数；
根据所述权重系数，对所述词级信息熵、所述短语级信息熵以及所述句子级信息熵进行加权求和，得到句子的贡献度。
进一步的，所述将所述目标训练句子输入预构建的多层神经网络模型进行训练，得到文本摘要生成模型的步骤包括：
根据所述目标训练句子计算出行动价值得分；
将所述目标训练句子输入所述多层神经网络模型，输出预测结果；
根据所述行动价值得分和预测分类结果确定损失函数，基于所述损失函数对所述多层神经网络模型进行迭代更新，输出训练完成的所述多层神经网络模型作为文本摘要生成模型。
进一步的，所述根据所述行动价值得分和预测分类结果确定损失函数，基于所述损失函数对所述多层神经网络模型进行迭代更新，输出训练完成的所述多层神经网络模型作为文本摘要生成模型的步骤包括：
计算所述预测结果的对数值，将所述对数值和所述行动价值得分进行乘积，得到乘积值，取所述乘积值的负值作为损失函数；
基于所述损失函数调整所述多层神经网络模型的模型参数；
当满足迭代结束条件时，根据所述模型参数生成所述文本摘要生成模型。
进一步的，所述基于所述贡献度选取目标训练句子的步骤包括：
根据所述贡献度对所述句子进行排序，得到排序结果；
从所述排序结果中选取预设数量的句子作为目标训练句子。
为了解决上述技术问题，本申请实施例还提供一种抽取式文本摘要生成装置，采用了如下所述的技术方案：
获取模块，用于获取训练语料，将所述训练语料中的每个句子进行句子编号；
分词模块，用于将编号后的每个所述句子进行分词处理，得到分词结果；
第一计算模块，用于根据分词结果分别计算所述句子的词级信息熵和短语级信息熵；
特征提取模块，用于对所述句子进行特征提取，获得句子特征向量；
第二计算模块，用于根据所述句子特征向量得到所述句子的句子级信息熵；
第三计算模块，用于根据所述词级信息熵、所述短语级信息熵以及所述句子级信息熵，计算得到句子的贡献度；
训练模块，用于基于所述贡献度选取目标训练句子，根据所述目标训练句子对预构建的神经网络进行训练，得到文本摘要生成模型；
生成模块，用于获取目标文本，将所述目标文本输入所述文本摘要生成模型，输出文本摘要。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的抽取式文本摘要生成方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的抽取式文本摘要生成方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请通过获取训练语料，将训练语料中的每个句子进行句子编号；将编号后的每个句子进行分词处理，得到分词结果；根据分词结果分别计算每个句子的词级信息熵和短语级信息熵；对句子进行特征提取，获得句子特征向量；根据句子特征向量得到句子的句子级信息熵；根据词级信息熵、短语级信息熵以及句子级信息熵，计算得到句子的贡献度；基于贡献度选取目标训练句子，根据目标训练句子对预构建的神经网络进行训练，得到文本摘要生成模型；获取目标文本，将目标文本输入文本摘要生成模型，输出文本摘要；本申请通过根据贡献度选取目标训练句子对神经网络训练得到文本摘要生成模型，可以提高文本摘要的信息量，进一步提高文本摘要的质量，保证获取信息的有效性。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2根据本申请的抽取式文本摘要生成方法的一个实施例的流程图；
图3是根据本申请的抽取式文本摘要生成装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请提供了一种抽取式文本摘要生成方法，涉及人工智能，可以应用于如图1所示的系统架构100中，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的抽取式文本摘要生成方法一般由服务器/终端设备执行，相应地，抽取式文本摘要生成装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的抽取式文本摘要生成方法的一个实施例的流程图，包括以下步骤：
步骤S201，获取训练语料，将训练语料中的每个句子进行句子编号。
在本实施例中，训练语料可以从公开数据集中获取，比如CNN/DailyMail数据集、LCSTS数据集、NLPCC2017数据集等，其中，CNN/DailyMail数据集为英文数据集，LCSTS数据集和NLPCC2017数据集为中文文本数据集。
获取训练语料，对训练语料中的句子进行句子编号，从训练语料的第1个句子开始直至最后一个句子依次进行编号，得到句子编号S_ID，S_ID＝{1,2,3,...,}。
步骤S202，将编号后的每个句子进行分词处理，得到分词结果。
应当理解，在英文文本中存在天然的分割符，在中文中词语之间没有特殊的符号进行分割，而且中文中以双字词和多字词居多，分词是至关重要的一步，分词的准确与否，它会对后续步骤产生重要的影响。
在本实施例中，可以采用分词器进行分词，分词器包括结巴中文分词器、Hanlp分词器、foolnltk分词器以及pullword在线分词引擎等，在此不限制分词工具。
步骤S203，根据分词结果分别计算每个句子的词级信息熵和短语级信息熵。
在本实施例中，根据分词结果分别计算每个句子的词级信息熵的步骤如下：
确定分词结果中每个词语的词语概率；
根据词语概率计算得到词级信息熵。
具体的，用SWik表示第i个句子Si中的词语k，以词语SWik在整个训练语料中出现频率作为其出现的词语概率P(SWik)，则句子Si的词级信息熵计算方法如下：
H(SWik)＝-∑k＝1P(SWik)logP(SWik)；
其中，H(SWik)表示句子Si的词级信息熵。
在本实施例中，根据分词结果分别计算每个句子的短语级信息熵的步骤如下：
从分词结果中抽取目标短语，并确定目标短语的短语概率；
根据短语概率计算得到短语级信息熵。
具体的，可以采用N-gram模型进行目标短语抽取，其中，N-Gram是一种基于统计语言模型的算法，它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。例如，N可以取3或者4，当N为3时，3-gram表示3个字短语，即抽取分词结果中3个字组成的词语作为目标短语；N为4时同理，抽取分词结果中4个字组成的词语作为目标短语。
在本实施例中，用SNGiw表示句子Si中的短语w，以短语SNGiw在整个训练语料中出现的频率作为其出现的短语概率P(SNGiw)，则句子Si的短语级信息熵计算方法如下：
H(SNGiw)＝-∑w＝1P(SNGiw)logP(SNGiw)；
其中，H(SNGiw)表示句子Si的短语级信息熵。
本实施例通过计算句子不同维度的信息熵，可以为后续选择信息量高的句子进行模型训练奠定基础。
步骤S204，对句子进行特征提取，获得句子特征向量。
在本实施例中，对每个句子进行特征提取，得到句子的表征向量句子特征向量。提取句子特征向量可以通过将句子输入特征向量提取模型进行处理，特征向量提取模型包括但不限于CNN(Convolutional Neural Networks，卷积神经网络)模型、RNN(RecurrentNeuralNetwork，循环神经网络)模型以及BERT(Bidirectional EncoderRepresentations from Transformers，基于转换器的双向编码器表征)模型等，在此不做限制。
作为一种具体的实现方式，可以将句子输入Si到BERT模型，BERT模型至少包括输入层、特征提取层和输出层，具体地，将句子Si输入至BERT模型的输入层进行向量转换，得到与句子对应的句子向量，通过特征提取层对句子向量进行特征提取，通过输出层输出句子特征向量Vsi。
步骤S205，根据句子特征向量得到句子的句子级信息熵。
在一些可选的实现方式中，计算每个句子之间的相似度，根据相似度得到每个句子的句子出现频率，根据句子出现频率计算得到句子级信息熵。
在本实施例中，通过相似度函数计算句子Si与训练语料中其他句子之间的相似度。
具体的，计算训练语料中其他句子的句子特征向量与句子Si的句子特征向量Vsi的相似度SSi，统计与Vsi相似度超过预设阈值S_T(0到1之间的数值)的句子数量Sim_N(i)，计算句子Si的句子出现频率P(SSi)，采用如下公式：
Figure BDA0003611783570000091
其中，i为句子编号，N_S表示训练语料中句子总数。
则句子Si的句子级信息熵计算方法如下：
H(SSi)＝-∑k＝1P(SSik)logP(SSik)；
其中，H(SSi)表示句子级信息熵。
本实施例通过计算句子维度的信息熵，同样也是为后续选择信息量高的句子进行模型训练奠定基础。
步骤S206，根据词级信息熵、短语级信息熵以及句子级信息熵，计算得到句子的贡献度。
其中，句子的贡献度即为句子的重要程度。
在本实施例中，确定词级信息熵、短语级信息熵以及句子级信息熵分别对应的权重系数，根据权重系数，对词级信息熵、短语级信息熵以及句子级信息熵进行加权求和，得到句子的贡献度。
其中，权重系数为预先设置，句子的贡献度采用如下公式进行计算：
CSi＝αH(SWik)+βH(SNGiw)+γH(SSi)；
其中，α、β和γ分别为词级信息熵、短语级信息熵和句子级信息熵的权重系数，取值为0到1之间。
本实施例通过计算句子的贡献度，使得可以根据先验信息来生成摘要，提高文本摘要的信息量。
步骤S207，基于贡献度选取目标训练句子，根据目标训练句子对预构建的神经网络进行训练，得到文本摘要生成模型。
在本实施例中，通过强化学习选择句子来训练文本摘要生成模型。在训练之前，预先进行如下定义：
定义强化学习的行动：每次从集合中选择一个句子。
定义强化学习的行动集合：每一轮行动前，计算训练语料中句子的贡献度并降序排列，选择排在前列的N个句子作为目标训练句子，形成行动集合，当某个句子已被选择后，下一轮行动则不再计算该句子的贡献度。
定义奖励函数：采用评价文本摘要质量的通用指标ROUGE-i值，其中，i代表N-gram短语中字的个数，通常取值为1、2、3或者4。
计算ROUGE-N平均值ROUGEave采用如下公式：
Figure BDA0003611783570000101
若第t轮行动使得ROUGEave较上一轮降低和增加，分别给予不同价值得分St，公式如下：
Figure BDA0003611783570000102
应当理解，由于每一轮选择后的行动得分对于后续行动均会产生影响，且这种影响随着迭代轮数增加会逐渐衰减，因此还需要计算每轮行动后的潜在价值得分。
定义价值衰减系数λ，第t次行动得分为St，最终行动价值得分S的计算公式为：
Figure BDA0003611783570000111
在本实施例中，预构建对应类别为N个行动的多层神经网络模型，将根据贡献度选取的预设数量为N的目标训练句子输入多层神经网络模型中，根据行动价值得分对多层神经网络模型进行训练更新，以使得行动价值得分最大化，其中，N为大于零的自然数。
需要说明的是，多层神经网络模型每次只输出一个结果，N个行动则说明多层神经网络模型需要输出N个结果，即生成的摘要包含有N个句子。
作为一种具体的实现方式，多层神经网络模型包括输入层、第一隐藏层、第二隐藏层以及输出层，输入层输入向量v；设置第一隐藏层权重矩阵为w1，采用relu激活函数，偏置量为b1，则第一隐藏层的输出为o1＝relu(w1*v+b1)；设置第二隐藏层权重矩阵为w2，采用relu激活函数，偏置量为b2，则第二隐藏层的输出为o2＝relu(w2*o1+b2)；输出层采用softmax层，将o2输入softmax层，通过softmax层得到o3，o3即每次行动的概率Pa。
为了实现更好的摘要生成效果，可以根据实际设置更多的隐藏层。
步骤S208，获取目标文本，将目标文本输入文本摘要生成模型，输出文本摘要。
获取到待生成文本摘要的目标文本，将其输入文本摘要生成模型，则可以输出文本摘要。
本申请通过根据贡献度选取目标训练句子对神经网络训练得到文本摘要生成模型，可以提高文本摘要的信息量，进一步提高文本摘要的质量，保证获取信息的有效性。
在本实施例的一些可选的实现方式中，上述将目标训练句子输入预构建的多层神经网络模型进行训练，得到文本摘要生成模型的步骤包括：
根据目标训练句子计算出行动价值得分；
将目标训练句子输入多层神经网络模型，输出预测结果；
根据行动价值得分和预测分类结果确定损失函数，基于损失函数对多层神经网络模型进行迭代更新，输出训练完成的多层神经网络模型作为文本摘要生成模型。
其中，行动价值得分S可以根据上述公式进行计算，将目标训练句子输入多层神经网络模型，依次通过输入层、隐藏层，并通过softmax层进行预测，得到每次行动对应的概率，输出该概率对应的句子，该句子为这次行动中预测概率最大的句子。
在一些可选的实现方式中，根据行动价值得分和预测分类结果确定损失函数的步骤如下：
计算预测结果的对数值，将对数值和行动价值得分进行乘积，得到乘积值，取乘积值的负值作为损失函数，则损失函数的计算方法如下：
Loss＝-S×logPat；
其中，Pat表示第t轮行动的概率。
在本实施例中，基于损失函数调整多层神经网络模型的模型参数，当满足迭代结束条件时，根据模型参数生成文本摘要生成模型。
具体的，基于损失函数地损失函数值调整多层神经网络模型的模型参数，继续进行迭代训练，模型训练到一定程度，此时，模型的性能达到最优状态，损失函数值几乎不再变化，即收敛。满足迭代结束条件即为模型收敛，模型收敛后，根据最终调整的模型参数输出最终的多层神经网络模型作为文本摘要生成模型。
本申请通过强化学习训练预构建的多层神经网络模型作为文本摘要生成模型，可以提高生成文本摘要的质量。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种抽取式文本摘要生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的抽取式文本摘要生成装置300包括：获取模块301、分词模块302、第一计算模块303、特征提取模块304、第二计算模块305、第三计算模块306、训练模块307以及生成模块308。其中：
获取模块301用于获取训练语料，将所述训练语料中的每个句子进行句子编号；
分词模块302用于将编号后的每个所述句子进行分词处理，得到分词结果；
第一计算模块303用于根据分词结果分别计算所述句子的词级信息熵和短语级信息熵；
特征提取模块304用于对所述句子进行特征提取，获得句子特征向量；
第二计算模块305用于根据所述句子特征向量得到所述句子的句子级信息熵；
第三计算模块306用于根据所述词级信息熵、所述短语级信息熵以及所述句子级信息熵，计算得到句子的贡献度；
训练模块307用于基于所述贡献度选取目标训练句子，根据所述目标训练句子对预构建的神经网络进行训练，得到文本摘要生成模型；
生成模块308用于获取目标文本，将所述目标文本输入所述文本摘要生成模型，输出文本摘要。
上述抽取式文本摘要生成装置，通过根据贡献度选取目标训练句子对神经网络训练得到文本摘要生成模型，可以提高文本摘要的信息量，进一步提高文本摘要的质量，保证获取信息的有效性。
在本实施例中，第一计算模块303包括概率确定子模块和计算子模块，其中：
概率确定子模块用于确定所述分词结果中每个词语的词语概率；
计算子模块用于根据所述词语概率计算得到所述词级信息熵；
所述概率确定子模块还用于从所述分词结果中抽取目标短语，并确定目标短语的短语概率；
所述计算子模块还用于根据所述短语概率计算得到所述短语级信息熵。
本实施例通过计算句子不同维度的信息熵，可以为后续选择信息量高的句子进行模型训练奠定基础。
在本实施例中，第二计算模块305包括相似度子模块和计算子模块，其中：
相似度子模块用于计算每个句子之间的相似度，根据所述相似度得到每个句子的句子出现频率；
计算子模块用于根据所述句子出现频率计算得到所述句子级信息熵。
本实施例通过计算句子维度的信息熵，同样也是为后续选择信息量高的句子进行模型训练奠定基础。
在本实施例中，第三计算模块306包括权重子模块和求和子模块，其中：
权重子模块用于确定所述词级信息熵、所述短语级信息熵以及所述句子级信息熵分别对应的权重系数；
求和子模块用于根据所述权重系数，对所述词级信息熵、所述短语级信息熵以及所述句子级信息熵进行加权求和，得到句子的贡献度。
本实施例通过计算句子的贡献度，可以确定句子的重要程度，使得可以根据先验信息来生成摘要，提高文本摘要的信息量。
在本实施例的一些可选的实现方式中，训练模块307包括价值计算子模块、预测子模块以及迭代子模块，其中：
价值计算子模块用于根据所述目标训练句子计算出行动价值得分；
预测子模块用于将所述目标训练句子输入所述多层神经网络模型，输出预测结果；
迭代子模块用于根据所述行动价值得分和预测分类结果确定损失函数，基于所述损失函数对所述多层神经网络模型进行迭代更新，输出训练完成的所述多层神经网络模型作为文本摘要生成模型。
本实施例通过强化学习训练预构建的多层神经网络模型作为文本摘要生成模型，可以提高生成文本摘要的质量。
在本实施例中，迭代子模块包括计算单元、调整单元以及模型生成单元，其中：
计算单元用于计算所述预测结果的对数值，将所述对数值和所述行动价值得分进行乘积，得到乘积值，取所述乘积值的负值作为损失函数；
调整单元用于基于所述损失函数调整所述多层神经网络模型的模型参数；
模型生成单元用于当满足迭代结束条件时，根据所述模型参数生成所述文本摘要生成模型。
本实施例通过以预测结果和行动价值得分训练优化模型，可以使得质量高的句子有更高概率出现在文本摘要中，进而提高文本摘要的质量。
在一些可选的实现方式中，训练模块307还包括排序子模块和选取子模块，其中：
排序子模块用于根据所述贡献度对所述句子进行排序，得到排序结果；
选取子模块用于从所述排序结果中选取预设数量的句子作为目标训练句子。
本实施例通过根据贡献度选取句子对模型进行训练，可以保证文本摘要获取信息的有效性。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如抽取式文本摘要生成方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述抽取式文本摘要生成方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例抽取式文本摘要生成方法的步骤，通过根据贡献度选取目标训练句子对神经网络训练得到文本摘要生成模型，可以提高文本摘要的信息量，进一步提高文本摘要的质量，保证获取信息的有效性。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的抽取式文本摘要生成方法的步骤，通过根据贡献度选取目标训练句子对神经网络训练得到文本摘要生成模型，可以提高文本摘要的信息量，进一步提高文本摘要的质量，保证获取信息的有效性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种抽取式文本摘要生成方法，其特征在于，包括下述步骤：
获取训练语料，将所述训练语料中的每个句子进行句子编号；
将编号后的每个所述句子进行分词处理，得到分词结果；
根据分词结果分别计算每个所述句子的词级信息熵和短语级信息熵；
对所述句子进行特征提取，获得句子特征向量；
根据所述句子特征向量得到所述句子的句子级信息熵；
根据所述词级信息熵、所述短语级信息熵以及所述句子级信息熵，计算得到句子的贡献度；
基于所述贡献度选取目标训练句子，根据所述目标训练句子对预构建的多层神经网络模型进行训练，得到文本摘要生成模型；
获取目标文本，将所述目标文本输入所述文本摘要生成模型，输出文本摘要。
2.根据权利要求1所述的抽取式文本摘要生成方法，其特征在于，所述根据分词结果分别计算每个所述句子的词级信息熵和短语级信息熵的步骤包括：
确定所述分词结果中每个词语的词语概率；
根据所述词语概率计算得到所述词级信息熵；
从所述分词结果中抽取目标短语，并确定目标短语的短语概率；
根据所述短语概率计算得到所述短语级信息熵。
3.根据权利要求1所述的抽取式文本摘要生成方法，其特征在于，所述根据所述句子特征向量得到所述句子的句子级信息熵的步骤包括：
计算每个句子之间的相似度，根据所述相似度得到每个句子的句子出现频率；
根据所述句子出现频率计算得到所述句子级信息熵。
4.根据权利要求1所述的抽取式文本摘要生成方法，其特征在于，所述根据所述词级信息熵、所述短语级信息熵以及所述句子级信息熵，计算得到句子的贡献度的步骤包括：
确定所述词级信息熵、所述短语级信息熵以及所述句子级信息熵分别对应的权重系数；
根据所述权重系数，对所述词级信息熵、所述短语级信息熵以及所述句子级信息熵进行加权求和，得到句子的贡献度。
5.根据权利要求1所述的抽取式文本摘要生成方法，其特征在于，所述将所述目标训练句子输入预构建的多层神经网络模型进行训练，得到文本摘要生成模型的步骤包括：
根据所述目标训练句子计算出行动价值得分；
将所述目标训练句子输入所述多层神经网络模型，输出预测结果；
根据所述行动价值得分和预测分类结果确定损失函数，基于所述损失函数对所述多层神经网络模型进行迭代更新，输出训练完成的所述多层神经网络模型作为文本摘要生成模型。
6.根据权利要求5所述的抽取式文本摘要生成方法，其特征在于，所述根据所述行动价值得分和预测分类结果确定损失函数，基于所述损失函数对所述多层神经网络模型进行迭代更新，输出训练完成的所述多层神经网络模型作为文本摘要生成模型的步骤包括：
计算所述预测结果的对数值，将所述对数值和所述行动价值得分进行乘积，得到乘积值，取所述乘积值的负值作为损失函数；
基于所述损失函数调整所述多层神经网络模型的模型参数；
当满足迭代结束条件时，根据所述模型参数生成所述文本摘要生成模型。
7.根据权利要求1所述的抽取式文本摘要生成方法，其特征在于，所述基于所述贡献度选取目标训练句子的步骤包括：
根据所述贡献度对所述句子进行排序，得到排序结果；
从所述排序结果中选取预设数量的句子作为目标训练句子。
8.一种抽取式文本摘要生成装置，其特征在于，包括：
获取模块，用于获取训练语料，将所述训练语料中的每个句子进行句子编号；
分词模块，用于将编号后的每个所述句子进行分词处理，得到分词结果；
第一计算模块，用于根据分词结果分别计算所述句子的词级信息熵和短语级信息熵；
特征提取模块，用于对所述句子进行特征提取，获得句子特征向量；
第二计算模块，用于根据所述句子特征向量得到所述句子的句子级信息熵；
第三计算模块，用于根据所述词级信息熵、所述短语级信息熵以及所述句子级信息熵，计算得到句子的贡献度；
训练模块，用于基于所述贡献度选取目标训练句子，根据所述目标训练句子对预构建的神经网络进行训练，得到文本摘要生成模型；
生成模块，用于获取目标文本，将所述目标文本输入所述文本摘要生成模型，输出文本摘要。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的抽取式文本摘要生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的抽取式文本摘要生成方法的步骤。
CN202210433352.0A 2022-04-24 2022-04-24 抽取式文本摘要生成方法、装置、计算机设备及存储介质 Pending CN114706973A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210433352.0A CN114706973A (zh) 2022-04-24 2022-04-24 抽取式文本摘要生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210433352.0A CN114706973A (zh) 2022-04-24 2022-04-24 抽取式文本摘要生成方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114706973A true CN114706973A (zh) 2022-07-05

Family

ID=82174752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210433352.0A Pending CN114706973A (zh) 2022-04-24 2022-04-24 抽取式文本摘要生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114706973A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862031A (zh) * 2022-12-30 2023-03-28 北京百度网讯科技有限公司 文本处理方法、神经网络的训练方法、装置和设备
CN116050397A (zh) * 2023-03-07 2023-05-02 知呱呱(天津)大数据技术有限公司 一种长文本摘要生成方法、系统、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862031A (zh) * 2022-12-30 2023-03-28 北京百度网讯科技有限公司 文本处理方法、神经网络的训练方法、装置和设备
CN115862031B (zh) * 2022-12-30 2024-02-20 北京百度网讯科技有限公司 文本处理方法、神经网络的训练方法、装置和设备
CN116050397A (zh) * 2023-03-07 2023-05-02 知呱呱(天津)大数据技术有限公司 一种长文本摘要生成方法、系统、设备及存储介质
CN116050397B (zh) * 2023-03-07 2023-05-30 知呱呱(天津)大数据技术有限公司 一种长文本摘要生成方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110232183B (zh) 关键词提取模型训练方法、关键词提取方法、装置及存储介质
US11544474B2 (en) Generation of text from structured data
CN109840287A (zh) 一种基于神经网络的跨模态信息检索方法和装置
WO2021121198A1 (zh) 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN109408826A (zh) 一种文本信息提取方法、装置、服务器及存储介质
WO2018165932A1 (en) Generating responses in automated chatting
US20120323554A1 (en) Systems and methods for tuning parameters in statistical machine translation
CN114780727A (zh) 基于强化学习的文本分类方法、装置、计算机设备及介质
US20230316008A1 (en) Systems and Methods for Intelligent Source Content Routing
CN114706973A (zh) 抽取式文本摘要生成方法、装置、计算机设备及存储介质
CN111833845A (zh) 多语种语音识别模型训练方法、装置、设备及存储介质
CN113434636B (zh) 基于语义的近似文本搜索方法、装置、计算机设备及介质
CN113987169A (zh) 基于语义块的文本摘要生成方法、装置、设备及存储介质
CN111462751A (zh) 解码语音数据的方法、装置、计算机设备和存储介质
CN110263304B (zh) 语句编码方法、语句解码方法、装置、存储介质及设备
EP3377983A1 (en) Generating feature embeddings from a co-occurrence matrix
WO2020052061A1 (zh) 用于处理信息的方法和装置
WO2021139076A1 (zh) 智能化文本对话生成方法、装置及计算机可读存储介质
CN111126084B (zh) 数据处理方法、装置、电子设备和存储介质
CN115438149A (zh) 一种端到端模型训练方法、装置、计算机设备及存储介质
CN113987162A (zh) 文本摘要的生成方法、装置及计算机设备
CN115269768A (zh) 要素文本处理方法、装置、电子设备和存储介质
CN109902286A (zh) 一种实体识别的方法、装置及电子设备
CN112559725A (zh) 文本匹配方法、装置、终端和存储介质
CN116881446A (zh) 一种语义分类方法、装置、设备及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination