CN113723058B - 文本摘要与关键词抽取方法、装置、设备及介质 - Google Patents
文本摘要与关键词抽取方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113723058B CN113723058B CN202111287711.8A CN202111287711A CN113723058B CN 113723058 B CN113723058 B CN 113723058B CN 202111287711 A CN202111287711 A CN 202111287711A CN 113723058 B CN113723058 B CN 113723058B
- Authority
- CN
- China
- Prior art keywords
- abstract
- text
- sentence
- analysis model
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 171
- 238000004458 analytical method Methods 0.000 claims abstract description 161
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 35
- 238000005457 optimization Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及一种文本摘要与关键词抽取方法,包括:获取包括若干文本分句的训练文本数据;将多个文本分句转换为句向量,并标记多个句向量的关键词标签及摘要句标签;对标记后的多个句向量进行上下文信息嵌入,得到标准向量集;利用标准向量集对预构建的摘要句分析模型以及关键词分析模型进行联合训练;利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。此外,本申请还涉及一种文本摘要与关键词抽取装置、设备及介质。本申请可解决利用单独训练的摘要模型和关键词抽取模型时无法同时精确地对摘要与关键词进行抽取的问题。
Description
技术领域
本申请涉及文本处理领域,尤其涉及一种文本摘要与关键词抽取方法、装置、电子设备及计算机可读存储介质。
背景技术
随着网络时代的发展,随之产生的信息爆炸让人们需要花费大量的时间及精力对接触到的数据进行浏览及分析,进而导致人们对于信息的查阅疲劳以及厌倦,因此,对于数据中关键词及摘要的抽取成为了人们越来越关注的重点,如何精确地从大量数据中提取出摘要和关键词,成为了亟待解决的问题。
发明内容
本申请提供了一种文本摘要与关键词抽取方法、装置及存储介质,以解决利用单独训练的摘要模型和关键词抽取模型时无法同时精确地对摘要与关键词进行抽取的问题。
第一方面,本申请提供了一种文本摘要与关键词抽取方法,所述方法包括:
获取训练文本数据,所述训练文本数据包括若干文本分句;
将多个所述文本分句转换为句向量,并标记多个所述句向量的关键词标签及摘要句标签;
通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入,得到标准向量集;
利用所述标准向量集对预构建的摘要句分析模型以及关键词分析模型进行联合训练,所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化,所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值;
利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。
详细地,所述利用所述标准向量集对预先构建的摘要句分析模型以及关键词分析模型进行联合训练,所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化,所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值,包括:
对所述摘要句分析模型及所述关键词分析模型的参数赋初值,利用赋初值后的所述摘要句分析模型及所述关键词生成多个所述标准向量的摘要预测标签和关键词预测标签;
根据所述摘要预测标签和标记的实际摘要标签计算所述第一损失值,以及根据所述关键词预测标签和标记的实际关键词标签计算所述第二损失值;
根据所述第一损失值和所述第二损失值计算所述联合损失函数的联合损失值,并利用梯度下降算法根据所述联合损失值计算所述摘要句分析模型和所述关键词分析模型的更新梯度;
按照所述更新梯度对所述摘要句分析模型和所述关键词分析模型的参数进行调整优化,得到训练后的摘要句分析模型和关键词分析模型。
详细地,所述联合损失函数包括:
详细地,所述通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入,得到标准向量集,包括:
利用预设的编码模型将多个所述句向量对应的文本分句在所述训练文本数据中的位置信息编码为句位置向量,将多个所述句位置向量与多个所述句向量进行组合,得到句标准向量;或者
利用所述编码模型将多个所述句向量对应的文本分句中包含的多个文本分词在所述训练文本数据中的位置信息编码为词位置向量,将多个所述词位置向量嵌入多个所述文本分词的词向量进行组合,得到词标准向量;
将所述句标准向量或所述词标准向量汇集为所述标准向量集。
详细地,所述编码模型为BERT模型,所述关键词分析模型为CRF模型。
详细地,所述将多个所述文本分句转换为句向量,包括:
依次从所述文本分句中选取其中一个文本分句为目标分句;
将所述目标分句拆分为若干文本分词,并将每个所述文本分词编码为词向量;
按照每个所述文本分词在所述目标分句中位置的先后顺序将所述词向量拼接为句向量。
详细地,所述利用赋初值后的所述摘要句分析模型及所述关键词生成多个所述标准向量的摘要预测标签和关键词预测标签,包括:
利用所述摘要句分析模型对每个所述标准向量进行预设次数的卷积及池化处理,得到向量特征;
根据所述向量特征计算每个所述标准向量对应的文本分句为摘要句的句概率值;
利用属于摘要句的摘要预测标签对所述句概率值大于或等于预设概率阈值的文本分句进行标记;
利用不属于摘要句的摘要预测标签对所述句概率值小于所述预设概率阈值的文本分句进行标记。
第二方面,本申请提供了一种文本摘要与关键词抽取装置,所述装置包括:
文本分句模块,用于获取训练文本数据,所述训练文本数据包括若干文本分句;
向量转换模块,用于将多个所述文本分句转换为句向量,并标记多个所述句向量的关键词标签及摘要句标签,通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入,得到标准向量集;
模型优化模块,用于利用所述标准向量集对预构建的摘要句分析模型以及关键词分析模型进行联合训练,所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化,所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值;
文本处理模块,用于利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。
第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一项实施例所述的文本摘要与关键词抽取方法的步骤。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的文本摘要与关键词抽取方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例提供的该方法,可通过对文本数据对应的词向量以及句向量进行上下文信息嵌入,以保证向量中包含丰富的上下文信息,有利于提高进行关键词和摘要分析的精确度,进而利用包含位置信息的向量和联合损失函数对摘要句分析模型和关键词分析模型进行同时优化训练,所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值,能够避免一个模型精确度提高的同时另一模型精确降低的情况,对两个模型的精确度都能进行同步提高,进而利用优化后的模型抽取待处理文本的文本摘要与关键词,可解决利用单独训练的摘要模型和关键词抽取模型时无法同时精确地对摘要与关键词进行抽取的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种文本摘要与关键词抽取方法的流程示意图;
图2为本申请实施例提供的将训练文本数据拆分为若干文本分句的流程示意图;
图3为本申请实施例提供的将每个文本分句转换为句向量的流程示意图;
图4为本申请实施例提供的一种文本摘要与关键词抽取的装置的模块示意图;
图5为本申请实施例提供的一种文本摘要与关键词抽取的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种文本摘要与关键词抽取方法的流程示意图。在本实施例中,所述文本摘要与关键词抽取方法包括:
S1、获取训练文本数据,所述训练文本数据包括若干文本分句。
本申请实施例中,所述训练文本数据为预先获取的可用于对既定文本处理模型进行训练的数据。
本申请实施例中,所述获取训练文本数据,包括:
获取原始文本数据;
利用标点符号编译的正则表达式提取所述训练文本数据中目标标点符号的符号位置;
根据所述符号位置将所述原始文本数据拆分为包含若干文本分句的训练文本数据。
标点符号编译生成的正则表达式可用于识别标点符号在文本数据中的符号位置,进而可按照识别出的符号位置将训练文本数据进行拆分,得到若干文本分句。
本申请其他实施例中,还可通过Python中NLTK库内的sent_tokenize()方法对原始文本数据进行分句处理,得到该原始文本数据对应的若干文本分句。
示例性地,可利用如下sent_tokenize()方法将原始文本数据拆分为若干文本分句:
from nltk.tokenize import sent_tokenize
data = "x"
print(sent_tokenize(data))
其中,x为所述原始文本数据。
本申请实施例中,将原始文本数据拆分为若干文本分句,有利于减少后续对于训练文本数据进行分析时的整体效率,以提高分析效率。
S2、将多个所述文本分句转换为句向量,并标记多个所述句向量的关键词标签及摘要句标签。
本申请实施例中,由于自然语言处理模型无法直接对文本进行分析处理,因此,可将多个所述文本分句转换为句向量,进而使得文本分句具有模型可处理性。
详细地,可对每个所述文本分句进行分词处理,并将文本分句中包含的词语逐个编码为词向量,进而利用词向量拼接出每个文本分句的句向量。
本申请实施例中,参图2所示,所述将多个所述文本分句转换为句向量,包括:
S21、依次从所述文本分句中选取其中一个文本分句为目标分句;
S22、将所述目标分句拆分为若干文本分词,并将每个所述文本分词编码为词向量;
S23、按照每个所述文本分词在所述目标分句中位置的先后顺序将所述词向量拼接为句向量。
例如,目标分句为:“work and no play”,将该目标分句进行拆分得到的文本分词为:“work”、“and”、“no”和“play”,其中,对上述四个文本分词进行编码后得到的词向量依次为:“token_1”、“token_2”、“token_3”和“token_4”,因此,可按照“work”、“and”、“no”和“play”四个文本分词在所述目标语句中的先后顺序将该四个词向量拼接为如下句向量:
sent_i={ token_1,token_2,token_3,token_4}
其中,sent_i为从所述文本分句中选取的第i个目标分句。
详细地,可利用预设的jieba、SnowNLP、PKUse、THULAC等分词工具将所述目标分句拆分为若干文本分词;或者,可通过Python中NLTK库内的word_tokenize()方法将所述目标分句拆分为若干文本分词。
示例性地,可利用如下word_tokenize()方法将所述目标分句拆分为若干文本分词:
from nltk.tokenize import word_tokenize
data = "y"
print(word_tokenize(data))
其中,y为所述目标分句。
具体地,可利用transformer编码器、word2vec编码器、Autoencoder编码器等具有词语编码功能的编码器将将每个所述文本分词编码为词向量。
本申请其中一个实际应用场景中,由于生成的句向量需用于后续对所述训练文本数据进行分析,因此,需利用所述训练文本数据中的关键词标签及摘要句标签对每个所述句向量进行标记。
详细地,所述关键词标签可以为E_Si,其中,E_Si可取0或1,当所述文本分句内的第i个目标分句中的文本分词为关键词,则可用E_Si=1对该文本分词进行标记,当所述文本分句内的第i个目标分句中的文本分词为关键词,可利用E_Si=0对该文本分词进行标记。
所述摘要句标签可以为E_ABi,其中,E_ABi可取0、1或2,当所述文本分句内的第i个目标分句为摘要句且该目标分句内包含关键词,可利用E_Abi=2对该目标分句进行标记;当所述文本分句内的第i个目标分句为摘要句且该目标分句内不包含关键词,可利用E_Abi=1对该目标分句进行标记;当所述文本分句内的第i个目标分句不为摘要句,可利用E_Abi=0对该目标分句进行标记。
S3、通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入,得到标准向量集。
本申请其中一个实际应用场景中,由于文本具有一定的连贯性以及上下文语义的关联性,因此,可通过预设的编码模型对标记后的每个句向量进行位置信息的嵌入,以使得句向量中包含丰富的上下文信息,有利于提高后续根据句向量进行关键词和摘要分析的精确度。
详细地,所述编码模型可以为BERT模型,其中,对于句向量中的单个词语,可利用所述编码模型将该词语在该句向量中的位置信息以及该词语在所述训练文本数据中的位置信息进行编码,并将编码后得到的信息作为该词语上下文信息;对于句向量,可将该句向量在所述训练文本数据中的位置信息,以及该句向量中每个词语的位置信息进行编码,并将编码后得到的信息作为该句向量的上下文信息。
具体地,所述位置信息包括每个文本分句对应的句向量在所述训练文本数据中的位置信息,以及每个文本分句中包含的文本分词在所述训练文本数据中的位置信息。
本申请实施例中,所述通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入,得到标准向量集,包括:
利用预设的编码模型将多个所述句向量对应的文本分句在所述训练文本数据中的位置信息编码为句位置向量,将多个所述句位置向量与多个所述句向量进行组合,得到句标准向量;或者
利用所述编码模型将多个所述句向量对应的文本分句中包含的多个文本分词在所述训练文本数据中的位置信息编码为词位置向量,将多个所述词位置向量嵌入多个所述文本分词的词向量进行组合,得到词标准向量;
将所述句标准向量或所述词标准向量汇集为所述标准向量集。
具体地,可通过如步骤S2中向量拼接的方式将所述句位置向量嵌入每个所述句向量中,以及将所述词位置向量嵌入每个所述文本分词中。
当每个所述句向量以及句向量中的词向量被嵌入位置信息后,得到所述标准向量。
本申请实施例中,通过预设的编码模型对标记后的每个句向量进行上下文信息嵌入,可使得句向量中包含丰富的上下文信息,进而避免后续在对句向量进行分析时,将每个句向量进行独立分析,体现了句向量之间的关联性,有利于提高分析的精确度。
S4、利用所述标准向量集对预构建的摘要句分析模型以及关键词分析模型进行联合训练,所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化,所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值。
本申请实施例中,所述摘要句分析模型包括但不限于具有摘要句识别功能的卷积神经网络(Convolutional Neural Network,CNN)模型、支持向量机(Support VectorMachines,SVM)模型;所述关键词分析模型包括但不限于具有关键词识别功能的条件随机场(Conditional Random Field,CRF)模型、Lstm(Long short-term memory,长短期记忆)模型。
本申请实施例中,在嵌入上下文信息时使用BERT模型,在构建摘要句模型和关键词模型时使用CRF模型,利用了BERT和CRF结合的方式构建模型,无需构建人工特征模板与规则,因此可以方便快捷地构建模型。
本申请实施例中,参图3所示,所述利用所述标准向量集对预先构建的摘要句分析模型以及关键词分析模型进行联合训练,所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化,所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值,包括:
S31、对所述摘要句分析模型及所述关键词分析模型的参数赋初值,利用赋初值后的所述摘要句分析模型及所述关键词生成多个所述标准向量的摘要预测标签和关键词预测标签;
S32、根据所述摘要预测标签和标记的实际摘要标签计算所述第一损失值,以及根据所述关键词预测标签和标记的实际关键词标签计算所述第二损失值;
S33、根据所述第一损失值和所述第二损失值计算所述联合损失函数的联合损失值,并利用梯度下降算法根据所述联合损失值计算所述摘要句分析模型和所述关键词分析模型的更新梯度;
S34、按照所述更新梯度对所述摘要句分析模型和所述关键词分析模型的参数进行调整优化,得到训练后的摘要句分析模型和关键词分析模型。
其中,标记的实际摘要标签和实际关键词标签是S2中进行标记的标签。
本申请实施例中,所述利用赋初值后的所述摘要句分析模型及所述关键词生成多个所述标准向量的摘要预测标签和关键词预测标签,包括:
利用所述摘要句分析模型对每个所述标准向量进行预设次数的卷积及池化处理,得到向量特征;
根据所述向量特征计算每个所述标准向量对应的文本分句为摘要句的句概率值;
利用属于摘要句的摘要预测标签对所述句概率值大于或等于预设概率阈值的文本分句进行标记;
利用不属于摘要句的摘要预测标签对所述句概率值小于所述预设概率阈值的文本分句进行标记。
详细地,所述预设激活函数可以与所述摘要句分析模型中的softmax层的激活函数相同。
具体地,当计算出每个所述标准向量中包含的每个词向量为关键词的词概率值后,可按照每个词向量在标准向量中排列的先后顺序将计算得到的次概率排列为概率矩阵,进而将所述概率矩阵输入至所述关键词分析模型(如CRF模型)中,并利用所述关键词分析模型根据所述概率矩阵预测每个词向量对应的文本分词的关键词预测标签。
具体地,可利用摘要句分析模型中的softmax层根据所述向量特征计算每个所述标准向量对应的文本分句为摘要句的概率值。
较佳地,所述概率阈值为0.5。
详细地,所述对所述摘要句分析模型及所述关键词分析模型的参数赋初值可利用预设的随机数生成器生成不同的随机数,并利用生成的随机数对所述摘要句分析模型及所述关键词分析模型的参数赋初值;或者,可将所述摘要句分析模型及所述关键词分析模型的参数全部置为零,以实现对所述摘要句分析模型及所述关键词分析模型的参数赋初值。
经实验,摘要抽取与关键词分析存在一定的内部联系,一模型的训练结果能促进另一模型结果的精确,本实施例中利用预设的联合损失函数两个任务的损失值同时训练两个模型,能够同时对摘要句分析模型和关键词分析模型的共同优化,并且同时提高摘要句分析模型和关键词分析模型的精确度。
详细地,所述第一损失值为所述摘要预测模型输出的摘要预测标签与标记的实际摘要标签之间的损失值,第二损失值为所述关键词分析模型输出的关键词预测标签与标记的实际关键词标签之间的损失值。
具体地,所述梯度下降算法包括但不限于批量梯度下降算法、随机梯度下降算法、小批量梯度下降算法;当计算得到所述联合损失值时,可利用预设的梯度下降算法对所述联合损失值进行计算,得到所述摘要句分析模型和所述关键词分析模型的更新梯度,该更新梯度为矢量值,具有方向,因此,可按照该更新梯度的方向对所述摘要句分析模型和所述关键词分析模型的参数进行调整优化,直至所述联合损失值小于预设损失阈值。
具体的,可利用梯度下降算逐轮计算所述摘要句分析模型以及关键词分析模型中参数的更新梯度,进而按照所更新梯度逐轮对摘要句分析模型以及关键词分析模型进行更新,直至摘要句分析模型以及关键词分析模型输出结果计算得到的联合损失值小于预设损失阈值。
本申请实施例中,所述联合损失函数包括:
详细地,所述平衡因子可以为预设常数,也可以为根据每轮训练后的摘要句分析模型以及关键词分析模型经过预设的验证集进行验证后,根据验证的结果计算调整的值,例如,当摘要句分析模型以及关键词分析模型经过一轮训练后,利用训练后的摘要句分析模型以及关键词分析模型对预设的验证集进行分析,并根据摘要句分析模型以及关键词分析模型对验证集分析得到的结果的准确率,对所述平衡因子进行更新(如平衡因子为所述准确率的预设比例值)。
本申请实施例中,利用联合损失函数计算摘要预测标签和关键词预测标签计算联合损失值,并基于该联合损失值通过梯度下降算法对两个模型的参数进行反向传播优化,实现了对摘要句分析模型与关键词分析模型的同步优化,提高了模型优化的效率。
S5、利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。
本申请实施例中,所述待处理文本可以为任何预先获取到的文本,可利用参数优化后的摘要句分析模型(即训练后的摘要句分析模型)提取出该待处理文本中包含的摘要句;以及,利用参数优化后的关键词分析模型(即训练后的关键词分析模型抽取)提取出该待处理文本中的关键词。
本申请实施例提供的该方法,可通过对文本数据对应的词向量以及句向量进行上下文信息嵌入,以保证向量中包含丰富的上下文信息,有利于提高进行关键词和摘要分析的精确度,进而利用包含位置信息的向量和联合损失函数对摘要句分析模型和关键词分析模型进行同时优化训练,所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值,能够避免一个模型精确度提高的同时另一模型精确降低的情况,对两个模型的精确度都能进行同步提高,进而利用优化后的模型抽取待处理文本的文本摘要与关键词,可解决利用单独训练的摘要模型和关键词抽取模型时无法同时精确地对摘要与关键词进行抽取的问题。
如图4所示,本申请实施例提供了一种文本摘要与关键词抽取装置10的模块示意图,所述文本摘要与关键词抽取装置10,包括:文本分句模块11、向量转换模块12、模型优化模块13和文本处理模块14。
所述文本分句模块11,用于获取训练文本数据,所述训练文本数据包括若干文本分句;
所述向量转换模块12,用于将多个所述文本分句转换为句向量,并标记多个所述句向量的关键词标签及摘要句标签,通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入,得到标准向量集;
所述模型优化模块13,用于利用所述标准向量集对预构建的摘要句分析模型以及关键词分析模型进行联合训练,所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化,所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值;
所述文本处理模块14,用于利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。
详细地,本申请实施例中所述文本摘要与关键词抽取装置10中所述的各模块在使用时采用与上述图1至图3中所述的文本摘要与关键词抽取方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
如图5所示,本申请实施例提供了一种电子设备,包括处理器111、通信接口112、存储器113和通信总线114,其中,处理器111、通信接口112、存储器113通过通信总线114完成相互间的通信;
存储器113,用于存放计算机程序;
在本申请一个实施例中,处理器111,用于执行存储器113上所存放的程序时,实现前述任意一个方法实施例提供的文本摘要与关键词抽取方法,包括:
获取训练文本数据,所述训练文本数据包括若干文本分句;
将多个所述文本分句转换为句向量,并标记多个所述句向量的关键词标签及摘要句标签;
通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入,得到标准向量集;
利用所述标准向量集对预构建的摘要句分析模型以及关键词分析模型进行联合训练,所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化,所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值;
利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的文本摘要与关键词抽取方法的步骤。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种文本摘要与关键词抽取方法,其特征在于,所述方法包括:
获取训练文本数据,所述训练文本数据包括若干文本分句;
将多个所述文本分句转换为句向量,并标记多个所述句向量的关键词标签及摘要句标签;
通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入,得到标准向量集;
对预构建的摘要句分析模型及预构建的关键词分析模型的参数赋初值,利用赋初值后的所述摘要句分析模型及所述关键词生成所述标准向量集的摘要预测标签和关键词预测标签;
根据所述摘要预测标签和标记的实际摘要标签计算第一损失值,以及根据所述关键词预测标签和标记的实际关键词标签计算第二损失值;
根据所述第一损失值和所述第二损失值计算预设的联合损失函数的联合损失值,并利用梯度下降算法根据所述联合损失值计算所述摘要句分析模型和所述关键词分析模型的更新梯度;
按照所述更新梯度对所述摘要句分析模型和所述关键词分析模型的参数进行调整优化,得到训练后的摘要句分析模型和关键词分析模型;
利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。
3.根据权利要求1或2所述的文本摘要与关键词抽取方法,其特征在于,所述通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入,得到标准向量集,包括:
利用预设的编码模型将多个所述句向量对应的文本分句在所述训练文本数据中的位置信息编码为句位置向量,将多个所述句位置向量与多个所述句向量进行组合,得到句标准向量;或者
利用所述编码模型将多个所述句向量对应的文本分句中包含的多个文本分词在所述训练文本数据中的位置信息编码为词位置向量,将多个所述词位置向量嵌入多个所述文本分词的词向量进行组合,得到词标准向量;
将所述句标准向量或所述词标准向量汇集为所述标准向量集。
4.根据权利要求1或2所述的文本摘要与关键词抽取方法,其特征在于,所述编码模型为BERT模型,所述关键词分析模型为CRF模型。
5.根据权利要求3所述的文本摘要与关键词抽取方法,其特征在于,所述将多个所述文本分句转换为句向量,包括:
依次从所述文本分句中选取其中一个文本分句为目标分句;
将所述目标分句拆分为若干文本分词,并将每个所述文本分词编码为词向量;
按照每个所述文本分词在所述目标分句中位置的先后顺序将所述词向量拼接为句向量。
6.根据权利要求1所述的文本摘要与关键词抽取方法,其特征在于,所述利用赋初值后的所述摘要句分析模型及所述关键词生成所述标准向量集的摘要预测标签和关键词预测标签,包括:
利用所述摘要句分析模型对所述标准向量集进行预设次数的卷积及池化处理,得到向量特征;
根据所述向量特征计算所述标准向量集中每个标准向量对应的文本分句为摘要句的句概率值;
利用属于摘要句的摘要预测标签对所述句概率值大于或等于预设概率阈值的文本分句进行标记;
利用不属于摘要句的摘要预测标签对所述句概率值小于所述预设概率阈值的文本分句进行标记。
7.一种文本摘要与关键词抽取装置,其特征在于,所述装置包括:
文本分句模块,用于获取训练文本数据,所述训练文本数据包括若干文本分句;
向量转换模块,用于将多个所述文本分句转换为句向量,并标记多个所述句向量的关键词标签及摘要句标签,通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入,得到标准向量集;
模型优化模块,用于对预构建的摘要句分析模型及预构建的关键词分析模型的参数赋初值,利用赋初值后的所述摘要句分析模型及所述关键词生成所述标准向量集的摘要预测标签和关键词预测标签,根据所述摘要预测标签和标记的实际摘要标签计算第一损失值,以及根据所述关键词预测标签和标记的实际关键词标签计算第二损失值;根据所述第一损失值和所述第二损失值计算预设的联合损失函数的联合损失值,并利用梯度下降算法根据所述联合损失值计算所述摘要句分析模型和所述关键词分析模型的更新梯度,按照所述更新梯度对所述摘要句分析模型和所述关键词分析模型的参数进行调整优化,得到训练后的摘要句分析模型和关键词分析模型;
文本处理模块,用于利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。
8.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一项所述的文本摘要与关键词抽取方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的文本摘要与关键词抽取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111287711.8A CN113723058B (zh) | 2021-11-02 | 2021-11-02 | 文本摘要与关键词抽取方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111287711.8A CN113723058B (zh) | 2021-11-02 | 2021-11-02 | 文本摘要与关键词抽取方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113723058A CN113723058A (zh) | 2021-11-30 |
CN113723058B true CN113723058B (zh) | 2022-03-08 |
Family
ID=78686411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111287711.8A Active CN113723058B (zh) | 2021-11-02 | 2021-11-02 | 文本摘要与关键词抽取方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113723058B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114254633A (zh) * | 2021-12-14 | 2022-03-29 | 科大讯飞股份有限公司 | 一种关键词抽取方法、装置、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112667800A (zh) * | 2020-12-21 | 2021-04-16 | 深圳壹账通智能科技有限公司 | 关键词生成方法、装置、电子设备及计算机存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106557460A (zh) * | 2015-09-29 | 2017-04-05 | 株式会社东芝 | 从单文档中提取关键词的装置及方法 |
CN109815341B (zh) * | 2019-01-22 | 2023-10-10 | 安徽省泰岳祥升软件有限公司 | 一种文本抽取模型训练方法、文本抽取方法及装置 |
CN113032552B (zh) * | 2021-05-25 | 2021-08-27 | 南京鸿程信息科技有限公司 | 一种基于文本摘要的政策要点抽取方法与提取系统 |
-
2021
- 2021-11-02 CN CN202111287711.8A patent/CN113723058B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112667800A (zh) * | 2020-12-21 | 2021-04-16 | 深圳壹账通智能科技有限公司 | 关键词生成方法、装置、电子设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113723058A (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020182019A1 (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
CN111694924B (zh) | 一种事件抽取方法和系统 | |
CN108959246B (zh) | 基于改进的注意力机制的答案选择方法、装置和电子设备 | |
CN110851596A (zh) | 文本分类方法、装置及计算机可读存储介质 | |
CN110232192A (zh) | 电力术语命名实体识别方法及装置 | |
CN111460807A (zh) | 序列标注方法、装置、计算机设备和存储介质 | |
CN111695052A (zh) | 标签分类方法、数据处理设备、可读存储介质 | |
CN111753550A (zh) | 一种自然语言的语义解析方法 | |
CN111475617A (zh) | 事件主体抽取方法、装置及存储介质 | |
CN112052684A (zh) | 电力计量的命名实体识别方法、装置、设备和存储介质 | |
CN114580424B (zh) | 一种用于法律文书的命名实体识别的标注方法和装置 | |
CN112069801A (zh) | 基于依存句法的句子主干抽取方法、设备和可读存储介质 | |
CN110516240B (zh) | 一种基于Transformer的语义相似度计算模型DSSM技术 | |
WO2023226292A1 (zh) | 从文本中进行关系抽取的方法、关系抽取模型及介质 | |
CN111274829A (zh) | 一种利用跨语言信息的序列标注方法 | |
CN110348012B (zh) | 确定目标字符的方法、装置、存储介质及电子装置 | |
CN115062134B (zh) | 知识问答模型训练及知识问答方法、装置和计算机设备 | |
CN113392191B (zh) | 一种基于多维度语义联合学习的文本匹配方法和装置 | |
CN114661881A (zh) | 一种基于问答模式的事件抽取方法、装置和设备 | |
CN114564563A (zh) | 一种基于关系分解的端到端实体关系联合抽取方法及系统 | |
CN115658846A (zh) | 一种适用于开源软件供应链的智能搜索方法及装置 | |
CN114021573B (zh) | 一种自然语言处理方法、装置、设备及可读存储介质 | |
CN113723058B (zh) | 文本摘要与关键词抽取方法、装置、设备及介质 | |
CN117828024A (zh) | 一种插件检索方法、装置、存储介质及设备 | |
CN112148879B (zh) | 一种自动给代码打数据结构标签的计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |