CN113255319B - 模型训练方法、文本分段方法、摘要抽取方法及装置 - Google Patents

模型训练方法、文本分段方法、摘要抽取方法及装置 Download PDF

Info

Publication number
CN113255319B
CN113255319B CN202110747227.2A CN202110747227A CN113255319B CN 113255319 B CN113255319 B CN 113255319B CN 202110747227 A CN202110747227 A CN 202110747227A CN 113255319 B CN113255319 B CN 113255319B
Authority
CN
China
Prior art keywords
training
text
model
abstract
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110747227.2A
Other languages
English (en)
Other versions
CN113255319A (zh
Inventor
陈诚
黄石磊
程刚
吕少领
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Raisound Technology Co ltd
Original Assignee
Shenzhen Raisound Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Raisound Technology Co ltd filed Critical Shenzhen Raisound Technology Co ltd
Priority to CN202110747227.2A priority Critical patent/CN113255319B/zh
Publication of CN113255319A publication Critical patent/CN113255319A/zh
Application granted granted Critical
Publication of CN113255319B publication Critical patent/CN113255319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及人工智能技术领域，揭露了一种模型训练方法，所述方法包括：获取训练数据集，对训练数据集进行预处理，得到训练特征向量集；获取预构建的文本分段模型和文本摘要抽取模型；利用训练特征向量集对文本分段模型和文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理，得到标准文本分段模型和标准摘要抽取模型。此外，本申请还涉及一种文本分段方法、摘要抽取方法、装置、设备及存储介质。本申请可以提高训练得到的文本分段模型和摘要抽取模型的准确性。

Description

模型训练方法、文本分段方法、摘要抽取方法及装置
技术领域
本申请涉及人工智能技术领域，尤其涉及一种模型训练方法、文本分段方法、摘要抽取方法、装置、电子设备及存储介质。
背景技术
文本分段和摘要抽取在信息提取、文摘生成、语篇解析及其他多个领域有着极为重要的应用。现有技术中，文本分段技术大多基于语篇结构的，对于不同的题材的文本，结构很不相同，所以现有技术中的文本分段模型泛化能力不好。并且，现有技术中，摘要抽取模型大多数都是基于句子级别的，从而割裂了文本上下文信息的交互，忽略了文档内容中大量的上下文信息，导致相关元素抽取的准确度降低，从而影响整个摘要抽取系统的整体性能。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种模型训练方法、文本分段方法、摘要抽取方法、装置、电子设备及存储介质。
第一方面，本申请提供了一种模型训练方法，所述方法包括：
获取训练数据集，对所述训练数据集进行预处理，得到训练特征向量集；
获取预构建的文本分段模型和文本摘要抽取模型；
利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用所述文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用所述文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理，得到标准文本分段模型和标准摘要抽取模型。
可选地，所述利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，包括：
利用所述训练特征向量集按照先训练所述文本分段模型后训练所述文本摘要抽取模型的顺序对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练。
可选地，所述训练特征向量集包括分段训练特征向量集和摘要训练特征向量集，所述利用所述训练特征向量集按照先训练所述文本分段模型后训练所述文本摘要抽取模型的顺序对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，包括：
利用所述分段训练特征向量集对所述文本分段模型进行第一训练，利用所述第一训练得到的文本分段模型对所述摘要训练特征向量集进行段落标记，得到包含段落特征的摘要训练特征向量集；
利用所述包含段落特征的摘要训练特征向量集对所述文本摘要抽取模型进行第二训练，利用所述第二训练得到的摘要抽取模型对所述分段训练特征向量集进行摘要概率预测，得到包含摘要特征的分段训练特征向量集；
不断重复利用所述第二训练得到的摘要抽取模型生成的包含摘要特征的分段训练特征向量集执行所述第一训练，以及利用所述第一训练得到的文本分段模型生成的包含段落特征的摘要训练特征向量集执行所述第二训练，直至达到预设训练结束条件，停止所述第一训练和所述第二训练。
可选地，所述对所述训练数据集进行预处理，得到训练特征向量集，包括：
对所述训练数据集中段落训练数据进行分句，得到训练单句集；
将所述训练单句集输入至特征提取编码器，得到训练单句特征集；
获取所述训练单句集中单句的段落位置特征和摘要位置特征；
从所述训练单句特征集中获取单句的单句特征，将所述单句的单句特征和段落位置特征组合输入预训练模型，得到分段训练特征向量集，将所述单句的单句特征和摘要位置特征组合输入所述预训练模型，得到摘要训练特征向量集；
将所述分段训练特征向量集和所述摘要训练特征向量集汇总为所述训练特征向量集。
可选地，所述获取训练数据集，包括：
获取公开数据集作为训练数据集。
第二方面，本申请提供了一种文本分段方法，所述方法包括：
获取待处理文本；
将所述待处理文本输入至标准文本分段模型进行文本分段，得到文本分段结果，其中，所述标准文本分段模型是采用如上所述的模型训练方法进行训练得到的。
第三方面，本申请提供了一种摘要抽取方法，所述方法包括：
获取待处理文本；
将所述待处理文本输入至标准文本摘要抽取模型进行摘要抽取，得到摘要抽取结果，其中，所述标准文本摘要抽取模型是采用如上所述的模型训练方法进行训练得到的。
第四方面，本申请提供了一种模型训练装置，所述装置包括：
训练数据获取模块，用于获取训练数据集，对所述训练数据集进行预处理，得到训练特征向量集；
模型获取模块，用于获取预构建的文本分段模型和文本摘要抽取模型；
模型训练模块，用于利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用所述文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用所述文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理，得到标准文本分段模型和标准摘要抽取模型。
可选地，所述模型训练模块具体用于：
利用所述训练特征向量集按照先训练所述文本分段模型后训练所述文本摘要抽取模型的顺序对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用所述文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用所述文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理。
可选地，所述训练特征向量集包括分段训练特征向量集和摘要训练特征向量集，所述模型训练模块包括：
第一训练单元，利用所述分段训练特征向量集对所述文本分段模型进行第一训练，利用所述第一训练得到的文本分段模型对所述摘要训练特征向量集进行段落标记，得到包含段落特征的摘要训练特征向量集；
第二训练单元，利用所述包含段落特征的摘要训练特征向量集对所述文本摘要抽取模型进行第二训练，利用所述第二训练得到的摘要抽取模型对所述分段训练特征向量集进行摘要概率预测，得到包含摘要特征的分段训练特征向量集；
交叉训练单元，用于不断重复利用所述第二训练得到的摘要抽取模型生成的包含摘要特征的分段训练特征向量集执行所述第一训练，以及利用所述第一训练得到的文本分段模型生成的包含段落特征的摘要训练特征向量集执行所述第二训练，直至达到预设训练结束条件，停止所述第一训练和所述第二训练。
可选地，所述训练数据获取模块包括：
训练数据获取单元，用于获取训练数据集；
训练数据处理单元，用于对所述训练数据集中段落训练数据进行分句，得到训练单句集，将所述训练单句集输入至特征提取编码器，得到训练单句特征集，获取所述训练单句集中单句的段落位置特征和摘要位置特征，从所述训练单句特征集中获取单句的单句特征，将所述单句的单句特征和段落位置特征组合输入预训练模型，得到分段训练特征向量集，将所述单句的单句特征和摘要位置特征组合输入所述预训练模型，得到摘要训练特征向量集，将所述分段训练特征向量集和所述摘要训练特征向量集汇总为所述训练特征向量集。
可选地，所述训练数据获取单元具体用于：
获取公开数据集作为训练数据集。
第五方面，本申请提供了一种文本分段装置，所述装置包括：
分段文本获取模块，用于获取待处理文本；
文本分段模块，用于将所述待处理文本输入至标准文本分段模型进行文本分段，得到文本分段结果，其中，所述标准文本分段模型是采用如上所述的模型训练装置进行训练得到的。
第六方面，本申请提供了一种摘要抽取装置，所述装置包括：
摘要文本获取模块，用于获取待处理文本；
摘要抽取模块，用于将所述待处理文本输入至标准文本摘要抽取模型进行摘要抽取，得到摘要抽取结果，其中，所述标准文本摘要抽取模型是采用如上所述的模型训练装置进行训练得到的。
第七方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的模型训练方法的步骤，或实现第二方面所述的文本分段方法的步骤，或实现第三方面所述的摘要抽取方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的模型训练方法的步骤，或实现第二方面所述的文本分段方法的步骤，或实现第三方面所述的摘要抽取方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的模型训练方法、文本分段方法、摘要抽取方法、装置、电子设备及存储介质，可在获取到训练数据集之后，对所述训练数据集进行预处理，得到训练特征向量集；获取预构建的文本分段模型和文本摘要抽取模型；利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用所述文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用所述文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理，得到标准文本分段模型和标准摘要抽取模型。通过对文本分段模型和文本摘要模型进行交叉训练，不断的用一模型的训练结果增强另一模型的训练数据，使文本分段模型和文本摘要抽取模型能够不断相互促进，有利于提高文本分段能力的泛化能力，并且使摘要模型在训练过程中能依据分段信息进行摘要抽取，即使得摘要模型在训练过程中考虑上下文内容进行摘要抽取，有利于提高摘要抽取模型的准确性。因此，本发明实施例可以解决文本分段模型和摘要抽取模型不准确的问题，提高训练得到的文本分段模型和摘要抽取模型的准确性，进而有利于提高文本分段和摘要抽取的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种模型训练方法的流程示意图；
图2为本申请实施例提供的一种文本分段方法的流程示意图；
图3为本申请实施例提供的一种摘要抽取方法的流程示意图；
图4为本申请实施例提供的一种模型训练装置的模块示意图；
图5为本申请实施例提供的一种文本分段装置的模块示意图；
图6为本申请实施例提供的一种摘要抽取装置的模块示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种模型训练方法的流程示意图。在本实施例中，所述模型训练方法包括：
S11、获取训练数据集，对所述训练数据集进行预处理，得到训练特征向量集。
本实施例中，所述训练数据集为用于进行模型训练的数据。具体的，本实施例中，训练数据集为文本类型的数据，具体的可以为中文文本、英文文本或者是其他语言类型的文本。
本实施例中，训练数据集包含多个段落文本，段落文本中包含多个单句，且包含对段落文本中单句的段落标签以及摘要标签，段落标签以及摘要标签用于标注该句子是否为段落以及是否为摘要。
进一步的，所述获取训练数据集，包括：
获取公开数据集作为训练数据集。
本实施例中，所述公开数据集是指已公开的且包含段落标签以及摘要标签的文本数据，具体的，公开数据集包括但不限于从BigPatent、LCSTS、Cable News Network(CNN)、DailyMail (DM)等开源数据平台获取到的数据集。
本实施例中，通过公开数据集作为训练数据集，大大减少了对用于训练的文本进行标注的时间、效率和准确率，有利于提高训练效率。
进一步的，在获取训练数据集之后，所述方法还包括：
对所述训练数据集进行去重、脏数据清洗等处理。
进一步的，所述对所述训练数据集进行预处理，得到训练特征向量集，包括：
对所述训练数据集中段落训练数据进行分句，得到训练单句集；
将所述训练单句集输入至特征提取编码器，得到训练单句特征集；
获取所述训练单句集中单句的段落位置特征和摘要位置特征；
从所述训练单句特征集中获取单句的单句特征，将所述单句的单句特征和段落位置特征组合输入预训练模型，得到分段训练特征向量集，将所述单句的单句特征和摘要位置特征组合输入所述预训练模型，得到摘要训练特征向量集；
将所述分段训练特征向量集和所述摘要训练特征向量集汇总为所述训练特征向量集。
本实施例中，训练数据集中可以包含多段数据，每段数据为段落训练数据。则可以对每个段落训练数据进行分句。
具体的，可以根据“句号对应的字符符号、叹号对应的字符符号、问号对应的字符符号”等符号进行分句，将符号判断规则以正则表达式表示，再通过该正则表达式判断段落训练数据中的每个句子，从而实现对段落训练数据进行分句，得到训练单句集。
本实施例中，特征提取编码器可以为Transformer编码器，该特征提取编码器用于提取句子的特征，得到句向量。
在通过特征提取编码器获取句向量时，可以将句子以分词形式表示，进而通过特征提取编码器进行特征提取，得到句向量。
例如，段落训练数据doc={sent_1，sent_2，...，sent_n}共n句组成，sent_i是doc第i句话，sent_i={token_1，token_2，..token_m}，其中，sent_i由m个词单元组成，则将每个句子的分词表示{token_1，token_2，..token_m}依次放入transformer编码器，依次得到段落训练数据doc的句向量。
本实施例中，所述段落位置特征可以表示为N/M，即获取某句的段落位置特征N/M，其中，M表示该句所在段落有M句，N表示该句是第N句。
本实施例中，所述摘要位置特征可以表示为K/P，即获取某句的摘要位置特征K/P，其中，P表示该句所在段落有P句摘要，该句是此段所有摘要句中的第K句。
本实施例中，所述预训练模型可以为训练得到的BERT模型。
S12、获取预构建的文本分段模型和文本摘要抽取模型。
本实施例中，文本分段模型和文本摘要抽取模型可以为不同的线性分类器。
具体的，文本分段模型可以为：
Figure 998693DEST_PATH_IMAGE001
，其中，Ws和bs是可更新参数，即训练时更新的参数，TSi是用于文本分段模型训练的训练特征向量集中第i句的特征向量，Ysi是第i句作为段落边界句的概率估计，例如，当Ysi不小于0.5，则确定该句为段落边界句，当Ysi小于0.5，则确定该句不为段落边界句。
本实施例中，文本摘要抽取模型可以为：
Figure 128323DEST_PATH_IMAGE002
，其中，WAB和bAB是可更新参数，即训练时更新的参数，TABi是用于文本摘要抽取模型训练的训练特征向量集中第i句的特征向量，YABi是第i句作为摘要句的概率估计，例如，当YABi不小于0.5，则确定该句为摘要句，当YABi小于0.5，则确定该句不为摘要句。
S13、利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用所述文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用所述文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理，得到标准文本分段模型和标准摘要抽取模型。
本实施例中，训练特征向量集可以划分为不同的组分别用于对文本分段模型和文本摘要抽取模型进行训练。
经训练研究，文本分段和摘要提取存在一定的关联性，例如，摘要往往是每个段落中的关键句，而段落不同时，获取到的关键句可能不同，因此文本分段对摘要抽取的结果会产生一定的影响，类似的，摘要抽取也会对文本分段的结果产生一定的影响。因此，本实施例中，每轮交替训练中用训练一个模型得到的模型训练结果增强训练另一模型的数据，通过相互增强训练数据，能够提高训练得到的模型的准确性。
例如，利用文本分段模型训练得到的模型对用于文本摘要抽取模型训练的数据进行分段，则用于文本摘要抽取模型训练的数据也包含分段信息，将此时用于文本摘要抽取模型训练的数据输入至文本摘要抽取模型进行训练，并且，利用文本摘要抽取模型进行训练得到的模型对用于文本分段模型训练的数据进行摘要标记，则用于文本分段模型训练的数据也包含摘要信息，将此时用于文本分段模型训练的数据再输入至文本分段模型进行训练，以此类推。
在训练时，可以使用损失函数反向更新参数。
具体的，损失函数可以为：
Figure 801750DEST_PATH_IMAGE003
训练文本分段模型和文本摘要抽取模型时，都可使用该损失函数，只是训练不同的模型时，yi和Yi表达的含义不同。
具体的，当损失函数用于训练文本分段模型时，yi表示第i句为段落边界句的真实标签，1代表是，0代表不是，Yi表示通过文本分段模型得到的第i句作为段落边界句的概率估计。
当损失函数用于训练文本摘要抽取模型时，yi表示第i句为摘要句的真实标签，1代表是，0代表不是，Yi表示通过文本摘要抽取模型得到的第i句作为摘要句的概率估计。
进一步的，所述利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，包括：
利用所述训练特征向量集按照先训练所述文本分段模型后训练所述文本摘要抽取模型的顺序对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练。
进一步的，所述训练特征向量集包括分段训练特征向量集和摘要训练特征向量集，所述利用所述训练特征向量集按照先训练所述文本分段模型后训练所述文本摘要抽取模型的顺序对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，包括：
利用所述分段训练特征向量集对所述文本分段模型进行第一训练，利用所述第一训练得到的文本分段模型对所述摘要训练特征向量集进行段落标记，得到包含段落特征的摘要训练特征向量集；
利用所述包含段落特征的摘要训练特征向量集对所述文本摘要抽取模型进行第二训练，利用所述第二训练得到的摘要抽取模型对所述分段训练特征向量集进行摘要概率预测，得到包含摘要特征的分段训练特征向量集；
不断重复利用所述第二训练得到的摘要抽取模型生成的包含摘要特征的分段训练特征向量集执行所述第一训练，以及利用所述第一训练得到的文本分段模型生成的包含段落特征的摘要训练特征向量集执行所述第二训练，直至达到预设训练结束条件，停止所述第一训练和所述第二训练。
本实施例中，第一训练是指对文本分段模型进行训练，第二训练是指对文本摘要抽取模型进行训练。
例如，第一轮训练先用分段训练特征向量集训练文本分段模型，训练之后，再将摘要训练特征向量集输入到此时训练得到的训练文本分段模型，得到含有分段特征信息的摘要训练特征向量集，再用含有分段特征信息的摘要训练特征向量集对摘要抽取模型进行训练；再将分段训练特征向量集输入到第一轮训练得到的摘要抽取模型中，得到含有摘要特征的分段训练特征向量集。
第二轮训练时，先用上一轮得到的含有摘要特征的分段训练特征向量集再次训练文本分段模型，再用第二轮训练得到的文本分类模型对上一轮得到的含有分段特征信息的摘要训练特征向量集再次处理，得到新的含有分段特征信息的摘要训练特征向量集，再用该新的含有分段特征信息的摘要训练特征向量集对摘要抽取模型进行第二轮训练，并将当前的分段训练特征向量（含有摘要特征的分段训练特征向量集）训练集输入到第二轮训练得到的摘要抽取模型中，得到新的含有摘要特征的分段训练特征向量集。
以此类推，每轮训练时，先用上一轮得到的含有摘要特征的分段训练特征向量集训练文本分段模型，再用最新的训练得到的文本分类模型对上一轮得到的含有分段特征信息的摘要训练特征向量集进行处理，得到新的含有分段特征信息的摘要训练特征向量集，再用该新的含有分段特征信息的摘要训练特征向量集对摘要抽取模型进行第二训练，并将当前的含有摘要特征的分段训练特征向量训练集输入到当前训练得到的摘要抽取模型中，得到新的含有摘要特征的分段训练特征向量集。以此类推进行交替训练，预设训练结束条件可以为文本分段模型的分段结果达到稳定，或者训练达到预设的训练轮次。
在本发明实施例中，在训练过程中，由于分段的结果可能对摘要提取产生影响，因此先训练文本分段模型再训练文本摘要抽取模型，直到文本分段模型达到稳定时停止训练，得到最优的文本分段模型和文本摘要抽取模型。并且，在发明实施例的训练过程中，根据分段和摘要之间存在的相关关系，不断利用一个模型的输出结果为另一个模型的训练提供特征信息，可以得到更准确的训练结果。
本发明实施例中，在获取到训练数据集之后，对所述训练数据集进行预处理，得到训练特征向量集；获取预构建的文本分段模型和文本摘要抽取模型；利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用所述文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用所述文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理，得到标准文本分段模型和标准摘要抽取模型。通过对文本分段模型和文本摘要模型进行交叉训练，不断的用一模型的训练结果增强另一模型的训练数据，使文本分段模型和文本摘要抽取模型能够不断相互促进，有利于提高文本分段能力的泛化能力，并且使摘要模型在训练过程中能依据分段信息进行摘要抽取，即使得摘要模型在训练过程中考虑上下文内容进行摘要抽取，有利于提高摘要抽取模型的准确性。因此，本发明实施例可以解决文本分段模型和摘要抽取模型不准确的问题，提高训练得到的文本分段模型和摘要抽取模型的准确性，进而有利于提高文本分段和摘要抽取的准确性。
图2为本申请实施例提供的一种文本分段方法的流程示意图。在本实施例中，所述文本分段方法包括：
S21、获取待处理文本。
本实施例中，所述待处理文本可以为任意渠道获取的，例如，待处理文本为用户输入的，或者是数据库中获取的。
所述待处理文本的类型可以为中文类型，或者为英文类型等。
所述待处理文本可以为需要进行分段的段落文本，该段落文本包括多个句子。
S22、将所述待处理文本输入至标准文本分段模型进行文本分段，得到文本分段结果。
本实施例中，所述标准文本分段模型是采用前述方法实施例所述的模型训练方法进行训练得到的。
本实施例中，可以先对待处理文本进行单句划分处理，即将待处理文本划分为单句，再利用标准文本分段模型识别待处理文本中单句是否为段落边界，根据该识别结果确定待处理文本的分段结果。
本实施例中，由于标准文本分段模型是采用前述方法实施例所述的模型训练方法进行训练得到的，因此通过该标准文本分段模型可以对待处理文本进行准确地段落划分，得到精准的分段结果。
图3为本申请实施例提供的一种摘要抽取方法的流程示意图。在本实施例中，所述摘要抽取方法包括：
S31、获取待处理文本。
本实施例中，所述待处理文本可以为任意渠道获取的，例如，待处理文本为用户输入的，或者是数据库中获取的。
所述待处理文本的类型可以为中文类型，或者为英文类型等。
所述待处理文本可以为需要进行摘要抽取的段落文本，该段落文本包括多个句子。
S32、将所述待处理文本输入至标准文本摘要抽取模型进行摘要抽取，得到摘要抽取结果。
本实施例中，所述标准文本摘要抽取模型是采用前述方法实施例所述的模型训练方法进行训练得到的。
本实施例中，可以先对待处理文本进行单句划分处理，即将待处理文本划分为单句，再利用标准文本摘要抽取模型识别待处理文本中单句是否为摘要句，根据该识别结果确定待处理文本的摘要抽取结果。
本实施例中，由于标准文本摘要抽取模型是采用前述方法实施例所述的模型训练方法进行训练得到的，因此通过该标准文本摘要抽取模型可以对待处理文本进行准确地摘要句识别，得到精准的摘要抽取结果。
如图4所示，本申请实施例提供了一种模型训练装置40的模块示意图，所述模型训练装置40，包括：训练数据获取模块41、模型获取模块42和模型训练模块43。
所述训练数据获取模块41，用于获取训练数据集，对所述训练数据集进行预处理，得到训练特征向量集；
所述模型获取模块42，用于获取预构建的文本分段模型和文本摘要抽取模型；
所述模型训练模块43，用于利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用所述文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用所述文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理，得到标准文本分段模型和标准摘要抽取模型。
详细地，本申请实施例中所述模型训练装置40中的各模块在使用时采用与上述的图1中所述的模型训练方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，本申请实施例提供了一种文本分段装置50的模块示意图，所述文本分段装置50，包括：分段文本获取模块51和文本分段模块52。
所述分段文本获取模块51，用于获取待处理文本；
所述文本分段模块52，用于将所述待处理文本输入至标准文本分段模型进行文本分段，得到文本分段结果，其中，所述标准文本分段模型是采用前述方法实施例所述的模型训练装置进行训练得到的。
详细地，本申请实施例中所述文本分段装置50中的各模块在使用时采用与上述的图2中所述的文本分段方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图6所示，本申请实施例提供了一种摘要抽取装置60的模块示意图，所述摘要抽取装置60，包括：摘要文本获取模块61和摘要抽取模块62。
所述摘要文本获取模块61，用于获取待处理文本；
所述摘要抽取模块62，用于将所述待处理文本输入至标准文本摘要抽取模型进行摘要抽取，得到摘要抽取结果，其中，所述标准文本摘要抽取模型是采用前述方法实施例所述的模型训练装置进行训练得到的。
详细地，本申请实施例中所述摘要抽取装置60中的各模块在使用时采用与上述的图3中所述的摘要抽取方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图7所示，本申请实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111、通信接口112、存储器113通过通信总线114完成相互间的通信。
存储器113，用于存放计算机程序。
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的模型训练方法，或实现前述任意一个方法实施例提供的文本分段方法，或实现前述任意一个方法实施例摘要抽取方法。
所述模型训练方法包括：
获取训练数据集，对所述训练数据集进行预处理，得到训练特征向量集；
获取预构建的文本分段模型和文本摘要抽取模型；
利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用所述文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用所述文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理，得到标准文本分段模型和标准摘要抽取模型。
所述文本分段方法包括：
获取待处理文本；
将所述待处理文本输入至标准文本分段模型进行文本分段，得到文本分段结果，其中，所述标准文本分段模型是采用如前述任意一个方法实施例所述的模型训练方法进行训练得到的。
所述摘要抽取方法包括：
获取待处理文本；
将所述待处理文本输入至标准文本摘要抽取模型进行摘要抽取，得到摘要抽取结果，其中，所述标准文本摘要抽取模型是采用如前述任意一个方法实施例所述的模型训练方法进行训练得到的。
上述通信总线114可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线114可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口112用于上述电子设备与其他设备之间的通信。
存储器113可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器113还可以是至少一个位于远离前述处理器111的存储装置。
上述的处理器111可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的模型训练方法的步骤，或实现如前述任意一个方法实施例提供的文本分段方法的步骤，或实现如前述任意一个方法实施例提供的摘要抽取方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种模型训练方法，其特征在于，所述方法包括：
获取训练数据集，对所述训练数据集进行预处理，得到训练特征向量集；
获取预构建的文本分段模型和文本摘要抽取模型；
利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用所述文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用所述文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理，得到标准文本分段模型和标准文本摘要抽取模型；
其中，所述利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，包括：
利用所述训练特征向量集按照先训练所述文本分段模型后训练所述文本摘要抽取模型的顺序对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练；
其中，所述训练特征向量集包括分段训练特征向量集和摘要训练特征向量集，所述利用所述训练特征向量集按照先训练所述文本分段模型后训练所述文本摘要抽取模型的顺序对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，包括：
利用所述分段训练特征向量集对所述文本分段模型进行第一训练，利用所述第一训练得到的文本分段模型对所述摘要训练特征向量集进行段落标记，得到包含段落特征的摘要训练特征向量集；
利用所述包含段落特征的摘要训练特征向量集对所述文本摘要抽取模型进行第二训练，利用所述第二训练得到的摘要抽取模型对所述分段训练特征向量集进行摘要概率预测，得到包含摘要特征的分段训练特征向量集；
不断重复利用所述第二训练得到的摘要抽取模型生成的包含摘要特征的分段训练特征向量集执行所述第一训练，以及利用所述第一训练得到的文本分段模型生成的包含段落特征的摘要训练特征向量集执行所述第二训练，直至达到预设训练结束条件，停止所述第一训练和所述第二训练。
2.如权利要求1所述的方法，其特征在于，所述对所述训练数据集进行预处理，得到训练特征向量集，包括：
对所述训练数据集中段落训练数据进行分句，得到训练单句集；
将所述训练单句集输入至特征提取编码器，得到训练单句特征集；
获取所述训练单句集中单句的段落位置特征和摘要位置特征；
从所述训练单句特征集中获取单句的单句特征，将所述单句的单句特征和段落位置特征组合输入预训练模型，得到分段训练特征向量集，将所述单句的单句特征和摘要位置特征组合输入所述预训练模型，得到摘要训练特征向量集；
将所述分段训练特征向量集和所述摘要训练特征向量集汇总为所述训练特征向量集。
3.如权利要求1所述的方法，其特征在于，所述获取训练数据集，包括：
获取公开数据集作为训练数据集。
4.一种文本分段方法，其特征在于，所述方法包括：
获取待处理文本；
将所述待处理文本输入至标准文本分段模型进行文本分段，得到文本分段结果，其中，所述标准文本分段模型是采用如权利要求1至3中任一项所述的模型训练方法进行训练得到的。
5.一种摘要抽取方法，其特征在于，所述方法包括：
获取待处理文本；
将所述待处理文本输入至标准文本摘要抽取模型进行摘要抽取，得到摘要抽取结果，其中，所述标准文本摘要抽取模型是采用如权利要求1至3中任一项所述的模型训练方法进行训练得到的。
6.一种模型训练装置，其特征在于，所述装置包括：
训练数据获取模块，用于获取训练数据集，对所述训练数据集进行预处理，得到训练特征向量集；
模型获取模块，用于获取预构建的文本分段模型和文本摘要抽取模型；
模型训练模块，用于利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，在每轮交替训练过程中利用所述文本分段模型的模型训练结果对用于训练文本摘要抽取模型的数据进行处理，以及利用所述文本摘要抽取模型的模型训练结果对用于训练文本分段模型的数据进行处理，得到标准文本分段模型和标准文本摘要抽取模型；
其中，所述利用所述训练特征向量集对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，包括：
利用所述训练特征向量集按照先训练所述文本分段模型后训练所述文本摘要抽取模型的顺序对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练；
其中，所述训练特征向量集包括分段训练特征向量集和摘要训练特征向量集，所述利用所述训练特征向量集按照先训练所述文本分段模型后训练所述文本摘要抽取模型的顺序对所述文本分段模型和所述文本摘要抽取模型进行多轮交替训练，包括：
利用所述分段训练特征向量集对所述文本分段模型进行第一训练，利用所述第一训练得到的文本分段模型对所述摘要训练特征向量集进行段落标记，得到包含段落特征的摘要训练特征向量集；
利用所述包含段落特征的摘要训练特征向量集对所述文本摘要抽取模型进行第二训练，利用所述第二训练得到的摘要抽取模型对所述分段训练特征向量集进行摘要概率预测，得到包含摘要特征的分段训练特征向量集；
不断重复利用所述第二训练得到的摘要抽取模型生成的包含摘要特征的分段训练特征向量集执行所述第一训练，以及利用所述第一训练得到的文本分段模型生成的包含段落特征的摘要训练特征向量集执行所述第二训练，直至达到预设训练结束条件，停止所述第一训练和所述第二训练。
7.一种文本分段装置，其特征在于，所述装置包括：
分段文本获取模块，用于获取待处理文本；
文本分段模块，用于将所述待处理文本输入至标准文本分段模型进行文本分段，得到文本分段结果，其中，所述标准文本分段模型是采用如权利要求6所述的模型训练装置进行训练得到的。
8.一种摘要抽取装置，其特征在于，所述装置包括：
摘要文本获取模块，用于获取待处理文本；
摘要抽取模块，用于将所述待处理文本输入至标准文本摘要抽取模型进行摘要抽取，得到摘要抽取结果，其中，所述标准文本摘要抽取模型是采用如权利要求6所述的模型训练装置进行训练得到的。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1至3中任意一项所述的模型训练方法的步骤，或实现权利要求4所述的文本分段方法的步骤，或实现权利要求5所述的摘要抽取方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任意一项所述的模型训练方法的步骤，或实现权利要求4所述的文本分段方法的步骤，或实现权利要求5所述的摘要抽取方法的步骤。
CN202110747227.2A 2021-07-02 2021-07-02 模型训练方法、文本分段方法、摘要抽取方法及装置 Active CN113255319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110747227.2A CN113255319B (zh) 2021-07-02 2021-07-02 模型训练方法、文本分段方法、摘要抽取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110747227.2A CN113255319B (zh) 2021-07-02 2021-07-02 模型训练方法、文本分段方法、摘要抽取方法及装置

Publications (2)

Publication Number Publication Date
CN113255319A CN113255319A (zh) 2021-08-13
CN113255319B true CN113255319B (zh) 2021-10-26

Family

ID=77190485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110747227.2A Active CN113255319B (zh) 2021-07-02 2021-07-02 模型训练方法、文本分段方法、摘要抽取方法及装置

Country Status (1)

Country Link
CN (1) CN113255319B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861640A (zh) * 2022-04-11 2022-08-05 阿里巴巴（中国）有限公司 文本摘要模型的训练方法及装置
CN114817469B (zh) * 2022-04-27 2023-08-08 马上消费金融股份有限公司 文本增强方法、文本增强模型的训练方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657054A (zh) * 2018-12-13 2019-04-19 北京百度网讯科技有限公司 摘要生成方法、装置、服务器及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291561B (zh) * 2018-12-07 2023-04-18 阿里巴巴集团控股有限公司 文本识别方法、装置和系统
CN111639175B (zh) * 2020-05-29 2023-05-02 电子科技大学 一种自监督的对话文本摘要方法及系统
CN112182224A (zh) * 2020-10-12 2021-01-05 深圳壹账通智能科技有限公司 裁判文书摘要生成方法、装置、电子设备及可读存储介质
CN112580488B (zh) * 2020-12-15 2023-12-22 深圳大学 一种基于自启发的人体姿态估计模型训练方法及装置
CN113033163B (zh) * 2021-03-24 2024-08-06 北京搜狗科技发展有限公司 一种数据处理方法、装置和电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657054A (zh) * 2018-12-13 2019-04-19 北京百度网讯科技有限公司 摘要生成方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN113255319A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
WO2023060795A1 (zh) 关键词自动提取方法、装置、设备及存储介质
CN106951422B (zh) 网页训练的方法和装置、搜索意图识别的方法和装置
WO2022095374A1 (zh) 关键词抽取方法、装置、终端设备及存储介质
CN109635157B (zh) 模型生成方法、视频搜索方法、装置、终端及存储介质
CN111753086A (zh) 一种垃圾邮件识别方法和装置
CN113255319B (zh) 模型训练方法、文本分段方法、摘要抽取方法及装置
CN110807086B (zh) 文本数据标注方法及装置、存储介质、电子设备
CN113420122B (zh) 分析文本的方法、装置、设备及存储介质
CN113158656B (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN109086265A (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN113204956B (zh) 多模型训练方法、摘要分段方法、文本分段方法及装置
CN113590810A (zh) 摘要生成模型训练方法、摘要生成方法、装置及电子设备
CN112328655A (zh) 文本标签挖掘方法、装置、设备及存储介质
CN114218945A (zh) 实体识别方法、装置、服务器及存储介质
CN111984867A (zh) 一种网络资源确定方法及装置
WO2022143608A1 (zh) 语言标注方法、装置、计算机设备和存储介质
CN112905753A (zh) 一种判别文本信息的方法和装置
CN112732863B (zh) 电子病历标准化切分方法
CN116798417B (zh) 语音意图识别方法、装置、电子设备及存储介质
CN115659969B (zh) 文档标注方法、装置、电子设备及存储介质
CN115952854B (zh) 文本脱敏模型的训练方法、文本脱敏方法及应用
CN113988085B (zh) 文本语义相似度匹配方法、装置、电子设备及存储介质
CN110609997B (zh) 生成文本的摘要的方法和装置
CN115033683B (zh) 摘要生成方法、装置、设备及存储介质
CN113255355B (zh) 文本信息中的实体识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant