CN113705187B - 预训练语言模型的生成方法、装置、电子设备和存储介质 - Google Patents

预训练语言模型的生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113705187B
CN113705187B CN202110931911.6A CN202110931911A CN113705187B CN 113705187 B CN113705187 B CN 113705187B CN 202110931911 A CN202110931911 A CN 202110931911A CN 113705187 B CN113705187 B CN 113705187B
Authority
CN
China
Prior art keywords
training
language model
text information
generate
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110931911.6A
Other languages
English (en)
Other versions
CN113705187A (zh
Inventor
刘同阳
王述
常万里
郑伟
冯知凡
柴春光
朱勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110931911.6A priority Critical patent/CN113705187B/zh
Publication of CN113705187A publication Critical patent/CN113705187A/zh
Priority to US17/864,636 priority patent/US20220350965A1/en
Priority to EP22185752.7A priority patent/EP4113354A3/en
Application granted granted Critical
Publication of CN113705187B publication Critical patent/CN113705187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/137—Hierarchical processing, e.g. outlines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本公开提供了一种预训练语言模型的生成方法、装置、电子设备和存储介质，涉及计算机技术领域，具体涉及自然语言处理、知识图谱和深度学习等人工智能技术领域。具体实现方案为：获取样本文档；对样本文档进行解析，以获取样本文档的排版结构信息和文字信息；获取预训练语言模型的多个任务模型；根据排版结构信息和文字信息对预训练语言模型和多个任务模型进行联合训练，以生成训练之后的预训练语言模型；以及根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型。由此，目标预训练语言模型可以快速的进行任务及领域迁移，极大的降低了文档内容理解的成本。

Description

预训练语言模型的生成方法、装置、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，具体涉及自然语言处理、知识图谱和深度学习等人工智能技术领域，尤其涉及一种预训练语言模型的生成方法、装置、电子设备和存储介质。
背景技术
文档是法律、金融和医疗等行业许多业务中最重要的部分。作为信息的承载工具，文档根据不同的用途，使用不同的排版布局编写。
文档智能理解包括了文档语义表征、文档分类、知识要素抽取和文档语义标签理解等关键任务。
目前，自然语言处理(Natural Language Processing，简称“NLP”)的预训练语言模型在多种语言中证明了自己强悍的生命力，在工业界得到了广泛应用。近期，利用视觉信息进行多模态预训练模型的研究也引起了人们的关注。
发明内容
本公开提供了一种预训练语言模型的生成方法、装置、电子设备和存储介质。
根据本公开的一方面，提供了一种预训练语言模型的生成方法，包括：
获取样本文档；
对所述样本文档进行解析，以获取所述样本文档的排版结构信息和文字信息；
获取预训练语言模型的多个任务模型；
根据所述排版结构信息和所述文字信息对所述预训练语言模型和所述多个任务模型进行联合训练，以生成训练之后的所述预训练语言模型；以及
根据所述排版结构信息和所述文字信息对训练之后的所述预训练语言模型进行微调训练，以生成目标预训练语言模型。
根据本公开的另一方面，提供了一种预训练语言模型的生成装置，包括：
第一获取模块，用于获取样本文档；
解析模块，用于对所述样本文档进行解析，以获取所述样本文档的排版结构信息和文字信息；
第二获取模块，用于获取预训练语言模型的多个任务模型；
联合训练模块，用于根据所述排版结构信息和所述文字信息对所述预训练语言模型和所述多个任务模型进行联合训练，以生成训练之后的所述预训练语言模型；以及
微调训练模块，用于根据所述排版结构信息和所述文字信息对训练之后的所述预训练语言模型进行微调训练，以生成目标预训练语言模型。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的预训练语言模型的生成方法。
根据本公开另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述一方面实施例所述的预训练语言模型的生成方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述一方面实施例所述的预训练语言模型的生成方法的步骤。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例提供的一种预训练语言模型的生成方法的流程示意图；
图2为本公开实施例提供的另一种预训练语言模型的生成方法的流程示意图；
图3为本公开实施例提供的另一种预训练语言模型的生成方法的流程示意图；
图4为本公开实施例提供的另一种预训练语言模型的生成方法的流程示意图；
图5为本公开实施例提供的另一种预训练语言模型的生成方法的流程示意图；
图6为本公开具体实施例提供的预训练语言模型的生成方法的示意图；
图7为本公开实施例提供的另一种预训练语言模型的生成方法的流程示意图；
图8为本公开实施例提供的一种预训练语言模型的生成装置的结构示意图；以及
图9为本公开实施例的预训练语言模型的生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的预训练语言模型的生成方法、装置、电子设备和存储介质。
人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术领域也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及深度学习、大数据处理技术、知识图谱技术等几大方向。
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
知识图谱(Knowledge Graph)，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。其中，知识图谱，是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。
深度学习是机器学习领域中一个新的研究方向。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
本公开实施例提供的预训练语言模型的生成方法，可以由电子设备来执行，该电子设备可为PC(Personal Computer，个人计算机)电脑、平板电脑或掌上电脑、手机或服务器等，此处不做任何限定。
在本公开实施例中，电子设备中可以设置有处理组件、存储组件和驱动组件。可选的，该驱动组件和处理组件可以集成设置，该存储组件可以存储操作系统、应用程序或其他程序模块，该处理组件通过执行存储组件中存储的应用程序来实现本公开实施例提供的预训练语言模型的生成方法。
图1为本公开实施例提供的一种预训练语言模型的生成方法的流程示意图。
本公开实施例的预训练语言模型的生成方法，还可由本公开实施例提供的预训练语言模型的生成装置执行，该装置可配置于电子设备中，以实现获取样本文档，并对样本文档进行解析，以获取样本文档的排版结构信息和文字信息，而后获取预训练语言模型的多个任务模型，并根据排版结构信息和文字信息对预训练语言模型和多个任务模型进行联合训练，以生成训练之后的预训练语言模型，以及根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型，从而使得目标预训练语言模型可以快速的进行任务及领域迁移，极大的降低了文档内容理解的成本。
作为一种可能的情况，本公开实施例的预训练语言模型的生成方法还可以在服务器端执行，服务器可以为云服务器，可以在云端执行该视觉定位方法。
如图1所示，该预训练语言模型的生成方法，可包括：
步骤101，获取样本文档。其中，样本文档可为多个。
需要说明的是，该实施例中所描述的样本文档可为带有结构信息的非结构化文本，其中，该样本文档的类型可包括不但限于为.doc、.excel、.ppt、.pdf、.md、.html、.txt、.jpg和.png等类型。其中，该样本文档可以为中文文本。
在本公开实施例中，获取样本文档的途径可有多条，其中，可以由相关人员直接进行编写，或者可以从网络上进行截取，再或者可以将一些行业的业务文档作为样本文档，此处不做任何限定。
需要说明的是，当相关人员获取到样本文档之后，可将该样本文档传输至电子设备的存储空间中，以便于后续使用该样本文档。其中，该存储空间不仅限于基于实体的存储空间，例如，硬盘，该存储空间还可以是连接电子设备的网络硬盘的存储空间(云存储空间)。
在本公开实施例中，待训练的预训练语言模型可以是相关人员预先准备好的，并将其预先存储在电子设备的存储空间中，以便后续的使用。
具体地，电子设备(例如，电脑)可直接从自身的存储空间中获取样本文档，并获取待训练的预训练语言模型。
步骤102，对样本文档进行解析，以获取样本文档的排版结构信息和文字信息。
在本公开实施例中，可根据预设的解析算法对样本文档进行解析，以获取样本文档的排版结构信息和文字信息。其中，预设的解析算法可根据实际情况进行标定。
具体地，电子设备在获取到样本文档和待训练的预训练语言模型之后，可根据预设的解析算法对样本文档进行解析，以获取样本文档的排版结构信息和文字信息。
作为一种可能的情况，还可根据解析模型对样本文档进行解析，以获取样本文档的排版结构信息和文字信息。应说明的是，该实施例中所描述的解析模型可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便调取应用。
其中，该解析模型的训练与生成均可由相关的训练服务器执行，该训练服务器可以是云端服务器，也可以是一台电脑的主机，该训练服务器与可执行本公开实施例提供的预训练语言模型的生成方法的电子设备之间，建立有通信连接，该通信连接可以是无线网络连接和有线网络连接的至少一种。该训练服务器可将训练完成的解析模型发送给该电子设备，以便该电子设备在需要时调用，从而大大减少该电子设备的计算压力。
具体地，电子设备在获取到样本文档和待训练的预训练语言模型之后，可从自身的存储空间中调出解析模型，并将该样本文档输入至该解析模型，从而通过该解析模型解析该样本文档，以得到该解析模型输出的该样本文档的排版结构信息和文字信息。
作为另一种可能的情况，电子设备还可使用文档解析工具(例如，插件)，对样本文档进行解析，以获取样本文档的排版结构信息和文字信息。
需要说明的是，上述实施例中所描述的排版结构信息可包括但不限于以下9种：标题、子标题、段落、页眉、页脚、摘要、批注、表格块和图像块。
步骤103，获取预训练语言模型的多个任务模型。
在本公开实施例中，多个任务模型也可以是相关人员预先准备好的，并将其预先存储在电子设备的存储空间中，以便后续的使用。
需要说明的是，上述实施例中所描述的预训练语言模型可包含上述的多个任务模型，即该多个任务模型可为该预训练语言模型之中的多个子模型。
步骤104，根据排版结构信息和文字信息对预训练语言模型和多个任务模型进行联合训练，以生成训练之后的预训练语言模型。
需要说明的是，该实施例中所描述的联合训练可包括同时对预训练语言模型和多个任务模型进行联合训练。
步骤105，根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型。
具体地，电子设备在获取到上述的样本文档的排版结构信息和文字信息之后，还可从自身的存储空间中获取多个任务模型。然后该电子设备，可先将该样本文档的排版结构信息和文字信息分别输入至该多个任务模型，并根据该多个任务模型生成(输出)的损失值对上述的预训练语言模型进行训练，以生成训练之后的预训练语言模型。而后为了提高训练之后的预训练语言模型的精确度，该电子设备还可根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型，其中，由于经过上述训练之后的预训练语言模型可为排版结构感知的预训练模型，其中，排版结构自身包含了丰富的语义信息，这个信息的引入有助于微调训练，所以微调训练时所需的数据量远少于正常的预训练语言模型。
在本公开实施例中，首先获取样本文档，并对样本文档进行解析，以获取样本文档的排版结构信息和文字信息，然后获取预训练语言模型的多个任务模型，并根据排版结构信息和文字信息对预训练语言模型和多个任务模型进行联合训练，以生成训练之后的预训练语言模型，最后根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型。由此，目标预训练语言模型可以快速的进行任务及领域迁移，极大的降低了文档内容理解的成本。
为了清楚说明上一实施例，在本公开的一个实施例中，多个任务模型可包括第一预测模型、掩码语言模型和第二预测模型，如图2所示，根据排版结构信息和文字信息对预训练语言模型和多个任务模型进行联合训练，以生成训练之后的预训练语言模型，可包括：
步骤201，将排版结构信息和文字信息分别输入至第一预测模型、掩码语言模型和第二预测模型。
需要说明的是，该实施例中所描述的第一预测模型、掩码语言模型和第二预测模型均可以是提前训练好的。其中，第一预测模型可为下一句预测模型，第二预测模型可为排版结构预测模型。
步骤202，通过第一预测模型对排版结构信息和文字信息进行处理，以生成第一损失值。
步骤203，通过掩码语言模型对排版结构信息和文字信息进行处理，以生成第二损失值。
步骤204，通过第二预测模型对排版结构信息和文字信息进行处理，以生成第三损失值。
具体地，电子设备在获取到上述的样本文档的排版结构信息和文字信息之后，还可从自身的存储空间中获取(调出)第一预测模型、掩码语言模型和第二预测模型。然后该电子设备可将该排版结构信息和该文字信息分别输入至该第一预测模型、该掩码语言模型和给第二预测模型，从而通过第一预测模型对排版结构信息和文字信息进行处理，以生成第一损失值，并通过掩码语言模型对排版结构信息和文字信息进行处理，以生成第二损失值，以及通过第二预测模型对排版结构信息和文字信息进行处理，以生成第三损失值。
需要说明的是，该实施例中所描述的第一预测模型、掩码语言模型和第二预测模型可同时对排版结构信息和文字信息进行处理，即第一预测模型、掩码语言模型和第二预测模型的训练不分前后。
步骤205，根据第一损失值、第二损失值和第三损失值生成目标损失值，并根据目标损失值对预训练语言模型进行训练，以生成训练之后的预训练语言模型。
具体地，电子设备在得到第一损失值、第二损失值和第三损失值之后，可将第一损失值、第二损失值和第三损失值相加以生成目标损失值，然后根据目标损失值对预训练语言模型进行训练，以生成训练之后的预训练语言模型。由此，能够规避单任务训练模型的弊端，从而提高预训练语言模型的准确度。
为了清楚说明上一实施例，在本公开的一个实施例中，如图3所示，通过第一预测模型对排版结构信息和文字信息进行处理，以生成第一损失值，可包括：
步骤301，通过第一预测模型，将文字信息中的句子按照第一预设比例打乱，以生成乱序文字信息。其中，第一预设比例可根据实际情况进行标定。
在本公开实施例中，可根据预设的打乱策略将文字信息中的句子按照第一预设比例打乱，以生成乱序文字信息。其中，预设的打乱策略可根据实际情况进行标定。
具体地，第一预测模型可在接收到上述的排版结构信息和文字信息之后，可根据预设的打乱策略将文字信息中的句子按照第一预设比例打乱，以生成乱序文字信息。
步骤302，将文字信息中的句子作为第一标签。
需要说明的是，该实施例中的第一标签可包括文字信息中的句子的顺序信息，即句子的正确顺序。
步骤303，根据第一标签和排版结构信息对乱序文字信息中的句子进行下一句预测，以生成第一损失值。
具体地，第一预测模型可使用自身任务学习排版结构的语义表征，并根据第一标签和排版结构信息对乱序文字信息中的句子进行下一句预测，以生成第一损失值，其中，第一预测模型可预测样本文档的排版结构是否正确，以及当前预测句子的下一个句子是否为真正的下一句话。由此，通过该第一损失值对预训练语言模型进行训练，可丰富预训练语言模型对序列间排版结构的感知。
在本公开的一个实施例中，如图4所示，通过掩码语言模型对排版结构信息和文字信息进行处理，以生成第二损失值，可包括：
步骤401，通过掩码语言模型，获取文字信息中的句子，并将句子中的字按照第二预设比例进行破坏。其中，句子可为多个，第二预设比例可根据实际情况进行标定。
具体地，掩码语言模型可在接收到上述的排版结构信息和文字信息之后，先对文字信息进行解析，以获取该文字信息中的句子，然后根据预设的破坏策略将该句子中的字按照第二预设比例进行破坏。
需要说明的是，该预设的破坏策略可包括随机掩码、替换等破坏方式。
步骤402，将句子中被破坏的字作为第二标签。
需要说明的是，该实施例中的第二标签可包括句子中被破坏的字的位置信息，即句子中被破坏的字的位置。
步骤403，根据第二标签和排版结构信息对句子中被破坏的字进行预测，以生成第二损失值。
具体地，掩码语言模型可根据第二标签和排版结构信息，并使用句子中上下文的语义信息(向量)，对该句子中被破坏的字进行预测，以生成第二损失值。由此，通过该第二损失值对预训练语言模型进行的训练可遵照语言的连贯性特点，使每个字学习到其对应的语义表征，从而提高预训练语言模型的准确度。
在本公开的一个实施例中，如图5所示，通过第二预测模型对排版结构信息和文字信息进行处理，以生成第三损失值，可包括：
步骤501，通过第二预测模型，将排版结构信息作为第三标签。
需要说明的是，该实施例中所描述的第三标签可包括排版结构的位置信息，例如，标题、子标题、段落、页眉、页脚、摘要、批注、表格块和图像块等排版结构在文档中的位置。
步骤502，根据第三标签对文字信息中的每个字进行排版结构预测，以生成第三损失值。
具体地，第二预测模型可在接收到上述的排版结构信息和文字信息之后，可将排版结构信息作为第三标签，并根据第三标签对文字信息中的每个字进行排版结构预测，例如，将该文字信息中的字的向量(特征向量) 进行多分类预测，有监督的训练模型对于排版结构信息的表征，以生成第三损失值。由此，通过该第三损失值对预训练语言模型进行训练，能够有监督的训练预训练语言模型对排版结构信息的表征，从而进一步提高预训练语言模型的准确度。
在本公开实施例中，参见图6，本公开实施例的预训练语言模型的生成方法，首先将样本文档输入至文档解析工具，通过该文档解析工具对该样本文档进行解析，以生成该样本文档的排版结构信息和文字信息，然后可同时通过任务一(下一句预测)、任务二(掩码语言模型进行预测)和任务三(结构化预测)对该排版结构信息和文字信息进行处理，以得到第一损失值、第二损失值和第三损失值，并根据第一损失值、第二损失值和第三损失值生成目标损失值，并根据目标损失值对预训练语言模型进行训练，以生成训练之后的预训练语言模型。由此，训练之后的预训练语言模型的优势是不仅没有输入长度的限制，而且编码时融合了排版结构信息，可以快速的进行任务及领域迁移，极大的降低了文档内容理解的成本。
进一步地，在本公开的一个实施例中，如图7所示，根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型，可包括：
步骤701，分别对排版结构信息和文字信息进行标定，以生成微调排版结构信息和微调文字信息。
在本公开实施例中，可根据预设的微调训练策略分别对排版结构信息和文字信息进行标定，以生成微调排版结构信息和微调文字信息。其中，预设的微调训练策略可根据实际情况进行标定。
具体地，电子设备在生成训练之后的预训练语言模型之后，可根据预设的微调训练策略分别对排版结构信息和文字信息进行标定，以生成微调排版结构信息和微调文字信息。
需要说明的是，该实施例中所描述的微调排版结构信息中可包含标定的排版结构(标签)，该实施例中所描述的微调文字信息中可包括标定的文字(标签)。
步骤702，根据微调排版结构信息和微调文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型。
具体地，电子设备在生成微调排版结构信息和微调文字信息之后，可将该微调排版结构信息和微调文字信息输入至训练之后的预训练语言模型，以生成预测的结果，并根据预测的结果，以及微调排版结构信息和微调文字信息中的标定信息生成损失值。然后电子设备可根据该损失值对训练之后的预训练语言模型进行微调训练，从而进一步优化训练之后的预训练语言模型，提高输出的准确度。
图8为本公开实施例提供的一种预训练语言模型的生成装置的结构示意图。
本公开实施例的预训练语言模型的生成装置，可配置于电子设备中，以实现获取样本文档，并对样本文档进行解析，以获取样本文档的排版结构信息和文字信息，而后获取预训练语言模型的多个任务模型，并根据排版结构信息和文字信息对预训练语言模型和多个任务模型进行联合训练，以生成训练之后的预训练语言模型，以及根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型，从而使得目标预训练语言模型可以快速的进行任务及领域迁移，极大的降低了文档内容理解的成本。
如图8所示，该预训练语言模型的生成装置800，可包括：第一获取模块810、解析模块820、第二获取模块830、联合训练模块840和微调训练模块850。
其中，第一获取模块810用于获取样本文档。其中，样本文档可为多个。
需要说明的是，该实施例中所描述的样本文档可为带有结构信息的非结构化文本，其中，该样本文档的类型可包括不但限于为.doc、.excel、.ppt、.pdf、.md、.html、.txt、.jpg和.png等类型。其中，该样本文档可以为中文文本。
在本公开实施例中，获取样本文档的途径可有多条，其中，可以由相关人员直接进行编写，或者可以从网络上进行截取，再或者可以将一些行业的业务文档作为样本文档，此处不做任何限定。
需要说明的是，当相关人员获取到样本文档之后，可将该样本文档传输至电子设备的存储空间中，以便于后续使用该样本文档。其中，该存储空间不仅限于基于实体的存储空间，例如，硬盘，该存储空间还可以是连接电子设备的网络硬盘的存储空间(云存储空间)。
在本公开实施例中，待训练的预训练语言模型可以是相关人员预先准备好的，并将其预先存储在电子设备的存储空间中，以便后续的使用。
具体地，第一获取模块810可直接从电子设备的存储空间中获取样本文档，并获取待训练的预训练语言模型。
解析模块820用于对样本文档进行解析，以获取样本文档的排版结构信息和文字信息。
在本公开实施例中，可根据预设的解析算法对样本文档进行解析，以获取样本文档的排版结构信息和文字信息。其中，预设的解析算法可根据实际情况进行标定。
具体地，在第一获取模块810获取到样本文档和待训练的预训练语言模型之后，解析模块820可根据预设的解析算法对样本文档进行解析，以获取样本文档的排版结构信息和文字信息。
作为一种可能的情况，还可根据解析模型对样本文档进行解析，以获取样本文档的排版结构信息和文字信息。应说明的是，该实施例中所描述的解析模型可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便调取应用。
其中，该解析模型的训练与生成均可由相关的训练服务器执行，该训练服务器可以是云端服务器，也可以是一台电脑的主机，该训练服务器与可配置本公开实施例提供的预训练语言模型的生成装置的电子设备之间，建立有通信连接，该通信连接可以是无线网络连接和有线网络连接的至少一种。该训练服务器可将训练完成的解析模型发送给该电子设备，以便该电子设备在需要时调用，从而大大减少该电子设备的计算压力。
具体地，在第一获取模块810获取到样本文档和待训练的预训练语言模型之后，解析模块820可从电子设备的存储空间中调出解析模型，并将该样本文档输入至该解析模型，从而通过该解析模型解析该样本文档，以得到该解析模型输出的该样本文档的排版结构信息和文字信息。
作为另一种可能的情况，解析模块820还可使用文档解析工具(例如，插件)，对样本文档进行解析，以获取样本文档的排版结构信息和文字信息。
需要说明的是，上述实施例中所描述的排版结构信息可包括但不限于以下9种：标题、子标题、段落、页眉、页脚、摘要、批注、表格块和图像块。
第二获取模块830用于获取预训练语言模型的多个任务模型。
在本公开实施例中，多个任务模型也可以是相关人员预先准备好的，并将其预先存储在电子设备的存储空间中，以便后续的使用。
联合训练模块840用于根据排版结构信息和文字信息对预训练语言模型和多个任务模型进行联合训练，以生成训练之后的预训练语言模型。
需要说明的是，该实施例中所描述的联合训练可包括同时对预训练语言模型和多个任务模型进行联合训练。
微调训练模块850用于根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型。
具体地，在解析模块820获取到上述的样本文档的排版结构信息和文字信息之后，第二获取模块830可从电子设备的存储空间中获取多个任务模型。然后联合训练模块840可先将该样本文档的排版结构信息和文字信息分别输入至该多个任务模型，并根据该多个任务模型生成(输出)的损失值对上述的预训练语言模型进行训练，以生成训练之后的预训练语言模型。而后为了提高训练之后的预训练语言模型的精确度，微调训练模块850 还可根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型，其中，由于经过上述训练之后的预训练语言模型可为排版结构感知的预训练模型，其中，排版结构自身包含了丰富的语义信息，这个信息的引入有助于微调训练，所以微调训练时所需的数据量远少于正常的预训练语言模型。
在本公开实施例中，首先通过第一获取模块获取样本文档，然后通过解析模块对样本文档进行解析，以获取样本文档的排版结构信息和文字信息，并通过第二获取模块获取预训练语言模型的多个任务模型，以及通过联合训练模块根据排版结构信息和文字信息对预训练语言模型和多个任务模型进行联合训练，以生成训练之后的预训练语言模型，最后通过微调训练模块根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型。由此，目标预训练语言模型可以快速的进行任务及领域迁移，极大的降低了文档内容理解的成本。
在本公开的一个实施例中，多个任务模型包括第一预测模型、掩码语言模型和第二预测模型，如图8所示，联合训练模块840可包括：输入单元841、第一生成单元842、第二生成单元843、第三生成单元844、训练单元845。
其中，输入单元841用于将排版结构信息和文字信息分别输入至第一预测模型、掩码语言模型和第二预测模型。
第一生成单元842用于通过第一预测模型对排版结构信息和文字信息进行处理，以生成第一损失值。
第二生成单元843用于通过掩码语言模型对排版结构信息和文字信息进行处理，以生成第二损失值。
第三生成单元844用于通过第二预测模型对排版结构信息和文字信息进行处理，以生成第三损失值。
训练单元845用于根据第一损失值、第二损失值和第三损失值生成目标损失值，并根据目标损失值对预训练语言模型进行训练，以生成训练之后的预训练语言模型。
在本公开的一个实施例中，第一生成单元842具体用于：通过第一预测模型，将文字信息中的句子按照第一预设比例打乱，以生成乱序文字信息；将文字信息中的句子作为第一标签；根据第一标签和排版结构信息对乱序文字信息中的句子进行下一句预测，以生成第一损失值。
在本公开的一个实施例中，第二生成单元843具体用于：通过掩码语言模型，获取文字信息中的句子，并将句子中的字按照第二预设比例进行破坏；将句子中被破坏的字作为第二标签；根据第二标签和排版结构信息对句子中被破坏的字进行预测，以生成第二损失值。
在本公开的一个实施例中，第三生成单元844具体用于：通过第二预测模型，将排版结构信息作为第三标签；根据第三标签对文字信息中的每个字进行排版结构预测，以生成第三损失值。
在本公开的一个实施例中，微调训练模块850具体用于：分别对排版结构信息和文字信息进行标定，以生成微调排版结构信息和微调文字信息；根据微调排版结构信息和微调文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型。
需要说明的是，前述对预训练语言模型的生成方法实施例的解释说明也适用于该实施例的预训练语言模型的生成装置，此处不再赘述。
本公开实施例的预训练语言模型的生成装置，首先通过第一获取模块获取样本文档，然后通过解析模块对样本文档进行解析，以获取样本文档的排版结构信息和文字信息，并通过第二获取模块获取预训练语言模型的多个任务模型，以及通过联合训练模块根据排版结构信息和文字信息对预训练语言模型和多个任务模型进行联合训练，以生成训练之后的预训练语言模型，最后通过微调训练模块根据排版结构信息和文字信息对训练之后的预训练语言模型进行微调训练，以生成目标预训练语言模型。由此，目标预训练语言模型可以快速的进行任务及领域迁移，极大的降低了文档内容理解的成本。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在 RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O) 接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如预训练语言模型的生成方法。例如，在一些实施例中，预训练语言模型的生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备 900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的预训练语言模型的生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行预训练语言模型的生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种预训练语言模型的生成方法，包括：
获取样本文档，对所述样本文档进行解析，以获取所述样本文档的排版结构信息和文字信息；
获取预训练语言模型的多个任务模型，所述多个任务模型包括第一预测模型、掩码语言模型和第二预测模型；
将所述排版结构信息和所述文字信息分别输入至所述第一预测模型、所述掩码语言模型和所述第二预测模型；
通过所述第一预测模型对所述排版结构信息和所述文字信息进行处理，以生成第一损失值；
通过所述掩码语言模型对所述排版结构信息和所述文字信息进行处理，以生成第二损失值；
通过所述第二预测模型对所述排版结构信息和所述文字信息进行处理，以生成第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值生成目标损失值，并根据所述目标损失值对所述预训练语言模型进行训练，以生成训练之后的所述预训练语言模型；以及
根据所述排版结构信息和所述文字信息对训练之后的所述预训练语言模型进行微调训练，以生成目标预训练语言模型。
2.根据权利要求1所述的方法，其中，所述通过所述第一预测模型对所述排版结构信息和所述文字信息进行处理，以生成第一损失值，包括：
通过所述第一预测模型，将所述文字信息中的句子按照第一预设比例打乱，以生成乱序文字信息；
将所述文字信息中的句子作为第一标签；
根据所述第一标签和所述排版结构信息对所述乱序文字信息中的句子进行下一句预测，以生成所述第一损失值。
3.根据权利要求1所述的方法，其中，所述通过所述掩码语言模型对所述排版结构信息和所述文字信息进行处理，以生成第二损失值，包括：
通过所述掩码语言模型，获取所述文字信息中的句子，并将所述句子中的字按照第二预设比例进行破坏；
将所述句子中被破坏的字作为第二标签；
根据所述第二标签和所述排版结构信息对所述句子中被破坏的字进行预测，以生成所述第二损失值。
4.根据权利要求1所述的方法，其中，所述通过所述第二预测模型对所述排版结构信息和所述文字信息进行处理，以生成第三损失值，包括：
通过所述第二预测模型，将所述排版结构信息作为第三标签；
根据第三标签对所述文字信息中的每个字进行排版结构预测，以生成所述第三损失值。
5.根据权利要求1所述的方法，其中，所述根据所述排版结构信息和所述文字信息对训练之后的所述预训练语言模型进行微调训练，以生成目标预训练语言模型，包括：
分别对所述排版结构信息和所述文字信息进行标定，以生成微调排版结构信息和微调文字信息；
根据所述微调排版结构信息和所述微调文字信息对训练之后的所述预训练语言模型进行微调训练，以生成所述目标预训练语言模型。
6.一种预训练语言模型的生成装置，包括：
第一获取模块，用于获取样本文档；
解析模块，用于对所述样本文档进行解析，以获取所述样本文档的排版结构信息和文字信息；
第二获取模块，用于获取预训练语言模型的多个任务模型，所述多个任务模型包括第一预测模型、掩码语言模型和第二预测模型；
联合训练模块，包括：
输入单元，用于将所述排版结构信息和所述文字信息分别输入至所述第一预测模型、所述掩码语言模型和所述第二预测模型；
第一生成单元，用于通过所述第一预测模型对所述排版结构信息和所述文字信息进行处理，以生成第一损失值；
第二生成单元，用于通过所述掩码语言模型对所述排版结构信息和所述文字信息进行处理，以生成第二损失值；
第三生成单元，用于通过所述第二预测模型对所述排版结构信息和所述文字信息进行处理，以生成第三损失值；
训练单元，用于根据所述第一损失值、所述第二损失值和所述第三损失值生成目标损失值，并根据所述目标损失值对所述预训练语言模型进行训练，以生成训练之后的所述预训练语言模型；以及
微调训练模块，用于根据所述排版结构信息和所述文字信息对训练之后的所述预训练语言模型进行微调训练，以生成目标预训练语言模型。
7.根据权利要求6所述的装置，其中，所述第一生成单元，具体用于：
通过所述第一预测模型，将所述文字信息中的句子按照第一预设比例打乱，以生成乱序文字信息；
将所述文字信息中的句子作为第一标签；
根据所述第一标签和所述排版结构信息对所述乱序文字信息中的句子进行下一句预测，以生成所述第一损失值。
8.根据权利要求6所述的装置，其中，所述第二生成单元，具体用于：
通过所述掩码语言模型，获取所述文字信息中的句子，并将所述句子中的字按照第二预设比例进行破坏；
将所述句子中被破坏的字作为第二标签；
根据所述第二标签和所述排版结构信息对所述句子中被破坏的字进行预测，以生成所述第二损失值。
9.根据权利要求6所述的装置，其中，所述第三生成单元，具体用于：
通过所述第二预测模型，将所述排版结构信息作为第三标签；
根据第三标签对所述文字信息中的每个字进行排版结构预测，以生成所述第三损失值。
10.根据权利要求6所述的装置，其中，所述微调训练模块，具体用于：
分别对所述排版结构信息和所述文字信息进行标定，以生成微调排版结构信息和微调文字信息；
根据所述微调排版结构信息和所述微调文字信息对训练之后的所述预训练语言模型进行微调训练，以生成所述目标预训练语言模型。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的预训练语言模型的生成方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的预训练语言模型的生成方法。
CN202110931911.6A 2021-08-13 2021-08-13 预训练语言模型的生成方法、装置、电子设备和存储介质 Active CN113705187B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110931911.6A CN113705187B (zh) 2021-08-13 2021-08-13 预训练语言模型的生成方法、装置、电子设备和存储介质
US17/864,636 US20220350965A1 (en) 2021-08-13 2022-07-14 Method for generating pre-trained language model, electronic device and storage medium
EP22185752.7A EP4113354A3 (en) 2021-08-13 2022-07-19 Method and apparatus for generating pre-trained language model, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110931911.6A CN113705187B (zh) 2021-08-13 2021-08-13 预训练语言模型的生成方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113705187A CN113705187A (zh) 2021-11-26
CN113705187B true CN113705187B (zh) 2023-08-01

Family

ID=78652661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110931911.6A Active CN113705187B (zh) 2021-08-13 2021-08-13 预训练语言模型的生成方法、装置、电子设备和存储介质

Country Status (3)

Country Link
US (1) US20220350965A1 (zh)
EP (1) EP4113354A3 (zh)
CN (1) CN113705187B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114023306B (zh) * 2022-01-04 2022-04-12 阿里云计算有限公司 用于预训练语言模型的处理方法和口语语言理解系统
CN114661904B (zh) * 2022-03-10 2023-04-07 北京百度网讯科技有限公司 文档处理模型的训练方法、装置、设备、存储介质及程序
CN116933789A (zh) * 2022-03-29 2023-10-24 华为云计算技术有限公司 一种语言表征模型的训练方法以及训练装置
CN114970522B (zh) * 2022-05-20 2023-11-24 北京百度网讯科技有限公司 语言模型的预训练方法、装置、设备、存储介质
CN115130435B (zh) * 2022-06-27 2023-08-11 北京百度网讯科技有限公司 文档处理方法、装置、电子设备和存储介质
CN115640520B (zh) * 2022-11-07 2023-07-14 北京百度网讯科技有限公司 跨语言跨模态模型的预训练方法、设备和存储介质
CN115587175B (zh) * 2022-12-08 2023-03-14 阿里巴巴达摩院(杭州)科技有限公司 人机对话及预训练语言模型训练方法、系统及电子设备
CN115982376B (zh) * 2022-12-14 2023-11-03 北京百度网讯科技有限公司 基于文本、多模数据和知识训练模型的方法和装置
CN115809325B (zh) * 2022-12-23 2023-11-21 北京百度网讯科技有限公司 文档处理模型训练方法、文档处理方法、装置及设备
CN115879450B (zh) * 2023-01-06 2023-09-01 广东爱因智能科技有限公司 一种逐步文本生成方法、系统、计算机设备及存储介质
CN116049597B (zh) * 2023-01-10 2024-04-19 北京百度网讯科技有限公司 网页的多任务模型的预训练方法、装置及电子设备
CN115953779B (zh) * 2023-03-03 2023-06-16 中国科学技术大学 基于文本对抗生成网络的无监督图像描述生成方法
CN116151194B (zh) * 2023-04-04 2023-07-07 上海燧原科技有限公司 中文通用语言的生成方法、装置、设备及存储介质
CN116468725B (zh) * 2023-06-13 2023-09-05 北京航空航天大学杭州创新研究院 基于预训练模型的工业缺陷检测方法、装置及存储介质
CN116501858B (zh) * 2023-06-21 2023-11-14 阿里巴巴（中国）有限公司 文本处理及数据查询方法
CN117076661B (zh) * 2023-08-17 2024-05-31 天津大学 面向预训练大语言模型调优的立法规划意图识别方法
CN116756579B (zh) * 2023-08-22 2023-12-12 腾讯科技（深圳）有限公司 大语言模型的训练方法及基于大语言模型的文本处理方法
CN117649129A (zh) * 2023-12-25 2024-03-05 宏景科技股份有限公司 一种适用于产业数字化的多智能体协同系统及策略方法
CN117494717B (zh) * 2023-12-27 2024-03-19 卓世科技(海南)有限公司 基于ai大语言模型的上下文构造方法及系统
CN117668258B (zh) * 2024-01-31 2024-05-28 浪潮软件科技有限公司 一种基于通用大语言模型的行业知识大模型构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210040851A (ko) * 2020-06-03 2021-04-14 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 텍스트 인식 처리 방법, 장치, 전자 기기 및 저장매체
US11003865B1 (en) * 2020-05-20 2021-05-11 Google Llc Retrieval-augmented language model pre-training and fine-tuning
CN113220836A (zh) * 2021-05-08 2021-08-06 北京百度网讯科技有限公司 序列标注模型的训练方法、装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210133535A1 (en) * 2019-11-04 2021-05-06 Oracle International Corporation Parameter sharing decoder pair for auto composing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003865B1 (en) * 2020-05-20 2021-05-11 Google Llc Retrieval-augmented language model pre-training and fine-tuning
KR20210040851A (ko) * 2020-06-03 2021-04-14 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 텍스트 인식 처리 방법, 장치, 전자 기기 및 저장매체
CN113220836A (zh) * 2021-05-08 2021-08-06 北京百度网讯科技有限公司 序列标注模型的训练方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Mask blank fabrication, pattern transfer, and mounting distortion simulations for the 8-in. format SCALPEL mask;G.Dicks;Microelectronic Engineering;全文 *
网络打印机信息安全研究;陈斯迅;;中国管理信息化(第10期);全文 *

Also Published As

Publication number Publication date
US20220350965A1 (en) 2022-11-03
EP4113354A3 (en) 2023-01-18
EP4113354A2 (en) 2023-01-04
CN113705187A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN113705187B (zh) 预训练语言模型的生成方法、装置、电子设备和存储介质
CN112560496B (zh) 语义分析模型的训练方法、装置、电子设备及存储介质
CN112528677B (zh) 一种语义向量提取模型的训练方法、装置及电子设备
US20220147814A1 (en) Task specific processing of regulatory content
CN113657100B (zh) 实体识别方法、装置、电子设备及存储介质
CN113656590B (zh) 行业图谱的构建方法、装置、电子设备及存储介质
CN112926308A (zh) 匹配正文的方法、装置、设备、存储介质以及程序产品
CN114218940B (zh) 文本信息处理、模型训练方法、装置、设备及存储介质
CN115631261A (zh) 图像生成模型的训练方法、图像生成方法和装置
CN112948584A (zh) 短文本分类方法、装置、设备以及存储介质
CN112906368A (zh) 行业文本增量方法、相关装置及计算机程序产品
CN112507705A (zh) 一种位置编码的生成方法、装置及电子设备
CN112989797B (zh) 模型训练、文本扩展方法，装置，设备以及存储介质
CN113641724B (zh) 知识标签挖掘方法、装置、电子设备及存储介质
CN114781386A (zh) 文本纠错训练语料的获取方法、装置及电子设备
CN114817476A (zh) 语言模型的训练方法、装置、电子设备和存储介质
CN114792097A (zh) 预训练模型提示向量的确定方法、装置及电子设备
CN113886543A (zh) 生成意图识别模型的方法、装置、介质及程序产品
CN114218431A (zh) 视频搜索方法、装置、电子设备以及存储介质
CN113204616A (zh) 文本抽取模型的训练与文本抽取的方法、装置
CN113705206B (zh) 情感预测模型的训练方法、装置、设备及存储介质
CN114781409B (zh) 文本的翻译方法、装置、电子设备和存储介质
CN113722496B (zh) 一种三元组抽取方法、装置、可读存储介质及电子设备
CN113344405B (zh) 基于知识图谱生成信息的方法、装置、设备、介质和产品
CN114970549A (zh) 语义表示模型的训练方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant