CN114841145B - 文本摘要模型训练方法、装置、计算机设备及存储介质 - Google Patents

文本摘要模型训练方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114841145B
CN114841145B CN202210504122.9A CN202210504122A CN114841145B CN 114841145 B CN114841145 B CN 114841145B CN 202210504122 A CN202210504122 A CN 202210504122A CN 114841145 B CN114841145 B CN 114841145B
Authority
CN
China
Prior art keywords
text abstract
abstract model
joint
model
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210504122.9A
Other languages
English (en)
Other versions
CN114841145A (zh
Inventor
潘荣峰
王健宗
黄章成
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210504122.9A priority Critical patent/CN114841145B/zh
Publication of CN114841145A publication Critical patent/CN114841145A/zh
Application granted granted Critical
Publication of CN114841145B publication Critical patent/CN114841145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
    • G06F2211/007—Encryption, En-/decode, En-/decipher, En-/decypher, Scramble, (De-)compress
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及人工智能领域，公开了一种文本摘要模型训练方法、装置、计算机设备及存储介质，其中，方法包括：客户端接收服务器发送的联合文本摘要模型，并根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，并将更新参数数据发送至服务器；服务器接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型，并迭代更新至联合文本摘要模型满足收敛条件，将收敛的联合文本摘要模型输出为目标文本摘要模型；本发明通过服务器去收集各客户端的本地文本摘要模型的更新参数数据进行协同优化，在保护数据隐私的前提下，提高了文本摘要生成的准确性。

Description

文本摘要模型训练方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种文本摘要模型训练方法、装置、计算机设备及存储介质。
背景技术
文本摘要是指将长文本内容进行提炼生成包含关键信息的简短摘要，文本摘要提取技术具有广泛应用场景，包括新闻摘要生成、科学出版物、医学文档等等。
传统的文本摘要提取方法一般是基于大数据文本训练得到文本摘要模型，然后通过文本摘要模型对长文本进行文本特征抽取文本提取，进而编码、解码生成文本摘要，但现有的文本摘要模型精度不高，导致生成的文本摘要准确率低。例如，模型的训练数据一般存储在终端设备中，由于数据隐私问题，无法获得大量的训练数据使得训练数据稀缺，从而导致训练得到的文本摘要模型精度不高。
发明内容
本发明提供一种文本摘要模型训练方法、装置、计算机设备及存储介质，以解决文本摘要模型精度不高，导致生成的文本摘要准确率低的技术问题。
提供一种文本摘要模型训练方法，包括：
客户端接收服务器发送的联合文本摘要模型，联合文本摘要模型为对多个客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型；
客户端根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，并将更新参数数据发送至服务器；
服务器接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型；
在新的联合文本摘要模型未满足收敛条件时，服务器继续向多个客户端发送新的联合文本摘要模型，以根据多个客户端返回的更新参数数据对联合文本摘要模型进行迭代更新，直至更新的联合文本摘要模型满足收敛条件时，将收敛的联合文本摘要模型输出为目标文本摘要模型。
进一步地，根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，包括：
客户端根据本地训练数据对接收到的联合文本摘要模型进行更新，得到客户端的损失函数梯度，并将损失函数梯度记为本地更新梯度；
客户端根据损失函数梯度更新客户端的本地文本摘要模型，得到新的本地文本摘要模型，并将新的本地文本摘要模型的参数，记为更新模型参数；
客户端将更新模型参数和本地更新梯度，作为更新参数数据。
进一步地，更新参数数据包括本地更新梯度和更新模型参数，根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型，包括：
服务器对多个客户端发送的本地更新梯度进行聚合，得到本地更新聚合梯度；
服务器根据本地更新聚合梯度和多个客户端的更新模型参数，对联合文本摘要模型进行基于差分隐私的联合优化，得到新的联合文本摘要模型。
进一步地，根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型，包括：
服务器确定更新参数数据是否为加密数据；
若更新参数数据为加密数据，则服务器根据预先约定的解密方式对更新参数数据进行解密，得到更新参数数据中的本地更新梯度和加密参数；
服务器根据本地更新梯度和加密参数对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型。
进一步地，更新参数数据还包括更新模型参数，根据本地更新梯度和加密参数对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型，包括：
服务器对多个客户端发送的本地更新梯度进行聚合，得到本地更新聚合梯度；
服务器根据本地更新聚合梯度、更新参数数据中的更新模型参数和加密参数更新联合文本摘要模型，得到新的联合文本摘要模型。
进一步地，当服务器对联合文本摘要模型的更新轮数为预设轮数时，确定新的联合文本摘要模型满足收敛条件，将收敛的联合文本摘要模型输出为目标文本摘要模型，包括：
服务器根据多个客户端的损失值确定联合文本摘要模型的总损失值；
当总损失值最小时，服务器确定联合文本摘要模型收敛，并将收敛的联合文本摘要模型输出为目标文本摘要模型。
进一步地，更新参数数据包括本地更新梯度，根据多个客户端的损失值确定联合文本摘要模型的总损失值，包括：
服务器根据各客户端发送的本地更新梯度，确定各客户端对应的梯度惩罚系数；
服务器根据多个客户端对应的梯度惩罚系数和损失值，计算得到联合文本摘要模型的总损失值。
进一步地，根据多个客户端对应的梯度惩罚系数和损失值，计算得到联合文本摘要模型的总损失值，包括：
服务器确定客户端对应的梯度惩罚系数是否为预设值；
若客户端对应的梯度惩罚系数为预设值，则服务器将客户端对应的梯度惩罚系数记为目标惩罚梯度；
服务器根据目标惩罚梯度和多个客户端对应的损失值，计算得到联合文本摘要模型的总损失值。
提供一种文本摘要模型训练系统，包括：
客户端，用于：
接收服务器发送的联合文本摘要模型，联合文本摘要模型为对多个客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型；
根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，并将更新参数数据发送至服务器；
服务器，用于：
接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型；
在新的联合文本摘要模型未满足收敛条件时，服务器继续向多个客户端发送新的联合文本摘要模型，以根据多个客户端返回的更新参数数据对联合文本摘要模型进行迭代更新，直至更新的联合文本摘要模型满足收敛条件时，将收敛的联合文本摘要模型输出为目标文本摘要模型。
提供一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述文本摘要模型训练方法的步骤。
提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述文本摘要模型训练方法的步骤。
上述文本摘要模型训练方法、装置、计算机设备及存储介质所提供的一个方案中，客户端接收服务器发送的联合文本摘要模型，联合文本摘要模型为对多个客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型，然后根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，并将更新参数数据发送至服务器，服务器接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型，并在新的联合文本摘要模型未满足收敛条件时，继续向多个客户端发送新的联合文本摘要模型，以根据多个客户端返回的更新参数数据对联合文本摘要模型进行迭代更新，直至更新的联合文本摘要模型满足收敛条件时，将收敛的联合文本摘要模型输出为目标文本摘要模型；本发明中，通过联邦学习的方式训练得到目标文本摘要模型，各客户端的数据不用出本地，而是通过服务器去收集各客户端的本地文本摘要模型的更新参数数据进行协同优化，得到最优的联合本摘要模型以进行文本摘要生成，在保护数据隐私的前提下，解决了文本摘要领域训练数据稀缺而导致文本摘要模型精度不高的问题，提高了文本摘要生成的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中文本摘要模型训练方法的一应用环境示意图；
图2是本发明一实施例中文本摘要模型训练方法的一信令交互图；
图3是图2中步骤S20的一实现流程示意图；
图4是图2中步骤S30的一实现流程示意图；
图5是图4中步骤S33的一实现流程示意图；
图6是图2中步骤S70的一实现流程示意图；
图7是图6中步骤S71的一实现流程示意图；
图8是图7中步骤S711的一实现流程示意图；
图9是本发明一实施例中文本摘要模型训练系统的一结构示意图；
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的文本摘要模型训练方法，可应用在如图1的应用环境中，客户端通过网络与服务器进行通信。
在需要进行文本摘要模型训练时，客户端接收服务器发送的联合文本摘要模型，其中，联合文本摘要模型为对多个客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型，然后根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，并将更新参数数据发送至服务器，服务器接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型，并在新的联合文本摘要模型未满足收敛条件时，继续向多个客户端发送新的联合文本摘要模型，以根据多个客户端返回的更新参数数据对联合文本摘要模型进行迭代更新，直至更新的联合文本摘要模型满足收敛条件时，将收敛的联合文本摘要模型输出为目标文本摘要模型；通过联邦学习的方式训练得到目标文本摘要模型，各客户端的数据不用出本地，而是通过服务器去收集各客户端的更新参数数据进行协同优化，从而得到最优的联合本摘要模型以进行文本摘要生成，在保护数据隐私的前提下，解决了文本摘要领域训练数据稀缺而导致文本摘要模型精度不高的问题，提高了文本摘要生成的准确性，从而有效提升了文本摘要生成的人工智能化，利于增加客户满意度。
本实施例中，联合文本摘要模型、目标文本摘要模型、客户端返回的更新参数数据等数据，存储在服务器的数据库中，客户端的本地训练数据、本地文本摘要模型等数据，存储在客户端的数据库中，以便后续执行文本摘要模型训练任务时，直接根据需求在对应数据库中获取相关数据，以减少模型训练时间，从而提高模型训练的效率。
本实施例中的数据库存储于区块链网络中，用于存储文本摘要模型方法中用到、生成的数据，如合文本摘要模型、目标文本摘要模型、客户端返回的更新参数数据、客户端的本地训练数据、本地文本摘要模型等相关数据。本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。将数据库部署于区块链可提高数据存储的安全性。
其中，客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种文本摘要模型训练方法，以该方法应用在图1中的文本摘要模型训练为例进行说明，包括如下步骤：
S10：客户端接收服务器发送的联合文本摘要模型。
在需要进行文本摘要模型训练时，服务器将自身的联合文本摘要模型发送至客户端，使得客户端接收服务器发送的联合文本摘要模型，以便进行本地模型更新。
其中，联合文本摘要模型为对多个客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型，即在客户端接收服务器发送的联合文本摘要模型之前，该方法还包括：客户端根据本地训练数据训练得到本地文本摘要模型，并将本地文本摘要模型发送至服务器；服务器接收多个客户端发送的本地文本摘要模型，并对多个本地文本摘要模型进行聚合得到联合文本摘要模型，并将联合文本摘要模型发送至多个客户端。各客户端先根据本地训练数据训练得到本地文本摘要模型，确保各本地文本摘要模型贴合客户端的使用场景，进而将多个客户端的本地文本摘要模型聚合得到联合文本摘要模型，以便后续用于模型迭代更新，保证了联合文本摘要模型能够使用于各客户端，提高了联合文本摘要模型的精度，从而提高了联合文本摘要模型的精度。在其他实施例中，本地文本摘要模型还可以是客户端本地存储的历史文本摘要模型。
S20：客户端根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，并将更新参数数据发送至服务器。
在客户端接收服务器发送的联合文本摘要模型之后，客户端根据联合文本摘要模型和本地训练数据对客户端的本地文本摘要模型进行更新，得到本地文本摘要模型对应的更新参数数据，并将更新参数数据发送至服务器。本实施例中，更新参数数据包括根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到本地更新梯度和/或更新后的本地文本摘要模型的模型参数(即模型更新参数)。
在一实施例中，在根据联合文本摘要模型对客户端的本地文本摘要模型进行更新时，可以采用梯度下降法对本地文本摘要模型进行多轮更新训练。其中，在对本地文本摘要模型进行更新训练时，对本地文本摘要模型的损失函数进行求导，得到本地文本摘要模型的变化率，变化率是模型训练时的变化状态，具体体现就是损失值的变化状态，当本地文本摘要模型的变化率不好继续变化，即当损失值不会继续下降时，即可停止训练，本地文本摘要模型达到收敛，可以输出本地更新梯度和/或模型更新参数，作为更新参数数据发送给服务器。
其中，本地文本摘要模型的变化率通过如下方式计算：
Figure BDA0003636688920000071
其中，
Figure BDA0003636688920000072
表示本地文本摘要模型的变化率；θ表示本地文本摘要模型的模型参数；L(θ(t))表示第t轮时本地文本摘要模型的损失函数：/>
Figure BDA0003636688920000073
表示第t轮时本地文本摘要模型的更新变化量；/>
Figure BDA0003636688920000074
表示第t轮时本地文本摘要模型的损失函数的导数。
本实施例中，采用梯度下降法更新本地文本摘要模型仅为示例性说明，在其他实施例中，还可以通过其他方式更新本地文本摘要模型，在此不在赘述。
S30：服务器接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型。
在客户将更新参数数据发送至服务器后，服务器接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型。
S40：确定新的联合文本摘要模型是否满足收敛条件。
S50：若新的联合文本摘要模型未满足收敛条件，则服务器继续向多个客户端发送新的联合文本摘要模型，以根据多个客户端返回的更新参数数据对联合文本摘要模型进行迭代更新。
S60：若新的联合文本摘要模型满足收敛条件，则服务器将收敛的联合文本摘要模型输出为目标文本摘要模型。
在服务器根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型之后，服务器还会判断更新的联合文本摘要模型是否满足收敛条件，若新的联合文本摘要模型未满足收敛条件，则继续将新的联合文本摘要模型发送给多个客户端，使得客户端和服务器重复执行S10-S40的步骤并重复多轮，直至更新的联合文本摘要模型满足收敛条件，并在新的联合文本摘要模型满足收敛条件时，将收敛的联合文本摘要模型输出为目标文本摘要模型，并将目标文本摘要模型发送至各客户端，以便执行文本摘要生成任务。即，在新的联合文本摘要模型未满足收敛条件时，服务器继续将新的联合文本摘要模型发送给多个客户端，以使多个客户端重复步骤S10-S20，即客户端继续根据新的联合文本摘要模型对本地文本摘要模型进行更新，得到本地文本摘要模型的更新参数数据，然后客户端将更新参数数据发送给服务器，服务器接收多个客户端返回的更新参数数据，并根据多个客户端返回的本更新参数数据对联合文本摘要模型进行更新，直至更新后的文本摘要模型满足收敛条件时，将收敛的联合文本摘要模型输出为目标文本摘要模型，以便客户端采用目标文本摘要模型执行文本摘要生成任务。
本实施例中，收敛条件可以是联合文本摘要模型的总损失值达到预设损失值，即当新的联合文本摘要模型的总损失值小于或者等于预设损失值时，确定新的联合文本摘要模型满足收敛条件。在其他实施例中，为保证目标文本摘要模型的精度，联合文本摘要模型的优化目标可以是经验风险最小化，即收敛条件可以是联合文本摘要模型的训练轮次数(更新轮数)达到预设轮数，需要确定每一训练轮次时联合文本摘要模型的总损失值，然后在联合文本摘要模型的训练轮数达到预设轮数时，确定总损失值最小的联合文本摘要模型，此时联合文本摘要模型最优，确定联合文本摘要模型依据收敛，则将总损失值最小的联合文本摘要模型输出为目标文本摘要模型。
其中，预设轮数可以是根据实际模型的文本摘要提取效果确定的轮次数。
本实施例中，客户端接收服务器发送的联合文本摘要模型，其中，联合文本摘要模型为对多个客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型，然后根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，并将更新参数数据发送至服务器，服务器接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型，并在新的联合文本摘要模型未满足收敛条件时，继续向多个客户端发送新的联合文本摘要模型，以根据多个客户端返回的更新参数数据对联合文本摘要模型进行迭代更新，直至更新的联合文本摘要模型满足收敛条件时，将收敛的联合文本摘要模型输出为目标文本摘要模型；通过联邦学习的方式训练得到目标文本摘要模型，各客户端的数据不用出本地，而是通过服务器去收集各客户端的更新参数数据进行协同优化，从而得到最优的联合本摘要模型以进行文本摘要生成，在保护数据隐私的前提下，解决了文本摘要领域训练数据稀缺而导致文本摘要模型精度不高的问题，提高了文本摘要生成的准确性。
在一实施例中，如图3所示，步骤S20中，即根据本地文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，具体包括如下步骤：
S21：客户端根据本地训练数据对接收到的联合文本摘要模型进行更新，得到客户端的损失函数梯度，并将损失函数梯度记为本地更新梯度。
在客户接到服务器当前训练轮次发送的联合文本摘要模型之后，客户端根据本地训练数据对接收到的联合文本摘要模型进行更新，得到客户端的损失函数梯度，并将损失函数梯度记为本地更新梯度。
S22：客户端根据损失函数梯度更新客户端的本地文本摘要模型，得到新的本地文本摘要模型，并将新的本地文本摘要模型的参数，记为更新模型参数。
在根据本地训练数据对接收到的联合文本摘要模型进行更新，得到客户端的损失函数梯度之后，客户端继续根据损失函数梯度更新客户端的本地文本摘要模型，得到新的本地文本摘要模型，并将新的本地文本摘要模型的参数，记为更新模型参数，提高了本地文本摘要模型的精度。
其中，本地文本摘要模型的更新方式如下：
Figure BDA0003636688920000091
其中，
Figure BDA0003636688920000092
表示第k个客户端在第t训练轮次更新得到的本地文本摘要模型；/>
Figure BDA0003636688920000093
表示保存在客户端本地的本地文本摘要模型，即第k个客户端在第t-1训练轮次的本地文本摘要模型；/>
Figure BDA0003636688920000094
表示客户端根据本地训练数据i对联合文本摘要模型进行更新，得到客户端的损失函数梯度，即本地更新梯度；batch表示多个客户端的本地训练数据的总数据量；ε表示学习率。
S23：客户端将更新模型参数和本地更新梯度，作为更新参数数据。
最后，客户端将更新模型参数和本地更新梯度，作为更新参数数据。以便后续服务器根据多个客户端发送的更新模型参数和本地更新梯度，对服务器本地的联合文本摘要模型进行联合优化，从而提高了联合文本摘要模型的精度。
本实施例中，客户端根据本地训练数据对接收到的联合文本摘要模型进行更新，得到客户端的损失函数梯度，并将损失函数梯度记为本地更新梯度，然后根据损失函数梯度更新客户端的本地文本摘要模型，得到新的本地文本摘要模型，并将新的本地文本摘要模型的参数，记为更新模型参数，最后将更新模型参数和本地更新梯度，作为更新参数数据，明确了客户端根据本地文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据的具体步骤，将通过本地训练数据和联合文本摘要模型进行更新本地文本摘要模型，基于本地训练数据的基础上，还参考了其他客户端的模型参数，提高了客户端中文本摘要模型的精度，从而提高了联合文本摘要模型的精度。
在一实施例中，客户端发送的更新参数数据包括本地更新梯度和更新模型参数。如图4所示，步骤S30中，即根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型，具体包括如下步骤：
S31：服务器确定更新参数数据是否为加密数据。
需要理解的是，在训练得到目标文本摘要模型时，虽然保证了客户端的本地训练数据不出本地，隐私安全得到源头上的控制，但是在模型训练的过程中更新参数数据可能会泄露，从而根据本地更新梯度反推得到客户端的本地训练数据，造成本地训练数据隐私泄露。因此，在更新参数数据共享传递的过程中，需要对更新参数数据进行加密再将加密后的更新参数数据发送给服务器，以保证更新参数数据的安全，减少本地训练数据泄露的可能。
因此，在服务器接收到客户端发送的更新参数数据之后，服务器需要先确定更新参数数据是否为加密数据。
在一实施例中，为保证后服务器解密得到的更新参数数据的准确性，客户端利用差分隐私技术对更新参数数据进行加密，以使服务器基于差分隐私技术对更新参数数据解密，进而根据解密数据更新联合文本摘要模型，从而减少加密解密过程使得数据损失，导致更新得到的联合文本摘要模型不够准确性的问题。在更新参数数据共享传递的过程中，给更新参数数据加上高斯噪声N，相当于给更新参数数据加上正则化，避免更新参数被泄露从而导致本地训练数据隐私泄露。即在客户端得到更新参数数据之后，将更新参数数据发送至服务器时，需要利用差分隐私技术给更新参数数据加上高斯噪声N，从而保证更新参数数据的安全。
S32：若更新参数数据为加密数据，则服务器根据预先约定的解密方式对更新参数数据进行解密，得到更新参数数据中的本地更新梯度和加密参数。
在服务器确定更新参数数据是否为加密数据之后，若更新参数数据为加密数据，则服务器根据预先约定的解密方式对更新参数数据进行解密，得到更新参数数据中的本地更新梯度和加密参数，以便后续根据解密得到的多个客户端的本地更新梯度和加密参数对联合文本摘要模型进行联合优化。
在服务器确定更新参数数据是否为加密数据之后，若更新参数数据不为加密数据，则无需进行解密过程，直接根据更新参数数据(包括本地更新梯度和/或更新模型参数)对联合文本摘要模型进行联合优化，从而得到新的联合文本摘要模型。
以更新参数数据的加密方式为差分隐私技术为例，则解密得到的加密参数为高斯噪声，服务器在接收的客户端发送的更新参数数据并确定该更新参数数据为加密数据之后，基于差分隐私技术对更新参数数据进行解密，得到该更新参数数据中的高斯噪声(即加密参数)，以及更新参数数据中本地更新梯度和/或更新模型参数。
S33：服务器根据本地更新梯度和加密参数对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型。
在服务器根据预先约定的解密方式对更新参数数据进行解密，得到更新参数数据中的本地更新梯度和加密参数之后，服务器根据多个客户端对应的本地更新梯度和加密参数对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型。
本实施例中，服务器通过确定更新参数数据是否为加密数据，若更新参数数据为加密数据，则服务器根据预先约定的解密方式对更新参数数据进行解密，得到更新参数数据中的本地更新梯度和加密参数，服务器根据本地更新梯度和加密参数对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型，细化了服务器根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型的步骤，采用差分隐私技术对联合文本摘要模型进行优化，避免了本地更新梯度泄露导致客户端的本地训练数据泄露的问题，在保证文本摘要模型精度的基础上，进一步保障了各参与方的数据隐私安全，能够广泛应用于具有隐私保护场景的金融研报摘要、医学文档等行业。
在一实施例中，更新参数数据还包括更新模型参数，如图5所示，步骤S33中，即根据本地更新梯度和加密参数对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型，具体包括如下步骤：
S331：服务器对多个客户端发送的本地更新梯度进行聚合，得到本地更新聚合梯度。
本实施例中，客户端发送的更新参数数据包括本地更新梯度和更新模型参数，还包括对更新参数数据进行加密的加密参数。服务器在接收多个客户端发动的更新参数数据之后，服务器对多个客户端发送的本地更新梯度进行聚合，得到本地更新聚合梯度。
S332：服务器根据本地更新聚合梯度、更新参数数据中的更新模型参数和加密参数更新联合文本摘要模型，得到新的联合文本摘要模型。
在服务器对多个客户端发送的本地更新梯度进行聚合，得到本地更新聚合梯度之后，服务器根据本地更新聚合梯度、更新参数数据中的更新模型参数和加密参数更新联合文本摘要模型，得到新的联合文本摘要模型。
其中，联合文本摘要模型的更新方式如下：
Figure BDA0003636688920000111
其中，wt+1表示第t+1训练轮次更新得到的联合文本摘要模型；wt表示第t训练轮次更新得到的联合文本摘要模型；
Figure BDA0003636688920000112
表示第k个客户端在第t+1训练轮次更新得到的本地更新梯度；/>
Figure BDA0003636688920000113
表示本地更新聚合梯度；M表示预先设置的客户端本地文本摘要模型的梯度范式参数；θk表示各户端的本地文本摘要模型的模型参数，即更新模型参数；N表示加密参数；m表示客户端的总数量。
其中，以更新参数数据的加密方式为差分隐私技术为例，则联合文本摘要模型的更新方式为基于差分隐私技术的联合优化，即联合文本摘要模型的更新方式如下：
Figure BDA0003636688920000121
其中，wt+1表示第t+1训练轮次更新得到的联合文本摘要模型；wt表示第t训练轮次更新得到的联合文本摘要模型；
Figure BDA0003636688920000122
表示第k个客户端在第t+1训练轮次更新得到的本地更新梯度；/>
Figure BDA0003636688920000123
表示本地更新聚合梯度；M表示预先设置的客户端本地文本摘要模型的梯度范式参数；θk表示客户端的本地文本摘要模型的模型参数，即更新模型参数；N表示加密参数；σ2为高斯机制的方差；m表示客户端的总数量。
在一实施例中，在服务器确定更新参数数据是否为加密数据之后，若更新参数数据不为加密数据，则无需进行解密过程，直接根据更新参数数据(包括本地更新梯度和/或更新模型参数)对联合文本摘要模型进行联合优化，从而得到新的联合文本摘要模型，其中，若更新参数数据不为加密数据，则联合文本摘要模型的更新方式如下：
Figure BDA0003636688920000124
其中，wt+1表示第t+1训练轮次更新得到的联合文本摘要模型；wt表示第t训练轮次更新得到的联合文本摘要模型；
Figure BDA0003636688920000125
表示第k个客户端在第t+1训练轮次更新得到的本地更新梯度；/>
Figure BDA0003636688920000126
表示本地更新聚合梯度；M表示预先设置的客户端本地文本摘要模型的梯度范式参数；θk表示客户端的本地文本摘要模型的模型参数，即更新模型参数；m表示客户端的总数量。
本实施例中，更新参数数据还包括更新模型参数，服务器对多个客户端发送的本地更新梯度进行聚合，得到本地更新聚合梯度，然后服务器根据本地更新聚合梯度、更新参数数据中的更新模型参数和加密参数更新联合文本摘要模型，得到新的联合文本摘要模型，细化了根据本地更新梯度和加密参数对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型具体步骤，根据多个客户端发送的本地更新梯度、更新模型参数和加密参数计算得到新的联合文本摘要模型，在保证本地更新梯度、更新模型参数安全得到基础上，确保了联合文本摘要模型的精度。
在一实施例中，当服务器对联合文本摘要模型的更新轮数为预设轮数时，确定新的联合文本摘要模型满足收敛条件，如图6所示，步骤S70中，即将收敛的联合文本摘要模型输出为目标文本摘要模型，具体包括如下步骤：
S71：服务器根据多个客户端的损失值确定联合文本摘要模型的总损失值。
在服务器接收多个客户端的更新参数数据之后，需要根据多个客户端的更新参数数据对联合文本摘要模型进行联合优化，联合优化的经验风险最小化。即在每一训练轮次的联合优化时，服务器均需要根据多个客户端的损失值确定联合文本摘要模型的总损失值，直至服务器对联合文本摘要模型的更新轮数为预设轮数，确定新的联合文本摘要模型满足收敛条件。
其中，在在每一训练轮次时，联合文本摘要模型的总损失值通过如下方式计算：
Figure BDA0003636688920000131
其中，F(w)表示联合文本摘要模型的总损失值；fi(w)表示在第i个样本的损失函数，即某一客户端上本地文本摘要模型的损失函数，也即客户端的损失值；
Figure BDA0003636688920000132
表示对多个客户端的损失值进行求和；n表示多个客户端的本地训练数据的总数量。
S72：当总损失值最小时，服务器确定联合文本摘要模型收敛，并将收敛的联合文本摘要模型输出为目标文本摘要模型。
在服务器对联合文本摘要模型的更新轮数为预设轮数后，根据每一训练轮次计算得到的总损失值，确定总损失值最小时的联合文本摘要模型，将总损失值最小时的联合文本摘要模型作为收敛模型，然后将该收敛的联合文本摘要模型输出为目标文本摘要模型。
本实施例中，当服务器对联合文本摘要模型的更新轮数为预设轮数时，确定新的联合文本摘要模型满足收敛条件，服务器根据多个客户端的损失值确定联合文本摘要模型的总损失值，当总损失值最小时，服务器确定联合文本摘要模型收敛，并将收敛的联合文本摘要模型输出为目标文本摘要模型，细化了目标文本摘要模型的来源，将经验风险最小化的联合文本摘要模型输出为目标文本摘要模型，确保了模型的精度。
在一实施例中，更新参数数据包括本地更新梯度，如图7所示，步骤S71中，即根据多个客户端的损失值确定联合文本摘要模型的总损失值，具体包括如下步骤：
S711：服务器根据各客户端发送的本地更新梯度，确定各客户端对应的梯度惩罚系数。
本实施例中，客户端发送的更新参数数据包括本地更新梯度，在服务器获得各客户端的更新参数数据之后，服务器根据各客户端发送的本地更新梯度，确定各客户端对应的梯度惩罚系数。
S712：服务器根据多个客户端对应的梯度惩罚系数和损失值，计算得到联合文本摘要模型的总损失值。
在确定各客户端对应的梯度惩罚系数之后，服务器根据多个客户端对应的梯度惩罚系数和损失值，计算得到联合文本摘要模型的总损失值。
需要理解的是，在对联合文本摘要模型进行联合优化得到目标文本摘要模型，虽然在一定程度保证目标文本摘要模型的精度，但可以会出现过拟合的问题，因此，为保证使联邦学习得到的模型更好的拟合特定的文本摘要任务，因此，本实施例中对每一客户端施加了一定程度的惩罚(梯度惩罚系数)，减少了过拟合的可能，进一步提高了后续得到的目标文本摘要模型的精度。
本实施例中，服务器根据各客户端发送的本地更新梯度，确定各客户端对应的梯度惩罚系数，然后根据多个客户端对应的梯度惩罚系数和损失值，计算得到联合文本摘要模型的总损失值，细化了根据多个客户端的损失值确定联合文本摘要模型的总损失值的步骤，提出了联邦学习的梯度惩罚算法，对每一客户端施加了一定程度的惩罚，减少了过拟合的可能，进一步提高了后续得到的目标文本摘要模型的精度。
在一实施例中，如图8所示，步骤S711中，即根据多个客户端对应的梯度惩罚系数和损失值，计算得到联合文本摘要模型的总损失值，具体包括如下步骤：
S7111：服务器确定客户端对应的梯度惩罚系数是否为预设值；
S7112：若客户端对应的梯度惩罚系数为预设值，则服务器将客户端对应的梯度惩罚系数记为目标惩罚梯度；
S7113：服务器根据目标惩罚梯度和多个客户端对应的损失值，计算得到联合文本摘要模型的总损失值。
在得到客户端对应的梯度惩罚系数之后，需要确定客户端对应的梯度惩罚系数是否为预设值，其中，预设值为1；若客户端对应的梯度惩罚系数为预设值，则服务器将客户端对应的梯度惩罚系数记为目标惩罚梯度，然后根据目标惩罚梯度、惩罚因子和多个客户端对应的损失值，计算得到联合文本摘要模型的总损失值。
其中，联合文本摘要模型的总损失值通过如下公式计算：
Figure BDA0003636688920000141
其中，L(θ)表示联合文本摘要模型的总损失值；[loss(fi(w)，s)]表示客户端的损失值；eposion表示惩罚因子；
Figure BDA0003636688920000142
表示目标惩罚梯度，即不为预设值的客户端对应的梯度惩罚系数；/>
Figure BDA0003636688920000143
表示在预设值(即1)和目标惩罚梯度/>
Figure BDA0003636688920000144
中取最大值；E(w，s)～D表示期望值。
则基于经验风险最小化原则，联合文本摘要模型的优化目标函数通过如下公式表示：
Figure BDA0003636688920000151
其中，arg minθL(θ)表示基于经验风险最小化原则的联合文本摘要模型的优化目标函数，即总损失值最小值；L(θ)表示联合文本摘要模型的总损失值；[loss(fi(w)，s)]表示客户端的损失值；
Figure BDA0003636688920000152
表示目标惩罚梯度，即不为预设值的客户端对应的梯度惩罚系数；/>
Figure BDA0003636688920000153
表示在预设值(即1)和目标惩罚梯度/>
Figure BDA0003636688920000154
中取最大值；eposion表示惩罚因子；E(w，s)～D表示期望值。
本实施例中，服务器确定客户端对应的梯度惩罚系数是否为预设值，若客户端对应的梯度惩罚系数为预设值，则将客户端对应的梯度惩罚系数记为目标惩罚梯度，最后根据目标惩罚梯度和多个客户端对应的损失值，计算得到联合文本摘要模型的总损失值，明确了根据多个客户端对应的梯度惩罚系数和损失值，计算得到联合文本摘要模型的总损失值的具体步骤，在梯度惩罚系数为预设值才对客户端的本地更新梯度进行惩罚，减少过度惩罚，提高总损失值的精度，从而提高目标文本摘要模型的精度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种文本摘要模型训练系统，该文本摘要模型训练系统与上述实施例中文本摘要模型训练方法一一对应。如图9所示，该文本摘要模型训练系统包括服务器和n个客户端，n为大于1的整数，其中：
客户端，用于：
接收服务器发送的联合文本摘要模型，联合文本摘要模型为对多个客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型；
根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，并将更新参数数据发送至服务器；
服务器，用于：
接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型；
在新的联合文本摘要模型未满足收敛条件时，服务器继续向多个客户端发送新的联合文本摘要模型，以根据多个客户端返回的更新参数数据对联合文本摘要模型进行迭代更新，直至更新的联合文本摘要模型满足收敛条件时，将收敛的联合文本摘要模型输出为目标文本摘要模型。
进一步地，客户端具体用于通过如下方式得到更新参数数据，包括：
客户端根据本地训练数据对接收到的联合文本摘要模型进行更新，得到客户端的损失函数梯度，并将损失函数梯度记为本地更新梯度；
客户端根据损失函数梯度更新客户端的本地文本摘要模型，得到新的本地文本摘要模型，并将新的本地文本摘要模型的参数，记为更新模型参数；
客户端将更新模型参数和本地更新梯度，作为更新参数数据。
进一步地，更新参数数据包括本地更新梯度和更新模型参数，服务器通过如下方式更新得到新的联合文本摘要模型，包括：
服务器对多个客户端发送的本地更新梯度进行聚合，得到本地更新聚合梯度；
服务器根据本地更新聚合梯度和多个客户端的更新模型参数，对联合文本摘要模型进行基于差分隐私的联合优化，得到新的联合文本摘要模型。
进一步地，服务器通过如下方式得到新的联合文本摘要模型，包括：
服务器确定更新参数数据是否为加密数据；
若更新参数数据为加密数据，则服务器根据预先约定的解密方式对更新参数数据进行解密，得到更新参数数据中的本地更新梯度和加密参数；
服务器根据本地更新梯度和加密参数对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型。
进一步地，更新参数数据还包括更新模型参数，服务器具体通过如下方式得到新的联合文本摘要模型，包括：
服务器对多个客户端发送的本地更新梯度进行聚合，得到本地更新聚合梯度；
服务器根据本地更新聚合梯度、更新参数数据中的更新模型参数和加密参数更新联合文本摘要模型，得到新的联合文本摘要模型。
进一步地，当服务器对联合文本摘要模型的更新轮数为预设轮数时，确定新的联合文本摘要模型满足收敛条件，服务器通过如下方式得到目标文本摘要模型，包括：
服务器根据多个客户端的损失值确定联合文本摘要模型的总损失值；
当总损失值最小时，服务器确定联合文本摘要模型收敛，并将收敛的联合文本摘要模型输出为目标文本摘要模型。
进一步地，更新参数数据包括本地更新梯度，服务器具体通过如下方式得到总损失值，包括：
服务器根据各客户端发送的本地更新梯度，确定各客户端对应的梯度惩罚系数；
服务器根据多个客户端对应的梯度惩罚系数和损失值，计算得到联合文本摘要模型的总损失值。
进一步地，服务器具体通过如下方式得到总损失值，包括：
服务器确定客户端对应的梯度惩罚系数是否为预设值；
若客户端对应的梯度惩罚系数为预设值，则服务器将客户端对应的梯度惩罚系数记为目标惩罚梯度；
服务器根据目标惩罚梯度和多个客户端对应的损失值，计算得到联合文本摘要模型的总损失值。
关于文本摘要模型训练系统的具体限定可以参见上文中对于文本摘要模型训练方法的限定，在此不再赘述。上述文本摘要模型训练系统中的各个装置功能可全部或部分通过软件、硬件及其组合来实现。上述实现装置各功能的模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于文本摘要模型训练方法所用到、生成的数据，包括联合文本摘要模型、目标文本摘要模型、更新参数数据，以及本地摘要更新模型、本地训练数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文本摘要模型训练方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
客户端接收服务器发送的联合文本摘要模型，联合文本摘要模型为对多个客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型；
客户端根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，并将更新参数数据发送至服务器；
服务器接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型；
在新的联合文本摘要模型未满足收敛条件时，服务器继续向多个客户端发送新的联合文本摘要模型，以根据多个客户端返回的更新参数数据对联合文本摘要模型进行迭代更新，直至更新的联合文本摘要模型满足收敛条件时，将收敛的联合文本摘要模型输出为目标文本摘要模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
客户端接收服务器发送的联合文本摘要模型，联合文本摘要模型为对多个客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型；
客户端根据联合文本摘要模型对客户端的本地文本摘要模型进行更新，得到更新参数数据，并将更新参数数据发送至服务器；
服务器接收各客户端发送的更新参数数据，并根据多个更新参数数据对联合文本摘要模型进行联合优化，得到新的联合文本摘要模型；
在新的联合文本摘要模型未满足收敛条件时，服务器继续向多个客户端发送新的联合文本摘要模型，以根据多个客户端返回的更新参数数据对联合文本摘要模型进行迭代更新，直至更新的联合文本摘要模型满足收敛条件时，将收敛的联合文本摘要模型输出为目标文本摘要模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种文本摘要模型训练方法，其特征在于，包括：
客户端接收服务器发送的联合文本摘要模型，所述联合文本摘要模型为对多个所述客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型；
所述客户端根据所述联合文本摘要模型对所述客户端的本地文本摘要模型进行更新，得到更新参数数据，并将所述更新参数数据发送至所述服务器；
所述服务器接收各所述客户端发送的所述更新参数数据，并根据多个所述更新参数数据对所述联合文本摘要模型进行联合优化，得到新的所述联合文本摘要模型；
在新的所述联合文本摘要模型未满足收敛条件时，所述服务器继续向多个所述客户端发送新的所述联合文本摘要模型，以根据多个所述客户端返回的所述更新参数数据对所述联合文本摘要模型进行迭代更新，直至更新的所述联合文本摘要模型满足所述收敛条件时，将收敛的所述联合文本摘要模型输出为目标文本摘要模型；
当所述服务器对所述联合文本摘要模型的更新轮数为预设轮数时，所述服务器确定新的所述联合文本摘要模型满足收敛条件，所述将收敛的所述联合文本摘要模型输出为目标文本摘要模型，包括：
所述服务器根据多个所述客户端的损失值确定所述联合文本摘要模型的总损失值；
当所述总损失值最小时，所述服务器确定所述联合文本摘要模型收敛，并将收敛的所述联合文本摘要模型输出为所述目标文本摘要模型；
所述更新参数数据包括本地更新梯度，所述根据多个所述客户端的损失值确定所述联合文本摘要模型的总损失值，包括：
所述服务器根据各所述客户端发送的本地更新梯度，确定各所述客户端对应的梯度惩罚系数；
所述服务器确定所述客户端对应的梯度惩罚系数是否为预设值；
若所述客户端对应的梯度惩罚系数为所述预设值，则所述服务器将所述客户端对应的梯度惩罚系数记为目标惩罚梯度；
所述服务器根据所述目标惩罚梯度和多个所述客户端对应的损失值，计算得到所述联合文本摘要模型的总损失值；
所述联合文本摘要模型的总损失值通过如下公式计算：
Figure QLYQS_1
其中，L(θ)表示联合文本摘要模型的总损失值；[loss(fi(w)，s)]表示客户端的损失值；eposion表示惩罚因子；
Figure QLYQS_2
表示目标惩罚梯度；/>
Figure QLYQS_3
表示在预设值和目标惩罚梯度/>
Figure QLYQS_4
中取最大值；E(w，s)～D表示期望值。
2.如权利要求1所述的文本摘要模型训练方法，其特征在于，所述根据所述联合文本摘要模型对所述客户端的本地文本摘要模型进行更新，得到更新参数数据，包括：
所述客户端根据本地训练数据对接收到的所述联合文本摘要模型进行更新，得到所述客户端的损失函数梯度，并将所述损失函数梯度记为所述本地更新梯度；
所述客户端根据所述损失函数梯度更新所述客户端的本地文本摘要模型，得到新的所述本地文本摘要模型，并将新的所述本地文本摘要模型的参数，记为更新模型参数；
所述客户端将所述更新模型参数和所述本地更新梯度，作为所述更新参数数据。
3.如权利要求1所述的文本摘要模型训练方法，其特征在于，所述根据多个所述更新参数数据对所述联合文本摘要模型进行联合优化，得到新的所述联合文本摘要模型，包括：
所述服务器确定所述更新参数数据是否为加密数据；
若所述更新参数数据为所述加密数据，则所述服务器根据预先约定的解密方式对所述更新参数数据进行解密，得到所述更新参数数据中的本地更新梯度和加密参数；
所述服务器根据所述本地更新梯度和加密参数对所述联合文本摘要模型进行联合优化，得到新的所述联合文本摘要模型。
4.如权利要求3所述的文本摘要模型训练方法，其特征在于，所述更新参数数据还包括更新模型参数，所述根据所述本地更新梯度和加密参数对所述联合文本摘要模型进行联合优化，得到新的所述联合文本摘要模型，包括：
所述服务器对多个所述客户端发送的所述本地更新梯度进行聚合，得到本地更新聚合梯度；
所述服务器根据所述本地更新聚合梯度、所述更新参数数据中的更新模型参数和所述加密参数更新所述联合文本摘要模型，得到新的所述联合文本摘要模型。
5.一种文本摘要模型训练系统，其特征在于，包括：
客户端，用于：
接收服务器发送的联合文本摘要模型，所述联合文本摘要模型为对多个所述客户端的本地文本摘要模型进行联合优化后得到的文本摘要模型；
根据所述联合文本摘要模型对所述客户端的本地文本摘要模型进行更新，得到更新参数数据，并将所述更新参数数据发送至所述服务器；
服务器，用于：
接收各所述客户端发送的所述更新参数数据，并根据多个所述更新参数数据对所述联合文本摘要模型进行联合优化，得到新的所述联合文本摘要模型；
在新的所述联合文本摘要模型未满足收敛条件时，所述服务器继续向多个所述客户端发送新的所述联合文本摘要模型，以根据多个所述客户端返回的所述更新参数数据对所述联合文本摘要模型进行迭代更新，直至更新的所述联合文本摘要模型满足所述收敛条件时，将收敛的所述联合文本摘要模型输出为目标文本摘要模型；
当所述服务器对联合文本摘要模型的更新轮数为预设轮数时，确定新的联合文本摘要模型满足收敛条件，服务器通过如下方式得到目标文本摘要模型，包括：
所述服务器根据多个客户端的损失值确定联合文本摘要模型的总损失值；
当总损失值最小时，所述服务器确定联合文本摘要模型收敛，并将收敛的联合文本摘要模型输出为目标文本摘要模型；
所述更新参数数据包括本地更新梯度，所述服务器具体通过如下方式得到总损失值，包括：
所述服务器根据各客户端发送的本地更新梯度，确定各客户端对应的梯度惩罚系数；
所述服务器确定客户端对应的梯度惩罚系数是否为预设值；
若客户端对应的梯度惩罚系数为预设值，则所述服务器将客户端对应的梯度惩罚系数记为目标惩罚梯度；
所述服务器根据目标惩罚梯度和多个客户端对应的损失值，计算得到联合文本摘要模型的总损失值；
所述联合文本摘要模型的总损失值通过如下公式计算：
Figure QLYQS_5
其中，L(θ)表示联合文本摘要模型的总损失值；[loss(fi(w)，s)]表示客户端的损失值；eposion表示惩罚因子；
Figure QLYQS_6
表示目标惩罚梯度；/>
Figure QLYQS_7
表示在预设值和目标惩罚梯度/>
Figure QLYQS_8
中取最大值；E(w，s)～D表示期望值。
6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述文本摘要模型训练方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述文本摘要模型训练方法的步骤。
CN202210504122.9A 2022-05-10 2022-05-10 文本摘要模型训练方法、装置、计算机设备及存储介质 Active CN114841145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210504122.9A CN114841145B (zh) 2022-05-10 2022-05-10 文本摘要模型训练方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210504122.9A CN114841145B (zh) 2022-05-10 2022-05-10 文本摘要模型训练方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN114841145A CN114841145A (zh) 2022-08-02
CN114841145B true CN114841145B (zh) 2023-07-11

Family

ID=82569160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210504122.9A Active CN114841145B (zh) 2022-05-10 2022-05-10 文本摘要模型训练方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114841145B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091199A (zh) * 2019-12-20 2020-05-01 哈尔滨工业大学（深圳） 一种基于差分隐私的联邦学习方法、装置及存储介质
CN113282960A (zh) * 2021-06-11 2021-08-20 北京邮电大学 一种基于联邦学习的隐私计算方法、装置、系统及设备
WO2022016964A1 (zh) * 2020-07-23 2022-01-27 深圳前海微众银行股份有限公司 纵向联邦建模优化方法、设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091199A (zh) * 2019-12-20 2020-05-01 哈尔滨工业大学（深圳） 一种基于差分隐私的联邦学习方法、装置及存储介质
WO2022016964A1 (zh) * 2020-07-23 2022-01-27 深圳前海微众银行股份有限公司 纵向联邦建模优化方法、设备及可读存储介质
CN113282960A (zh) * 2021-06-11 2021-08-20 北京邮电大学 一种基于联邦学习的隐私计算方法、装置、系统及设备

Also Published As

Publication number Publication date
CN114841145A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN110245510B (zh) 用于预测信息的方法和装置
CN112288097B (zh) 联邦学习数据处理方法、装置、计算机设备及存储介质
US10771240B2 (en) Dynamic blockchain system and method for providing efficient and secure distributed data access, data storage and data transport
US11902413B2 (en) Secure machine learning analytics using homomorphic encryption
WO2021120888A1 (zh) 一种基于隐私数据进行模型训练的方法及系统
CN113204787B (zh) 基于区块链的联邦学习隐私保护方法、系统、设备和介质
De Oliveira et al. Towards a blockchain-based secure electronic medical record for healthcare applications
CN111178524A (zh) 基于联邦学习的数据处理方法、装置、设备及介质
CN111814985A (zh) 联邦学习网络下的模型训练方法及其相关设备
CN111931216B (zh) 一种基于隐私保护的方式获取联合训练模型的方法及系统
CN111931950A (zh) 一种基于联邦学习进行模型参数更新的方法及系统
TW201911108A (zh) 資料加密、機器學習模型訓練方法、裝置及電子設備
US9940469B2 (en) Encrypted data store for records
US20210027196A1 (en) Blockchain-based training data management system and method for trusted model improvements
Fritchman et al. Privacy-preserving scoring of tree ensembles: A novel framework for AI in healthcare
CN112818374A (zh) 一种模型的联合训练方法、设备、存储介质及程序产品
CN114696990A (zh) 基于全同态加密的多方计算方法、系统及相关设备
JP7190035B2 (ja) 個人情報処理のための暗号化システム及び方法
WO2022068360A1 (zh) 基于共享根密钥的信息处理方法、装置、设备及介质
CN112039702A (zh) 基于联邦学习和相互学习的模型参数训练方法及装置
CN111935208A (zh) 区块链隐私数据共享方法、装置、计算机设备和存储介质
CN113051586A (zh) 联邦建模系统及方法、联邦模型预测方法、介质、设备
CN113764060A (zh) 一种基于双区块链的医疗数据管理系统、病人授权病历共享方法
CN113221153A (zh) 图神经网络训练方法、装置、计算设备及存储介质
CN114841145B (zh) 文本摘要模型训练方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant