CN113222175A - 信息处理方法及系统 - Google Patents

信息处理方法及系统 Download PDF

Info

Publication number
CN113222175A
CN113222175A CN202110477247.2A CN202110477247A CN113222175A CN 113222175 A CN113222175 A CN 113222175A CN 202110477247 A CN202110477247 A CN 202110477247A CN 113222175 A CN113222175 A CN 113222175A
Authority
CN
China
Prior art keywords
model
data
data provider
provider
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110477247.2A
Other languages
English (en)
Other versions
CN113222175B (zh
Inventor
何元钦
刘洋
陈天健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202110477247.2A priority Critical patent/CN113222175B/zh
Publication of CN113222175A publication Critical patent/CN113222175A/zh
Application granted granted Critical
Publication of CN113222175B publication Critical patent/CN113222175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种信息处理方法及系统，包括：协作方根据协作方模型确定得到与各个数据提供方对应的中间模型并分别下发给对应的各个数据提供方；数据提供方根据数据提供方的私有数据，对接收到的用于作为其本地模型的中间模型和数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型；数据提供方根据各个参与方共有的公共数据集，通过训练后的个性化模型进行预测得到输出数据并将输出数据发送至协作方；协作方根据输出数据和公共数据集，通过知识蒸馏对协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。本发明可以在有参与方计算资源少的场景下，有效地实现大模型训练。

Description

信息处理方法及系统
技术领域
本发明涉及信息处理领域，尤其涉及一种信息处理方法及系统。
背景技术
横向联邦学习的目标是利用各方有限的数据，在保障数据安全的前提下，共同训练一个全局模型，各方持有的模型与全局模型相同。一个常见的场景是各参与方希望能够训练一个基于各自数据的个性化模型，在各自本地数据上有很好的表现，同时保证其隐私性(即不将个性化模型传输给服务器用于模型聚合)。此外，对于很多机器学习任务，模型越大，性能越好，比如对于卷积神经网络(CNN)，越深越宽的模型，经过充分训练后，准确率越高。
但是，在横向联邦的一个典型场景中，各参与方的本地计算资源不同，若有参与方计算资源少，则各参与方只能进行小型模型的训练，从而限制了联邦学习训练得到的全局模型的性能。因此，现有技术中在有参与方计算资源少的场景下，无法有效地实现大模型训练。
发明内容
本发明的主要目的在于提供一种信息处理方法及系统，旨在解决在现有的联邦学习中，在有参与方计算资源少的场景下，无法有效地实现大模型训练的问题。
为实现上述目的，本发明提供一种信息处理方法，应用于参与联邦学习的多个参与方，所述多个参与方包括数据提供方和协作方，所述多个参与方中至少一个参与方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为协作方模型；所述方法包括：
所述协作方根据所述协作方模型确定得到与各个所述数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方；
针对每个所述数据提供方，所述数据提供方根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型；
所述数据提供方根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，并将所述输出数据发送至所述协作方；
所述协作方根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
在一种可能的实现方式中，所述私有数据包括训练数据和所述训练数据对应的标签；
所述数据提供方根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型，包括：
所述数据提供方将所述训练数据分别输入到所述用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型中，得到本地模型输出数据和个性化模型输出数据；
所述数据提供方根据所述本地模型输出数据、个性化模型输出数据以及所述训练数据对应的标签，通过交叉熵和知识蒸馏计算，得到训练后的个性化模型。
在一种可能的实现方式中，所述数据提供方根据所述本地模型输出数据、个性化模型输出数据以及所述训练数据对应的标签，通过交叉熵和知识蒸馏计算，得到训练后的个性化模型，包括：
所述数据提供方根据所述个性化模型输出数据以及所述训练数据对应的标签，通过所述交叉熵计算，调整所述个性化模型的参数，使得所述个性化模型输出数据与所述训练数据对应的标签逼近；
所述数据提供方根据所述个性化模型输出数据以及所述本地模型输出数据，通过所述知识蒸馏，调整所述个性化模型的参数，使得所述个性化模型输出数据与所述本地模型输出数据逼近；
所述数据提供方根据调整后的个性化模型的参数，确定所述训练后的个性化模型。
在一种可能的实现方式中，所述协作方根据所述协作方模型确定得到与各个所述数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方，包括：
所述协作方获取各个所述数据提供方提供的资源，所述资源包括所述私有数据和公共数据集；
所述协作方根据各个所述数据提供方提供的资源，通过初始化的所述协作方模型，确定K个需要不同计算资源的中间模型，其中，K大于或等于0；
所述协作方基于各个所述数据提供方提供的资源的分布，将各个所述中间模型下发给匹配的所述数据提供方，并将所述中间模型作为所述初始化的本地模型。
在一种可能的实现方式中，若K＝0，则将所述初始化的协作方模型作为所述初始化的本地模型。
在一种可能的实现方式中，所述协作方根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，包括：
所述协作方对接收到的各个所述数据提供方发送的所述输出数据进行聚合，得到聚合后的输出数据；
所述协作方根据所述聚合后的输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练所述协作方模型，得到目标全局模型；
相应的，所述方法还包括：
所述协作方根据所述聚合后的输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练所述中间模型并将训练后的中间模型作为新的本地模型分别下发给对应的各个所述数据提供方。在一种可能的实现方式中，所述数据提供方根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，包括：
所述数据提供方从所述公共数据集中获取目标公共数据集作为所述训练后的个性化模型的输入量；
所述数据提供方根据所述输入量，通过所述训练后的个性化模型进行预测，得到所述训练后的个性化模型的预测结果，所述预测结果为所述输出数据。
本发明还提供一种信息处理系统，包括：参与联邦学习的多个参与方中的数据提供方，其中，所述多个参与方中至少一个所述数据提供方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为协作方模型；
所述数据提供方，用于：
根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型；
根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，并将所述输出数据发送至所述多个参与方中的协作方，以使所述协作方根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
本发明还提供一种信息处理系统，包括：参与联邦学习的多个参与方中的协作方；
所述协作方，用于：
根据协作方模型确定得到与所述多个参与方中的各个数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方，其中，至少一个所述数据提供方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为所述协作方模型；
指示各个所述数据提供方根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型并根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据；
根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
本发明还提供一种信息处理系统，包括：参与联邦学习的多个参与方，所述多个参与方包括数据提供方和协作方，所述多个参与方中至少一个数据提供方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为协作方模型；
所述协作方，用于根据所述协作方模型确定得到与各个所述数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方；
所述数据提供方，用于根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型；
所述数据提供方，还用于根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，并将所述输出数据发送至所述协作方；
所述协作方，还用于根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
本发明中，应用于参与联邦学习的多个参与方，其中，多个参与方包括数据提供方和协作方，并且所述多个参与方中至少一个参与方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为协作方模型；所述协作方根据所述协作方模型确定得到与各个所述数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方；针对每个所述数据提供方，所述数据提供方根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型；所述数据提供方根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，并将所述输出数据发送至所述协作方；所述协作方根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。这里的多个参与方可以共用一套代码，使得代码开发的复杂度大大降低，并且在各个参与方的本地计算资源不同，若有参与方计算资源少的场景下，通过知识蒸馏技术，实现知识传输，支持各个参与方进行大模型(全局模型)训练，使得在各个参与方保有个性化模型的同时，有效地实现大模型训练，进而保证联邦学习训练得到的大模型的性能。
附图说明
图1为本发明实施例提供的一种联邦学习的原理示意图；
图2为本发明实施例提供的一种应用场景的示意图；
图3为本发明实施例提供的一种信息处理方法的流程示意图；
图4为本发明实施例提供的一种信息处理装置的结构示意图；
图5为本发明实施例提供的一种信息处理设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
联邦机器学习(Federated Machine Learning)，又称联邦学习(FederatedLearning)，能够在数据不出本地的前提下，联合各方进行数据使用和协同建模，逐渐成为隐私保护计算中的一种常用方法。
在联邦学习的过程中，可以通过加密机制下的参数交换方式保护参与方的隐私数据，数据本身不会进行传输，参与方不需要向其它参与方暴露自己所拥有的数据，也不能反推其它参与方的数据，因而联邦学习可以很好的保护用户隐私和保障数据安全，并可以解决数据孤岛问题。
针对不同数据集，联邦学习可以分为横向联邦学习(Horizontal FederatedLearning)、纵向联邦学习(Vertical Federated Learning)与联邦迁移学习(FederatedTransfer Learning)。
其中，以横向联邦学习为例，横向联邦学习可以应用于不同数据集的用户特征重叠较多而用户重叠较少的场景。举例来说，一个是A地的银行，另一个是B地的银行，两个银行所在地不同，用户重叠较少，但是两个银行的数据都涉及用户的收支行为、资产数据等，此时可以基于横向联邦学习来实现两个银行之间的数据协同计算。
联邦学习可使用的机器学习算法有很多种，包括但不局限于神经网络、随机森林等算法。
图1为本发明实施例提供的一种联邦学习的原理示意图。如图1所示，服务器和k个客户终端可以参与联邦学习过程(其中，这里的服务器可以作为协作方，k个客户终端可以作为数据提供方；另外，可以没有服务器的参与，k个客户终端中的某一客户终端可以作为协作方，其他客户终端作为数据提供方，在此不做具体限定)。在联邦学习过程中，服务器向各个客户终端下发全局模型，每个客户终端利用本地数据对服务器下发的全局模型进行训练，得到训练后的本地模型上传至服务器，服务器对各个客户终端上传的模型进行聚合，得到更新后的全局模型，依次重复上述过程，直至聚合后的全局模型收敛为止。
在现有的联邦学习中，由于各个客户终端的本地计算资源不同，若有客户终端计算资源少，则各方只能进行小型模型的训练，从而限制了联邦学习训练得到的全局模型(大模型)的性能。因此，现有的联邦学习中在有参与方(客户终端)计算资源少的场景下，无法有效地实现大模型训练。
为了解决这一问题，本发明的技术构思是设计了一套代码可以使多个参与方共用，可以使协作方以及数据提供方执行相应的联邦学习操作，并且采用知识蒸馏，在服务器(协作方)通过各客户终端(数据提供方)基于公开数据集聚合得到的输出，通过知识蒸馏技术训练大模型，然后下发到各客户终端；各客户终端使用得到的本地模型(可选大模型中的小型的中间模型作为本地模型)通过知识蒸馏，将模型的知识传递给各客户终端的个性化模型，得到训练后的个性化模型，并基于公共数据集将训练后的个性化模型的输出发送个服务器，使得服务器通过各客户终端基于公开数据集聚合得到的输出通过知识蒸馏训练大模型等循环迭代，由于本地模型和全局模型结构可以不同，实现了本地模型和全局模型的解耦(即两方模型可以异构)，同时保证了各客户终端的模型和数据的隐私即保有自己的个性化模型。因此，在有客户终端计算资源少的场景下，通过知识蒸馏技术，实现知识传输，支持各客户终端进行大模型(全局模型)训练，使得在各个客户终端保有个性化模型的同时，有效地实现大模型训练，进而保证联邦学习训练得到的大模型的性能。
下面结合附图，对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
在实际应用中，用户可以根据自身资源计算需求，在用户端编写联邦学习的源代码，以将源代码发送至参与联邦学习的各个参与方(其中，参与方的具体数量根据可以实际场景而定)。这里的各个参与方可以包括数据提供方、协作方，各个参与方编译源代码，生成可运行的机器代码并运行，各个参与方配合，实现联邦学习的过程。
其中，图2为本发明提供的一种应用场景的示意图，以数据提供方为手机终端，协作方为服务器为例，不同类型的手机终端各自持有的配置资源不同，比如内存大小、运行内存大小不同，则多个手机终端进行联合建模用以预测推荐词时，由于模型训练的各个手机终端持有的配置资源不同，相应的计算资源不同，若某一手机终端计算资源有限(比如计算资源少于用于支持训练全局模型的预设计算资源)，并且使得该手机终端也能进行大模型训练，与其他手机终端共同训练一个全局大模型，同时各自能有一个个性化模型，进而实现个性化推荐词的预测或推送。
各个手机终端(数据提供方，比如手机终端1、…、手机终端N)均有两个模型，一个是个性化模型(personalized model)，一个是本地模型(local model)，各个手机终端有两组数据，(Xlocal，Ylocal)为各方的私有数据(比如用户使用各个应用软件的特征数据)，Xpub为各个手机终端和服务器均有的公开数据集(比如共有的特征数据)，其为模型训练领域的公开数据或基于数据生成技术得到的数据，无需具有标签。服务器有一个全局模型(globalmodel)，可选的有中间模型(media model)。具体地，首先各个手机终端(数据提供方，比如手机终端1、…、手机终端N)初始化能够适配本地计算资源的一个个性化模型，服务器(协作方)初始化一个大模型，针对本地模型的确定，可以根据各个手机终端的计算资源的分布，初始化K个需要不同计算资源的中间模型。将各个中间模型分配给相应的手机终端作为其初始化的本地模型，这样保证每个手机终端都可以有一个合适的服务器端中间模型。因此，这里每个手机终端的本地模型的结构可以各不相同，并且可以与服务器的大模型(全局模型)不同，因此，能够训练大模型，区别于现有的联邦学习中各参与方虽然持有两个模型，通过个性化模型与本地模型的互学习实现模型更新，再将本地模型发送到服务器参与聚合，但是，由于本地模型和全局模型结构一致，不能训练大模型。
此外，各方的个性化模型和本地模型是有可能不同。
其中，一次迭代过程为：针对每个手机终端，将私有数据中的训练数据(Xlocal)输入到本地模型中，输出本地模型输出数据，然后将本地模型输出数据以及私有数据(Xlocal，Ylocal)，其中，Ylocal表示标签。通过知识蒸馏，训练个性化模型(如图2中步骤①)，并通过训练好的个性化模型在公共数据集上进行预测，得到输出数据(Zpub_pred)，然后将输出数据发送给服务器(如图2中步骤②)，服务器对每个手机终端发送的输出数据进行聚合，基于聚合后的输出数据(Zpub_agg)以及公共数据集(Xpub)训练全局模型，以及训练K个中间模型(如图2中步骤③)，并将训练后的各个中间模型下发给对应的手机终端，作为本地模型(如图2中步骤④)。重复上述迭代过程，直到全局模型收敛为止，能够实现更精准地预测效果。因此，本发明可以应用于联邦学习中部分参与方计算能力有限的情况，共同训练一个全局大模型，同时各自能有一个个性化模型；其中，以风控场景为例，模型的输出可以表示是否给客户贷款的标志等。
示例性的，以风控场景为例，全局大模型(即目标全局模型)可以是风险预测模型，相应的，本发明实施例中各个手机终端的训练样本可以为用户的资产数据，比如存款时间、存款金额、贷款时间、贷款金额、还款时间、还款金额、坏账记录等，各个手机终端由于计算资源不同且存在由于计算资源过少带来的局限性，通过上述方法可以实现对风险预测模型的训练，得到的目标全局模型可以进行风险预测，进而确定是否给客户贷款。具体地，结合图2所示，针对每个手机终端，将各自用户的资产数据作为训练数据输入到本地模型中，输出本地模型输出数据，然后将本地模型输出数据以及用户对应的标签，比如，该用户是否为贷款用户或是该用户的贷款风险值，通过知识蒸馏，训练个性化模型(如图2中步骤①)，并通过训练好的个性化模型在各个手机终端中共有的资产数据集上进行预测，得到预测结果，比如各个用户的贷款风险值，然后将各个手机终端预测得到的用户的贷款风险值发送给服务器(如图2中步骤②)，服务器对每个手机终端发送的用户的贷款风险值进行聚合，基于聚合后的贷款风险值以及共有的资产数据集训练全局模型即风险预测模型，以及训练K个中间模型(如图2中步骤③)，并将训练后的各个中间模型下发给对应的手机终端，作为本地模型(如图2中步骤④)。重复上述迭代过程，直到风险预测模型收敛为止，能够实现更精准地预测效果。因此，本发明可以应用于联邦学习中部分参与方计算能力有限的情况，共同训练一个风险预测模型，同时各自能有一个个性化模型。
图3为本发明实施例提供的一种信息处理方法的流程示意图。本实施例中方法的执行主体可以为参与联邦学习的多个参与方，这里的多个参与方可以包括数据提供方和协作方，通过共用一套代码即可实现数据提供方计算资源少于预设计算资源场景下的全局模型的训练，完成联邦学习。
本实施例中的方法可以通过软件、硬件或者软硬件结合的方式来实现。
如图3所示，所述方法可以包括：
S301、所述协作方根据所述协作方模型确定得到与各个所述数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方。
本实施例中，全局模型的训练是个不断迭代的过程，在第一次迭代过程中，该协作方模型是初始化的协作方模型，中间模型可以是从协作方模型(即全局模型或全局大模型或大模型)中选取的小模型，这里的每个中间模型可以不同，也可以与全局模型不同。在第二轮以及后续的迭代过程中中间模型不断被训练，得到训练后的中间模型会重新作为各个数据提供方的本地模型，执行训练过程。
S302、针对每个所述数据提供方，所述数据提供方根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型。
本实施例中，每个数据提供方均执行下述相同的步骤：数据提供方需要基于接收到的本地模型，结合私有数据以及公共数据集，通过知识蒸馏技术，对其持有的个性化模型进行训练，通过调整个性化模型的参数，得到训练后的个性化模型，使得个性化模型输出的预测结果更为准确。区别于现有技术中由于模型只在公共数据集上进行知识蒸馏，效果相对差于基于私有数据的模型训练。
S303、所述数据提供方根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，并将所述输出数据发送至所述协作方。
本实施例中，数据提供方将参与方共有的所述公共数据集输入到训练后的个性化模型中，得到预测结果即输出数据，然后将个性化模型的输出数据发送给协作方，使得协作方基于输出数据进行聚合，然后分别训练协作方模型以及中间模型，不断循环迭代。
S304、所述协作方根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
本实施例中，协作方基于各个数据提供方发送的通过个性化模型预测得到的输出数据进行聚合，得到聚合后的输出数据，并通过知识蒸馏技术，对全局模型进行训练，以及中间模型，然后将训练好的中间模型作为各个数据提供方的本地模型下发给相应的数据提供方，使得数据提供方继续基于训练好的本地模型通过调整个性化模型的参数，使得个性化模型输出的预测结果更为准确，并将个性化模型的输出数据发送给协作方，以此类推，通过循环迭代，使得全局模型、个性化模型逐渐收敛，保证输出数据的准确性。
下述以迭代过程对信息处理方法进行详细说明。
该信息处理方法可以应用于参与联邦学习的多个参与方中的第一参与方，第一参与方可以是客户终端或是服务器，具有信息处理功能。具体地，该第一参与方可以是协作方(比如服务器)或数据提供方(比如客户终端)。通过多个参与方共用一套代码进行逻辑实现，并且数据提供方持有的本地模型的结构可以与服务器的全局模型不同，结合知识蒸馏技术，能够在部分参与方不能进行大模型训练的情况下，共同训练一个全局大模型，同时各自能有一个个性化模型。
步骤a1、若所述第一参与方为数据提供方，则获取所述多个参与方中的协作方发送的第n-1次训练得到的本地模型，根据所述数据提供方的私有数据，通过所述第n-1次训练得到的本地模型和第n-1次训练得到的个性化模型进行知识蒸馏，得到第n次训练得到的个性化模型，并根据各个所述参与方共有的公共数据集，通过第n次训练得到的个性化模型得到输出数据并发送给所述协作方。
其中，若n＝1时，第n-1次训练得到的本地模型为初始化的本地模型。
具体地，首先通过代码标识判断该代码是由数据提供方执行还是由协作方执行，在第n次迭代过程中，若判断出第一参与方是数据提供方，则数据提供方需要基于本地模型，结合私有数据以及公共数据集，通过知识蒸馏技术，对其持有的个性化模型进行训练，通过调整个性化模型的参数，使得个性化模型输出的预测结果更为准确，区别于现有技术中由于模型只在公共数据集上进行知识蒸馏，效果相对差于基于私有数据的模型训练。并将个性化模型的输出数据发送给协作方，使得协作方基于输出数据进行聚合，然后分别训练协作方模型以及中间模型(上一轮迭代后的本地模型即第n-1次迭代过程中使用的本地模型)。
步骤a2、若所述第一参与方为协作方，则根据接收到的各个所述数据提供方发送的所述输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练第n-1次训练得到的协作方模型以及训练各个所述数据提供方对应的第n-1次训练得到的本地模型，得到第n次训练得到的协作方模型以及第n次训练得到的本地模型并将第n次训练得到的本地模型下发给相应的所述数据提供方。
其中，第n-1次训练得到的协作方模型为初始化的协作方模型，所述初始化的本地模型为通过所述初始化的协作方模型确定的模型。
具体地，在第n次迭代过程中，本地模型是由协作方发送的第n-1次迭代训练得到的本地模型，如果n＝1，则该第n-1次迭代训练得到的本地模型为初始化的本地模型，该初始化的本地模型可以是从协作方模型(即全局模型或全局大模型或大模型)中选取的中间模型(即小模型)，这里的每个中间模型可以不同，也可以与全局模型不同。区别于现有的联邦学习中各参与方通过个性化模型与本地模型的互学习实现模型更新，在将本地模型发送到服务器参与聚合，由于本地模型和全局模型结构一致，因此不能训练大模型，进而限制了联邦学习训练得到的全局模型的性能。
在第n次迭代过程中，若判断出第一参与方是协作方，则协作方基于各个数据提供方发送的通过个性化模型预测得到的输出数据进行聚合，得到聚合后的输出数据，并通过知识蒸馏技术，对全局模型进行训练，以及训练第n-1次训练得到的本地模型，然后将训练好的本地模型下发给相应的数据提供方，使得数据提供方继续基于训练好的本地模型通过调整个性化模型的参数，使得个性化模型输出的预测结果更为准确，并将个性化模型的输出数据发送给协作方，以此类推，通过循环迭代，使得全局模型、个性化模型逐渐收敛，保证输出数据的准确性。
其中，利用知识蒸馏，可以实现大模型的知识到小模型的迁移和异构模型之间的知识迁移等模型训练的方式。
因此，通过在服务器和客户终端交互过程中，使用不同的传输内容，即服务器下发模型到客户终端，客户终端上传基于公开数据集计算的模型输出到服务器，实现客户端可以保有自己的个性化模型，并且通过服务器蒸馏不同大小的模型，可以实现客户终端计算资源受限情况下共同训练大模型。
本实施例提供的信息处理方法，多个参与方可以共用一套代码，使得代码开发的复杂度大大降低，并且在各个参与方的本地计算资源不同，若有参与方计算资源少的场景下，通过知识蒸馏技术，实现知识传输，支持各个参与方进行大模型(全局模型)训练，使得在各个参与方保有个性化模型的同时，有效地实现大模型训练，进而保证联邦学习训练得到的大模型的性能。
可选的，所述私有数据包括训练数据和所述训练数据对应的标签；数据提供方根据所述数据提供方的私有数据，通过所述第n-1次训练得到的本地模型和第n-1次训练得到的个性化模型进行知识蒸馏，得到第n次训练得到的个性化模型，因此，数据提供方如何根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型，可以通过以下步骤实现：
步骤b1、所述数据提供方将所述训练数据分别输入到所述用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型中，得到本地模型输出数据和个性化模型输出数据；
步骤b2、所述数据提供方根据所述本地模型输出数据、个性化模型输出数据以及所述训练数据对应的标签，通过交叉熵和知识蒸馏计算，得到训练后的个性化模型。
具体地，首先将所述训练数据分别输入到所述第n-1次训练得到的本地模型和所述第n-1次训练得到个性化模型中，得到本地模型输出数据和个性化模型输出数据。
其次，根据所述本地模型输出数据、个性化模型输出数据以及所述训练数据对应的标签，通过交叉熵和知识蒸馏计算，得到第n次训练得到的个性化模型。
本实施例中，服务器或服务器端(协作方)将与各个客户终端(数据提供方)对应的中间模型下发给客户终端，作为其本地模型，客户终端基于其私有数据，将本地模型作为老师模型，进行知识蒸馏。
具体地，在第n次迭代中，以第n-1次训练得到的个性化模型为mP，第n-1次训练得到本地模型为mL为例，将训练数据分别输入到该个性化模型和本地模型中，对应的模型输出分别为zP(个性化模型输出数据)和zL(本地模型输出数据)。然后基于zP与zL进行损失函数计算，并且基于zP与私有数据中的训练数据对应的标签进行损失函数计算，调整第n-1次训练得到的个性化模型的参数，得到训练后的个性化模型即第n次训练得到的个性化模型。
其中，损失函数为L＝LCE+DKL(zP||zL)，LCE表示交叉熵，DKL(zP||zL)表示知识蒸馏(KL散度)。
可选的，如何根据所述本地模型输出数据、个性化模型输出数据以及所述训练数据对应的标签，通过交叉熵和知识蒸馏计算，得到第n次训练得到的个性化模型，即数据提供方根据所述本地模型输出数据、个性化模型输出数据以及所述训练数据对应的标签，通过交叉熵和知识蒸馏计算，得到训练后的个性化模型，可以通过以下步骤实现：
步骤c1、数据提供方根据所述个性化模型输出数据以及所述训练数据对应的标签，通过所述交叉熵计算，调整所述个性化模型的参数，使得所述个性化模型输出数据与所述训练数据对应的标签逼近。
步骤c2、数据提供方根据所述个性化模型输出数据以及所述本地模型输出数据，通过所述知识蒸馏，调整所述个性化模型的参数，使得所述个性化模型输出数据与所述本地模型输出数据逼近。
步骤c3、数据提供方根据调整后的个性化模型的参数，确定所述训练后的个性化模型(即第n次训练得到的个性化模型)。
本实施例中，将训练数据分别输入到该个性化模型和本地模型中，对应的模型输出分别为zP(个性化模型输出数据)和zL(本地模型输出数据)，并基于zP、zL以及私有数据中的标签(即真实标签)进行个性化模型的训练，训练过程是基于交叉熵和知识蒸馏(KL散度)，其中交叉熵的目标是让其个性化模型mP的输出要与真实标签相近，知识蒸馏使其个性化模型mP输出与本地模型mL的输出尽量接近。这样训练出的个性化模型的输出更加接近真实数据，预测准确度较高。
可选的，如何确定初始化的本地模型，即所述协作方根据所述协作方模型确定得到与各个所述数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方，可以通过以下步骤实现：
步骤d1、所述协作方获取各个所述数据提供方提供的资源，所述资源包括所述私有数据和公共数据集。
步骤d2、所述协作方根据各个所述数据提供方提供的资源，通过初始化的协作方模型，确定K个需要不同计算资源的中间模型，其中，K大于或等于0。
步骤d3、所述协作方基于各个所述数据提供方提供的资源的分布，将各个所述中间模型下发给匹配的所述数据提供方，并将所述中间模型作为所述初始化的本地模型。
本实施例中，根据各客户终端的计算资源的分布，初始化K个需要不同计算资源的中间模型。这K个小模型(即中间模型)的选取方式可以为：
假设所有客户终端最小计算资源为Cmin，最大计算资源为Cmax，对各个客户终端按照计算资源的从小到大进行排序(排序方式仅仅是示例性的，在此不做具体限定，需要根据各个中间模型的计算量需求量来确定)，序号分别为i＝0，…，K-1，则服务器的K个中间模型的计算量需求可以分别为Cmin+i*(Cmax-Cmin)/(K-1)，i＝0，…，K-1。这样保证每个客户终端都可以有一个合适的服务器端中间模型。并且，各个中间模型可以不同，同时，中间模型也可以与全局模型不同。
可选的，若K＝0，则将所述初始化的协作方模型作为所述初始化的本地模型。即若K＝0，则直接将服务器端的大模型下发给各客户终端作为本地模型即可。
可选的，如何根据各个所述参与方共有的公共数据集，通过第n次训练得到的个性化模型得到输出数据，即所述数据提供方根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，可以通过以下步骤实现：
步骤e1、所述数据提供方从所述公共数据集中获取目标公共数据集作为所述训练后的个性化模型的输入量。
步骤e2、所述数据提供方根据所述输入量，通过所述训练后的个性化模型(即第n次训练得到的个性化模型)进行预测，得到所述训练后的个性化模型(即第n次训练得到个性化模型)的预测结果，所述预测结果为所述输出数据。
本实施例中，在第n次迭代过程中，各客户终端使用训练后的个性化模型即第n次训练得到的个性化模型，在约定好的公开数据集的部分数据(比如从公共数据集中获取的目标公共数据集)上进行预测，得到输出Zpub_pred(即预测结果)。
通过在服务器和客户端交互过程中，使用不同的传输内容，即服务器下发模型到客户终端，客户终端上传基于公共数据集计算的模型输出到服务器(即不将个性化模型传输给服务器用于模型聚合)，实现客户终端可以保有自己的个性化模型。
可选的，如何通过知识蒸馏训练第n-1次训练得到的协作方模型以及训练各个所述数据提供方对应的第n-1次训练得到的本地模型，得到第n次训练得到的协作方模型以及第n次训练得到的本地模型，即所述协作方根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型以及目标本地模型，可以通过以下步骤实现：
步骤f1、所述协作方对接收到的各个所述数据提供方发送的所述输出数据进行聚合，得到聚合后的输出数据；
步骤f2、所述协作方根据所述聚合后的输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练所述协作方模型，得到目标全局模型；
相应的，步骤f3、所述协作方根据所述聚合后的输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练所述中间模型并将训练后的中间模型作为新的本地模型分别下发给对应的各个所述数据提供方。
具体地，首先，所述协作方对接收到的各个所述数据提供方发送的所述输出数据进行聚合，得到聚合后的输出数据。
然后，所述协作方根据所述聚合后的输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练第n-1次训练得到的协作方模型以及训练各个所述数据提供方对应的第n-1次训练得到的本地模型，得到第n次训练得到的协作方模型以及第n次训练得到的本地模型。
本实施例中，各个客户终端将各自输出Zpub_pred发送到服务器端。服务器端通过聚合，比如，求取加权平均，得到聚合后的输出Zpub_agg。然后服务器端基于聚合得到的Zpub_agg和公共数据集Xpub通过知识蒸馏训练服务器端大模型mLarge，以及可选的训练K个中间模型。服务器端将训练后的中间模型下发给各个客户终端，作为其本地模型。
本发明，针对现有的横向联邦学习存在的问题：一方面，各参与方需使用同样的模型进行训练，若部分参与方计算资源较小，则只能共同训练较小的模型；另一方面，各参与方可能由于本地数据的分布与总体数据的分布不同，导致全局模型在本地数据上效果不佳，此外各参与方基于隐私顾虑，不希望暴露本地的模型。通过知识蒸馏，在服务器端通过各参与方基于公共数据集聚合得到的输出蒸馏训练大模型(可选的小型的中间模型)，然后下发到各参与方；各参与方使用得到的本地模型通过知识蒸馏，将模型的知识传递给各方的个性化模型，实现了本地模型和全局模型的解耦(即两方模型可以异构)，同时保证了各参与方的模型和数据的隐私。此外，通过在服务器端训练不同大小的中间模型，可以实现参与方计算资源受限的情况下共同训练一个大模型。
因此，本发明，通过在服务器和客户终端交互过程中，使用不同的传输内容，即服务器下发模型到客户终端，客户终端上传基于公开数据集计算的模型输出到服务器，实现客户端可以保有自己的个性化模型，并且通过服务器蒸馏不同大小的模型，可以实现客户终端计算资源受限情况下共同训练大模型。
结合图1和图2所示，本发明实施例提供的一种信息处理系统，该系统包括：参与联邦学习的多个参与方中的数据提供方，其中，所述多个参与方中至少一个所述数据提供方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为协作方模型。
其中，所述数据提供方，用于：
根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型；
根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，并将所述输出数据发送至所述多个参与方中的协作方，以使所述协作方根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
本实施例提供的信息处理系统，可以用于执行前述任一方法实施例中提供的数据提供方执行的技术方案，其实现原理和技术效果类似，在此不再赘述。
本实施例提供的信息处理系统，多个参与方可以共用一套代码，使得代码开发的复杂度大大降低，并且在各个参与方的本地计算资源不同，若有参与方计算资源少的场景下，通过知识蒸馏技术，实现知识传输，支持各个参与方进行大模型(全局模型)训练，使得在各个参与方保有个性化模型的同时，有效地实现大模型训练，进而保证联邦学习训练得到的大模型的性能。
结合图1和图2所示，本发明实施例提供的一种信息处理系统，该系统包括：参与联邦学习的多个参与方中的协作方。
其中，所述协作方，用于：
根据协作方模型确定得到与所述多个参与方中的各个数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方，其中，至少一个所述数据提供方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为所述协作方模型；
指示各个所述数据提供方根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型并根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据；
根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
本实施例提供的信息处理系统，可以用于执行前述任一方法实施例中提供的协作方执行的技术方案，其实现原理和技术效果类似，在此不再赘述。
本实施例提供的信息处理系统，多个参与方可以共用一套代码，使得代码开发的复杂度大大降低，并且在各个参与方的本地计算资源不同，若有参与方计算资源少的场景下，通过知识蒸馏技术，实现知识传输，支持各个参与方进行大模型(全局模型)训练，使得在各个参与方保有个性化模型的同时，有效地实现大模型训练，进而保证联邦学习训练得到的大模型的性能。
结合图1和图2所示，本发明实施例提供的一种信息处理系统，该系统包括：参与联邦学习的多个参与方，所述多个参与方包括数据提供方和协作方，所述多个参与方中至少一个数据提供方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为协作方模型。
其中，所述协作方，用于根据所述协作方模型确定得到与各个所述数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方；
所述数据提供方，用于根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型；
所述数据提供方，还用于根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，并将所述输出数据发送至所述协作方；
所述协作方，还用于根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
本实施例提供的信息处理系统，可以用于执行前述任一方法实施例中提供的技术方案，其实现原理和技术效果类似，在此不再赘述。
本实施例提供的信息处理系统，多个参与方可以共用一套代码，使得代码开发的复杂度大大降低，并且在各个参与方的本地计算资源不同，若有参与方计算资源少的场景下，通过知识蒸馏技术，实现知识传输，支持各个参与方进行大模型(全局模型)训练，使得在各个参与方保有个性化模型的同时，有效地实现大模型训练，进而保证联邦学习训练得到的大模型的性能。
针对信息处理方法应用于参与联邦学习的多个参与方中的第一参与方，所述多个参与方中至少一个参与方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据，所述全局模型为协作方模型，本发明实施例提供的一种信息处理装置。
图4为本发明实施例提供的一种信息处理装置的结构示意图。如图4所示，所述信息处理装置应用于参与联邦学习的多个参与方中的第一参与方，所述多个参与方中至少一个参与方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据，所述全局模型为协作方模型；所述装置可以包括：
第一处理模块401，用于在所述第一参与方为数据提供方时，获取所述多个参与方中的协作方发送的第n-1次训练得到的本地模型，根据所述数据提供方的私有数据，通过所述第n-1次训练得到的本地模型和第n-1次训练得到的个性化模型进行知识蒸馏，得到第n次训练得到的个性化模型，并根据各个所述参与方共有的公共数据集，通过第n次训练得到的个性化模型得到输出数据并发送给所述协作方；
第二处理模块402，用于在所述第一参与方为协作方时，根据接收到的各个所述数据提供方发送的所述输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练第n-1次训练得到的协作方模型以及训练各个所述数据提供方对应的第n-1次训练得到的本地模型，得到第n次训练得到的协作方模型以及第n次训练得到的本地模型并将第n次训练得到的本地模型下发给相应的所述数据提供方；
其中，若n＝1时，第n-1次训练得到的本地模型为初始化的本地模型，第n-1次训练得到的协作方模型为初始化的协作方模型，所述初始化的本地模型为通过所述初始化的协作方模型确定的模型。
本实施例提供的信息处理装置，配置了第一处理模块401、第二处理模块402，应用于参与联邦学习的多个参与方中的第一参与方，所述多个参与方中至少一个参与方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据，所述全局模型为协作方模型，用于在所述第一参与方为数据提供方时，获取所述多个参与方中的协作方发送的第n-1次训练得到的本地模型，根据所述数据提供方的私有数据，通过所述第n-1次训练得到的本地模型和第n-1次训练得到的个性化模型进行知识蒸馏，得到第n次训练得到的个性化模型，并根据各个所述参与方共有的公共数据集，通过第n次训练得到的个性化模型得到输出数据并发送给所述协作方；在所述第一参与方为协作方时，根据接收到的各个所述数据提供方发送的所述输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练第n-1次训练得到的协作方模型以及训练各个所述数据提供方对应的第n-1次训练得到的本地模型，得到第n次训练得到的协作方模型以及第n次训练得到的本地模型并将第n次训练得到的本地模型下发给相应的所述数据提供方；其中，若n＝1时，第n-1次训练得到的本地模型为初始化的本地模型，第n-1次训练得到的协作方模型为初始化的协作方模型，所述初始化的本地模型为通过所述初始化的协作方模型确定的模型，多个参与方可以共用一套代码，使得代码开发的复杂度大大降低，并且在各个参与方的本地计算资源不同，若有参与方计算资源少的场景下，通过知识蒸馏技术，实现知识传输，支持各个参与方进行大模型(全局模型)训练，使得在各个参与方保有个性化模型的同时，有效地实现大模型训练，进而保证联邦学习训练得到的大模型的性能。
本实施例提供的信息处理装置，可以用于执行前述任一方法实施例提供的技术方案，其实现原理和技术效果类似，在此不再赘述。
在一种可能的实现方式中，所述私有数据包括训练数据和所述训练数据对应的标签；所述私有数据包括训练数据和所述训练数据对应的标签；所述第一处理模块，包括第一处理单元和第二处理单元；第一处理单元，用于将所述训练数据分别输入到所述第n-1次训练得到的本地模型和所述第n-1次训练得到个性化模型中，得到本地模型输出数据和个性化模型输出数据；
第二处理单元，用于根据所述本地模型输出数据、个性化模型输出数据以及所述训练数据对应的标签，通过交叉熵和知识蒸馏计算，得到第n次训练得到的个性化模型。
在一种可能的实现方式中，所述第二处理单元，具体用于：
根据所述个性化模型输出数据以及所述训练数据对应的标签，通过所述交叉熵计算，调整所述个性化模型的参数，使得所述个性化模型输出数据与所述训练数据对应的标签逼近；
根据所述个性化模型输出数据以及所述本地模型输出数据，通过所述知识蒸馏，调整所述个性化模型的参数，使得所述个性化模型输出数据与所述本地模型输出数据逼近；
根据调整后的个性化模型的参数，确定所述第n次训练得到的个性化模型。
在一种可能的实现方式中，所述信息处理装置，还包括：第三处理模块；第三处理模块，用于获取各个所述数据提供方提供的资源，所述资源包括所述私有数据和公共数据集；根据各个所述数据提供方提供的资源，通过所述初始化的协作方模型，确定K个需要不同计算资源的中间模型，其中，K大于或等于0；基于各个所述数据提供方提供的资源的分布，将各个所述中间模型下发给匹配的所述数据提供方，并将所述中间模型作为所述初始化的本地模型。
在一种可能的实现方式中，若K＝0，则将所述初始化的协作方模型作为所述初始化的本地模型。
在一种可能的实现方式中，第二处理模块，具体用于：
对接收到的各个所述数据提供方发送的所述输出数据进行聚合，得到聚合后的输出数据；
根据所述聚合后的输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练第n-1次训练得到的协作方模型以及训练各个所述数据提供方对应的第n-1次训练得到的本地模型，得到第n次训练得到的协作方模型以及第n次训练得到的本地模型。
在一种可能的实现方式中，第一处理模块，还具体用于：从所述公共数据集中获取目标公共数据集作为所述训练后的个性化模型的输入量；根据所述输入量，通过所述第n次训练得到的个性化模型进行预测，得到所述第n次训练得到个性化模型的预测结果，所述预测结果为所述输出数据。
前述任一实施例提供的信息处理装置，用于执行前述任一方法实施例的技术方案，其实现原理和技术效果类似，在此不再赘述。
相应的，针对信息处理方法应用于参与联邦学习的多个参与方中的第一参与方，所述多个参与方中至少一个参与方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据，所述全局模型为协作方模型，本发明实施例提供的一种信息处理设备。
图5为本发明实施例提供的一种信息处理设备的结构示意图。如图5所示，所述设备可以包括：存储器501、处理器502及存储在所述存储器501上并可在所述处理器502上运行的信息处理程序，所述信息处理程序被所述处理器502执行时实现如前述任一实施例所述的信息处理方法的步骤。
可选地，存储器501既可以是独立的，也可以跟处理器502集成在一起。
本实施例提供的设备的实现原理和技术效果可以参见前述各实施例，此处不再赘述。
相应的，针对信息处理方法应用于参与联邦学习的多个参与方中的第一参与方，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息处理程序，所述信息处理程序被处理器执行时实现如前述任一实施例所述的信息处理方法的步骤。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
相应的，针对信息处理方法应用于参与联邦学习的多个参与方中的第一参与方，本发明还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本发明任一实施例提供的方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种信息处理方法，其特征在于，应用于参与联邦学习的多个参与方，所述多个参与方包括数据提供方和协作方，所述多个参与方中至少一个数据提供方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为协作方模型；所述方法包括：
所述协作方根据所述协作方模型确定得到与各个所述数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方；
针对每个所述数据提供方，所述数据提供方根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型；
所述数据提供方根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，并将所述输出数据发送至所述协作方；
所述协作方根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
2.根据权利要求1所述的方法，其特征在于，所述私有数据包括训练数据和所述训练数据对应的标签；
所述数据提供方根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型，包括：
所述数据提供方将所述训练数据分别输入到所述用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型中，得到本地模型输出数据和个性化模型输出数据；
所述数据提供方根据所述本地模型输出数据、个性化模型输出数据以及所述训练数据对应的标签，通过交叉熵和知识蒸馏计算，得到训练后的个性化模型。
3.根据权利要求2所述的方法，其特征在于，所述数据提供方根据所述本地模型输出数据、个性化模型输出数据以及所述训练数据对应的标签，通过交叉熵和知识蒸馏计算，得到训练后的个性化模型，包括：
所述数据提供方根据所述个性化模型输出数据以及所述训练数据对应的标签，通过所述交叉熵计算，调整所述个性化模型的参数，使得所述个性化模型输出数据与所述训练数据对应的标签逼近；
所述数据提供方根据所述个性化模型输出数据以及所述本地模型输出数据，通过所述知识蒸馏，调整所述个性化模型的参数，使得所述个性化模型输出数据与所述本地模型输出数据逼近；
所述数据提供方根据调整后的个性化模型的参数，确定所述训练后的个性化模型。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述协作方根据所述协作方模型确定得到与各个所述数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方，包括：
所述协作方获取各个所述数据提供方提供的资源，所述资源包括所述私有数据和公共数据集；
所述协作方根据各个所述数据提供方提供的资源，通过初始化的所述协作方模型，确定K个需要不同计算资源的中间模型，其中，K大于或等于0；
所述协作方基于各个所述数据提供方提供的资源的分布，将各个所述中间模型下发给匹配的所述数据提供方，并将所述中间模型作为所述初始化的本地模型。
5.根据权利要求4所述的方法，其特征在于，若K＝0，则将所述初始化的协作方模型作为所述初始化的本地模型。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述协作方根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，包括：
所述协作方对接收到的各个所述数据提供方发送的所述输出数据进行聚合，得到聚合后的输出数据；
所述协作方根据所述聚合后的输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练所述协作方模型，得到目标全局模型；
相应的，所述方法还包括：
所述协作方根据所述聚合后的输出数据和各个所述参与方共有的公共数据集，通过知识蒸馏训练所述中间模型并将训练后的中间模型作为新的本地模型分别下发给对应的各个所述数据提供方。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述数据提供方根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，包括：
所述数据提供方从所述公共数据集中获取目标公共数据集作为所述训练后的个性化模型的输入量；
所述数据提供方根据所述输入量，通过所述训练后的个性化模型进行预测，得到所述训练后的个性化模型的预测结果，所述预测结果为所述输出数据。
8.一种信息处理系统，其特征在于，包括：参与联邦学习的多个参与方中的数据提供方，其中，所述多个参与方中至少一个所述数据提供方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为协作方模型；
所述数据提供方，用于：
根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型；
根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，并将所述输出数据发送至所述多个参与方中的协作方，以使所述协作方根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
9.一种信息处理系统，其特征在于，包括：参与联邦学习的多个参与方中的协作方；
所述协作方，用于：
根据协作方模型确定得到与所述多个参与方中的各个数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方，其中，至少一个所述数据提供方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为所述协作方模型；
指示各个所述数据提供方根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型并根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据；
根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
10.一种信息处理系统，其特征在于，包括：参与联邦学习的多个参与方，所述多个参与方包括数据提供方和协作方，所述多个参与方中至少一个数据提供方的计算资源少于用于支持训练全局模型的预设计算资源，所述计算资源包括私有数据和公共数据集，所述全局模型为协作方模型；
所述协作方，用于根据所述协作方模型确定得到与各个所述数据提供方对应的中间模型并分别下发给对应的各个所述数据提供方；
所述数据提供方，用于根据所述数据提供方的私有数据，对接收到的用于作为其本地模型的所述中间模型和所述数据提供方的个性化模型进行知识蒸馏，得到训练后的个性化模型；
所述数据提供方，还用于根据各个所述参与方共有的所述公共数据集，通过所述训练后的个性化模型进行预测，得到输出数据，并将所述输出数据发送至所述协作方；
所述协作方，还用于根据接收到的各个所述数据提供方发送的所述输出数据和所述公共数据集，通过知识蒸馏对所述协作方模型进行训练，得到目标全局模型，用以执行数据提供方计算资源少于预设计算资源场景下的联邦学习的操作。
CN202110477247.2A 2021-04-29 2021-04-29 信息处理方法及系统 Active CN113222175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110477247.2A CN113222175B (zh) 2021-04-29 2021-04-29 信息处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110477247.2A CN113222175B (zh) 2021-04-29 2021-04-29 信息处理方法及系统

Publications (2)

Publication Number Publication Date
CN113222175A true CN113222175A (zh) 2021-08-06
CN113222175B CN113222175B (zh) 2023-04-18

Family

ID=77090104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110477247.2A Active CN113222175B (zh) 2021-04-29 2021-04-29 信息处理方法及系统

Country Status (1)

Country Link
CN (1) CN113222175B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762530A (zh) * 2021-09-28 2021-12-07 北京航空航天大学 面向隐私保护的精度反馈联邦学习方法
CN114676845A (zh) * 2022-02-18 2022-06-28 支付宝(杭州)信息技术有限公司 模型训练方法和装置、业务预测方法和装置
CN115270001A (zh) * 2022-09-23 2022-11-01 宁波大学 基于云端协同学习的隐私保护推荐方法及系统
WO2023038220A1 (en) * 2021-09-07 2023-03-16 Samsung Electronics Co., Ltd. Method and apparatus for performing horizontal federated learning
WO2023050754A1 (zh) * 2021-09-30 2023-04-06 清华大学 隐私数据集的模型训练方法和装置
CN116797829A (zh) * 2023-06-13 2023-09-22 北京百度网讯科技有限公司 一种模型生成方法、图像分类方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242297A (zh) * 2019-12-19 2020-06-05 北京迈格威科技有限公司 基于知识蒸馏的模型训练方法、图像处理方法及装置
CN112052938A (zh) * 2020-08-14 2020-12-08 同盾控股有限公司 基于知识联邦的多端模型压缩方法、任务预测方法、装置及电子设备
US20200401929A1 (en) * 2019-06-19 2020-12-24 Google Llc Systems and Methods for Performing Knowledge Distillation
CN112464287A (zh) * 2020-12-12 2021-03-09 同济大学 基于秘密共享与联邦学习的多方XGBoost安全预测模型训练方法
US20210089878A1 (en) * 2019-09-20 2021-03-25 International Business Machines Corporation Bayesian nonparametric learning of neural networks
CN112700003A (zh) * 2020-12-25 2021-04-23 深圳前海微众银行股份有限公司 网络结构搜索方法、装置、设备、存储介质及程序产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200401929A1 (en) * 2019-06-19 2020-12-24 Google Llc Systems and Methods for Performing Knowledge Distillation
US20210089878A1 (en) * 2019-09-20 2021-03-25 International Business Machines Corporation Bayesian nonparametric learning of neural networks
CN111242297A (zh) * 2019-12-19 2020-06-05 北京迈格威科技有限公司 基于知识蒸馏的模型训练方法、图像处理方法及装置
CN112052938A (zh) * 2020-08-14 2020-12-08 同盾控股有限公司 基于知识联邦的多端模型压缩方法、任务预测方法、装置及电子设备
CN112464287A (zh) * 2020-12-12 2021-03-09 同济大学 基于秘密共享与联邦学习的多方XGBoost安全预测模型训练方法
CN112700003A (zh) * 2020-12-25 2021-04-23 深圳前海微众银行股份有限公司 网络结构搜索方法、装置、设备、存储介质及程序产品

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023038220A1 (en) * 2021-09-07 2023-03-16 Samsung Electronics Co., Ltd. Method and apparatus for performing horizontal federated learning
CN113762530A (zh) * 2021-09-28 2021-12-07 北京航空航天大学 面向隐私保护的精度反馈联邦学习方法
CN113762530B (zh) * 2021-09-28 2024-02-02 北京航空航天大学 面向隐私保护的精度反馈联邦学习方法
WO2023050754A1 (zh) * 2021-09-30 2023-04-06 清华大学 隐私数据集的模型训练方法和装置
CN114676845A (zh) * 2022-02-18 2022-06-28 支付宝(杭州)信息技术有限公司 模型训练方法和装置、业务预测方法和装置
CN115270001A (zh) * 2022-09-23 2022-11-01 宁波大学 基于云端协同学习的隐私保护推荐方法及系统
CN115270001B (zh) * 2022-09-23 2022-12-23 宁波大学 基于云端协同学习的隐私保护推荐方法及系统
CN116797829A (zh) * 2023-06-13 2023-09-22 北京百度网讯科技有限公司 一种模型生成方法、图像分类方法、装置、设备及介质
CN116797829B (zh) * 2023-06-13 2024-06-14 北京百度网讯科技有限公司 一种模型生成方法、图像分类方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113222175B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN113222175B (zh) 信息处理方法及系统
US11126659B2 (en) System and method for providing a graph protocol for forming a decentralized and distributed graph database
US20210150037A1 (en) Secure Federation of Distributed Stochastic Gradient Descent
CN109274717A (zh) 基于区块链的共享存储方法、装置、介质及电子设备
US20220101189A1 (en) Federated inference
CN112906864A (zh) 信息处理方法、装置、设备、存储介质及计算机程序产品
US10785045B2 (en) Socially enabled consensus blockchain summarization
US11367068B2 (en) Decentralized blockchain for artificial intelligence-enabled skills exchanges over a network
CN113469373A (zh) 基于联邦学习的模型训练方法、系统、设备及存储介质
CN108574706A (zh) 媒体文件的推送方法及装置
CN113221183A (zh) 实现隐私保护的多方协同更新模型的方法、装置及系统
CN110046799A (zh) 决策优化方法及装置
CN112948885A (zh) 实现隐私保护的多方协同更新模型的方法、装置及系统
US20240005165A1 (en) Machine learning model training method, prediction method therefor, apparatus, device, computer-readable storage medium, and computer program product
Kang et al. Stochastic modeling approaches for analyzing blockchain: A survey
CN111222885B (zh) 数据处理请求背书方法、装置、计算机设备及存储介质
CN112765481A (zh) 一种数据处理方法、装置、计算机及可读存储介质
CN110473108A (zh) 基于区块链的合约生成方法和装置
Lotfi et al. Semantic Information Marketing in The Metaverse: A Learning-Based Contract Theory Framework
CN115017362A (zh) 数据处理方法、电子设备及存储介质
CN114021473A (zh) 机器学习模型的训练方法、装置、电子设备及存储介质
CN110781384B (zh) 一种基于优先级的内容推荐方法、装置、设备及介质
CN114611015A (zh) 交互信息处理方法、装置和云服务器
Ma et al. A rational delegating computation protocol based on reputation and smart contract
Dekker et al. Automating bulk commodity trading using smart contracts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant