CN111768008A - 联邦学习方法、装置、设备和存储介质 - Google Patents

联邦学习方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111768008A
CN111768008A CN202010613677.8A CN202010613677A CN111768008A CN 111768008 A CN111768008 A CN 111768008A CN 202010613677 A CN202010613677 A CN 202010613677A CN 111768008 A CN111768008 A CN 111768008A
Authority
CN
China
Prior art keywords
task
model
model training
configuration information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010613677.8A
Other languages
English (en)
Other versions
CN111768008B (zh
Inventor
周学立
朱恩东
张茜
凌海挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010613677.8A priority Critical patent/CN111768008B/zh
Publication of CN111768008A publication Critical patent/CN111768008A/zh
Priority to PCT/CN2020/136112 priority patent/WO2021115480A1/zh
Application granted granted Critical
Publication of CN111768008B publication Critical patent/CN111768008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种联邦学习方法、装置、设备和存储介质。所述方法包括:获取参与目标联邦学习任务的至少两个客户端的任务配置信息;所述任务配置信息为基于所述客户端接收到的任务配置数据进行汇总得到的;根据所述任务配置信息,对所述目标联邦学习任务中的模型训练配置信息进行初始化;基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作,将执行所述模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户端更新本地的联邦学习模型,得到各个所述客户端对应的训练后的联邦学习模型。本方法涉及机器学习领域。采用本方法能够提高联邦学习的易用性。

Description

联邦学习方法、装置、设备和存储介质
技术领域
本申请涉及机器学习技术领域,特别是涉及一种联邦学习方法、装置、设备和存储介质。
背景技术
联邦学习又名联邦机器学习,联合学习,联盟学习。联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。
传统技术在进行联邦学习时,往往需要用户针对联邦学习任务进行一系列繁琐地调试工作,例如,手动调节待训练模型的模型参数、手动进行特征工程等工作,对用户的专业知识和建模经验都有着较高的要求,易用性较差。
因此,现有技术中联邦学习存在易用性较差的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高联邦学习易用性的一种联邦学习方法、装置、计算机设备和存储介质。
一种联邦学习方法,所述方法包括:
获取参与目标联邦学习任务的至少两个客户端的任务配置信息;所述任务配置信息为基于所述客户端接收到的任务配置数据进行汇总得到的;所述任务配置数据为用户针对所述目标联邦学习任务录入的数据;
根据所述任务配置信息,对所述目标联邦学习任务中的模型训练配置信息进行初始化;
基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作;
将执行所述模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户端更新本地的联邦学习模型,得到各个所述客户端对应的训练后的联邦学习模型;所述训练后的联邦学习模型用于供对应的所述客户端对接收到的用户数据进行业务处理。
在其中一个实施例中,所述获取参与目标联邦学习任务的至少两个客户端的任务配置信息,包括:
接收至少两个所述客户端发送的任务配置解析结果;所述任务配置解析结果为所述客户端对所述用户录入的任务配置数据进行解析得到的结果;
汇总多个所述任务配置解析结果,得到所述任务配置信息。
在其中一个实施例中,所述基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作,包括:
根据所述初始化后的模型训练配置信息,确定针对所述模型训练操作的特征工程信息;
根据所述特征工程信息,对储存于各个所述客户端本地的用户数据样本进行特征处理,得到模型训练数据样本;
基于所述模型训练数据样本,执行所述目标联邦学习任务的模型训练操作。
在其中一个实施例中,在所述根据所述初始化后的模型训练配置信息,确定针对所述模型训练操作的特征工程信息的步骤之前,还包括:
根据所述初始化后的模型训练配置信息,确定针对所述模型训练操作的数据预处理配置信息;
根据所述数据预处理配置信息,对储存于各个所述客户端本地的原始用户数据进行数据预处理,得到所述用户数据样本。
在其中一个实施例中,所述目标联邦学习任务具有多个子模型训练任务,所述基于所述模型训练数据样本,执行所述目标联邦学习任务的模型训练操作,包括:
获取任务处理队列;所述任务处理队列用于表征多个所述子模型训练任务的执行顺序;
根据所述任务处理队列,执行多个所述子模型训练任务,以基于所述模型训练数据样本,对所述目标联邦学习任务中的联邦学习模型进行联邦学习训练,得到各个所述客户端对应的模型更新参数;其中,所述联邦学习模型为基于所述初始化后的模型训练配置信息选择得到的。
在其中一个实施例中,所述根据所述任务处理队列,执行多个所述子模型训练任务,包括:
当完成执行各个所述子训练任务后,组合多个所述子训练任务返回的处理结果,得到所述目标联邦学习任务对应的任务处理结果;
根据所述任务处理结果,判断所述训练后的联邦学习模型是否满足预设的训练终止条件;
若否,则基于所述训练后的联邦学习模型的模型性能测试结果,调整所述初始化后的模型训练配置信息;
基于调整后的模型训练配置信息,执行所述目标联邦学习任务的下一轮模型训练操作。
在其中一个实施例中,所述方法还包括:
接收至少两个所述客户端各自发送的样本分布差异信息;所述样本分布差异信息为对应的所述客户端在接收到新增数据样本集合时,根据历史数据样本集合和新增数据样本集合之间的分布差异得到的;
基于所述样本分布差异信息,确定针对所述目标联邦学习任务的整体样本变动值;
当所述整体样本变动值大于预设的变动阈值时,重新生成所述目标联邦学习任务中的联邦学习模型;
基于所述新增数据样本集合,对重新生成的联邦学习模型进行联邦学习训练,得到所述训练后的联邦学习模型。
一种联邦学习装置,所述装置包括:
获取模块,用于获取参与目标联邦学习任务的至少两个客户端的任务配置信息;所述任务配置信息为基于所述客户端接收到的任务配置数据进行汇总得到的;所述任务配置数据为用户针对所述目标联邦学习任务录入的数据;
初始化模块,用于根据所述任务配置信息,对所述目标联邦学习任务中的模型训练配置信息进行初始化;
执行模块,用于基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作;
更新模块,用于将执行所述模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户端更新本地的联邦学习模型,得到各个所述客户端对应的训练后的联邦学习模型;所述训练后的联邦学习模型用于供对应的所述客户端对接收到的用户数据进行业务处理。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
上述一种联邦学习方法、装置、计算机设备和存储介质,通过获取参与目标联邦学习任务的至少两个客户端的任务配置信息;其中,该任务配置信息为基于客户端接收到的任务配置数据进行汇总得到的;任务配置数据为用户针对目标联邦学习任务录入的数据;并根据任务配置信息,对目标联邦学习任务中的模型训练配置信息进行初始化;最后,基于初始化后的模型训练配置信息,执行目标联邦学习任务的模型训练操作,并将在执行模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户可以根据该模型更新参数本地的联邦学习模型进行更新,进而得到用于供对应的客户端对接收到的用户数据进行业务处理的训练后的联邦学习模型;如此,实现了基于多方用户预先录入的任务配置数据,自动化地完成对目标联邦学习任务中的模型训练配置信息进行初始化设置进而供后续进行联邦机器学习,无需多方用户对联邦学习任务中的各个环节进行一系列繁琐地调试和设置工作,减少了在执行联邦学习任务过程中对用户的专业知识和建模经验依赖,提高了联邦学习的易用性。
附图说明
图1为一个实施例中一种联邦学习方法的应用环境图;
图2为一个实施例中一种联邦学习方法的流程示意图;
图3为另一个实施例中一种联邦学习的流程示意图;
图4为另一个实施例中一种联邦学习方法的流程示意图;
图5为一个实施例中一种联邦学习装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的一种联邦学习方法,可以应用于如图1所示的应用环境中。其中,客户端110通过网络与服务端120进行通信。其中,服务端120获取参与目标联邦学习任务的至少两个客户端110的任务配置信息;任务配置信息为至少两个客户端基于目标联邦学习任务创建得到的;服务端120根据任务配置信息,对目标联邦学习任务中的模型训练配置信息进行初始化;服务端120基于初始化后的模型训练配置信息,执行目标联邦学习任务的模型训练操作;最后,服务端120将执行模型训练操作时生成的模型更新参数发送至对应的客户端110,以使客户端110更新本地的联邦学习模型,得到各个客户端110对应的训练后的联邦学习模型;训练后的联邦学习模型用于供对应的客户端110对接收到的用户数据进行业务处理。实际应用中,客户端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务端120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种联邦学习方法,以该方法应用于图1中的服务端为例进行说明,包括以下步骤:
步骤S202,获取参与目标联邦学习任务的至少两个客户端的任务配置信息。
其中,任务配置信息为基于客户端接收到的任务配置数据进行汇总得到的。
其中,任务配置数据为用户针对目标联邦学习任务录入的数据。
具体实现中,客户端需要基于目标联邦学习任务创建对应的任务配置信息。具体来说,客户端可以通过响应用户的联邦学习设置操作,对目标联邦学习任务的任务配置信息进行确定并进行创建;其中,目标联邦学习任务的任务配置信息包括但不限于:任务类型、引擎框架、自动调参算法、提前终止算法、特征工程信息及方法和数据预处理方法等信息。
当客户端确定目标联邦学习任务对应的任务配置信息后,客户端将任务配置信息发送至服务端,以使服务端获取参与目标联邦学习任务的至少两个客户端的任务配置信息。由于任务配置信息不涉及数据安全隐私问题,因此,客户端可以不经加密地向服务端发送该任务配置信息。
步骤S204,根据任务配置信息,对目标联邦学习任务中的模型训练配置信息进行初始化。
其中,模型训练配置信息可以是指在对目标联邦学习任务的机器学习模型进行训练时采用的配置信息。
具体实现中,当服务端接收到任务配置信息后,服务端可以根据接收到的任务配置信息,对目标联邦学习任务中的模型训练配置信息进行初始化设置。
具体来说,服务端根据该任务配置信息,确定针对目标联邦学习任务的目标任务类型、目标引擎框架、目标自动调参算法、目标提前终止算法、目标特征工程、目标数据预处理方案和目标待训练模型等配置信息,以对目标联邦学习任务中的模型训练配置信息进行初始化设置,并完成整个训练任务队列的部署安排。
步骤S206,基于初始化后的模型训练配置信息,执行目标联邦学习任务的模型训练操作。
其中,训练后的联邦学习模型用于供对应的客户端对接收到的用户数据进行业务处理。实际应用中,训练后的联邦学习模型可以应用于广告推荐系统、视频推荐系统、用户信用预测系统等业务系统中。
其中,训练后的联邦学习模型为服务端和客户端进行联邦学习得到的合作训练模型。
当服务端完成对目标联邦学习任务中的模型训练配置信息进行初始化设置后,服务端基于初始化后的模型训练配置信息,利用自动机器学习(auto-ML)执行目标联邦学习任务的模型训练操作。具体来说,服务端可以根据初始化后的模型训练配置信息,调度各个客户端对储存在客户端本地的用户数据进行自动数据预处理和自动特征工程,得到处理后的数据样本。然后,在基于处理后的数据样本,各个客户端和服务端相互合作对待训练的模型进行联邦学习训练。
例如,自动机器学习引擎当获取到任务配置信息后,自动机器学习引擎选定本次目标联邦学习任务需要使用的训练框架、准备使用的待训练模型、模型筛选评估方式和参数模型组等信息。然后,自动机器学习引擎根据选定的训练框架和待训练模型的属性,进行数据预处理工作和特征工程工作。自动机器学习引擎根据框架配置,启动训练框架引擎对数据进行训练,并在训练的中期或者结束的位置对结果进行评估。对输出的评估信息和模型信息进行整理汇总,反馈给全局的自动机器学习引擎,从而实现执行目标联邦学习任务的模型训练操作。
步骤S208,将执行所述模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户端更新本地的联邦学习模型,得到各个所述客户端对应的训练后的联邦学习模型。
具体实现中,各个客户端和服务端在合作对待训练的模型进行联邦学习训练的过程中,各个客户端可以将基于服务端预先分发的公钥以加密形式交互用于计算梯度的中间结果。同时,各个客户端分别基于对上述的中间结果进行计算,并把计算结果汇总给服务端。服务端通过汇总上述的计算结果,计算出总梯度值即模型更新参数,最后将计算得到的模型更新参数发送至对应的客户端,以使各个客户端根据该模型更新参数,更新本地的联邦学习模型的模型参数。
上述联邦学习方法中,通过获取参与目标联邦学习任务的至少两个客户端的任务配置信息;其中,该任务配置信息为基于客户端接收到的任务配置数据进行汇总得到的;任务配置数据为用户针对目标联邦学习任务录入的数据;并根据任务配置信息,对目标联邦学习任务中的模型训练配置信息进行初始化;最后,基于初始化后的模型训练配置信息,执行目标联邦学习任务的模型训练操作,并将在执行模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户可以根据该模型更新参数本地的联邦学习模型进行更新,进而得到用于供对应的客户端对接收到的用户数据进行业务处理的训练后的联邦学习模型;如此,实现了基于多方用户预先录入的任务配置数据,自动化地完成对目标联邦学习任务中的模型训练配置信息进行初始化设置进而供后续进行联邦机器学习,无需多方用户对联邦学习任务中的各个环节进行一系列繁琐地调试和设置工作,减少了在执行联邦学习任务过程中对用户的专业知识和建模经验依赖,提高了联邦学习的易用性。
在另一个实施例中,获取参与目标联邦学习任务的至少两个客户端的任务配置信息,包括:接收至少两个客户端发送的任务配置解析结果;任务配置解析结果为客户端对用户录入的任务配置数据进行解析得到的;任务配置数据为用户基于目标联邦学习任务确定的;汇总多个任务配置解析结果,得到任务配置信息。
具体实现中,服务端在获取参与目标联邦学习任务的至少两个客户端的任务配置信息的过程中,具体包括:当用户通过客户端录入的任务配置数据后,客户端对任务配置数据进行解析,得到任务配置解析结果;然后,客户端通过联邦学习通信的方式将任务配置解析结果发送至服务端。当服务端接收到至少两个客户端发送的任务配置解析结果时,汇总多个任务配置解析结果,得到任务配置信息。
举例来说,用户完成符合任务的Json配置文件填写,并将配置文件部署到客户端指定路径下。其中,配置文件包括frame(框架信息)、model_type(模型类型信息)、eval_mode(评估模式信息)和params(模型调参信息)等参数。
然后,客户端对任务进行解析,解析内容包括但不限于:启动任务的类型、需要使用的引擎框架、需要使用的自动调参算法、需要使用的提前终止算法、是否需要进行特征工程及方法等等。以上解析结果发生并存储于各个客户端本地,并由数据支向服务端进行通信汇总,汇总得到的任务配置解析结果存储于服务端,并由服务端完成整个任务队列的部署安排,储存在任务队列的任务,会依据现有环境信息(例如计算资源情况、前期训练结果等),进行筛选或者增加,并在多方联邦学习的集群的现有队列中进行下属环节的逐个作业。
本实施例的技术方案,通过接收各个客户端对用户录入的任务配置数据进行解析得到的解析结果并进行汇总,准确地确定针对目标联邦学习任务的任务配置信息,进而便于后续为各个联邦学习参与端分配对应的计算任务,从而实现执行目标联邦学习任务的模型训练操作,进而得到与各个客户端对应的训练后的联邦学习模型。
在另一个实施例中,基于初始化后的模型训练配置信息,执行目标联邦学习任务的模型训练操作,得到训练后的联邦学习模型,包括:在初始化后的模型训练配置信息中,确定针对模型训练操作的特征工程信息;根据特征工程信息,对储存于各个客户端本地的用户数据样本进行特征处理,得到模型训练数据样本;基于模型训练数据样本,执行目标联邦学习任务的模型训练操作,得到训练后的联邦学习模型。
其中,特征工程信息可以是在执行模型训练操作过程中所采用的目标特征工程对应的信息。
具体实现中,在用户通过客户端录入针对目标联邦学习任务的任务配置数据的过程中,用户可以针对该目标联邦学习任务,在多个候选特征工程中确定适合于客户端本地所储存的用户数据样本的目标特征工程,进而得到任务配置信息。如此,在服务端根据该任务配置信息,对目标联邦学习任务中的模型训练配置信息进行初始化时,服务端可以将模型训练配置信息中的特征工程信息设置为与用户预先录入的目标特征工程一致的特征工程信息。
然后,服务端在基于初始化后的模型训练配置信息,执行目标联邦学习任务的模型训练操作的过程中,服务端可以在初始化后的模型训练配置信息中,确定针对模型训练操作的特征工程信息;服务端根据特征工程信息,通过调度各个客户端对储存于各个客户端本地的用户数据样本进行特征处理,得到模型训练数据样本。具体地,用户数据样本进行特征的编码,离散,正则化,不同特征之间的交叉等操作。同时,在进行特征处理的过程中,还可以对多个客户端本地的用户数据样本进行交集匹配。其中,交集匹配主要涉及ID的一致性处理,RSA加密计算,通信传输等环节。
最后,基于模型训练数据样本,执行目标联邦学习任务的模型训练操作,得到训练后的联邦学习模型。
本实施例的技术方案,在进行联邦学习的模型训练操作之前,通过在初始化后的模型训练配置信息中,确定针对模型训练操作的特征工程信息,进而基于该特征工程信息,调度各个客户端对储存于本地的用户数据样本进行相应的特征处理,从而得到适用于联邦学习的模型训练数据样本,提高了联邦学习过程中的训练效率。
在另一个实施例中,在根据初始化后的模型训练配置信息,确定针对模型训练操作的特征工程信息的步骤之前,还包括:在初始化后的模型训练配置信息中,确定针对模型训练操作的数据预处理配置信息;根据数据预处理配置信息,对储存于各个客户端本地的原始用户数据进行数据预处理,得到用户数据样本。
具体实现中,在根据初始化后的模型训练配置信息,确定针对模型训练操作的特征工程信息的步骤之前,还包括:服务端在初始化后的模型训练配置信息中,确定针对模型训练操作的数据预处理配置信息;然后,服务端根据数据预处理配置信息,调度各个客户端对储存于各个客户端本地的原始用户数据进行数据预处理,得到用户数据样本。具体来说,可以对原始用户数据进行缺失值、异常值、字符串处理等等,进而得到用于供后续进行特征工程的用户数据样本。
本实施例的技术方案,在对储存于本地的用户数据样本进行特征工程之前,通过根据初始化后的模型训练配置信息,确定针对模型训练操作的数据预处理配置信息,进而基于该数据预处理配置信息,调度各个客户端对储存于本地的原始用户数据进行相应的数据预处理,从而得到便于后续进行特征工程处理的用户数据样本。
在另一个实施例中,目标联邦学习任务具有多个子模型训练任务,基于模型训练数据样本,执行目标联邦学习任务的模型训练操作,得到训练后的联邦学习模型,包括:获取任务处理队列;任务处理队列用于表征多个子模型训练任务的执行顺序;根据任务处理队列,执行多个子模型训练任务,以基于模型训练数据样本,对目标联邦学习任务中的联邦学习模型进行联邦学习训练,得到各个所述客户端对应的模型更新参数;其中,联邦学习模型为基于初始化后的模型训练配置信息选择得到的。
其中,目标联邦学习任务具有多个子模型训练任务。同时,各个子模型训练任务之间的执行解耦互不影响。
具体实现中,在基于模型训练数据样本,执行目标联邦学习任务的模型训练操作,得到训练后的联邦学习模型的过程中,具体包括:服务端的自动机器学习引擎启动后,获取用于表征多个子模型训练任务的执行顺序的任务处理队列;然后,根据任务处理队列,执行多个子模型训练任务;具体来说,服务端向各个客户端请求获取计算资源执行子模型训练任务;其中,子模型训练任务的表现形式为联邦学习,即机器学习的模型训练数据样本分布在不同的客户端中,数据安全不可见。各个客户端通过对中间结果的加密传输运算,同时,各个客户端分别基于对上述的中间结果进行计算,并把计算结果汇总给服务端。服务端通过汇总上述的计算结果,计算出总梯度值即模型更新参数,最后将计算得到的模型更新参数发送至对应的客户端,以使各个客户端根据该模型更新参数,更新本地的联邦学习模型的模型参数,进而实现合作完成目标联邦学习任务中的联邦学习模型的联邦学习训练,同时各个客户端对应的相关模型和数据不出客户端本地。计算任务通过处在服务端的全局进行管理调度。
本实施例的技术方案,目标联邦学习任务具有多个子模型训练任务,通过根据任务处理队列有序地对各个子模型训练任务进行调度和执行,从而高效地执行目标联邦学习任务的模型训练操作,完成目标联邦学习任务中的联邦学习模型进行联邦学习训练,得到各个参与方合作训练得到的训练后的联邦学习模型。
在另一个实施例中,根据任务处理队列,执行多个子模型训练任务,包括:当完成执行各个子训练任务后,组合多个子训练任务返回的处理结果,得到目标联邦学习任务对应的任务处理结果;根据任务处理结果,判断训练后的联邦学习模型是否满足预设的训练终止条件;若否,则基于训练后的联邦学习模型的模型性能测试结果,调整初始化后的模型训练配置信息;基于调整后的模型训练配置信息,执行目标联邦学习任务的下一轮模型训练操作。
其中,训练终止条件包括当训练后的联邦学习模型的模型生成结果已经达到了目标需求、训练后的联邦学习模型的提升情况收敛等条件。
具体实现中,在服务端根据任务处理队列,执行多个子模型训练任务的过程中,具体包括:当服务端完成执行各个子训练任务后,服务端组合多个子训练任务返回的处理结果,得到目标联邦学习任务对应的任务处理结果;根据任务处理结果,判断训练后的联邦学习模型是否满足预设的训练终止条件;若否,则基于训练后的联邦学习模型的模型性能测试结果,调整初始化后的模型训练配置信息。具体来说,服务端可以对训练后的联邦学习模型的模型性能进行测试,进而获取训练后的联邦学习模型的模型性能测试结果(其中,模型性能测试结果包括但不限于:loss(模型损失),模型评估指标AUC(area under thecurve),准确率KS指标等);最后,服务端在基于该模型性能测试结果,重新调整初始化后的模型训练配置信息,例如,调整联邦学习模型的模型网络结构、模型训练方法、采用的损失函数、数据预处理方法、目标特征工程等。当然,服务端对汇总的任务信息进行处理,根据任务开始时的任务要求选择对应的方法。具体地,如果选择的是网格搜索法,则从任务队列中选择一则任务继续即可。如果选择的是贝叶斯、NAS等算法,则进行算法选择下一则任务并继续运行。最后,基于调整后的模型训练配置信息,执行目标联邦学习任务的下一轮模型训练操作。
举例来说,服务端的自动机器学习引擎会对训练的评估信息进行解析,判断是否要进行提前停止或者选择下一轮的任务配置信息,或者通过算法生成下一轮的任务配置信息,并重复执行上述的模型训练操作。更具体地,当完成执行各个子训练任务后,服务端中的各任务计算单元计算出各个子训练任务对应的处理结果,各计算单元将任务结果汇总传输至服务端的master;服务端的master对内存储需要的信息,并将任务参数信息及其任务处理结果传输至服务端的assistant;服务端的assistant计算并得到相应需要的下一步任务环节信息即调整初始化后的模型训练配置信息(例如,是否继续训练搜索,训练的任务参数等等),并将调整后的模型训练配置信息传输给服务端的Master;服务端的Master将调整后的模型训练配置信息进行处理,传输进入任务处理队列之中,当某一任务在任务处理队列中被执行时,则会把该任务对应的任务参数通信传输给多方客户端对应的计算单元之内并执行任务。执行任务后继续重复本环节任务,直到任务完成或者提前终止。
另外,还可以将执行所述目标联邦学习任务的模型训练操作过程中的产生的一系列训练记录信息进行可视化展示。
举例来说,服务端在得到目标联邦学习任务对应的任务处理结果后,还可以对任务处理结果和模型评估结果并进行安全展示。其中,展示信息包括但不限于:训练任务名称,训练任务具体内容,开始时间,目前子任务环节,历史子任务完成情况,完成结果,以及自动学习线路等等。
同时,考虑到Label(标签)提供方的数据安全性,服务端可以不对除Label(标签)提供方以外的数据支持方提供Label(标签)提供方。
为了便于本领域技术人员的理解,图3提供了一种联邦学习的流程示意图。
本实施例的技术方案,通过组合多个子训练任务返回的处理结果,得到目标联邦学习任务对应的任务处理结果,并基于该任务处理结果实现对邦联学习训练效果进行评估,判断训练后的联邦学习模型是否满足预设的训练终止条件,进而及时结束联邦学习模型的训练任务;当训练后的联邦学习模型不满足预设的训练终止条件时,则基于训练后的联邦学习模型的模型性能测试结果,调整初始化后的模型训练配置信息;基于调整后的模型训练配置信息,执行目标联邦学习任务的下一轮模型训练操作,进而实现不断地调整目标联邦学习任务的训练策略,实现高效地进行联邦学习。
在另一个实施例中,上述的方法还包括:接收至少两个客户端各自发送的样本分布差异信息;基于样本分布差异信息,确定针对目标联邦学习任务的整体样本变动值;当整体样本变动值大于预设的变动阈值时,重新生成目标联邦学习任务中的联邦学习模型;基于新增数据样本集合,对重新生成的联邦学习模型进行联邦学习训练,得到训练后的联邦学习模型。
其中,样本分布差异信息为对应的客户端在接收到新增数据样本集合时,根据历史数据样本集合和新增数据样本集合之间的分布差异得到的。
举例来说,当客户端接收到新增数据样本集合test时,客户端从历史保留信息中提取历史数据样本集合base;然后,客户端启动相应计算逻辑计算新增数据样本集合test的相关数据,并完成计算历史数据样本集合和新增数据样本集合之间的分布差异,得到样本分布差异信息PSI。其中,样本分布差异信息PSI可以表示为:
Figure BDA0002563018050000141
其中,i表示每个特征的第i个取值分段,P表示数量占比。其中,当特征具有多个时,可以综合考虑每一个特征对应的PSI,考虑不稳定的特征数,和整体PSI的均值作为样本分布差异信息,进而用于判定是否分层的依据。
当各个客户端计算得到样本分布差异信息PSI后,各个客户端通过联邦通信形式向服务端汇总结果;服务端基于样本分布差异信息PSI计算相应指标;例如计算出整体样本变动值。具体地,服务端可以基于样本分布差异信息PSI,确定各个客户端内部的样本稳定程度值A、基于全局的数据信息判定整体受影响的因子个数B以及整体受影响的因子占比C;最后,服务端可以根据样本稳定程度值、整体受影响的因子个数、整体受影响的因子占比进行加权求和或者加权平均等计算方式,确定整体样本变动值。
当服务端确定整体样本变动值大于预设的变动阈值时,则判定样本出现较大出入,服务端则重新生成目标联邦学习任务中的联邦学习模型;基于新增数据样本集合,对重新生成的联邦学习模型进行联邦学习训练,以实现重启自动机器学习(auto-ML)的训练逻辑,进而得到训练后的联邦学习模型。
本实施例的技术方案,通过接收至少两个客户端各自发送的样本分布差异信息,实现对客户端本地的样本数据的分布情况进行计算和监控。若计算得到的整体样本变动值大于预设的变动阈值时,则对待训练的模型组进行重新的生成,并再基于新增数据样本集合重新的最优模型学习,以保证模型业务效果的长期稳定。
在另一个实施例中,如图4所示,提供了一种联邦学习方法,以该方法应用于图1中的服务端为例进行说明,包括以下步骤:步骤S410,接收至少两个所述客户端发送的任务配置解析结果;所述任务配置解析结果为所述客户端对所述用户录入的任务配置数据进行解析得到的结果。步骤S420,汇总多个所述任务配置解析结果,得到任务配置信息。步骤S430,根据所述任务配置信息,对所述目标联邦学习任务中的模型训练配置信息进行初始化。步骤S440,基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作;步骤S450,将执行所述模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户端更新本地的联邦学习模型,得到各个所述客户端对应的训练后的联邦学习模型;所述训练后的联邦学习模型用于供对应的所述客户端对接收到的用户数据进行业务处理。上述步骤的具体限定可以参见上文对一种联邦学习方法的具体限定。
应该理解的是,虽然图2和图4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2和图4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种联邦学习装置,包括:
获取模块510,用于获取参与目标联邦学习任务的至少两个客户端的任务配置信息;所述任务配置信息为基于所述客户端接收到的任务配置数据进行汇总得到的;所述任务配置数据为用户针对所述目标联邦学习任务录入的数据;
初始化模块520,用于根据所述任务配置信息,对所述目标联邦学习任务中的模型训练配置信息进行初始化;
执行模块530,用于基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作;
更新模块540,用于将执行所述模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户端更新本地的联邦学习模型,得到各个所述客户端对应的训练后的联邦学习模型;所述训练后的联邦学习模型用于供对应的所述客户端对接收到的用户数据进行业务处理。
在其中一个实施例中,所述获取模块510,具体用于接收至少两个所述客户端发送的任务配置解析结果;所述任务配置解析结果为所述客户端对所述用户录入的任务配置数据进行解析得到的结果;汇总多个所述任务配置解析结果,得到所述任务配置信息。
在其中一个实施例中,所述执行模块530,具体用于在所述初始化后的模型训练配置信息中,确定针对所述模型训练操作的特征工程信息;根据所述特征工程信息,对储存于各个所述客户端本地的用户数据样本进行特征处理,得到模型训练数据样本;基于所述模型训练数据样本,执行所述目标联邦学习任务的模型训练操作,得到所述训练后的联邦学习模型。
在其中一个实施例中,所述执行模块530,具体用于在所述初始化后的模型训练配置信息中,确定针对所述模型训练操作的数据预处理配置信息;根据所述数据预处理配置信息,对储存于各个所述客户端本地的原始用户数据进行数据预处理,得到所述用户数据样本。
在其中一个实施例中,所述目标联邦学习任务具有多个子模型训练任务,所述执行模块530,具体用于获取任务处理队列;所述任务处理队列用于表征多个所述子模型训练任务的执行顺序;根据所述任务处理队列,执行多个所述子模型训练任务,以基于所述模型训练数据样本,对所述目标联邦学习任务中的联邦学习模型进行联邦学习训练,得到各个所述客户端对应的模型更新参数;其中,所述联邦学习模型为基于所述初始化后的模型训练配置信息选择得到的。
在其中一个实施例中,所述执行模块530,具体用于当完成执行各个所述子训练任务后,组合多个所述子训练任务返回的处理结果,得到所述目标联邦学习任务对应的任务处理结果;根据所述任务处理结果,判断所述训练后的联邦学习模型是否满足预设的训练终止条件;若否,则基于所述训练后的联邦学习模型的模型性能测试结果,调整所述初始化后的模型训练配置信息;基于调整后的模型训练配置信息,执行所述目标联邦学习任务的下一轮模型训练操作。
在其中一个实施例中,所述联邦学习装置,还包括:接收模块,用于接收至少两个所述客户端各自发送的样本分布差异信息;所述样本分布差异信息为对应的所述客户端在接收到新增数据样本集合时,根据历史数据样本集合和新增数据样本集合之间的分布差异得到的;监控模块,用于基于所述样本分布差异信息,确定针对所述目标联邦学习任务的整体样本变动值;生成模块,用于当所述整体样本变动值大于预设的变动阈值时,重新生成所述目标联邦学习任务中的联邦学习模型;更新模块,用于基于所述新增数据样本集合,对重新生成的联邦学习模型进行联邦学习训练,得到所述训练后的联邦学习模型。
关于联邦学习装置的具体限定可以参见上文中对于联邦学习方法的限定,在此不再赘述。上述联邦学习装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储联邦学习数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种联邦学习方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述一种联邦学习方法的步骤。此处一种联邦学习方法的步骤可以是上述各个实施例的一种联邦学习方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述一种联邦学习方法的步骤。此处一种联邦学习方法的步骤可以是上述各个实施例的一种联邦学习方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种联邦学习方法,其特征在于,所述方法包括:
获取参与目标联邦学习任务的至少两个客户端的任务配置信息;所述任务配置信息为基于所述客户端接收到的任务配置数据进行汇总得到的;所述任务配置数据为用户针对所述目标联邦学习任务录入的数据;
根据所述任务配置信息,对所述目标联邦学习任务中的模型训练配置信息进行初始化;
基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作;
将执行所述模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户端更新本地的联邦学习模型,得到各个所述客户端对应的训练后的联邦学习模型;所述训练后的联邦学习模型用于供对应的所述客户端对接收到的用户数据进行业务处理。
2.根据权利要求1所述的方法,其特征在于,所述获取参与目标联邦学习任务的至少两个客户端的任务配置信息,包括:
接收至少两个所述客户端发送的任务配置解析结果;所述任务配置解析结果为所述客户端对所述用户录入的任务配置数据进行解析得到的结果;
汇总多个所述任务配置解析结果,得到所述任务配置信息。
3.根据权利要求1所述的方法,其特征在于,所述基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作,包括:
在所述初始化后的模型训练配置信息中,确定针对所述模型训练操作的特征工程信息;
根据所述特征工程信息,对储存于各个所述客户端本地的用户数据样本进行特征处理,得到模型训练数据样本;
基于所述模型训练数据样本,执行所述目标联邦学习任务的模型训练操作。
4.根据权利要求3所述的方法,其特征在于,在所述根据所述初始化后的模型训练配置信息,确定针对所述模型训练操作的特征工程信息的步骤之前,还包括:
在所述初始化后的模型训练配置信息中,确定针对所述模型训练操作的数据预处理配置信息;
根据所述数据预处理配置信息,对储存于各个所述客户端本地的原始用户数据进行数据预处理,得到所述用户数据样本。
5.根据权利要求1所述的方法,其特征在于,所述目标联邦学习任务具有多个子模型训练任务,所述基于所述模型训练数据样本,执行所述目标联邦学习任务的模型训练操作,包括:
获取任务处理队列;所述任务处理队列用于表征多个所述子模型训练任务的执行顺序;
根据所述任务处理队列,执行多个所述子模型训练任务,以基于所述模型训练数据样本,对所述目标联邦学习任务中的联邦学习模型进行联邦学习训练,得到各个所述客户端对应的模型更新参数;其中,所述联邦学习模型为基于所述初始化后的模型训练配置信息选择得到的。
6.根据权利要求5所述的方法,其特征在于,所述根据所述任务处理队列,执行多个所述子模型训练任务,包括:
当完成执行各个所述子训练任务后,组合多个所述子训练任务返回的处理结果,得到所述目标联邦学习任务对应的任务处理结果;
根据所述任务处理结果,判断所述训练后的联邦学习模型是否满足预设的训练终止条件;
若否,则基于所述训练后的联邦学习模型的模型性能测试结果,调整所述初始化后的模型训练配置信息;
基于调整后的模型训练配置信息,执行所述目标联邦学习任务的下一轮模型训练操作。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收至少两个所述客户端各自发送的样本分布差异信息;所述样本分布差异信息为对应的所述客户端在接收到新增数据样本集合时,根据历史数据样本集合和新增数据样本集合之间的分布差异得到的;
基于所述样本分布差异信息,确定针对所述目标联邦学习任务的整体样本变动值;
当所述整体样本变动值大于预设的变动阈值时,重新生成所述目标联邦学习任务中的联邦学习模型;
基于所述新增数据样本集合,对重新生成的联邦学习模型进行联邦学习训练,得到所述训练后的联邦学习模型。
8.一种联邦学习装置,其特征在于,所述装置包括:
获取模块,用于获取参与目标联邦学习任务的至少两个客户端的任务配置信息;所述任务配置信息为基于所述客户端接收到的任务配置数据进行汇总得到的;所述任务配置数据为用户针对所述目标联邦学习任务录入的数据;
初始化模块,用于根据所述任务配置信息,对所述目标联邦学习任务中的模型训练配置信息进行初始化;
执行模块,用于基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作;
更新模块,用于将执行所述模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户端更新本地的联邦学习模型,得到各个所述客户端对应的训练后的联邦学习模型;所述训练后的联邦学习模型用于供对应的所述客户端对接收到的用户数据进行业务处理。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010613677.8A 2020-06-30 2020-06-30 联邦学习方法、装置、设备和存储介质 Active CN111768008B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010613677.8A CN111768008B (zh) 2020-06-30 2020-06-30 联邦学习方法、装置、设备和存储介质
PCT/CN2020/136112 WO2021115480A1 (zh) 2020-06-30 2020-12-14 联邦学习方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010613677.8A CN111768008B (zh) 2020-06-30 2020-06-30 联邦学习方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111768008A true CN111768008A (zh) 2020-10-13
CN111768008B CN111768008B (zh) 2023-06-16

Family

ID=72723151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010613677.8A Active CN111768008B (zh) 2020-06-30 2020-06-30 联邦学习方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN111768008B (zh)
WO (1) WO2021115480A1 (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270597A (zh) * 2020-11-10 2021-01-26 恒安嘉新(北京)科技股份公司 业务处理、信用评价模型训练方法、装置、设备及介质
CN112286967A (zh) * 2020-10-23 2021-01-29 上海淇玥信息技术有限公司 一种基于联系人执行业务任务的方法、装置和电子设备
CN112381000A (zh) * 2020-11-16 2021-02-19 深圳前海微众银行股份有限公司 基于联邦学习的人脸识别方法、装置、设备及存储介质
CN112598127A (zh) * 2020-12-16 2021-04-02 百度在线网络技术(北京)有限公司 联邦学习模型训练方法和装置、电子设备、介质和产品
CN112598139A (zh) * 2020-12-22 2021-04-02 百度在线网络技术(北京)有限公司 类别编码方法、装置、设备、存储介质及程序产品
CN112671613A (zh) * 2020-12-28 2021-04-16 深圳市彬讯科技有限公司 联邦学习集群监控方法、装置、设备及介质
CN112686369A (zh) * 2020-12-10 2021-04-20 广州广电运通金融电子股份有限公司 中心方选择方法、存储介质和系统
CN112700003A (zh) * 2020-12-25 2021-04-23 深圳前海微众银行股份有限公司 网络结构搜索方法、装置、设备、存储介质及程序产品
CN112785144A (zh) * 2021-01-18 2021-05-11 深圳前海微众银行股份有限公司 基于联邦学习的模型构建方法、设备及存储介质
WO2021115480A1 (zh) * 2020-06-30 2021-06-17 平安科技(深圳)有限公司 联邦学习方法、装置、设备和存储介质
CN113222169A (zh) * 2021-03-18 2021-08-06 中国地质大学(北京) 结合大数据分析反馈的联邦机器组合服务方法与系统
CN113221470A (zh) * 2021-06-10 2021-08-06 南方电网科学研究院有限责任公司 一种用于电网边缘计算系统的联邦学习方法及其相关装置
CN113378993A (zh) * 2021-07-09 2021-09-10 深圳前海微众银行股份有限公司 基于人工智能的分类方法、装置、设备及存储介质
CN113378994A (zh) * 2021-07-09 2021-09-10 浙江大学 一种图像识别方法、装置、设备及计算机可读存储介质
WO2021189974A1 (zh) * 2020-10-21 2021-09-30 平安科技(深圳)有限公司 模型训练方法、文本分类方法、装置、计算机设备和介质
CN113642844A (zh) * 2021-07-12 2021-11-12 建信金融科技有限责任公司 联邦学习任务管理方法及系统
CN113724059A (zh) * 2020-12-29 2021-11-30 京东城市(北京)数字科技有限公司 联邦学习模型的训练方法、装置和电子设备
CN113762526A (zh) * 2021-09-07 2021-12-07 京东科技信息技术有限公司 联邦学习的方法及分层网络系统、存储介质、电子设备
CN113807538A (zh) * 2021-04-09 2021-12-17 京东科技控股股份有限公司 联邦学习方法、装置、电子设备及存储介质
CN113807535A (zh) * 2021-04-01 2021-12-17 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN113821827A (zh) * 2021-02-19 2021-12-21 支付宝(杭州)信息技术有限公司 保护多方数据隐私的联合建模方法及装置
CN114168295A (zh) * 2021-12-10 2022-03-11 深圳致星科技有限公司 混合架构系统及基于历史任务效果的任务调度方法
WO2022077948A1 (zh) * 2020-10-14 2022-04-21 新智数字科技有限公司 基于联合学习的物联网数据服务方法、装置、设备和介质
WO2022108529A1 (zh) * 2020-11-19 2022-05-27 脸萌有限公司 模型构建方法、装置、介质及电子设备
CN114844915A (zh) * 2021-01-14 2022-08-02 新智数字科技有限公司 一种基于联合训练全流程框架的模型训练方法
CN114866545A (zh) * 2022-04-19 2022-08-05 郑州大学 一种基于空中计算的半异步分层联邦学习方法及系统
CN115907003A (zh) * 2022-12-07 2023-04-04 中国人民解放军国防科技大学 基于度量学习的联邦学习恶意模型更新的检测方法及系统
CN116050548A (zh) * 2023-03-27 2023-05-02 深圳前海环融联易信息科技服务有限公司 一种联邦学习方法、装置及电子设备
WO2023125747A1 (zh) * 2021-12-30 2023-07-06 维沃移动通信有限公司 模型训练方法、装置及通信设备
WO2023207980A1 (zh) * 2022-04-29 2023-11-02 维沃移动通信有限公司 模型信息获取方法、发送方法、装置、节点和储存介质

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409134A (zh) * 2021-06-30 2021-09-17 中国工商银行股份有限公司 基于联邦学习的企业融资授信方法及装置
CN113487351A (zh) * 2021-07-05 2021-10-08 哈尔滨工业大学(深圳) 隐私保护广告点击率预测方法、装置、服务器及存储介质
CN113705634B (zh) * 2021-08-11 2024-05-10 西安交通大学 一种基于分层自适应的联邦学习方法、装置、设备及介质
CN113781397B (zh) * 2021-08-11 2023-11-21 中国科学院信息工程研究所 基于联邦学习的医疗影像病灶检测建模方法、装置及系统
CN113657525B (zh) * 2021-08-23 2024-04-26 同盾科技有限公司 基于KMeans的跨特征联邦聚类方法及相关设备
CN113723619B (zh) * 2021-08-31 2024-06-21 南京大学 一种基于训练阶段感知策略的联邦学习训练方法
CN113836809B (zh) * 2021-09-26 2023-12-01 上海万向区块链股份公司 基于区块链和联邦学习的跨行业数据联合建模方法及系统
CN113887740B (zh) * 2021-10-21 2024-07-16 支付宝(杭州)信息技术有限公司 联合更新模型的方法、装置及系统
CN114065864B (zh) * 2021-11-19 2023-08-11 北京百度网讯科技有限公司 联邦学习方法、联邦学习装置、电子设备以及存储介质
CN114125861B (zh) * 2021-11-26 2024-09-24 北京邮电大学 一种无线联邦学习方法及装置
CN114302422B (zh) * 2021-11-29 2024-06-18 北京邮电大学 利用学习模型进行业务处理的方法以及装置
CN114358306A (zh) * 2021-11-29 2022-04-15 海南火链科技有限公司 基于区块链分片和联邦学习的供应链数据协同方法及装置
CN114118446B (zh) * 2021-12-02 2024-08-23 建信金融科技有限责任公司 对象处理方法、装置及设备
CN114219098B (zh) * 2021-12-03 2024-06-11 华融融通(北京)科技有限公司 一种基于参数服务器的联邦学习系统
CN114357067B (zh) * 2021-12-15 2024-06-25 华南理工大学 一种针对数据异构性的个性化联邦元学习方法
CN114418380B (zh) * 2022-01-17 2024-09-06 建信金融科技有限责任公司 基于联邦学习的用户评分方法、服务器及存储介质
CN114529012A (zh) * 2022-02-18 2022-05-24 厦门大学 一种基于双阶段个性化联邦学习方法
CN114742240B (zh) * 2022-03-09 2024-09-27 大连理工大学 一种横向联邦学习方法、装置及存储介质
CN114785731B (zh) * 2022-04-25 2024-07-19 中国电信股份有限公司 模型确定系统及方法、计算机可存储介质
CN114866599B (zh) * 2022-04-29 2024-03-29 济南中科泛在智能计算研究院 基于最优联邦方选择的联邦学习方法、设备及系统
CN114745253B (zh) * 2022-05-06 2024-09-13 中电信数智科技有限公司 基于Transformer和联邦学习的流量预警方法
CN115081676B (zh) * 2022-05-09 2024-06-28 南京邮电大学 一种基于合同理论的多任务无线联邦学习方法
CN115021883B (zh) * 2022-07-13 2022-12-27 北京物资学院 无线蜂窝系统中应用联邦学习的信令机制
CN117648981A (zh) * 2022-08-11 2024-03-05 华为技术有限公司 一种推理方法及相关装置
CN115496204B (zh) * 2022-10-09 2024-02-02 南京邮电大学 一种跨域异质场景下的面向联邦学习的评测方法及装置
CN115577797B (zh) * 2022-10-18 2023-09-26 东南大学 一种基于本地噪声感知的联邦学习优化方法及系统
CN115587633A (zh) * 2022-11-07 2023-01-10 重庆邮电大学 一种基于参数分层的个性化联邦学习方法
CN115827224A (zh) * 2022-11-17 2023-03-21 天翼电子商务有限公司 一种基于联邦学习多任务单向胶囊网络资源调度方法
CN115775010B (zh) * 2022-11-23 2024-03-19 国网江苏省电力有限公司信息通信分公司 基于横向联邦学习的电力数据共享方法
CN115860116A (zh) * 2022-12-02 2023-03-28 广州图灵科技有限公司 一种基于生成模型和深度迁移学习的联邦学习方法
CN116361398B (zh) * 2023-02-21 2023-12-26 北京大数据先进技术研究院 一种用户信用评估方法、联邦学习系统、装置和设备
CN116541712B (zh) * 2023-06-26 2023-12-26 杭州金智塔科技有限公司 基于非独立同分布数据的联邦建模方法及系统
CN117010484B (zh) * 2023-10-07 2024-01-26 之江实验室 基于注意力机制的个性化联邦学习泛化方法、设备、应用
CN117196069B (zh) * 2023-11-07 2024-01-30 中电科大数据研究院有限公司 联邦学习方法
CN117857647B (zh) * 2023-12-18 2024-09-13 慧之安信息技术股份有限公司 基于mqtt面向工业物联网的联邦学习通信方法和系统
CN117539449B (zh) * 2024-01-09 2024-03-29 清华大学 一种高效灵活的协作学习框架及方法
CN118333192B (zh) * 2024-06-12 2024-10-01 杭州金智塔科技有限公司 面向数据要素流通的联邦建模方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180316502A1 (en) * 2017-04-27 2018-11-01 Factom Data Reproducibility Using Blockchains
WO2019010950A1 (zh) * 2017-07-13 2019-01-17 北京大学深圳研究生院 用于图像或视频中行人重识别的深度判别网络模型方法
CN109886417A (zh) * 2019-03-01 2019-06-14 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN110263921A (zh) * 2019-06-28 2019-09-20 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110797124A (zh) * 2019-10-30 2020-02-14 腾讯科技(深圳)有限公司 一种模型多端协同训练方法、医疗风险预测方法和装置
CN111291897A (zh) * 2020-02-10 2020-06-16 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111310047A (zh) * 2020-02-20 2020-06-19 深圳前海微众银行股份有限公司 基于fm模型的信息推荐方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644255B (zh) * 2016-07-21 2022-05-06 北京和信康科技有限公司 一种人工智能设备的数据处理方法、装置及系统
CN109144729A (zh) * 2018-08-27 2019-01-04 联想(北京)有限公司 分布式系统的数据处理方法和分布式系统
CN110428058B (zh) * 2019-08-08 2024-04-26 深圳前海微众银行股份有限公司 联邦学习模型训练方法、装置、终端设备及存储介质
CN111768008B (zh) * 2020-06-30 2023-06-16 平安科技(深圳)有限公司 联邦学习方法、装置、设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180316502A1 (en) * 2017-04-27 2018-11-01 Factom Data Reproducibility Using Blockchains
WO2019010950A1 (zh) * 2017-07-13 2019-01-17 北京大学深圳研究生院 用于图像或视频中行人重识别的深度判别网络模型方法
CN109886417A (zh) * 2019-03-01 2019-06-14 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN110263921A (zh) * 2019-06-28 2019-09-20 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110797124A (zh) * 2019-10-30 2020-02-14 腾讯科技(深圳)有限公司 一种模型多端协同训练方法、医疗风险预测方法和装置
CN111291897A (zh) * 2020-02-10 2020-06-16 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111310047A (zh) * 2020-02-20 2020-06-19 深圳前海微众银行股份有限公司 基于fm模型的信息推荐方法、装置、设备及存储介质

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115480A1 (zh) * 2020-06-30 2021-06-17 平安科技(深圳)有限公司 联邦学习方法、装置、设备和存储介质
WO2022077948A1 (zh) * 2020-10-14 2022-04-21 新智数字科技有限公司 基于联合学习的物联网数据服务方法、装置、设备和介质
EP4131092A4 (en) * 2020-10-14 2023-09-20 Ennew Digital Technology Co., Ltd. FEDERATED LEARNING-BASED INTERNET OF THINGS DATA SERVICE METHOD AND APPARATUS, DEVICE AND MEDIUM
WO2021189974A1 (zh) * 2020-10-21 2021-09-30 平安科技(深圳)有限公司 模型训练方法、文本分类方法、装置、计算机设备和介质
CN112286967A (zh) * 2020-10-23 2021-01-29 上海淇玥信息技术有限公司 一种基于联系人执行业务任务的方法、装置和电子设备
CN112270597A (zh) * 2020-11-10 2021-01-26 恒安嘉新(北京)科技股份公司 业务处理、信用评价模型训练方法、装置、设备及介质
CN112381000A (zh) * 2020-11-16 2021-02-19 深圳前海微众银行股份有限公司 基于联邦学习的人脸识别方法、装置、设备及存储介质
WO2022108529A1 (zh) * 2020-11-19 2022-05-27 脸萌有限公司 模型构建方法、装置、介质及电子设备
CN112686369A (zh) * 2020-12-10 2021-04-20 广州广电运通金融电子股份有限公司 中心方选择方法、存储介质和系统
WO2022121030A1 (zh) * 2020-12-10 2022-06-16 广州广电运通金融电子股份有限公司 中心方选择方法、存储介质和系统
CN112686369B (zh) * 2020-12-10 2024-02-27 广州广电运通金融电子股份有限公司 中心方选择方法、存储介质和系统
CN112598127B (zh) * 2020-12-16 2023-07-25 百度在线网络技术(北京)有限公司 联邦学习模型训练方法和装置、电子设备、介质和产品
CN112598127A (zh) * 2020-12-16 2021-04-02 百度在线网络技术(北京)有限公司 联邦学习模型训练方法和装置、电子设备、介质和产品
CN112598139B (zh) * 2020-12-22 2023-08-18 百度在线网络技术(北京)有限公司 类别编码方法、装置、设备、存储介质及程序产品
CN112598139A (zh) * 2020-12-22 2021-04-02 百度在线网络技术(北京)有限公司 类别编码方法、装置、设备、存储介质及程序产品
CN112700003A (zh) * 2020-12-25 2021-04-23 深圳前海微众银行股份有限公司 网络结构搜索方法、装置、设备、存储介质及程序产品
CN112671613B (zh) * 2020-12-28 2022-08-23 深圳市彬讯科技有限公司 联邦学习集群监控方法、装置、设备及介质
CN112671613A (zh) * 2020-12-28 2021-04-16 深圳市彬讯科技有限公司 联邦学习集群监控方法、装置、设备及介质
CN113724059A (zh) * 2020-12-29 2021-11-30 京东城市(北京)数字科技有限公司 联邦学习模型的训练方法、装置和电子设备
CN114844915A (zh) * 2021-01-14 2022-08-02 新智数字科技有限公司 一种基于联合训练全流程框架的模型训练方法
CN112785144A (zh) * 2021-01-18 2021-05-11 深圳前海微众银行股份有限公司 基于联邦学习的模型构建方法、设备及存储介质
CN113821827B (zh) * 2021-02-19 2024-04-19 支付宝(杭州)信息技术有限公司 保护多方数据隐私的联合建模方法及装置
CN113821827A (zh) * 2021-02-19 2021-12-21 支付宝(杭州)信息技术有限公司 保护多方数据隐私的联合建模方法及装置
CN113222169A (zh) * 2021-03-18 2021-08-06 中国地质大学(北京) 结合大数据分析反馈的联邦机器组合服务方法与系统
CN113222169B (zh) * 2021-03-18 2023-06-23 中国地质大学(北京) 结合大数据分析反馈的联邦机器组合服务方法与系统
CN113807535A (zh) * 2021-04-01 2021-12-17 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN113807535B (zh) * 2021-04-01 2023-11-03 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN113807538A (zh) * 2021-04-09 2021-12-17 京东科技控股股份有限公司 联邦学习方法、装置、电子设备及存储介质
WO2022213954A1 (zh) * 2021-04-09 2022-10-13 京东科技控股股份有限公司 联邦学习方法、装置、电子设备及存储介质
CN113807538B (zh) * 2021-04-09 2024-02-06 京东科技控股股份有限公司 联邦学习方法、装置、电子设备及存储介质
CN113221470A (zh) * 2021-06-10 2021-08-06 南方电网科学研究院有限责任公司 一种用于电网边缘计算系统的联邦学习方法及其相关装置
CN113378994A (zh) * 2021-07-09 2021-09-10 浙江大学 一种图像识别方法、装置、设备及计算机可读存储介质
CN113378993A (zh) * 2021-07-09 2021-09-10 深圳前海微众银行股份有限公司 基于人工智能的分类方法、装置、设备及存储介质
CN113642844A (zh) * 2021-07-12 2021-11-12 建信金融科技有限责任公司 联邦学习任务管理方法及系统
CN113762526A (zh) * 2021-09-07 2021-12-07 京东科技信息技术有限公司 联邦学习的方法及分层网络系统、存储介质、电子设备
CN113762526B (zh) * 2021-09-07 2024-02-09 京东科技信息技术有限公司 联邦学习的方法及分层网络系统、存储介质、电子设备
CN114168295A (zh) * 2021-12-10 2022-03-11 深圳致星科技有限公司 混合架构系统及基于历史任务效果的任务调度方法
WO2023125747A1 (zh) * 2021-12-30 2023-07-06 维沃移动通信有限公司 模型训练方法、装置及通信设备
CN114866545A (zh) * 2022-04-19 2022-08-05 郑州大学 一种基于空中计算的半异步分层联邦学习方法及系统
WO2023207980A1 (zh) * 2022-04-29 2023-11-02 维沃移动通信有限公司 模型信息获取方法、发送方法、装置、节点和储存介质
CN115907003A (zh) * 2022-12-07 2023-04-04 中国人民解放军国防科技大学 基于度量学习的联邦学习恶意模型更新的检测方法及系统
CN116050548B (zh) * 2023-03-27 2023-07-04 深圳前海环融联易信息科技服务有限公司 一种联邦学习方法、装置及电子设备
CN116050548A (zh) * 2023-03-27 2023-05-02 深圳前海环融联易信息科技服务有限公司 一种联邦学习方法、装置及电子设备

Also Published As

Publication number Publication date
CN111768008B (zh) 2023-06-16
WO2021115480A1 (zh) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111768008A (zh) 联邦学习方法、装置、设备和存储介质
CN111339433B (zh) 基于人工智能的信息推荐方法、装置、电子设备
CN111611488B (zh) 基于人工智能的信息推荐方法、装置、电子设备
CN112884092A (zh) Ai模型生成方法、电子设备及存储介质
JP2024503774A (ja) 融合パラメータの特定方法及び装置、情報推奨方法及び装置、パラメータ測定モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN113869521A (zh) 构建预测模型的方法、装置、计算设备和存储介质
CN113569151B (zh) 基于人工智能的数据推荐方法、装置、设备及介质
CN113204692A (zh) 数据处理任务执行进度的监测方法及装置
CN113297393A (zh) 基于态势感知和大数据的情报生成方法及信息安全系统
CN112817563B (zh) 目标属性配置信息确定方法、计算机设备和存储介质
CN111582341A (zh) 用户异常操作预测方法及装置
CN115730947A (zh) 银行客户流失预测方法及装置
CN114528474A (zh) 推荐对象确定方法、装置、电子设备及存储介质
CN111079175B (zh) 数据处理方法、装置、计算机可读存储介质和计算机设备
CN113962417A (zh) 一种视频处理方法、装置、电子设备和存储介质
CN109710778B (zh) 一种多媒体信息处理方法、装置及存储介质
CN115563069B (zh) 基于人工智能的数据共享处理方法、系统及云平台
CN115878900A (zh) 基于人工智能的用户在线意图分析方法及大数据电商平台
CN107688582B (zh) 资源推荐模型的获取方法及装置
CN106528795B (zh) 一种数据挖掘方法及装置
CN113435516B (zh) 数据分类方法和装置
KR20220152256A (ko) 랜덤 포레스트 분류기를 사용하여 관리 협정에 관련되는 예측을 생성하기 위해 다양한 시간적 특성을 갖는 데이터를 프로세싱하기 위한 방법 및 시스템
CN115146775A (zh) 边缘设备推理加速方法、装置和数据处理系统
CN114168234A (zh) 微服务流程的处理方法、装置、电子设备及存储介质
CN113393047A (zh) 一种业务场景关键表预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant