CN118175052A - 模型训练方法、终端及网络侧设备 - Google Patents

模型训练方法、终端及网络侧设备 Download PDF

Info

Publication number
CN118175052A
CN118175052A CN202310372773.1A CN202310372773A CN118175052A CN 118175052 A CN118175052 A CN 118175052A CN 202310372773 A CN202310372773 A CN 202310372773A CN 118175052 A CN118175052 A CN 118175052A
Authority
CN
China
Prior art keywords
federal learning
model
message
information
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310372773.1A
Other languages
English (en)
Inventor
程思涵
崇卫微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to PCT/CN2023/136968 priority Critical patent/WO2024120470A1/zh
Publication of CN118175052A publication Critical patent/CN118175052A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/2869Terminals specially adapted for communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请实施例公开了一种模型训练方法、终端及网络侧设备,属于通信技术领域,本申请实施例的模型训练方法包括:第一设备接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止;所述第一设备基于所述第一消息执行第一操作;其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。

Description

模型训练方法、终端及网络侧设备
技术领域
本申请属于通信技术领域,具体涉及一种模型训练方法、终端及网络侧设备。
背景技术
联邦学习旨在建立一个基于分布数据集的联邦学习模型。在联邦学习模型训练过程中,联邦学习模型相关的信息能够在各方之间交换(或者是以加密形式交换),但原始数据不能交换,从而不会暴露每个站点上数据的隐私部分。
横向联邦学习的本质是样本的联合,适用于参与者间业态相同但触达客户不同的场景,即特征重叠多,用户重叠少的场景,比如通信网络内核心网域和接入网域服务不同用户(如每一个终端,即样本不同)的同一服务(如会话管理业务)。通过联合参与方的不同样本的相同数据特征,横向联邦使训练样本的数量增多,从而得到一个更好的联邦学习模型。
相关技术中,在联邦学习训练结束后还没有相应的处理机制,在联邦学习训练结束后,客户端通常还会停留在等待下一轮训练的状态,占用大量的空间及运算能力。
发明内容
本申请实施例提供一种模型训练方法、终端及网络侧设备,能够解决因客户端无法获知联邦学习训练结束,进而无法执行下一步的操作,占用空间及运算能力的问题。
第一方面,提供了一种模型训练方法,包括:第一设备接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止;所述第一设备基于所述第一消息执行第一操作;其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
第二方面,提供了一种模型训练方法,包括:第二设备向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
第三方面,提供了一种模型训练装置,应用于第一设备,包括:接收模块,用于接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止;处理模块,用于基于所述第一消息执行第一操作;其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
第四方面,提供了一种模型训练装置,应用于第二设备,包括:发送模块,用于向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
第五方面,提供了一种终端,该终端包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的方法的步骤。
第六方面,提供了一种终端,包括处理器及通信接口,其中,所述通信接口用于接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止;所述处理器用于基于所述第一消息执行第一操作;其中,所述终端包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。或者,所述通信接口用于向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;其中,所述第一设备包括联邦学习的客户端,所述终端包括联邦学习的服务器。
第七方面,提供了一种网络侧设备,该网络侧设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的方法的步骤。
第八方面,提供了一种网络侧设备,包括处理器及通信接口,其中,所述通信接口用于接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止;所述处理器用于基于所述第一消息执行第一操作;其中,所述网络侧设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。或者,所述通信接口用于向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;其中,所述第一设备包括联邦学习的客户端,所述网络侧设备包括联邦学习的服务器。
第九方面,提供了一种模型训练系统,包括:终端及网络侧设备,所述终端可用于执行如第一方面所述的方法的步骤,所述网络侧设备可用于执行如第二方面所述的方法的步骤;或者,所述终端可用于执行如第二方面所述的方法的步骤,所述网络侧设备可用于执行如第一方面所述的方法的步骤。
第十方面,提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤,或者实现如第二方面所述的方法的步骤。
第十一方面,提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法的步骤,或实现如第二方面所述的方法的步骤。
第十二方面,提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤,或者实现如第二方面所述的方法的步骤。
在本申请实施例中,在联邦学习训练终止或中止后,服务器可以向客户端发送第一消息,第一消息用于指示联邦学习训练终止或中止,这样,第一设备即可获知联邦学习训练结束,可以基于第一消息执行第一操作,例如,停止本地联邦学习训练,删除本地联邦学习模型等,避免占用客户端的空间及运算能力,提升客户端的性能。
附图说明
图1是根据本申请实施例的无线通信系统的示意图;
图2是根据本申请实施例的模型训练方法的示意性流程图;
图3是根据本申请实施例的模型训练方法的示意性流程图;
图4是根据本申请实施例的模型训练方法的示意性流程图;
图5是根据本申请实施例的模型训练装置的结构示意图;
图6是根据本申请实施例的模型训练装置的结构示意图;
图7是根据本申请实施例的通信设备的结构示意图;
图8是根据本申请实施例的终端的结构示意图;
图9是根据本申请实施例的网络侧设备的结构示意图;
图10是根据本申请实施例的网络侧设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”所区别的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是,本申请实施例所描述的技术不限于长期演进型(Long TermEvolution,LTE)/LTE的演进(LTE-Advanced,LTE-A)系统,还可用于其他无线通信系统,诸如码分多址(Code Division Multiple Access,CDMA)、时分多址(Time DivisionMultiple Access,TDMA)、频分多址(Frequency Division Multiple Access,FDMA)、正交频分多址(OrthogonalFrequency Division Multiple Access,OFDMA)、单载波频分多址(Single-carrier FrequencyDivision Multiple Access,SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用,所描述的技术既可用于以上提及的系统和无线电技术,也可用于其他系统和无线电技术。以下描述出于示例目的描述了新空口(New Radio,NR)系统,并且在以下大部分描述中使用NR术语,但是这些技术也可应用于NR系统应用以外的应用,如第6代(6th Generation,6G)通信系统。
图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中,终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal DigitalAssistant,PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、移动上网装置(Mobile Internet Device,MID)、增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴式设备(WearableDevice)、车载设备(VUE)、行人终端(PUE)、智能家居(具有无线通信功能的家居设备,如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer,PC)、柜员机或者自助机等终端侧设备,可穿戴式设备包括:智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是,在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备,其中,接入网设备也可以称为无线接入网设备、无线接入网(Radio AccessNetwork,RAN)、无线接入网功能或无线接入网单元。接入网设备可以包括基站、WLAN接入点或WiFi节点等,基站可被称为节点B、演进节点B(eNB)、接入点、基收发机站(BaseTransceiver Station,BTS)、无线电基站、无线电收发机、基本服务集(BasicService Set,BSS)、扩展服务集(Extended Service Set,ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point,TRP)或所述领域中其他某个合适的术语,只要达到相同的技术效果,所述基站不限于特定技术词汇,需要说明的是,在本申请实施例中仅以NR系统中的基站为例进行介绍,并不限定基站的具体类型。核心网设备可以包含但不限于如下至少一项:核心网节点、核心网功能、移动管理实体(Mobility ManagementEntity,MME)、接入移动管理功能(Access and Mobility Management Function,AMF)、会话管理功能(Session Management Function,SMF)、用户平面功能(User Plane Function,UPF)、策略控制功能(Policy Control Function,PCF)、策略与计费规则功能单元(Policyand ChargingRules Function,PCRF)、边缘应用服务发现功能(Edge Application ServerDiscovery Function,EASDF)、统一数据管理(Unified Data Management,UDM),统一数据仓储(Unified DataRepository,UDR)、归属用户服务器(Home Subscriber Server,HSS)、集中式网络配置(Centralized network configuration,CNC)、网络存储功能(NetworkRepository Function,NRF),网络开放功能(Network Exposure Function,NEF)、本地NEF(Local NEF,或L-NEF)、绑定支持功能(Binding Support Function,BSF)、应用功能(Application Function,AF)等。需要说明的是,在本申请实施例中仅以NR系统中的核心网设备为例进行介绍,并不限定核心网设备的具体类型。
下面结合附图,通过一些实施例及其应用场景对本申请实施例提供的模型训练方法进行详细地说明。
如图2所示,本申请实施例提供一种模型训练方法200,该方法可以由第一设备执行,换言之,该方法可以由安装在第一设备的软件或硬件来执行,该方法包括如下步骤。
S202:第一设备接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止。
本申请各个实施例中的第一设备可以是联邦学习的客户端,该客户端可以是终端,接入网设备或核心网设备等,该核心网设备例如包括模型训练逻辑功能网元(ModelTrainingLogical Function,MTLF),分析逻辑功能网元(Analytics Logical Function,AnLF)等;第二设备可以是联邦学习的服务器,该服务器可以是终端,接入网设备或核心网设备,该核心网设备例如包括MTLF,AnLF等。
在本申请实施例中,第一设备可以接收来自第二设备的第一消息,该第一消息用于指示联邦学习训练终止或中止。其中,联邦学习训练终止是指对于第一设备和第二设备而言,整个联邦学习过程结束。而联邦学习训练中止是指对于第一设备而言联邦学习过程中断或结束。
S204:第一设备基于所述第一消息执行第一操作。
该实施例中,第一设备在接收到第一消息后,可以根据内部逻辑执行第一操作,还可以根据第一消息中的建议信息等执行第一操作,该建议信息将在后文详细介绍。
可选地,S202之前还可以包括如下步骤:1)服务器(server),即第二设备进行成员选择过程,例如,第二设备向网络存储功能(NF Repository Function,NRF)等储存信息设备发送请求,请求获取各MTLF等智能化网元设备的能力信息,通过智能化网元设备的能力信息来确定智能化网元设备是否能参与联邦学习,并确定进行联邦学习的成员;2)第二设备向各客户端(clients)即第一设备发送联邦学习的初始化模型等信息;3)各第一设备进行本地训练后向第二设备反馈中间结果,如梯度等;4)第二设备进行中间结果的聚合并更新联邦学习模型。经过多次重复的成员选择-中间模型下发-本地训练-中间结果反馈-聚合更新全局模型的步骤,待联邦学习模型收敛等情况后即可停止训练。
本申请实施例提供的模型训练方法,在联邦学习训练终止或中止后,服务器可以向客户端发送第一消息,第一消息用于指示联邦学习训练终止或中止,这样,第一设备即可获知联邦学习训练结束,可以基于第一消息执行第一操作,例如,停止本地联邦学习训练,删除本地联邦学习模型等,避免占用客户端的空间及运算能力,提升客户端的性能。
本申请实施例定义了联邦学习训练结束后相应的处理机制,使整个联邦学习的执行过程更加完整。
可选地,所述第一消息可以包括如下至少之一:
1)联邦学习训练终止的指示信息,即第二设备显式指示联邦学习训练终止,这样,第一设备可以根据其内部逻辑或者以下7)中的建议信息等执行第一操作;以下2)至7)的信息可以隐式指示联邦学习训练终止;又或者,通过信令名称从而隐式指示联邦学习训练终止等。
需要说明的是,本申请各个实施例中提到的联邦学习训练终止,可以指联邦学习训练完成,例如,联邦学习模型参数收敛,联邦学习模型损失函数收敛,联邦学习训练次数达到次数阈值,联邦学习训练时长达到时长阈值等。
2)联邦学习训练中止指示信息,即第二设备显式指示联邦学习训练中止,这样,第一设备可以根据其内部逻辑或者以下7)中的建议信息等执行第一操作;以下2)至7)的信息可以隐式指示联邦学习训练中止;又或者,通过信令名称从而隐式指示联邦学习训练中止等。
3)联邦学习模型的模型标识(Model ID)或标识信息,该模型标识或标识信息可以用于唯一地标识联邦学习模型。该联邦学习模型可以是训练完成的联邦学习模型,还可以是训练过程中训练中止的情况下的模型。
4)联邦学习模型的模型信息,该模型信息例如包括联邦学习模型的网络结构,权重参数,输入输出数据等信息;该模型信息还可以包括联邦学习模型文件的下载地址信息或存储地址信息等。其中,输入输出数据的信息可以是输入数据的类别信息,用于指示应该输入何类数据,输出数据的类型又是何类等。该联邦学习模型可以是训练完成的联邦学习模型,还可以是训练过程中训练中止的情况下的模型。
5)联邦学习模型的梯度信息,该梯度信息可以是以梯度文件的形式传递,如该梯度文件的下载地址信息或存储地址信息等,也可以是通过该消息进行传输等。梯度信息可以是最终的全局模型所使用的梯度信息,其中,最终的全局模型的梯度信息可能是该轮多个客户端所反馈的梯度的总合(因为一轮的全局模型的更新可能是基于该轮多个clients反馈的多个梯度,可能会聚合这些梯度再进行更新,或者是使用全部的梯度进行更新等。但是反馈的梯度信息可以是这多个梯度的一个总和,或者是多个梯度信息等)。该联邦学习模型可以是训练完成的联邦学习模型,还可以是训练过程中训练中止的情况下的模型。
6)任务标识信息,所述任务标识信息用于指示联邦学习模型用于的任务类别,例如,指示该联邦学习模型是用于进行哪类任务。任务标识信息和下述的分析标识是类似的意思,可以互相代替;任务标识信息又可以叫做数据分析任务标识(可以是analytic ID)信息。
7)任务关联标识信息(可以是correlation ID,subscription correlation ID),所述任务关联标识信息用于指示目标联邦学习任务,例如,唯一地指示该次联邦学习任务(或者可以叫做联邦学习模型训练任务)。该信息可以是在生成任务时生成,或者是由服务器在下发全局任务时生成等。
8)原因信息,所述原因信息用于指示所述第二设备发送所述第一消息的原因。可选的,该原因信息可以用于指示以下至少一项:联邦学习过程已结束,联邦学习过程中断。可选地,原因信息还可以进一步指示联邦学习中断的原因,如可能是因为第二设备的精度不足以继续进行联邦学习,或者是第二设备被剔除等。可选地,原因信息还可以进一步指示联邦学习结束的原因,如可能是因为联邦学习模型已经收敛、迭代次数到达预设值、训练时间超时等。
9)建议信息,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行的操作。
可选地,所述建议信息可以包括如下至少之一:
a:更新联邦学习模型的指示信息,用于指示第一设备使用接收到的梯度信息等更新其本地联邦学习模型,并可以隐性告知第一设备可以保存并使用该联邦学习模型(如,拥有了使用该联邦学习模型的权限)。
b:保存联邦学习模型的指示信息,用于指示第一设备可以使用接收到的联邦学习模型的模型信息获取最终训练完成的联邦学习模型,并可以隐性告知第一设备可以使用联邦学习该模型(如,拥有了使用该联邦学习模型的权限)。该联邦学习模型可以是训练完成的联邦学习模型,还可以是训练过程中训练中止的情况下的联邦学习模型。
c:删除本地联邦学习模型的指示信息,用于指示第一设备要删除其本地联邦学习模型,例如,指示第一设备不应该使用该联邦学习模型,没有使用该联邦学习模型的权限等。
d:停止本地联邦学习训练的指示信息,用于指示第一设备可以停止本地联邦学习训练。
可选地,本申请各个实施例中,第一设备在接收到第一消息后,可以根据内部逻辑执行第一操作,还可以根据第一消息中的建议信息等执行第一操作,第一设备执行的第一操作包括如下至少之一:
1)更新本地联邦学习模型。该例子中,第一设备可以获取到训练完成的联邦学习模型或者梯度信息并使用训练完成的联邦学习模型或者梯度信息进行本地联邦学习模型的更新,并在后续使用该模型。
2)接收联邦学习模型。该例子中,第一设备可以获取到训练完成的联邦学习模型并使用训练完成的联邦学习模型。
3)删除之前本地联邦学习训练时所使用的本地联邦学习模型。该例子中,如果第一设备不需要训练完成的联邦学习模型,那么第一设备也知道本地联邦学习模型不用再更新了,可以删除本地联邦学习模型,从而节约存储空间。
4)停止本地联邦学习训练。对于异步的联邦学习训练,第一设备可以停止本地联邦学习训练,以节约运算能力等。
可以理解,第一设备执行的第一操作可以包括上述1)至4)中的至少之一,例如,第一设备停止本地联邦学习训练,删除之前本地联邦学习训练时所使用的本地联邦学习模型,并接收联邦学习模型等等。其中,该联邦学习模型可以是训练完成的联邦学习模型,还可以是训练过程中训练中止的情况下的联邦学习模型。
第一设备执行第一操作之前,第一设备还可以根据其内部逻辑和/或第一消息确定第一操作。具体地,第一设备在接收到第一消息时,可以根据第一消息中的建议信息,确定第一操作,如按照建议执行第一操作。又或者,第一设备在接收到第一消息时,可以根据第一消息中的模型信息或者梯度信息,确定第一操作,如接收联邦学习模型,又或者是更新本地模型等。又或者,第一设备在接收到第一消息时,可以根据第一消息中的任务标识信息确定第一操作,如使用训练完成的联邦学习模型执行某一项任务。
可选地,所述第一操作包括所述更新本地联邦学习模型,和/或,接收联邦学习模型,所述第一设备接收来自第二设备的第一消息之后,所述方法还包括:所述第一设备保存所述联邦学习模型;其中,所述联邦学习模型支持被所述第一设备使用。
具体地,保存联邦学习模型可以是指第一设备在更新本地联邦学习模型后或者第一设备接收联邦学习模型后将联邦学习模型保存到第一设备中。所述联邦学习模型支持被所述第一设备使用,可以是指在有其他设备向第一设备发起模型请求,或者任务请求(如某一数据分析任务)时,第一设备可以使用该联邦学习模型作为模型请求的目标模型反馈给其他设备,或者使用该模型进行运算、推理等操作生成任务请求所对应的任务结果,并反馈该结果给其他设备等。该联邦学习模型可以是训练完成的联邦学习模型,还可以是训练过程中训练中止的情况下的联邦学习模型。
本申请各个实施例中,S202中所述第一设备接收来自第二设备的第一消息之前,所述方法还包括:所述第一设备接收来自所述第二设备的联邦学习训练请求消息;所述第一设备向所述第二设备发送响应消息,所述响应消息包括获取联邦学习模型的请求信息,该请求信息可以是请求获取联邦学习模型的模型信息或梯度信息等,用于请求第二设备将全局或聚合后的联邦学习模型发送给第一设备。
可选的,响应消息中还包括任务关联标识,该任务关联标识用于唯一标识本次模型训练任务。
所述训练请求消息用于请求所述第一设备参与联邦学习。其中,所述训练请求消息包括任务标识信息,任务关联标识信息,模型信息,模型的梯度信息,模型的标识信息等至少一项。具体地,所述训练请求消息可以是指示所述第一设备使用该联邦学习训练所对应的模型使用所述第一设备能收集到的数据进行本地联邦学习训练。
可选地,该请求信息可以包括以下至少一项:
1)第一请求信息,所述第一请求信息用于请求获取联邦学习模型。该联邦学习模型可以是训练完成后的联邦学习模型,还可以是联邦学习中断停止时,训练得到的联邦学习模型,后续类同。
2)第二请求信息,所述第二请求信息用于请求获取联邦学习模型的模型信息(该模型信息包括网络架构信息,下载地址信息等)。
3)第三请求信息,所述第三请求信息用于请求获取联邦学习模型的梯度信息。
可选地,联邦学习模型可以是训练完成的联邦学习模型,还可以是训练过程中训练中止的情况下的联邦学习模型。
本申请各个实施例中,S202中所述第一设备接收来自第二设备的第一消息之前,所述方法还包括:所述第一设备在进行完本地联邦学习训练后发送第二消息至所述第二设备,所述第二消息包括联邦学习本地训练的训练结果,以及获取联邦学习模型的请求信息。该训练结果可以是联邦学习模型的中间模型信息或中间梯度信息。可选地,所述第二消息还可以包括联邦学习任务标识,联邦学习模型的标识等信息。
第二消息可以是第一设备在任意一轮联邦学习训练完成后发生。
可选地,第二消息包括的该请求信息可以包括以下至少一项:
1)第一请求信息,所述第一请求信息用于请求获取联邦学习模型。
2)第二请求信息,所述第二请求信息用于请求获取联邦学习模型的模型信息(该模型信息包括网络架构信息,下载地址信息等)。
3)第三请求信息,所述第三请求信息用于请求获取联邦学习模型的梯度信息。
为详细说明本申请实施例提供的模型训练方法,以下将结合一个具体的实施例进行说明,如图3所示,该实施例包括如下步骤。
步骤0:该步骤0可以分为以下步骤0a和步骤0b。
步骤0a:联邦学习消费者(如AnLF)向联邦学习服务器(如MTLF)发送联邦学习模型请求,该联邦学习模型请求可以由Nnwdaf_MLModelProvision_Subscribe消息携带,该联邦学习模型请求用于请求获得一个联邦学习模型(以下可以将联邦学习模型简称为模型)用于完成自己的任务。服务器基于本地配置或者联邦学习消费者的请求等情况判断是否触发联邦学习,并确定进行初始化联邦学习和成员选择。
步骤0b:对于没有联邦学习服务器能力的设备(如仅具有客户端能力,或者无联邦学习能力的设备),也可以向具有联邦学习服务器能力的设备发送联邦学习请求,请求进行联邦学习并生成所需要的模型。
在步骤0b的情况下,该设备通过向服务器发送联邦学习请求,也可以视为请求获取训练完成的联邦学习模型。特别是,如果该设备具有客户端能力,那么该设备也可以参与到联邦学习的过程中,所以服务器发送第一消息时也可以发送给该设备。
可选地,该步骤中的联邦学习请求可以包括以下信息的至少之一:
1)联邦学习指示(FL indication),用于请求进行联邦学习过程。
2)分析标识(Analytics ID),用于指示请求针对analytics ID的任务类型而进行联邦学习过程。也可以叫做数据分析任务标识。和前面的任务标识信息相同。
3)联邦学习模型的标识(Model ID),该标识用于唯一地标识联邦学习模型。
4)模型过滤信息(Model filter information)(可选),用于限定联邦学习过程的范围,如区域范围,时间范围,单一网络切片选择辅助信息(Single Network SliceSelectionAssistance Information,S-NSSAI),数据网络名称(Data Network Name,DNN)等。
5)模型目标(Model target of model)(可选),可以用于指定联邦学习过程针对的对象,如特定的一个或多个终端,一定范围内的所有终端或满足一定条件的所有终端等。
6)模型报告信息(Model reporting information)(可选),可以用于指示所产生的联邦学习模型信息的上报信息,如上报时间(开始时间,截止时间等)、上报条件(周期性触发、事件触发等)。
步骤1:具有联邦学习服务器能力的设备确定要进行联邦学习,并进行成员选择,可以初始化制定对于联邦学习的策略,如:规定进行多少轮训练后收集一次状态信息,或者进行多少轮训练收集训练情况信息等。
成员选择可以是服务器通过查找其他设备的能力信息,意愿信息等,查找出愿意参加联邦学习且满足该联邦学习需求的设备。例如,服务器是MTLF网元的情况下,MTLF网元通过向NRF进行网元查找,查找出满足该次联邦学习训练需求的其他网元(如其他MTLF)。
步骤2:具有联邦学习服务器能力的设备(简称服务器)和具有联邦学习客户端能力的设备(简称客户端)进行交互以进行联邦学习的训练,具体可以包括如下步骤。
步骤2a:服务器向客户端发送联邦学习训练的训练请求,如通过Nnwdaf_MLModelTraining_Subscribe消息发送,请求客户端参加联邦学习,并且根据全局模型和客户端的本地数据进行联邦学习的本地训练。
该训练请求可以包括如下信息的至少之一:
1)分析标识(Analytics ID),用于指示请求针对analytics ID的任务类型而进行联邦学习过程,指示该联邦学习模型是用于进行哪类任务。
2)联邦学习模型的标识(Model ID),该标识用于唯一地标识联邦学习模型。
3)任务关联标识信息(Correlation ID),用于唯一地指示该次联邦学习任务。
4)模型初始化信息,用于指示模型信息和在此轮联邦学习中的配置信息等。其中,描述模型是指描述模型本身,如联邦学习模型是以何种算法,何种架构,何种参数及超参数等结构组成,又或者联邦学习模型本身,如模型文件,模型文件的地址信息等。此轮联邦学习中的配置信息(也可以叫做指导信息,guideline information)可以用于在此轮联邦学习的本地训练过程中如何进行训练,比如要进行本地训练的轮数,应使用的数据类型,最大训练时间等信息。
步骤2b:客户端接收到联邦学习训练的训练请求后,可以反馈服务器其是否参与该联邦学习训练的相关信息,如通过Nnwdaf_MLModelTraining_Subscribe Response消息发送。该相关信息中可以包括:客户端是否参加该联邦学习训练,请求获取最终的全局模型(globalmodel)或更新后的全局模型的指示信息,分析标识,任务关联标识信息等信息。其中,更新后的全局模型是指在联邦学习中断时由联邦学习的服务器所产生的聚合模型。
其中,请求获取最终的全局模型或更新后的全局模型的指示信息,用于指示该客户端想要在该联邦学习训练结束后,也可以说是联邦学习模型更新后,获取最终的全局模型或更新后的全局模型的信息,如最终模型或更新后的全局模型的模型文件,或者模型文件的下载地址信息或存储地址信息等,也可以是联邦学习模型的更新梯度等。这些更新后的全局模型的信息可以帮助该客户端生成、获取到最终的全局模型的信息。
步骤3:在每轮的迭代过程中,服务器向客户端发送模型信息和/或模型更新消息等。
可以通过如步骤2a的方式发送,也可以是不同的信令发送更新后的全局模型,或者全局模型更新的梯度信息告知客户端,并使客户端更新其本地模型以进行下一轮本地训练。可以包括用于指示联邦训练的任务关联标识信息等标识信息和模型信息和/或梯度信息等。
步骤4:客户端向自己所在区域或所属的数据源(data source,指可以提供数据的网元)发送获取数据的请求,以收集数据进行本地的联邦学习。
根据任务的不同,该数据提供网元也不同,如用户面功能(User Plane Function,UPF),操作管理和维护(Operation Administration and Maintenance,OAM),统一数据管理(UnifiedData Management,UDM)等。
获取数据的请求可以由如下消息携带:Ndccf_DataManagement_Subscribe消息,Nnf_EventExposure消息,Subscribe和/或Ndccf_DataManagement_Notify/Nnf_EventExposure_Notify消息等。
客户端使用所获取的数据和获得模型信息进行本地模型训练,并生成中间结果,并反馈给服务器以供服务器聚合并更新全局模型。
步骤5:客户端进行完本地训练后,反馈本地训练的训练结果给服务器。服务器后续可使用该训练结果更新全局模型。该步骤可以通过Nnwdaf_MLModelTraining_Notify反馈interim模型信息或梯度信息。
该步骤中,客户端向服务器发送的消息可以包括以下信息的至少之一:
1)结果信息,用于指示该次本地训练的训练结果,可以是中间模型,或者所更新的梯度等。
2)请求最终模型的标识信息,用于指示该客户端想要在该联邦学习训练结束后获取最终模型的信息。
3)Analytic ID、correlation ID等标识信息。
4)意愿信息(consent info),状态信息(status info),训练情况信息(accuracyinfo)。这些信息可以用于帮助服务器决定该客户端是否可以继续参加下一轮联邦学习的训练。
其中,意愿信息,用于指示该成员是否还有意愿参加下一轮联邦学习。
状态信息,用于说明此轮联邦学习的本地训练完成后,客户端的状态信息。具体的状态信息可以是成员的负载情况(如NF load);成员的资源使用情况(如resource usage:CPU,memory,disk;GPU);成员的能力信息(如是否能参加联邦学习等,参加何种联邦学习等)等。
训练情况信息,用于说明此轮联邦学习的本地训练时,客户端的训练情况信息。训练情况是指在该次本地训练后的模型基于其本地数据的表现,可以是某种统计计算方法和该方法对应的数值,如模型的准确度和具体值(80%),MAE和其值(0.1)。
步骤6:服务器聚合模型并确定模型的训练可以停止,或服务器基于训练中止条件确定模型训练中止。
当满足训练结束条件时,服务器决定停止模型训练,训练结束条件包括以下至少一项:所有模型参数收敛,模型损失函数收敛,客户端本地训练的模型的参数收敛,客户端本地训练的模型的损失函数收敛,训练轮数达到轮数阈值,训练次数达到次数阈值,训练时长达到时长阈值中。这些阈值、收敛的条件可以是服务器预先的内部设计等。
当满足训练中止条件时,服务器决定中止模型训练。训练中止条件例如包括客户端的算力降低、客户端负载过高、资源使用率过高等其中的一项或多项。
步骤7:服务器发送终止消息给客户端,告诉参与联邦学习的客户端联邦学习已经终止;或服务器发送中止消息给客户端,告诉参与联邦学习的客户端联邦学习已经中止。
具体地,服务器可以通过Nnwdaf_MLModelTraining_unsubscribe消息向客户端发送训练终止或中止的指示信息端,也可以通过其他信令消息向客户端发送训练终止或中止的指示信息端;还可以发送该联邦学习训练的最终结果,如最终模型,或者最终梯度等;还可以发送建议信息,告知客户端可以对于该联邦学习执行什么动作。
对于是否发送模型信息(如模型信息或梯度信息),可以是服务器的内部逻辑决定,也可以是客户端在和联邦学习的交互过程中所请求的,如步骤2b,步骤5等;也可以是在步骤0b时,接收到请求获取联邦学习模型的消息。具体地,在步骤2b和/或步骤5中,接收到来自于客户端等设备的请求信息,如步骤2b中,第一设备向所述第二设备发送响应消息,所述响应消息包括获取训练完成的联邦学习模型的请求信息,步骤5中,第一设备在进行完本地联邦学习训练后发送第二消息至所述第二设备,所述第二消息包括联邦学习本地训练的训练结果,以及获取训练完成的联邦学习模型的请求信息。服务器还可以在发送终止消息之前,确定终止消息所携带的内容。具体地,服务器可以在接收到来自于客户端的请求信息的情况下,确定终止消息,如在请求信息包括请求模型信息的情况下,确定终止消息中携带联邦学习模型的模型信息;又如在请求信息包括请求模型梯度信息的情况下,确定终止消息中携带联邦学习模型的梯度信息等。
具体地,服务器发送给客户端的终止(或中止)消息可以包括如下至少之一:
1)任务标识信息,所述任务标识信息用于指示联邦学习模型用于的任务类别,例如,指示该联邦学习模型是用于进行哪类任务。
2)联邦学习模型的模型标识(Model ID)或标识信息,该模型标识或标识信息可以用于唯一地标识联邦学习模型。
3)任务关联标识信息,所述任务关联标识信息用于指示目标联邦学习任务,例如,唯一地指示该次联邦学习任务。
4)联邦学习训练终止(或中止)的指示信息,即第二设备显式指示联邦学习训练终止(或中止),这样,第一设备可以根据其内部逻辑或者以下建议信息等执行第一操作。
5)联邦学习模型的模型信息,该模型信息例如包括联邦学习模型的网络结构,权重参数,输入输出数据等信息;该模型信息还可以包括联邦学习模型文件的下载地址信息或存储地址信息等。
6)联邦学习模型的梯度信息,该梯度信息可以是以梯度文件的形式传递,梯度信息可以是最终的全局模型所使用的梯度信息。
服务器可以给客户端提供最终的模型信息,或者最终更新时的梯度信息。客户端可以使用该梯度信息更新其本地联邦学习模型(在之前的联邦学习中本地所保存,使用的联邦学习模型)以获得最终的全局模型。最终的全局模型是指联邦学习过程结束后由联邦学习服务器所产生的聚合模型。
具体地,最终的全局模型可以是以下至少一种:模型文件(包含模型的网络结构,权重参数,输入输出数据等);模型文件的下载地址信息或存储地址信息(用于指示模型文件的存储地址,或者从哪里可以下载模型文件)。
梯度信息可以是以梯度文件的形式传递,包含模型更新所使用的梯度信息。
7)原因信息,所述原因信息用于指示服务器发送所述终止(或中止)消息的原因。
8)建议信息,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行的操作。
可选地,所述建议信息可以包括如下至少之一:
a:更新联邦学习模型的指示信息,用于指示第一设备使用接收到的梯度信息等更新其本地联邦学习模型,并可以隐性告知第一设备可以保存并使用该联邦学习模型(如,拥有了使用该联邦学习模型的权限)。
b:保存联邦学习模型的指示信息,用于指示第一设备可以使用接收到的联邦学习模型的模型信息获取最终训练完成的联邦学习模型,并可以隐性告知第一设备可以使用联邦学习该模型(如,拥有了使用该联邦学习模型的权限)。
c:删除本地联邦学习模型的指示信息,用于指示第一设备要删除其本地联邦学习模型,例如,指示第一设备不应该使用该联邦学习模型,没有使用该联邦学习模型的权限等。
d:停止本地联邦学习训练的指示信息,用于指示第一设备可以停止本地联邦学习训练。
步骤8a-8c,客户端在接收到终止消息后,执行动作。具体地,客户端在知道联邦学习训练结束后,可以根据其内部逻辑,或者服务器发送的建议信息,模型信息等决定后续动作。后续动作可以是更新本地模型为全局模型,接收最终的全局模型并可在后续使用;删除之前训练时所使用的本地模型;停止训练等。
8a:客户端更新本地模型,以获取到最终模型,并可在后续使用最终模型。客户端接收到模型更新的梯度信息(如步骤7),并使用该梯度信息更新本地模型,从而获取到最终模型。并可在后续使用该模型,如在后续将该模型发送给其他设备以进行某些数据分析任务等。
8b:客户端保存最终模型,并可在后续使用最终模型。客户端接收到最终模型,如在步骤7中,接收到模型文件和/或模型文件的下载地址信息或存储地址信息,以获取到最终模型。
8c:客户端删除本地模型。具体地,客户端删除关于该联邦学习训练的本地模型。可能是因为客户端没有在之前发起请求,也就没有接收到关于该联邦学习的最终模型等。也可能是因为不会在之后使用该模型,从而自己选择了删除模型等。若该客户端还想获取到该联邦学习训练的最终模型,可以重新向服务器发起普通的模型获取请求等,如,通过Nnwdaf_MLModelProvision_Subscribe和Nnwdaf_MLModelProvision_Notify消息发送。
8d:客户端停止本地训练。对于异步联邦学习训练,不同的客户端的训练不同,可能有的客户端完成了一轮本地训练,而有的客户端还在进行本地训练。对于这种还在进行本地训练的客户端,可以在接收到联邦学习的终止消息后,停止本地训练。该动作也可以和其他动作组合使用,即既停止了本地训练,也保存了接收到的最终模型等。
步骤9:服务器完成联邦学习的模型训练后,发送模型信息给消费者。该步骤和步骤7-8没有先后顺序关系,即该步骤也可以发生在步骤7之前。
模型信息可以包括如下至少之一:
1)训练完成的联邦学习模型的模型标识(Model ID)或标识信息,该模型标识或标识信息可以用于唯一地标识联邦学习模型。
2)联邦学习指示(FL indication),用于指示是联邦学习所生成的模型。
3)模型文件,包含模型的网络结构,权重参数,输入输出数据等。
4)模型文件的下载地址信息或存储地址信息,用于指示模型文件的存储地址,或者从哪里可以下载模型文件。
5)分析标识(Analytics ID),用于指示联邦学习模型适用于某种推理任务类型。
6)模型过滤信息(Model filter information),用于指示所产生的联邦学习模型信息的上报信息,如上报时间(开始时间,截止时间等)、上报条件(周期性触发、事件触发等)。
7)有效区域信息,指示联邦学习模型适用的区域。
8)有效时间信息,指示联邦学习模型适用的时间。
服务器可以通过以下消息发送模型信息:Nnwdaf_MLModelProvision_Notify或Nnwdaf_MLModelInfo_Response。
以上结合图2和图3详细描述了根据本申请实施例的模型训练方法。下面将结合图4详细描述根据本申请另一实施例的模型训练方法。可以理解的是,从第二设备描述的第二设备与第一设备的交互与图2所示的方法中的第一设备侧的描述相同或相对应,为避免重复,适当省略相关描述。
图4是本申请实施例的模型训练方法实现流程示意图,可以应用在第二设备。如图4所示,该方法400包括如下步骤。
S402:第二设备向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
在本申请实施例中,在联邦学习训练终止或中止后,服务器可以向客户端发送第一消息,第一消息用于指示联邦学习训练终止或中止,这样,第一设备即可获知联邦学习训练结束,还可以基于第一消息执行第一操作,例如,停止本地联邦学习训练,删除本地联邦学习模型等,避免占用客户端的空间及运算能力,提升客户端的性能。
可选地,作为一个实施例,所述第一消息包括如下至少之一:
1)联邦学习训练终止的指示信息。
2)联邦学习训练中止指示信息。
3)联邦学习模型的模型标识或标识信息。
4)联邦学习模型的模型信息。
5)联邦学习模型的梯度信息。
6)任务标识信息,所述任务标识信息用于指示联邦学习模型用于的任务类别。
7)任务关联标识信息,所述任务关联标识信息用于指示目标联邦学习任务。
8)原因信息,所述原因信息用于指示所述第二设备发送所述第一消息的原因。
可选的,所述原因信息用于指示以下至少一项:联邦学习过程结束;联邦学习过程中断。
9)建议信息,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行的操作。
可选地,作为一个实施例,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行如下至少之一:1)更新本地联邦学习模型;2)接收联邦学习模型;3)删除之前本地联邦学习训练时所使用的本地联邦学习模型;4)停止本地联邦学习训练。
可选地,作为一个实施例,所述第二设备向第一设备发送第一消息之前,所述方法还包括:所述第二设备向所述第一设备发送联邦学习训练请求消息;所述第二设备接收来自所述第一设备的响应消息,所述响应消息包括获取联邦学习模型的请求信息。
可选地,作为一个实施例,所述第二设备向第一设备发送第一消息之前,所述方法还包括:所述第二设备接收来自所述第一设备的第二消息,所述第二消息包括所述第一设备联邦学习本地训练的训练结果,以及获取联邦学习模型的请求信息。
可选地,作为一个实施例,所述请求信息包括如下至少之一:1)第一请求信息,所述第一请求信息用于请求获取联邦学习模型;2)第二请求信息,所述第二请求信息用于请求获取联邦学习模型的模型信息;3)第三请求信息,所述第三请求信息用于请求获取联邦学习模型的梯度信息。
可选的,作为一个实施例,在接收到所述获取联邦学习模型的请求信息之后,所述第二设备根据所述获取联邦学习模型的请求信息,发送所述第一消息,所述第一消息中包含以下至少一项:联邦学习模型的模型信息,联邦学习模型的梯度信息。其中,所述联邦学习模型包括最终的全局模型或更新后的全局模型。
本申请实施例提供的模型训练方法,执行主体可以为模型训练装置。本申请实施例中以模型训练装置执行模型训练方法为例,说明本申请实施例提供的模型训练装置。
图5是根据本申请实施例的模型训练装置的结构示意图,该装置可以应用于第一设备,如图5所示,装置500包括如下模块。
接收模块502,可以用于接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止。
处理模块504,可以用于基于所述第一消息执行第一操作;其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
在本申请实施例中,在联邦学习训练终止或中止后,服务器可以向客户端发送第一消息,第一消息用于指示联邦学习训练终止或中止,这样,第一设备即可获知联邦学习训练结束,可以基于第一消息执行第一操作,例如,停止本地联邦学习训练,删除本地联邦学习模型等,避免占用客户端的空间及运算能力,提升客户端的性能。
可选地,作为一个实施例,所述第一消息包括如下至少之一:
1)联邦学习训练终止的指示信息。
2)联邦学习训练中止指示信息。
3)联邦学习模型的模型标识或标识信息。
4)联邦学习模型的模型信息。
5)联邦学习模型的梯度信息。
6)任务标识信息,所述任务标识信息用于指示联邦学习模型用于的任务类别。
7)任务关联标识信息,所述任务关联标识信息用于指示目标联邦学习任务。
8)原因信息,所述原因信息用于指示所述第二设备发送所述第一消息的原因。
9)建议信息,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行的操作。
可选地,作为一个实施例,所述第一操作包括如下至少之一:
1)更新本地联邦学习模型。
2)接收联邦学习模型。
3)删除之前本地联邦学习训练时所使用的本地联邦学习模型。
4)停止本地联邦学习训练。
可选地,作为一个实施例,所述第一操作包括所述更新本地联邦学习模型,和/或,接收联邦学习模型,所述处理模块504,还用于保存所述联邦学习模型;其中,所述联邦学习模型支持被所述第一设备使用。
可选地,作为一个实施例,所述接收模块502,还用于接收来自所述第二设备的联邦学习训练请求消息;所述装置还包括发送模块,用于向所述第二设备发送响应消息,所述响应消息包括获取联邦学习模型的请求信息。
可选地,作为一个实施例,所述装置还包括发送模块,用于在进行完本地联邦学习训练后发送第二消息至所述第二设备,所述第二消息包括联邦学习本地训练的训练结果,以及获取联邦学习模型的请求信息。
可选地,作为一个实施例,所述请求信息包括如下至少之一:1)第一请求信息,所述第一请求信息用于请求获取联邦学习模型;2)第二请求信息,所述第二请求信息用于请求获取联邦学习模型的模型信息;3)第三请求信息,所述第三请求信息用于请求获取联邦学习模型的梯度信息。
根据本申请实施例的装置500可以参照对应本申请实施例的方法200的流程,并且,该装置500中的各个单元/模块和上述其他操作和/或功能分别为了实现方法200中的相应流程,并且能够达到相同或等同的技术效果,为了简洁,在此不再赘述。
本申请实施例中的模型训练装置可以是电子设备,例如具有操作系统的电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,终端可以包括但不限于上述所列举的终端11的类型,其他设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)等,本申请实施例不作具体限定。
图6是根据本申请实施例的模型训练装置的结构示意图,该装置可以应用于第二设备,如图6所示,装置600包括如下模块。
发送模块602,可以用于向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
可选地,装置600可以包括处理模块等。
在本申请实施例中,在联邦学习训练终止或中止后,服务器可以向客户端发送第一消息,第一消息用于指示联邦学习训练终止或中止,这样,第一设备即可获知联邦学习训练结束,可以基于第一消息执行第一操作,例如,停止本地联邦学习训练,删除本地联邦学习模型等,避免占用客户端的空间及运算能力,提升客户端的性能。
可选地,作为一个实施例,所述第一消息包括如下至少之一:
1)联邦学习训练终止的指示信息。
2)联邦学习训练中止指示信息。
3)联邦学习模型的模型标识或标识信息。
4)联邦学习模型的模型信息。
5)联邦学习模型的梯度信息。
6)任务标识信息,所述任务标识信息用于指示联邦学习模型用于的任务类别。
7)任务关联标识信息,所述任务关联标识信息用于指示目标联邦学习任务。
8)原因信息,所述原因信息用于指示所述第二设备发送所述第一消息的原因。
9)建议信息,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行的操作。
可选地,作为一个实施例,所述发送模块602,还用于向所述第一设备发送联邦学习训练请求消息;所述装置还包括接收模块,用于接收来自所述第一设备的响应消息,所述响应消息包括获取联邦学习模型的请求信息。
可选地,作为一个实施例,所述装置还包括接收模块,用于接收来自所述第一设备的第二消息,所述第二消息包括所述第一设备联邦学习本地训练的训练结果,以及获取联邦学习模型的请求信息。
可选地,作为一个实施例,所述请求信息包括如下至少之一:1)第一请求信息,所述第一请求信息用于请求获取联邦学习模型;2)第二请求信息,所述第二请求信息用于请求获取联邦学习模型的模型信息;3)第三请求信息,所述第三请求信息用于请求获取联邦学习模型的梯度信息。
根据本申请实施例的装置600可以参照对应本申请实施例的方法400的流程,并且,该装置600中的各个单元/模块和上述其他操作和/或功能分别为了实现方法400中的相应流程,并且能够达到相同或等同的技术效果,为了简洁,在此不再赘述。
本申请实施例提供的模型训练装置能够实现图2至图4的方法实施例实现的各个过程,并达到相同的技术效果,为避免重复,这里不再赘述。
可选的,如图7所示,本申请实施例还提供一种通信设备700,包括处理器701和存储器702,存储器702上存储有可在所述处理器701上运行的程序或指令,例如,该通信设备700为终端时,该程序或指令被处理器701执行时实现上述模型训练方法实施例的各个步骤,且能达到相同的技术效果。该通信设备700为网络侧设备时,该程序或指令被处理器701执行时实现上述模型训练方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供一种终端,包括处理器和通信接口,所述通信接口用于接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止;所述处理器用于基于所述第一消息执行第一操作;其中,所述终端包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。或者,所述通信接口用于向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;其中,所述第一设备包括联邦学习的客户端,所述终端包括联邦学习的服务器。
该终端实施例与上述终端侧方法实施例对应,上述方法实施例的各个实施过程和实现方式均可适用于该终端实施例中,且能达到相同的技术效果。具体地,图8为实现本申请实施例的一种终端的硬件结构示意图。
该终端800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809以及处理器810等中的至少部分部件。
本领域技术人员可以理解,终端800还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器810逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的终端结构并不构成对终端的限定,终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
应理解的是,本申请实施例中,输入单元804可以包括图形处理单元(GraphicsProcessingUnit,GPU)8041和麦克风8042,图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071,也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
本申请实施例中,射频单元801接收来自网络侧设备的下行数据后,可以传输给处理器810进行处理;另外,射频单元801可以向网络侧设备发送上行数据。通常,射频单元801包括但不限于天线、放大器、收发信机、耦合器、低噪声放大器、双工器等。
存储器809可用于存储软件程序或指令以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器809可以包括易失性存储器或非易失性存储器,或者,存储器809可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(StaticRAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本申请实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。
处理器810可包括一个或多个处理单元;可选的,处理器810集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器810中。
其中,射频单元801,可以用于接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止;处理器810,可以用于基于所述第一消息执行第一操作;其中,所述终端包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。或者,所述射频单元801用于向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;其中,所述第一设备包括联邦学习的客户端,所述终端包括联邦学习的服务器。
在本申请实施例中,在联邦学习训练终止或中止后,服务器可以向客户端发送第一消息,第一消息用于指示联邦学习训练终止或中止,这样,第一设备即可获知联邦学习训练结束,可以基于第一消息执行第一操作,例如,停止本地联邦学习训练,删除本地联邦学习模型等,避免占用客户端的空间及运算能力,提升客户端的性能。
本申请实施例提供的终端800还可以实现上述模型训练方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供一种网络侧设备,包括处理器和通信接口,所述通信接口用于接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止;所述处理器用于基于所述第一消息执行第一操作;其中,所述网络侧设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。或者,所述通信接口用于向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;其中,所述第一设备包括联邦学习的客户端,所述网络侧设备包括联邦学习的服务器。
该网络侧设备实施例与上述网络侧设备方法实施例对应,上述方法实施例的各个实施过程和实现方式均可适用于该网络侧设备实施例中,且能达到相同的技术效果。
具体地,本申请实施例还提供了一种网络侧设备。如图9所示,该网络侧设备900包括:天线91、射频装置92、基带装置93、处理器94和存储器95。天线91与射频装置92连接。在上行方向上,射频装置92通过天线91接收信息,将接收的信息发送给基带装置93进行处理。在下行方向上,基带装置93对要发送的信息进行处理,并发送给射频装置92,射频装置92对收到的信息进行处理后经过天线91发送出去。
以上实施例中网络侧设备执行的方法可以在基带装置93中实现,该基带装置93包括基带处理器。
基带装置93例如可以包括至少一个基带板,该基带板上设置有多个芯片,如图9所示,其中一个芯片例如为基带处理器,通过总线接口与存储器95连接,以调用存储器95中的程序,执行以上方法实施例中所示的网络设备操作。
该网络侧设备还可以包括网络接口96,该接口例如为通用公共无线接口(commonpublicradio interface,CPRI)。
具体地,本发明实施例的网络侧设备900还包括:存储在存储器95上并可在处理器94上运行的指令或程序,处理器94调用存储器95中的指令或程序执行图5或图6所示各模块执行的方法,并达到相同的技术效果,为避免重复,故不在此赘述。
具体地,本申请实施例还提供了一种网络侧设备。如图10所示,该网络侧设备1000包括:处理器1001、网络接口1002和存储器1003。其中,网络接口1002例如为通用公共无线接口(common public radio interface,CPRI)。
具体地,本发明实施例的网络侧设备1000还包括:存储在存储器1003上并可在处理器1001上运行的指令或程序,处理器1001调用存储器1003中的指令或程序执行图5或图6所示各模块执行的方法,并达到相同的技术效果,为避免重复,故不在此赘述。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述模型训练方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质,可以是非易失性的,也可以是非瞬态的。可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述模型训练方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片,系统芯片,芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现上述模型训练方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供了一种模型训练系统,包括:终端及网络侧设备,所述终端可用于执行如上所述的模型训练方法的步骤,所述网络侧设备可用于执行如上所述的模型训练方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (30)

1.一种模型训练方法,其特征在于,包括:
第一设备接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止;
所述第一设备基于所述第一消息执行第一操作;其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
2.根据权利要求1所述的方法,其特征在于,所述第一消息包括如下至少之一:
联邦学习训练终止的指示信息;
联邦学习训练中止指示信息;
联邦学习模型的模型标识或标识信息;
联邦学习模型的模型信息;
联邦学习模型的梯度信息;
任务标识信息,所述任务标识信息用于指示联邦学习模型用于的任务类别;
任务关联标识信息,所述任务关联标识信息用于指示目标联邦学习任务;
原因信息,所述原因信息用于指示所述第二设备发送所述第一消息的原因;
建议信息,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行的操作。
3.根据权利要求2所述的方法,其特征在于,所述原因信息用于指示以下至少一项:
联邦学习过程已结束;
联邦学习过程中断。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述第一操作包括如下至少之一:
更新本地联邦学习模型;
接收联邦学习模型;
删除之前本地联邦学习训练时所使用的本地联邦学习模型;
停止本地联邦学习训练。
5.根据权利要求4所述的方法,其特征在于,所述第一操作包括所述更新本地联邦学习模型,和/或,接收联邦学习模型,所述第一设备接收来自第二设备的第一消息之后,所述方法还包括:
所述第一设备保存所述联邦学习模型;其中,所述联邦学习模型支持被所述第一设备使用。
6.根据权利要求1所述的方法,其特征在于,所述第一设备接收来自第二设备的第一消息之前,所述方法还包括:
所述第一设备接收来自所述第二设备的联邦学习训练请求消息;
所述第一设备向所述第二设备发送响应消息,所述响应消息包括获取联邦学习模型的请求信息。
7.根据权利要求1所述的方法,其特征在于,所述第一设备接收来自第二设备的第一消息之前,所述方法还包括:
所述第一设备在进行完本地联邦学习训练后发送第二消息至所述第二设备,所述第二消息包括联邦学习本地训练的训练结果,以及获取联邦学习模型的请求信息。
8.根据权利要求6或7所述的方法,其特征在于,所述请求信息包括如下至少之一:
第一请求信息,所述第一请求信息用于请求获取联邦学习模型;
第二请求信息,所述第二请求信息用于请求获取联邦学习模型的模型信息;
第三请求信息,所述第三请求信息用于请求获取联邦学习模型的梯度信息。
9.根据权利要求1至8任意一项所述的方法,所述联邦学习模型包括最终的全局模型或更新后的全局模型。
10.一种模型训练方法,其特征在于,包括:
第二设备向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;
其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
11.根据权利要求10所述的方法,其特征在于,所述第一消息包括如下至少之一:
联邦学习训练终止的指示信息;
联邦学习训练中止指示信息;
联邦学习模型的模型标识或标识信息;
联邦学习模型的模型信息;
联邦学习模型的梯度信息;
任务标识信息,所述任务标识信息用于指示联邦学习模型用于的任务类别;
任务关联标识信息,所述任务关联标识信息用于指示目标联邦学习任务;
原因信息,所述原因信息用于指示所述第二设备发送所述第一消息的原因;
建议信息,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行的操作。
12.根据权利要求11所述的方法,其特征在于,所述原因信息用于指示以下至少一项:
联邦学习过程结束;
联邦学习过程中断。
13.根据权利要求11所述的方法,其特征在于,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行如下至少之一:
更新本地联邦学习模型;
接收联邦学习模型;
删除之前本地联邦学习训练时所使用的本地联邦学习模型;
停止本地联邦学习训练。
14.根据权利要求10所述的方法,其特征在于,所述第二设备向第一设备发送第一消息之前,所述方法还包括:
所述第二设备向所述第一设备发送联邦学习训练请求消息;
所述第二设备接收来自所述第一设备的响应消息,所述响应消息包括获取联邦学习模型的请求信息。
15.根据权利要求10所述的方法,其特征在于,所述第二设备向第一设备发送第一消息之前,所述方法还包括:
所述第二设备接收来自所述第一设备的第二消息,所述第二消息包括所述第一设备联邦学习本地训练的训练结果,以及获取联邦学习模型的请求信息。
16.根据权利要求14或15所述的方法,其特征在于,所述第二设备向第一设备发送第一消息,包括:
所述第二设备根据所述获取联邦学习模型的请求信息,发送所述第一消息,其中,所述第一消息中包含以下至少一项:
联邦学习模型的模型信息。
联邦学习模型的梯度信息
其中,所述联邦学习模型包括最终的全局模型或更新后的全局模型。
17.一种模型训练装置,应用于第一设备,其特征在于,包括:
接收模块,用于接收来自第二设备的第一消息,所述第一消息用于指示联邦学习训练终止或中止;
处理模块,用于基于所述第一消息执行第一操作;其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
18.根据权利要求17所述的装置,其特征在于,所述第一消息包括如下至少之一:
联邦学习训练终止的指示信息;
联邦学习训练中止指示信息;
联邦学习模型的模型标识或标识信息;
联邦学习模型的模型信息;
联邦学习模型的梯度信息;
任务标识信息,所述任务标识信息用于指示联邦学习模型用于的任务类别;
任务关联标识信息,所述任务关联标识信息用于指示目标联邦学习任务;
建议信息,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行的操作。
19.根据权利要求17或18所述的装置,其特征在于,所述第一操作包括如下至少之一:
更新本地联邦学习模型;
接收联邦学习模型;
删除之前本地联邦学习训练时所使用的本地联邦学习模型;
停止本地联邦学习训练。
20.根据权利要求19所述的装置,其特征在于,所述第一操作包括所述更新本地联邦学习模型,和/或,接收联邦学习模型,所述处理模块,还用于保存所述联邦学习模型;其中,所述联邦学习模型支持被所述第一设备使用。
21.根据权利要求17所述的装置,其特征在于,
所述接收模块,还用于接收来自所述第二设备的联邦学习训练请求消息;
所述装置还包括发送模块,用于向所述第二设备发送响应消息,所述响应消息包括获取联邦学习模型的请求信息。
22.根据权利要求17所述的装置,其特征在于,所述装置还包括发送模块,用于在进行完本地联邦学习训练后发送第二消息至所述第二设备,所述第二消息包括联邦学习本地训练的训练结果,以及获取联邦学习模型的请求信息。
23.根据权利要求17至22任意一项所述的装置,所述联邦学习模型包括最终的全局模型或更新后的全局模型。
24.一种模型训练装置,应用于第二设备,其特征在于,包括:
发送模块,用于向第一设备发送第一消息,所述第一消息用于指示联邦学习训练终止或中止;
其中,所述第一设备包括联邦学习的客户端,所述第二设备包括联邦学习的服务器。
25.根据权利要求24所述的装置,其特征在于,所述第一消息包括如下至少之一:
联邦学习训练终止的指示信息;
联邦学习训练中止指示信息;
联邦学习模型的模型标识或标识信息;
联邦学习模型的模型信息;
联邦学习模型的梯度信息;
任务标识信息,所述任务标识信息用于指示联邦学习模型用于的任务类别;
任务关联标识信息,所述任务关联标识信息用于指示目标联邦学习任务;
建议信息,所述建议信息用于指示所述第一设备在接收到所述第一消息后执行的操作。
26.根据权利要求24所述的装置,其特征在于,
所述发送模块,还用于向所述第一设备发送联邦学习训练请求消息;
所述装置还包括接收模块,用于接收来自所述第一设备的响应消息,所述响应消息包括获取联邦学习模型的请求信息。
27.根据权利要求24所述的装置,其特征在于,所述装置还包括接收模块,用于接收来自所述第一设备的第二消息,所述第二消息包括所述第一设备联邦学习本地训练的训练结果,以及获取联邦学习模型的请求信息。
28.一种终端,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至16任一项所述的方法的步骤。
29.一种网络侧设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至16任一项所述的方法的步骤。
30.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至16任一项所述的方法的步骤。
CN202310372773.1A 2022-12-08 2023-04-07 模型训练方法、终端及网络侧设备 Pending CN118175052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/136968 WO2024120470A1 (zh) 2022-12-08 2023-12-07 模型训练方法、终端及网络侧设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211579377 2022-12-08
CN2022115793778 2022-12-08

Publications (1)

Publication Number Publication Date
CN118175052A true CN118175052A (zh) 2024-06-11

Family

ID=91347768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310372773.1A Pending CN118175052A (zh) 2022-12-08 2023-04-07 模型训练方法、终端及网络侧设备

Country Status (2)

Country Link
CN (1) CN118175052A (zh)
WO (1) WO2024120470A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118504717A (zh) * 2024-07-19 2024-08-16 浙江霖研精密科技有限公司 基于梯度正交化的跨部门联邦学习方法、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240023082A1 (en) * 2020-11-11 2024-01-18 Beijing Xiaomi Mobile Software Co., Ltd. Data processing method and apparatus, communication device, and storage medium
CN115242756B (zh) * 2021-04-01 2024-06-21 中国移动通信有限公司研究院 一种联邦学习业务的处理方法、装置、设备以及系统
CN113869533A (zh) * 2021-09-29 2021-12-31 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、可读存储介质及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118504717A (zh) * 2024-07-19 2024-08-16 浙江霖研精密科技有限公司 基于梯度正交化的跨部门联邦学习方法、系统及存储介质

Also Published As

Publication number Publication date
WO2024120470A1 (zh) 2024-06-13

Similar Documents

Publication Publication Date Title
WO2024120470A1 (zh) 模型训练方法、终端及网络侧设备
WO2023207980A1 (zh) 模型信息获取方法、发送方法、装置、节点和储存介质
CN115714785A (zh) 算力资源的确定方法和设备
WO2023169523A1 (zh) 数据采集方法、装置、终端及网络侧设备
WO2023093609A1 (zh) 物联网设备的会话建立方法及装置
WO2023016396A1 (zh) 计算会话更新方法、装置及通信设备
WO2024017023A1 (zh) 允许的nssai的获取方法、终端及网络侧设备
WO2023179709A1 (zh) 信息处理方法、装置、通信设备及可读存储介质
WO2023246584A1 (zh) 算力处理方法、装置及通信设备
WO2024078400A1 (zh) 模型请求方法、装置、通信设备及可读存储介质
WO2024088119A1 (zh) 数据处理方法、装置、终端及网络侧设备
WO2024149288A1 (zh) Ai模型分发、接收方法、终端及网络侧设备
WO2024208348A1 (zh) 信息处理方法、装置及网元
WO2024022267A1 (zh) 算力任务迁移方法及通信设备
WO2024022398A1 (zh) 托管网络的选网信息的获取方法、终端及网络侧设备
WO2023185788A1 (zh) 候选成员的确定方法、装置及设备
WO2024146097A1 (zh) 网元注册方法、模型请求方法、装置、网元、通信系统及存储介质
WO2024140712A1 (zh) 模型提供、模型获取、设备查询方法、装置和通信设备
WO2023131286A1 (zh) 资源控制方法、装置、终端、网络侧设备及可读存储介质
WO2023169469A1 (zh) 数据采集方法、装置、终端及网络侧设备
WO2023213288A1 (zh) 模型获取方法及通信设备
WO2023125932A1 (zh) Ai网络信息传输方法、装置及通信设备
WO2023169402A1 (zh) 模型的准确度确定方法、装置及网络侧设备
WO2023185725A1 (zh) 数据获取方法、装置及网络侧设备
US20240188046A1 (en) Computing session update method and apparatus, terminal, and network side device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination