CN114548426A - 异步联邦学习的方法、业务服务的预测方法、装置及系统 - Google Patents

异步联邦学习的方法、业务服务的预测方法、装置及系统 Download PDF

Info

Publication number
CN114548426A
CN114548426A CN202210148478.3A CN202210148478A CN114548426A CN 114548426 A CN114548426 A CN 114548426A CN 202210148478 A CN202210148478 A CN 202210148478A CN 114548426 A CN114548426 A CN 114548426A
Authority
CN
China
Prior art keywords
feedback information
optimized
global model
asynchronous
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210148478.3A
Other languages
English (en)
Other versions
CN114548426B (zh
Inventor
刘吉
周晨娣
季石磊
窦德景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210148478.3A priority Critical patent/CN114548426B/zh
Publication of CN114548426A publication Critical patent/CN114548426A/zh
Priority to US17/879,888 priority patent/US20220383198A1/en
Application granted granted Critical
Publication of CN114548426B publication Critical patent/CN114548426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations

Abstract

本公开提供了一种异步联邦学习的方法、业务服务的预测方法、装置及系统，涉及人工智能技术中的大数据和机器学习，具体涉及机器学习中的联邦学习。方案为：响应于目标电子设备发送的参与异步联邦学习的请求，根据服务器的性能信息确定服务器支持参与异步联邦学习的电子设备的第一数量，并获取已参与异步联邦学习的其他电子设备的第二数量，若第一数量大于第二数量，则向目标电子设备发送待优化的全局模型，并接收目标电子设备对待优化的全局模型进行训练得到的目标反馈信息，根据目标反馈信息对待优化的全局模型进行优化，得到优化后的全局模型，避免了服务器过载的弊端，有效保证了得到优化后的全局模型的收敛速度。

Description

异步联邦学习的方法、业务服务的预测方法、装置及系统
技术领域
本公开涉及人工智能技术中的大数据和机器学习，具体涉及机器学习中的联邦学习，尤其涉及一种异步联邦学习的方法、业务服务的预测方法、装置及系统。
背景技术
联邦机器学习(Federated machine learning/Federated Learning)，又名联邦学习，联合学习，联盟学习，异步联邦学习是指异步的更新机制的联邦学习。
在现有技术中，异步联邦学习的方法包括：由服务器向各电子设备下发待优化的全局模型，各电子设备对待优化的全局模型进行训练，得到模型参数，服务器根据各模型模型参数对待优化的全局模型进行优化，得到优化后的全局模型。
然而，采用上述方法，随着参与异步联邦学习的电子设备的数量的增加，异步联邦学习的收敛速度下降，导致效率偏低的技术问题。
发明内容
本公开提供了一种用于提高异步联邦学习的收敛速度的异步联邦学习的方法、业务服务的预测方法、装置及系统。
根据本公开的第一方面，提供了一种异步联邦学习的方法，所述方法应用于服务器，所述方法包括：
响应于目标电子设备发送的参与异步联邦学习的请求，根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的第一数量，并获取已参与所述异步联邦学习的其他电子设备的第二数量；
若所述第一数量大于所述第二数量，则向所述目标电子设备发送待优化的全局模型，并接收所述目标电子设备对所述待优化的全局模型进行训练得到的目标反馈信息；
根据所述目标反馈信息对所述待优化的全局模型进行优化，得到优化后的全局模型。
根据本公开的第二方面，提供了一种异步联邦学习的方法，所述方法应用于电子设备，所述方法包括：
向服务器发起参与异步联邦学习的请求，并接收所述服务器基于所述参与异步联邦学习的请求反馈的待优化的全局模型，其中，所述待优化的全局模型是在第一数量大于第二数量时接收到的，且所述第一数量是根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的数量，所述第二数量是获取到的已参与所述异步联邦学习的其他电子设备的数量；
对所述待优化的全局模型进行训练，得到目标反馈信息，并将所述目标反馈信息传输给所述服务器，其中，所述目标反馈信息用于对所述待优化的全局模型进行优化，得到优化后的全局模型。
根据本公开的第三方面，提供了一种业务服务的预测方法，包括：
获取预测请求，所述预测请求用于请求对目标业务服务进行预测；
基于预先训练的优化后的全局模型对所述目标业务服务进行预测，得到预测结果；
其中，所述优化后的全局模型是基于如第一方面所述的方法得到的。
根据本公开的第四方面，提供了一种异步联邦学习的装置，所述装置应用于服务器，所述装置包括：
确定单元，用于响应于目标电子设备发送的参与异步联邦学习的请求，根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的第一数量；
第一获取单元，用于获取已参与所述异步联邦学习的其他电子设备的第二数量；
发送单元，用于若所述第一数量大于所述第二数量，则向所述目标电子设备发送待优化的全局模型；
第一接收单元，用于接收所述目标电子设备对所述待优化的全局模型进行训练得到的目标反馈信息；
优化单元，用于根据所述目标反馈信息对所述待优化的全局模型进行优化，得到优化后的全局模型。
根据本公开的第五方面，提供了一种异步联邦学习的装置，所述装置应用于电子设备，所述装置包括：
发起单元，用于向服务器发起参与异步联邦学习的请求；
第二接收单元，用于接收所述服务器基于所述参与异步联邦学习的请求反馈的待优化的全局模型，其中，所述待优化的全局模型是在第一数量大于第二数量时接收到的，且所述第一数量是根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的数量，所述第二数量是获取到的已参与所述异步联邦学习的其他电子设备的数量；
训练单元，用于对所述待优化的全局模型进行训练，得到目标反馈信息；
传输单元，用于将所述目标反馈信息传输给所述服务器，其中，所述目标反馈信息用于对所述待优化的全局模型进行优化，得到优化后的全局模型。
根据本公开的第六方面，提供了一种业务服务的预测装置，包括：
第二获取单元，用于获取预测请求，所述预测请求用于请求对目标业务服务进行预测；
预测单元，用于基于预先训练的优化后的全局模型对所述目标业务服务进行预测，得到预测结果；
其中，所述优化后的全局模型是基于如第一方面所述的方法得到的。
根据本公开的第七方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面、第二方面、第三方面所述的方法。
根据本公开的第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面、第二方面、第三方面所述的方法。
根据本公开的第九方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面、第二方面、第三方面所述的方法。
根据本公开的第十方面，提供了一种异步联邦学习的系统，包括：服务器和电子设备，其中，
所述服务器包括如第四方面所述的装置；
所述电子设备包括如第五方面所述的装置。
本公开实施例提供的异步联邦学习的方法、业务服务的预测方法、装置及系统，通过结合服务器的性能信息确定服务器可支持的参与异步联邦学习的第一数量，并获取已经参与异步联邦学习的其他电子设备的第二数量，以在第二数量小于第一数量时，即在服务器还可以支持目标电子设备参与异步联邦学习时，向目标电子设备发送待优化的全局模型，以基于目标电子设备反馈的目标反馈信息完成异步联邦学习的技术特征，避免了相关技术中因参与异步联邦学习的电子设备数量过多而导致的服务器过载的弊端，有效保证了得到优化后的全局模型的收敛速度，从而实现了提高异步联邦学习的有效性和可靠性的技术效果。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是可以实现本公开实施例的异步联邦学习的场景示意图；
图3是根据本公开第二实施例的示意图；
图4是根据本公开第三实施例的示意图；
图5是根据本公开第四实施例的示意图；
图6是根据本公开第五实施例的示意图；
图7是根据本公开第六实施例的示意图；
图8是根据本公开第七实施例的示意图；
图9是根据本公开第八实施例的示意图；
图10是根据本公开第九实施例的示意图；
图11是根据本公开第十实施例的示意图；
图12是用来实现本公开实施例的异步联邦学习的方法、业务服务的预测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
随着各种边缘设备的增加，如智能移动终端(如智能手机等)、物联网设备、移动传感器设备等，越来越多的数据可用于不同人工智能应用中的深度学习模型训练。
在一些实施例中，可以由服务器采集用于模型训练的数据，并基于采集到的数据在服务器中进行集中训练。
例如，各边缘设备将各自获取到的数据传输到服务器，相应的，服务器接收由各边缘设备各自传输的数据，并基于接收到的所有数据进行集中训练。
然而，采用该种方法实现深度学习模型训练，会带来通信开销巨大、计算资源有限、隐私安全风险等诸多问题。
为了避免上述问题，可以采用联邦学习的方式实现深度学习模型的训练。在深度学习模型中，可以由边缘设备进行局部模型的训练，而在服务器中进行全局模型的聚合，从而完成深度学习模型的训练。
针对不同数据集，联邦学习可以分为横向联邦学习(horizontal federatedlearning)、纵向联邦学习(vertical federated learning)与联邦迁移学习(FederatedTransfer Learning，FmL)。
横向联邦学习是指，在两个数据集的用户特征重叠较多，而用户重叠较少的情况下，将数据集按照横向(即用户维度)切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练的深度学习模型的训练方式。
纵向联邦学习是指，在两个数据集的用户重叠较多而用户特征重叠较少的情况下，将数据集按照纵向(即特征维度)切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练的深度学习模型的训练方式。
联邦迁移学习是指，在两个数据集的用户与用户特征重叠都较少的情况下，不对数据进行切分，而利用迁移学习来克服数据或标签不足的情况的深度学习模型的训练方式。
针对是否同步，联邦学习可以分为同步联邦学习和异步联邦学习。
异步联邦学习是指，服务器向各边缘设备下发待优化的全局模型，各边缘设备异步地对待优化的全局模型进行训练，得到各自对应的模型参数，服务器根据各模型模型参数对待优化的全局模型进行优化，得到优化后的全局模型。
然而，随着参与异步联邦学习的边缘设备的数量的增加，异步联邦学习的收敛速度下降，导致效率偏低的技术问题。
应该理解的是，异步联邦学习可以为横向联邦学习，也可以为纵向联邦学习，也可以联邦迁移学习。也就是说，按照不同的分类策略对联邦学习的类别的划分，不同的分类策略下的联邦学习并非排斥关系。
为了避免上述技术问题中的至少一种，本公开发明人经过创造性的劳动，得到了本公开的发明构思：对参与异步联邦学习的边缘设备的数量进行限制，以基于一定数量的边缘设备优化全局模型。
基于上述发明构思，本公开提供一种异步联邦学习的方法、业务服务的预测方法及装置，应用于人工智能技术中的大数据和机器学习，具体应用于机器学习中的联邦学习，以达到提高多联邦学习的收敛速度。
图1是根据本公开第一实施例的示意图，如图1所示，本公开实施例提供了一种异步联邦学习的方法，该方法可以应用于服务器，该方法包括：
S101：响应于目标电子设备发送的参与异步联邦学习的请求，根据服务器的性能信息确定服务器支持参与异步联邦学习的电子设备的第一数量，并获取已参与异步联邦学习的其他电子设备的第二数量。
示例性的，本实施例的执行主体可以为异步联邦学习的装置，该装置可以为服务器。
应该理解的是，目标电子设备中的“目标”用于将该电子设备与其他电子设备进行区分，而不能理解为对目标电子设备的限定。
也就是说，目标电子设备可以理解为当前与服务器进行通信的电子设备，为众多电子设备中的一个。
图2为本公开实施例的异步联邦学习的方法的应用场景的示意图，结合图2和上述分析可知，异步联邦学习的环境中包括服务器和多个电子设备(电子设备也可以称为边缘设备)。
如图2所示，异步联邦学习的环境中包括N个电子设备，且为电子设备1、电子设备2直至电子设备N。
若目标电子设备为如图2中所示的电子设备1，则本实施例可以理解如下：
电子设备1可以向服务器发送参与异步联邦学习的请求。
相应的，服务器可以接收到电子设备1发送参与异步联邦学习的请求。在服务器接收到参与异步联邦学习的请求时，服务器可以根据服务器的性能信息确定第一数量，并确定第二数量。
其中，性能信息可以理解为服务器的性能参数相关的信息，如负载量，处理器利用率等，此处不再一一列举。
第二数量可以理解为：在接收到电子设备1发送的参与异步联邦学习的请求之前，服务器可能已经接收到其他的电子设备发送的参与异步联邦学习的请求，第二数量即为已经接收到其他的电子设备发送的参与异步联邦学习的请求的电子设备的数量。
例如，在接收到电子设备1发送的参与异步联邦学习的请求之前，服务器已经接收电子设备2和电子设备N分别发送的参与异步联邦学习的请求，则第二数量为2。
S102：若第一数量大于第二数量，则向目标电子设备发送待优化的全局模型，并接收目标电子设备对待优化的全局模型进行训练得到的目标反馈信息。
示例性的，结合上述分析，服务器在确定出第一数量和第二数量之后，可以将第一数量和第二数量进行比较，如判断第一数量是否大于第二数量，如果是(即第一数量大于第二数量)，则服务器向电子设备1发送待优化的全局模型。
相应的，电子设备1在接收到待优化的全局模型之后，可以对待优化模型进行训练，从而得到目标反馈信息，并将目标反馈信息传输给服务器。
在一些实施例中，第一数量也可能小于或等于第二数量，则在第一数量也可能小于或等于第二数量的情况下，服务器不向电子设备1发送待优化的全局模型，以避免因参与者过多而导致的服务器过载的潜在风险，从而提高异步联邦学习的可靠性和稳定性的技术效果。
同理，本实施例中，目标反馈信息中的“目标”用于与其他电子设备的反馈信息进行区分，而不能理解为对目标反馈信息的限定。
值得说明的是，在本实施例中，服务器在第一数量大于第二数量时，向目标电子设备发送待优化的全局模型，而非在接收到参与异步联邦学习的请求后，直接向目标电子设备发送待优化的全局模型，充分考虑了服务器的性能信息，以避免因参与异步联邦学习的电子设备过多而导致的服务器过载的潜在风险，从而有效地保证异步联邦学习的收敛速度，提高了异步联邦学习的有效性和可靠性的技术效果。
S103：根据目标反馈信息对待优化的全局模型进行优化，得到优化后的全局模型。
示例性的，服务器在接收到目标反馈信息时，可以基于该目标反馈信息对待优化的全局模型进行优化，以得到优化后的全局模型。其中，本实施例对优化的方式不做限定。
基于上述分析可知，本公开实施例提供了一种异步联邦学习的方法，该方法可以应用于服务器，该方法包括：响应于目标电子设备发送的参与异步联邦学习的请求，根据服务器的性能信息确定服务器支持参与异步联邦学习的电子设备的第一数量，并获取已参与异步联邦学习的其他电子设备的第二数量，若第一数量大于第二数量，则向目标电子设备发送待优化的全局模型，并接收目标电子设备对待优化的全局模型进行训练得到的目标反馈信息，根据目标反馈信息对待优化的全局模型进行优化，得到优化后的全局模型，在本实施例中，通过结合服务器的性能信息确定服务器可支持的参与异步联邦学习的第一数量，并获取已经参与异步联邦学习的其他电子设备的第二数量，以在第二数量小于第一数量时，即在服务器还可以支持目标电子设备参与异步联邦学习时，向目标电子设备发送待优化的全局模型，以基于目标电子设备反馈的目标反馈信息完成异步联邦学习的技术特征，避免了相关技术中因参与异步联邦学习的电子设备数量过多而导致的服务器过载的弊端，有效保证了得到优化后的全局模型的收敛速度，从而实现了提高异步联邦学习的有效性和可靠性的技术效果。
图3是根据本公开第二实施例的示意图，如图3所示，本公开实施例提供的异步联邦学习的方法包括：
S301：目标电子设备向服务器发送参与异步联邦学习的请求。
应该理解的是，为了避免繁琐地陈述，关于本实施例与上述实施例相同的技术特征，本实施例不再赘述。
在相关技术中，通常是由服务器向电子设备发送训练任务，如服务器向目标电子设备发送训练任务，以使得目标电子设备参与异步联邦学习。而在本实施例中，可以由电子设备主动向服务器发送参与异步联邦学习的请求，如本实施例中的目标电子设备发起的参与异步联邦学习的请求。
在本实施例中，采用电子设备主动请求参与异步联邦学习，可以实现异步联邦学习的多样性和灵活性的技术效果。
在一些实施例中，电子设备可以基于该电子设备的运行状态和剩余资源等向服务器发送参与异步联邦学习的请求。
一个示例中，若目标电子设备的运行状态为空闲状态，则目标电子设备向服务器发送参与异步联邦学习的请求。
其中，空闲状态是指目标电子设备没有正在运行或者待运行的任务的状态。由目标电子设备是在其空闲状态时，向服务器发起参与异步联邦学习的请求，因此，可以有效地避免目标电子设备不可用的弊端，以使得目标电子设备可以相对高效的参与异步联邦学习，从而实现异步联邦学习的可靠性和有效性的技术效果。
另一个示例中，目标电子设备可以在其剩余资源大于预设资源阈值时，向服务器发送参与异步联邦学习的请求。
其中，资源阈值可以基于需求、历史记录、以及试验等方式进行确定。
例如，针对相对较高要求的异步联邦学习的场景，资源阈值可以相对较大，以使得目标电子设备有足够的资源参与异步联邦学习，从而提高异步联邦学习的效率；反之，针对相对较低要求的异步联邦学习的场景，资源阈值可以相对较小，以避免资源浪费。
再一个示例中，目标电子设备可以在其具有足够功率的情况下，向服务器发送参与异步联邦学习的请求。
其中，具有足够功率至少可以包括两个维度的内容，一个维度的内容为有足够的处理器CPU资源，另一个维度的内容为有足够的电源。
即目标电子设备在拥有支持其参与异步联邦学习的处理器资源和/或电源的情况下，可以向服务器发送参与异步联邦学习的请求。
S302：服务器根据服务器的性能信息确定服务器支持参与异步联邦学习的电子设备的第一数量。
在一些实施例中，性能信息包括负载量；S302可以包括：
根据负载量确定异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量。
其中，达到预设速度阈值的电子设备的数量确定为第一数量。
同理，速度阈值可以基于需求、历史记录、以及试验等方式进行确定，本实施例不做限定。
在本实施例中，通过结合收敛速度确定第一数量，可以避免异步联邦学习的收敛速度缓慢的弊端，提高了异步联邦学习的效率的技术效果。
在一些实施例中，异步联邦学习的环境中包括N个电子设备；根据负载量确定异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量，包括如下步骤：
第一步骤：根据负载量，确定N个电子设备参与异步联邦学习的收敛速度。
示例性的，在服务器的负载量确定的情况下，可以对N个电子设备均参与异步联邦学习时，异步联邦学习的收敛速度，即服务器得到优化后的全局模型的收敛速度。
例如，可以确定N个电子设备参与异步联邦学习时，得到优化后的全局模型的时间，并基于该时间确定收敛速度。
第二步骤：若N个电子设备参与异步联邦学习时收敛速度小于预设速度阈值，则根据负载量，确定(N-M)个电子设备参与异步联邦学习的收敛速度，其中，1≤M＜N。
以此类推，直至得到异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量。
结合上述分析，如果预测得到的N个电子设备参与异步联邦学习时的收敛速度比较小，达不到速度阈值，则说明收敛速度偏低，则可以减少参与异步联邦学习的电子设备的数量，并预测减少参与异步联邦学习的电子设备的数量之后，参与异步联邦学习的电子设备的收敛速度，以此类推，直至得到第一数量。
例如，M取值为1时，可以理解为，依次减少一个参与联邦学习的电子设备，直至得到第一数量。
在本实施例中，通过结合负载量和依次递推的方式确定第一数量，可以使得确定出的第一数量具有较高的准确性和可靠性，进而有效地保障异步联邦学习的收敛速度，提高异步联邦学习的效率的技术效果。
在另一些实施例中，可以结合预设超参数C的方式确定第一数量，预设超参数用于表征N个电子设备中，能够满足异步联邦学习的收敛速度需求的比值，如10％，即当有【N*10％】的电子设备参与异步联邦学习时，可以满足异步联邦学习的收敛速度需求，以避免异步联邦学习的收敛速度偏低的弊端。
示例性的，可以基于经验、历史记录、以及试验等方式确定预设超参数，也可以结合服务器的负载量确定预设超参数，本实施例不做限定。
S303：服务器获取已参与异步联邦学习的其他电子设备的第二数量。
S304：若第一数量大于第二数量，则服务器向目标电子设备发送待优化的全局模型。
其中，待优化的全局模型是服务器初始化处理得到的。
相应的，目标电子设备接收由服务器发送的待优化的全局模型。
S305：目标电子设备对待优化的全局模型进行训练，得到目标反馈信息。
其中，目标电子设备对待优化的全局模型进行训练，可以理解为结合待优化的全局模型得到局部模型的过程。
示例性的，目标电子设备中包括参与异步联邦学习的样本数据集(也可以称为本地数据集)，基于本地数据集对待优化的全局模型进行训练，得到局部模型。相应的，目标反馈信息中可以包括局部模型的模型参数。
应该理解的是，本实施例对电子设备对待优化的全局模型进行训练的方式不做限定，如可以基于损失函数和迭代训练的方式实现。
在一些实施例中，S305可以包括如下步骤：
第一步骤：获取用于训练待优化的全局模型的样本数据集中各样本数据的差异信息。
示例性的，样本数据集中包括多个样本数据，且样本数据的数量可以基于需求、历史记录、以及试验等方式进行确定，本实施例不做限定。
其中，差异信息可以表征样本数据集的数据异质性。
示例性的，差异信息可以理解为样本数据的平均差异信息，也可以理解为差异最大的样本数据之间的差异信息等。
第二步骤：根据差异信息和样本数据集，对待优化的全局模型进行训练，得到目标反馈信息。
在本实施例中，通过结合差异信息，即数据异质性得到目标反馈信息，可以尽可能避免数据异质性对待优化的全局模型的训练的影响，从而使得训练的收敛更加稳定，进而得到更加可靠的目标反馈信息。
在一些实施例中，第二步骤可以包括如下子步骤：
第一子步骤：根据差异信息对待优化的全局模型进行正则化处理，得到处理后的全局模型。
示例性的，第一子步骤可以包括：根据差异信息确定用于训练待优化的全局模型的正则化权值参数，并根据正则化权值参数对待优化的全局模型进行正则化处理，得到处理后的全局模型。
在本实施例中，通过结合差异信息确定正则化权值参数，以基于正则化权值参数进行正则化处理，可以实现正则化处理的有效性和可靠性的技术效果。
第二子步骤：根据样本数据集对处理后的全局模型进行训练，得到目标反馈信息。
示例性的，目标反馈信息为更新后的局部模型，可以基于式1确定更新后的局部模型，式1：
Figure BDA0003509552030000131
其中，xk是目标电子设备的样本数据集中的样本数据，Dk[fk(w；xk)]是预测的损失信息，μ为正则化权值参数，w为更新后的局部模型，wt为更新前的局部模型。
在本实施例中，正则化权值参数μ可以理解为用于得到更新后的局部模型的惩罚项，以有效地限制数据异质性给训练过程带来的负面影响，可以将局部更新限制在更可能接近目标电子设备接收到的待优化的全局模型，有助于减少数据异质性的影响，使得更新后的局部模型的收敛更加稳定，从而提高异步联邦学习的有效性和可靠性的技术效果。
在一些实施例中，目标反馈信息中包括时间戳，时间戳用于表征异步联邦学习的学习轮数；时间戳用于得到优化后的全局模型。
示例性的，在目标电子设备接收到服务器发送的待优化的全局模型时，确定训练待优化的全局模型的学习轮数。
通过在目标反馈信息中携带时间戳，可以用于标注目标反馈信息与哪一轮的异步联邦学习对应，从而当服务器结合时间戳确定优化后的全局模型时，可以使得用于确定优化后的全局模型的信息具有较强的针对性和可靠性的技术效果。
S306：目标电子设备对目标反馈信息进行压缩处理，得到压缩后的反馈信息。
其中，压缩后的反馈信息的传输资源少于目标反馈信息的传输资源。
在目标电子设备向服务器发送信息时，需要耗费一定的传输资源，即目标电子设备需要基于传输资源向服务器发送信息，为了节约传输资源，可以对目标反馈信息进行压缩，目标电子设备传输压缩后的反馈信息的传输资源少于电子设备传输目标反馈信息的传输资源，从而实现节约传输资源，提高传输效率，即大大减小通信压力，提升通信效率的技术效果。
在一些实施例中，压缩处理包括量化压缩处理；对目标反馈信息进行压缩处理，得到压缩后的反馈信息，包括：
获取目标反馈信息的位数，对目标反馈信息进行量化压缩处理，得到压缩后的反馈信息。
其中，压缩后的反馈信息的位数值小于目标反馈信息的位数。
示例性的，目标反馈信息的位数可能为32，如目标反馈信息为32位的浮点数，则可以将32位的浮点数的目标反馈信息压缩为8位的浮点数的压缩后的反馈信息。
在本实施例中，通过量化压缩处理，可以实现压缩处理的方便性和快捷性，实现提高通信效率，减少通信压力的技术效果。
在另一些实施例中，目标反馈信息中包括多个模型参数集合；压缩处理包括稀疏压缩处理；对目标反馈信息进行压缩处理，得到压缩后的反馈信息，包括如下步骤：
第一步骤：从多个模型参数集合中提取至少一个模型参数集合，其中，至少一个模型参数集合的数量少于多个模型参数集合的数量。
第二步骤：生成与至少一个模型参数集合对应的稀疏向量，其中，压缩后的反馈信息包括稀疏向量。
示例性的，从各模型集合参数集合中选择一个模型集合参数集合，并生成该模型集合参数集合对应的稀疏向量。
在本实施例中，通过结合稀疏向量对目标反馈信息进行压缩处理，可以实现压缩的可靠性和有效性的技术效果。
且结合上述分析可知，可以采用量化压缩处理的方法对目标反馈信息进行压缩处理，也可以采用稀疏压缩处理的方式对目标反馈信息进行压缩处理，当然，也可以采用“量化压缩+稀疏压缩”处理的方式对目标反馈信息进行压缩处理，以提高压缩处理的灵活性和多样性的技术效果。
S307：目标电子设备向服务器发送压缩后的反馈信息。
S308：服务器根据压缩后的反馈信息对待优化的全局模型进行优化，得到优化后的全局模型。
在一些实施例中，S308可以包括如下步骤：
第一步骤：根据压缩后的目标反馈信息从服务器的内存中，获取其他电子设备反馈的对待优化的全局模型进行训练得到的反馈信息。
示例性的，结合上述分析，若其他电子设备已经参与至异步联邦学习，则其他电子设备也会得到相应的反馈信息，并会将反馈信息传输给服务器，则服务器可以将其他电子设备传输的反馈信息存储至内存中，当接收到压缩后的反馈信息时，可以从内存中提取出其他电子设备传输的反馈信息。
第二步骤：根据压缩后的反馈信息和其他电子设备的反馈信息，对待优化的全局模型进行优化，得到优化后的全局模型。
值得说明的是，在一些实施例中，服务器每接收到一个边缘设备传输的反馈信息，则会根据该反馈信息对待优化的全局模型进行优化。但是，采用该种方法，容易导致优化后的全局模型的偏差较大的弊端，而通过上述第一步骤和第二步骤的方法，相当于设置了缓存机制，可以减少优化后的全局模型持久性的负面影响，且可以提高优化后的全局模型的精度的技术效果。
结合上述分析可知，在一些实施例中，目标反馈信息中可以包括时间戳，该时间戳用于表征异步联邦学习的学习轮数。也即压缩后的反馈信息中包括时间戳。
相应的，根据压缩后的反馈信息从服务器的内存中，获取其他电子设备反馈的对待优化的全局模型进行训练得到的反馈信息，包括：从服务器的内存中，获取与目标电子设备具有相同的时间戳的其他电子设备的反馈信息。
示例性的，结合上述分析和图2，目标电子设备为电子设备1，电子设备1的压缩后的反馈信息中的时间戳为时间戳a，内存中电子设备2传输的反馈信息的时间戳为时间戳a，电子设备N传输的反馈信息的时间戳也为时间戳a，则服务器从内存中获取时间戳a的所有的反馈信息，以根据获取到的反馈信息对待优化的全局模型进行优化，得到优化后的全局模型。
在本实施例中，通过结合时间戳确定用于对待优化的全局模型进行优化的反馈信息，可以提高确定反馈信息的效率和准确性，进而提高优化后的全局模型的可靠性的技术效果。
在一些实施例中，还可以结合内存的容量的相关信息对待优化的全局模型进行优化，得到优化后的全局模型。
示例性的，在获取到具有与压缩后的反馈信息具有相同的时间戳的反馈信息之后，可以确定压缩后的反馈信息、以及获取到的反馈信息(即其他电子设备的反馈信息)，在内存中的占有容量。若占有容量达到预设的容量阈值，则根据压缩后的反馈信息和获取到的反馈信息，对待优化的全局模型进行优化，得到优化后的全局模型。
同理，容量阈值可以基于需求、历史记录、以及试验等方式进行确定，本实施例不做限定。
示例性的，结合上述分析，可以确定内存中时间戳为时间戳a的反馈信息在内存中的占有容量，判断占有容量与容量阈值之间的大小，如果占有容量达到容量阈值，则从内存中获取时间戳a的反馈信息，并根据时间戳a的反馈信息对待优化的全局模型进行优化，得到优化后的全局模型。
反之，若占有容量未达到容量阈值，则服务器继续接受其他电子设备的反馈信息，并进行容量比较的操作，直至当时间戳a的反馈信息的占有容量达到容量阈值时，对待优化的全局模型进行优化，得到优化后的全局模型。
在本实施例中，通过结合内存的容量的相关信息对待优化的全局模型进行优化，得到优化后的全局模型，可以在进一步提高异步联邦学习的收敛速度，即提高异步联邦学习的速度和时效性的技术效果。
在一些实施例中，可以设置容量参数γ，且γ∈(0,1)，若缓存的总容量为N(即内存中可以容纳N个电子设备传输的反馈信息)，则容量阈值＝N*γ。
同理，在本实施例中，也可以结合收敛速度需求等确定容量参数γ，具体实现方法可以参见上述实施例中设置预设超参数C的原理，此处不再赘述。
在一些实施例中，还可以根据待优化的全局模型的陈腐性(staleness)信息，对待优化的全局模型进行优化，以得到优化后的全局模型。
其中，陈腐性信息也被称为滞后性信息，相对而言，滞后性信息表征的滞后性的值越大，优化时模型的收敛速度会约慢。
在本实施例中，通过结合陈腐性信息进行优化，可以提高优化时的模型收敛速度，从而提高优化的速度的技术效果。
相应的，根据压缩后的反馈信息对待优化的全局模型进行优化，得到优化后的全局模型，包括如下步骤：
第一步骤：获取优化得到待优化的全局模型的历史被优化记录，并根据历史被优化记录生成每两相邻次优化待优化的全局模型的陈腐性信息。
结合上述分析可知，模型的优化是不断进行的过程，当前轮的优化结束后，会开启下一轮的优化，因此，该步骤中的“相邻次”可以理解为优化的相邻轮，如当前轮与下一轮，上一轮与当前轮等。
第二步骤：根据各陈腐性信息和压缩后的反馈信息，对待优化的全局模型进行优化，得到优化后的全局模型。
在一些实施例中，第二步骤可以包括如下子步骤：
第一子步骤：确定各陈腐信息各自对应的陈腐权重，并对各陈腐性信息进行加权平均计算，得到平均陈腐性信息。
第二子步骤：根据平均陈腐性信息、各陈腐性权重、以及压缩后的反馈信息，对待优化的全局模型进行优化，得到优化后的全局模型。
值得说明的是，在本实施例中，通过确定各陈腐性权重，以基于各陈腐性权重得到优化后的全局模型，可以进一步提高异步联邦学习的收敛速度，从而提高得到优化后的全局模型的效率的技术效果。
在一些实施例中，第二子步骤可以包括如下细化步骤：
第一细化步骤：获取参与异步联邦学习的其他电子设备传输的反馈信息。
其中，参与异步联邦学习的其他电子设备传输的反馈信息、以及压缩后的反馈信息中包括各自对应的更新后的模型参数。
示例性的，参与异步联邦学习的其他电子设备传输的反馈信息中包括更新后的模型参数，压缩后的反馈信息中包括更新后的模型参数。
第二细化步骤：根据参与异步联邦学习的其他电子设备传输的反馈信息、以及目标反馈信息中包括各自对应的更新后的模型参数，确定平均更新后的模型参数。
第三细化步骤：根据平均陈腐性信息、各陈腐性权重、以及平均更新后的模型参数，对待优化的全局模型进行优化，得到优化后的全局模型。
示例性的，若服务器上第t轮中的全局模型的参数为wt，目标电子设备为电子设备k，电子设备k传输给服务器的压缩后的反馈信息(具体可以为压缩后的模型更新参数)
Figure BDA0003509552030000183
时间戳为hk≤t，则待优化模型的陈腐性信息为t-hk，陈腐性权重可以通过式2确定，式2：
S(t-hk)＝(t-hk+1)-a，a＞0
其中，a为陈腐性权重的超参数。
在一些实施例中，每一反馈信息均包括更新后的模型参数，如结合上述分析，服务器的内存中的K＝N*γ个反馈信息包括各自对应的更新后的模型参数，则可以确定各反馈信息的平均更新后的模型参数，并结合陈腐性权重和平均更新后的模型参数，得到优化后的全局模型。
示例性的，平均更新后的模型参数u可以根据式3确定，式3：
Figure BDA0003509552030000181
可以根据式4确定平均陈腐性信息，式4：
Figure BDA0003509552030000182
相应的，可以根据式5确定优化后的全局模型wt+1，式5
wt+1＝atu+(1-at)wt
其中，at为第t轮的混合权重，at＝β*S(δ)，为预设的混合超参数，β∈(0,1]。
在本实施例中，通过结合平均陈腐信息、各陈腐性权重、以及平均更新后的模型参数，得到优化后的全局模型，可以进一步提高得到的优化后的全局模型的可靠性和准确性的技术效果。
图4是根据本公开第三实施例的示意图，本公开实施例提供的异步联邦学习的方法可以应用于电子设备，如图4所示，该方法包括：
S401：向服务器发起参与异步联邦学习的请求，并接收服务器基于参与异步联邦学习的请求反馈的待优化的全局模型。
其中，待优化的全局模型是在第一数量大于第二数量时接收到的，且第一数量是根据服务器的性能信息确定服务器支持参与异步联邦学习的电子设备的数量，第二数量是获取到的已参与异步联邦学习的其他电子设备的数量。
S402：对待优化的全局模型进行训练，得到目标反馈信息，并将目标反馈信息传输给所述服务器。
其中，目标反馈信息用于对待优化的全局模型进行优化，得到优化后的全局模型。
在一些实施例中，S402包括如下步骤：
第一步骤：获取用于训练待优化的全局模型的样本数据集中各样本数据的差异信息。
第二步骤：根据差异信息和样本数据集，对待优化的全局模型进行训练，得到目标反馈信息。
在一些实施例中，第二步骤包括如下子步骤：
第一子步骤：根据差异信息对待优化的全局模型进行正则化处理，得到处理后的全局模型。
在一些实施例中，第一子步骤包括：根据差异信息确定用于训练待优化的全局模型的正则化权值参数，并根据正则化权值参数对待优化的全局模型进行正则化处理，得到处理后的全局模型。
第二子步骤：根据样本数据集对处理后的全局模型进行训练，得到目标反馈信息。
在一些实施例中，在对待优化的全局模型进行训练，得到目标反馈信息之后，该方法还包括：对目标反馈信息进行压缩处理，得到压缩后的反馈信息。
其中，压缩后的反馈信息的传输资源少于目标反馈信息的传输资源。
在一些实施例中，压缩处理包括量化压缩处理；对目标反馈信息进行压缩处理，得到压缩后的反馈信息，包括：获取目标反馈信息的位数，根据目标反馈信息的位数对目标反馈信息进行量化压缩处理，得到压缩后的反馈信息。
其中，压缩后的反馈信息的位数小于目标反馈信息的位数。
在一些实施例中，目标反馈信息中包括多个模型参数集合；压缩处理包括稀疏压缩处理；对目标反馈信息进行压缩处理，得到压缩后的反馈信息，包括如下步骤：
第一步骤：从多个模型参数集合中提取至少一个模型参数集合，其中，至少一个模型参数集合的数量少于多个模型参数集合的数量。
第二步骤：生成与至少一个模型参数集合对应的稀疏向量，其中，压缩后的反馈信息包括稀疏向量。
在一些实施例中，目标反馈信息中包括时间戳，时间戳用于表征所述异步联邦学习的学习轮数；时间戳用于得到优化后的全局模型。
在一些实施例中，时间戳用于从服务器的内存中，获取与目标电子设备具有相同的时间戳的其他电子设备的反馈信息；目标反馈信息和其他电子设备的反馈信息用于得到优化后的全局模型。
图5是根据本公开第四实施例的示意图，如图5所示，业务服务的预测方法，包括：
S501：获取预测请求。
其中，预测请求用于请求对目标业务服务进行预测。
示例性的，本实施例的执行主体可以为业务服务的预测装置(下文简称为预测装置)，预测装置可以为服务器(如本地服务器，或者，云端服务器，或者，服务器集群)，也可以为终端设备，也可以为电子设备(如上述实施例中的边缘设备)，也可以为处理器，也可以为芯片等，本实施例不做限定。
应该理解的是，目标业务服务可以为不同场景和领域的预测服务，即针对不同的应用场景，或者，针对不同的领域，目标业务服务可能并不相同，例如，在图像识别的场景中，目标业务服务可以为人脸识别服务，对应的预测服务为对人脸进行预测的服务；又如，在金融领域，目标业务服务可以为信用度的预测服务，如对用户的信用度进行预测的服务，等等，此处不再一一列举。
S502：基于预先训练的优化后的全局模型对目标业务服务进行预测，得到预测结果。
其中，优化后的全局模型是基于如上任一实施例所述的方法得到的。
值得说明的是，结合上述分析可知，本实施例中的优化后的全局模型具有较高的准确性和可靠性，因此，当结合优化后的全局模型对目标业务服务进行预测时，也可以提高预测结果的准确性和可靠性的技术效果。
图6是根据本公开第五实施例的示意图，本实施例提供的异步联邦学习的装置可以应用于服务器，如图6所示，异步联邦学习的装置600，包括：
确定单元601，用于响应于目标电子设备发送的参与异步联邦学习的请求，根据服务器的性能信息确定服务器支持参与异步联邦学习的电子设备的第一数量。
第一获取单元602，用于获取已参与异步联邦学习的其他电子设备的第二数量。
发送单元603，用于若第一数量大于第二数量，则向目标电子设备发送待优化的全局模型。
第一接收单元604，用于接收目标电子设备对待优化的全局模型进行训练得到的目标反馈信息。
优化单元605，用于根据目标反馈信息对待优化的全局模型进行优化，得到优化后的全局模型。
图7是根据本公开第六实施例的示意图，本实施例提供的异步联邦学习的装置可以应用于服务器，如图7所示，异步联邦学习的装置700，包括：
确定单元701，用于响应于目标电子设备发送的参与异步联邦学习的请求，根据服务器的性能信息确定服务器支持参与异步联邦学习的电子设备的第一数量。
在一些实施例中，性能信息包括负载量；确定单元701用于，根据负载量确定异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量，其中，达到预设速度阈值的电子设备的数量确定为第一数量。
在一些实施例中，异步联邦学习的环境中包括N个电子设备；确定单元701，包括：
第一确定子单元7011，用于根据负载量，确定N个电子设备参与异步联邦学习的收敛速度。
第二确定子单元7012，用于若N个电子设备参与异步联邦学习时收敛速度小于预设速度阈值，则根据负载量，确定(N-M)个电子设备参与异步联邦学习的收敛速度，其中，1≤M＜N。
以此类推，直至得到异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量。
第一获取单元702，用于获取已参与异步联邦学习的其他电子设备的第二数量。
发送单元703，用于若第一数量大于第二数量，则向目标电子设备发送待优化的全局模型。
第一接收单元704，用于接收目标电子设备对待优化的全局模型进行训练得到的目标反馈信息。
优化单元705，用于根据目标反馈信息对待优化的全局模型进行优化，得到优化后的全局模型。
在一些实施例中，优化单元705，包括：
第一获取子单元7051，用于根据目标反馈信息从服务器的内存中，获取其他电子设备反馈的对待优化的全局模型进行训练得到的反馈信息。
第一优化子单元7052，用于根据目标反馈信息和其他电子设备的反馈信息，对待优化的全局模型进行优化，得到优化后的全局模型。
在一些实施例中，目标反馈信息包括时间戳，时间戳用于表征异步联邦学习的学习轮数；第一获取子单元7051用于，从服务器的内存中，获取与目标电子设备具有相同的时间戳的其他电子设备的反馈信息。
在一些实施例中，优化单元705，还包括：
第二获取子单元7053，用于获取目标反馈信息、以及其他电子设备的反馈信息在所述内存中的占有容量。
以及，第一优化子单元7052用于，若占有容量达到预设的容量阈值，则根据目标反馈信息和其他电子设备的反馈信息，对待优化的全局模型进行优化，得到优化后的全局模型。
在一些实施例中，优化单元705，包括：
第三获取子单元7054，用于获取优化得到待优化的全局模型的历史被优化记录。
生成子单元7055，用于根据历史被优化记录生成每两相邻次优化待优化的全局模型的陈腐性信息。
第二优化子单元7056，用于根据各陈腐性信息和目标反馈信息，对待优化的全局模型进行优化，得到优化后的全局模型。
在一些实施例中，第二优化子单元7056，包括：
确定模块，用于确定各陈腐信息各自对应的陈腐权重值。
计算模块，用于对各陈腐性信息进行加权平均计算，得到平均陈腐性信息。
优化模块，用于根据平均陈腐性信息、各陈腐性权重、以及目标反馈信息，对待优化的全局模型进行优化，得到优化后的全局模型。
在一些实施例中，优化模块，包括：
获取子模块，用于获取参与异步联邦学习的其他电子设备传输的反馈信息，其中，参与异步联邦学习的其他电子设备传输的反馈信息、以及目标反馈信息中包括各自对应的更新后的模型参数。
第一确定子模块，用于根据参与异步联邦学习的其他电子设备传输的反馈信息、以及目标反馈信息中包括各自对应的更新后的模型参数，确定平均更新后的模型参数。
优化子模块，用于根据平均陈腐性信息、各陈腐性权重、以及平均更新后的模型参数，对待优化的全局模型进行优化，得到优化后的全局模型。
在一些实施例中，目标反馈信息是根据获取用于训练待优化的全局模型的样本数据集中各样本数据的差异信息，并根据差异信息和样本数据集，对待优化的全局模型进行训练得到的。
在一些实施例中，目标反馈信息是根据差异信息对所述待优化的全局模型进行正则化处理，得到处理后的全局模型，并根据样本数据集对处理后的全局模型进行训练得到的。
在一些实施例中，处理后的全局模型是根据差异信息确定用于训练待优化的全局模型的正则化权值参数，并根据正则化权值参数对待优化的全局模型进行正则化处理得到的。
在一些实施例中，目标反馈信息为经压缩处理得到的压缩后的反馈信息，且压缩后的反馈信息的传输资源少于压缩前的反馈信息的传输资源。
在一些实施例中，压缩处理包括量化压缩处理；压缩后的反馈信息是获取压缩前的反馈信息的位数，根据压缩前的反馈信息的位数对压缩前的反馈信息进行量化压缩处理，得到压缩后的反馈信息，其中，压缩后的反馈信息的位数小于压缩前的反馈信息的位数。
在一些实施例中，压缩前的反馈信息中包括多个模型参数集合；压缩处理包括稀疏压缩处理；压缩后的反馈信息是从多个模型参数集合中提取至少一个模型参数集合，其中，至少一个模型参数集合的数量少于多个模型参数集合的数量，并生成与至少一个模型参数集合对应的稀疏向量。
图8是根据本公开第七实施例的示意图，本实施例提供的异步联邦学习的装置可以应用于电子设备，如图8所示，异步联邦学习的装置800，包括：
发起单元801，用于向服务器发起参与异步联邦学习的请求。
第二接收单元802，用于接收服务器基于参与异步联邦学习的请求反馈的待优化的全局模型，其中，待优化的全局模型是在第一数量大于第二数量时接收到的，且所述第一数量是根据服务器的性能信息确定服务器支持参与异步联邦学习的电子设备的数量，第二数量是获取到的已参与异步联邦学习的其他电子设备的数量。
训练单元803，用于对待优化的全局模型进行训练，得到目标反馈信息。
传输单元804，用于将目标反馈信息传输给服务器，其中，目标反馈信息用于对待优化的全局模型进行优化，得到优化后的全局模型。
图9是根据本公开第八实施例的示意图，本实施例提供的异步联邦学习的装置可以应用于电子设备，如图9所示，异步联邦学习的装置900，包括：
发起单元901，用于向服务器发起参与异步联邦学习的请求。
第二接收单元902，用于接收服务器基于参与异步联邦学习的请求反馈的待优化的全局模型，其中，待优化的全局模型是在第一数量大于第二数量时接收到的，且所述第一数量是根据服务器的性能信息确定服务器支持参与异步联邦学习的电子设备的数量，第二数量是获取到的已参与异步联邦学习的其他电子设备的数量。
训练单元903，用于对待优化的全局模型进行训练，得到目标反馈信息。
在一些实施例中，训练单元903，包括：
第四获取子单元9031，用于获取用于训练待优化的全局模型的样本数据集中各样本数据的差异信息。
训练子单元9032，用于根据差异信息和样本数据集，对待优化的全局模型进行训练，得到目标反馈信息。
在一些实施例中，训练子单元9032，包括：
处理模块，用于根据所述差异信息对待优化的全局模型进行正则化处理，得到处理后的全局模型。
在一些实施例中，处理模块，包括：
第二确定子模块，用于根据差异信息确定用于训练待优化的全局模型的正则化权值参数。
处理子模块，用于根据正则化权值参数对待优化的全局模型进行正则化处理，得到处理后的全局模型。
训练模块，用于根据样本数据集对处理后的全局模型进行训练，得到目标反馈信息。
压缩单元904，用于对目标反馈信息进行压缩处理，得到压缩后的反馈信息，其中，压缩后的反馈信息的传输资源少于目标反馈信息的传输资源。
在一些实施例中，压缩处理包括量化压缩处理；压缩单元904，包括：
第五获取子单元9041，用于获取目标反馈信息的位数。
压缩子单元9042，用于根据目标反馈信息的位数对目标反馈信息进行量化压缩处理，得到压缩后的反馈信息，其中，压缩后的反馈信息的位数小于所述目标反馈信息的位数。
在一些实施例中，目标反馈信息中包括多个模型参数集合；压缩处理包括稀疏压缩处理；压缩单元904，包括：
提取子单元9043，用于从多个模型参数集合中提取至少一个模型参数集合，其中，至少一个模型参数集合的数量少于多个模型参数集合的数量。
生成子单元9044，用于生成与至少一个模型参数集合对应的稀疏向量，其中，压缩后的反馈信息包括稀疏向量。
在一些实施例中，目标反馈信息中包括时间戳，时间戳用于表征异步联邦学习的学习轮数；时间戳用于得到优化后的全局模型。
在一些实施例中，时间戳用于从服务器的内存中，获取与目标电子设备具有相同的时间戳的其他电子设备的反馈信息；目标反馈信息和其他电子设备的反馈信息用于得到优化后的全局模型。
传输单元905，用于将压缩后的反馈信息传输给服务器，其中，压缩后的反馈信息用于对待优化的全局模型进行优化，得到优化后的全局模型。
图10是根据本公开第九实施例的示意图，如图10所示，业务服务的预测装置1000，包括：
第二获取单元1001，用于获取预测请求，预测请求用于请求对目标业务服务进行预测。
预测单元1002，用于基于预先训练的优化后的全局模型对目标业务服务进行预测，得到预测结果。
其中，优化后的全局模型是基于如上任一实施例所述的方法得到的。
根据本公开实施例的另一个方面，本公开实施例还提供了一种异步联邦学习的系统，包括：服务器和电子设备，其中，
所述服务器包括如上第五实施例和第六实施例所述的装置；
所述电子设备包括如上第七实施例和第八实施例所述的装置。
图11是根据本公开第十实施例的示意图，如图11所示，本公开中的电子设备1100可以包括：处理器1101和存储器1102。
存储器1102，用于存储程序；存储器1102，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器1102用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1102中。并且上述的计算机程序、计算机指令、数据等可以被处理器1101调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1102中。并且上述的计算机程序、计算机指据等可以被处理器1101调用。
处理器1101，用于执行存储器1102存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器1101和存储器1102可以是独立结构，也可以是集成在一起的集成结构。当处理器1101和存储器1102是独立结构时，存储器1102、处理器1101可以通过总线1103耦合连接。
本实施例的电子设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
本公开的技术方案中，所涉及的用户个人信息(如样本数据集等)的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如异步联邦学习的方法、业务服务的预测方法。例如，在一些实施例中，异步联邦学习的方法、业务服务的预测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM1203并由计算单元1201执行时，可以执行上文描述的异步联邦学习的方法、业务服务的预测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行异步联邦学习的方法、业务服务的预测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (54)

1.一种异步联邦学习的方法，所述方法应用于服务器，所述方法包括：
响应于目标电子设备发送的参与异步联邦学习的请求，根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的第一数量，并获取已参与所述异步联邦学习的其他电子设备的第二数量；
若所述第一数量大于所述第二数量，则向所述目标电子设备发送待优化的全局模型，并接收所述目标电子设备对所述待优化的全局模型进行训练得到的目标反馈信息；
根据所述目标反馈信息对所述待优化的全局模型进行优化，得到优化后的全局模型。
2.根据权利要求1所述的方法，其中，所述性能信息包括负载量；根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的第一数量，包括：
根据所述负载量确定所述异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量，其中，达到预设速度阈值的电子设备的数量确定为所述第一数量。
3.根据权利要求2所述的方法，其中，所述异步联邦学习的环境中包括N个电子设备；根据所述负载量确定所述异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量，包括：
根据所述负载量，确定所述N个电子设备参与所述异步联邦学习的收敛速度；
若所述N个电子设备参与所述异步联邦学习时收敛速度小于所述预设速度阈值，则根据所述负载量，确定(N-M)个电子设备参与所述异步联邦学习的收敛速度，其中，1≤M＜N；
以此类推，直至得到所述异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量。
4.根据权利要求1-3中任一项所述的方法，其中，根据所述目标反馈信息对所述待优化的全局模型进行优化，得到优化后的全局模型，包括：
根据所述目标反馈信息从所述服务器的内存中，获取所述其他电子设备反馈的对所述待优化的全局模型进行训练得到的反馈信息；
根据所述目标反馈信息和所述其他电子设备的反馈信息，对所述待优化的全局模型进行优化，得到所述优化后的全局模型。
5.根据权利要求4所述的方法，其中，所述目标反馈信息包括时间戳，所述时间戳用于表征所述异步联邦学习的学习轮数；根据所述目标反馈信息从所述服务器的内存中，获取所述其他电子设备反馈的对所述待优化的全局模型进行训练得到的反馈信息，包括：
从所述服务器的内存中，获取与所述目标电子设备具有相同的时间戳的所述其他电子设备的反馈信息。
6.根据权利要求5所述的方法，在从所述服务器的内存中，获取与所述目标电子设备具有相同的时间戳的所述其他电子设备的反馈信息之后，所述方法还包括：
获取所述目标反馈信息、以及所述其他电子设备的反馈信息在所述内存中的占有容量；
以及，根据所述目标反馈信息和所述其他电子设备的反馈信息，对所述待优化的全局模型进行优化，得到所述优化后的全局模型，包括：
若所述占有容量达到预设的容量阈值，则根据所述目标反馈信息和所述其他电子设备的反馈信息，对所述待优化的全局模型进行优化，得到所述优化后的全局模型。
7.根据权利要求1-6任一项所述的方法，其中，根据所述目标反馈信息对所述待优化的全局模型进行优化，得到优化后的全局模型，包括：
获取优化得到所述待优化的全局模型的历史被优化记录，并根据所述历史被优化记录生成每两相邻次优化所述待优化的全局模型的陈腐性信息；
根据各陈腐性信息和所述目标反馈信息，对所述待优化的全局模型进行优化，得到优化后的全局模型。
8.根据权利要求7所述的方法，其中，根据各陈腐性信息和所述目标反馈信息，对所述待优化的全局模型进行优化，得到优化后的全局模型，包括：
确定各陈腐信息各自对应的陈腐权重值，并对各陈腐性信息进行加权平均计算，得到平均陈腐性信息；
根据所述平均陈腐性信息、各陈腐性权重、以及所述目标反馈信息，对所述待优化的全局模型进行优化，得到优化后的全局模型。
9.根据权利要求8所述的方法，根据所述平均陈腐性信息、各陈腐性权重、以及所述目标反馈信息，对所述待优化的全局模型进行优化，得到优化后的全局模型，包括：
获取参与所述异步联邦学习的其他电子设备传输的反馈信息，其中，参与所述异步联邦学习的其他电子设备传输的反馈信息、以及所述目标反馈信息中包括各自对应的更新后的模型参数；
根据参与所述异步联邦学习的其他电子设备传输的反馈信息、以及所述目标反馈信息中包括各自对应的更新后的模型参数，确定平均更新后的模型参数；
根据所述平均陈腐性信息、各陈腐性权重、以及所述平均更新后的模型参数，对所述待优化的全局模型进行优化，得到优化后的全局模型。
10.根据权利要求1-9任一项所述的方法，其中，所述目标反馈信息是根据获取用于训练所述待优化的全局模型的样本数据集中各样本数据的差异信息，并根据所述差异信息和所述样本数据集，对所述待优化的全局模型进行训练得到的。
11.根据权利要求10所述的方法，其中，所述目标反馈信息是根据所述差异信息对所述待优化的全局模型进行正则化处理，得到处理后的全局模型，并根据所述样本数据集对所述处理后的全局模型进行训练得到的。
12.根据权利要求11所述的方法，其中，处理后的全局模型是根据所述差异信息确定用于训练所述待优化的全局模型的正则化权值参数，并根据所述正则化权值参数对所述待优化的全局模型进行正则化处理得到的。
13.根据权利要求1-12任一项所述的方法，其中，所述目标反馈信息为经压缩处理得到的压缩后的反馈信息，且压缩后的反馈信息的传输资源少于压缩前的反馈信息的传输资源。
14.根据权利要求13所述的方法，其中，所述压缩处理包括量化压缩处理；所述压缩后的反馈信息是获取所述压缩前的反馈信息的位数，根据所述压缩前的反馈信息的位数对所述压缩前的反馈信息进行量化压缩处理，得到所述压缩后的反馈信息，其中，所述压缩后的反馈信息的位数小于所述压缩前的反馈信息的位数。
15.根据权利要求13所述的方法，所述压缩前的反馈信息中包括多个模型参数集合；所述压缩处理包括稀疏压缩处理；所述压缩后的反馈信息是从所述多个模型参数集合中提取至少一个模型参数集合，其中，所述至少一个模型参数集合的数量少于所述多个模型参数集合的数量，并生成与所述至少一个模型参数集合对应的稀疏向量。
16.一种异步联邦学习的方法，所述方法应用于电子设备，所述方法包括：
向服务器发起参与异步联邦学习的请求，并接收所述服务器基于所述参与异步联邦学习的请求反馈的待优化的全局模型，其中，所述待优化的全局模型是在第一数量大于第二数量时接收到的，且所述第一数量是根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的数量，所述第二数量是获取到的已参与所述异步联邦学习的其他电子设备的数量；
对所述待优化的全局模型进行训练，得到目标反馈信息，并将所述目标反馈信息传输给所述服务器，其中，所述目标反馈信息用于对所述待优化的全局模型进行优化，得到优化后的全局模型。
17.根据权利要求16所述的方法，其中，对所述待优化的全局模型进行训练，得到目标反馈信息，包括：
获取用于训练所述待优化的全局模型的样本数据集中各样本数据的差异信息；
根据所述差异信息和所述样本数据集，对所述待优化的全局模型进行训练，得到所述目标反馈信息。
18.根据权利要求17所述的方法，其中，根据所述差异信息和所述样本数据集，对所述待优化的全局模型进行训练，得到所述目标反馈信息，包括：
根据所述差异信息对所述待优化的全局模型进行正则化处理，得到处理后的全局模型；
根据所述样本数据集对所述处理后的全局模型进行训练，得到所述目标反馈信息。
19.根据权利要求18所述的方法，其中，根据所述差异信息对所述待优化的全局模型进行正则化处理，得到处理后的全局模型，包括：
根据所述差异信息确定用于训练所述待优化的全局模型的正则化权值参数，并根据所述正则化权值参数对所述待优化的全局模型进行正则化处理，得到处理后的全局模型。
20.根据权利要求16-19任一项所述的方法，在对所述待优化的全局模型进行训练，得到目标反馈信息之后，所述方法还包括：
对所述目标反馈信息进行压缩处理，得到压缩后的反馈信息，其中，所述压缩后的反馈信息的传输资源少于所述目标反馈信息的传输资源。
21.根据权利要求20所述的方法，其中，所述压缩处理包括量化压缩处理；对所述目标反馈信息进行压缩处理，得到压缩后的反馈信息，包括：
获取所述目标反馈信息的位数，根据所述目标反馈信息的位数对目标反馈信息进行量化压缩处理，得到压缩后的反馈信息，其中，所述压缩后的反馈信息的位数小于所述目标反馈信息的位数。
22.根据权利要求20所述的方法，所述目标反馈信息中包括多个模型参数集合；所述压缩处理包括稀疏压缩处理；对所述目标反馈信息进行压缩处理，得到压缩后的反馈信息，包括：
从所述多个模型参数集合中提取至少一个模型参数集合，其中，所述至少一个模型参数集合的数量少于所述多个模型参数集合的数量；
生成与所述至少一个模型参数集合对应的稀疏向量，其中，所述压缩后的反馈信息包括所述稀疏向量。
23.根据权利要求16-22任一项所述的方法，其中，所述目标反馈信息中包括时间戳，所述时间戳用于表征所述异步联邦学习的学习轮数；所述时间戳用于得到所述优化后的全局模型。
24.根据权利要求23所述的方法，其中，所述时间戳用于从所述服务器的内存中，获取与所述目标电子设备具有相同的时间戳的所述其他电子设备的反馈信息；所述目标反馈信息和所述其他电子设备的反馈信息用于得到所述优化后的全局模型。
25.一种业务服务的预测方法，包括：
获取预测请求，所述预测请求用于请求对目标业务服务进行预测；
基于预先训练的优化后的全局模型对所述目标业务服务进行预测，得到预测结果；
其中，所述优化后的全局模型是基于如权利要求1-15任一项所述的方法得到的。
26.一种异步联邦学习的装置，所述装置应用于服务器，所述装置包括：
确定单元，用于响应于目标电子设备发送的参与异步联邦学习的请求，根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的第一数量；
第一获取单元，用于获取已参与所述异步联邦学习的其他电子设备的第二数量；
发送单元，用于若所述第一数量大于所述第二数量，则向所述目标电子设备发送待优化的全局模型；
第一接收单元，用于接收所述目标电子设备对所述待优化的全局模型进行训练得到的目标反馈信息；
优化单元，用于根据所述目标反馈信息对所述待优化的全局模型进行优化，得到优化后的全局模型。
27.根据权利要求26所述的装置，其中，所述性能信息包括负载量；所述确定单元用于，根据所述负载量确定所述异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量，其中，达到预设速度阈值的电子设备的数量确定为所述第一数量。
28.根据权利要求27所述的装置，其中，所述异步联邦学习的环境中包括N个电子设备；所述确定单元，包括：
第一确定子单元，用于根据所述负载量，确定所述N个电子设备参与所述异步联邦学习的收敛速度；
第二确定子单元，用于若所述N个电子设备参与所述异步联邦学习时收敛速度小于所述预设速度阈值，则根据所述负载量，确定(N-M)个电子设备参与所述异步联邦学习的收敛速度，其中，1≤M＜N；
以此类推，直至得到所述异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量。
29.根据权利要求26-28中任一项所述的装置，其中，所述优化单元，包括：
第一获取子单元，用于根据所述目标反馈信息从所述服务器的内存中，获取所述其他电子设备反馈的对所述待优化的全局模型进行训练得到的反馈信息；
第一优化子单元，用于根据所述目标反馈信息和所述其他电子设备的反馈信息，对所述待优化的全局模型进行优化，得到所述优化后的全局模型。
30.根据权利要求29所述的装置，其中，所述目标反馈信息包括时间戳，所述时间戳用于表征所述异步联邦学习的学习轮数；所述第一获取子单元用于，从所述服务器的内存中，获取与所述目标电子设备具有相同的时间戳的所述其他电子设备的反馈信息。
31.根据权利要求30所述的装置，所述优化单元还包括：
第二获取子单元，用于获取所述目标反馈信息、以及所述其他电子设备的反馈信息在所述内存中的占有容量；
以及，所述第一优化子单元用于，若所述占有容量达到预设的容量阈值，则根据所述目标反馈信息和所述其他电子设备的反馈信息，对所述待优化的全局模型进行优化，得到所述优化后的全局模型。
32.根据权利要求26-31任一项所述的装置，其中，所述优化单元，包括：
第三获取子单元，用于获取优化得到所述待优化的全局模型的历史被优化记录；
生成子单元，用于根据所述历史被优化记录生成每两相邻次优化所述待优化的全局模型的陈腐性信息；
第二优化子单元，用于根据各陈腐性信息和所述目标反馈信息，对所述待优化的全局模型进行优化，得到优化后的全局模型。
33.根据权利要求32所述的装置，其中，所述第二优化子单元，包括：
确定模块，用于确定各陈腐信息各自对应的陈腐权重值；
计算模块，用于对各陈腐性信息进行加权平均计算，得到平均陈腐性信息；
优化模块，用于根据所述平均陈腐性信息、各陈腐性权重、以及所述目标反馈信息，对所述待优化的全局模型进行优化，得到优化后的全局模型。
34.根据权利要求33所述的装置，所述优化模块，包括：
获取子模块，用于获取参与所述异步联邦学习的其他电子设备传输的反馈信息，其中，参与所述异步联邦学习的其他电子设备传输的反馈信息、以及所述目标反馈信息中包括各自对应的更新后的模型参数；
第一确定子模块，用于根据参与所述异步联邦学习的其他电子设备传输的反馈信息、以及所述目标反馈信息中包括各自对应的更新后的模型参数，确定平均更新后的模型参数；
优化子模块，用于根据所述平均陈腐性信息、各陈腐性权重、以及所述平均更新后的模型参数，对所述待优化的全局模型进行优化，得到优化后的全局模型。
35.根据权利要求26-34任一项所述的装置，其中，所述目标反馈信息是根据获取用于训练所述待优化的全局模型的样本数据集中各样本数据的差异信息，并根据所述差异信息和所述样本数据集，对所述待优化的全局模型进行训练得到的。
36.根据权利要求35所述的装置，其中，所述目标反馈信息是根据所述差异信息对所述待优化的全局模型进行正则化处理，得到处理后的全局模型，并根据所述样本数据集对所述处理后的全局模型进行训练得到的。
37.根据权利要求36所述的装置，其中，处理后的全局模型是根据所述差异信息确定用于训练所述待优化的全局模型的正则化权值参数，并根据所述正则化权值参数对所述待优化的全局模型进行正则化处理得到的。
38.根据权利要求26-37任一项所述的装置，其中，所述目标反馈信息为经压缩处理得到的压缩后的反馈信息，且压缩后的反馈信息的传输资源少于压缩前的反馈信息的传输资源。
39.根据权利要求38所述的装置，其中，所述压缩处理包括量化压缩处理；所述压缩后的反馈信息是获取所述压缩前的反馈信息的位数，根据所述压缩前的反馈信息的位数对所述压缩前的反馈信息进行量化压缩处理，得到所述压缩后的反馈信息，其中，所述压缩后的反馈信息的位数小于所述压缩前的反馈信息的位数。
40.根据权利要求38所述的装置，所述压缩前的反馈信息中包括多个模型参数集合；所述压缩处理包括稀疏压缩处理；所述压缩后的反馈信息是从所述多个模型参数集合中提取至少一个模型参数集合，其中，所述至少一个模型参数集合的数量少于所述多个模型参数集合的数量，并生成与所述至少一个模型参数集合对应的稀疏向量。
41.一种异步联邦学习的装置，所述装置应用于电子设备，所述装置包括：
发起单元，用于向服务器发起参与异步联邦学习的请求；
第二接收单元，用于接收所述服务器基于所述参与异步联邦学习的请求反馈的待优化的全局模型，其中，所述待优化的全局模型是在第一数量大于第二数量时接收到的，且所述第一数量是根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的数量，所述第二数量是获取到的已参与所述异步联邦学习的其他电子设备的数量；
训练单元，用于对所述待优化的全局模型进行训练，得到目标反馈信息；
传输单元，用于将所述目标反馈信息传输给所述服务器，其中，所述目标反馈信息用于对所述待优化的全局模型进行优化，得到优化后的全局模型。
42.根据权利要求41所述的装置，其中，所述训练单元，包括：
第四获取子单元，用于获取用于训练所述待优化的全局模型的样本数据集中各样本数据的差异信息；
训练子单元，用于根据所述差异信息和所述样本数据集，对所述待优化的全局模型进行训练，得到所述目标反馈信息。
43.根据权利要求42所述的装置，其中，所述训练子单元，包括：
处理模块，用于根据所述差异信息对所述待优化的全局模型进行正则化处理，得到处理后的全局模型；
训练模块，用于根据所述样本数据集对所述处理后的全局模型进行训练，得到所述目标反馈信息。
44.根据权利要求43所述的装置，其中，所述处理模块，包括：
第二确定子模块，用于根据所述差异信息确定用于训练所述待优化的全局模型的正则化权值参数；
处理子模块，用于根据所述正则化权值参数对所述待优化的全局模型进行正则化处理，得到处理后的全局模型。
45.根据权利要求41-44任一项所述的装置，所述装置还包括：
压缩单元，用于对所述目标反馈信息进行压缩处理，得到压缩后的反馈信息，其中，所述压缩后的反馈信息的传输资源少于所述目标反馈信息的传输资源。
46.根据权利要求45所述的装置，其中，所述压缩处理包括量化压缩处理；所述压缩单元，包括：
第五获取子单元，用于获取所述目标反馈信息的位数；
压缩子单元，用于根据所述目标反馈信息的位数对目标反馈信息进行量化压缩处理，得到压缩后的反馈信息，其中，所述压缩后的反馈信息的位数小于所述目标反馈信息的位数。
47.根据权利要求45所述的装置，所述目标反馈信息中包括多个模型参数集合；所述压缩处理包括稀疏压缩处理；所述压缩单元，包括：
提取子单元，用于从所述多个模型参数集合中提取至少一个模型参数集合，其中，所述至少一个模型参数集合的数量少于所述多个模型参数集合的数量；
生成子单元，用于生成与所述至少一个模型参数集合对应的稀疏向量，其中，所述压缩后的反馈信息包括所述稀疏向量。
48.根据权利要求41-47任一项所述的装置，其中，所述目标反馈信息中包括时间戳，所述时间戳用于表征所述异步联邦学习的学习轮数；所述时间戳用于得到所述优化后的全局模型。
49.根据权利要求48所述的装置，其中，所述时间戳用于从所述服务器的内存中，获取与所述目标电子设备具有相同的时间戳的所述其他电子设备的反馈信息；所述目标反馈信息和所述其他电子设备的反馈信息用于得到所述优化后的全局模型。
50.一种业务服务的预测装置，包括：
第二获取单元，用于获取预测请求，所述预测请求用于请求对目标业务服务进行预测；
预测单元，用于基于预先训练的优化后的全局模型对所述目标业务服务进行预测，得到预测结果；
其中，所述优化后的全局模型是基于如权利要求1-15任一项所述的方法得到的。
51.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-15中任一项所述的方法；或者，
以使所述至少一个处理器能够执行权利要求16-24中任一项所述的方法；或者，
以使所述至少一个处理器能够执行权利要求25所述的方法。
52.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-15中任一项所述的方法；或者，
所述计算机指令用于使所述计算机执行根据权利要求16-24中任一项所述的方法；或者，
所述计算机指令用于使所述计算机执行根据权利要求25所述的方法。
53.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-15中任一项所述方法的步骤；或者，
该计算机程序被处理器执行时实现权利要求16-24中任一项所述方法的步骤；或者，
该计算机程序被处理器执行时实现权利要求25所述方法的步骤。
54.一种异步联邦学习的系统，包括：服务器和电子设备，其中，
所述服务器包括如权利要求26-40中任一项所述的装置；
所述电子设备包括如权利要求41-49中任一项所述的装置。
CN202210148478.3A 2022-02-17 2022-02-17 异步联邦学习的方法、业务服务的预测方法、装置及系统 Active CN114548426B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210148478.3A CN114548426B (zh) 2022-02-17 2022-02-17 异步联邦学习的方法、业务服务的预测方法、装置及系统
US17/879,888 US20220383198A1 (en) 2022-02-17 2022-08-03 Method for asynchronous federated learning, method for predicting business service, apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210148478.3A CN114548426B (zh) 2022-02-17 2022-02-17 异步联邦学习的方法、业务服务的预测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN114548426A true CN114548426A (zh) 2022-05-27
CN114548426B CN114548426B (zh) 2023-11-24

Family

ID=81675252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210148478.3A Active CN114548426B (zh) 2022-02-17 2022-02-17 异步联邦学习的方法、业务服务的预测方法、装置及系统

Country Status (2)

Country Link
US (1) US20220383198A1 (zh)
CN (1) CN114548426B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001870A1 (zh) * 2022-06-29 2024-01-04 华为技术有限公司 一种人工智能模型的训练方法及相关设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548426B (zh) * 2022-02-17 2023-11-24 北京百度网讯科技有限公司 异步联邦学习的方法、业务服务的预测方法、装置及系统
CN116049862B (zh) * 2023-03-13 2023-06-27 杭州海康威视数字技术股份有限公司 基于异步分组联邦学习的数据保护方法、装置及系统
CN116341689B (zh) * 2023-03-22 2024-02-06 深圳大学 机器学习模型的训练方法、装置、电子设备及存储介质
CN117812564A (zh) * 2024-02-29 2024-04-02 湘江实验室 一种应用于车联网的联邦学习方法、装置、设备及介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器
CN110782042A (zh) * 2019-10-29 2020-02-11 深圳前海微众银行股份有限公司 横向联邦和纵向联邦联合方法、装置、设备及介质
CN111931520A (zh) * 2020-10-16 2020-11-13 北京百度网讯科技有限公司 自然语言处理模型的训练方法和装置
CN112801301A (zh) * 2021-01-29 2021-05-14 深圳前海微众银行股份有限公司 异步计算方法、装置、设备、存储介质及程序产品
CN113221470A (zh) * 2021-06-10 2021-08-06 南方电网科学研究院有限责任公司 一种用于电网边缘计算系统的联邦学习方法及其相关装置
WO2021158313A1 (en) * 2020-02-03 2021-08-12 Intel Corporation Systems and methods for distributed learning for wireless edge dynamics
WO2021169577A1 (zh) * 2020-02-27 2021-09-02 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN113361721A (zh) * 2021-06-29 2021-09-07 北京百度网讯科技有限公司 模型训练方法、装置、电子设备、存储介质及程序产品
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置
WO2021190638A1 (zh) * 2020-11-24 2021-09-30 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
CN113516250A (zh) * 2021-07-13 2021-10-19 北京百度网讯科技有限公司 一种联邦学习方法、装置、设备以及存储介质
CN113537509A (zh) * 2021-06-28 2021-10-22 南方科技大学 协作式的模型训练方法及装置
CN113573331A (zh) * 2020-04-29 2021-10-29 华为技术有限公司 一种通信方法、装置及系统
US20210342749A1 (en) * 2020-04-29 2021-11-04 International Business Machines Corporation Adaptive asynchronous federated learning
CN113890564A (zh) * 2021-08-24 2022-01-04 浙江大学 基于联邦学习的无人机专用自组网跳频抗干扰方法及装置
US20220004933A1 (en) * 2020-06-24 2022-01-06 Jingdong Digits Technology Holding Co., Ltd. Privacy-preserving asynchronous federated learning for vertical partitioned data
CN113962988A (zh) * 2021-12-08 2022-01-21 东南大学 基于联邦学习的电力巡检图像异常检测方法及系统
CN114037089A (zh) * 2021-10-26 2022-02-11 中山大学 一种面向异质场景的异步联邦学习方法、装置及存储介质
US20220383198A1 (en) * 2022-02-17 2022-12-01 Beijing Baidu Netcom Science Technology Co., Ltd. Method for asynchronous federated learning, method for predicting business service, apparatus, and system

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器
CN110782042A (zh) * 2019-10-29 2020-02-11 深圳前海微众银行股份有限公司 横向联邦和纵向联邦联合方法、装置、设备及介质
WO2021158313A1 (en) * 2020-02-03 2021-08-12 Intel Corporation Systems and methods for distributed learning for wireless edge dynamics
WO2021169577A1 (zh) * 2020-02-27 2021-09-02 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN113573331A (zh) * 2020-04-29 2021-10-29 华为技术有限公司 一种通信方法、装置及系统
US20210342749A1 (en) * 2020-04-29 2021-11-04 International Business Machines Corporation Adaptive asynchronous federated learning
US20220004933A1 (en) * 2020-06-24 2022-01-06 Jingdong Digits Technology Holding Co., Ltd. Privacy-preserving asynchronous federated learning for vertical partitioned data
CN111931520A (zh) * 2020-10-16 2020-11-13 北京百度网讯科技有限公司 自然语言处理模型的训练方法和装置
WO2021190638A1 (zh) * 2020-11-24 2021-09-30 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
CN112801301A (zh) * 2021-01-29 2021-05-14 深圳前海微众银行股份有限公司 异步计算方法、装置、设备、存储介质及程序产品
CN113221470A (zh) * 2021-06-10 2021-08-06 南方电网科学研究院有限责任公司 一种用于电网边缘计算系统的联邦学习方法及其相关装置
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置
CN113537509A (zh) * 2021-06-28 2021-10-22 南方科技大学 协作式的模型训练方法及装置
CN113361721A (zh) * 2021-06-29 2021-09-07 北京百度网讯科技有限公司 模型训练方法、装置、电子设备、存储介质及程序产品
CN113516250A (zh) * 2021-07-13 2021-10-19 北京百度网讯科技有限公司 一种联邦学习方法、装置、设备以及存储介质
CN113890564A (zh) * 2021-08-24 2022-01-04 浙江大学 基于联邦学习的无人机专用自组网跳频抗干扰方法及装置
CN114037089A (zh) * 2021-10-26 2022-02-11 中山大学 一种面向异质场景的异步联邦学习方法、装置及存储介质
CN113962988A (zh) * 2021-12-08 2022-01-21 东南大学 基于联邦学习的电力巡检图像异常检测方法及系统
US20220383198A1 (en) * 2022-02-17 2022-12-01 Beijing Baidu Netcom Science Technology Co., Ltd. Method for asynchronous federated learning, method for predicting business service, apparatus, and system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FENG Z 等: "STAFL: Staleness-Tolerant Asynchronous Federated Learning on Non-iid Dataset", ELECTRONICS, vol. 11, no. 03, pages 314 - 314 *
XIE, CONG等: "ASYNCHRONOUS FEDERATED OPTIMIZATION", ARXIV:1903.03934 [CS.DC, pages 1 - 11 *
陶梅霞 等: "联邦学习中基于时分多址接入的用户调度策略", 通信学报, vol. 42, no. 06, pages 16 - 29 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001870A1 (zh) * 2022-06-29 2024-01-04 华为技术有限公司 一种人工智能模型的训练方法及相关设备

Also Published As

Publication number Publication date
CN114548426B (zh) 2023-11-24
US20220383198A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
CN114548426B (zh) 异步联邦学习的方法、业务服务的预测方法、装置及系统
CN112561078B (zh) 分布式的模型训练方法及相关装置
JP7406606B2 (ja) テキスト認識モデルの訓練方法、テキスト認識方法及び装置
CN114861911B (zh) 深度学习模型的训练方法、装置、系统、设备和介质
US11604766B2 (en) Method, apparatus, device, storage medium and computer program product for labeling data
CN114065864B (zh) 联邦学习方法、联邦学习装置、电子设备以及存储介质
CN114095438B (zh) 数据传输方法、装置、设备、存储介质及计算机程序产品
CN114819084B (zh) 模型推理方法、装置、设备及存储介质
CN112783807A (zh) 一种模型计算方法及系统
US20220391780A1 (en) Method of federated learning, electronic device, and storage medium
CN112686528A (zh) 用于分配客服资源的方法、装置、服务器和介质
WO2023088462A1 (zh) 用于处理数据的方法、装置、设备以及存储介质
CN115599571A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN114020469A (zh) 基于边缘节点的多任务学习方法、装置、介质与设备
CN113905040A (zh) 文件传输方法、装置、系统、设备以及存储介质
CN115250276A (zh) 分布式系统及数据处理的方法和装置
CN117519996B (zh) 一种数据处理方法、装置、设备以及存储介质
CN113762510B (zh) 针对目标模型的数据处理方法、装置、电子设备和介质
CN115759233B (zh) 模型的训练方法、图数据处理方法、装置及电子设备
CN117608879A (zh) 消息队列的处理方法、装置、电子设备及存储介质
US11886928B2 (en) Automated service tiering between edge computing sites and a core data center
CN114461502B (zh) 模型的监控方法和装置
CN117130762A (zh) 数据处理方法、装置、设备、存储介质及计算机程序产品
CN115827246A (zh) 分布式任务处理方法、装置、电子设备及可读存储介质
CN115802438A (zh) 一种数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant