CN113128701A

CN113128701A - 面向样本稀疏性的联邦学习方法及系统

Info

Publication number: CN113128701A
Application number: CN202110371288.3A
Authority: CN
Inventors: 陈益强; 陈前; 蒋鑫龙; 秦欣
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2021-04-07
Filing date: 2021-04-07
Publication date: 2021-07-16

Abstract

本申请提供了面向样本稀疏性的联邦学习方法及系统，包括由各个边缘设备在基于本地数据对全局模型训练后将得到的模型参数以及训练用的特征向量上传至云端服务器；由云端服务器将从各边缘设备收到的特征向量形成多模态特征联合表示并对来自各个边缘设备的模型参数进行聚合；由云端服务器利用多模态特征联合表示对经聚合后的全局模型进行训练并将训练后的模型参数和多模态特征联合表示下发至各个边缘设备；以及由每个边缘设备对从云端服务器收到的全局模型进行迁移学习以得到相应的本地模型。该方案有效联合多个不同模态数据的参与方进行模型的协同训练，在兼顾用户隐私的同时改善了模型精度。

Description

面向样本稀疏性的联邦学习方法及系统

技术领域

本发明涉及机器学习和数据处理技术，尤其涉及边缘设备与云端服务器协同处理数据的方法和系统。

背景技术

传统的机器学习方法基于大量的样本数据集进行训练，来获得适合于不同任务和场景的机器学习模型。这些样本数据通常从不同的用户、设备和系统收集并集中存储。在实际应用场景中，这种收集样本数据进行数据分析的方式面临许多问题。一方面，这种方式有损害数据隐私和安全性的潜在威胁，在某些应用程序场景(例如金融和政府行业)中，由于数据隐私和安全要求的限制，无法进行集中式数据存储。另一方面，这种方式增加了通信开销。对于某些严重依赖移动设备的应用程序，此类数据聚合的通信开销成本可能会很大。

目前通常采用联邦学习框架来帮助多个机构在满足用户隐私保护、数据使用合规合法的要求下进行机器学习建模，各参与方依赖于各自本地数据训练模型，云端服务器对多个参与方的模型参数进行平均优化后将优化的参数返回至各参与方供其使用。然而在这样的联邦学习模式下，各参与方本地拥有的数据量小，经常由于样本不足而影响模型的精度；并且各个参与方需要基于相同类型的数据集进行训练，这显然难以满足不同类型参与方的协同需求。

发明内容

本发明的目的是提供一种面向样本稀疏性的联邦学习方法及系统，能有效联合多个不同模态数据的参与方进行模型的协同训练，在兼顾各参与方数据的安全和隐私的同时改善模型的精度。

上述目的是通过以下技术方案实现的：

根据本发明实施例的第一方面，提供一种面向样本稀疏性的联邦学习方法，包括：由参与协同训练的每个边缘设备根据来自云端服务器的全局模型，利用预设的特征提取模型从其本地数据中提取与该全局模型相对应的特征向量，并基于所提取的特征向量对当前的全局模型进行训练；由每个边缘设备将经训练后得到的模型参数以及所提取的特征向量上传至云端服务器；由云端服务器通过预设的表示学习模型从来自各边缘设备的所有特征向量中获取多模态特征联合表示；由云端服务器对来自各个边缘设备的模型参数进行聚合，并基于所获取的多模态特征联合表示对经聚合后的全局模型进行训练并将训练后的模型参数和多模态特征联合表示下发至各个边缘设备；由每个边缘设备基于来自云端服务器的模型参数构建新的全局模型，并基于本地提取的特征向量和所接收的多模态特征联合表示对所构建的新的全局模型进行微调训练，以得到其对应的本地模型。

在一些实施例中，参与协同训练的各个边缘设备可以具有不同模态的本地数据。

在一些实施例中，参与协同训练的各个边缘设备可以采用同一特征提取模型或不同的特征提取模型从其本地数据中提取与全局模型相对应的特征向量。在一些实施例中，所述特征提取模型可以为下列之一：卷积神经网络、循环神经网络、深度神经网络。

在一些实施例中，云端服务器所使用的表示学习模型可以为下列之一：卷积神经网络、循环神经网络、深度神经网络、受限波尔兹曼机。

在一些实施例中，所述全局模型可以为下列之一：卷积神经网络、循环神经网络、深度神经网络、受限波尔兹曼机。

在一些实施例中，基于本地提取的特征向量和所接收的多模态特征联合表示对所构建的新的全局模型进行微调训练包括：以来自云端服务器的模型参数为源域，以边缘设备的本地模型的模型参数为目标域进行迁移学习，其中在用于迁移学习的目标函数中计及源域与目标域分布的差异以及本地提取的特征向量与来自云端服务器的多模态特征联合表示之间的差异。

在一些实施例中，可以采用同态加密的方式对云端服务器与边缘设备之间传递的模型参数进行加密处理；以及采用差分扰动的方式来对各边缘设备向云端服务器上传的特征向量进行加密处理。

在一些实施例中，该方法还可包括：由每个边缘设备将进行微调训练后得到的本地模型的参数上传至云端服务器；由云端服务器对所接收的来自各个边缘设备的模型参数进行聚合；由云端服务器响应于确定采用聚合后参数的全局模型的精度并未达到预设条件，基于所获取的多模态特征联合表示对经聚合后的全局模型进行训练并将训练后的模型参数下发至各个边缘设备；由每个边缘设备基于来自云端服务器的模型参数构建新的全局模型，并基于本地提取的特征向量和所接收的多模态特征联合表示对所构建的新的全局模型进行微调训练，以得到其对应的本地模型；重复上述步骤直到云端服务器确定采用聚合后参数的全局模型的精度达到预设条件为止。

在一些实施例中，云端服务器对从各个边缘设备接收的模型参数进行聚合可以包括对从各个边缘设备接收的模型参数求平均值，以得到聚合后的模型参数。

根据本发明实施例的第二方面，提供了一种面向样本稀疏性的联邦学习系统，该系统云端服务器以及参与协同训练的多个边缘设备。其中每个边缘设备被配置为：根据来自云端服务器的全局模型，利用预设的特征提取模型从其本地数据中提取与该全局模型相对应的特征向量，并基于所提取的特征向量对当前的全局模型进行训练；将经训练后得到的模型参数以及所提取的特征向量上传至云端服务器；以及基于来自云端服务器的模型参数构建新的全局模型，并基于本地提取的特征向量和所接收的多模态特征联合表示对所构建的新的全局模型进行微调训练，以得到其对应的本地模型。其中云端服务器被配置为：通过预设的表示学习模型从来自各边缘设备的所有特征向量中获取多模态特征联合表示；对来自各个边缘设备的模型参数进行聚合，并基于所获取的多模态特征联合表示对经聚合后的全局模型进行训练；以及将训练后的模型参数和多模态特征联合表示下发至各个边缘设备。

在一些实施例中，可以采用同态加密和差分扰动相结合的方式对边缘设备与云端服务器之间传输的数据进行加密处理。

根据本发明实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被执行时实现如上述实施例第一方面所述的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了根据本发明一个实施例的面向样本稀疏性的联邦学习系统的工作原理示意图。

图2示出了根据本发明一个实施例的面向样本稀疏性的联邦学习方法的流程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动下获得的所有其他实施例，都属于本发明保护的范围。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了根据本发明一个实施例的面向样本稀疏性的联邦学习系统的工作原理示意图。该系统包括云端服务器和作为参与方来参与模型的协同训练的位于多个不同用户/机构处的多个边缘设备。其中云端服务器负责设定待训练的全局模型及其相关初始参数以及进行协同训练的各个参与方。在系统初始化时，云端服务器可以将设定的全局模型及其初始参数下发至各个参与方。其中该全局模型可以为卷积神经网络、循环神经网络、深度神经网络、受限波尔兹曼机、多层感知机等适用于联邦学习的模型。各个用户/机构作为联邦学习参与方通过其边缘设备收集各种模态的数据，例如图像、音频、视频、文本等等。每一种信息的来源或者形式，都可以称为一种模态。每个参与方在训练时经常面临由于训练样本不足且模态单一的问题，并由此导致模型精度比较差。尽管在现有的联邦学习框架中，可以通过云端服务器对各个参与方的模型参数进行全局平均优化后再下发至各参与方来改善模型精度。但如上文提到的，这样方式要求各参与方具有相同模态的数据，而并不适用于不同模态的参与方之间的协同训练。

在该实施例中，云端服务器可以联合拥有不同模态数据的多个参与方进行模型的协同训练。各个参与方利用自己拥有的单一模态数据在本地对当前收到的全局模型进行训练。考虑到不同模态的表示形式不一样，在对全局模型训练之前，每个参与的边缘设备可利用预设的特征提取模型从其本地数据中提取与该全局模型相对应的特征向量，然后基于所提取的特征向量对全局模型进行训练，从而使得各参与方训练样本和特征基本对齐，以便于后续的模型聚合。在一些实施例中，每个边缘设备可以采用诸如卷积神经网络、循环神经网络、深度神经网络之类的神经网络模型作为特征提取模型来将本地模态数据映射至可适用于全局模型的特征向量空间。应理解，各个边缘设备所采取的特征提取模型可以是相同结构或不同结构；例如每个边缘设备可以根据本地模态数据的性质选择合适的特征提取模型来获得适用于全局模型的特征向量。各参与方分别独立地基于各自的本地数据对其收到的全局模型进行训练。

如图1所示，在完成各边缘设备处的本地模型训练之后，每个边缘设备可以将经训练得到的模型参数以及用于进行该训练的特征向量上传至云端服务器。由于上传的并非是各参与方的原始数据，因此传输的通信开销并不大，并且也在一定程度上避免了原始数据的泄露。在一些实施例中，为更好地确保各参与方隐私和安全性，可以采用同态加密的方式对云端服务器与边缘设备之间传递的模型参数进行加密处理。对经过同态加密的数据进行处理得到的输出，将这一输出进行解密后，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的。这样，依据同态加密技术，云端服务器可以不需将边缘设备上传的模型参数解密，就能完成相应的模型参数聚合处理。然而发明人研究发现，这样的同态加密方法并不适合处理各边缘设备向云端服务器上传的特征向量。因此在该实施例中，各边缘设备在向云端服务器上传的特征向量之前，先在本地采用基于差分隐私理论的差分扰动方式对特征向量进行处理，然后将经差分扰动后的特征向量上传至云端服务器。这样，无论是在传输过程中还是在云端服务器的处理过程中均不会造成各参与方数据和隐私的泄露。

云端服务器对收到的来自各边缘设备的模型参数进行聚合以得到聚合后的全局模型参数。这里可采用诸如求平均值、加权求和等等适用于联邦学习的聚合算法。考虑到不同模态信息之间的存在交叉和互补，因此在该实施例中，云端服务器还可以通过预设的表示学习模型从来自不同模态的各边缘设备的特征向量中获取多模态特征联合表示，从而挖掘不同模态之间更丰富的信息。然后利用所获取的多模态特征联合表示对经聚合后的全局模型进一步进行训练，直到模型收敛为止。其中云端服务器所使用的表示学习模型可以是卷积神经网络、循环神经网络、深度神经网络、受限波尔兹曼机等等适用于获取多模态特征的联合表示的模型。

云端服务器将训练后得到的云端的全局模型的模型参数以及多模态特征联合表示下发至参与协同训练的各参与方的边缘设备。每个边缘设备可以基于来自云端服务器的模型参数更新其本地的全局模型，然后在其本地数据上利用迁移学习对更新后的全局模型进行微调训练，以得到其对应的本地模型。各边缘设备的迁移学习的优化目标函数中可以计及本地提取的特征向量与所接收的多模态特征联合表示之间的差异以及接收到的云端模型参数与本地模型参数之间的差异，具体细节在下文中介绍。

在一些实施例中，各个边缘设备还可以将进行微调训练后得到的本地模型的参数上传至云端服务器，并继续由云端服务器对所接收的来自各个边缘设备的模型参数进行聚合。云端服务器判断采用聚合后参数的全局模型的精度并未达到预设条件或者协同训练的次数是否达到预定的阈值。如果仍然为达到，则基于所获取的多模态特征联合表示对经聚合后的全局模型进行训练并将训练后的模型参数下发至各个边缘设备。各个边缘设备继续基于本地数据对新收到的全局模型进行微调训练，接着向云端服务器上传相应的模型参数。上述过程可以不断循环迭代直到云端服务器确定采用聚合后参数的全局模型的精度达到预设条件或者协同训练的次数已达到预定的阈值为止。

在上述的联邦学习系统中，在保证各参与方安全性和隐私性的同时，有效解决了训练过程中单个参与方训练样本不足且模态单一的问题，有效联合多个不同模态数据的参与方进行协同训练，改善了模型的精度，同时还通过各参与方本地迁移学习兼顾不同用户的个性化需求。

图2给出了根据本发明一个实施例的面向样本稀疏性的联邦学习方法的流程示意图。如图2所示，该方法主要包括：S201由参与协同训练的每个边缘设备根据来自云端服务器的全局模型，利用预设的特征提取模型从其本地数据中提取与该全局模型相对应的特征向量，并基于所提取的特征向量对当前的全局模型进行训练；S202由每个边缘设备将经训练后得到的模型参数以及所提取的特征向量上传至云端服务器；S203由云端服务器通过预设的表示学习模型从来自各边缘设备的所有特征向量中获取多模态特征联合表示；S204由云端服务器对来自各个边缘设备的模型参数进行聚合，并基于所获取的多模态特征联合表示对经聚合后的全局模型进行训练并将训练后的模型参数和多模态特征联合表示下发至各个边缘设备；S205 由每个边缘设备基于来自云端服务器的模型参数构建新的全局模型，并基于本地提取的特征向量和所接收的多模态特征联合表示对所构建的新的全局模型进行微调训练，以得到其对应的本地模型。

在一些实施例中，参与协同训练的各个边缘设备可以具有不同模态的本地数据。在步骤S201参与协同训练的各个边缘设备可以采用同一特征提取模型或不同的特征提取模型从其本地数据中提取与全局模型相对应的特征向量。在一些实施例中，在步骤S202还可以采用同态加密的方式对云端服务器与边缘设备之间传递的模型参数进行加密处理；以及采用差分扰动的方式来对各边缘设备向云端服务器上传的特征向量进行加密处理。在一些实施例中，在步骤S204云端服务器对从各个边缘设备接收的模型参数进行聚合可以包括对从各个边缘设备接收的模型参数求平均值或加权平均值，以得到聚合后的模型参数。在一些实施例中，在步骤S205 基于本地提取的特征向量和所接收的多模态特征联合表示对所构建的新的全局模型进行微调训练包括：以来自云端服务器的模型参数为源域，以边缘设备的本地模型的模型参数为目标域进行迁移学习，其中在用于迁移学习的目标函数中计及源域与目标域分布的差异以及本地提取的特征向量与来自云端服务器的多模态特征联合表示之间的差异。

下面以深度神经网络作为协同训练的全局模型为例来对上述循环迭代的协同训练过程进行简要的示例说明。

当收到来自云端服务器的初始全局模型时，在对于任一用户u的边缘设备处的本地模型训练过程中，可以将该本地模型的优化目标设置为：

其中，f_u表示待学习的用户本地模型，

表示本地模型的损失函数，例如对于分类任务其是一个标准的交叉熵损失。

表示用户本地训练用的样本数据，其中

表示用户u的第i个特征向量，

表示用户u的第i 个特征向量对应的期望输出(也可以理解为第i个特征向量的标签)。θ^u表示用户u所有待学习的模型参数，包括权重和偏置项。当用户u的模型收敛时，其将训练后得到的模型参数以及训练过程中所使用的特征向量上传至云端服务器。

如上文到的，在一些实施例中，可以对训练后得到的模型参数可以采用同态加密的方法进行加密处理。在一些实施例中，也可以对训练后得到的模型参数可以采用差分扰动的方法进行加密处理。在一些实施例中，对于各个用户在训练本地模型时用到的特征可以进行本地化差分隐私保护处理。例如，在上传云端前，在用户根据自身数据敏感程度预设的隐私保护预算下，向待上传的特征数据x添加满足差分隐私理论约束的可控随机噪声Laplace(1/ε_u)来进行差分扰动，扰动后的数据可表示为：

x′＝x+Laplace(Δf/ε_u) (2)

其中，Laplace(·)为满足拉普拉斯分布的可控随机噪声，添加的噪声量由敏感度Δf控制，ε_u为分配给用户在本地进行差分扰动的隐私保护预算。用户采集到的原始数据不会共享，只在需要时向云端服务器上传经差分扰动后的特征数据。

云端服务器可以对来自各个边缘设备的模型参数通过求平均值来进行聚合，平均模型可以在降低损失方面取得更好的收敛性能。并且在一些示例中，考虑到模型融合的计算复杂度，在每一次训练周期可以从所有用户模型中随机挑取K个用户本地模型的参数上传云端进行模型融合，经过若干训练周期后，更新的云端模型就可以涵盖几乎所有的用户本地模型，达到更好的泛化能力。在又一些实施例中，考虑到针对参与方的成员推理攻击，防止敌手通过对比观察每一轮模型更新效果和输出差异，来恶意获取参与方在上传和下载更新模型参数时的信息，可以在云端进行模型聚合时对各参与方的贡献进行模糊化处理，提供相应的隐私信息保护。因此，云端服务器接收来自N个不同参与方上传的模型参数，并在密文状态下 (例如，经同态加密或差分扰动后加密)对这些模型进行满足差分隐私保护的聚合和更新操作，云端模型的更新可以形式化为：

其中，w_s为云端模型目标参数，w_i为N个参与方的本地模型参数，i＝1，2，...，N。与上文类似，Laplace(·)为满足拉普拉斯分布的可控随机噪声，添加的噪声量由敏感度Δf控制，ε_s为分配给云端服务器进行差分扰动的隐私保护预算。

同时，云端服务器可以利用深度神经网络、受限玻尔兹曼机、循环神经网络等作为表示学习模型，对从各个边缘设备接收的经差分扰动后的单一模态特征x′₁，x′₂，...，x′_N计算其多模态特征联合表示：X_m＝g(x′₁，x′₂，...，x′_N) 其中，多模态联合表示X_m实际上是通过一个函数g(包括但不限于深度神经网络、受限玻尔兹曼机、循环神经网络等)将来自各参与方不同模态的特征表示映射至同一个特征表示空间中。云端服务器可以利用所获取的多模态特征联合表示以及其他与训练目标任务相关的非敏感数据等来训练采用聚合后模型参数的全局模型。

当云端服务器对于全局模型训练完毕后，可以将全局模型参数下发至各个参与方的边缘设备。在一些实施例中，每个边缘设备可以直接使用来自云端服务器的全局模型作为其本地模型，但是它对于特定用户的表现并不一定好，这是由于用户和云端数据样本之间的分布和模态差异导致的。云端服务器训练的全局模型在训练中学习的所有用户的共有的粗略特征，而无法学习特定用户的细粒度特征。因此，在一些实施例中，每个边缘设备在获取云端服务器的模型参数后，进一步进行迁移学习，以得到适用于各个参与方的个性化模型。迁移学习并不是一种特定的机器学习模型，而是一种优化方法，其可以将在一个通用的大数据集上进行一定量的训练后得到模型作为预训练模型，然后利用有针对性的小数据集对该预训练模型进一步强化训练以得到适应本地个性化需求的模型。

例如，以来自云端服务器的模型参数为源域，以边缘设备的本地模型的模型参数为目标域进行迁移学习。迁移学习能够学习两个领域之间具有可迁移能力的特征和分类器表达。给定云端服务的全局模型和参与方的本地模型，在分类层之前加入一个对齐层以进一步自适应不同领域之间的分布差异。这个对齐层的目标函数用以对齐输入之间的二阶统计量：

其中，

表示平方希尔伯特——施密特矩阵范数，d为特征的维数，C_S和 C_T表示源域和目标域权重的协方差矩阵，令η作为权衡超参数，则参与方本地模型的优化目标设置为：

在一些实施例中，除了源域和目标域分布的差异对模型效果的影响外，还可以考虑来自云端服务器的多模态联合表示和本地特征向量之间的差异；例如，可采用二者之间的欧几里得距离来度量二者间的差异：

l_Modal＝‖X_m-x′_k‖²,k＝1,2,…,N,(6)

令μ作为模态表示权衡超参数，则参与方本地模型的优化目标可以设置为：

上述过程可以不断循环迭代，云端服务器的全局模型收敛下达至各个参与方本地，各参与方根据本地模态数据特性，在其本地不同模态数据上利用迁移学习对更新后的本地模型进行调整优化训练，训练后的模型又可以上传云端服务器来参与上述联邦学习过程，循环迭代地帮助云端服务器的全局符合预定的条件为止。

在本发明的又一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序或可执行指令，当所述计算机程序或可执行指令被执行时实现如前述实施例中所述的技术方案，其实现原理类似，此处不再赘述。在本发明的实施例中，计算机可读存储介质可以是任何能够存储数据且可以被计算装置读取的有形介质。计算机可读存储介质的实例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、 CD-R、CD-RW、磁带以及其它光学或非光学数据存储装置。计算机可读存储介质也可以包括分布在网络耦合计算机系统上的计算机可读介质，以便可以分布式地存储和执行计算机程序或指令。

在本发明的又一个实施例中，还提供了一种电子设备，包括处理器和存储器，其中所述存储器用于存储可由处理器执行的可执行指令，其中所述处理器被配置为执行存储器上存储的可执行指令，所述可执行指令被执行时实现前述任一实施例中介绍的技术方案，其实现原理类似，此处不再赘述。

本说明书中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个说明书中各地方的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是非逻辑性的或不能工作。

本说明书中“包括”和“具有”以及类似含义的术语表达，意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或设备并不限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。“一”或“一个”也不排除多个的情况。另外，本申请附图中的各个元素仅仅为了示意说明，并非按比例绘制。

虽然本发明已经通过上述实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims

1.一种面向样本稀疏性的联邦学习方法，包括：

由参与协同训练的每个边缘设备根据来自云端服务器的全局模型，利用预设的特征提取模型从其本地数据中提取与该全局模型相对应的特征向量，并基于所提取的特征向量对当前的全局模型进行训练；

由每个边缘设备将经训练后得到的模型参数以及所提取的特征向量上传至云端服务器；

由云端服务器通过预设的表示学习模型从来自各边缘设备的所有特征向量中获取多模态特征联合表示；

由云端服务器对来自各个边缘设备的模型参数进行聚合，并基于所获取的多模态特征联合表示对经聚合后的全局模型进行训练并将训练后的模型参数和多模态特征联合表示下发至各个边缘设备；

由每个边缘设备基于来自云端服务器的模型参数构建新的全局模型，并基于本地提取的特征向量和所接收的多模态特征联合表示对所构建的新的全局模型进行微调训练，以得到其对应的本地模型。

2.根据权利要求1所述的方法，其中参与协同训练的各个边缘设备具有不同模态的本地数据。

3.根据权利要求1所述的方法，其中参与协同训练的各个边缘设备采用同一特征提取模型或不同的特征提取模型从其本地数据中提取与全局模型相对应的特征向量。

4.根据权利要求3所述的方法，其中所述特征提取模型为下列之一：卷积神经网络、循环神经网络、深度神经网络。

5.根据权利要求1所述的方法，其中所述表示学习模型为下列之一：卷积神经网络、循环神经网络、深度神经网络、受限波尔兹曼机。

6.根据权利要求1所述的方法，其中所述全局模型为下列之一：卷积神经网络、循环神经网络、深度神经网络、受限波尔兹曼机。

7.根据权利要求1所述的方法，其中基于本地提取的特征向量和所接收的多模态特征联合表示对所构建的新的全局模型进行微调训练包括：

以来自云端服务器的模型参数为源域，以边缘设备的本地模型的模型参数为目标域进行迁移学习，其中在用于迁移学习的目标函数中计及源域与目标域分布的差异以及本地提取的特征向量与来自云端服务器的多模态特征联合表示之间的差异。

8.根据权利要求1-7中任一项所述的方法，其中采用同态加密的方式对云端服务器与边缘设备之间传递的模型参数进行加密处理；以及采用差分扰动的方式来对各边缘设备向云端服务器上传的特征向量进行加密处理。

9.根据权利要求1-7中任一项所述的方法，其中还包括：

由每个边缘设备将进行微调训练后得到的本地模型的参数上传至云端服务器；

由云端服务器对所接收的来自各个边缘设备的模型参数进行聚合；

由云端服务器响应于确定采用聚合后参数的全局模型的精度并未达到预设条件，基于所获取的多模态特征联合表示对经聚合后的全局模型进行训练并将训练后的模型参数下发至各个边缘设备；

由每个边缘设备基于来自云端服务器的模型参数构建新的全局模型，并基于本地提取的特征向量和所接收的多模态特征联合表示对所构建的新的全局模型进行微调训练，以得到其对应的本地模型；

重复上述步骤直到云端服务器确定采用聚合后参数的全局模型的精度达到预设条件为止。

10.一种面向样本稀疏性的联邦学习系统，包括云端服务器以及参与协同训练的多个边缘设备，其中：

每个边缘设备被配置为：

根据来自云端服务器的全局模型，利用预设的特征提取模型从其本地数据中提取与该全局模型相对应的特征向量，并基于所提取的特征向量对当前的全局模型进行训练；将经训练后得到的模型参数以及所提取的特征向量上传至云端服务器；以及基于来自云端服务器的模型参数构建新的全局模型，并基于本地提取的特征向量和所接收的多模态特征联合表示对所构建的新的全局模型进行微调训练，以得到其对应的本地模型；

云端服务器被配置为：

通过预设的表示学习模型从来自各边缘设备的所有特征向量中获取多模态特征联合表示；对来自各个边缘设备的模型参数进行聚合，并基于所获取的多模态特征联合表示对经聚合后的全局模型进行训练；以及将训练后的模型参数和多模态特征联合表示下发至各个边缘设备。