CN114595831B - 融合自适应权重分配和个性化差分隐私的联邦学习方法 - Google Patents

Abstract

本发明提供了一种融合自适应权重分配和个性化差分隐私的联邦学习方法。该方法包括：客户端接收当前服务器下发的全局模型，在本地数据上进行模型训练，获得本地模型；客户端根据隐私预算向模型更新信息中添加不同程度的高斯噪声，并发送给服务器；服务器根据各个客户端的聚合权重来加权聚合所有模型更新信息，将聚合完成后得到的全局模型重新下发给客户端；服务器每经过设定数量轮次的全局模型更新后，便通过自适应权重分配算法重新分配每个客户端的聚合权重。本发明在联邦学习训练过程中满足不同客户端隐私偏好的同时着重考虑了个性化对全局模型的影响，能够根据客户端的表现来动态调整聚合权重，自动筛选出数据质量优且添加噪声小的客户端。

Description

融合自适应权重分配和个性化差分隐私的联邦学习方法

技术领域

本发明涉及联邦学习技术领域，尤其涉及一种融合自适应权重分配和个性化差分隐私的联邦学习方法。

背景技术

联邦学习是目前解决数据孤岛问题的有效方法，联邦学习通过保证原始数据不出本地，只上传模型的更新信息，即“数据可用不可见，数据不动模型动”，能够较为有效地保护客户端的数据隐私。但是，传统的联邦学习框架仍然存在隐私泄露的问题。虽然客户端向服务器发送模型更新信息，现有的研究已经指出服务器仍然有能力仅从客户端发送的模型更新信息就可以推理出其本地原始数据的相关信息。

目前许多研究通过使用差分隐私技术来增强联邦学习过程中的隐私保护。但是，现有的联邦学习相关研究没有考虑到现实中客户端隐私偏好的个性化，对所有参与的客户端都采取相同的较高隐私保护程度。这显然会导致模型精度的下降。此外，尽管有一些研究考虑了个性化差分隐私，允许客户端自身选择隐私保护程度，然而在模型聚合过程中却没有考虑客户端的隐私保护程度不同，直接使用平均聚合的方式，忽略了个性化的影响。这也会导致模型精度的下降。通过改变模型的聚合权重，即优先选择数据质量优且添加噪声小的客户端是一种有效的解决方案。然而，现有的一些聚合权重分配方案大都要求服务器具有一个高质量的验证集，这个验证集通常是由假设条件得到或由客户端贡献的数据组成的，或者要求客户端上传自己的原始数据分布等可能泄露隐私的额外信息。这些聚合权重分配方案也很少考虑在实际中客户端是动态变化的情况，即不断的有客户端加入或者退出，没有给出相应的应对方案。

因此，如何设计一种能够便于实施且保证模型精度的使用个性化差分隐私的联邦学习方法是一个亟待解决的问题。

发明内容

本发明的实施例提供了一种融合自适应权重分配和个性化差分隐私的联邦学习方法，使客户端可以根据自身的隐私偏好选取不同的隐私保护程度，同时还能便于实施以及加快全局模型收敛并保证精度。此外还考虑了客户端动态变化的情况，对由客户端加入或者退出引起的权重变化给出了完整的应对方案。

为了实现上述目的，本发明采取了如下技术方案。

一种融合自适应权重分配和个性化差分隐私的联邦学习方法，包括：

训练前，客户端选择相应的隐私预算；

训练时，客户端首先接收当前服务器下发的全局模型，并使用相应的算法在本地数据上进行模型训练，获得本地模型；

客户端根据自己选择的隐私预算向模型更新信息中添加不同程度的高斯噪声，将更新后的模型更新信息发送给服务器；

所述服务器接收到各个客户端发送的模型更新信息后，通过查询聚合权重表确定每个客户端的聚合权重，根据各个客户端的聚合权重来加权聚合所有模型更新信息，将聚合完成后得到的全局模型重新下发给客户端；

服务器每经过m轮全局模型更新后，检测在本次m轮全局更新的过程中是否有客户端要申请加入训练过程的记录，如果没有，则继续进行客户端表现衡量；如果有，则先执行客户端加入算法；

服务器通过综合计算每轮客户端上传的模型更新信息在该轮全局模型的最速更新方向上和整个m轮中全局模型的最速更新方向上的双重投影，以此来衡量客户端的表现，具体如下：

其中，该轮全局模型的最速更新方向指从整个m轮中该轮全局模型最快变化到整个m轮中结束轮全局模型的方向，整个m轮中全局模型的最速更新方向指从整个m轮中开始轮全局模型最快变化到整个m轮中结束轮全局模型的方向，

为客户端j在第t轮的表现，

为客户端j在第t轮的模型更新信息，

为

和第t轮全局模型的最速更新方向的夹角，

为

和整个m轮中全局模型的最速更新方向的夹角，α和β为权重参数，PERF_j为客户端j在整个m轮中的表现；

服务器对上一步中得到的客户端表现按递减的方式排序，将位于排名后μ％客户端的表现设置为0后，再通过如下公式进行映射处理，把映射处理后得到的结果作为重新分配的各个客户端的聚合权重，并且更新聚合权重表，实现自适应权重分配；

其中PERF_j为客户端j的表现，∑PERF_j为对所有的客户端的表现进行求和，weight_j为最后计算得到的客户端j的权重值；

不断迭代上述训练过程，直至模型收敛或者达到预设条件。

优选地，所述的服务器接收到各个客户端发送的模型更新信息后，通过查询聚合权重表确定每个客户端的聚合权重，根据各个客户端的聚合权重来加权聚合所有模型更新信息，将聚合完成后得到的全局模型重新下发给客户端，包括：

服务器整理收到的模型更新信息的数量；

服务器通过对比收到的模型更新信息的数量和聚合权重表中的客户端数量来检测是否有客户端退出，如果没有，则正常进行下一步步骤S43操作；如果有，则执行客户端退出算法；

服务器根据模型更新信息中的客户端的编号从聚合权重表中获得各个客户端的聚合权重；服务器根据各个客户端的聚合权重来加权聚合各个客户端上传的模型更新信息，聚合完成后得到全局模型，将全局模型下发给各个客户端。

优选地，所述的执行客户端退出算法，包括：

服务器根据退出的客户端的编号从聚合权重表中查询出对应的聚合权重；

服务器将这些客户端从聚合权重表中删除；

服务器对这些退出客户端的聚合权重进行求和得到总退出权重；

服务器将总退出权重平均分配或根据客户端的权重大小按比例分配给现有客户端，对聚合权重表中的各个客户端的聚合权重进行相应的更新。

优选地，所述的客户端加入算法，包括：

服务器正常计算现有客户端的表现；

服务器向要加入的客户端发送更新聚合权重表之前最新一轮的全局模型；

要加入的客户端收到全局模型后在本地数据上进行模型训练，获取本地模型；

要加入的客户端向服务器上传经过个性化差分隐私算法处理后的模型更新信息；

服务器计算要加入的客户端的模型更新信息和现有客户端在该全局模型上的模型更新信息之间的相似度；

服务器将要加入客户端的表现设置为和其相似度最大的现有客户端的表现相同；

服务器根据所有客户端的表现重新计算聚合权重表，得到并保存更新后带有新加入客户端的聚合权重表。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例的融合自适应权重分配和个性化差分隐私的联邦学习方法在联邦学习训练过程中满足不同客户端隐私偏好的同时着重考虑了个性化对全局模型的影响，能够根据客户端的表现来动态调整聚合权重。能够自动筛选出数据质量优且添加噪声小的客户端，降低差分隐私机制对模型精度的影响。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种融合自适应权重分配和个性化差分隐私的联邦学习方法的流程图。

图2为本发明实施例提供的一种融合自适应权重分配和个性化差分隐私的联邦学习方法中自适应权重分配算法的流程图。

图3为本发明实施例提供的一种融合自适应权重分配和个性化差分隐私的联邦学习方法中客户端退出算法的流程图。

图4为本发明实施例提供的一种融合自适应权重分配和个性化差分隐私的联邦学习方法中客户端加入算法的流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

由于现有技术中的联邦学习存在隐私泄露的问题，而且在单纯使用个性化差分隐私进行隐私保护时，没有考虑到个性化对全局模型的影响，对模型精度会产生较大影响。因此，本发明实施例设计了一种融合自适应权重分配和个性化差分隐私的联邦学习方法，该方法可以使客户端根据自身的隐私偏好选取不同的隐私保护程度，同时还能便于实施以及加快全局模型收敛并保证精度。

本发明实施例提供的一种融合自适应权重分配和个性化差分隐私的联邦学习方法的流程图如图1所示，包括如下的具体步骤：

步骤S1：客户端通过考虑任务场景和自身情况等信息，自主决定需要隐私保护的程度，然后选择相应的隐私预算。

在训练开始之前，客户端通过考虑任务场景和自身情况(如在利用监控数据训练老人跌倒检测模型时，位于家庭内的监控设备会需要比位于公共场所内的监控设备更高的隐私保护程度)等信息，自主决定需要隐私保护的程度，然后选择相应的隐私预算。隐私预算是实现差分隐私的关键参数，隐私保护的程度越高，隐私预算越低，模型精度的损失也越大。

步骤S2：客户端训练本地模型。

训练时，客户端首先接收当前服务器下发的全局模型，其中全局模型的结构(如神经网络类型，层数等)由服务器确定。然后，客户端使用相应的任务算法(如行为识别算法)在本地数据上对接收到的全局模型参数进行更新，从而得到本地模型。

步骤S3：客户端经过个性化差分隐私算法获得模型更新信息，将模型更新信息发送给服务器。

具体步骤如下：

步骤S31：通过添加高斯噪声来实现差分隐私是目前主流方式之一，而隐私预算则是决定噪声水平的重要参数。客户端根据自己之前选择的隐私预算通过个性化差分隐私算法向模型更新信息中添加不同程度的高斯噪声，获取更新后的模型更新信息。

步骤S32：客户端将经过个性化差分隐私算法处理的更新后的模型更新信息后上传给服务器。上述模型更新信息中包括客户端本地模型的参数信息或者梯度信息等。客户端在上传模型更新信息时需要和服务器建立连接，服务器根据连接信息就可以知道客户端编号。

步骤S4：服务器确定各个客户端的聚合权重。

服务器收到经过客户端个性化差分隐私算法处理后的模型更新信息后，通过查询聚合权重表确定各个客户端的聚合权重，具体步骤如下：

步骤S41:服务器整理收到的模型更新信息的数量；

步骤S42：服务器通过对比收到的模型更新信息的数量和聚合权重表中的客户端数量来检测是否有客户端退出，如果没有，则正常进行下一步操作；如果有，则执行客户端退出算法；

步骤S43：服务器根据客户端的编号从聚合权重表中获得各个客户端的聚合权重。

步骤S5：服务器聚合模型。

服务器根据步骤S4中得到的客户端的聚合权重来加权聚合各个客户端上传的模型更新信息，聚合完成后得到全局模型，将全局模型下发给各个客户端。

步骤S6：满足条件时服务器执行自适应权重分配算法。

服务器每经过m轮全局更新，便会执行自适应权重分配算法，不断迭代上述训练过程，直至模型收敛或者达到预设条件。本发明实施例提供的一种融合自适应权重分配和个性化差分隐私的联邦学习方法中自适应权重分配算法的流程图如图2所示，具体步骤如下：

步骤S61：服务器检测在本次m轮全局更新的过程中是否有客户端要申请加入训练过程的记录，如果没有，则正常进行下一步操作；如果有，则执行客户端加入算法；

步骤S62：服务器通过综合计算每轮客户端上传的模型更新信息在该轮全局模型的最速更新方向上和整个m轮中全局模型的最速更新方向上的双重投影，以此来衡量该客户端的表现，具体如下：

其中，该轮全局模型的最速更新方向指从整个m轮中该轮全局模型最快变化到整个m轮中结束轮全局模型的方向，整个m轮中全局模型的最速更新方向指从整个m轮中开始轮全局模型最快变化到整个m轮中结束轮全局模型的方向，

为客户端j在第t轮的表现，

为客户端j在第t轮的模型更新信息，

为

和第t轮全局模型的最速更新方向的夹角，

为

和整个m轮中全局模型的最速更新方向的夹角，α和β为权重参数，PERF_j为客户端j在整个m轮中的表现；

步骤S63：服务器首先对计算后得到的客户端表现进行预处理，将位于排名后μ％客户端的表现设置为0。然后，对预处理后的客户端表现进行映射处理。

其中PERF_j为客户端j的表现，∑PERF_j为对所有的客户端的表现进行求和，weight_j为最后计算得到的客户端j的权重值。

最后，整理映射处理后结果得到更新后的聚合权重表，实现权重的自适应分配。

进一步的，如图3所示，步骤S42中所述的客户端退出算法的步骤如下：

步骤S421：服务器根据退出的客户端的编号从聚合权重表中查询出对应的聚合权重；

步骤S422：服务器将这些客户端从表中删除；

步骤S423：服务器对这些退出客户端的聚合权重进行求和得到总退出权重；

步骤S424：服务器将总退出权重平均分配或根据客户端的权重大小按比例分配给现有客户端，对聚合权重表中的各个客户端的聚合权重进行相应的更新。

进一步的，如图4所示，步骤S61中所述的客户端加入算法的步骤如下：

步骤S611：服务器正常计算现有客户端的表现；

步骤S612：服务器向要加入的客户端发送更新聚合权重表之前最新一轮的全局模型；

步骤S613：要加入的客户端收到全局模型后在本地数据上进行模型训练；

步骤S614：要加入的客户端向服务器上传经过个性化差分隐私算法处理后的模型更新信息；

步骤S615：服务器计算要加入的客户端的模型更新信息和现有客户端在该全局模型上的模型更新信息之间的相似度；

步骤S616：服务器将要加入客户端的表现设置为和其相似度最大的现有客户端的表现相同；

步骤S617：服务器根据所有客户端的表现重新计算聚合权重表，得到更新后带有新加入客户端的聚合权重表。

综上所述，本发明实施例的融合自适应权重分配和个性化差分隐私的联邦学习方法在联邦学习训练过程中满足不同客户端隐私偏好的同时着重考虑了个性化对全局模型的影响，能够根据客户端的表现来动态调整聚合权重。能够自动筛选出数据质量优且添加噪声小的客户端，降低差分隐私机制对模型精度的影响。

服务器可以在没有验证集并且客户端也不需要上传本地数据分布和隐私偏好等任何额外信息的情况下自动筛选出数据质量优且添加噪声小的客户端，具有方便实施，加快模型收敛和保证模型精度的优点。此外还考虑了客户端动态变化的情况，对由客户端加入或者退出引起的权重变化给出了完整的应对方案。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，各个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种融合自适应权重分配和个性化差分隐私的联邦学习方法，其特征在于，包括：

训练前，客户端选择相应的隐私预算；

训练时，客户端首先接收当前服务器下发的全局模型，并使用相应的算法在本地数据上进行模型训练，获得本地模型；

客户端根据自己选择的隐私预算向模型更新信息中添加不同程度的高斯噪声，将更新后的模型更新信息发送给服务器；

服务器接收到各个客户端发送的模型更新信息后，通过查询聚合权重表确定每个客户端的聚合权重，根据各个客户端的聚合权重来加权聚合所有模型更新信息，将聚合完成后得到的全局模型重新下发给客户端；

服务器每经过m轮全局模型更新后，检测在本次m轮全局更新的过程中是否有客户端要申请加入训练过程的记录，如果没有，则继续进行客户端表现衡量；如果有，则先执行客户端加入算法；

服务器通过综合计算每轮客户端上传的模型更新信息在该轮全局模型的最速更新方向上和整个m轮中全局模型的最速更新方向上的双重投影，以此来衡量客户端的表现，具体如下：

其中，该轮全局模型的最速更新方向指从整个m轮中该轮全局模型最快变化到整个m轮中结束轮全局模型的方向，整个m轮中全局模型的最速更新方向指从整个m轮中开始轮全局模型最快变化到整个m轮中结束轮全局模型的方向，

为客户端j在第t轮的表现，

为客户端j在第t轮的模型更新信息，

为

和第t轮全局模型的最速更新方向的夹角，

为

和整个m轮中全局模型的最速更新方向的夹角，α和β为权重参数，PERF_j为客户端j在整个m轮中的表现；

服务器对上一步中得到的客户端表现按递减的方式排序，将位于排名后μ％客户端的表现设置为0后，再通过如下公式进行映射处理，把映射处理后得到的结果作为重新分配的各个客户端的聚合权重，并且更新聚合权重表，实现自适应权重分配；

其中PERF_j为客户端j的表现，∑PERF_j为对所有的客户端的表现进行求和，weight_j为最后计算得到的客户端j的权重值；

不断迭代上述训练过程，直至模型收敛或者达到预设条件。

2.根据权利要求1所述的方法，其特征在于，所述的服务器接收到各个客户端发送的模型更新信息后，通过查询聚合权重表确定每个客户端的聚合权重，根据各个客户端的聚合权重来加权聚合所有模型更新信息，将聚合完成后得到的全局模型重新下发给客户端，包括：

服务器整理收到的模型更新信息的数量；

服务器通过对比收到的模型更新信息的数量和聚合权重表中的客户端数量来检测是否有客户端退出，如果没有，则正常进行下一步步骤S43操作；如果有，则执行客户端退出算法；

服务器根据模型更新信息中的客户端的编号从聚合权重表中获得各个客户端的聚合权重；服务器根据各个客户端的聚合权重来加权聚合各个客户端上传的模型更新信息，聚合完成后得到全局模型，将全局模型下发给各个客户端。

3.根据权利要求2所述的方法，其特征在于，所述的执行客户端退出算法，包括：

服务器根据退出的客户端的编号从聚合权重表中查询出对应的聚合权重；

服务器将这些客户端从聚合权重表中删除；

服务器对这些退出客户端的聚合权重进行求和得到总退出权重；

服务器将总退出权重平均分配或根据客户端的权重大小按比例分配给现有客户端，对聚合权重表中的各个客户端的聚合权重进行相应的更新。

4.根据权利要求1所述的方法，其特征在于，所述的执行客户端加入算法，包括：

服务器正常计算现有客户端的表现；

服务器向要加入的客户端发送更新聚合权重表之前最新一轮的全局模型；

要加入的客户端收到全局模型后在本地数据上进行模型训练，获取本地模型；

要加入的客户端向服务器上传经过个性化差分隐私算法处理后的模型更新信息；

服务器计算要加入的客户端的模型更新信息和现有客户端在该全局模型上的模型更新信息之间的相似度；

服务器将要加入客户端的表现设置为和其相似度最大的现有客户端的表现相同；

服务器根据所有客户端的表现重新计算聚合权重表，得到并保存更新后带有新加入客户端的聚合权重表。

Images