CN112765559A - 联邦学习的过程中模型参数的处理方法、装置及相关设备 - Google Patents

Abstract

本发明公开了一种联邦学习的过程中模型参数的处理方法，应用于人工智能技术领域，用于解决在联邦学习的过程中，模型参数的梯度与样本数据之间的互信息表示过大时用户隐私数据容易泄露的技术问题。本发明提供的方法包括：对用于训练本地模型的样本数据集进行采样，得到多个采样样本；获取通过该多个采样样本对该本地模型进行训练得到的参数的梯度；将该采样样本及该参数的梯度输入预先训练好的统计模型，得到该样本数据集与该梯度之间的互信息值；当该互信息值大于等于预设值时，发送上传该参数的梯度存在隐私泄露的风险提醒；当该互信息值小于该预设值时，将该参数的梯度上传至服务器。

Description

联邦学习的过程中模型参数的处理方法、装置及相关设备

技术领域

本发明涉及人工智能技术领域，尤其涉及一种联邦学习的过程中模型参数的处理方法、装置、计算机设备及存储介质。

背景技术

目前，联邦学习系统主要分为横向联邦学习和纵向联邦学习。在横向联邦学习系统中，每个参与方利用本地数据对本地模型进行训练，各参与方将训练好的本地模型的参数的梯度上传至中央服务器，中央服务器聚合各参与方的参数的梯度对模型进行更新，最终将更新后的模型返回给各参与方，这种方式通过直接传递模型参数的梯度可以避免在传递用户样本数据的过程中，用户样本数据被窃取导致用户的隐私数据泄露。

然而，在模型参数的梯度上传的过程中，并没有一种合适的度量机制去衡量每一个参与者所面临的隐私泄露风险，模型参数及该参数的梯度虽然与用户的样本隐私数据不相同，但是该参数也是通过用户的样本数据得到的，该参数梯度与用户的隐私数据仍具有相关性，通过仅上传模型参数并不能够完全保证用户信息安全且不被泄露，从而导致在参与整个联邦学习的过程中存在安全性的隐忧，影响参与者的积极性，最终影响整个联邦学习系统的性能。

发明内容

本发明实施例提供一种联邦学习的过程中模型参数的处理方法、装置、计算机设备及存储介质，以解决在联邦学习的过程中，模型参数的梯度与样本数据之间的互信息表示过大时用户隐私数据容易泄露的技术问题。

一种联邦学习的过程中模型参数的处理方法，该方法包括：

对用于训练本地模型的样本数据集进行采样，得到多个采样样本；

获取通过该多个采样样本对该本地模型进行训练得到的参数的梯度；

将该采样样本及该参数的梯度输入预先训练好的统计模型，得到该样本数据集与该梯度之间的互信息值；

当该互信息值大于等于预设值时，发送上传该参数的梯度存在隐私泄露的风险提醒；

当该互信息值小于该预设值时，将该参数的梯度上传至服务器。

一种联邦学习的过程中模型参数的处理装置，该装置包括：

采样模块，用于对用于训练本地模型的样本数据集进行采样，得到多个采样样本；

梯度获取模块，用于获取通过该多个采样样本对该本地模型进行训练得到的参数的梯度；

互信息值计算模块，用于将该采样样本及该参数的梯度输入预先训练好的统计模型，得到该样本数据集与该梯度之间的互信息值；

风险发送模块，用于当该互信息值大于等于预设值时，发送上传该参数的梯度存在隐私泄露的风险提醒；

上传模块，用于当该互信息值小于该预设值时，将该参数的梯度上传至服务器。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述联邦学习的过程中模型参数的处理方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述联邦学习的过程中模型参数的处理方法的步骤。

本申请提出的联邦学习的过程中模型参数的处理方法、装置、计算机设备及存储介质，对用于训练本地模型的样本数据集进行采样，得到多个采样样本，获取通过该多个采样样本对该本地模型进行训练得到的参数的梯度，然后将该采样样本及该参数的梯度输入预先训练好的统计模型，得到该样本数据集与该梯度之间的互信息值，当该互信息值大于等于预设值时，判断若所述参数的梯度泄露存在该采样样本数据泄露的风险，发送上传该参数的梯度存在隐私泄露的风险提醒，以供用户判断是否将该梯度上传至服务器，当该互信息值小于该预设值时，将该参数的梯度上传至服务器，本申请在传统的联邦学习系统中加入安全检测模块，用于度量当前上传梯度所导致的隐私泄露风险，通过结合信息论的相关知识，将互信息的概念应用到联邦学习系统中，借助深度神经网络强大的拟合能力，对互信息值进行计算，通过互信息值度量每一个参与者中的原始数据与上传梯度之间的相关性大小，从而使得参与者获取上传梯度所面临的风险大小，帮助其更好地做出是否上传梯度的决策，使得整个联邦学习系统更加安全、稳定。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中联邦学习的过程中模型参数的处理方法的一应用环境示意图；

图2是本发明一实施例中联邦学习的过程中模型参数的处理方法的一流程图；

图3是本发明一实施例中统计模型的结构示意图；

图4是本发明另一实施例中联邦学习的过程中模型参数的处理方法的一流程图；

图5是本发明一实施例中联邦学习的过程中模型参数的处理装置的结构示意图；

图6是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的联邦学习的过程中模型参数的处理方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种联邦学习的过程中模型参数的处理方法，以该方法应用在图1中的计算机设备为例进行说明，包括如下步骤S101至S105。

S101、对用于训练本地模型的样本数据集进行采样，得到多个采样样本。

可以理解的是，该样本数据集包括了用户的历史数据，该历史数据携带了较多的用户隐私信息。

在其中一个实施例中，对该样本数据集进行采样的方式可以根据对该本地模型进行训练时样本数据的抽取方式来采样，例如在对该本地模型进行训练时，若训练时样本数据的抽取方式是每次输入一组样本数据，每组样本数据包括B个样本，一共输入n组样本数据，则在用于互信息值计算时，采样的方式优选为每次采集一组样本数据，每组样本数据包括B个样本，一共输入n组样本数据个样本，一共采集n组样本数据。

S102、获取通过该多个采样样本对该本地模型进行训练得到的参数的梯度。

梯度的本意是一个向量或者说是矢量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该梯度的方向变化最快、变化率最大。在单变量的实值函数的情况，梯度只是导数，对于一个线性函数，也就是线的斜率。

S103、将该采样样本及该参数的梯度输入预先训练好的统计模型，得到该样本数据集与该梯度之间的互信息值。

信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学。信息的度量是信息论中的基本问题之一，其中互信息有效的定义了两个随机变量之间的相关性。互信息值计算结果越大表示该样本数据集与该梯度之间的相关性越大，参数传递过程中越容易使得用于训练本地模型的样本数据中携带的隐私数据泄露，反之，互信息值计算结果越小表示该样本数据集与该梯度之间的相关性越小，即使模型的参数泄露，用于训练本地模型的样本数据中携带的隐私数据也不会泄露。

可以理解的是，该统计模型主要用于每一个参与方在上传梯度至中央服务器之前，检测器将面临的隐私泄露风险。具体地，每一个参与方会从本地的数据集中抽取B个数据作为一组采样样本Batch，每组采样样本Batch可以定义为X，计算其在本地模型中对应的梯度G。那么，可以通过互信息计算包含B个数据的变量X与其对应的梯度信息G之间的相关性，即T_θ(X；G)。进而获得通过梯度G泄露数据X的概率，从而对数据泄露的风险进行评估。通过设置一个阈值r，当T_θ(X；G)≥r时，可以认为当前存在着较大的隐私泄露风险，当T_θ(X；G)＜r时，可以认为当前的梯度信息较为安全，可以上传梯度。

图3是本发明一实施例中统计模型的结构示意图，如图3所示，该统计模型包括子网络和拼接网络，该子网络的输出连接该拼接网络的输入，通过该子网络接收该采样样本和该梯度，通过该拼接网络输出该采样样本与该梯度之间的互信息值，该子网络用于计算每个该采样样本与对应参数梯度之间的互信息值。

在联邦学习的架构中，利用互信息可以有效的计算原始数据与上传梯度之间的相关性，进而得到通过梯度泄露数据的风险，随着深度学习技术的发展，深度神经网络模型的拟合能力不断增强，这也为互信息值的准确估计提供了基础。然而，当前的基于深度神经网络的互信息计算方法主要应用于低维的场景中，对于高维的信息模型无法很好的收敛，因此，本实施例设计了一种基于信息拆解的互信息计算方法，通过子网络对输入的多个采样样本及其对应的梯度进行拆分，以降低输入数据的维度，并通过拼接网络对该子网络输出的多个互信息值进行拼接，使得该统计模型可以用于计算原始数据与上传梯度对应的高维数据变量之间的互信息，从而对联邦学习中的信息泄露进行度量。

在其中一个实施例中，根据以下公式(1)对所述子网络进行训练：

其中，n表示采样次数，X表示每次采样得到的多个采样样本，G表示通过所述多个采样样本X对所述本地模型进行训练得到的参数的梯度，T_θ表示以θ为参数的所述统计模型，

表示联合分布中第n次采样得到的对应梯度G的概率，

表示边缘分布中第n次采样得到的对应梯度G的概率，E表示求期望，

表示在参数空间Θ中求参数θ以使得所述期望E的计算结果最大。

可以理解的是，该统计模型T_θ可以表示为T_θ：X×G→h，表示以θ为参数的函数族，可以通过定义神经网络实现，对上述公式(1)的优化可以使用梯度下降的方法进行训练。此外，对于上式中P_XG、P_X、P_G的估计可以采用采样的方法完成。定义分布P在给定n个独立同分布的样本时的经验分布为P⁽ⁿ⁾。

可以理解的是，通过利用公式(1)对子网络进行训练，可以获取该统计模型的最优参数θ使得Q*取得极大值，则I(X；G)≈Q*是所求样本数据集X与该梯度G之间的互信息值的近似值。

S104、当该互信息值大于等于预设值时，发送上传该参数的梯度存在隐私泄露的风险提醒。

在其中一个实施例中，该预设值可以根据用数据的保密程度人为进行设置。当涉及用户隐私的样本数据的保密程度较高时，可以将该预设值设定的小一点，相反，当涉及用户的隐私的样本数据的保密程度较低时，可以将该预设值设定的大一点。

在其中一个实施例中，发送上传该参数的梯度存在隐私泄露的风险提醒的方式包括但不限于：

向本端显示器发送并显示该梯度存在隐私泄露的风险提醒；

向远程控制设备发送该梯度存在隐私泄露的风险提醒。

用户在收到该梯度存在隐私泄露的风险提醒时，可以选择上传该参数的梯度，也可以选择不上传该参数的梯度。

S105、当该互信息值小于该预设值时，将该参数的梯度上传至服务器。

作为可选地，当该互信息值小于该预设值时，在该将该参数的梯度上传至服务器的步骤之前，该方法还包括：

对该参数的梯度进行加密处理，得到加密梯度。

该将该参数的梯度上传至服务器的步骤进一步为：

将该加密梯度上传至该服务器。

其中，对该参数的梯度进行加密处理的步骤包括：

通过差分隐私或同态加密的方式对该参数的梯度进行加密，得到该加密梯度。同态加密是基于数学难题的计算复杂性理论的密码学技术。对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的。用户也可以选择其他方式对该参数的梯度进行加密处理。

本实施例通过对参数的梯度进行加密，使得上传至服务器的加密梯度的数据安全性更具有保障。

其中，差分隐私是密码学中的一种手段，旨在提供一种当从统计数据库查询时，最大化数据查询的准确性，同时最大限度减少识别其记录的机会。

基于以上设计，统计网络的输入保持在正常的范围内，有效地避免了梯度爆炸，使高维互信息的计算成为可能。在获得原始样本数据集与上传梯度的互信息之后，可以直接得到两者对应的相关性大小值，通过比较互信息值的大小，可以直接获得通过上传梯度导致的隐私泄露风险。此外，通过设置合理的阈值，可以帮助参与方决定是否要将当前的梯度信息上传，从而在很大程度上避免隐私泄露，使得整个联邦学习系统更加安全、高效，提升参与者的积极性。

在其中一个实施例中，上述公式(1)的推导过程如下：

互信息是一种基于香浓熵的度量方式，用于衡量两个变量之间的非线性统计依赖关系，是衡量两个变量是否有依赖关系的重要标准，变量X和变量Z的互信息可以理解为在Z已知的情况下X不确定性的减小量，变量X和变量Z之间的互信息通过以下定理(a)表示：

I(X；Z)＝H(X)-H(X|Z)(a)

其中，H表示香浓熵，表示在已知X的条件下Z的条件熵。此外，互信息可以使用“XZ联合分布”和“X与Z边缘分布的乘积”之间的KL-divergence来计算，计算公式(b)如下：

其中，

根据KL散度的Donsker-Varadhan表示，可以得到以下定理(c)的属性:

D_KL(P||Q)＝sup_T：ΩE_P[T]-log(E_Q(e^T]) (c)

从而可以得到下界(d)：

将以上通过定理(a)、(b)和(c)推导出的公式(d)应用在本实施例中，即可得出用于本实施例子网络进行训练的上述公式(1)。

图4是本发明另一实施例中联邦学习的过程中模型参数的处理方法的一流程图，根据本发明另一实施例中联邦学习的过程中模型参数的处理方法如图4所示，该方法在包括上述步骤S102、S104和S105的基础上，上述步骤S101进一步为以下步骤S401。

S401、对用于训练本地模型的样本数据集进行多次采样，得到多组该采样样本。

上述步骤S103进一步包括以下步骤S402至S404。

S402、将每组该采样样本依次输入该预先训练好的该子网络，通过该子网络得到与每组采样样本对应的各采样样本的互信息值。

S403、将与每组该采样样本对应的各采样样本的互信息值分别输入该拼接网络。

在其中一个实施例中，在该得到每组该采样样本与该梯度之间的互信息值的步骤之后，该方法还包括：

所述拼接网络通过以下公式(2)计算所述样本数据集与所述梯度之间的互信息值：

其中，n表示采样样本的总组数，T_θ表示以在参数空间Θ中求出的θ为参数的所述统计模型，X⁽ⁱ⁾表示采集的第i组采样样本，G⁽ⁱ⁾表示联合分布中通过所述采样样本X⁽ⁱ⁾对所述本地模型进行训练得到的参数的梯度，

表示边缘分布中通过所述采样样本X(i)对所述本地模型进行训练得到的参数的梯度。

S404、通过该拼接网络对每组该采样样本对应的各采样样本的互信息值进行拼接，得到每组该采样样本与该梯度之间的互信息值。

如图3所示，在训练过程中，由于原始数据中的维度往往是较高的，这意味着每取一组Batch数据作为X变量会导致统计模型中X的输入维度爆炸，即X∈[X₁,X₂,X₃,…,X_B]，从而影响统计网络T的训练，最终应相互信息的计算。因此，本实施例创新性的将该大规模的统计网络T拆分成B个小的子网络，每一个子网络中只需要将于G进行拼接输入，最后汇总B个子网络的输出值，得到最终统计网络T的输出，从而计算互信息的下界进而估计互信息值。其中，汇总B个子网络的输出值得到最终统计网络T的输出可以用过以下公式(3)表示：

其中，

表示拼接符号，BlockModel表示子网络，MixModel表示拼接网络，i表示采集的第i个采样样本。

本实施例通过结合信息论、深度学习、优化方法的领域知识，将其应用到联邦学习机制中，可以更加准确、高效地对所传梯度的数据泄漏风险进行度量，使得联邦学习的参与方在上传梯度之前可以对泄露风险进行合理的估计，从而保证整个联邦学习系统安全、高效地运行，同时有利于更多的单位参与到联邦学习的框架中，提升各参与方的工作积极性。本专利提出了一种基于互信息的联邦学习隐私泄露度量方法，通过神经网络对联邦学习中各参与方的原始数据与上传梯度之间的互信息进行计算，从而获得原始数据与上传梯度之间的相关性大小，进而用于度量通过梯度对数据进行还原的隐私泄露风险，最终使得整个联邦学习系统更加安全、稳定。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种联邦学习的过程中模型参数的处理装置，该联邦学习的过程中模型参数的处理装置与上述实施例中联邦学习的过程中模型参数的处理方法一一对应。如图5所示，该联邦学习的过程中模型参数的处理装置100包括采样模块11、梯度获取模块12、互信息值计算模块13、风险发送模块14和上传模块15。各功能模块详细说明如下：

采样模块11，用于对用于训练本地模型的样本数据集进行采样，得到多个采样样本。

梯度获取模块12，用于获取通过该多个采样样本对该本地模型进行训练得到的参数的梯度。

互信息值计算模块13，用于将该采样样本及该参数的梯度输入预先训练好的统计模型，得到该样本数据集与该梯度之间的互信息值。

风险发送模块14，用于当该互信息值大于等于预设值时，发送上传该参数的梯度存在隐私泄露的风险提醒。

上传模块15，用于当该互信息值小于该预设值时，将该参数的梯度上传至服务器。

在其中一个实施例中，该采样模块11对该样本数据集进行采样的方式可以根据对该本地模型进行训练时样本数据的抽取方式来采样，例如在对该本地模型进行训练时，若训练时样本数据的抽取方式是每次输入一组样本数据，每组样本数据包括B个样本，一共输入n组样本数据，则在用于互信息值计算时，采样的方式优选为每次采集一组样本数据，每组样本数据包括B每次输入一组样本数据，每组样本数据包括B个样本，一共输入n组样本数据个样本，一共采集n组样本数据。

在其中一个实施例中，该统计模型包括子网络和拼接网络，该子网络的输出连接该拼接网络的输入，通过该子网络接收该采样样本和该梯度，通过该拼接网络输出该采样样本与该梯度之间的互信息值，该子网络用于计算每个该采样样本与对应参数梯度之间的互信息值。

在其中一个实施例中，该联邦学习的过程中模型参数的处理装置还包括训练模块，该训练模块用于根据以下公式(1)对所述子网络进行训练：

其中，n表示采样次数，X表示每次采样得到的多个采样样本，G表示通过所述多个采样样本X对所述本地模型进行训练得到的参数的梯度，T_θ表示以θ为参数的所述统计模型，

表示联合分布中第n次采样得到的对应梯度G的概率，

表示边缘分布中第n次采样得到的对应梯度G的概率，E表示求期望，

表示在参数空间Θ中求参数θ以使得所述期望E的计算结果最大。

可以理解的是，该统计模型T_θ可以表示为Tθ：X×G→h，表示以θ为参数的函数族，可以通过定义神经网络实现，对上述公式(1)的优化可以使用梯度下降的方法进行训练。此外，对于上式中P_XG、P_X、P_G的估计可以采用采样的方法完成。定义分布P在给定n个独立同分布的样本时的经验分布为P(n)。

可以理解的是，通过利用公式(1)对子网络进行训练，可以获取该统计模型的最优参数θ使得Q*取得极大值，则I(X；G)≈Q*是所求样本数据集X与该梯度G之间的互信息值的近似值。

在其中一个实施例中，该采样模块11具体用于对用于训练本地模型的样本数据集进行多次采样，得到多组该采样样本。

该互信息值计算模块13具体包括：

第一互信息值计算单元，用于将每组该采样样本依次输入该预先训练好的该子网络，通过该子网络得到与每组采样样本对应的各采样样本的互信息值；

拼接单元，用于将与每组该采样样本对应的各采样样本的互信息值分别输入该拼接网络；

第二互信息值计算单元，用于通过该拼接网络对每组该采样样本对应的各采样样本的互信息值进行拼接，得到每组该采样样本与该梯度之间的互信息值。

在其中一个实施例中，该第二互信息值计算单元具体用于：

通过以下公式(2)计算所述样本数据集与所述梯度之间的互信息值：

其中，n表示采样样本的总组数，T_θ表示以在参数空间Θ中求出的θ为参数的所述统计模型，X⁽ⁱ⁾表示采集的第i组采样样本，G⁽ⁱ⁾表示联合分布中通过所述采样样本X⁽ⁱ⁾对所述本地模型进行训练得到的参数的梯度，

表示边缘分布中通过所述采样样本X⁽ⁱ⁾对所述本地模型进行训练得到的参数的梯度。

在训练过程中，由于原始数据中的维度往往是较高的，这意味着每取一组Batch数据作为X变量会导致统计模型中X的输入维度爆炸，即X∈[X₁,X₂,X₃,…,X_B]，从而影响统计网络T的训练，最终应相互信息的计算。因此，本实施例创新性的将该大规模的统计网络T拆分成B个小的子网络，每一个子网络中只需要将于G进行拼接输入，最后汇总B个子网络的输出值，得到最终统计网络T的输出，从而计算互信息的下界进而估计互信息值。

在其中一个实施例中，该联邦学习的过程中模型参数的处理装置100还包括：

加密模块，用于对该参数的梯度进行加密处理，得到加密梯度。

该上传模块15具体用于将该加密梯度上传至该服务器。

作为可选地，该加密模块具体通过差分隐私或同态加密的方式对该参数的梯度进行加密，得到该加密梯度。

其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。

关于联邦学习的过程中模型参数的处理装置的具体限定可以参见上文中对于联邦学习的过程中模型参数的处理方法的限定，在此不再赘述。上述联邦学习的过程中模型参数的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种联邦学习的过程中模型参数的处理方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中联邦学习的过程中模型参数的处理方法的步骤，例如图2所示的步骤101至步骤105及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中联邦学习的过程中模型参数的处理装置的各模块/单元的功能，例如图5所示模块11至模块15的功能。为避免重复，这里不再赘述。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。

所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中联邦学习的过程中模型参数的处理方法的步骤，例如图2所示的步骤101至步骤105及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中联邦学习的过程中模型参数的处理装置的各模块/单元的功能，例如图5所示模块11至模块15的功能。为避免重复，这里不再赘述。

本实施例提出的联邦学习的过程中模型参数的处理方法、装置、计算机设备及存储介质，对用于训练本地模型的样本数据集进行采样，得到多个采样样本，获取通过该多个采样样本对该本地模型进行训练得到的参数的梯度，然后将该采样样本及该参数的梯度输入预先训练好的统计模型，得到该样本数据集与该梯度之间的互信息值，当该互信息值大于等于预设值时，判断若所述参数的梯度泄露存在该采样样本数据泄露的风险，发送上传该参数的梯度存在隐私泄露的风险提醒，以供用户判断是否将该梯度上传至服务器，当该互信息值小于该预设值时，将该参数的梯度上传至服务器，本申请在传统的联邦学习系统中加入安全检测模块，用于度量当前上传梯度所导致的隐私泄露风险，通过结合信息论的相关知识，将互信息的概念应用到联邦学习系统中，借助深度神经网络强大的拟合能力，对互信息值进行计算，通过互信息值度量每一个参与者中的原始数据与上传梯度之间的相关性大小，从而使得参与者获取上传梯度所面临的风险大小，帮助其更好地做出是否上传梯度的决策，使得整个联邦学习系统更加安全、稳定。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种联邦学习的过程中模型参数的处理方法，其特征在于，所述方法包括：

对用于训练本地模型的样本数据集进行采样，得到多个采样样本；

获取通过所述多个采样样本对所述本地模型进行训练得到的参数的梯度；

将所述采样样本及所述参数的梯度输入预先训练好的统计模型，得到所述样本数据集与所述梯度之间的互信息值；

当所述互信息值大于等于预设值时，发送上传所述参数的梯度存在隐私泄露的风险提醒；

当所述互信息值小于所述预设值时，将所述参数的梯度上传至服务器。

2.根据权利要求1所述的联邦学习的过程中模型参数的处理方法，其特征在于，所述统计模型包括子网络和拼接网络，所述子网络的输出连接所述拼接网络的输入，通过所述子网络接收所述采样样本和所述梯度，通过所述拼接网络输出所述采样样本与所述梯度之间的互信息值，所述子网络用于计算每个所述采样样本与对应参数梯度之间的互信息值。

3.根据权利要求2所述的联邦学习的过程中模型参数的处理方法，其特征在于，根据以下公式对所述子网络进行训练：

其中，n表示采样次数，X表示每次采样得到的多个采样样本，G表示通过所述多个采样样本X对所述本地模型进行训练得到的参数的梯度，T_θ表示以θ为参数的所述统计模型，

表示联合分布中第n次采样得到的对应梯度G的概率，

表示边缘分布中第n次采样得到的对应梯度G的概率，E表示求期望，

表示在参数空间Θ中求参数θ以使得所述期望E的计算结果最大。

4.根据权利要求3所述的联邦学习的过程中模型参数的处理方法，其特征在于，所述对用于训练本地模型的样本数据集进行采样，得到多个采样样本的步骤包括：

对用于训练本地模型的样本数据集进行多次采样，得到多组所述采样样本；

所述将所述采样样本及所述参数的梯度输入预先训练好的统计模型，得到所述采样样本与所述梯度之间的互信息值的步骤包括：

将每组所述采样样本依次输入所述预先训练好的所述子网络，通过所述子网络得到与每组采样样本对应的各采样样本的互信息值；

将与每组所述采样样本对应的各采样样本的互信息值分别输入所述拼接网络；

通过所述拼接网络对每组所述采样样本对应的各采样样本的互信息值进行拼接，得到每组所述采样样本与所述梯度之间的互信息值。

5.根据权利要求4所述的联邦学习的过程中模型参数的处理方法，其特征在于，在所述得到每组所述采样样本与所述梯度之间的互信息值的步骤之后，所述方法还包括：

所述拼接网络通过以下公式计算所述样本数据集与所述梯度之间的互信息值：

其中，n表示采样样本的总组数，T_θ表示以在参数空间Θ中求出的θ为参数的所述统计模型，X⁽ⁱ⁾表示采集的第i组采样样本，G⁽ⁱ⁾表示联合分布中通过所述采样样本X⁽ⁱ⁾对所述本地模型进行训练得到的参数的梯度，

表示边缘分布中通过所述采样样本X⁽ⁱ⁾对所述本地模型进行训练得到的参数的梯度。

6.根据权利要求1至5任一项所述的联邦学习的过程中模型参数的处理方法，其特征在于，当所述互信息值小于所述预设值时，在所述将所述参数的梯度上传至服务器的步骤之前，所述方法还包括：

对所述参数的梯度进行加密处理，得到加密梯度；

所述将所述参数的梯度上传至服务器的步骤进一步为：

将所述加密梯度上传至所述服务器。

7.根据权利要求6所述的联邦学习的过程中模型参数的处理方法，其特征在于，所述对所述参数的梯度进行加密处理的步骤包括：

通过差分隐私或同态加密的方式对所述参数的梯度进行加密，得到所述加密梯度。

8.一种联邦学习的过程中模型参数的处理装置，其特征在于，所述装置包括：

采样模块，用于对用于训练本地模型的样本数据集进行采样，得到多个采样样本；

梯度获取模块，用于获取通过所述多个采样样本对所述本地模型进行训练得到的参数的梯度；

互信息值计算模块，用于将所述采样样本及所述参数的梯度输入预先训练好的统计模型，得到所述样本数据集与所述梯度之间的互信息值；

风险发送模块，用于当所述互信息值大于等于预设值时，发送上传所述参数的梯度存在隐私泄露的风险提醒；

上传模块，用于当所述互信息值小于所述预设值时，将所述参数的梯度上传至服务器。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述联邦学习的过程中模型参数的处理方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述联邦学习的过程中模型参数的处理方法的步骤。

Images