CN115329388A - 一种面向联邦生成对抗网络的隐私增强方法 - Google Patents

一种面向联邦生成对抗网络的隐私增强方法 Download PDF

Info

Publication number
CN115329388A
CN115329388A CN202211266628.7A CN202211266628A CN115329388A CN 115329388 A CN115329388 A CN 115329388A CN 202211266628 A CN202211266628 A CN 202211266628A CN 115329388 A CN115329388 A CN 115329388A
Authority
CN
China
Prior art keywords
edge
data
privacy
model
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211266628.7A
Other languages
English (en)
Other versions
CN115329388B (zh
Inventor
尹春勇
曾庆馗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202211266628.7A priority Critical patent/CN115329388B/zh
Publication of CN115329388A publication Critical patent/CN115329388A/zh
Application granted granted Critical
Publication of CN115329388B publication Critical patent/CN115329388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer And Data Communications (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及隐私保护技术领域，具体是一种面向联邦生成对抗网络的隐私增强方法，搭建云‑边联邦生成对抗网络和边‑端网络；通过本地化差分隐私技术保护终端原始数据，将扰动数据发送至边缘服务器进行聚合并解码，构建边缘数据集；云端服务器向边缘服务器发送初始化生成器和判别器模型进行训练，并将模型参数更新上传至云端服务器进行聚合，更新全局生成器和判别器模型；重复边缘和云服务器的交互过程，直至云端的全局生成器生成可用的数据。在跨通信和隐私受限的云‑边‑端网络结构下训练可用的生成对抗网络；在不损失边缘模型梯度精度的情况下为抵御梯度攻击提供了足够的保障；在增强联邦生成对抗网络隐私性的同时，确保了合成数据的质量。

Description

一种面向联邦生成对抗网络的隐私增强方法
技术领域
本发明涉及隐私保护技术领域，具体是一种面向联邦生成对抗网络的隐私增强方法。
背景技术
由于物联网终端设备的离散性特点，仅靠一个中央服务器来收集和分析这些终端数据是很困难的。在基于边缘计算的物联网场景中，边缘服务器的出现可以有效缓解这一问题。然而，由于安全和隐私问题，这些终端物联网数据仍然可能受到各种攻击，如来自服务提供商、恶意用户和第三方应用程序的攻击等。在过去的几年里，人工智能算法已经被用于物联网数据分析，但也存在安全风险，如隐私泄露。恶意的对手可以利用人工智能算法中的各种漏洞来破坏人工智能系统的安全性。
生成式对抗网络是一种对抗性的人工智能算法，可以生成用于数据增强或其他应用的合成数据。在物联网场景中，数据分布在多个数据源中，每个数据源的规模和多样性都过于有限，训练一个准确的生成式对抗网络是一个严峻的挑战。联邦学习作为一种分布式机器学习范式，它使分布的终端设备能够在不公布原始数据的情况下参与全局模型训练。这为终端数据提供了一定程度的隐私保护。虽然联邦学习下的生成式对抗网络只是通过对抗性训练获知训练数据的分布，但对它的重复采样仍可能暴露原始数据特征。攻击者甚至可以在分布式边缘节点上发起深度的梯度泄漏攻击来推断模型。为了抵御梯度攻击，基于梯度消毒方法的联邦生成对抗网络通过对梯度裁剪和添加噪音以提供差分隐私保证。然而，这种方法对梯度的修改会影响生成网络的收敛性能，导致合成数据的质量较差。
发明内容
本发明的目的在于提供一种面向联邦生成对抗网络的隐私增强方法，以解决上述背景技术中提出的问题。
本发明的技术方案是：一种面向联邦生成对抗网络的隐私增强方法，包括以下步骤：
S1、在物联网场景下搭建以云服务器为中心的云-边联邦生成对抗网络，搭建以边缘服务器为中心的边-端网络；
S2、通过本地化差分隐私技术保护终端原始数据，将扰动数据发送至边缘服务器；边缘服务器端聚合扰动数据并解码，构建边缘数据集；
S3、云端服务器向边缘服务器发送初始化生成器和判别器模型；边缘服务器按固定步长训练本地生成器和判别器，并将模型参数更新上传至云端服务器；云端服务器聚合边缘模型参数，从而更新全局生成器和判别器模型；
S4、重复边缘和云服务器的交互过程，直至云端的全局生成器生成可用的数据。
优选的，所述S1步骤包括：
S101、由一个云端服务器和多个边缘服务器组成云-边联邦生成对抗网络结构；
S102、每一个边缘服务器和其边缘网络下对应的多个终端设备组成边缘网络结构。
优选的，所述S2步骤包括：
S201、终端设备使用满足条件的本地化差分隐私机制生成本地扰动数据；
S202、终端设备上传扰动后的数据至边缘服务器；
S203、边缘服务器聚合来自多个终端的扰动数据集并解码，构建一个用于联邦训练的隐私保护边缘数据集。
优选的，所述S3步骤包括：
S301、云端服务器向所有边缘服务器发送初始化生成器和判别器模型；
S302、在每一轮联邦学习通讯过程中，云端服务器选择一部分边缘服务器按固定步长训练本地生成器和判别器，并将模型参数更新上传至云端服务器；
S303、云端服务器聚合接受到的边缘模型参数更新，求出全局参数更新以更新全局生成器和判别器模型；
S304、云端服务器再将更新后的全局模型发送至所有边缘服务器，边缘服务器使用新的全局模型替换S302步骤中训练的本地模型。
优选的，所述S4步骤包括：
S401、重复执行S302-S304步骤的联邦学习通讯过程，设定期望的通讯轮数或全局生成器合成数据的质量；
S402、当联邦生成对抗网络达到指定的联邦学习通讯轮数或云端全局生成器合成数据的质量，停止联邦学习通讯，在保障终端数据隐私的同时，生成可用的数据。
本发明通过改进在此提供一种面向联邦生成对抗网络的隐私增强方法，与现有技术相比，具有如下改进及优点：
本发明利用边缘服务器聚合边缘网络下的终端隐私数据，减轻了联邦生成对抗网络对终端设备计算能力和通讯能力的严格要求；在不损失边缘模型本地梯度精度的情况下，有效抵抗攻击者对边缘服务器的梯度泄漏攻击；可以在生成高质量合成数据的同时有效地维护客户端数据隐私。
附图说明
下面结合附图和实施例对本发明作进一步解释：
图1为本发明实施例提供的面向联邦生成对抗网络的隐私增强方法的流程图；
图2为本发明实施例提供的联邦生成对抗网络系统图；
图3为本发明实施例提供的客户端原始数据隐私保护效果图；
图4为本发明实施例提供的边缘服务器本地训练规则图；
图5为本发明实施例提供的联邦生成对抗网络合成数据效果图。
具体实施方式
下面对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过改进在此提供一种面向联邦生成对抗网络的隐私增强方法，本发明的技术方案是：
如图1所示，一种面向联邦生成对抗网络的隐私增强方法，包括以下步骤：
S1、在物联网场景下搭建以云服务器为中心的云-边联邦生成对抗网络，搭建以边缘服务器为中心的边-端网络，确定云-边网络路由和边-端网络路由；
S2、通过本地化差分隐私技术保护终端原始数据，将扰动数据发送至边缘服务器；边缘服务器端聚合扰动数据并解码，构建边缘数据集；
S3、云端服务器向边缘服务器发送初始化生成器和判别器模型；边缘服务器按固定步长训练本地生成器和判别器，并将模型参数更新上传至云端服务器；云端服务器聚合边缘模型参数，从而更新全局生成器和判别器模型；
S4、重复边缘和云服务器的交互过程，直至云端的全局生成器生成可用的数据。
本实施例中，来自终端设备的原始数据是隐私性最高的数据，因此针对联邦生成对抗网络的隐私保护任务包括终端设备数据隐私和边缘模型隐私，具体涉及以下三部分：
终端设备：终端设备数据是联邦训练数据的来源也是整个联邦学习过程中隐私风险最高的部分，一般的联邦学习在终端设备上直接训练本地数据，然而设备不同的计算能力和通讯能力会导致训练效果难以达到预期。因此，必须保障终端设备的隐私，并提供一个较稳定的计算力保证。
边缘服务器：边缘设备具有一定的存储能力和较为稳定的计算能力，在边缘设备上收集对应终端隐私保护后的数据，并利用这些隐私数据训练边缘本地的生成器和判别器模型。在联邦学习的每轮通讯中，所有边缘服务器接受上一轮的全局模型做为本地模型，被选中的边缘服务器参与全局模型训练。
云端服务器：云端服务器聚合并平均接收到的边缘服务器的隐私保护参数更新以更新全局模型，并返回至边缘服务器，在达到指定的联邦学习通讯轮数或期待的合成数据质量后，云端服务器用全局生成器生成高质量的合成数据。
在本实施例中，上述步骤S1步骤包括S101~S103：
S101、由一个云端服务器和多个边缘服务器组成云-边联邦生成对抗网络结构。云端服务器搭建出多个分布式联邦学习网络，对每个边缘服务器编号。该网络下的边缘服务器有较好的存储能力、通信能力和计算能力。为了避免边缘服务器的合谋和窜通等恶意操作，不设立边缘服务器与边缘服务器之间的通信信道，只构建独立的云端服务器与边缘服务器的通信信道；
S102、每一个边缘服务器和其边缘网络下对应的多个终端设备组成边缘网络结构。边缘服务器搭建出一个分布式边缘网络，对每个终端设备编号，该网络下的设备可能计算能力不同、数据结构不同、带宽能力不同等。同样的，为了保护终端设备隐私和避免终端设备的合谋，不设立彼此间的通信信道，只构建独立的边缘服务器与终端设备的通信信道。本实例中的网络结构如图2提供的联邦生成对抗网络系统图所示，云端与边缘服务器的独立交互、边缘服务器与终端设备的独立交互。
在本实施例中，上述步骤S2步骤包括S201~S203：
S201、终端设备使用满足条件的本地化差分隐私机制生成本地扰动数据。尽管联邦学习可以保证终端设备原始数据的隐私，但对本地模型的梯度泄露攻击依然会泄露部分隐私信息。终端设备的构成复杂，比如个人电脑、智能手机、传感器和穿戴设备等，其无法保证这些设备的计算力具备训练本地模型的能力。因此，将终端设备的数据在保证隐私的前提下发送至边缘设备，以确保联邦生成对抗网络训练的计算力要求；
需要进一步说明的是，边-端网络中的终端设备数据属于分布式的结构，一般的中心化隐私保护方法无法作用于分布式设备。为了从源头上保护终端设备的敏感数据，需要在数据离开设备之前扰动原始数据，使收集到的数据其不再具备敏感性。
关于差分隐私模型：当数据集D包含关于Alice的私人信息的记录时，设置一个任意的查询操作f，如计数、求和、平均值、中位数等,得到的结果是f(D)。如果随机算法M在D中处理的查询结果与只有一处不同的邻接数据集D'中的结果相同，那么可以认为Alice的真实信息没有被识别。随机算法M通过随机化输出结果提供隐私保护，在数据集的真实值中加入与差分隐私分布一致的噪声，以保护数据集的隐私。其定义如下：给定
Figure 580448DEST_PATH_IMAGE001
，一个随机机制M满足
Figure 864930DEST_PATH_IMAGE002
-差分隐私，当且仅当对于两个相邻的数据集D和D'，对于所有M的可能输出S，有：
Figure 185053DEST_PATH_IMAGE003
本地化差分隐私(Local differential privacy,LDP)作为差分隐私的一个变体，实现了分布式数据结构的隐私保护，并且不依赖可信的服务器即可实现数据的聚合解码。其定义如下，给定
Figure 146056DEST_PATH_IMAGE001
对于任意算法M，当任意两条记录x和x'输出相同的结果x * 如果满足：
Figure 433686DEST_PATH_IMAGE004
则该算法M满足
Figure 505548DEST_PATH_IMAGE005
。本地化差分隐私通过添加人工噪声确保终端设备本地的任意两条记录输出的似是而非性来保护本地的每条记录隐私，将隐私保护的过程从边缘数据收集器转移到终端设备本地，避免数据收集过程中泄露。LDP有多种实现添加噪声的机制，比如RAPPOR、OLH、拉普拉斯机制等。在本实例中，联邦生成对抗网络收集和生成的是图像数据，高斯机制更适用于图像数据中。
高斯机制是在精确查询结果中加入高斯分布的噪声，以实现
Figure 696489DEST_PATH_IMAGE006
差分隐私的隐私保护，并通过非严格的隐私保护进行放松。其中两个参数
Figure 828393DEST_PATH_IMAGE007
和
Figure 88473DEST_PATH_IMAGE008
是常数。高斯机制的定义如下：假设有一个函数f，其灵敏度为
Figure DEST_PATH_IMAGE009
。一个随机算法M=f(D)+N提供
Figure 738591DEST_PATH_IMAGE002
-差分隐私，其中
Figure 33307DEST_PATH_IMAGE010
是服从高斯分布的随机噪声，尺度参数
Figure DEST_PATH_IMAGE011
。其中敏感性
Figure 618003DEST_PATH_IMAGE012
衡量查询函数f(D)和f(D')之间的最大距离，有：
Figure DEST_PATH_IMAGE013
。
终端设备在本地部署本地化差分隐私保护机制，根据对应的边缘服务器预先设置的隐私保护参数
Figure 630958DEST_PATH_IMAGE014
，扰动原始数据。扰动后的数据不再具备原始数据的特征，查询其任意两条本地数据输出类似的结果，从而无法推断出具体数据信息。
在本实例中，选择不同的隐私保护参数
Figure 559469DEST_PATH_IMAGE014
会对后续的整个联邦生成对抗网络的训练结果造成影响。较小的隐私预算会带来更多的噪声，使保护后的数据敏感性降低而数据可用性也随之降低；较大的隐私预算添加的噪声数量较小，对原始数据的隐私保护程度不够，导致隐私泄露的风险。如图3提供的本实例原始数据隐私保护效果图，当
Figure 443111DEST_PATH_IMAGE014
为0.1时，过量的噪声导致数据效用下降，当
Figure 916818DEST_PATH_IMAGE014
为0.9时添加的噪声不足以提供充足的隐私保护。
S202、终端设备上传扰动后的数据至边缘服务器而不是原始本地数据集。由于终端设备计算力的不同，以及作为数据源的高敏感性使得本地训练代价较高。每个边缘服务器对应的终端设备处理在一个周期内生成的数据，在设备本地执行给定隐私保护预算
Figure 885911DEST_PATH_IMAGE014
的本地化差分隐私编码工作。
完成编码后原始数据的扰动报告发送给对应的边缘服务器，此步骤确保了终端设备没有离开设备，并保证了离开设备的扰动报告难以泄露隐私信息。
S203、边缘服务器聚合来自多个终端的扰动数据集并解码，构建一个用于联邦训练的隐私保护边缘数据集。边缘服务器收集边缘网络内所有终端设备的扰动报告，并在服务器中存储这些扰动报告。根据从云端服务区获得隐私预算
Figure 853998DEST_PATH_IMAGE014
和其他本地化差分隐私参数，解码这些扰动报告，使数据其具有可用性。
在边缘服务器端重构隐私数据集包含了对应网络的所有终端设备数据，其满足了给定的
Figure DEST_PATH_IMAGE015
差分隐私的隐私保障，但同样的也损失了一定的数据效用。使用这些数据训练本地模型可能会导致训练结果不如真实数据。此步骤构造了用于联邦学习的边缘隐私数据集，即便攻击者对边缘服务区发起攻击，也只能获取隐私保护后的扰动报告而无法了解终端真实数据的具体值。
本实例选择手写数字识别数据集MNIST，包含60,000个训练示例和10,000个28乘28尺寸的灰度手写数字图像的测试示例。目前深度学习中的神经网络种类繁多用途各不相同，在本实例中使用深度卷积神经网络(Convolutional Neural Network (CNN))。深度卷积神经网络主要用于处理深度学习任务中的图像分类、目标识别等。在本实施例中用到的硬件参数为AMD® RYZEN® R9-5950x 16核心32线程3.4 GHz CPU以及12 GB NVIDIA RTX3080Ti GPU，编程环境为64GB内存，Ubuntu 20.04.5，Python 3.8，以及CUDA 11.5版本的PyTorch 1.9。
在本实例中，上述步骤S3包括S301~S304：
S301、云端服务器向所有边缘服务器发送初始化生成器和判别器模型。本实例使用的联邦生成对抗网络隐私保护系统图如图2所示。在云端服务器正式开始联邦学习任务之前，初始化全局生成器和判别器模型，将初始化模型发送至边缘网络中的全部边缘服务器，用作边缘服务器的初始化本地模型。
联邦学习的分布式训练规则无需收集训练数据，只接受本地模型训练的更新，从而解决了数据孤岛的问题并提供了隐私保护能力。其中，本实例中的联邦学习定义如下：有n个参与者各自持有本地训练数据集D 1,D 2,...,D n 。在联邦学习中，每个参与者合作训练全局模型，而不把本地数据D i 暴露给第三方。参数服务器将n参与者发送的权重汇总为
Figure 388884DEST_PATH_IMAGE016
，其中w i 是第i个参与者上传的参数，p i 是本地数据集占总数据集的比例。该模型通过最小化损失函数得到。公式如下。
Figure DEST_PATH_IMAGE017
其中L i (w i )是第i个参与者本地模型的输出结果，Y是真实训练标签。
在本实例中，为了训练联邦生成对抗网络，根据生成式对抗网络的定义，将边缘服务器的本地训练模型设置为生成器和判别器模型。生成式对抗网络是一个无监督的生成模型，其中生成器G用于生成给定随机噪声向量的合成数据，而判别器D用于区分真实数据和生成器的合成数据。学习过程可以被看作是两个网络之间的V(D,G)最小化博弈，其定义如下。
Figure 813918DEST_PATH_IMAGE018
其中p z (x)是先验输入噪声变量，p(x)是真实训练数据。D的输出值在[0,1]区间内，它的值越接近1，说明生成的样本与真实样本越相似。这个博弈过程期望最小化KL(Kullback-Leibler)散度，最大化生成分布和真实样本分布之间的JS(Jensen-Shannon)散度。然而，KL发散是一个不对称的度量，导致无法生成真实样本，这是一个巨大的惩罚。在这种情况下，生成器会生成更多重复但“安全”的样本，而不是多样化的样本，这也被称为模型崩溃。
本实例中使用Wasserstein Generative Adversarial Network - gradientpenalty (WGAN-GP)通过直接约束批判者的输出相对于其输入的梯度规范，并对随机样本的梯度规范施加惩罚，考虑了该约束的软版本。随机样本的梯度惩罚放宽了梯度约束，有利于联邦学习框架中梯度更新的传输。因此，本实例选择WGAN-GP作为联邦学习中的生成式对抗网络。
S302、在每一轮联邦学习通讯过程中，云端服务器选择一部分边缘服务器按固定步长训练本地生成器和判别器，并将模型参数更新上传至云端服务器。由于生成式对抗网络计算量和参数量庞大，即便使用具备一定计算能力带宽的边缘服务器上传参数，也会消耗过多的资源。一般的，在联邦学习每一轮训练过程中，随机选择一部分的参与者本地训练；
在本实例中，设置边缘服务器数量为20，随机选择参与者的比例为0.5，即每轮联邦学习的训练随机选择10个边缘客户端本地训练。进一步，将边缘服务器的本地批训练大小设置为32，设定生成器训练步长为5，即在本地批训练中每完成5次判别器模型训练后，训练一次生成器模型。本实例中边缘服务器的本地训练规则如图4所示。
本地生成器G输入随机样本，生成合成数据集Z，判别器D输入扰动数据集和合成数据，输出合成数据集的真伪性。在这个过程中，G期望生成高质量的合成数据，使其数据分布接近扰动数据；D则期望尽可能地判别出合成数据的真伪性。在完成本地训练之后，边缘服务器同时将生成器和判别器模型的参数上传至云端服务器。
S303、云端服务器聚合接受到的边缘模型参数更新，求出全局参数更新以更新全局生成器和判别器模型。云端服务器在联邦学习的每一轮训练中，接受来自选中参与者的参数更新。在本实例中，云端服务器将被选中的10个参与者的参数聚合，通过权重计算公式加权平均这些权重。从而计算得到该轮联邦学习练中的全局生成器和判别器模型；
S304、云端服务器再将更新后的全局模型发送至所有边缘服务器，边缘服务器使用新的全局模型替换S302步骤中训练的本地模型。云端服务器将新的全局生成器和判别器模型发送至所有边缘服务器而不是上一轮的参与者，在本实例中如图2所示，云端服务器与边缘服务器的交互过程，将全局模型发送给所有边缘服务器。
至此，一个通讯周期的联邦学习完成。接下来，返回到步骤S302，云端服务器继续随机选择10个参与者，被选中的边缘服务器用获得的新的全局模型开始新的本地生成器和判别器模型训练。训练完成后，执行步骤S303至S304，在给定的联邦学习通讯轮数内或达到期望的合成数据质量前，不停地重复S302至S304步骤。
在本实例中，上述步骤S4包括S401~S402：
S401、重复执行S302-S304步骤的联邦学习通讯过程，设定期望的通讯轮数或全局生成器合成数据的质量。联邦生成对抗网络的模型收敛不同于一般的联邦学习训练过程，在到达指定轮数后如果生成器和判别器的损失趋近稳定且不再有减小的趋势，则达到了收敛的效果。或是设置合成数据质量衡量指标如FID等，当合成数据的质量非常接近于原始数据时，则停止继续训练。在本实例中，制定了具体的联邦学习通讯轮数，观察在某一轮数下的合成数据质量以及隐私保护效果。
S402、当联邦生成对抗网络达到指定的联邦学习通讯轮数或云端全局生成器合成数据的质量，停止联邦学习通讯。从而实现在保障终端数据隐私的同时，生成可用的数据。
在本实例中，设置联邦生成对抗网络的总通讯轮数为1000次，取250、500、750、1000次的全局生成器模型，生成部分合成数据。本实例提供的联邦生成对抗网络合成数据效果图如图5所示。随着全局联邦训练的轮数增多，全局生成器合成数据的质量也随之增加，合成的数据具有可用性。
在本实施例中，用于训练的MNIST数据集包含原始图像信息，如果不对原始数据，会导致联邦训练过程中发生隐私信息泄露，如果只对梯度更新隐私保护，则有可能推断出模型的具体参数从而泄露隐私。因此本发明实施例中提到的原始数据隐私保护是有必要的。从以上结果可知，面向联邦生成对抗网络，本发明提出的方法可以有效的增强各阶段的隐私保障，对保护个人隐私具有一定的现实以及未来意义。
上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种面向联邦生成对抗网络的隐私增强方法，其特征在于：包括以下步骤：
S1、在物联网场景下搭建以云服务器为中心的云-边联邦生成对抗网络，搭建以边缘服务器为中心的边-端网络；
S2、通过本地化差分隐私技术保护终端原始数据，将扰动数据发送至边缘服务器；边缘服务器端聚合扰动数据并解码，构建边缘数据集；
S3、云端服务器向边缘服务器发送初始化生成器和判别器模型；边缘服务器按固定步长训练本地生成器和判别器，并将模型参数更新上传至云端服务器；云端服务器聚合边缘模型参数，从而更新全局生成器和判别器模型：
S301、云端服务器向所有边缘服务器发送初始化生成器和判别器模型；
S302、在每一轮联邦学习通讯过程中，云端服务器选择一部分边缘服务器按固定步长训练本地生成器和判别器，并将模型参数更新上传至云端服务器；
S303、云端服务器聚合接受到的边缘模型参数更新，求出全局参数更新以更新全局生成器和判别器模型；
S304、云端服务器再将更新后的全局模型发送至所有边缘服务器，边缘服务器使用新的全局模型替换S302步骤中训练的本地模型；
S4、重复边缘和云服务器的交互过程，直至云端的全局生成器生成可用的数据。
2.根据权利要求1所述的一种面向联邦生成对抗网络的隐私增强方法，其特征在于：所述S1步骤包括：
S101、由一个云端服务器和多个边缘服务器组成云-边联邦生成对抗网络结构；
S102、每一个边缘服务器和其边缘网络下对应的多个终端设备组成边缘网络结构。
3.根据权利要求1所述的一种面向联邦生成对抗网络的隐私增强方法，其特征在于：所述S2步骤包括：
S201、终端设备使用满足条件的本地化差分隐私机制生成本地扰动数据；
S202、终端设备上传扰动后的数据至边缘服务器；
S203、边缘服务器聚合来自多个终端的扰动数据集并解码，构建一个用于联邦训练的隐私保护边缘数据集。
4.根据权利要求1所述的一种面向联邦生成对抗网络的隐私增强方法，其特征在于：所述S4步骤包括：
S401、重复执行S302-S304步骤的联邦学习通讯过程，设定期望的通讯轮数或全局生成器合成数据的质量；
S402、当联邦生成对抗网络达到指定的联邦学习通讯轮数或云端全局生成器合成数据的质量，停止联邦学习通讯，在保障终端数据隐私的同时，生成可用的数据。
CN202211266628.7A 2022-10-17 2022-10-17 一种面向联邦生成对抗网络的隐私增强方法 Active CN115329388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211266628.7A CN115329388B (zh) 2022-10-17 2022-10-17 一种面向联邦生成对抗网络的隐私增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211266628.7A CN115329388B (zh) 2022-10-17 2022-10-17 一种面向联邦生成对抗网络的隐私增强方法

Publications (2)

Publication Number Publication Date
CN115329388A true CN115329388A (zh) 2022-11-11
CN115329388B CN115329388B (zh) 2023-01-24

Family

ID=83915357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211266628.7A Active CN115329388B (zh) 2022-10-17 2022-10-17 一种面向联邦生成对抗网络的隐私增强方法

Country Status (1)

Country Link
CN (1) CN115329388B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473558A (zh) * 2023-12-25 2024-01-30 华侨大学 一种基于联邦学习的自适应dpwgan训练方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202652243U (zh) * 2012-06-21 2013-01-02 南京信息工程大学 基于节点的僵尸网络检测系统
CN112181666A (zh) * 2020-10-26 2021-01-05 华侨大学 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
CN113361694A (zh) * 2021-06-30 2021-09-07 哈尔滨工业大学 一种应用差分隐私保护的分层联邦学习方法及系统
CN113762530A (zh) * 2021-09-28 2021-12-07 北京航空航天大学 面向隐私保护的精度反馈联邦学习方法
CN113792890A (zh) * 2021-09-29 2021-12-14 国网浙江省电力有限公司信息通信分公司 一种基于联邦学习的模型训练方法及相关设备
CN114169010A (zh) * 2021-12-13 2022-03-11 安徽理工大学 一种基于联邦学习的边缘隐私保护方法
US20220108177A1 (en) * 2019-05-16 2022-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concepts for federated learning, client classification and training data similarity measurement
CN114785559A (zh) * 2022-03-29 2022-07-22 南京理工大学 一种抵御成员推理攻击的差分隐私联邦学习方法
CN115017541A (zh) * 2022-06-06 2022-09-06 电子科技大学 一种云边端协同的泛在智能联邦学习隐私保护系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202652243U (zh) * 2012-06-21 2013-01-02 南京信息工程大学 基于节点的僵尸网络检测系统
US20220108177A1 (en) * 2019-05-16 2022-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concepts for federated learning, client classification and training data similarity measurement
CN112181666A (zh) * 2020-10-26 2021-01-05 华侨大学 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
CN113361694A (zh) * 2021-06-30 2021-09-07 哈尔滨工业大学 一种应用差分隐私保护的分层联邦学习方法及系统
CN113762530A (zh) * 2021-09-28 2021-12-07 北京航空航天大学 面向隐私保护的精度反馈联邦学习方法
CN113792890A (zh) * 2021-09-29 2021-12-14 国网浙江省电力有限公司信息通信分公司 一种基于联邦学习的模型训练方法及相关设备
CN114169010A (zh) * 2021-12-13 2022-03-11 安徽理工大学 一种基于联邦学习的边缘隐私保护方法
CN114785559A (zh) * 2022-03-29 2022-07-22 南京理工大学 一种抵御成员推理攻击的差分隐私联邦学习方法
CN115017541A (zh) * 2022-06-06 2022-09-06 电子科技大学 一种云边端协同的泛在智能联邦学习隐私保护系统及方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
DINH C. NGUYEN等: "Federated Learning for COVID-19 Detection With Generative Adversarial Networks in Edge Cloud Computing", 《IEEE INTERNET OF THINGS JOURNAL》 *
LIWEN ZHOU等: "Hybrid Anomaly Detection via Multihead Dynamic Graph Attention Networks for Multivariate Time Series", 《IEEE ACCESS》 *
ZHUOTAO LIAN等: "DEEP-FEL: Decentralized, Efficient and Privacy-Enhanced Federated Edge Learning for Healthcare Cyber Physical Systems", 《IEEE TRANSACTIONS ON NETWORK SCIENCE AND ENGINEERING》 *
ZHUOTAO LIAN等: "WebFed: Cross-platform Federated Learning Framework Based on Web Browser with Local Differential Privacy", 《ICC 2022 - IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS》 *
冯传凯: "物联网应用中的隐私保护机器学习模型研究", 《中国优秀硕士学位论文全文数据库》 *
威化饼的一隅: "联邦学习之差分隐私", 《HTTPS://BLOG.CSDN.NET/QQ_37734256/ARTICLE/DETAILS/106590034》 *
曾庆馗: "基于局部差分隐私的数据隐私保护研究", 《中国优秀硕士学位论文全文数据库》 *
陈航等: "基于局部差分隐私的表情包收集机制", 《电脑知识与技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473558A (zh) * 2023-12-25 2024-01-30 华侨大学 一种基于联邦学习的自适应dpwgan训练方法及系统

Also Published As

Publication number Publication date
CN115329388B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
So et al. Byzantine-resilient secure federated learning
Fereidooni et al. SAFELearn: Secure aggregation for private federated learning
Wang et al. Privacy-preserving federated learning for internet of medical things under edge computing
Xu et al. Efficient and privacy-preserving truth discovery in mobile crowd sensing systems
CN112257105B (zh) 一种基于参数替换算法的联邦学习方法及系统
CN112714106B (zh) 一种基于区块链的联邦学习搭便车攻击防御方法
Elkordy et al. HeteroSAg: Secure aggregation with heterogeneous quantization in federated learning
CN112668044B (zh) 面向联邦学习的隐私保护方法及装置
Kargupta et al. Multi-party, privacy-preserving distributed data mining using a game theoretic framework
Sun et al. Decentralized deep learning for multi-access edge computing: A survey on communication efficiency and trustworthiness
Peng et al. Energy efficient jamming attack schedule against remote state estimation in wireless cyber-physical systems
CN112749392A (zh) 一种联邦学习中异常节点的检测方法及系统
Singh et al. Privacy-preserving serverless computing using federated learning for smart grids
CN115329388B (zh) 一种面向联邦生成对抗网络的隐私增强方法
Yazdinejad et al. Hybrid privacy preserving federated learning against irregular users in next-generation Internet of Things
Tang et al. Achieve privacy-preserving truth discovery in crowdsensing systems
Zhang et al. Towards verifiable federated learning
Schmid et al. Tangle ledger for decentralized learning
Wang et al. VOSA: Verifiable and oblivious secure aggregation for privacy-preserving federated learning
Anwar et al. A comprehensive insight into game theory in relevance to cyber security
Li et al. An Adaptive Communication‐Efficient Federated Learning to Resist Gradient‐Based Reconstruction Attacks
Malladi et al. Decentralized aggregation design and study of federated learning
Ren et al. BPFL: Blockchain-based privacy-preserving federated learning against poisoning attack
Lyu et al. Secure and efficient federated learning with provable performance guarantees via stochastic quantization
Li et al. Privacy-preserving and poisoning-defending federated learning in fog computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant