CN114239049A - 基于参数压缩的面向联邦学习隐私推理攻击的防御方法 - Google Patents

基于参数压缩的面向联邦学习隐私推理攻击的防御方法 Download PDF

Info

Publication number
CN114239049A
CN114239049A CN202111333252.2A CN202111333252A CN114239049A CN 114239049 A CN114239049 A CN 114239049A CN 202111333252 A CN202111333252 A CN 202111333252A CN 114239049 A CN114239049 A CN 114239049A
Authority
CN
China
Prior art keywords
model parameters
parameter
target
training
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111333252.2A
Other languages
English (en)
Inventor
王滨
王星
张峰
王伟
钱亚冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202111333252.2A priority Critical patent/CN114239049A/zh
Publication of CN114239049A publication Critical patent/CN114239049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请提供一种基于参数压缩的面向联邦学习隐私推理攻击的防御方法，该方法包括：依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，以对隐私推理攻击进行防御；确定所述目标客户端的压缩模型参数；依据所述目标客户端的压缩模型参数，确定全局模型参数。该方法可以在保证全局模型的准确性的情况下，保护客户端的本地私有数据特征，实现针对隐私推理攻击的防御。

Description

基于参数压缩的面向联邦学习隐私推理攻击的防御方法
技术领域
本申请涉及网络安全技术领域，尤其涉及一种基于参数压缩的面向联邦学习隐私推理攻击的防御方法。
背景技术
联邦学习(Federated Learning)是一种机器学习框架，实现私有数据、共享模型，每个参与方客户端(可以简称客户端)拥有私有数据，多个客户端共同训练一个模型。每一轮训练，每个客户端上传其本地训练得到的模型参数(可以称为本地模型参数)，通过中心服务器进行联邦平均获得全局模型参数，然后下发到各个客户端进行下一轮的训练。
随着联邦学习的流行，针对联邦学习的攻击手段也在日益增多。客户端使用生成对抗网络(Generative adversarial network，GAN)进行隐私推理攻击，以实现对其他联邦学习客户端的数据的窃取。联邦学习基于对多方参与者隐私保护的一个背景，即共享的模型不会泄露本地私有数据，所以恶意参与者通过获取联邦模型参数并使用GAN去窃取被攻击者的数据的行为是需要被防御的。
目前，对于联邦学习的隐私保护的主要方法之一为差分隐私(DifferentialPrivacy)，其基本方法为在数据集中加入高斯噪声或拉普拉斯噪声，可以有效地防止隐私数据的泄露。但是为了有效的保护隐私数据，随着噪声的增加，全局模型的准确率却在下降。
发明内容
有鉴于此，本申请提供一种基于参数压缩的面向联邦学习隐私推理攻击的防御方法。
具体地，本申请是通过如下技术方案实现的：
根据本申请实施例的第一方面，提供一种基于参数压缩的面向联邦学习隐私推理攻击的防御方法，包括：
依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数；其中，所述目标客户端的本地模型参数中的目标参数在训练前后的差异，大于所述目标客户端的本地模型参数中的非目标参数在训练前后的差异；
确定所述目标客户端的压缩模型参数，所述压缩模型参数中的目标参数采用所述目标客户端训练后的本地模型参数中的目标参数，所述压缩模型参数中的非目标参数采用所述目标客户端训练前的本地模型参数中的非目标参数，以对隐私推理攻击进行防御；
依据所述目标客户端的压缩模型参数，确定全局模型参数。
根据本申请实施例的第二方面，提供一种电子设备，该电子设备包括：
处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述方法。
本申请实施例的基于参数压缩的面向联邦学习隐私推理攻击的防御方法，通过在每一轮本地训练完成的情况下，依据客户端的本地模型参数在训练前后的差异，将训练前后差异较大的参数确定为需要保持训练后的状态的目标参数，以及训练前后差异相对较小的参数确定为需要恢复为训练前的状态的非目标参数，通过将训练前后差异大的目标参数保持为训练后的状态，以保证全局模型的准确性；通过将训练前后差异相对较小的非目标参数恢复为训练前的状态，截断完整模型参数中的部分参数信息，实现客户端本地模型参数的稀疏化，减少泄漏给攻击者的参数信息，可以有效防御攻击者从模型参数中推断出被攻击者的隐私数据信息，保护客户端的本地私有数据特征，实现针对隐私推理攻击的防御。
附图说明
图1为本申请一示例性实施例示出的一种基于参数压缩的面向联邦学习隐私推理攻击的防御方法的流程示意图；
图2A为本申请一示例性实施例示出的一种确定目标客户端的本地模型参数中的目标参数的流程示意图；
图2B为本申请一示例性实施例示出的另一种确定目标客户端的本地模型参数中的目标参数的流程示意图；
图3为本申请一示例性实施例示出的一种基于参数压缩的面向联邦学习隐私推理攻击的防御方法的流程示意图；
图4为本申请一示例性实施例示出的一种基于参数压缩的面向联邦学习隐私推理攻击的防御装置的结构示意图；
图5为本申请一示例性实施例示出的另一种基于参数压缩的面向联邦学习隐私推理攻击的防御装置的结构示意图；
图6为本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请实施例涉及的部分术语进行简单说明。
联邦学习：联邦学习过程包括以下几个步骤：(1)、客户端的本地模型的初始化；(2)、对客户端的本地模型进行训练至模型收敛，上传本地模型参数值中心参数服务器；(3)、中心参数服务器聚合所有客户端上报的本地模型参数生成和分发新一轮初始参数至所有客户端。
GAN隐私：攻击者从中心参数服务器下载联邦模型参数(即全局模型参数)以更新其本地模型的本地模型参数，通过创建一个新的联邦模型的副本作为鉴别器(D)，并在D上运行生成器(G)来实现对被攻击用户样本的模拟，并错误的标记生成的样本至本地模型，进而影响到联邦模型(即全局模型)，迫使被攻击者更多的使用样本进行本地训练以实现对假的生成样本的区分。
序列Top k：设有无序列表L，对其运行Top k算法，得到该序列前k大的列表内容的序列。
Non-IID数据(非独立同分布数据)：联邦学习中多个客户端拥有的源训练数据以非独立同分布的形式存在，即对于两个客户端Mi，Mj∈M，i≠j，存在数据标签为k的数据
Figure BDA0003349700370000041
为了使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1，为本申请实施例提供的一种基于参数压缩的面向联邦学习隐私推理攻击的防御方法的流程示意图，如图1所示，该基于参数压缩的面向联邦学习隐私推理攻击的防御方法可以包括以下步骤：
步骤S100、依据目标客户端的本地模型参数在训练前后的差异，确定目标客户端的本地模型参数中的目标参数；其中，目标客户端的本地模型参数中的目标参数在训练前后的差异，大于目标客户端的本地模型参数中的非目标参数在训练前后的差异。
本申请实施例中，目标客户端并不特指某一固定的客户端，而是可以指代联邦学习系统中的任一客户端。
本申请实施例中，由于客户端的全部模型参数包含了关于客户端的私有关键训练数据的完整信息，而隐私推理攻击的攻击者正是通过被攻击者的模型参数来推断被攻击者的隐私数据信息，为了实现针对隐私推理攻击的防御，在依据客户端的本地模型参数确定全局模型参数之前，可以先对客户端的本地模型参数进行压缩，将参数稀疏化，保持部分参数为训练后的状态(即使用训练后的参数)，并将其余参数恢复为训练前的状态(即使用训练前的参数)，截断完整模型参数中的部分参数信息，实现客户端本地模型参数的稀疏化，减少泄漏给攻击者的参数信息，以保护各客户端的本地私有数据特征。
此外，考虑到训练前后参数的差异越大，通常表明该参数对模型性能优化的贡献越大，因而，为了在实现针对隐私推理攻击的防御的情况下，保持全局模型的准确性，在对本地模型参数进行压缩时，可以优先保持训练前后差异较大的参数为训练后的状态，对于训练前后差异相对较小的参数，则可以恢复为训练前的状态。
相应地，对于任一轮的模型训练，可以依据目标客户端训练前的本地模型参数与训练后的本地模型参数，确定目标客户端的本地模型参数在训练前后的差异，并依据目标客户端的本地模型参数在训练前后的差异，确定目标客户端的本地模型参数中需要保持训练后的状态的参数(本文中称为目标参数)。
示例性的，目标客户端的本地模型参数中，目标参数在训练前后的差异大于非目标参数(即本地模型参数中除目标参数之外的其余参数)在训练前后的差异。
需要说明的是，本申请实施例中，若未特殊说明，所提及的训练前后均是针对一轮训练而言，即对于任一轮训练，客户端的训练前的本地模型参数是指开始训练时本地模型的参数，训练后的本地模型参数是指本轮训练至本地模型收敛后本地模型的参数。
步骤S110、确定目标客户端的压缩模型参数，该压缩模型参数中的目标参数采用目标客户端训练后的本地模型参数中的目标参数，该压缩模型参数中的非目标参数采用目标客户端训练前的本地模型参数中的非目标参数，以对隐私推理攻击进行防御。
本申请实施例中，在确定了目标客户端的本地模型参数中的目标参数的情况下，对于本地模型参数中的目标参数，可以保持为训练后的状态，即使用训练后的本地模型参数中的参数值；对于本地模型参数中的非目标参数，则可以恢复为训练前的状态，即使用训练前的本地模型参数中的参数值，在实现针对隐私推理攻击的防御的情况下，保持全局模型的准确性。
步骤S120、依据目标客户端的压缩模型参数，确定全局模型参数。
本申请实施例中，对于任一客户端，均可以按照上述方式确定压缩模型参数，并在确定了各客户端的压缩模型参数的情况下，可以依据各客户端的压缩模型参数确定全局模型参数。
可见，在图1所示方法流程中，通过在每一轮本地训练完成的情况下，依据客户端的本地模型参数在训练前后的差异，将训练前后差异较大的参数确定为需要保持训练后的状态的目标参数，以及训练前后差异相对较小的参数确定为需要恢复为训练前的状态的非目标参数，通过将训练前后差异大的目标参数保持为训练后的状态，以保证全局模型的准确性；通过将训练前后差异相对较小的非目标参数恢复为训练前的状态，截断完整模型参数中的部分参数信息，实现客户端本地模型参数的稀疏化，减少泄漏给攻击者的参数信息，可以有效防御攻击者从模型参数中推断出被攻击者的隐私数据信息，保护客户端的本地私有数据特征，实现针对隐私推理攻击的防御。
在一些实施例中，上述基于参数压缩的面向联邦学习隐私推理攻击的防御方法可以应用于中心参数服务器。
如图2A所示，步骤S100中，依据目标客户端的本地模型参数在训练前后的差异，确定目标客户端的本地模型参数中的目标参数，可以通过以下步骤实现：
步骤S101a、向各客户端下发全局模型参数；
步骤S102a、接收目标客户端上报的本地模型参数；
步骤S103a、以全局模型参数为目标客户端训练前的本地模型参数，以接收到的目标客户端上报的本地模型参数为目标客户端训练后的本地模型参数，确定目标客户端的本地模型参数在训练前后的差异；
步骤S104a、依据目标客户端的本地模型参数在训练前后的差异，确定目标客户端的本地模型参数中的目标参数。
示例性的，以上述基于参数压缩的面向联邦学习隐私推理攻击的防御方法可以应用于中心参数服务器为例。
中心参数服务器可以依据各客户端上报的本地模型参数确定全局模型参数，并将所确定的全局模型参数下发至各客户端。
目标客户端接收到中心参数服务器下发的全局模型参数时，可以以接收到的全局模型参数为训练前的本地模型参数，对本地模型进行新一轮的训练，直至本地模型收敛，得到训练后的本地模型参数，并将训练后的本地模型参数上报至中心参数服务器。
中心参数服务器在接收到目标客户端上报的本地模型参数(训练后的本地模型参数)的情况下，可以以下发至各客户端的全局模型参数(本轮训练下发至各客户端的全局模型参数)为目标客户端训练前的本地模型参数，以接收到的目标客户端上报的本地模型参数为训练后的本地模型参数，确定目标客户端的本地模型参数在训练前后的差异，并依据目标客户端的本地模型参数在训练前后的差异，确定目标客户端的本地模型参数中的目标参数。
示例性的，中心参数服务器可以依据所确定的目标客户端的本地模型参数中的目标参数，对目标客户端上报的本地模型参数进行压缩，得到压缩模型参数。
示例性的，中心服务器在确定了各客户端的压缩模型参数的情况下，可以依据各客户端的压缩模型参数，确定最新的全局模型参数。
例如，可以将各客户端的压缩模型参数的平均值确定为最新的全局模型参数。
可见，通过在中心参数服务器侧实现客户端的本地模型参数的压缩，降低了对客户端的性能要求。
在一些实施例中，上述基于参数压缩的面向联邦学习隐私推理攻击的防御方法可以应用于客户端。
如图2B所示，步骤S100中，依据目标客户端的本地模型参数在训练前后的差异，确定目标客户端的本地模型参数中的目标参数，可以通过以下步骤实现：
步骤S101b、接收中心参数服务器下发的全局模型参数；
步骤S102b、以该全局模型参数为训练前的本地模型参数，对本地模型进行训练，得到训练后的本地模型参数；
步骤S103b、依据本地模型参数在训练前后的差异，确定本地模型参数中的目标参数。
示例性的，以上述基于参数压缩的面向联邦学习隐私推理攻击的防御方法可以应用于客户端为例。
示例性的，中心参数服务器可以依据各客户端上报的本地模型参数确定全局模型参数，并将所确定的全局模型参数下发至各客户端。
目标客户端接收到中心参数服务器下发的全局模型参数时，可以以接收到的全局模型参数为训练前的本地模型参数，对本地模型进行新一轮的训练，直至本地模型收敛，得到训练后的本地模型参数。
目标客户端可以依据训练前的本地模型参数，以及训练后的本地模型参数，确定本地模型参数在训练前后的差异，并依据本地模型参数在训练前后的差异，确定本地模型参数中的目标参数。
可见，通过各客户端对本端的本地模型参数进行压缩，降低了中心参数服务器的处理负荷。
在一个示例中，步骤S130中，依据目标客户端的压缩模型参数，确定全局模型参数，可以包括：
将压缩模型参数上报至中心参数服务器，以使中心参数服务器依据接收到的各客户端上报的压缩模型参数，确定最新的全局模型参数。
示例性的，目标客户端在确定了本地模型参数中的目标参数的情况下，可以对训练后的本地模型参数进行压缩，得到压缩模型参数，并将压缩模型参数上报至中心参数服务器。
中心参数服务器在接收到各客户端上报的压缩模型参数的情况下，可以依据接收到的各客户端的压缩模型参数，确定最新的全局模型参数。
在一些实施例中，步骤S100中，依据目标客户端的本地模型参数在训练前后的差异，确定目标客户端的本地模型参数中的目标参数，可以包括：
确定目标客户端的本地模型参数中各参数在训练前后的差值；
依据各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数，K为正整数。
示例性的，为了简化目标参数确定的处理操作，可以分别确定目标客户端的本地模型参数中各参数在训练前后的差值，并依据各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数。
例如，可以使用top K算法，从各参数在训练前后的差值的绝对值中，确定差值的绝对值前K大的参数。
在一些实施例中，步骤S100中，依据目标客户端的本地模型参数在训练前后的差异，确定目标客户端的本地模型参数中的目标参数，可以包括：
对于目标客户端的本地模型任一层模型参数，确定该层模型参数中各参数在训练前后的差值；
依据该层模型参数中各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数，K为正整数。
示例性的，为了细化目标参数确定的粒度，优化压缩模型参数的训练性能，在确定目标参数时，可以分别针对本地模型各层模型参数进行确定。
示例性的，对于目标客户端的本地模型任一层模型参数，可以确定该层模型参数中各参数在训练前后的差值，并依据该层模型参数中各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数。
在一些实施例中，步骤S100中，依据目标客户端的本地模型参数在训练前后的差异，确定目标客户端的本地模型参数中的目标参数，可以包括：
对于目标客户端的本地模型任一层模型参数的任一模型参数分量，确定该模型参数分量中各参数在训练前后的差值；
依据该模型参数分量中各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数，K为正整数。
示例性的，为了细化目标参数确定的粒度，优化压缩模型参数的训练性能，在确定目标参数时，可以分别针对本地模型各层模型参数的各模型参数分量进行确定。
示例性的，本地模型的任一层模型参数可以为一个二维矩阵，模型参数分量可以为该二维矩阵的一行或一列。
示例性的，对于目标客户端的本地模型任一层模型参数的任一模型参数分量，可以确定该模型参数分量中各参数在训练前后的差值，并依据该模型参数分量中各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数。
示例性的，上述实施例中，K可以依据预设压缩率以及参与排序的参数数量确定。
举例来说，以本地模型参数中全部参数参与排序为例，假设本地模型参数中参数的总数为N1，预设压缩率为R1，则K可以为N1*(1-R1)。
其中，若N1*(1-R1)为非整数，则可以通过向上取整、向下取整或四舍五入等方式得到整数K。
又举例来说，以模型参数分量中参数参与排序为例，假设模型参数分量中参数的数量为N2，预设压缩率为R2，则K可以为N2*(1-R2)。
其中，若N2*(1-R2)为非整数，则可以通过向上取整、向下取整或四舍五入等方式得到整数K。
需要说明的是，在本申请实施例中，针对本地模型参数整体、分别针对各单层模型参数或分别针对各单个模型参数分量进行目标参数确定的实施例中，K可以不同；针对单层模型参数确定目标参数的实施例中，不同层的模型参数中的目标参数的K也可以不同；针对单个模型参数分量确定目标参数的实施例中，不同模型参数分量中的目标参数的K也可以不同。
此外，确定本地模型参数中的目标参数的方式并不限于上述实施例中描述的方式，还可以通过其它方式确定本地模型参数中的目标参数，例如，依据本地模型参数中各模型在训练前后的差值的绝对值，将差值的绝对值超过预设阈值的参数确定为目标参数；或者，依据模型参数分量中各参数在训练前后的差值的绝对值，将差值的绝对值超过预设阈值的参数确定为目标参数；其中，不同模型参数分量中确定目标参数的预设阈值的取值可以不同。
在一些实施例中，上述基于参数压缩的面向联邦学习隐私推理攻击的防御方法可以应用于中心参数服务器。
步骤S100中，依据目标客户端的本地模型参数在训练前后的差异，确定目标客户端的本地模型参数中的目标参数之前，还可以包括：
对全局模型进行预训练，得到预训练后的全局模型参数；
将预训练后的全局模型参数下发至各客户端，作为各客户端的初始本地模型参数。
示例性的，由于在一轮训练过程中，中心参数服务器需要依据下发给客户端的全局模型参数，以及接收到的客户端上报的本地模型参数(训练后的本地模型参数)，确定本地模型参数中的目标参数，进而实现模型参数压缩，因此，在首轮训练开始之前，中心参数服务器可以先对全局模型进行预训练，得到预训练后的全局模型参数，并将预训练后的全局模型参数下发至各客户端，作为各客户端的初始本地模型参数。
客户端依据初始本地模型参数完成本地模型训练的情况下，可以将训练后的本地模型参数上报至中心参数服务器，由中心参数服务器依据训练前后的本地模型参数进行模型参数压缩。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。
本申请实施例提供了一种基于参数压缩的面向联邦学习隐私推理攻击的防御方法，主要方法流程可以包括：
对于每一轮训练，中心参数服务器获取客户端的本地模型参数；对于任一客户端(如上述目标客户端)，统计该客户端的本地模型参数在训练前后的浮动情况，取浮动变化最大的部分参数，作为本轮训练中该客户端所要更新的参数(即上述目标参数)，并参与中心服务器的联邦平均，以确定全局模型参数。
通过依据参数训练前后的变化的对参数进行选择性更新，有效的隐藏了客户端的私有数据特征，降低了数据泄露的风险；同时极大程度的保证了模型对多种数据集的准确性，更加有效的提高了整个联邦学习系统的鲁棒性。
在该实施例中，联邦学习系统可以包括模块A～模块D；其中：
模块A，用于对原始数据集进行处理，对整个联邦学习系统进行初始化并分配非独立同分布数据。
模块B，用于对联邦学习的过程使用生成对抗网络实施隐私窃取攻击。
模块C，用于获取联邦学习的神经网络模型的每层具体参数信息。
模型D、用于筛选出相对浮动最大的部分参数，将此部分参数确定为需要更新的参数，进行模型参数压缩，依据压缩模型参数确定最新的全局模型参数。
下面结合图3对各模块的功能进行详细说明。
模块A：对原始数据集进行处理，对整个联邦学习系统进行初始化并分配非独立同分布数据。
示例性的，可以使用MNIST(Mixed National Institute of Standards andTechnology database)手写数字数据集，其中包括60000个实例训练集和10000个实例测试集。
示例性的，可以创建10个联邦学习的客户端，客户端使用相同模型，均为两层卷积神经网络；为客户端按顺序编号，同时将数据集中标签与客户端编号对应的数据分配给相应的客户端。
例如，每个客户端所拥有的数据量以及标签分布可以如表1所示：
表1
Figure BDA0003349700370000131
示例性的，可以使用warmup(热身)策略对全局模型进行预训练。
例如，可以对全局模型预训练25轮得到初始的全局模型参数，将其作为所有客户端的初始化本地模型参数。
需要说明的是，对全局模型进行预训练时使用的数据为全类别数据，即包括各客户端的数据的类别。
其中，不同客户端的数据的类别不同。
示例性的，同一客户端可以的数据可以包括一个或多个类别的数据。
模块B：对联邦学习的过程使用生成对抗网络实施隐私窃取攻击。
示例性的，假设攻击者A为编号为1的客户端，其拥有标签为0的数据。A意图窃取被攻击者V的标签为3的数据，被攻击者V的客户端编号为4。
当联邦模型(即全局模型)和局部模型(即本地模型)的测试准确率均大于阈值且联邦学习系统训练至少一轮，即所有客户端的本地模型均收敛时，隐私推理攻击便被启动。
示例性的，该阈值可以设置为85％。
攻击者可以在本地构建一个GAN模型，通过为GAN模型构建出的数据标注上错误的标签，得到“有毒数据”。攻击者使用有毒数据进行本地模型训练，使被攻击者V提供更多数据特征，然后攻击者使用V提供的更丰富的数据特征利用GAN生成更准确地照片，循环往复，得到被攻击者V的私有数据的目标类别信息。
模块C：获取联邦学习的神经网络模型的每层具体参数信息。
示例性的，在每一个联邦学习参与者将客户端训练后的本地模型参数上传至中心参数服务器之前，可以使用Keras(一种开源人工神经网络库)获取本地模型所有层的参数，以列表存储每层的参数。
示例性的，参数可以以ndarray(用于存放同类型元素的多维数组)格式保存。
模块D：筛选出相对浮动最大的部分参数，将此部分参数确定为需要更新的参数，进行模型参数压缩，依据压缩模型参数确定最新的全局模型参数。
示例性的，计算本轮客户端训练得到的本地模型参数(即训练后的本地模型参数)与本轮开始时的本地模型参数(即训练前的本地模型参数)的差值，以绝对值的格式存储差值e。使用top k算法获取e中排列靠前的序列列表。
例如，假设预设压缩率为99.9％，则可以取差值e序列中前0.1％(即1-99.9％)大的差值，将对应的参数确定为目标参数。
示例性的，对于本地模型中的任一层模型，其参与训练的参数的数量可以通过利用深度学习框架获取参数维度信息，并依据参数维度信息确定。
对于任一客户端，本地模型参数中的目标参数保持为训练后的状态，非目标参数恢复为训练前的状态。
示例性的，模块D可以通过以下流程实现模型参数压缩：
4.1、对于w的第j个参数分量w[j]，计算其与上一轮的w[j]的差值e；
示例性的，w为本地模型的任一层网络的模型参数，其可以为二维矩阵，w[j]可以为该二维矩阵中的第j行或第j列。
4.2、将w[j]中e的绝对值最大的k个参数确定为目标参数。
4.3、将w[j]中该k个参数(即目标参数)保持为训练后的状态，w[j]中其余参数(即非目标参数)恢复为训练前的状态。
4.4、各参数分量均压缩完毕得到该客户端压缩后的本地模型参数(即压缩模型参数，可以记为wcompressed)。
可见，在该实施例中，以较小的计算量，实现了在联邦学习下针对GAN隐私推理攻击的有效防御，同时最大程度的保证联邦模型的准确率不受影响。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：
请参见图4，为本申请实施例提供的一种基于参数压缩的面向联邦学习隐私推理攻击的防御装置的结构示意图，如图4所示，该基于参数压缩的面向联邦学习隐私推理攻击的防御装置可以包括：
第一确定单元410，用于依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数；其中，所述目标客户端的本地模型参数中的目标参数在训练前后的差异，大于所述目标客户端的本地模型参数中的非目标参数在训练前后的差异；
第二确定单元420，用于确定所述目标客户端的压缩模型参数，所述压缩模型参数中的目标参数采用所述目标客户端训练后的本地模型参数中的目标参数，所述压缩模型参数中的非目标参数采用所述目标客户端训练前的本地模型参数中的非目标参数，以对隐私推理攻击进行防御；
第三确定单元430，依据所述目标客户端的压缩模型参数，确定全局模型参数。
在一些实施例中，当所述装置部署于中心参数服务器时，
所述第一确定单元410依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，包括：
向各客户端下发全局模型参数；
接收所述目标客户端上报的本地模型参数；
以所述全局模型参数为所述目标客户端训练前的本地模型参数，以接收到的所述目标客户端上报的本地模型参数为所述目标客户端训练后的本地模型参数，确定所述目标客户端的本地模型参数在训练前后的差异；
依据所述目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数。
在一些实施例中，当所述装置部署于客户端时，
所述第一确定单元410依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，包括：
接收中心参数服务器下发的全局模型参数；
以所述全局模型参数为训练前的本地模型参数，对本地模型进行训练，得到训练后的本地模型参数；
依据本地模型参数在训练前后的差异，确定本地模型参数中的目标参数。
在一些实施例中，所述第三确定单元430依据所述目标客户端的压缩模型参数，确定全局模型参数，包括：
将所述压缩模型参数上报至中心参数服务器，以使所述中心参数服务器依据接收到的各客户端上报的压缩模型参数，确定最新的全局模型参数。
在一些实施例中，所述第一确定单元410依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，包括：
确定所述目标客户端的本地模型参数中各参数在训练前后的差值；
依据各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数，K为正整数。
在一些实施例中，所述第一确定单元410依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，包括：
对于所述目标客户端的本地模型任一层模型参数，确定该层模型参数中各参数在训练前后的差值；
依据该层模型参数中各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数，K为正整数。
在一些实施例中，所述第一确定单元410依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，包括：
对于所述目标客户端的本地模型任一层模型参数的任一模型参数分量，确定该模型参数分量中各参数在训练前后的差值；
依据该模型参数分量中各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数，K为正整数。
在一些实施例中，K依据预设压缩率以及参与排序的参数数量确定。
在一些实施例中，当所述装置部署于中心参数服务器时，
如图5所示，所述装置还包括：
预训练单元440，用于对全局模型进行预训练，得到预训练后的全局模型参数；将所述预训练后的全局模型参数下发至各客户端，作为各客户端的初始本地模型参数。
对应地，本申请还提供了图4或图5所示装置的硬件结构。参见图6，该硬件结构可包括：处理器和机器可读存储介质，机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例公开的方法。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干机器可执行指令，所述机器可执行指令被处理器执行时，能够实现本申请上述示例公开的方法。
示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种基于参数压缩的面向联邦学习隐私推理攻击的防御方法，其特征在于，包括：
依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数；其中，所述目标客户端的本地模型参数中的目标参数在训练前后的差异，大于所述目标客户端的本地模型参数中的非目标参数在训练前后的差异；
确定所述目标客户端的压缩模型参数，所述压缩模型参数中的目标参数采用所述目标客户端训练后的本地模型参数中的目标参数，所述压缩模型参数中的非目标参数采用所述目标客户端训练前的本地模型参数中的非目标参数，以对隐私推理攻击进行防御；
依据所述目标客户端的压缩模型参数，确定全局模型参数。
2.根据权利要求1所述的方法，其特征在于，当所述方法应用于中心参数服务器时，
所述依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，包括：
向各客户端下发全局模型参数；
接收所述目标客户端上报的本地模型参数；
以所述全局模型参数为所述目标客户端训练前的本地模型参数，以接收到的所述目标客户端上报的本地模型参数为所述目标客户端训练后的本地模型参数，确定所述目标客户端的本地模型参数在训练前后的差异；
依据所述目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数。
3.根据权利要求1所述的方法，其特征在于，当所述方法应用于客户端时，
所述依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，包括：
接收中心参数服务器下发的全局模型参数；
以所述全局模型参数为训练前的本地模型参数，对本地模型进行训练，得到训练后的本地模型参数；
依据本地模型参数在训练前后的差异，确定本地模型参数中的目标参数。
4.根据权利要求3所述的方法，其特征在于，所述依据所述目标客户端的压缩模型参数，确定全局模型参数，包括：
将所述压缩模型参数上报至中心参数服务器，以使所述中心参数服务器依据接收到的各客户端上报的压缩模型参数，确定最新的全局模型参数。
5.根据权利要求1所述的方法，其特征在于，所述依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，包括：
确定所述目标客户端的本地模型参数中各参数在训练前后的差值；
依据各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数，K为正整数。
6.根据权利要求1所述的方法，其特征在于，所述依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，包括：
对于所述目标客户端的本地模型任一层模型参数，确定该层模型参数中各参数在训练前后的差值；
依据该层模型参数中各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数，K为正整数。
7.根据权利要求1所述的方法，其特征在于，所述依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数，包括：
对于所述目标客户端的本地模型任一层模型参数的任一模型参数分量，确定该模型参数分量中各参数在训练前后的差值；
依据该模型参数分量中各参数在训练前后的差值的绝对值，将训练前后的差值的绝对值前K大的参数确定为目标参数，K为正整数。
8.根据权利要求5-7任一项所述的方法，其特征在于，K依据预设压缩率以及参与排序的参数数量确定。
9.根据权利要求1所述的方法，其特征在于，当所述方法应用于中心参数服务器时，
所述依据目标客户端的本地模型参数在训练前后的差异，确定所述目标客户端的本地模型参数中的目标参数之前，还包括：
对全局模型进行预训练，得到预训练后的全局模型参数；
将所述预训练后的全局模型参数下发至各客户端，作为各客户端的初始本地模型参数。
CN202111333252.2A 2021-11-11 2021-11-11 基于参数压缩的面向联邦学习隐私推理攻击的防御方法 Pending CN114239049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111333252.2A CN114239049A (zh) 2021-11-11 2021-11-11 基于参数压缩的面向联邦学习隐私推理攻击的防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111333252.2A CN114239049A (zh) 2021-11-11 2021-11-11 基于参数压缩的面向联邦学习隐私推理攻击的防御方法

Publications (1)

Publication Number Publication Date
CN114239049A true CN114239049A (zh) 2022-03-25

Family

ID=80749146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111333252.2A Pending CN114239049A (zh) 2021-11-11 2021-11-11 基于参数压缩的面向联邦学习隐私推理攻击的防御方法

Country Status (1)

Country Link
CN (1) CN114239049A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548428A (zh) * 2022-04-18 2022-05-27 杭州海康威视数字技术股份有限公司 基于实例重构的联邦学习模型智能攻击检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548428A (zh) * 2022-04-18 2022-05-27 杭州海康威视数字技术股份有限公司 基于实例重构的联邦学习模型智能攻击检测方法及装置
CN114548428B (zh) * 2022-04-18 2022-08-16 杭州海康威视数字技术股份有限公司 基于实例重构的联邦学习模型智能攻击检测方法及装置

Similar Documents

Publication Publication Date Title
Juuti et al. PRADA: protecting against DNN model stealing attacks
Huang et al. Data poisoning attacks to deep learning based recommender systems
CN114186237B (zh) 一种基于真值发现的鲁棒性联邦学习模型聚合方法
US8837769B2 (en) Video signature based on image hashing and shot detection
US20230325497A1 (en) Watermark protection of artificial intelligence model
Imamoglu et al. A new reversible database watermarking approach with firefly optimization algorithm
CN115378733B (zh) 一种基于动态图嵌入的多步攻击场景构建方法及系统
Zhang et al. A survey on privacy inference attacks and defenses in cloud-based deep neural network
Bachl et al. Walling up backdoors in intrusion detection systems
Abad et al. On the security & privacy in federated learning
CN114239049A (zh) 基于参数压缩的面向联邦学习隐私推理攻击的防御方法
Mozaffari et al. Every Vote Counts:{Ranking-Based} Training of Federated Learning to Resist Poisoning Attacks
Kim et al. Federated semi-supervised learning with prototypical networks
Srilatha et al. DDoSNet: A deep learning model for detecting network attacks in cloud computing
Zhang et al. MODA: model ownership deprivation attack in asynchronous federated learning
Zhang et al. Privacy inference attacks and defenses in cloud-based deep neural network: A survey
Sharma et al. Flair: Defense against model poisoning attack in federated learning
Yuhang et al. FLVoogd: Robust and privacy preserving federated learning
CN114301850A (zh) 一种基于生成对抗网络与模型压缩的军用通信加密流量识别方法
CN117972691A (zh) 基于遗忘学习的可解释图推荐系统后门防御方法及系统
CN117454330A (zh) 一种对抗模型中毒攻击的个性化联邦学习方法
Chakraborty et al. Dynamarks: Defending against deep learning model extraction using dynamic watermarking
CN116595528A (zh) 对个性化推荐系统的投毒攻击方法及装置
Ding et al. PATROL: Privacy-Oriented Pruning for Collaborative Inference Against Model Inversion Attacks
CN113204766B (zh) 一种分布式的神经网络部署方法、电子设备与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination