CN112118099B - 抗推理攻击的分布式多任务学习隐私保护方法及系统 - Google Patents

抗推理攻击的分布式多任务学习隐私保护方法及系统 Download PDF

Info

Publication number
CN112118099B
CN112118099B CN202010974661.XA CN202010974661A CN112118099B CN 112118099 B CN112118099 B CN 112118099B CN 202010974661 A CN202010974661 A CN 202010974661A CN 112118099 B CN112118099 B CN 112118099B
Authority
CN
China
Prior art keywords
task
training
model
task node
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010974661.XA
Other languages
English (en)
Other versions
CN112118099A (zh
Inventor
马鑫迪
马建峰
沈玉龙
姜奇
谢康
李腾
卢笛
习宁
冯鹏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Third Research Institute of the Ministry of Public Security
Original Assignee
Xidian University
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University, Third Research Institute of the Ministry of Public Security filed Critical Xidian University
Priority to CN202010974661.XA priority Critical patent/CN112118099B/zh
Publication of CN112118099A publication Critical patent/CN112118099A/zh
Application granted granted Critical
Publication of CN112118099B publication Critical patent/CN112118099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

抗推理攻击的分布式多任务学习隐私保护方法及系统，通过各任务节点基于本地数据进行模型训练，并通过共享知识的方式实现联合模型训练；本发明提出基于同态密码学的隐私保护模型训练机制，使得任务节点在保证训练数据隐私的前提下，实现多任务学习模型训练，并使得模型训练效率独立于样本数据量，提高了机器学习模型训练效率；设计了基于差分隐私的模型发布方法，可以抵抗模型用户在访问机器学习模型时发起的身份推理攻击。系统包括密钥生成中心、中央服务器、任务节点和模型用户。本发明能够保证模型训练过程中和模型发布后任务节点的数据隐私，促进多任务机器学习的大规模应用。

Description

抗推理攻击的分布式多任务学习隐私保护方法及系统
技术领域
本发明属于信息安全领域，具体涉及一种抗推理攻击的分布式多任务学习隐私保护方法及系统，能够用于大规模不同分布数据的多任务模型协同训练。
背景技术
随着云计算和大数据技术的发展，机器学习技术得到了大规模的应用，尤其在图像识别、智能语音识别等领域，机器学习模型的识别精度已经超过人脑的识别精度。机器学习往往基于海量数据进行模型训练，然而，训练数据可能来自不同数据源，从而导致所收集的数据分布情况不同。因此，传统的机器学习模型训练方法难以直接应用于多数据分布模型训练。
为使得机器学习模型在多样化分布的数据上具有更好的泛化能力，多任务机器学习被用于在多样化分布的数据上同时实现多个模型训练，通过共享知识，实现多个训练任务的联合学习。然而，训练数据中通常含有用户的大量敏感信息，如疾病诊断信息、个人身份信息、兴趣偏好信息等，数据拥有者或者训练任务节点可能会因为担心隐私信息泄露拒绝以明文形式共享训练数据和提取的共享知识。目前，已有多种基于密码学和差分隐私技术的多任务学习模型训练方案，但是在大规模、多分布的数据中进行模型训练，现有方案仍存在模型训练效率低、训练模型准确性差、数据隐私无法保证等问题。如：“Privacy-Preserving Distributed Multi-Task Learning with Asynchronous Updates”中采用差分隐私方案对任务间共享的信息进行扰动，但是，由于在共享信息中加入了噪声，从而导致共享信息的准确性降低，进而导致了模型训练精度降低。因此，如何能在确保用户数据隐私的前提下，实现多任务的机器学习模型训练已成为多分布数据机器学习进一步发展与应用的关键。
发明内容
本发明的目的在于针对上述现有技术中多分布数据机器学习模型训练过程中的隐私保护问题，提供一种抗推理攻击的分布式多任务学习隐私保护方法及系统，以保证模型训练过程中和模型发布后任务节点的数据隐私，促进多任务机器学习的大规模应用。
为了实现上述目的，本发明有如下的技术方案：
一种抗推理攻击的分布式多任务学习隐私保护方法，包括以下步骤：
步骤1，为中央服务器和任务节点生成安全密钥，并通过安全通道实现密钥分发；
步骤2，各任务节点初始化训练模型的参数，并将参数分为共享部分和任务相关部分；
步骤3，选择ADMM为模型训练优化器提升训练模型的训练效率，各任务节点计算其参数共享部分和训练样本表示矩阵的乘积，并将计算结果加密后发送给中央服务器；
步骤4，基于ADMM约束条件，构造增广拉格朗日函数，并分别求解获得拉格朗日乘子、参数共享部分和参数任务相关部分的更新式；
步骤5，对步骤4更新式所涉及的训练样本数据进行预处理计算，降低模型训练过程中密文数据计算量；中央服务器对步骤3所述各任务节点上传的乘积进行聚合处理；
步骤6，各任务节点从中央服务器下载其对应的乘积聚合结果，以步骤5中预处理计算的训练样本为输入，计算更新拉格朗日乘子；
步骤7，以更新后的拉格朗日乘子和预处理计算的训练样本数据作为输入，计算更新参数共享部分，计算参数共享部分和训练样本表示矩阵的乘积，将乘积上传给中央服务器；
步骤8，以更新后的参数共享部分和预处理计算的训练样本数据为输入，计算更新参数任务相关部分，并与训练样本数据表示矩阵计算乘积；
步骤9，中央服务器对各任务节点的乘积聚合进行更新计算；
步骤10，任务节点借助中央服务器计算差分隐私敏感度，并解密训练后的模型参数；
步骤11，任务节点依据计算的敏感度产生差分隐私噪声，并对训练后的模型参数进行扰动，最后将扰动后的模型进行发布。
优选的，选择Ridge Regression模型为训练模型，步骤2具体步骤如下：
2a)任务节点首先依据模型结构随机初始化模型参数w(0)，通过定点整数表示法对初始化模型参数w(0)进行归整处理；
2b)将所有模型参数分为共享部分p(0)和任务相关部分q(0)，通过分享参数的共享部分实现知识传递，其中，w(0)＝p(0)+q(0)；
采用ADMM优化器，所述步骤3具体步骤如下：
3a)在任务节点训练数据X中，随机抽取
Figure BDA0002685348390000031
条训练样本，并分别依次选取d条样本数据计算其平均值，构造出样本表示矩阵Θ，样本平均值向量为表示矩阵中的元素向量，其中
Figure BDA0002685348390000032
表示下取整计算，nt表示节点Tt的训练样本数量，d表示单条训练样本的维度；
3b)假设任务节点的参数共享部分代表了本节点的训练样本数据分布特性，构造ADMM优化器约束条件如下：
Figure BDA0002685348390000033
其中，Θi(Θt)表示任务节点Ti(Tt)的样本表示矩阵，pi表示任务节点Ti的参数共享部分，m表示任务节点数；
3c)在训练Ridge Regression模型时，其损失函数定义为：
Figure BDA0002685348390000041
利用ADMM训练Ridge Regression模型问题形式化表示为如下多方优化问题：
Figure BDA0002685348390000042
Figure BDA0002685348390000043
其中，{Xt,yt}表示任务节点Tt的训练数据，pt和qt分别表示参数的共享部分和任务相关部分，wt＝pt+qt表示模型参数，λ、λ1、λ2表示归一化参数，Θt表示任务节点Tt的训练数据表示矩阵，m表示任务节点数量，t表示第t个任务节点；
3d)任务节点计算训练样本表示矩阵Θ与初始化生成的参数共享部分p(0)的乘积，并采用所有任务节点的联合公钥pkΣ对其加密，得到密文[[Θp(0)]]；然后，任务节点将[[Θp(0)]]发送给中央服务器管理，其中[[·]]表示对数据加密后的密文。
优选的，所述步骤5具体步骤如下：
5a)按下式对更新式所涉及的训练样本数据进行预处理计算：
Figure BDA0002685348390000044
其中，{Xt,yt}表示任务节点Tt的训练数据，Θt表示任务节点Tt的训练样本表示矩阵，I表示单位矩阵，ρ表示对偶变量，λ1、λ2表示归一化参数，m表示任务节点数量；
拉格朗日乘子ut、参数共享部分pt和参数任务相关部分qt的更新式表示如下：
Figure BDA0002685348390000051
其中，
Figure BDA0002685348390000052
表示第k/k+1次迭代训练中的拉格朗日乘子，
Figure BDA0002685348390000053
表示第k/k+1次迭代训练中的参数共享部分，
Figure BDA0002685348390000054
表示第k/k+1次迭代训练中的参数任务相关部分，Θt表示任务节点Tt的训练样本表示矩阵，m表示任务节点数量，
Figure BDA0002685348390000055
at、Bt、Ct、Ft、gt、Lt分别为上述对训练样本预处理计算结果；
5b)在任务节点预处理训练样本时，中央服务器对接收到来自任务节点的乘积数据进行聚合处理，对于任一t∈[1,m]：
Figure BDA0002685348390000056
其中，Θi表示任务节点i的训练样本表示矩阵，
Figure BDA0002685348390000057
表示任务节点i初始化的参数共享部分，m表示任务节点数量，Π表示加密算法中的同态乘法计算。
优选的，所述步骤6具体步骤如下：
6a)任务节点从中央服务器下载本节点对应的乘积聚合
Figure BDA0002685348390000058
并执行如下计算：
Figure BDA0002685348390000059
其中，d为任务节点训练数据的维度，m为任务节点数量，
Figure BDA0002685348390000061
Θt为任务节点Tt的训练样本表示矩阵；
6b)依据步骤5a)中的更新式，对第k+1次迭代训练中的拉格朗日乘子进行更新：
Figure BDA0002685348390000062
其中，
Figure BDA0002685348390000063
为第k次迭代模型训练中的拉格朗日乘子，
Figure BDA0002685348390000064
表示第k次迭代模型训练中更新得到的参数共享部分，
Figure BDA0002685348390000065
为步骤6a)中计算的中间结果，N为安全参数。
优选的，所述步骤7具体步骤如下：
7a)以更新后的拉格朗日乘子
Figure BDA0002685348390000066
第k次迭代训练过程中更新的参数任务相关部分
Figure BDA0002685348390000067
以及步骤5a)中预处理的训练样本为输入，计算如下中间结果：
Figure BDA0002685348390000068
其中，
Figure BDA0002685348390000069
Figure BDA00026853483900000610
为聚合结果
Figure BDA00026853483900000611
中元素，bji、cji、fji分别为步骤5a)中训练样本预处理结果Bt、Ct、Ft的元素，d为任务节点训练数据维度；
7b)依据步骤5a)中更新式，对第k+1次迭代训练中的参数共享部分进行更新：
Figure BDA00026853483900000612
其中，[[aj]]为步骤5a)中训练样本预处理结果at中元素的加密结果，N为安全参数。
优选的，所述步骤8具体步骤如下：
8a)以更新后的参数共享部分
Figure BDA0002685348390000071
和步骤5a)中训练样本预处理结果为输入，计算如下中间结果：
Figure BDA0002685348390000072
其中，
Figure BDA0002685348390000073
lji为步骤5a)中训练样本预处理计算结果Lt的元素，d为任务节点训练样本数据维度；
8b)依据步骤5a)中更新式，对第k+1次迭代训练中的参数任务相关部分进行更新：
Figure BDA0002685348390000074
其中[[gj]]为步骤5a)中训练样本预处理计算结果gt中元素的加密结果，N为安全参数；
8c)任务节点计算第k+1次迭代更新后的参数共享部分
Figure BDA0002685348390000075
与训练样本表示矩阵Θt的乘积，并将乘积上传给中央服务器：
Figure BDA0002685348390000076
其中，
Figure BDA0002685348390000077
θji∈Θt，
Figure BDA0002685348390000078
d为训练样本数据维度。
优选的，所述步骤9具体步骤如下：
基于接收到的第k+1次迭代训练过程中更新的计算乘积，中央服务器对除该任务节点之外的其它任务节点的乘积聚合进行更新，即对于任一ζ＝1,...,t-1,t+1,...,m：
Figure BDA0002685348390000079
其中
Figure BDA00026853483900000710
为
Figure BDA00026853483900000711
中元素，
Figure BDA00026853483900000712
为步骤8c)中计算的乘积结果元素，m为任务节点数量。
优选的，所述步骤10具体步骤如下：
10a)机器学习模型训练完毕后，依据更新的参数共享部分和参数任务相关部分，计算训练模型的参数密文如下：
Figure BDA0002685348390000081
其中，
Figure BDA0002685348390000082
表示任务节点Tt经过训练得到的参数共享部分，
Figure BDA0002685348390000083
表示任务节点Tt经过训练得到的参数任务相关部分；
10b)任务节点将计算得到的参数密文发送给中央服务器，中央服务器对参数密文进行第一次部分解密，并对任务节点Tt的乘积聚合进行如下计算：
Figure BDA0002685348390000084
其中，SMP(·)为密文乘法协议，
Figure BDA0002685348390000085
为任务节点Tt对应的乘积聚合结果，d为任务节点训练数据维度；中央服务器计算得到[[e′t]]后对其进行第一次部分解密，并与部分解密的模型参数一起发回任务节点Tt；
10c)任务节点在接收到数据后，分别进行第二次部分解密得到明文
Figure BDA0002685348390000086
和e′t，并计算差分隐私敏感度：
Figure BDA0002685348390000087
其中，ρ为对偶变量，v1满足
Figure BDA0002685348390000088
v2为满足
Figure BDA0002685348390000089
v3满足
Figure BDA00026853483900000810
L为模型的损失函数，
Figure BDA00026853483900000811
表示求导运算，m表示任务节点数量，λ1、λ2表示归一化参数。
优选的，所述步骤11具体步骤如下：
11a)任务节点在计算得到敏感度Sw后，生成服从如下分布的差分隐私噪声：
Figure BDA0002685348390000091
其中，σ为归一化常量，
Figure BDA0002685348390000092
∈为差分隐私预算，Sw为步骤10c)中计算得到的差分隐私敏感度，z为生成的差分隐私噪声；
11b)在生成差分隐私噪声后，任务节点将噪声添加到步骤10c)中解密得到的模型参数中，即：
Figure BDA0002685348390000093
其中，
Figure BDA0002685348390000094
为任务节点Tt训练完毕后得到的模型参数，zt为任务节点Tt生成的差分隐私噪声，wtr为任务节点发布的训练模型参数。
本发明同时提供一种抗推理攻击的分布式多任务学习隐私保护系统，包括密钥生成中心、中央服务器、任务节点和模型用户；所述的密钥生成中心用于密钥生成，并为中央服务器和各任务节点分发密钥；所述的中央服务器用于管理各任务节点上传的参数共享部分与训练样本表示矩阵的乘积，通过计算更新各任务节点的乘积聚合数据；所述的任务节点具有各自的本地训练数据集且不同任务节点的训练数据集数据分布不同，在模型训练时，任务节点基于其本地数据进行模型训练，并对包括共享部分和任务相关部分的模型参数进行更新；所述的模型用户用于在任务节点发布模型后，以黑盒访问的模式使用训练模型。
相较于现有技术，本发明具有如下的有益效果：支持多数据拥有者在未直接共享数据的前提下实现多分布数据的多任务机器学习模型训练。在模型训练过程中，支持以密文形式进行模型训练和知识共享，因此保证了模型训练过程中的数据隐私性。在模型发布时，通过对模型参数进行差分隐私扰动，从而可以在模型应用时避免所面临的身份推理攻击。本发明保证了大规模多分布数据的分布式模型安全训练，并采用密码学和差分隐私方法实现了模型训练和发布后的抗推理攻击。本发明能够解决面向多分布数据的机器学习模型安全训练问题，同时保证发布的机器学习模型可以抵抗推理攻击，并克服传统隐私保护方案计算开销大、模型训练准确性无法保证等不足，从而为多任务机器学习的大规模应用提供理论和技术支撑。
附图说明
图1是本发明所设计的多任务学习系统模型图；
图2是本发明所设计的系统架构图；
图3(a)对于ANDI医疗数据集本发明所训练模型的准确率图；
图3(b)对于ANDI医疗数据集对比方案所训练模型的准确率图。
具体实施方式
以下结合附图及实施例对本发明做进一步的详细说明。
本发明设计了一种抗推理攻击的分布式多任务学习隐私保护系统，由密钥生成中心、中央服务器、任务节点和模型用户构成。密钥生成中心主要负责密钥生成，并为中央服务器和各任务节点分发密钥，在该系统中，密钥生成中心为唯一可信实体；中央服务器主要负责管理各任务节点上传的参数共享部分与训练样本表示矩阵的乘积，并提供一定的计算能力负责更新各任务节点的乘积聚合数据，在该系统中，中央服务器为半可信实体，其能够为模型训练正确地管理和计算数据，但也会通过任务节点共享的数据推理其隐私信息；任务节点是本系统中的数据拥有着，其拥有各自的本地训练数据集，且不同任务节点的训练数据集数据分布不同，在模型训练时，任务节点基于其本地数据进行模型训练，并对模型参数(包括共享部分和任务相关部分)进行更新，在该系统中，任务节点作为半可信实体，其能够提供正确的数据进行模型训练，但也会在训练过程中通过下载的聚合信息推理其他任务节点的隐私信息；模型用户主要在任务节点发布模型后，以黑盒访问的模式使用训练模型，在该系统中，模型用户也作为半可信实体，其能够通过模型的输入和输出数据发起身份推理攻击。
本发明基于机器学习模型训练算法Alternating Direction Method ofMultiplies(ADMM)和图1所示系统，将执行步骤分为2个阶段：模型训练阶段和模型发布阶段。模型训练阶段主要是指任务节点在中央服务器的帮助下实现多任务的机器学习，并通过共享知识的方式，在多分布数据学习上实现更好的泛化能力，在该阶段中，各任务节点提取到的知识以密文的形式进行共享，从而保障各任务节点的数据安全；模型发布阶段是指任务节点在模型训练完毕后，将模型发布给模型用户以黑盒访问的模型进行使用，在该阶段中，任务节点采用差分隐私的方式对模型参数进行扰动，从而抵抗模型用户对任务节点数据发起的身份推理攻击。
本发明针对大规模多分布数据中机器学习模型训练问题，提出分布式的多任务机器学习模型训练方法，各任务节点通过共享知识数据，实现多个任务节点的联合模型训练；针对模型训练和发布后面临的隐私泄露问题，提出基于双陷门公钥密码算法和差分隐私的数据保护机制，使得任务节点在保证各自数据隐私的条件下，实现分布式多任务学习模型的安全训练和发布。本发明中所涉及的密钥生成、安全协议可参照“An efficientprivacy-preserving outsourced calculation toolkit with multiple keys”方案中双陷门公钥密码算法。
参见图2，本发明抗推理攻击的分布式多任务学习隐私保护方法具体包括以下步骤：
以Ridge Regression模型为例讲述模型训练过程，并设置有m个任务节点参与训练，任务节点Tt有nt个训练样本输入，训练样本均为d维的向量数据，t∈[1,m]，h∈[1,nt]，j∈[1,d]。
步骤1，密钥生成中心进行系统初始化并分别为中央服务器和任务节点生成、分发密钥。
给定系统安全参数，密钥生成中心首先根据任务节点数进行系统初始化，并为中央服务器和任务节点生成安全密钥。密钥生成后，依托密钥生成中心与任务节点、中央服务器之间建立的安全通道(SSL/TLS)实现密钥安全分发。
步骤2，各任务节点初始化模型参数，并将参数分为共享部分和任务相关部分。
具体步骤如下：
2a)任务节点首先依据模型结构随机初始化模型参数w(0)，由于所采用的的加密方案只能加密整数数据，所以采用定点整数表示法对初始化模型参数w(0)进行归整处理。
2b)本发明在设计多任务学习时，将所有模型参数分为共享部分p(0)和任务相关部分q(0)，通过分享参数的共享部分实现知识传递，其中，w(0)＝p(0)+q(0)。
步骤3，采用Alternating Direction Method of Multiplies(ADMM)为模型训练优化器，提取训练样本表示矩阵Θ，构造ADMM优化器约束条件；同时，计算参数共享部分和训练样本表示矩阵乘积，并将计算结果加密后发送给中央服务器。
由于传统的梯度下降算法在进行模型训练时，训练效率与每一次迭代输入样本数据量有关，尤其在采用密码学对数据进行保护时，模型训练效率严重依赖于每一次迭代的样本数。因此，为提升模型训练效率，本发明采用ADMM作为模型训练优化器。
具体步骤如下：
3a)在任务节点训练数据X中，随机抽取
Figure BDA0002685348390000121
条训练样本并分别依次选取d条样本数据进行计算其平均值，从而可构造出样本表示矩阵Θ，样本平均值向量为表示矩阵中的元素向量，其中
Figure BDA0002685348390000122
表示下取整计算，nt表示节点Tt的训练样本数量，d表示单条训练样本的维度。
3b)本发明假设任务节点的参数共享部分代表了本节点的训练样本数据分布特性，因此，构造ADMM优化器约束条件如下：
Figure BDA0002685348390000131
其中，Θi(Θt)表示任务节点Ti(Tt)的样本表示矩阵，pi表示任务节点Ti的参数共享部分，m表示任务节点数。
3c)在训练Ridge Regression模型时，其损失函数定义为：
Figure BDA0002685348390000132
因此，利用ADMM训练Ridge Regression模型问题可形式化表示为如下多方优化问题：
Figure BDA0002685348390000133
Figure BDA0002685348390000134
其中，{Xt,yt}表示任务节点Tt的训练数据，pt和qt分别表示参数的共享部分和任务相关部分，wt＝pt+qt表示模型参数，λ、λ1、λ2表示归一化参数，Θt表示任务节点Tt的训练数据表示矩阵，m表示任务节点数量，t表示第t个任务节点。
3d)任务节点计算训练样本表示矩阵Θ与初始化生成的参数共享部分p(0)的乘积，并采用所有任务节点的联合公钥pkΣ对其加密，得到密文[[Θp(0)]]。然后，任务节点将[[Θp(0)]]发送给中央服务器管理。其中[[·]]表示对数据加密后的密文。
步骤4，构造增广拉格朗日函数，并分别依次求解更新拉格朗日乘子、参数共享部分和参数任务相关部分。
具体步骤如下：
4a)基于步骤3中构造的多方优化问题，构造增广拉格朗日函数：
Figure BDA0002685348390000141
其中，{Xt,yt}表示任务节点Tt的训练数据，pt和qt分别表示参数的共享部分和任务相关部分，λ1、λ2表示归一化参数，Θt表示任务节点Tt的训练数据表示矩阵，m表示任务节点数量，ut表示拉格朗日乘子，ρ表示对偶变量。
4b)采用对偶上升法，对步骤4a)中构造的增广拉格朗日函数进行求解，分别获得拉格朗日乘子ut、参数共享部分pt和参数任务相关部分qt的更新式：
Figure BDA0002685348390000142
其中，{Xt,yt}表示任务节点Tt的训练数据，
Figure BDA0002685348390000143
表示第k/k+1次迭代训练中的拉格朗日乘子，
Figure BDA0002685348390000144
表示第k/k+1次迭代训练中的参数共享部分，
Figure BDA0002685348390000145
表示第k/k+1次迭代训练中的参数任务相关部分，Θt表示任务节点Tt的训练样本表示矩阵，I表示单位矩阵，ρ表示对偶变量，λ1、λ2表示归一化参数，m表示任务节点数量。
步骤5，根据求解更新的拉格朗日乘子、参数共享部分和参数任务相关部分，分别对训练样本进行预处理计算，降低模型训练过程中密文数据计算量；中央服务器同时对各任务节点上传的乘积进行聚合处理。
具体步骤如下：
5a)为降低模型训练过程中数据计算量，本发明对步骤4b)中更新式所涉及的训练样本数据进行预处理计算：
Figure BDA0002685348390000151
其中，{Xt,yt}表示任务节点Tt的训练数据，Θt表示任务节点Tt的训练样本表示矩阵，I表示单位矩阵，ρ表示对偶变量，λ1、λ2表示归一化参数，m表示任务节点数量。因此，拉格朗日乘子ut、参数共享部分pt和参数任务相关部分qt的更新式可表示如下：
Figure BDA0002685348390000152
其中，
Figure BDA0002685348390000153
表示第k/k+1次迭代训练中的拉格朗日乘子，
Figure BDA0002685348390000154
表示第k/k+1次迭代训练中的参数共享部分，
Figure BDA0002685348390000155
表示第k/k+1次迭代训练中的参数任务相关部分，Θt表示任务节点Tt的训练样本表示矩阵，m表示任务节点数量，
Figure BDA0002685348390000156
at、Bt、Ct、Ft、gt、Lt分别为上述对训练样本预处理计算结果。
5b)在任务节点预处理训练样本时，中央服务器对接收到来自任务节点的乘积数据进行聚合处理，对于任一t∈[1,m]:
Figure BDA0002685348390000161
其中，Θi表示任务节点i的训练样本表示矩阵，
Figure BDA0002685348390000162
表示任务节点i初始化的参数共享部分，m表示任务节点数量，П表示加密算法中的同态乘法计算。
步骤6，任务节点从中央服务器下载其对应的乘积聚合，以预处理计算的训练样本为输入，计算更新拉格朗日乘子。
具体步骤如下：
6a)任务节点从中央服务器下载本节点对应的乘积聚合
Figure BDA0002685348390000163
并执行如下计算：
Figure BDA0002685348390000164
其中，d为任务节点训练数据的维度，m为任务节点数量，
Figure BDA0002685348390000165
Θt为任务节点Tt的训练样本表示矩阵。
6b)依据步骤5a)中的更新式，对第k+1次迭代训练中的拉格朗日乘子进行更新：
Figure BDA0002685348390000166
其中，
Figure BDA0002685348390000167
为第k次迭代模型训练中的拉格朗日乘子，
Figure BDA0002685348390000168
表示第k次迭代模型训练中更新得到的参数共享部分，
Figure BDA0002685348390000169
为步骤6a)中计算的中间结果，N为安全参数。
步骤7，以更新后的拉格朗日乘子和预处理的训练样本为输入，计算更新参数共享部分；计算更新后的参数共享部分和训练样本表示矩阵的乘积，将乘积上传给中央服务器。
具体步骤如下：
7a)以更新后的拉格朗日乘子
Figure BDA00026853483900001610
第k次迭代训练过程中更新的参数任务相关部分
Figure BDA00026853483900001611
以及步骤5a)中预处理的训练样本为输入，计算如下中间结果：
Figure BDA0002685348390000171
其中，
Figure BDA0002685348390000172
Figure BDA0002685348390000173
为聚合结果
Figure BDA0002685348390000174
中元素，bji、cji、fji分别为步骤5a)中训练样本预处理结果Bt、Ct、Ft的元素，d为任务节点训练数据维度。
7b)依据5a)中更新式，对第k+1次迭代训练中的参数共享部分进行更新：
Figure BDA0002685348390000175
其中，[[aj]]为步骤5a)中训练样本预处理结果at中元素的加密结果，N为安全参数。
步骤8，以更新后的参数共享部分和预处理的训练样本为输入，计算更新参数任务相关部分，并与训练样本表示矩阵计算乘积。
具体步骤如下：
8a)以更新后的参数共享部分
Figure BDA0002685348390000176
和步骤5a)中训练样本预处理结果为输入，计算如下中间结果：
Figure BDA0002685348390000177
其中，
Figure BDA0002685348390000178
lji为步骤5a)中训练样本预处理计算结果Lt的元素，d为任务节点训练样本数据维度。
8b)依据步骤5a)中更新式，对第k+1次迭代训练中的参数任务相关部分进行更新：
Figure BDA0002685348390000181
其中[[gj]]为步骤5a)中训练样本预处理计算结果gt中元素的加密结果，N为安全参数。
8c)任务节点计算第k+1次迭代更新后的参数共享部分
Figure BDA0002685348390000182
与训练样本表示矩阵Θt的乘积，并将乘积上传给中央服务器：
Figure BDA0002685348390000183
其中，
Figure BDA0002685348390000184
θji∈Θt，
Figure BDA0002685348390000185
d为训练样本数据维度。
步骤9，中央服务器收到任务节点上传的乘积后，对各任务节点的乘积聚合进行更新计算。
基于接收到的第k+1次迭代训练过程中更新的计算乘积，中央服务器对除该任务节点之外的其它任务节点的乘积聚合进行更新，即对于任一ζ＝1,...,t-1,t+1,...,m：
Figure BDA0002685348390000186
其中，
Figure BDA0002685348390000187
为
Figure BDA0002685348390000188
中元素，
Figure BDA0002685348390000189
为步骤8c)中计算的乘积结果元素，m为任务节点数量。
步骤10，在模型训练完毕后，任务节点借助中央服务器计算差分隐私敏感度，并解密训练后的模型参数。
具体步骤如下：
10a)机器学习模型训练完毕后，依据更新的参数共享部分和参数任务相关部分，计算训练模型的参数密文如下：
Figure BDA0002685348390000191
其中，
Figure BDA0002685348390000192
表示任务节点Tt经过训练得到的参数共享部分，
Figure BDA0002685348390000193
表示任务节点Tt经过训练得到的参数任务相关部分。
10b)任务节点将计算得到的参数密文发送给中央服务器，中央服务器对参数密文进行第一次部分解密，并对任务节点Tt的乘积聚合进行如下计算：
Figure BDA0002685348390000194
其中，SMP(·)为密文乘法协议，具体参见PDLM:Privacy-preserving deeplearning model on cloud with multiple keys，
Figure BDA0002685348390000195
为任务节点Tt对应的乘积聚合结果，d为任务节点训练数据维度。中央服务器计算得到[[et′]]后对其进行第一次部分解密，并与部分解密的模型参数一起发回任务节点Tt。
10c)任务节点在接收到数据后，分别进行第二次部分解密得到明文
Figure BDA0002685348390000196
和et′，并计算差分隐私敏感度：
Figure BDA0002685348390000197
其中，ρ为对偶变量，v1满足
Figure BDA0002685348390000198
v2满足
Figure BDA0002685348390000199
v3满足
Figure BDA00026853483900001910
L为模型的损失函数，
Figure BDA00026853483900001911
表示求导运算，m表示任务节点数量，λ1、λ2表示归一化参数。
步骤11，任务节点依据计算的敏感度产生差分隐私噪声，并对训练后的模型参数进行扰动，最后将扰动后的模型进行发布。
具体步骤如下：
11a)任务节点在计算得到敏感度Sw后，生成服从如下分布的差分隐私噪声：
Figure BDA0002685348390000201
其中，σ为归一化常量，
Figure BDA0002685348390000202
∈为差分隐私预算，Sw为步骤10c)中计算得到的差分隐私敏感度，z为生成的差分隐私噪声。
11b)在生成差分隐私噪声后，任务节点将噪声添加到步骤10c)中解密得到的模型参数中，即：
Figure BDA0002685348390000203
其中，
Figure BDA0002685348390000204
为任务节点Tt训练完毕后得到的模型参数，zt为任务节点Tt生成的差分隐私噪声，wtr为任务节点发布的训练模型参数。
由于任务节点发布的模型已经经过差分隐私扰动，因此所发布的模型满足差分隐私保护要求，可抵抗模型用户发起的身份推理攻击。
通过以下实验进一步说明本发明的模型训练质量：本发明采用ANDI医疗数据集进行测试，通过仿真测试，得到本发明的模型训练准确率如图3(a)所示。图3(b)中为对比方案测试，该方案为Privacy-Preserving Distributed Multi-Task Learning withAsynchronous Updates中方案，由于图3(b)中方案在模型训练过程中一直添加差分隐私噪声，因此导致模型训练准确率较低。经对比发现，本发明中模型训练准确率明显高于图3(b)中对比方案。
以上所述的仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限制，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，该技术方案还可以进行若干简单的修改和替换，这些修改和替换也均属于权利要求书所涵盖的保护范围之内。

Claims (4)

1.一种抗推理攻击的分布式多任务学习隐私保护方法，其特征在于，包括以下步骤：
步骤1，为中央服务器和任务节点生成安全密钥，并通过安全通道实现密钥分发；
步骤2，各任务节点初始化训练模型的参数，并将参数分为共享部分和任务相关部分；
选择Ridge Regression模型为训练模型，步骤2具体步骤如下：
2a)任务节点首先依据模型结构随机初始化模型参数w(0)，通过定点整数表示法对初始化模型参数w(0)进行归整处理；
2b)将所有模型参数分为共享部分p(0)和任务相关部分q(0)，通过分享参数的共享部分实现知识传递，其中，w(0)＝p(0)+q(0)；
步骤3，选择ADMM为模型训练优化器提升训练模型的训练效率，各任务节点计算其参数共享部分和训练样本表示矩阵的乘积，并将计算结果加密后发送给中央服务器；
步骤4，基于ADMM约束条件，构造增广拉格朗日函数，并分别求解获得拉格朗日乘子、参数共享部分和参数任务相关部分的更新式；
步骤5，对步骤4更新式所涉及的训练样本数据进行预处理计算，降低模型训练过程中密文数据计算量；中央服务器对步骤3所述各任务节点上传的乘积进行聚合处理；
所述步骤5具体步骤如下：
5a)按下式对更新式所涉及的训练样本数据进行预处理计算：
Figure FDA0003237499490000021
其中，{Xt,yt}表示任务节点Tt的训练数据，Θt表示任务节点Tt的训练样本表示矩阵，I表示单位矩阵，ρ表示对偶变量，λ1、λ2表示归一化参数，m表示任务节点数量；
拉格朗日乘子ut、参数共享部分pt和参数任务相关部分qt的更新式表示如下：
Figure FDA0003237499490000022
其中，
Figure FDA0003237499490000023
表示第k/k+1次迭代训练中的拉格朗日乘子，
Figure FDA0003237499490000024
表示第k/k+1次迭代训练中的参数共享部分，
Figure FDA0003237499490000025
表示第k/k+1次迭代训练中的参数任务相关部分，Θt表示任务节点Tt的训练样本表示矩阵，m表示任务节点数量，
Figure FDA0003237499490000026
at、Bt、Ct、Ft、gt、Lt分别为上述对训练样本预处理计算结果；
5b)在任务节点预处理训练样本时，中央服务器对接收到来自任务节点的乘积数据进行聚合处理，对于任一t∈[1,m]：
Figure FDA0003237499490000027
其中，Θi表示任务节点i的训练样本表示矩阵，
Figure FDA0003237499490000028
表示任务节点i初始化的参数共享部分，m表示任务节点数量，П表示加密算法中的同态乘法计算；
步骤6，各任务节点从中央服务器下载其对应的乘积聚合结果，以步骤5中预处理计算的训练样本为输入，计算更新拉格朗日乘子；
所述步骤6具体步骤如下：
6a)任务节点从中央服务器下载本节点对应的乘积聚合
Figure FDA0003237499490000031
并执行如下计算：
Figure FDA0003237499490000032
其中，d为任务节点训练数据的维度，m为任务节点数量，
Figure FDA0003237499490000033
Θt为任务节点Tt的训练样本表示矩阵；
6b)依据步骤5a)中的更新式，对第k+1次迭代训练中的拉格朗日乘子进行更新：
Figure FDA0003237499490000034
其中，
Figure FDA0003237499490000035
为第k次迭代模型训练中的拉格朗日乘子，
Figure FDA0003237499490000036
表示第k次迭代模型训练中更新得到的参数共享部分，
Figure FDA0003237499490000037
为步骤6a)中计算的中间结果，N为安全参数；
步骤7，以更新后的拉格朗日乘子和预处理计算的训练样本数据作为输入，计算更新参数共享部分；计算参数共享部分和训练样本表示矩阵的乘积，将乘积上传给中央服务器；
所述步骤7具体步骤如下：
7a)以更新后的拉格朗日乘子
Figure FDA0003237499490000038
第k次迭代训练过程中更新的参数任务相关部分
Figure FDA0003237499490000039
以及步骤5a)中预处理的训练样本为输入，计算如下中间结果：
Figure FDA0003237499490000041
其中，
Figure FDA0003237499490000042
Figure FDA0003237499490000043
为聚合结果
Figure FDA0003237499490000044
中元素，bji、cji、fji分别为步骤5a)中训练样本预处理结果Bt、Ct、Ft的元素，d为任务节点训练数据维度；
7b)依据步骤5a)中更新式，对第k+1次迭代训练中的参数共享部分进行更新：
Figure FDA0003237499490000045
其中，
Figure FDA00032374994900000410
为步骤5a)中训练样本预处理结果at中元素的加密结果，N为安全参数；
步骤8，以更新后的参数共享部分和预处理计算的训练样本数据为输入，计算更新参数任务相关部分，并与训练样本数据表示矩阵计算乘积；
所述步骤8具体步骤如下：
8a)以更新后的参数共享部分
Figure FDA0003237499490000046
和步骤5a)中训练样本预处理结果为输入，计算如下中间结果：
Figure FDA0003237499490000047
其中，
Figure FDA0003237499490000048
lji为步骤5a)中训练样本预处理计算结果Lt的元素，d为任务节点训练样本数据维度；
8b)依据步骤5a)中更新式，对第k+1次迭代训练中的参数任务相关部分进行更新：
Figure FDA0003237499490000049
其中
Figure FDA00032374994900000510
为步骤5a)中训练样本预处理计算结果gt中元素的加密结果，N为安全参数；
8c)任务节点计算第k+1次迭代更新后的参数共享部分
Figure FDA0003237499490000051
与训练样本表示矩阵Θt的乘积，并将乘积上传给中央服务器：
Figure FDA0003237499490000052
其中，
Figure FDA0003237499490000053
θji∈Θt，
Figure FDA0003237499490000054
d为训练样本数据维度；
步骤9，中央服务器对各任务节点的乘积聚合进行更新计算；
步骤10，任务节点借助中央服务器计算差分隐私敏感度，并解密训练后的模型参数；
所述步骤10具体步骤如下：
10a)机器学习模型训练完毕后，依据更新的参数共享部分和参数任务相关部分，计算训练模型的参数密文如下：
Figure FDA0003237499490000055
其中，
Figure FDA0003237499490000056
表示任务节点Tt经过训练得到的参数共享部分，
Figure FDA0003237499490000057
表示任务节点Tt经过训练得到的参数任务相关部分；
10b)任务节点将计算得到的参数密文发送给中央服务器，中央服务器对参数密文进行第一次部分解密，并对任务节点Tt的乘积聚合进行如下计算：
Figure FDA0003237499490000058
其中，SMP(·)为密文乘法协议，
Figure FDA0003237499490000059
为任务节点Tt对应的乘积聚合结果，d为任务节点训练数据维度；中央服务器计算得到
Figure FDA00032374994900000511
后对其进行第一次部分解密，并与部分解密的模型参数一起发回任务节点Tt；
10c)任务节点在接收到数据后，分别进行第二次部分解密得到明文
Figure FDA0003237499490000061
和et′，并计算差分隐私敏感度：
Figure FDA0003237499490000062
其中，ρ为对偶变量，v1满足
Figure FDA0003237499490000063
v2为满足
Figure FDA0003237499490000064
v3满足
Figure FDA0003237499490000065
L为模型的损失函数，
Figure FDA0003237499490000066
表示求导运算，m表示任务节点数量，λ1、λ2表示归一化参数；
步骤11，任务节点依据计算的敏感度产生差分隐私噪声，并对训练后的模型参数进行扰动，最后将扰动后的模型进行发布；
所述步骤11具体步骤如下：
11a)任务节点在计算得到敏感度Sw后，生成服从如下分布的差分隐私噪声：
Figure FDA0003237499490000067
其中，σ为归一化常量，
Figure FDA0003237499490000068
∈为差分隐私预算，Sw为步骤10c)中计算得到的差分隐私敏感度，z为生成的差分隐私噪声；
11b)在生成差分隐私噪声后，任务节点将噪声添加到步骤10c)解密得到的模型参数中，即：
Figure FDA0003237499490000069
其中，
Figure FDA00032374994900000610
为任务节点Tt训练完毕后得到的模型参数，zt为任务节点Tt生成的差分隐私噪声，wtr为任务节点发布的训练模型参数。
2.根据权利要求1所述抗推理攻击的分布式多任务学习隐私保护方法，其特征在于，
采用ADMM优化器，所述步骤3具体步骤如下：
3a)在任务节点训练数据X中，随机抽取
Figure FDA0003237499490000071
条训练样本，并分别依次选取d条样本数据计算其平均值，构造出样本表示矩阵Θ，样本平均值向量为表示矩阵中的元素向量，其中
Figure FDA0003237499490000072
表示下取整计算，nt表示节点Tt的训练样本数量，d表示单条训练样本的维度；
3b)假设任务节点的参数共享部分代表了本节点的训练样本数据分布特性，构造ADMM优化器约束条件如下：
Figure FDA0003237499490000073
其中，Θi(Θt)表示任务节点Ti(Tt)的样本表示矩阵，pi表示任务节点Ti的参数共享部分，m表示任务节点数；
3c)在训练Ridge Regression模型时，其损失函数定义为：
Figure FDA0003237499490000074
利用ADMM训练Ridge Regression模型问题形式化表示为如下多方优化问题：
Figure FDA0003237499490000075
Figure FDA0003237499490000076
s.t.:
Figure FDA0003237499490000077
其中，{Xt,yt}表示任务节点Tt的训练数据，pt和qt分别表示参数的共享部分和任务相关部分，wt＝pt+qt表示模型参数，λ、λ1、λ2表示归一化参数，Θt表示任务节点Tt的训练数据表示矩阵，m表示任务节点数量，t表示第t个任务节点；
3d)任务节点计算训练样本表示矩阵Θ与初始化生成的参数共享部分p(0)的乘积，并采用所有任务节点的联合公钥pk∑对其加密，得到密文
Figure FDA0003237499490000086
然后，任务节点将
Figure FDA0003237499490000087
发送给中央服务器管理，其中
Figure FDA0003237499490000085
表示对数据加密后的密文。
3.根据权利要求1所述抗推理攻击的分布式多任务学习隐私保护方法，其特征在于，所述步骤9具体步骤如下：
基于接收到的第k+1次迭代训练过程中更新的计算乘积，中央服务器对除该任务节点之外的其它任务节点的乘积聚合进行更新，即对于任一ζ＝1,…,t-1,t+1,…,m：
Figure FDA0003237499490000081
其中
Figure FDA0003237499490000082
为
Figure FDA0003237499490000083
中元素，
Figure FDA0003237499490000084
为步骤8c)中计算的乘积结果元素，m为任务节点数量。
4.一种执行权利要求1-3中任意一项所述抗推理攻击的分布式多任务学习隐私保护方法的系统，其特征在于，包括密钥生成中心、中央服务器、任务节点和模型用户；所述的密钥生成中心用于密钥生成，并为中央服务器和各任务节点分发密钥；所述的中央服务器用于管理各任务节点上传的参数共享部分与训练样本表示矩阵的乘积，通过计算更新各任务节点的乘积聚合数据；所述的任务节点具有各自的本地训练数据集且不同任务节点的训练数据集数据分布不同，在模型训练时，任务节点基于其本地数据进行模型训练，并对包括共享部分和任务相关部分的模型参数进行更新；所述的模型用户用于在任务节点发布模型后，以黑盒访问的模式使用训练模型；选择Ridge Regression模型为训练模型。
CN202010974661.XA 2020-09-16 2020-09-16 抗推理攻击的分布式多任务学习隐私保护方法及系统 Active CN112118099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010974661.XA CN112118099B (zh) 2020-09-16 2020-09-16 抗推理攻击的分布式多任务学习隐私保护方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010974661.XA CN112118099B (zh) 2020-09-16 2020-09-16 抗推理攻击的分布式多任务学习隐私保护方法及系统

Publications (2)

Publication Number Publication Date
CN112118099A CN112118099A (zh) 2020-12-22
CN112118099B true CN112118099B (zh) 2021-10-08

Family

ID=73803182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010974661.XA Active CN112118099B (zh) 2020-09-16 2020-09-16 抗推理攻击的分布式多任务学习隐私保护方法及系统

Country Status (1)

Country Link
CN (1) CN112118099B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765657B (zh) * 2021-01-15 2023-01-06 西安电子科技大学 分布式支持向量机隐私保护方法、系统、存储介质及应用
CN113032835B (zh) * 2021-04-21 2024-02-23 支付宝(杭州)信息技术有限公司 一种隐私保护的模型训练方法、系统及装置
CN113553610B (zh) * 2021-09-22 2021-12-31 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于同态加密和可信硬件的多方隐私保护机器学习方法
CN114124522A (zh) * 2021-11-22 2022-03-01 北京天融信网络安全技术有限公司 用于多级系统的模型训练方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442482A (zh) * 2007-11-13 2009-05-27 北京大学 一种基于反馈传播的分布式计算网络构建方法及其系统
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229282B2 (en) * 2016-06-12 2019-03-12 Apple Inc. Efficient implementation for differential privacy using cryptographic functions
US11055492B2 (en) * 2018-06-02 2021-07-06 Apple Inc. Privatized apriori algorithm for sequential data discovery
CN109409102B (zh) * 2018-09-19 2021-09-10 南京航空航天大学 基于动态上下文的数据隐私保护方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442482A (zh) * 2007-11-13 2009-05-27 北京大学 一种基于反馈传播的分布式计算网络构建方法及其系统
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
轻量级位置感知推荐系统隐私保护框架;马鑫迪，李辉，马建峰，等;《计算机学报》;20160531;第40卷(第5期);1020-1022 *

Also Published As

Publication number Publication date
CN112118099A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112118099B (zh) 抗推理攻击的分布式多任务学习隐私保护方法及系统
Xu et al. Cryptonn: Training neural networks over encrypted data
Mandal et al. PrivFL: Practical privacy-preserving federated regressions on high-dimensional data over mobile networks
Hao et al. Towards efficient and privacy-preserving federated deep learning
CN111611610B (zh) 联邦学习信息处理方法、系统、存储介质、程序、终端
Shen et al. Privacy-preserving support vector machine training over blockchain-based encrypted IoT data in smart cities
CN108712260B (zh) 云环境下保护隐私的多方深度学习计算代理方法
Hesamifard et al. Cryptodl: Deep neural networks over encrypted data
WO2021051610A1 (zh) 数据的训练方法及装置、系统
Chang et al. Privacy in neural network learning: Threats and countermeasures
Joye et al. Private yet efficient decision tree evaluation
CN113077060A (zh) 针对边云协同的联邦学习系统及方法
Wang et al. Outsourced privacy-preserving decision tree classification service over encrypted data
CN111460478B (zh) 一种面向协同深度学习模型训练的隐私保护方法
Lyu et al. Towards fair and decentralized privacy-preserving deep learning with blockchain
Mohammed et al. Secure and private management of healthcare databases for data mining
Fan et al. PPMCK: Privacy-preserving multi-party computing for K-means clustering
Owusu-Agyemeng et al. MSDP: multi-scheme privacy-preserving deep learning via differential privacy
Chen et al. Privacy-preserving federated mining of frequent itemsets
Cao et al. A federated deep learning framework for privacy preservation and communication efficiency
Kadry et al. Intrusion detection model using optimized quantum neural network and elliptical curve cryptography for data security
Zhao et al. SGBoost: An efficient and privacy-preserving vertical federated tree boosting framework
Zhou et al. LEGO: A hybrid toolkit for efficient 2PC-based privacy-preserving machine learning
Tang et al. IHVFL: a privacy-enhanced intention-hiding vertical federated learning framework for medical data
Gad et al. Joint Knowledge Distillation and Local Differential Privacy for Communication-Efficient Federated Learning in Heterogeneous Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant