CN112232401A - 一种基于差分隐私及随机梯度下降的数据分类方法 - Google Patents

一种基于差分隐私及随机梯度下降的数据分类方法 Download PDF

Info

Publication number
CN112232401A
CN112232401A CN202011083670.6A CN202011083670A CN112232401A CN 112232401 A CN112232401 A CN 112232401A CN 202011083670 A CN202011083670 A CN 202011083670A CN 112232401 A CN112232401 A CN 112232401A
Authority
CN
China
Prior art keywords
data
algorithm
error
gradient descent
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011083670.6A
Other languages
English (en)
Inventor
吴蒙
朱勇
杨立君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011083670.6A priority Critical patent/CN112232401A/zh
Publication of CN112232401A publication Critical patent/CN112232401A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于差分隐私及随机梯度下降的数据分类方法，首先，将数据集中的数据分配到各个分布式计算节点上，通过Map分任务在每个节点上执行随机梯度下降算法，利用Reduce分任务进行更新模型合并操作；其次，在更新后的模型中加入适量拉普拉斯噪声，使最终随机梯度下降算法的目标模型满足ε‑差分隐私。本发明通过合理的计算资源分配与随机噪声添加策略，在满足差分隐私保护要求的同时，能够有效降低随机梯度下降算法因反复迭代而产生的通信开销，既提高算法效率又保证数据的私密性。

Description

一种基于差分隐私及随机梯度下降的数据分类方法
技术领域
本发明属于机器学习算法的隐私保护领域，具体涉及一种基于差分隐私及随机梯度下降的数据分类方法。
背景技术
机器学习(Machine Learning)是一门人工智能的科学,该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
MapReduce是一个并行程序设计模型与方法(Programming Model&Methodology)。它借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map(映射)和Reduce(归约)两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理
差分隐私(Differential Privacy)是一种基于数据失真的隐私保护方法，该方法建立在坚实的数学基础之上，对隐私保护进行了严格的定义并提供了量化评估方法，使得不同参数处理下的数据集所提供的隐私保护水平具有可比较性。其基本原理是，用户通过查询函数F对数据集D进行查询操作，随机算法A通过对查询函数F进行扰动，使之满足差分隐私保护的条件。
梯度下降算法(Gradient Descent)是一种典型的求解无约束优化问题的方法，主要思想是朝着负梯度方向寻求目标的最优解。由于该算法具有适用性强、优化效果好等优点，其在机器学习中得到了普遍应用。随机梯度下降(Stochastic Gradient Descent)算法作为梯度下降算法的一种，由于其在每次迭代过程中不需要遍历所有数据，更适合运用在大数据背景下的机器学习中。但其仍存在两个亟待解决的难点：一是分布式计算架构下，计算节点间大量的通信开销导致的算法收敛速度下降问题。二是在数据挖掘过程中，存在泄露数据集中敏感隐私信息的风险。因此利用好大数据开发的同时做好敏感数据的隐私保护是近来的研究热点。
针对难点一，为实现在分布式计算框架下进行快速随机梯度下降，国内外已有诸多研究成果。有学者运用抽样概率方法，采用特殊非均匀策略构建minibatch来减少随机梯度差异，但其实质上依赖于样本之间的直接关联性；有学者通过记录历史梯度，并将自适应平均的历史梯度作用于当前迭代以降低迭代过程中随机梯度的方差，然而，机器学习过程存在诸多参数，频繁记录历史梯度的方法缺乏通用性；还有学者利用在每个单独节点执行一次梯度下降算法，然后合并平均模型得到最终模型，该方法虽然降低了通信开销，但由于单独节点的数据局限性和不同模型之间的差异性，无法利用全局数据提高运算性能。
针对难点二，目前较为先进的方法是将差分隐私应用于随机梯度下降算法中，有学者在随机梯度下降的每次迭代中加入扰动噪声，从而满足差分隐私保护的要求；还有学者通过子集采样方法减少每次迭代的噪声值，以此获得最佳收敛。然而，这两种方法都有其局限性，方法一在保证私密性同时影响了算法的运行效率和可用性，方法二为保证效率性和可用性，减少了噪声量的同时却又可能导致无法满足差分隐私保护的要求。
发明内容
发明目的：本发明提供一种基于差分隐私及随机梯度下降的数据分类方法，本发明改进的数据分发与模型合并方案以及不同的随机噪声添加方法，能够实现对随机梯度下降算法提供有效的差分隐私保护，并保证算法具有较高的效率。
发明内容：本发明提供一种基于差分隐私及随机梯度下降的数据分类方法，具体包括以下步骤：
(1)将数据集中的数据分配到各个分布式计算节点上，通过Map分任务在每个节点上执行随机梯度下降算法，利用Reduce分任务进行更新模型合并操作；
(2)在更新后的模型中加入适量拉普拉斯噪声，使最终随机梯度下降算法的目标模型满足ε-差分隐私。
(1)将数据集中的数据分配到各个分布式计算节点上，通过Map分任务在每个节点上执行随机梯度下降算法，利用Reduce分任务进行更新模型合并操作；
(2)在更新后的模型中加入适量拉普拉斯噪声，使最终随机梯度下降算法的目标模型满足ε-差分隐私。
进一步地，所述步骤(1)包括以下步骤：
(11)主任务Driver将差分隐私保护总预算ε平均分成N份，并分配给N个Reduce节点，每个Reduce节点初始差分隐私保护预算为
Figure BDA0002719559230000021
，将数据记录进行归一化处理，并给每一个ni赋予一个计数初值Ki，以数据对<ni,Ki>的形式存储；
(12)主任务随机抽取num×M个数据对组成M个样本组，每组样本中包含num条记录，并指派M个分任务执行Map操作，N个分任务执行Reduce操作，每个数据对中Ki的值等于数据对被抽取的次数；设定在Ki超过计数阈值Cou后，对应的数据对将不再被抽取；
(13)Map分任务接收包含num个数据对的样本组，运行Map函数，选择Ki值小于阈值函数L(u)值的数据对中的ni为更新数据集，其他数据作为误差计算数据集，执行梯度下降算法，更新分目标模型W(u)，更新次数u+＝1；计算W(u)相对误差计算数据集的误差，记为error(u)，当误差计算数据集为空时，默认error(u)＝0；当u超过更新次数阈值Max，则丢失该节点Map任务。
进一步地，所述步骤(2)包括以下步骤：
(21)Reduce分任务接收各个Map中满足error(u)＜E且Δerror＜0的分目标模型W(u)，运行Reduce函数；以各个分目标函数所对应的error值的反比为权重合成本次迭代的目标更新模型Wupdate，并加入随机噪声，更新次数U+＝1；
(22)主任务接收各个Reduce节点的输出结果Wupdate并进行合并得到WF，以数据集中Ki值最小的前Jud个数据对中的ni为测试数据，计算WF的误差Error，若Error＜Efinal且所有数据对中Ki＞Kmax的比例超过Per，算法结束，输出结果。
有益效果：与现有技术相比，本发明的有益效果：
1、与使用特殊非均匀采样策略构建minibatch以减少随机梯度差异方法、使用自适应平均历史梯度以减少迭代中随机梯度方差的方法和使用平均模型合并以减少通信开销方法相比，本发明利用合理的数据分配方法和模型合并策略，有效提高了随机梯度下降算法的收敛速度与性能；
2、与使用基于差分隐私保护要求在随机梯度下降算法的每次迭代中加入扰动噪声方法和使用子集采样法减少迭代噪声量以保证最佳收敛方法相比，本发明利用策略性的差分隐私保护预算分配机制进行随机噪声添加，有效缓解了数据私密性和算法效率性的矛盾。
附图说明
图1为MapReduce框架下本发明的流程图；
图2为1个和4个节点参与本发明算法在提供差分隐私保护和不提供差分隐私保护运行时间图；
图3为运行时间差值随数据量变化情况图；
图4为各算法随机噪声添加位置示意图；
图5为各算法运行时间对比图；
图6为各算法分类准确性随隐私预算变化情况图。
具体实施方式
下面结合附图对发明作进一步详细说明：
本发明提出一种基于差分隐私及随机梯度下降的数据分类方法，将数据集中的数据分配到各个分布式计算节点上，通过Map分任务在每个节点上执行随机梯度下降算法，利用Reduce分任务进行更新模型合并操作，在更新后的模型中加入适量拉普拉斯噪声，使最终随机梯度下降算法得到的目标模型满足ε-差分隐私。
本发明涉及的参数说明如表1所示。
表1 NDP-SGD算法设计符号说明
Figure BDA0002719559230000041
Figure BDA0002719559230000051
将数据集中的数据分配到各个分布式计算节点上，通过Map分任务在每个节点上执行随机梯度下降算法，利用Reduce分任务进行更新模型合并操作；在更新后的模型中加入适量拉普拉斯噪声，使最终随机梯度下降算法的目标模型满足ε-差分隐私。设数据集中数据记录总数为N，第i条记录记为ni(1≤i≤N)。差分隐私保护总预算为ε。具体步骤如下。
(1)主任务Driver首先将差分隐私保护总预算ε平均分成N份，并分配给N个Reduce节点，每个Reduce节点初始差分隐私保护预算为
Figure BDA0002719559230000052
。将数据记录进行归一化处理，并给每一个ni赋予一个计数初值Ki，以数据对<ni,Ki〉的形式存储。
(2)主任务随机抽取num×M个数据对组成M个样本组，每组样本中包含num条记录，并指派M个分任务执行Map操作，N个分任务执行Reduce操作。每个数据对中Ki的值等于数据对被抽取的次数。设定在Ki超过计数阈值Cou后，对应的数据对将不再被抽取。
(3)Map分任务接收包含num个数据对的样本组，运行Map函数。选择Ki值小于阈值函数L(u)值的数据对中的ni为更新数据集，其他数据作为误差计算数据集。执行梯度下降算法，更新分目标模型W(u)，更新次数u+＝1。随后，计算W(u)相对误差计算数据集的误差，记为error(u)，当误差计算数据集为空时，默认error(u)＝0。当u超过更新次数阈值Max，则丢失该节点Map任务。
(4)Reduce分任务接收各个Map中满足error(u)＜E且Δerror＜0的分目标模型W(u)，运行Reduce函数。以各个分目标函数所对应的error值的反比为权重合成本次迭代的目标更新模型Wupdate，并加入随机噪声，更新次数U+＝1。
(5)主任务接收各个Reduce节点的输出结果Wupdate并进行合并得到WF。以数据集中Ki值最小的前Jud个数据对中的ni为测试数据，计算WF的误差Error，若Error＜Efinal且所有数据对中Ki＞Kmax的比例超过Per，算法结束，输出结果；否则，重复Step3～Step5。MapReduce框架下的NDP-SGD算法流程如图1所示。
MapReduce框架下的NDP-SGD算法中，差分隐私保护总预算为ε。在每个Reduce节点进行一轮更新的过程中，通过加入随机噪声
Figure BDA0002719559230000061
来实现差分隐私保护，其中，ε′为每次更新的差分隐私保护预算。当查询函数一定时，随机噪声的大小ε′决定：ε′越大，即加入的随机噪声越小，数据的可用性越好，而隐私性较弱，为了加入的随机噪声可以满足差分隐私保护的要求，ε′不能过大，需要有一个上界值；相反，ε′越小，即加入的随机噪声越大，数据的隐私性越好，即越能达到差分隐私的需求，但数据的可用性将下降，会影响算法的收敛速度以及最终模型的准确性。另一方面，当差分隐私保护总预算量确定时，由于反复迭代的过程中，需要在各个节点的每一次更新中都加入随机噪声，隐私预算有被耗尽的风险。
Figure BDA0002719559230000071
在Reduce分任务中，各个Reduce节点接收不同Map发送来的任务，相互独立地进行计算，生成Wupdate；通过在Wupdate的每一次更新中加入
Figure BDA0002719559230000072
使目标更新模型Wupdate满足差分隐私保护；每轮迭代更新的结果WF，是由主函数通过各个Reduce生成的Wupdate合并得到，相当于Reduce操作的平行叠加；由此，根据性质1和性质2可知，MapReduce框架下的NDP-SGD算法可以满足ε-差分隐私保护。
本发明所提MapReduce框架下的NDP-SGD算法通过关键参数的设置，对隐私预算、计算资源进行合理规划，并优化了数据分配以及模型合并的方法。
通过随机抽取的方式对数据集进行分组，有利于各个Map节点接受的数据具有全局性。而计数阈值Cou的设置则是为了防止在对数据集进行随机抽取时，对某一数据出现反复抽取的情况。随机梯度下降算法在迭代的过程中，数据来源将影响其收敛的速度。对于同一个Map节点而言，反复使用整个数据集中的部分数据进行更新迭代，将不利于该节点的更新分目标模型W(u)相对于全局数据错误率的下降，也就是在更新模型Wupdate的合成时，W(u)的贡献率将因为数据来源的重复而下降，从而导致整个算法性能的下降。
在步骤(2)中设置Cou并不能保证同一数据不会被反复运用到同一个分目标模型的更新中，理论上，同一个Map节点可能在u次更新中至多接收到u次相同数据对。为了避免这种在某一Map节点的某一数据的反复利用，设置一个与更新次数u相关的阈值函数L(u)，来区分本次更新中的更新数据与误差计算数据。这样做一方面使分目标更新模型将接受相对不熟悉的数据进行更新，有利于加快分目标更新模型相对全局数据误差率的下降；另一方面，用分目标函数相对熟悉的数据来检测分目标函数经相对不熟悉数据更新后的误差，更能反映出本次更新后error的变化趋势Δerror，以此作为是否被Reduce节点接受的依据之一。
在目标更新模型Wupdate中加入随机噪声，在满足隐私保护要求的同时，不可避免地为Wupdate的收敛带来阻碍。为了减小这种阻碍，结合随机梯度下降算法在算法初期误差率下降快、算法后期误差率下降趋于稳定的特点，本文采取ε′U为隐私预算的随机噪声
Figure BDA0002719559230000081
作为Wupdate的随机扰动，旨在保证差分隐私预算不会因为多轮次迭代而消耗完，在算法初期(0＜U≤μ)，Wupdate误差率大时，加入较小的随机噪声
Figure BDA0002719559230000082
在算法后期(μ＜U≤Max)，Wupdate误差率趋于平稳时，加入稳定的随机噪声
Figure BDA0002719559230000083
当某一Map节点的更新次数u超过Max时，W(u)若仍没有收敛，则可以认为该节点因为随机噪声的添加或学习步长过大而错过了最佳梯度，该Map节点所得的分目标更新模型将不利于整个算法的收敛，则可认为该Map节点为坏点，将其丢失；并通过Max参数来控制差分隐私预算的分配次数上限，防止因分配次数过多，造成单次隐私预算过小而使随机噪声异常大的情况，进一步保证算法的效率性。
在Reduce分任务中，Reduce节点通过阶段性误差标准E以及Δerror来判断是否接收各个Map节点中的分目标更新模型W(u)，目的是减少因模型传输带来的通信消耗，即将通信资源最大限度地分配给误差率达标的W(u)；并通过各个W(u)误差比的反比进行模型的合并，给性能较好的W(u)更高的权重，更好地体现出数据的全局性，提高算法的性能并保证其具有全局可靠性。
将数据集中被抽取次数最少的Jud个数据作为最终误差Error的计算数据，能够给最终更新模型WF提供相对恶劣的误差计算环境，即理论上在迭代中使用最少的数据来计算Error的最大值。若Error＜Efinal，且此时数据中各个数据对的Ki＞Kmax的数量占总数据的比重大于Per，表明当前的WF对于数据集中抽取次数少的数据达到模型更新要求，且WF是在使用具有很强全局性数据更新迭代后所产生的目标模型，此时，可终止算法，输出WF。
本发明算法主要是对MapReduce计算环境下的随机梯度下降算法进行优化，并提供差分隐私保护。算法的隐私性已得到证明，为此，在实验中主要对算法的效率性与可用性进行实验。
实验中的分布式计算平台由5台服务器组成，并部署Hadoop0.20.2。实验选择MNIST手写图像数据集作为实验数据集。MNIST是由Google实验室和纽约大学柯朗研究所建立的手写数字数据库，包含60000张训练图像和10000张测试图像。实验分别采用SCS13和BST14算法以及本发明所述NDP-SGD算法建立相同逻辑回归模型，对MNIST数据集进行手写数字分类实验。
为反映算法在MapReduce框架下运行效率因加入随机噪声的影响，实验分别在启动1个和4个节点的情况下，对算法添加与不添加随机噪声的情况分别进行计算，并考察不同数据量下的变化规律。首先，在MNIST训练集中截取不同数量的记录作为实验数据源，分别上传至Hadoop的HDFS文件系统中。随后，设置差分隐私预算ε＝2，最终标准误差Efinal＝0.08，数据利用率Per＝0.75，并将算法部署在MapReduce中，记录10次运行时间的平均值，得到1个和4个节点参与运算时本发明算法在提供差分隐私保护(分别记为A-1算法、A-4算法)和不提供差分隐私保护(分别记为B-1算法、B-4算法)情况下的运行时间(tA-1,tA-4,tB-1,tB-4)。
算法运行时间如图2所示，可以发现A算法由于随机噪声的添加，运行时间较B算法有明显增加，且随着数据量的增大，运行时间的增量也随之增加。这是由于数据量的增加要求目标模型需要更多的迭代更新次数才能达到算法完成的标准，而每次模型迭代更新时却需要加入阻碍模型收敛的随机噪声引起的。同时，每轮迭代中，都会有一部分Map节点与Reduce节点之间、Reduce节点与主节点之间以及子节点与主节点之间的数据传递所造成的额外通信开销，这也导致了算法运行时间的增加。
运行时间差值随数据变化情况如图3所示。由图3(a)可以看出，当系统启动4个子节点时A算法和B算法的运行时间比启动1个子节点时有显著减少，且随着数据量的增加，运行时间的减少量也在增加；由图3(b)可以看出，A算法相对于B算法在系统启动4个子节点时小于系统仅启动一个子节点时的运行时间增量。
由此可以认为，本发明算法能够使需要反复迭代的随机梯度下降算法在提供差分隐私保护的同时，在MapReduce框架下进行高效率的计算，并能够随计算节点的增加而提高算法的运行效率。同时，本发明算法与SCS13算法和BST14算法在噪声添加方面采取了不同策略，如图4所示。
各算法运行时间对比如图5所示，由图5可知，本发明算法在耗时上对比SCS13算法和BST14算法具有明显优势，且数据量越大优势越明显。
为衡量MapReduce框架下提供差分隐私保护算法的可用性，实验将对MNIST数据集进行手写数字分类的准确性作为衡量算法可用性的依据。实验使用MNIST数据集中的训练集作为训练模型的数据集，并在测试集中随机抽取100张测试图像作为测试数据，对本发明算法、SCS13算法以及BST14算法的分类准确性进行实验，取10次运算的平均值。当隐私保护总预算ε变化时，3种算法的分类准确性变化如图6所示。
由实验结果可知，本发明算法的准确性较SCS13算法和BST14算法有明显优势，当ε>2时，本发明算法对于MNIST手写数字分类的准确性达到较高水平。由此可以认为，本发明算法在保证数据隐私性的同时，保持了数据较高的可用性。
本发明为反映算法运行效率因加入随机噪声的影响，在启用不同数量节点时，分别对算法添加与不添加随机噪声的情况进行计算，并考察不同数据量下的变化规律。记录多次运行时间的平均值，得到不同数量节点参与运算时本发明算法在提供差分隐私保护和不提供差分隐私保护情况下的运行时间。
为衡量满足差分隐私保护时本发明算法的可用性，将对数据集进行数据分类的准确性作为衡量算法可用性的依据。使用训练集作为训练模型的数据集，并在测试集中随机抽取多张测试图像作为测试数据，对本发明算法与其他算法的分类准确性进行实验对比，取多次运算的平均值。当隐私保护总预算ε变化时，测试不同种类算法的分类准确性。

Claims (3)

1.一种基于差分隐私及随机梯度下降的数据分类方法，其特征在于，包括以下步骤：
(1)将数据集中的数据分配到各个分布式计算节点上，通过Map分任务在每个节点上执行随机梯度下降算法，利用Reduce分任务进行更新模型合并操作；
(2)在更新后的模型中加入适量拉普拉斯噪声，使最终随机梯度下降算法的目标模型满足ε-差分隐私。
2.根据权利要求1所述的基于差分隐私及随机梯度下降的数据分类方法，其特征在于，所述步骤(1)包括以下步骤：
(11)主任务Driver将差分隐私保护总预算ε平均分成N份，并分配给N个Reduce节点，每个Reduce节点初始差分隐私保护预算为
Figure FDA0002719559220000011
将数据记录进行归一化处理，并给每一个ni赋予一个计数初值Ki，以数据对<ni,Ki>的形式存储；
(12)主任务随机抽取num×M个数据对组成M个样本组，每组样本中包含num条记录，并指派M个分任务执行Map操作，N个分任务执行Reduce操作，每个数据对中Ki的值等于数据对被抽取的次数；设定在Ki超过计数阈值Cou后，对应的数据对将不再被抽取；
(13)Map分任务接收包含num个数据对的样本组，运行Map函数，选择Ki值小于阈值函数L(u)值的数据对中的ni为更新数据集，其他数据作为误差计算数据集，执行梯度下降算法，更新分目标模型W(u)，更新次数u+＝1；计算W(u)相对误差计算数据集的误差，记为error(u)，当误差计算数据集为空时，默认error(u)＝0；当u超过更新次数阈值Max，则丢失该节点Map任务。
3.根据权利要求1所述的基于差分隐私及随机梯度下降的数据分类方法，其特征在于，所述步骤(2)包括以下步骤：
(21)Reduce分任务接收各个Map中满足error(u)＜E且Δerror＜0的分目标模型W(u)，运行Reduce函数；以各个分目标函数所对应的error值的反比为权重合成本次迭代的目标更新模型Wupdate，并加入随机噪声，更新次数U+＝1；
(22)主任务接收各个Reduce节点的输出结果Wupdate并进行合并得到WF，以数据集中Ki值最小的前Jud个数据对中的ni为测试数据，计算WF的误差Error，若Error＜Efinal且所有数据对中Ki＞Kmax的比例超过Per，算法结束，输出结果。
CN202011083670.6A 2020-10-12 2020-10-12 一种基于差分隐私及随机梯度下降的数据分类方法 Withdrawn CN112232401A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011083670.6A CN112232401A (zh) 2020-10-12 2020-10-12 一种基于差分隐私及随机梯度下降的数据分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011083670.6A CN112232401A (zh) 2020-10-12 2020-10-12 一种基于差分隐私及随机梯度下降的数据分类方法

Publications (1)

Publication Number Publication Date
CN112232401A true CN112232401A (zh) 2021-01-15

Family

ID=74113365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011083670.6A Withdrawn CN112232401A (zh) 2020-10-12 2020-10-12 一种基于差分隐私及随机梯度下降的数据分类方法

Country Status (1)

Country Link
CN (1) CN112232401A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221183A (zh) * 2021-06-11 2021-08-06 支付宝(杭州)信息技术有限公司 实现隐私保护的多方协同更新模型的方法、装置及系统
CN114462090A (zh) * 2022-02-18 2022-05-10 北京邮电大学 一种针对联邦学习中差分隐私预算计算的收紧方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221183A (zh) * 2021-06-11 2021-08-06 支付宝(杭州)信息技术有限公司 实现隐私保护的多方协同更新模型的方法、装置及系统
CN114462090A (zh) * 2022-02-18 2022-05-10 北京邮电大学 一种针对联邦学习中差分隐私预算计算的收紧方法
CN114462090B (zh) * 2022-02-18 2023-06-27 北京邮电大学 一种针对联邦学习中差分隐私预算计算的收紧方法

Similar Documents

Publication Publication Date Title
Mirhoseini et al. A hierarchical model for device placement
CN111124689B (zh) 一种集群中容器资源动态分配方法
Kabiljo et al. Social hash partitioner: a scalable distributed hypergraph partitioner
CN113064879A (zh) 数据库参数调整方法、装置及计算机可读存储介质
CN111556461A (zh) 一种基于深度q网络的车载边缘网络任务分发卸载方法
CN115994567B (zh) 一种深度神经网络模型并行计算任务异步调度方法
CN112232401A (zh) 一种基于差分隐私及随机梯度下降的数据分类方法
CN112632615B (zh) 基于混合云环境的科学工作流数据布局方法
CN113887748B (zh) 在线联邦学习任务分配方法、装置、联邦学习方法及系统
CN115437795B (zh) 一种异构gpu集群负载感知的显存重计算优化方法及系统
CN116050540B (zh) 一种基于联合双维度用户调度的自适应联邦边缘学习方法
CN106371924A (zh) 一种最小化MapReduce集群能耗的任务调度方法
CN113986816A (zh) 可重构计算芯片
CN117707795B (zh) 基于图的模型划分的边端协同推理方法及系统
CN116684420A (zh) 集群资源调度方法、装置、集群系统和可读存储介质
CN114064235A (zh) 多任务教与学优化方法、系统及设备
CN112035234B (zh) 分布式批量作业分配方法及装置
Wu et al. Historical information-based differential evolution for dynamic optimization problem
CN117407921A (zh) 基于必连和勿连约束的差分隐私直方图发布方法及系统
CN116862025A (zh) 模型训练方法、系统、客户端和服务器节点、电子设备和存储介质
CN107038244A (zh) 一种数据挖掘方法和装置、一种可读介质和存储控制器
Wu et al. Heterogeneity-aware memory efficient federated learning via progressive layer freezing
CN105844110B (zh) 一种基于gpu的自适应邻域禁忌搜索求解软硬件划分方法
CN114980216A (zh) 基于移动边缘计算的依赖型任务卸载系统及方法
Heye Scaling deep learning without increasing batchsize

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210115

WW01 Invention patent application withdrawn after publication