CN111222570B - 基于差分隐私的集成学习分类方法 - Google Patents

基于差分隐私的集成学习分类方法 Download PDF

Info

Publication number
CN111222570B
CN111222570B CN202010010391.0A CN202010010391A CN111222570B CN 111222570 B CN111222570 B CN 111222570B CN 202010010391 A CN202010010391 A CN 202010010391A CN 111222570 B CN111222570 B CN 111222570B
Authority
CN
China
Prior art keywords
base classifier
data set
classifier
candidate base
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010010391.0A
Other languages
English (en)
Other versions
CN111222570A (zh
Inventor
李先贤
刘静
刘松逢
王金艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Normal University
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202010010391.0A priority Critical patent/CN111222570B/zh
Publication of CN111222570A publication Critical patent/CN111222570A/zh
Application granted granted Critical
Publication of CN111222570B publication Critical patent/CN111222570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于差分隐私的集成学习分类方法，首先为了获得具有比较大的差异的基分类器，训练基分类器前先对训练数据集做预处理，增加基分类器多样性的同时提高了隐私预算利用率；然后利用拉普拉斯机制对基分类器模型参数进行加噪，得到满足差分隐私的基分类器；最后通过增量选择得到最终的集成模型。本发明所获得的集成模型能够有效避免隐私泄露。

Description

基于差分隐私的集成学习分类方法
技术领域
本发明涉及数据隐私保护技术领域，具体涉及一种基于差分隐私的集成学习分类方法。
背景技术
集成学习是近年来数据挖掘和机器学习领域的研究热点之一，它在处理数据挖掘、智能交通系统、生物信息等领域的各种类型的真实数据具有有效性。集成学习就是将多个弱学习器进行组合，从而获得比单个学习器显著优越的泛化性能。要获得好的集成模型，个体学习器应该“好而不同”，也就是个体学习器要有一定的准确性，并且要有多样性，即学习器之间具有差异。
在大数据时代，大数据备受关注，主要是从其中挖掘出新的有价值的信息。数据挖掘通过对大量数据进行有效的提取分析，得到有价值的信息。数据挖掘包括分类、聚类、关联等方法，由于数据发布、共享和分析，个人隐私信息很容易被泄露，隐私问题受到越来越多的关注。所以，在数据挖掘中，提取有价值信息的同时不泄露敏感隐私信息显得极其重要。集成学习广泛应用于数据挖掘领域，但是目前的集成学习方法主要考虑精度，却很少考虑隐私泄露问题，敌手可以通过对数据的分析对比推测个人信息，从而导致个人敏感信息遭到泄露。
发明内容
本发明所要解决的是集成学习在处理分类任务时的分类结果和模型参数所导致的隐私泄露的问题，提供一种基于差分隐私的集成学习分类方法。
为解决上述问题，本发明是通过以下技术方案实现的：
基于差分隐私的集成学习分类方法，包括步骤如下：
步骤1、将数据集的特征值归一化到[0,1]，然后将数据集划分为原始训练数据集和验证数据集；同时，设定无放回采样数据集的个数T、有放回采样数据集的个数S和集成模型中基分类器的个数G；
步骤2、利用装袋自助采样法，先对原始训练数据集进行无放回采样得到T个无放回采样数据集Di，再分别对每个无放回采样数据集进行有放回采样得到S个有放回采样数据集
Figure BDA0002356936890000011
步骤3、对于每个无放回采样数据集Di，利用杰卡德相似系数计算其S个有放回采样数据集
Figure BDA0002356936890000012
两两之间的相似度，并随机删除相似度大于阈值的其中一个有放回采样数据集，将剩下的si个有放回采样数据集作为基分类器训练数据集；
步骤4、利用步骤3得到的
Figure BDA0002356936890000013
个基分类器训练数据集分别去训练
Figure BDA0002356936890000014
个基分类器，在训练过程中对基分类器的类先验概率、均值向量和协方差矩阵加入拉普拉斯噪声，并对加噪后的协方差矩阵进行特征值分解使其满足半正定性，最后将得到的
Figure BDA0002356936890000021
个满足差分隐私的基分类器即候选基分类器，并构成候选基分类器集合；
步骤5、对步骤4所得到的候选基分类器进行增量选择，由此得到最终集成模型，即：
步骤5.1、从当前候选基分类器集合中选择精度最高的候选基分类器作为集成模型的第一个基分类器，以构建当前集成模型，并从当前候选基分类器集合中删除该候选基分类器；
步骤5.2、计算当前候选基分类器集合中所有候选基分类器的重要性，并按照重要性降序对这些候选基分类器进行排序；
步骤5.3、从重要性高的候选基分类器开始逐一选取，并判断当前选出的候选基分类器是否对当前集成模型的精度有贡献：
如果有贡献，则将当前选出的候选基分类器与当前集成模型中的基分类器组合，以更新当前集成模型，并将当前选出的候选基分类器从当前候选基分类器集合中删除，并转至步骤5.4；
否则，继续遍历当前候选基分类器集合中下一个重要性较低的候选基分类器，直到找出对当前集成模型的精度有贡献的候选基分类器；
步骤5.4、判断当前集成模型中的基分类器的个数是否为G个：
如果是，则将当前集成模型作为最终集成模型；
否则，进入下一轮选择，并返回步骤5.2；
步骤6、利用步骤5所得到的最终集成模型对待分类的数据进行分类；
其中i＝1,2,……,T，j＝1,2,……,S。
上述步骤4中，为每个基分类器训练数据集分配的隐私预算为
Figure BDA0002356936890000022
其中ε为给定的总的隐私预算，si为第i个无放回采样数据集Di对应的基分类器训练数据集的个数。
上述步骤5.2中，在第g轮中第r个基分类器
Figure BDA0002356936890000023
的重要性
Figure BDA0002356936890000024
为：
Figure BDA0002356936890000025
其中，r＝1,2,…,R，R表示当前候选基分类器集合中候选基分类器的个数；g＝1,2,…,G，G表示集成模型中基分类器的个数；xp表示验证数据集中的第p个数据样本，p＝1,2,…,P，P表示验证数据集Dpr中数据样本个数，Dpr表示验证数据集；β∈{0,1}，当第g轮中第r个基分类器
Figure BDA0002356936890000026
对验证数据集Dpr中的数据样本xp的分类正确时，β＝1，否则，β＝0；α表示数据样本间隔的权值，α∈[0,1]；yp表示验证数据集Dpr中的数据样本xp的真实类别标签索引；θm表示当前集成模型中第m个基分类器的权重，hm(xp)表示当前集成模型中第m个基分类器对验证数据集Dpr中的数据样本xp的预测类别标签索引，
Figure BDA0002356936890000027
表示当前集成模型中对验证数据集Dpr中的数据样本xp分类正确的基分类器的个数，M表示当前集成模型中所有基分类器的个数。
上述第g轮第r个基分类器的权重
Figure BDA0002356936890000031
为：
Figure BDA0002356936890000032
其中，
Figure BDA0002356936890000033
表示第g轮中第r个基分类器的带权误差；r＝1,2,…,R，R表示当前候选基分类器集合中候选基分类器的个数；g＝1,2,…,G，G表示集成模型中基分类器的个数。
上述第g轮中第r个基分类器的带权误差
Figure BDA0002356936890000034
为：
Figure BDA0002356936890000035
其中，
Figure BDA0002356936890000036
表示第g轮原始训练数据集中数据样本xq的权重；q＝1，2，……，Q，Q表示原始训练数据集中的数据样本个数；γ∈{1,-1}，当第g轮中第r个基分类器
Figure BDA0002356936890000037
对原始训练数据集中的数据样本xq分类正确时，γ＝1，否则γ＝-1；r＝1,2,…,R，R表示当前候选基分类器集合中候选基分类器的个数；g＝1,2,…,G，G表示集成模型中基分类器的个数。
上述步骤5.3中，对当前集成模型的精度有贡献是指加入新的满足差分隐私的基分类器后的集成模型的精度大于等于未加入新的满足差分隐私的基分类器前的集成模型的精度。
与现有技术相比，本发明具有如下特点：
1、训练数据集采样阶段分两步，首先进行无放回采样，然后再在无放回采样数据集上进行有放回采样，即BLB(Bag of Little Bootstrap，装袋自助采样法)采样技术。通过该方法增大训练数据集的差异性，使得基分类器具有较大的差异，从而提高集成分类器的准确性，并且BLB具有较高的计算效率。
2、在训练基分类器前利用杰卡德相似系数计算训练数据集的相识度，删除相识度高于阈值的两个数据集中的一个。提高了隐私预算的利用率，并且实现了隐私预算的动态分配，同时节约了训练资源。
附图说明
图1为基于差分隐私的集成学习分类方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
一种基于差分隐私的集成学习分类方法，如图1所示，首先为了获得具有比较大的差异的基分类器，训练基分类器前先对训练数据集做预处理，增加基分类器多样性的同时提高了隐私预算利用率；然后利用拉普拉斯机制对基分类器模型参数进行加噪，得到满足差分隐私的基分类器；最后通过增量选择得到最终的集成模型。其具体包括步骤如下：
步骤1、将数据集的特征值归一化到[0,1]，然后将数据集划分为原始训练数据集和验证数据集，预先设置参数T，S，G，其中：T表示在原始训练数据集上无放回采样的不相交数据集个数，S表示在每个无放回采样数据集上有放回采样的数据集个数，G表示最终的集成规模(基分类器个数)。
步骤2、采用BLB采样技术，首先从原始训练数据集无放回采样得到T个不相交数据集Di(i＝1,2,……,T)，再在数据集Di上有放回采样得到S个训练数据集
Figure BDA0002356936890000041
步骤3、利用杰卡德相似系数计算从无放回数据集进行有放回采样的数据集之间的相似度，并随机删除两个相似度大于阈值的其中一个数据集。
对于i＝1，利用杰卡德相似系数比较训练数据集
Figure BDA0002356936890000042
和
Figure BDA0002356936890000043
的相似度，删除两个相似度大于阈值的训练数据集中的一个，j++。i++；直到i＝T。从第i个数据集Di有放回采样得到S个数据集经过杰卡德相似系数比较删除后剩下的训练数据集个数为si。
本发明不是直接在所有训练数据集上进行训练，而是先通过相似度比较去掉相似度大于阈值的数据集，再训练基分类器，从而增加基分类器的多样性。
步骤4、利用步骤3得到的训练数据集去训练基分类器，在训练过程中对模型参数(类先验概率、均值向量、协方差矩阵)加入拉普拉斯噪声，并对加噪后的协方差矩阵进行特征值分解使其满足半正定性，最后得到
Figure BDA0002356936890000044
个满足差分隐私的基分类器；
步骤4.1、假设总的隐私预算为ε，训练数据集
Figure BDA0002356936890000045
表示步骤3中来自数据集Di的第j个训练数据集，则分配给训练数据集
Figure BDA0002356936890000046
的隐私预算为
Figure BDA0002356936890000047
假设总的隐私预算为ε，T个不相交的无放回采样数据集满足差分隐私并行组合原理，即这T个数据集每个数据集都分配ε的隐私预算；每个无放回采样数据集上的S个有放回采样数据集满足差分隐私串行组合原理，即S个数据集的隐私预算之和为ε。假设si表示从第i个无放回数据集Di有放回采样得到S个数据集经过杰卡德相似系数比较删除后剩下的训练数据集个数，将隐私预算平均分配给si个训练数据集，则每个训练数据集的隐私预算为
Figure BDA0002356936890000048
因为si是不确定的，从而实现了隐私预算的动态分配。
步骤4.2、基分类器的训练目标函数如下：
Figure BDA0002356936890000049
其中，K表示类别数，Λ(k|pj)表示训练集
Figure BDA00023569368900000410
中的数据样本pj的类后验概率，γ(yj|k)是将真实类为k的数据样本分类为yj的代价(或成本)，分类正确γ(yj|k)＝0，否则γ(yj|k)＝1；Λ(k|pj)的计算公式如下：
Figure BDA0002356936890000051
Figure BDA0002356936890000052
其中，Λ(k)表示类先验概率，Λ(pj)是一个正则化常数，d表示数据维度，
Figure BDA0002356936890000053
表示数据集
Figure BDA0002356936890000054
中类别k的均值向量，∑k表示数据集
Figure BDA0002356936890000055
中类别k的协方差矩阵，|∑k|和
Figure BDA00023569368900000527
是∑k的行列式和逆矩阵。
步骤4.3、通过对基分类器训练目标函数的参数类先验概率Λ(k)、均值向量
Figure BDA0002356936890000056
协方差矩阵∑k加入拉普拉斯噪声进行扰动。
使用拉普拉斯机制扰动参数从而实现隐私保护，拉普拉斯机制所需要的噪声大小与全局敏感度Δq密切相关，步骤4.3中3个基分类器训练目标函数参数的敏感度计算如下：
Λ(k)：Δq1＝1；
Figure BDA0002356936890000057
Figure BDA0002356936890000058
其中，
Figure BDA0002356936890000059
表示训练数据集
Figure BDA00023569368900000510
中类别k的数据样本数，d表示数据维度，n表示训练数据集
Figure BDA00023569368900000511
的大小，∑1＝∑2＝…＝∑K＝∑。
在步骤4.1中分配给训练数据集
Figure BDA00023569368900000512
的隐私预算为
Figure BDA00023569368900000513
假设
Figure BDA00023569368900000514
根据Δq向∑k中添加噪声Lap(Δq3/ε1)，向Λ(k)中添加噪声
Figure BDA00023569368900000515
向
Figure BDA00023569368900000516
中添加噪声
Figure BDA00023569368900000517
得到扰动后的参数，ε控制着隐私保护的程度，ε越小隐私保护程度越高。
步骤4.4、加入噪声可能破坏协方差矩阵的半正定性，所以利用特征值分解恢复其半正定性，由此得到
Figure BDA00023569368900000518
个满足差分隐私的基分类器。
步骤5、对步骤4得到的基分类器进行增量选择，由此得到集成模型。
步骤5.1、选择步骤3中精度最高的基分类器作为集成模型的第一个基分类器；
步骤5.2、计算每个基分类器对于集成模型的重要性，按降序排序；
计算每个分类器的
Figure BDA00023569368900000519
带权误差
Figure BDA00023569368900000520
权重
Figure BDA00023569368900000521
按
Figure BDA00023569368900000522
降序排序；
其中，
Figure BDA00023569368900000523
表示第g轮第j个基分类器对于当前集成模型H的重要性，
Figure BDA00023569368900000524
表示第g轮第j个基分类器的带权误差，
Figure BDA00023569368900000525
表示第g轮第j个基分类器的权重，
Figure BDA00023569368900000526
的计算公式如下：
Figure BDA0002356936890000061
fm(xi)＝log(|margin(xi)|)
Figure BDA0002356936890000062
Figure BDA0002356936890000063
其中，
Figure BDA0002356936890000064
表示第g轮的第j个分类器
Figure BDA0002356936890000065
对样本xi的预测类别标签索引，yi表示样本xi的真实类别标签索引，α∈[0,1]，margin(xi)表示样本xi的样本间隔，θj表示当前集成模型中第j个基分类器的权重，hj(xi)表示当前集成模型中第j个基分类器对样本xi的预测类别标签索引，
Figure BDA0002356936890000066
表示对样本xi分类正确的基分类器数，M表示当前的集成规模(基分类器的个数)。
带权误差
Figure BDA0002356936890000067
的计算公式如下：
Figure BDA0002356936890000068
其中，
Figure BDA0002356936890000069
表示第g轮第i个样本的权重，γ∈{1,-1}，如果第g轮的第j个基分类器
Figure BDA00023569368900000610
对样本xi分类正确，则γ＝1，否则γ＝-1。
权重
Figure BDA00023569368900000611
的计算公式如下：
Figure BDA00023569368900000612
步骤5.3、依次考虑步骤5.2排序后的基分类器，直到找到一个对集成模型精度有贡献的基分类器；
对集成模型精度有贡献即满足：
Figure BDA00023569368900000613
当找到满足上述条件的分类器
Figure BDA00023569368900000614
加入集成模型。其中，Hg-1(P)表示第g-1轮集成模型对训练数据集P的预测，
Figure BDA00023569368900000615
Figure BDA00023569368900000616
k是类别数。
步骤5.4、更新训练数据集样本的权重；满足以下条件：
Figure BDA00023569368900000617
其中，
Figure BDA00023569368900000618
表示第g+1轮样本xi的权重。
步骤5.5、g++，重复步骤5.2、步骤5.3和步骤5.4G-1次，输出满足差分隐私的增量选择集成模型。
步骤6、利用步骤5所得到的最终集成模型对待分类的数据进行分类。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (5)

1.基于差分隐私的集成学习分类方法，其特征是，包括步骤如下：
步骤1、将数据集的特征值归一化到[0,1]，然后将数据集划分为原始训练数据集和验证数据集；同时，设定无放回采样数据集的个数T、有放回采样数据集的个数S和集成模型中基分类器的个数G；
步骤2、利用装袋自助采样法，先对原始训练数据集进行无放回采样得到T个无放回采样数据集Di，再分别对每个无放回采样数据集进行有放回采样得到S个有放回采样数据集
Figure FDA0003729982810000011
步骤3、对于每个无放回采样数据集Di，利用杰卡德相似系数计算其S个有放回采样数据集
Figure FDA0003729982810000012
两两之间的相似度，并随机删除相似度大于阈值的其中一个有放回采样数据集，将剩下的si个有放回采样数据集作为基分类器训练数据集；
步骤4、利用步骤3得到的
Figure FDA0003729982810000013
个基分类器训练数据集分别去训练
Figure FDA0003729982810000014
个基分类器，在训练过程中对基分类器的类先验概率、均值向量和协方差矩阵加入拉普拉斯噪声，并对加噪后的协方差矩阵进行特征值分解使其满足半正定性，最后将得到的
Figure FDA0003729982810000015
个满足差分隐私的基分类器即候选基分类器，并构成候选基分类器集合；其中，为每个基分类器训练数据集分配的隐私预算为
Figure FDA0003729982810000016
其中ε为给定的总的隐私预算，si为第i个无放回采样数据集Di对应的基分类器训练数据集的个数；
步骤5、对步骤4所得到的候选基分类器进行增量选择，由此得到最终集成模型，即：
步骤5.1、从当前候选基分类器集合中选择精度最高的候选基分类器作为集成模型的第一个基分类器，以构建当前集成模型，并从当前候选基分类器集合中删除该候选基分类器；
步骤5.2、计算当前候选基分类器集合中所有候选基分类器的重要性，并按照重要性降序对这些候选基分类器进行排序；
步骤5.3、从重要性高的候选基分类器开始逐一选取，并判断当前选出的候选基分类器是否对当前集成模型的精度有贡献：
如果有贡献，则将当前选出的候选基分类器与当前集成模型中的基分类器组合，以更新当前集成模型，并将当前选出的候选基分类器从当前候选基分类器集合中删除，并转至步骤5.4；
否则，继续遍历当前候选基分类器集合中下一个重要性较低的候选基分类器，直到找出对当前集成模型的精度有贡献的候选基分类器；
步骤5.4、判断当前集成模型中的基分类器的个数是否为G个：
如果是，则将当前集成模型作为最终集成模型；
否则，进入下一轮选择，并返回步骤5.2；
步骤6、利用步骤5所得到的最终集成模型对待分类的数据进行分类；
其中i＝1,2,……,T，j＝1,2,……,S。
2.根据权利要求1所述的基于差分隐私的集成学习分类方法，其特征是，步骤5.2中，在第g轮中第r个基分类器
Figure FDA0003729982810000021
的重要性
Figure FDA0003729982810000022
为：
Figure FDA0003729982810000023
其中，r＝1,2,…,R，R表示当前候选基分类器集合中候选基分类器的个数；g＝1,2,…,G，G表示集成模型中基分类器的个数；xp表示验证数据集中的第p个数据样本，p＝1,2,…,P，P表示验证数据集Dpr中数据样本个数，Dpr表示验证数据集；β∈{0,1}，当第g轮中第r个基分类器
Figure FDA0003729982810000024
对验证数据集Dpr中的数据样本xp的分类正确时，β＝1，否则，β＝0；α表示数据样本间隔的权值，α∈[0,1]；yp表示验证数据集Dpr中的数据样本xp的真实类别标签索引；θm表示当前集成模型中第m个基分类器的权重，hm(xp)表示当前集成模型中第m个基分类器对验证数据集Dpr中的数据样本xp的预测类别标签索引，
Figure FDA0003729982810000025
表示当前集成模型中对验证数据集Dpr中的数据样本xp分类正确的基分类器的个数，M表示当前集成模型中所有基分类器的个数。
3.根据权利要求2所述的基于差分隐私的集成学习分类方法，其特征是，第g轮第r个基分类器的权重
Figure FDA0003729982810000026
为：
Figure FDA0003729982810000027
其中，
Figure FDA0003729982810000028
表示第g轮中第r个基分类器的带权误差；r＝1,2,…,R，R表示当前候选基分类器集合中候选基分类器的个数；g＝1,2,…,G，G表示集成模型中基分类器的个数。
4.根据权利要求3所述的基于差分隐私的集成学习分类方法，其特征是，第g轮中第r个基分类器的带权误差
Figure FDA0003729982810000029
为：
Figure FDA00037299828100000210
其中，
Figure FDA00037299828100000211
表示第g轮原始训练数据集中数据样本xq的权重；q＝1，2，……，Q，Q表示原始训练数据集中的数据样本个数；γ∈{1,-1}，当第g轮中第r个基分类器
Figure FDA00037299828100000212
对原始训练数据集中的数据样本xq分类正确时，γ＝1，否则γ＝-1；r＝1,2,…,R，R表示当前候选基分类器集合中候选基分类器的个数；g＝1,2,…,G，G表示集成模型中基分类器的个数。
5.根据权利要求1所述的基于差分隐私的集成学习分类方法，其特征是，步骤5.3中，对当前集成模型的精度有贡献是指加入新的满足差分隐私的基分类器后的集成模型的精度大于等于未加入新的满足差分隐私的基分类器前的集成模型的精度。
CN202010010391.0A 2020-01-06 2020-01-06 基于差分隐私的集成学习分类方法 Active CN111222570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010010391.0A CN111222570B (zh) 2020-01-06 2020-01-06 基于差分隐私的集成学习分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010010391.0A CN111222570B (zh) 2020-01-06 2020-01-06 基于差分隐私的集成学习分类方法

Publications (2)

Publication Number Publication Date
CN111222570A CN111222570A (zh) 2020-06-02
CN111222570B true CN111222570B (zh) 2022-08-26

Family

ID=70829255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010010391.0A Active CN111222570B (zh) 2020-01-06 2020-01-06 基于差分隐私的集成学习分类方法

Country Status (1)

Country Link
CN (1) CN111222570B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131600B (zh) * 2020-09-21 2022-06-03 刘西蒙 差分隐私下基于svm的信用违约预测方法
CN114357517A (zh) * 2021-12-30 2022-04-15 支付宝(杭州)信息技术有限公司 一种基于隐私保护的模型训练方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794500A (zh) * 2015-05-11 2015-07-22 苏州大学 一种tri-training半监督学习方法及装置
CN105447525A (zh) * 2015-12-15 2016-03-30 中国科学院软件研究所 一种数据预测分类方法及装置
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN109784091A (zh) * 2019-01-16 2019-05-21 福州大学 一种融合差分隐私gan和pate模型的表格数据隐私保护方法
CN109902512A (zh) * 2019-03-04 2019-06-18 南京邮电大学 一种空间数据集的差分隐私的隐私保护方法
CN109902109A (zh) * 2019-02-20 2019-06-18 北京邮电大学 一种多方协作数据挖掘方法及装置
WO2019178733A1 (zh) * 2018-03-20 2019-09-26 深圳大学 大规模数据集的频繁项集挖掘方法、装置、设备及介质
CN110348241A (zh) * 2019-07-12 2019-10-18 之江实验室 一种数据共享策略下的多中心协同预后预测系统
CN110572382A (zh) * 2019-09-02 2019-12-13 西安电子科技大学 基于smote算法和集成学习的恶意流量检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078359A1 (en) * 2014-09-12 2016-03-17 Xerox Corporation System for domain adaptation with a domain-specific class means classifier
US10726153B2 (en) * 2015-11-02 2020-07-28 LeapYear Technologies, Inc. Differentially private machine learning using a random forest classifier
US11562382B2 (en) * 2016-11-11 2023-01-24 Jpmorgan Chase Bank, N.A. System and method for providing data science as a service

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794500A (zh) * 2015-05-11 2015-07-22 苏州大学 一种tri-training半监督学习方法及装置
CN105447525A (zh) * 2015-12-15 2016-03-30 中国科学院软件研究所 一种数据预测分类方法及装置
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
WO2019178733A1 (zh) * 2018-03-20 2019-09-26 深圳大学 大规模数据集的频繁项集挖掘方法、装置、设备及介质
CN109784091A (zh) * 2019-01-16 2019-05-21 福州大学 一种融合差分隐私gan和pate模型的表格数据隐私保护方法
CN109902109A (zh) * 2019-02-20 2019-06-18 北京邮电大学 一种多方协作数据挖掘方法及装置
CN109902512A (zh) * 2019-03-04 2019-06-18 南京邮电大学 一种空间数据集的差分隐私的隐私保护方法
CN110348241A (zh) * 2019-07-12 2019-10-18 之江实验室 一种数据共享策略下的多中心协同预后预测系统
CN110572382A (zh) * 2019-09-02 2019-12-13 西安电子科技大学 基于smote算法和集成学习的恶意流量检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"A practical differentially private random decision tree classifier";Jagannathan G等;《TRANSACTION on Data Privacy》;20121231;第5卷(第1期);第273-295页 *
"Differential Privacy for Data and Model Publishing of Medical Data";Sun Z等;《IEEE Access》;20191231(第99期);第1-10页 *
"Differentially private random decision forest using smooth sensitivity";Islam等;《Expert Systems with Application》;20171231;第78卷(第7期);第16-31页 *
"DiffPRFs:一种面向随机森林的差分隐私保护算法";丁丽萍等;《通信学报》;20161231;第37卷(第9期);第175-182页 *
"隐私保护技术研究综述";李晓晔等;《计算机科学》;20131231;第40卷(第S2期);第199-202页 *
"面向差分隐私保护的随机森林算法";李远航等;《计算机工程》;20190318;第1-10页 *

Also Published As

Publication number Publication date
CN111222570A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
Zhang et al. Integrating feature selection and feature extraction methods with deep learning to predict clinical outcome of breast cancer
Feng et al. Convolutional neural network based on bandwise-independent convolution and hard thresholding for hyperspectral band selection
US10235623B2 (en) Accurate tag relevance prediction for image search
US20200250465A1 (en) Accurate tag relevance prediction for image search
US8165410B2 (en) Bags of visual context-dependent words for generic visual categorization
CN112528928B (zh) 一种基于自注意力深度网络的商品识别方法
CN114741603B (zh) 基于用户聚类和商品聚类的混合协同过滤推荐方法
Kim et al. Ordinal classification of imbalanced data with application in emergency and disaster information services
CN106971091B (zh) 一种基于确定性粒子群优化和支持向量机的肿瘤识别方法
CN115019104B (zh) 基于多源域自注意力的小样本遥感图像分类方法及系统
CN112800249A (zh) 基于生成对抗网络的细粒度跨媒体检索方法
CN109165672A (zh) 一种基于渐进式学习的集成分类方法
CN112489689B (zh) 基于多尺度差异对抗的跨数据库语音情感识别方法及装置
CN111222570B (zh) 基于差分隐私的集成学习分类方法
Li et al. Support cluster machine
CN114037931A (zh) 一种自适应权重的多视图判别方法
CN103456017B (zh) 基于种子集的半监督权重核模糊聚类的图像分割方法
CN102722578A (zh) 一种基于拉普拉斯正则化无监督的聚类特征选取方法
CN111652265A (zh) 一种基于自调整图的鲁棒半监督稀疏特征选择方法
CN111488520A (zh) 一种农作物种植种类推荐信息处理装置、方法及存储介质
CN114663770A (zh) 一种基于集成聚类波段选择的高光谱图像分类方法及系统
CN112464098A (zh) 基于相似性成对排名的推荐系统物品预测方法
CN114117040B (zh) 基于标签特定特征和相关性的文本数据多标签分类方法
CN112818831B (zh) 一种基于波段聚类和改进域变换递归滤波的高光谱图像分类算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200602

Assignee: Guangxi Huoxin Intelligent Technology Co.,Ltd.

Assignor: Guangxi Normal University

Contract record no.: X2024980031008

Denomination of invention: Ensemble learning classification method based on differential privacy

Granted publication date: 20220826

License type: Common License

Record date: 20241208

Application publication date: 20200602

Assignee: Guilin Huoyun Bianduan Technology Co.,Ltd.

Assignor: Guangxi Normal University

Contract record no.: X2024980030994

Denomination of invention: Ensemble learning classification method based on differential privacy

Granted publication date: 20220826

License type: Common License

Record date: 20241205

Application publication date: 20200602

Assignee: Guilin Baijude Intelligent Technology Co.,Ltd.

Assignor: Guangxi Normal University

Contract record no.: X2024980030975

Denomination of invention: Ensemble learning classification method based on differential privacy

Granted publication date: 20220826

License type: Common License

Record date: 20241208