CN115168210A - 一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法 - Google Patents

一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法 Download PDF

Info

Publication number
CN115168210A
CN115168210A CN202210826339.1A CN202210826339A CN115168210A CN 115168210 A CN115168210 A CN 115168210A CN 202210826339 A CN202210826339 A CN 202210826339A CN 115168210 A CN115168210 A CN 115168210A
Authority
CN
China
Prior art keywords
watermark
forgetting
model
data
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210826339.1A
Other languages
English (en)
Other versions
CN115168210B (zh
Inventor
高向珊
王竟亦
程鹏
陈积明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210826339.1A priority Critical patent/CN115168210B/zh
Publication of CN115168210A publication Critical patent/CN115168210A/zh
Application granted granted Critical
Publication of CN115168210B publication Critical patent/CN115168210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，通过在遗忘用户本地数据集中随机筛选部分样本，进行数据增广，利用对抗样本生成方法在增广后的数据上微调生成对抗样本。将本地模型在这些对抗样本和原有的本地数据上进行对抗训练，生成更加鲁棒的嵌入水印后的本地模型上传给中心服务器聚合。遗忘用户通过黑盒访问接下来若干个周期的全局模型，根据全局模型在这些对抗样本上的输出提取水印，验证遗忘情况。本发明方法具有鲁棒性强，验证效果好，对于数据分布依赖小，黑盒访问全局模型避免公平性问题，对于遗忘验证结果提供理论保证等优点，可以有效鉴别遗忘与否，能够广泛应用和部署在各种需要进行遗忘验证的场景中。

Description

一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘 验证方法
技术领域
本发明涉及联邦学习数据遗忘验证领域，具体涉及一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法。
背景技术
联邦学习是一种分布式保隐私的新型学习框架，所有参与者可以实现在数据保留在本地的前提下，只需贡献相应的模型更新就可以共同训练一个强大的模型，在一定程度上保护了用户的隐私。但同时，作为一个实时更新，多人参与的学习框架，联邦学习面临着一个严峻的问题，即当之前参与学习的用户提出离开联邦时，应切实删除他们的私人数据，保证不再使用。这种做法可以进一步缓解用户的担忧，提升用户对于联邦学习的信任度。已经有一些数据法案明确规定了用户享有数据遗忘权，例如通用数据保护法规(GDPR)和加州消费者隐私法(CCPA)等。国外的一些大型互联网企业(谷歌和苹果)也在日渐严苛的法律要求下开始落实对于数据遗忘权的保护措施。学术圈已有一些关于主动遗忘的工作，包括重训练等。然而，如何执行具体的遗忘操作不是遗忘用户真正关心的，用户所关心的是是否提供了可以量化的验证手段检查服务器端是否切实执行了一些有效的遗忘方法。然而联邦学习中的遗忘验证不能通过简单的遗忘用户的个人数据上的性能判断，因为联邦学习是一种分布式协作学习框架，个人退出对于大规模联邦学习的影响较小，其他人的贡献使得联邦学习的全局模型依然能在遗忘用户的个人数据上维持较好的性能。同时，考虑到验证遗忘时，需要接触全局模型，而此时的全局模型已经不再是由遗忘用户贡献的，因此遗忘用户不应该再以白盒的方式访问全局模型，这会引发公平性问题。服务器也可能采取一些适应性手段来欺骗遗忘验证方法。因此，如何设计一种安全鲁棒的黑盒场景下的联邦遗忘验证算法以高效可靠可信地验证服务器端的遗忘情况，是目前有效验证数据遗忘权是否被正常提供的一大难题。
一种有效验证联邦学习中的数据遗忘的可能解决方案是以某种方式标记遗忘用户，并检查该遗忘用户离开后标记是否被清除。潜在的假设是，标记可以有效地唯一标记该遗忘用户。完整的验证过程分为两个阶段：标记和检查。联邦遗忘验证中的标记功能需要一些特定的特征，包括专一性(特定属于离开用户)、持久性(持久验证遗忘)、鲁棒性(针对服务器端采用的一些适应性的试图欺骗遗忘验证方法的手段)等。针对每种标记方法，检查全局模型在标记/验证数据上的性能，评估服务器端是否切实执行了相应的遗忘措施。
发明内容
针对现有联邦学习遗忘验证的匮乏，本发明公开了一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，该方法利用被遗忘的模型在对抗样本上的鲁棒性能来形成特定的水印标记遗忘用户和验证遗忘情况。
本发明的目的是通过以下技术方案来实现的：一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，该方法利用被遗忘的模型在对抗样本上的鲁棒性能来形成特定的水印标记遗忘用户和验证遗忘情况，该方法包括数据自动筛选阶段、数据增广阶段、对抗样本生成阶段、对抗训练阶段、以及检查遗忘阶段；
所述数据自动筛选阶段，随机筛选出遗忘用户本地数据集S中的固定比例的数据集S1；
所述数据增广阶段，对S1中的数据进行基础的数据增广，包括切换视角、随机模糊、色彩抖动和随机旋转，形成增广后的数据集S2；
所述对抗样本生成阶段，利用对抗样本生成算法微调S2中的增广数据生成对应的对抗样本，这些对抗样本在人眼看上去与正常样本差别不大，但输入到模型中将得到完全不同的输出；将这些对抗样本和它们正确的类别组合得到验证数据集S3；
所述对抗训练阶段，将遗忘用户本地模型在对抗样本验证数据集S3和原始的本地数据集S上进行对抗训练，从而将水印嵌入到本地模型中，这里嵌入的水印对应S3中对抗样本上正确的原始类别；嵌入水印后的本地模型上传给中心服务器聚合，生成下一个周期的全局模型；
所述检查遗忘阶段，遗忘用户通过黑盒访问接下来若干个周期的全局模型提取水印，提取的水印由全局模型在S3中的对抗样本上的输出类别形成，并根据提取出的水印验证遗忘情况。
进一步地，这种对水印依赖的对抗样本的鲁棒行为是遗忘用户个人私有的，且这种特定的对抗样本和对应的正确标签的组合是唯一属于且能够标记该用户的，并且这种由嵌入水印所带来的模型对于对抗样本的鲁棒性还可以作为一种数据增广的手段，提升全局模型的鲁棒性。
进一步地，所述数据增广阶段，对S1中的数据进行基础的数据增广形成增广后的数据集S2，这些增广数据直接作为生成水印依赖的对抗样本的初始数据，能够将水印稳定地嵌入模型中并用来验证遗忘情况和提升模型鲁棒性，并且这些增广后的数据能够进一步扩大遗忘用户的数据与其他未增广的参与者的数据的差异，提升遗忘用户数据的唯一性。
进一步地，所述对抗样本生成阶段具体为，利用已有的对抗样本生成算法微调S2中的增广数据生成相应的对抗样本，这些对抗样本在人眼看上去与正常样本差别不大，但输入到模型中将得到完全不同的输出；将这些对抗样本和它们正确的类别组合得到验证数据集S3；原始的数据集中并不存在这些对抗样本，尤其是基于数据增广后生成的对抗样本，这些对抗样本以较小的概率出现在互不相交的其他参与者的本地数据中，有较高的概率是遗忘用户独有的。
进一步地，所述对抗训练阶段中，将本地模型在原始的本地数据集S和对抗样本组成的验证数据集S3上进行对抗训练，从而将水印嵌入到本地模型中；这里嵌入的水印对应S3中对抗样本上正确的原始类别；嵌入水印后的本地模型上传给中心服务器聚合，生成下一个周期的全局模型；对抗训练能够提升模型对于靠近模型决策边界的对抗样本的鲁棒性，将它们正确分类到相应的类别，也即将水印成功嵌入到模型中；对抗训练后的模型将在水印依赖的对抗样本验证数据集S3上保持较高的准确率，也即表现出较强的鲁棒性；这是独属于遗忘用户标记过的嵌入水印的模型的特定行为；究其原因，对抗训练修改了模型的决策边界，使得模型能够在决策边界附近的对抗样本上保持一个较高的准确率。
进一步地，所述检查遗忘阶段中，只有标记后的本地模型在S3上保持较高的准确率，其他用户的模型不足以使全局模型具备这样的性质，所以通过检查全局模型在S3上的准确率来判断是否成功遗忘该用户。具体来说，遗忘用户通过黑盒访问接下来若干个周期的全局模型提取水印，提取的水印由全局模型在S3中的对抗样本上的输出类别形成，根据提取的水印与原始嵌入水印的对比结果，得出联邦遗忘验证结果的可信度。
具体来说，公式如下：
我们用零假设H0表示服务器确实执行了遗忘操作，备择假设Ha表示服务器没有执行遗忘操作。如果服务器执行了遗忘操作，则遗忘后的全局模型将以较小的概率在S3中的对抗样本χadv上输出正确的原始类别y，Gt代表遗忘用户离开之后由其他参与者贡献的全局模型；将遗忘用户S3的对抗样本χadv数量记为n；
P0代表当服务器执行遗忘操作后，在验证数据集S3中的对抗样本上依然能够正确分类的概率：
P0＝Pr[Gt(xadv)＝y∣H0 is True]
我们得出在零假设为真的情况下，对抗样本中依然有m个样本正确分类的概率是：
Figure BDA0003744092640000041
Pa代表当服务器没有执行遗忘操作时，在验证数据集S3中的对抗样本上依然能够正确分类的概率：
Pa＝Pr[Gt(xadv)＝y∣Ha is True]
则在备择假设为真的情况下，对抗样本中依然有m个样本正确分类的概率是：
Figure BDA0003744092640000042
根据概率论中一型错误(假阳性)和二型错误(假阴性)的定义，可以得到一型错误的概率值α和二型错误的概率值β：
Figure BDA0003744092640000051
Figure BDA0003744092640000052
假设X是满足独立同分布的伯努利随机变量，则：
X＝(1-P0+ε)n，ε＞0
根据霍夫丁不等式，可以得到：
Pr(X-(1-P0)n＞εn)≤exp(-2ε2n)
则：
Figure BDA0003744092640000053
在经典概率论中，α是一个预设的值，一般设置为0.05，则k可以确定：
Figure BDA0003744092640000054
进一步得出k的上界kupper：
Figure BDA0003744092640000055
进一步推出真阴性1-β的下界：
Figure BDA0003744092640000056
根据提取的水印与原始嵌入水印的对比结果，得出联邦遗忘验证结果的可信度。这里的可信度理解为在预设一型错误α的情况下，利用基于对抗样本的鲁棒水印验证方法确定的遗忘验证结果的真阳性1-α和真阴性1-β的下界。
本发明的有益技术效果是：本发明针对目前联邦学习中缺乏可信可靠可行的遗忘验证方式设计了一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，具有鲁棒性强，验证效果好，对于数据分布依赖小，黑盒访问全局模型避免公平性问题，对于遗忘验证结果提供理论保证等优点，可以有效鉴别遗忘与否，能够广泛应用和部署在各种需要进行遗忘验证的场景中。
附图说明
图1是本发明的鲁棒水印依赖的对抗样本实例示意图；
图2是本发明的水印注入与提取示意图；
图3是本发明方法的流程示意图；
图4，图5，图6是本发明方法的部分结果图。
具体实施方式
下面结合附图以及实施例对本发明作进一步详细说明。
如图1所示，展示了水印赖以存在的对抗样本的生成过程，(a)图即为从遗忘用户本地数据集S中随机筛选出的数据集S1的示例，(b)图即对筛选出的S1进行数据增广(包括切换视角，随机模糊，色彩抖动，随机旋转)后形成的增广后的数据集S2的示例，(c)图即为对抗样本生成阶段，在增广后的数据集S2上，利用已有的对抗样本生成算法微调后生成的对抗样本示例，这些对抗样本在人眼看上去与正常样本差别不大，但输入到模型中将得到完全不同的输出。
如图2所示，展示了完整的水印注入和提取的全过程。其中，注入水印阶段包括数据自动筛选阶段，随机筛选出本地数据集S中的固定比例的数据集S1；数据增广阶段，对S1中的数据进行基础的数据增广(包括切换视角，随机模糊，色彩抖动，随机旋转)形成增广后的数据集S2；对抗样本生成阶段，利用对抗样本生成算法(例如已有的FGSM，PGD，BIM，CW)微调S2中的增广数据生成相应的对抗样本，这些对抗样本在人眼看上去与正常样本差别不大，但输入到模型中将得到完全不同的输出。将这些对抗样本和它们正确的类别组合得到验证数据集S3；对抗训练阶段，将本地模型在对抗样本验证数据集S3和原始的本地数据集S上进行对抗训练，从而将水印嵌入到本地模型中。这里嵌入的水印对应S3中对抗样本上正确的原始类别。嵌入水印后的本地模型上传给中心服务器聚合，生成下一个周期的全局模型。至此，水印注入阶段已经完成。然后是水印提取阶段，遗忘用户通过黑盒访问接下来若干个周期的全局模型提取水印，提取的水印由全局模型在S3中的对抗样本上的输出类别形成，并根据提取出的水印验证遗忘情况。
如图3所示，介绍了本发明的实现流程图，包括以下步骤：
步骤一，初始化联邦学习系统和遗忘用户。
步骤二，数据自动筛选阶段和数据增广阶段，随机筛选出本地数据集S中的固定比例的数据集S1，并对S1中的数据进行基础的数据增广(包括切换视角，随机模糊，色彩抖动，随机旋转)形成增广后的数据集S2。
步骤三，对抗样本生成阶段，利用已有的对抗样本生成算法微调S2中的增广数据生成相应的对抗样本，这些对抗样本在人眼看上去与正常样本差别不大，但输入到模型中将得到完全不同的输出。将这些对抗样本和它们正确的类别组合得到验证数据集S3。
步骤四，对抗训练阶段，将本地模型在对抗样本验证数据集S3和原始的本地数据集S上进行对抗训练，从而将水印嵌入到本地模型中。这里嵌入的水印对应S3中对抗样本上正确的原始类别。嵌入水印后的本地模型上传给中心服务器聚合，生成下一个周期的全局模型。
步骤五，检查遗忘阶段，遗忘用户通过黑盒访问接下来若干个周期的全局模型提取水印，提取的水印由全局模型在S3中的对抗样本上的输出类别形成，并根据提取的水印与原始嵌入水印的对比结果，得出联邦遗忘验证结果的可信度。
如图4所示，展示了在服务器端不执行任何适应性操作时，本发明的水印验证出的遗忘结果的可信度。这里展示了在几个标准数据集上的遗忘验证效果，包括美国国家标准与技术研究院收集整理的大型手写数字数据库---MNIST(包含60,000个样本的训练集以及10,000个样本的测试集)，由10类32x32的彩色图片组成的基础图形数据集---CIFAR10(包含50,000个样本的训练集以及10,000个样本的测试集)，一个简单的由10类语音指令组成的语音识别数据集---SpeechCommand(简写为Speech，包括37005个训练样本，9251个测试样本)，胸部X光肺部图像数据集---COVID(包含1699个COVID-19样本，6069个肺炎样本，8851个正常样本)，从图像识别最大的数据库ImageNet中随机抽取的10个类组成的---T-ImageNet(包括13000个训练，500个测试的224*224RGB图像)，以及从大规模人脸识别数据集VGGFace中随机选出的20个名人的人脸数据集(包括7023个224*224人脸图像，其中，80％用作训练，20％用于测试)。可以看出通过本发明方法实现了遗忘验证方法的所验证的遗忘结果(服务器端确实执行了遗忘操作)的真阳性为95％，真阴性达到99.9％以上。
如图5所示，展示了当恶意服务器部署各种可以欺骗遗忘验证结果的适应性策略时，用本发明的水印验证遗忘结果的可信度。可以看出，即使服务器端采取模型微调，模型剪枝，防御措施，模型蒸馏在内的所有方法，本发明的水印验证出的遗忘结果依然可以保持在95％的真阳性下，达到99.9％以上的真阴性，因此本发明的水印具有极强的鲁棒性。
如图6所示，显示了参与者数据在满足iid(独立同分布)和non-iid(非独立同分布)两种分布下使用本发明提出的水印验证遗忘结果的真阴性(真阳性保持95％)。可以看出除了CIFAR10和T-VGGFace上真阴性有一定程度的降低，其他数据集上基本没有变化，并且即便在iid分布下略低的真阴性依然高于90％(真阳性保持95％)。因此，本发明提出的遗忘验证水印可以在不同数据分布下依然保持较好的性能。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (6)

1.一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，其特征在于，该方法包括数据自动筛选阶段、数据增广阶段、对抗样本生成阶段、对抗训练阶段、以及检查遗忘阶段；
所述数据自动筛选阶段，随机筛选出遗忘用户本地数据集S中的固定比例的数据集S1；
所述数据增广阶段，对S1中的数据进行基础的数据增广，包括切换视角、随机模糊、色彩抖动和随机旋转，形成增广后的数据集S2；
所述对抗样本生成阶段，利用对抗样本生成算法微调S2中的增广数据生成对应的对抗样本，这些对抗样本在人眼看上去与正常样本差别不大，但输入到模型中将得到完全不同的输出；将这些对抗样本和它们正确的类别组合得到验证数据集S3；
所述对抗训练阶段，将遗忘用户本地模型在对抗样本验证数据集S3和原始的本地数据集S上进行对抗训练，从而将水印嵌入到本地模型中，这里嵌入的水印对应S3中对抗样本上正确的原始类别；嵌入水印后的本地模型上传给中心服务器聚合，生成下一个周期的全局模型；
所述检查遗忘阶段，遗忘用户通过黑盒访问接下来若干个周期的全局模型提取水印，提取的水印由全局模型在S3中的对抗样本上的输出类别形成，并根据提取出的水印验证遗忘情况。
2.根据权利要求1所述的一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，其特征在于，这种对水印依赖的对抗样本的鲁棒行为是遗忘用户个人私有的，且这种特定的对抗样本和对应的正确标签的组合是唯一属于且能够标记该用户的，并且这种由嵌入水印所带来的模型对于对抗样本的鲁棒性还可以作为一种数据增广的手段，提升全局模型的鲁棒性。
3.根据权利要求1所述的一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，其特征在于，所述数据增广阶段，对S1中的数据进行基础的数据增广形成增广后的数据集S2，这些增广数据直接作为生成水印依赖的对抗样本的初始数据，能够将水印稳定地嵌入模型中并用来验证遗忘情况和提升模型鲁棒性，并且这些增广后的数据能够进一步扩大遗忘用户的数据与其他未增广的参与者的数据的差异，提升遗忘用户数据的唯一性。
4.根据权利要求1所述的一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，其特征在于，所述对抗样本生成阶段具体为，利用已有的对抗样本生成算法微调S2中的增广数据生成相应的对抗样本，这些对抗样本在人眼看上去与正常样本差别不大，但输入到模型中将得到完全不同的输出；将这些对抗样本和它们正确的类别组合得到验证数据集S3；原始的数据集中并不存在这些对抗样本，尤其是基于数据增广后生成的对抗样本，这些对抗样本以较小的概率出现在互不相交的其他参与者的本地数据中，有较高的概率是遗忘用户独有的。
5.根据权利要求1所述的一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，其特征在于，所述对抗训练阶段中，将本地模型在原始的本地数据集S和对抗样本组成的验证数据集S3上进行对抗训练，从而将水印嵌入到本地模型中；这里嵌入的水印对应S3中对抗样本上正确的原始类别；嵌入水印后的本地模型上传给中心服务器聚合，生成下一个周期的全局模型；对抗训练能够提升模型对于靠近模型决策边界的对抗样本的鲁棒性，将它们正确分类到相应的类别，也即将水印成功嵌入到模型中；对抗训练后的模型将在水印依赖的对抗样本验证数据集S3上保持较高的准确率，也即表现出较强的鲁棒性；这是独属于遗忘用户标记过的嵌入水印的模型的特定行为；究其原因，对抗训练修改了模型的决策边界，使得模型能够在决策边界附近的对抗样本上保持一个较高的准确率。
6.根据权利要求1所述的一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，其特征在于，所述检查遗忘阶段中，只有标记后的本地模型在S3上保持较高的准确率，其他用户的模型不足以使全局模型具备这样的性质，所以通过检查全局模型在S3上的准确率来判断是否成功遗忘该用户。具体来说，遗忘用户通过黑盒访问接下来若干个周期的全局模型提取水印，提取的水印由全局模型在S3中的对抗样本上的输出类别形成，根据提取的水印与原始嵌入水印的对比结果，得出联邦遗忘验证结果的可信度。
CN202210826339.1A 2022-07-13 2022-07-13 一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法 Active CN115168210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210826339.1A CN115168210B (zh) 2022-07-13 2022-07-13 一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210826339.1A CN115168210B (zh) 2022-07-13 2022-07-13 一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法

Publications (2)

Publication Number Publication Date
CN115168210A true CN115168210A (zh) 2022-10-11
CN115168210B CN115168210B (zh) 2023-06-23

Family

ID=83493142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210826339.1A Active CN115168210B (zh) 2022-07-13 2022-07-13 一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法

Country Status (1)

Country Link
CN (1) CN115168210B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658550A (zh) * 2022-12-09 2023-01-31 合肥高维数据技术有限公司 提升大规模样本测试效率的自动化测试方法及系统
CN116994309A (zh) * 2023-05-06 2023-11-03 浙江大学 一种公平性感知的人脸识别模型剪枝方法
CN117711078A (zh) * 2023-12-13 2024-03-15 西安电子科技大学广州研究院 一种针对人脸识别系统的模型遗忘方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210089957A1 (en) * 2019-09-20 2021-03-25 Nxp B.V. Method and machine learning system for detecting adversarial examples
CN113591486A (zh) * 2021-07-29 2021-11-02 浙江大学 一种联邦学习中基于语义数据损失的遗忘验证方法
CN114580530A (zh) * 2022-03-02 2022-06-03 广州大学 一种基于生成对抗网络的快速模型遗忘方法与系统
WO2022121032A1 (zh) * 2020-12-10 2022-06-16 广州广电运通金融电子股份有限公司 一种在联邦学习场景下的数据集划分方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210089957A1 (en) * 2019-09-20 2021-03-25 Nxp B.V. Method and machine learning system for detecting adversarial examples
WO2022121032A1 (zh) * 2020-12-10 2022-06-16 广州广电运通金融电子股份有限公司 一种在联邦学习场景下的数据集划分方法及系统
CN113591486A (zh) * 2021-07-29 2021-11-02 浙江大学 一种联邦学习中基于语义数据损失的遗忘验证方法
CN114580530A (zh) * 2022-03-02 2022-06-03 广州大学 一种基于生成对抗网络的快速模型遗忘方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAN HU 等: "Design of two-stage federal learning incentive", 《2021 2ND INTERNATIONAL CONFERENCE ON BIG DATA ECONOMY AND INFORMATION MANAGEMENT (BDEIM)》 *
陈大卫 等: "基于生成式对抗网络的联邦学习后门攻击方案", 《全国优秀硕士毕业论文全文库（信息科技辑）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658550A (zh) * 2022-12-09 2023-01-31 合肥高维数据技术有限公司 提升大规模样本测试效率的自动化测试方法及系统
CN116994309A (zh) * 2023-05-06 2023-11-03 浙江大学 一种公平性感知的人脸识别模型剪枝方法
CN116994309B (zh) * 2023-05-06 2024-04-09 浙江大学 一种公平性感知的人脸识别模型剪枝方法
CN117711078A (zh) * 2023-12-13 2024-03-15 西安电子科技大学广州研究院 一种针对人脸识别系统的模型遗忘方法

Also Published As

Publication number Publication date
CN115168210B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN108304858B (zh) 对抗样本识别模型生成方法、验证方法及其系统
CN115168210A (zh) 一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法
Guo et al. Fake colorized image detection
Ferrara et al. Face morphing detection in the presence of printing/scanning and heterogeneous image sources
CN110851835A (zh) 图像模型检测方法、装置、电子设备及存储介质
Yang et al. Deepfake network architecture attribution
Polakis et al. Faces in the distorting mirror: Revisiting photo-based social authentication
CN114862650B (zh) 一种神经网络水印嵌入方法以及验证方法
WO2023093346A1 (zh) 基于外源特征进行模型所有权验证的方法和装置
CN113627503A (zh) 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质
Hao et al. Robustness analysis of face obscuration
Liu et al. Data protection in palmprint recognition via dynamic random invisible watermark embedding
Bera et al. Two-stage human verification using HandCAPTCHA and anti-spoofed finger biometrics with feature selection
CN113435264A (zh) 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置
An et al. Benchmarking the Robustness of Image Watermarks
Guo et al. A White-Box False Positive Adversarial Attack Method on Contrastive Loss Based Offline Handwritten Signature Verification Models
Ghiyamipour Secure graphical password based on cued click points using fuzzy logic
KR100864535B1 (ko) 퍼지볼트를 이용한 메모리 효율적인 지문 데이터 은닉방법, 퍼지볼트를 이용한 메모리 효율적인 지문 데이터인증 방법, 퍼지볼트를 이용한 메모리 효율적인 지문데이터 은닉 장치 및 퍼지볼트를 이용한 메모리 효율적인지문 데이터 인증 시스템
Song et al. Learning structural similarity with evolutionary-GAN: A new face de-identification method
Wójtowicz et al. Biometric watermarks based on face recognition methods for authentication of digital images
Guan et al. Building an Invisible Shield for Your Portrait against Deepfakes
CN115546003A (zh) 基于对抗训练网络的后门水印图像数据集生成方法
Cinar Deepfakes in Cyber Warfare: Threats, Detection, Techniques and Countermeasures
Chang et al. Cyber Vaccine for Deepfake Immunity
CN113052167B (zh) 一种基于对抗补丁的栅格地图数据保护方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant