CN112448916A - 一种防止gan模型攻击并保护cdl训练信息的隐私防护方法 - Google Patents

一种防止gan模型攻击并保护cdl训练信息的隐私防护方法 Download PDF

Info

Publication number
CN112448916A
CN112448916A CN201910805998.5A CN201910805998A CN112448916A CN 112448916 A CN112448916 A CN 112448916A CN 201910805998 A CN201910805998 A CN 201910805998A CN 112448916 A CN112448916 A CN 112448916A
Authority
CN
China
Prior art keywords
attack
model
gan model
parameters
cdl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910805998.5A
Other languages
English (en)
Other versions
CN112448916B (zh
Inventor
闫晓丹
徐旸
崔宝江
张程
曾泉润
张继威
张书涵
毕春芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910805998.5A priority Critical patent/CN112448916B/zh
Publication of CN112448916A publication Critical patent/CN112448916A/zh
Application granted granted Critical
Publication of CN112448916B publication Critical patent/CN112448916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，包括如下步骤：步骤一，建立GAN模型；步骤二，添加检测模块并修改网络协议；步骤三，检测模块检测入侵；步骤四，使用基于卷积神经网络的架构；步骤一中，在协作深度学习高级网络架构的基础上生成GAN模型，并通过CAN模型来构建算法；步骤二中，向参数服务器添加了一个检测模块；然后根据修改后的协议和定义的数据埋点，在局部模型上添加一个埋点层，在埋点层之下设置输出层，本发明该主要关注与如何在协作深度学习中识别针对GAN模型攻击的准确且适应性强的信息保护方法；与其他方法相比，本发明所提出的机制可以更加准确并更加能够广泛适应的保护信息。

Description

一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法
技术领域
本发明涉及协作深度学习网络系统技术领域，具体为一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法。
背景技术
大数据的共享为政府部门、企业、科研机构提供了便利条件，然而随之而来的数据隐私安全问题日渐增多；差分隐私技术在支持隐私保护的数据挖掘与数据发布方面得到了广泛研究；深度学习最近在机器学习方面非常受欢迎，因为它能够解决端到端学习系统，其中功能和分类器同时被学习，在高度结构化和大型数据库的存在下显著提高分类准确性；它的成功归功于最近的算法突破，越来越强大的计算机以及对大量数据的访问；研究人员还考虑了深度学习对隐私的影响；通常以集中方式训练模型，所有数据由相同的训练算法处理；如果数据是用户私人数据的集合，包括习惯，个人图片，地理位置，兴趣等，则中央服务器将能够访问可能被错误处理的敏感信息；为了解决这个问题，科研人员提出了协作深度学习模型来保护训练过程中的数据隐私，如图1所示；该框架图展示了协同深度学习系统的主要组件和协议，其中各方在本地训练他们的深度学习结构并且仅共享参数的子集以试图保持他们各自的训练集私有。
深度学习由于在图像分类和生物学应用中有着较高的有效性和精确度，因此被广泛应用在医疗领域，但由于模型中的算法数据的变化，会导致个人信息暴露从而产生严重后果；针对协作式深度学习网络系统的各种攻击都会导致信息泄露，以及分散式深度学习的多次培训并更新参数，都存在大量信息泄露风险。
在使用深度学习模型从模糊图像中判断主体身份时会存在人为的分类错误，从而导致错误的输出；同时，由于深度学习需要在训练集中累积数据信息，这将导致更高的隐私泄露风险，尤其是在医疗领域。
GAN攻击协作试深度学习允许所有成员从设备中推断敏感信息，但是即使在已进行了差异隐私模糊处理的情况下，攻击者也可在不影响服务提供商的情况下进行攻击，获取重要敏感数据从而引起隐私泄露。
因此设计一种在生成对抗网络(GAN)模型下，防止GAN模型攻击并保护CDL训练信息的算法，来提高稳定性，来更加准确有效的防止信息泄露，是很有意义的。
发明内容
本发明的目的在于提供一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，包括如下步骤：步骤一，建立GAN模型；步骤二，添加检测模块并修改网络协议；步骤三，检测模块检测入侵；步骤四，使用基于卷积神经网络的架构；
其中在上述的步骤一中，在协作深度学习高级网络架构的基础上生成对抗网络(GAN)模型，并通过CAN模型来构建算法；
其中在上述的步骤二中，向参数服务器(parameterserver,PS)添加了一个检测模块，并修改网络协议；然后根据修改后的协议和定义的数据埋点，在局部模型上添加一个埋点层，在埋点层之下设置输出层；
其中在上述的步骤三中，当攻击者向服务器上传参数时，反向传播过程会更新被埋点层的权重，检测模块则会立即发现入侵，若此行为被归为恶GAN模型攻击，则攻击者上传的参数将被释放，攻击者的学习进度也将会受限，并且等待下一次的加载；当最终确认为有效攻击时，解决方案会由攻击行为决定；
其中在上述的步骤四中，在MNIST数据集上实验使用基于卷积神经网络的架构，在系统中，对本地参数和全局参数进行加密传输，在受感染和不良用户在使用GAN模型攻击时，参数服务器(parameterserver,PS)会检测到入侵，并高效返回参数。
根据上述技术方案，所述步骤三中，攻击者分为三种类型的攻击，即入侵者、受感染者和用户攻击。
根据上述技术方案，所述步骤三中，攻击行为的解决方案：若此行为被归类为恶意上传参数，参数服务器也将会直接把攻击者列入黑名单并拒绝后续访问。
根据上述技术方案，所述步骤二中，在反向传播时埋点层是最先受到影响的，在该系统的参数服务器协议中，局部模型的训练过程绕过了埋点层，即埋点层不会影响训练过程。
根据上述技术方案，所述步骤四中，即使入侵者成功入侵系统，也无法解密或对参数加密，因此入侵者也无法攻击GAN模型，也不能上传恶意参数；同时也可以检测到感染的不良用户的参数上传。
与现有技术相比，本发明所达到的有益效果是：本发明该主要关注与如何在协作深度学习中识别针对GAN模型攻击的准确且适应性强的信息保护方法；与其他方法相比，本发明所提出的机制可以更加准确并更加能够广泛适应的保护信息，防止GAN模型攻击并保护CDL训练信息，并提高稳定性，更加准确有效的防止信息泄露。
附图说明
图1是本发明协作深度学习架构结构示意图；
图2是本发明GAN模型攻击下保护体系的结构图；
图3是本发明防护方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，包括如下步骤：步骤一，建立GAN模型；步骤二，添加检测模块并修改网络协议；步骤三，检测模块检测入侵；步骤四，使用基于卷积神经网络的架构；
其中在上述的步骤一中，在协作深度学习高级网络架构的基础上生成对抗网络(GAN)模型，并通过CAN模型来构建算法；
其中在上述的步骤二中，向参数服务器(parameterserver,PS)添加了一个检测模块，并修改网络协议；然后根据修改后的协议和定义的数据埋点，在局部模型上添加一个埋点层，在埋点层之下设置输出层；步骤二中，在反向传播时埋点层是最先受到影响的，在该系统的参数服务器协议中，局部模型的训练过程绕过了埋点层，即埋点层不会影响训练过程；
其中在上述的步骤三中，当攻击者向服务器上传参数时，反向传播过程会更新被埋点层的权重，检测模块则会立即发现入侵，若此行为被归为恶GAN模型攻击，则攻击者上传的参数将被释放，攻击者的学习进度也将会受限，并且等待下一次的加载；当最终确认为有效攻击时，解决方案会由攻击行为决定；步骤三中，攻击者分为三种类型的攻击，即入侵者、受感染者和用户攻击；步骤三中，攻击行为的解决方案：若此行为被归类为恶意上传参数，参数服务器也将会直接把攻击者列入黑名单并拒绝后续访问；
其中在上述的步骤四中，在MNIST数据集上实验使用基于卷积神经网络的架构，在系统中，对本地参数和全局参数进行加密传输，在受感染和不良用户在使用GAN模型攻击时，参数服务器(parameterserver,PS)会检测到入侵，并高效返回参数；步骤四中，即使入侵者成功入侵系统，也无法解密或对参数加密，因此入侵者也无法攻击GAN模型，也不能上传恶意参数；同时也可以检测到感染的不良用户的参数上传；
本发明提出了一种更加有效的新方法，改进现有的信息保护机制；在不泄露敏感个人信息的情况下，提高数据可用性是当前深度学习应用程序的主要安全目标；在本地模型训练中，训练GAN需要达到纳什均衡，在某些情况下可以降低梯度来实现纳什均衡；GAN在训练阶段具有较强的不稳定性；在实际应用中，很难在发生器和鉴别器之间实现有效平衡，同时也缺少产生不同样本的能力，这会导致无法纠正的错误结果；其次，由于SGD易发生激荡，更加增加了GAN训练的不稳定性；在全局模式训练中，训练数据的分离和差异隐私的保证一直存在，并不完全受参数服务器可信度的影响；然而在剪裁参数值过大或过小也会增加训练难度或导致梯度消失，甚至会导致前层比后层变化更快而引起的梯度爆炸；
而本发明提出的保护方法，我们首先考虑两个参与者(定义为A的对手或攻击者，以及定义为V的受害者)，然后扩展我们的攻击策略，考虑多个用户；如图2所示，我们向参数服务器(parameterserver,PS)添加了一个检测模块，并修改了网络协议；然后根据修改后的协议和我们定义的数据埋点，在局部模型上添加一个埋点层；每个用户可以释放任意数量的标签，并且不需要重叠这些类；其中，窃取用户信息和攻击参数服务器是攻击系统的两种方法；我们将这些角色分为三种类型的攻击，即入侵者、受感染者和用户攻击；通常，加密用于保护交换的消息不被窃听；例如，可以通过对加密数据运行计算来开发DL解决方案，或者是引入随机性来处理一个故意错误的训练集；同时，也可以通过DES或差分隐私等加密方法，阻止入侵者的GAN攻击；然而对于那些受感染的不良用户，则可以使用GAN模型执行攻击来获取个人信息；本发明使用的是CAN模型来构建算法，在埋点层之下设置输出层；因此，在反向传播时埋点层是最先受到影响的；然而在我们的参数服务器协议中，局部模型的训练过程绕过了埋点层，也就是说埋点层不会影响训练过程；然而，攻击者并不知道埋点层是如何工作的；因此，在开始训练过程时，反向传播过程会更新被埋点层的权重，当攻击者向服务器上传参数时，检测模块会则会立即发现入侵；若此行为被归为恶GAN模型攻击，则攻击者上传的参数将被释放，攻击者的学习进度也将会受限，并且等待下一次的加载；当最终确认为有效攻击时，解决方案会由攻击行为决定，参数服务器也会直接将攻击者列入黑名单并拒绝后续访问；若此行为被归类为恶意上传参数，参数服务器也将会直接把攻击者列入黑名单；我们现在已经能针对攻击制定限有效的对策，解决方案可能涉及到安全的多方计算或同态加密；对此，我们在MNIST数据集上进行了实验，并使用了基于卷积神经网络的架构；在系统中，我们对本地参数和全局参数进行加密传输，这样即使入侵者成功入侵系统，也无法解密或对参数加密，因此入侵者也无法攻击GAN模型，也不能上传恶意参数；同时，也可以检测到感染的不良用户的参数上传；因此，我们可以得出结论，在受感染和不良用户在使用GAN模型攻击时，PS会检测到入侵，并高效返回参数。
需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，包括如下步骤：步骤一，建立GAN模型；步骤二，添加检测模块并修改网络协议；步骤三，检测模块检测入侵；步骤四，使用基于卷积神经网络的架构；其特征在于：
其中在上述的步骤一中，在协作深度学习高级网络架构的基础上生成对抗网络(GAN)模型，并通过CAN模型来构建算法；
其中在上述的步骤二中，向参数服务器(parameterserver,PS)添加了一个检测模块，并修改网络协议；然后根据修改后的协议和定义的数据埋点，在局部模型上添加一个埋点层，在埋点层之下设置输出层；
其中在上述的步骤三中，当攻击者向服务器上传参数时，反向传播过程会更新被埋点层的权重，检测模块则会立即发现入侵，若此行为被归为恶GAN模型攻击，则攻击者上传的参数将被释放，攻击者的学习进度也将会受限，并且等待下一次的加载；当最终确认为有效攻击时，解决方案会由攻击行为决定；
其中在上述的步骤四中，在MNIST数据集上实验使用基于卷积神经网络的架构，在系统中，对本地参数和全局参数进行加密传输，在受感染和不良用户在使用GAN模型攻击时，参数服务器(parameterserver,PS)会检测到入侵，并高效返回参数。
2.根据权利要求1的一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，其特征在于：所述步骤三中，攻击者分为三种类型的攻击，即入侵者、受感染者和用户攻击。
3.根据权利要求1的一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，其特征在于：所述步骤三中，攻击行为的解决方案：若此行为被归类为恶意上传参数，参数服务器也将会直接把攻击者列入黑名单并拒绝后续访问。
4.根据权利要求1的一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，其特征在于：所述步骤二中，在反向传播时埋点层是最先受到影响的，在该系统的参数服务器协议中，局部模型的训练过程绕过了埋点层，即埋点层不会影响训练过程。
5.根据权利要求1的一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，其特征在于：所述步骤四中，即使入侵者成功入侵系统，也无法解密或对参数加密，因此入侵者也无法攻击GAN模型，也不能上传恶意参数；同时也可以检测到感染的不良用户的参数上传。
CN201910805998.5A 2019-08-29 2019-08-29 一种防止gan模型攻击并保护cdl训练信息的隐私防护方法 Active CN112448916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910805998.5A CN112448916B (zh) 2019-08-29 2019-08-29 一种防止gan模型攻击并保护cdl训练信息的隐私防护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910805998.5A CN112448916B (zh) 2019-08-29 2019-08-29 一种防止gan模型攻击并保护cdl训练信息的隐私防护方法

Publications (2)

Publication Number Publication Date
CN112448916A true CN112448916A (zh) 2021-03-05
CN112448916B CN112448916B (zh) 2023-04-07

Family

ID=74741217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910805998.5A Active CN112448916B (zh) 2019-08-29 2019-08-29 一种防止gan模型攻击并保护cdl训练信息的隐私防护方法

Country Status (1)

Country Link
CN (1) CN112448916B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114172715A (zh) * 2021-12-02 2022-03-11 上海交通大学宁波人工智能研究院 一种基于安全多方计算的工控入侵检测系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN108322349A (zh) * 2018-02-11 2018-07-24 浙江工业大学 基于对抗式生成网络的深度学习对抗性攻击防御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN108322349A (zh) * 2018-02-11 2018-07-24 浙江工业大学 基于对抗式生成网络的深度学习对抗性攻击防御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAN CHANG等: "Privacy in neural network learning:threats and countermeasures", 《IEEE NETWORK》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114172715A (zh) * 2021-12-02 2022-03-11 上海交通大学宁波人工智能研究院 一种基于安全多方计算的工控入侵检测系统及方法
CN114172715B (zh) * 2021-12-02 2023-06-30 上海交通大学宁波人工智能研究院 一种基于安全多方计算的工控入侵检测系统及方法

Also Published As

Publication number Publication date
CN112448916B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Waheed et al. Security and privacy in IoT using machine learning and blockchain: Threats and countermeasures
Issa et al. Blockchain-based federated learning for securing internet of things: A comprehensive survey
Dasgupta et al. A survey of blockchain from security perspective
Almaiah et al. Classification of cyber security threats on mobile devices and applications
Makkar et al. Secureiiot environment: Federated learning empowered approach for securing iiot from data breach
Ambalavanan Cyber threats detection and mitigation using machine learning
Kumar et al. Study of intrusion detection system for DDoS attacks in cloud computing
Mishra et al. Hybrid solution to detect and filter zero-day phishing attacks
Dawit et al. Suitability of blockchain for collaborative intrusion detection systems
Snehi et al. Introspecting intrusion detection systems in dealing with security concerns in cloud environment
Bhattacharya et al. A comprehensive survey on online social networks security and privacy issues: Threats, machine learning‐based solutions, and open challenges
Park et al. Ransomware-based cyber attacks: A comprehensive survey
Pawlicki et al. The survey and meta-analysis of the attacks, transgressions, countermeasures and security aspects common to the Cloud, Edge and IoT
Choudhary et al. Emerging cyber security challenges after COVID pandemic: a survey
Jain et al. A Comparative Study on Cyber security Technology in Big data Cloud Computing Environment
CN112448916B (zh) 一种防止gan模型攻击并保护cdl训练信息的隐私防护方法
Nair et al. Security attacks in internet of things
Thankachan et al. A survey and vital analysis of various state of the art solutions for web application security
Hind et al. Internet of things: Classification of attacks using CTM method
Maniveena et al. A survey on IoT security and privacy
Raju et al. A Comprehensive Review of Cyber Security in Blockchain-Based IoT
Jain et al. A literature review on machine learning for cyber security issues
Albusalih et al. XSS detection using hybrid machine learning methods
Saeed et al. Machine learning based intrusion detection system in cloud environment
Suthar Emerging Cyber Security Threats During the COVID-19 Pandemic and Possible Countermeasures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant