CN115292728A - 一种基于生成对抗网络的图像数据隐私保护方法 - Google Patents

一种基于生成对抗网络的图像数据隐私保护方法 Download PDF

Info

Publication number
CN115292728A
CN115292728A CN202210837537.8A CN202210837537A CN115292728A CN 115292728 A CN115292728 A CN 115292728A CN 202210837537 A CN202210837537 A CN 202210837537A CN 115292728 A CN115292728 A CN 115292728A
Authority
CN
China
Prior art keywords
picture
model
training
test
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210837537.8A
Other languages
English (en)
Other versions
CN115292728B (zh
Inventor
况琨
田琪
江克露
吴飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210837537.8A priority Critical patent/CN115292728B/zh
Publication of CN115292728A publication Critical patent/CN115292728A/zh
Application granted granted Critical
Publication of CN115292728B publication Critical patent/CN115292728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的图像数据隐私保护方法，所述方法包括：获取待保护图片及对应的可训练标签，得到图片训练集,并利用该数据集训练一个基于深度神经网络的图片分类模型；利用训练好的图片分类模型和图片训练集在生成对抗网络的框架下训练生成器模型和判别器模型，其中生成器模型为每个待保护图片生成加密噪声，判别器模型保证噪声是微小且不易察觉的；生成对抗网络训练完成后，将待保护的图片输入至生成器模型得到微小的噪声，将该噪声添加到原图上即可获得加密后的图片。本发明通过对图片数据添加微小噪声将其变为不可学习图片数据，任何基于深度神经网络的模型无法从这些数据中学习到有用的知识，从而保护加密图片的数据隐私。

Description

一种基于生成对抗网络的图像数据隐私保护方法
技术领域
本发明涉及深度学习领域的图像数据隐私保护技术，尤其涉及一种基于生成对抗网络的图像数据隐私保护方法。
背景技术
深度学习的发展需要大量收集数据，包括图像数据，而这些数据大都涉及个人的隐私信息。例如，医疗影像数据，就会涉及更多的个人隐私信息，这些信息的泄露有可能造成财产损失，甚至威胁生命安全。
在传统深度学习图像数据隐私保护领域，隐私保护方法是应用于访问者可以访问深度学习模型而无法访问图像数据的场景，目的是使可以访问模型的用户无法计算推测出原始数据，进而达到隐私保护的目的。例如，当访问者与模型进行交互时，就可以通过模型的输入输出逆向推测模型所使用训练数据中的隐私信息。而本发明是应用到访问者可以访问图像数据的场景，目标是使未经授权的深度学习模型获得图像数据后，却无法利用数据进行有效训练。例如，个人照片上传互联网时，不想被用于深度学习模型训练。有一种数据投毒攻击方法也可以用于数据保护，但是这些方法对模型的攻击相当有限，更难以在现实场景中应用。而且有毒样本只能轻微降低模型的整体性能。而本发明是通过使用生成对抗网络生成不可见的噪声将正常图片数据变成不可学习图片数据，使模型在干净图像数据上的性能类似随机猜测，达到保护数据的目的。
发明内容
本发明的目的是实现深度学习中图像数据隐私保护的需求，提供一种基于生成对抗网络的图像数据隐私保护方法。
本发明的发明构思是：获取待保护图片及对应的可训练标签，得到图片训练集,并利用该数据集训练一个基于深度神经网络的图片分类模型；利用训练好的图片分类模型和图片训练集在生成对抗网络的框架下训练生成器模型和判别器模型，其中生成器模型为每个待保护图片生成加密噪声，判别器模型保证噪声是微小且不易察觉的；生成对抗网络训练完成后，将待保护的图片输入至生成器模型得到微小的噪声，将该噪声添加到原图上即可获得加密后的图片；在评估时，将加密后的图片作为训练集，任何基于深度神经网络的图片分类模型无法在该数据集上训练出高分类精度的模型。
为实现上述发明目的，本发明具体采用的技术方案如下：
一种基于生成对抗网络的图像数据隐私保护方法，其包括如下步骤：
S1：获取由训练样本组成的图片训练集，每个训练样本包含待保护图片及对应的可训练标签，并利用该图片训练集训练一个基于深度神经网络的图片分类模型；
S2：利用训练好的图片分类模型和图片训练集在生成对抗网络的框架下训练生成器模型和判别器模型，其中生成器模型用于为每个待保护图片生成加密噪声，判别器模型用于识别原始的待保护图片和添加了加密噪声后的待保护图片；
S3：生成对抗网络训练完成后，将待保护的目标图片输入至生成器模型得到加密噪声，将该加密噪声添加到原目标图片上，获得加密图片。
基于上述技术方案，本发明还可以进一步采用如下优选方式。
作为优选，所述的S1具体包括以下子步骤：
S101：获取待保护图片集合X＝{x1,x2,…,xN}，其中N为图像集合中样本数目，xi表示第i个待保护图片样本；
S102：获取待保护图片集合X中每幅图像对应的可训练标签Y＝{y1,y2,…,yN}，yi表示第i个待保护图片样本对应的标签；
S103：使用参数为w的深度神经网络作为图片分类模型fw，该模型用于将每幅图像xi映射到标签空间，从而得到预测标签值；
S104：为了使得图片分类模型fw预测的标签值与对应图片的真值标签值一致，对训练样本定义损失函数
Figure BDA0003749268520000021
为：
Figure BDA0003749268520000022
其中：
Figure BDA0003749268520000023
表示图片和标签分布的期望，l表示交叉熵损失；
S105：基于所述图片训练集训练图片分类模型fw，根据损失函数
Figure BDA0003749268520000024
对模型fw进行反向回馈以更新图片分类模型的各层的参数w，最终学习到的模型作为第一模型
Figure BDA0003749268520000025
作为优选，所述的S2具体包括以下子步骤：
S201：使用参数为θ的深度神经网络作为生成器模型Gθ，用于为每幅图片xi生成与原图大小一致的加密噪声δi，δi＝Gθ(xi)；
S202：构建生成器模型训练的主要目标函数
Figure BDA0003749268520000031
该函数用于促进第一模型
Figure BDA0003749268520000032
将每幅图片的加密噪声δi分类为接近真值标签值yi的预测标签值：
Figure BDA0003749268520000033
其中：
Figure BDA0003749268520000034
表示图片和标签分布的期望，l表示交叉熵损失；
S203：构建一个基于软铰链的目标损失函数
Figure BDA0003749268520000035
以辅助生成器模型的训练：
Figure BDA0003749268520000036
其中：
Figure BDA0003749268520000037
表示图片和标签分布的期望，‖·‖2表示L2范数，c表示用户指定的噪声可接受幅值；
S204：使用参数为φ的深度神经网络作为判别器模型Dφ，针对该模型构建一个二分类目标函数
Figure BDA0003749268520000038
使判别器模型能够对原图片xi和添加了加密噪声的加密图片xi+δi进行分类：
Figure BDA0003749268520000039
其中，
Figure BDA00037492685200000310
表示图片和标签分布的期望；
S205：结合三项目标函数
Figure BDA00037492685200000311
和
Figure BDA00037492685200000312
针对生成器模型和判别器模型的训练构建一个最大-最小的博弈损失函数，用于交替更新各自的模型参数：
Figure BDA00037492685200000313
其中，α为一个权重值，用于权衡在训练生成器时
Figure BDA00037492685200000314
和
Figure BDA00037492685200000315
的相对重要程度；
S206：利用图片训练集在生成对抗网络的训练框架下训练生成器模型和判别器模型，且在模型迭代更新过程中，根据最大-最小的博弈损失函数对生成器模型和判别器模型进行反向回馈以更新两个模型的各层参数，最终学习到的生成器模型作为第二模型
Figure BDA0003749268520000041
作为优选，所述的S3具体包括以下子步骤：
S301：将待保护的目标图片x*输入到第二模型
Figure BDA0003749268520000042
中获得加密噪声
Figure BDA0003749268520000043
然后将噪声δ*附加到原始的目标图片x*上，获得加密后的图片x′。
S302：完成加密后的图片x′具备针对深度神经网络的不可学习属性，用于安全上传或分享至各种社交媒体上。
作为优选，对于生成对抗网络训练完成后的生成器模型，在投入实际应用前序对其进行评估；在评估时，将加密后的图片作为训练集，若基于深度神经网络的图片分类模型无法在该训练集上训练后其分类精度均无法满足要求，则视为该生成器模型达到使用要求。
作为优选，对生成器模型进行评估的方法具体包括以下子步骤：
S401：在评估时，由生成器模型生成加密图片x′i并为其标注标签y′i，从而构成一个图片集合X′＝{x′1,x′2,…,x′M}及其对应的标签集合Y′＝{y′1,y′2,…,y′M}作为训练集，其中M表示训练集中的样本数量；
S402：构建参数为ψ的深度神经网络作为图片分类模型hψ；
S403：构建一个图片分类任务的目标函数
Figure BDA0003749268520000044
使得神经网络预测的标签值与对应图像的真值标签值一致：
Figure BDA0003749268520000045
其中，
Figure BDA0003749268520000046
表示图片和标签分布的期望，l表示交叉熵损失；
S404：利用S401中构建的训练集对图片分类模型hψ进行训练，根据损失函数
Figure BDA0003749268520000047
对图片分类模型hψ进行反向回馈以更新图片分类模型的各层参数ψ，最终学习到的模型作为第三模型
Figure BDA0003749268520000048
S405：获取由新的加密图片构成的测试集用于评估模型
Figure BDA0003749268520000049
的分类精度，Xtest＝{xtest,1,xtest,2,…,xtest,K}和Ytest＝{ytest,1,ytest,2,…,ytest,K}分别表示该测试集的图片集合和其对应的标签集合，其中K表示测试集中的样本数量。
S406：将每张测试图片xtest,i输入到第三模型
Figure BDA00037492685200000410
中得到模型的预测标签
Figure BDA0003749268520000051
将所有测试图片的预测标签
Figure BDA0003749268520000052
和真值标签ytest,i进行对比获得第三模型
Figure BDA0003749268520000053
在测试集上的分类精度；如果分类精度低于阈值，则说明
Figure BDA0003749268520000054
无法从加密后的加密图片数据集中学习到有用的知识，图片经过第二模型
Figure BDA0003749268520000055
的加密能够满足保护图片拥有者数据隐私的需求。
作为优选，所述生成器模型的网络架构配合使用了卷积模块和反卷积模块，以保证输出的噪声尺度和原图尺度一致。
作为优选，所述卷积模块采用ResNet-18模型。
作为优选，所述图片分类模型采用ResNet-18模型。
作为优选，所述的步骤S301中，待加密的目标图片是用于训练生成对抗网络的图片，或者是其他任意图片。
本发明与背景技术相比，具有的有益的效果是：
本发明针对深度学习图像数据保护需求提出了一种基于生成对抗网络的图像数据隐私保护方法。该方法从实际应用场景出发，生成器模型训练完成后，在生成不可学习图片数据时只需输入原图片，无需标签等以外的信息，且这个过程只需要一次推断，方便实际部署使用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的一种基于生成对抗网络的图像数据隐私保护方法流程图。
图2为生成不可学习图片数据示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了实现深度学习中图像数据隐私保护的需求，本发明实施例提供了一种基于生成对抗网络的图像数据隐私保护方法，如图1所示，该方法具体包括如下步骤：
S1：获取由训练样本组成的图片训练集，每个训练样本包含待保护图片及对应的可训练标签，并利用该图片训练集训练一个基于深度神经网络的图片分类模型。
在本实施例中，上述S1具体包括以下子步骤S101～S105：
S101：获取待保护图片集合X＝{x1,x2,…,xN}，其中N为图像集合中样本数目，xi表示第i个待保护图片样本。
S102：获取待保护图片集合X中每幅图像对应的可训练标签Y＝{y1,y2,…,yN}，yi表示第i个待保护图片样本对应的标签。
S103：使用参数为w的深度神经网络作为图片分类模型fw，该模型用于将每幅图像xi映射到标签空间，从而得到预测标签值。
S104：构建一个目标函数，使得图片分类模型fw预测的标签值与对应图片的真值标签值一致，此处对训练样本定义的损失函数
Figure BDA0003749268520000061
为：
Figure BDA0003749268520000062
其中：
Figure BDA0003749268520000063
表示图片和标签分布的期望，l表示交叉熵损失。
S105：基于所述图片训练集训练图片分类模型fw，输入图像样本作为优化问题的训练样本，根据损失函数
Figure BDA0003749268520000064
对模型fw进行反向回馈以更新图片分类模型的各层的参数w，最终学习到的模型作为第一模型
Figure BDA0003749268520000065
S2：利用训练好的图片分类模型和图片训练集在生成对抗网络的框架下训练生成器模型和判别器模型，其中生成器模型用于为每个待保护图片生成加密噪声，判别器模型用于识别原始的待保护图片和添加了加密噪声后的待保护图片，从而保证经过训练后的生成器模型生成的噪声是微小且不易察觉的。
在本实施例中，上述S2具体包括以下子步骤S201～S206：
S201：使用参数为θ的深度神经网络作为生成器模型Gθ，用于为每幅图片xi生成与原图大小一致的加密噪声δi，δi＝Gθ(xi)。
S202：构建生成器模型训练的主要目标函数
Figure BDA0003749268520000071
该函数用于促进第一模型
Figure BDA0003749268520000072
将每幅图片的加密噪声δi分类为接近真值标签值yi的预测标签值：
Figure BDA0003749268520000073
其中：
Figure BDA0003749268520000074
表示图片和标签分布的期望，l表示交叉熵损失。构建该损失函数的主要动机是构建噪声与标签的强虚假关联以干扰图片和标签的真实映射关系。
S203：构建一个基于软铰链(hingeloss)的目标损失函数
Figure BDA0003749268520000075
以辅助生成器模型的训练：
Figure BDA0003749268520000076
其中：
Figure BDA0003749268520000077
表示图片和标签分布的期望，‖·‖2表示L2范数，c表示用户指定的噪声可接受幅值。构建该损失函数，一方面可以使生成器的训练更加稳定，同时可以控制噪声的幅值。
S204：使用参数为φ的深度神经网络作为判别器模型Dφ，针对该模型构建一个二分类目标函数
Figure BDA0003749268520000078
使判别器模型能够对原图片xi和添加了加密噪声的加密图片xi+δi进行分类：
Figure BDA0003749268520000079
其中，
Figure BDA00037492685200000710
表示图片和标签分布的期望。判别器的目的是区分原图xi和添加了加密噪声的图片xi+δi，以促进生成器产生的噪声δi尽可能不对原图xi造成较大影响，这样加密后图片依然可以保持其正常的效用。
S205：结合三项目标函数
Figure BDA00037492685200000711
和
Figure BDA00037492685200000712
针对生成器模型和判别器模型的训练构建一个最大-最小的博弈损失函数，用于交替更新各自的模型参数：
Figure BDA0003749268520000081
其中，α为一个权重值，用于权衡在训练生成器时
Figure BDA0003749268520000082
和
Figure BDA0003749268520000083
的相对重要程度。由此可见，本发明中生成器模型和判别器模型的训练范式是经典的生成对抗网络训练流程，即生成器模型最小化总目标函数，而判别器模型最大化总目标函数。
S206：利用图片训练集在生成对抗网络的训练框架下训练生成器模型和判别器模型，且在模型迭代更新过程中，输入图像样本作为优化问题的训练样本，根据最大-最小的博弈损失函数对生成器模型和判别器模型进行反向回馈以更新两个模型的各层参数，最终学习到的生成器模型作为第二模型
Figure BDA0003749268520000084
S3：生成对抗网络训练完成后，将待保护的目标图片输入至生成器模型得到微小不易察觉的加密噪声，将该加密噪声添加到原目标图片上，获得加密图片。
在本实施例中，上述S3具体包括以下子步骤S301～S302：
S301：将待保护的目标图片x*输入到第二模型
Figure BDA0003749268520000085
中获得加密噪声
Figure BDA0003749268520000086
然后将噪声δ*直接通过对应像素相加的方式附加到原始的目标图片x*上，获得加密后的图片x′。由于生成的噪声δ*是微小的，因此不影响图片的正常效用。其中，待加密的目标图片x*既可以是用于训练生成对抗网络的图片，也可以是其他任意图片，并且加密过程不依赖于图片标签信息。
需注意的是，此步骤S301中，待加密的目标图片是用于训练生成对抗网络的图片，或者是其他任意图片。
S302：完成加密后的图片x′具备针对深度神经网络的不可学习属性，用于安全上传或分享至各种社交媒体上。
另外在本发明中，对于生成对抗网络训练完成后的生成器模型，在投入实际应用前序对其进行评估。在评估时，将加密后的图片作为训练集，若基于深度神经网络的图片分类模型无法在该训练集上训练后其分类精度均无法满足要求，则表明经过本发明的生成器模型所生成的噪声进行加密处理后，加密后图片无法被深度神经网络学习，从而满足隐私性和安全性，视为本发明上述S2中得到的生成器模型达到使用要求，即本发明的图像数据隐私保护方法是安全可靠的。
在本实施例中，对生成器模型进行评估的方法记为S4步骤，具体包括以下子步骤S401～S406：
S401：在评估时，由生成器模型生成加密图片x′i并为其标注标签y′i，从而构成一个图片集合X′＝{x′1,x′2,…,x′M}及其对应的标签集合Y′＝{y′1,y′2,…,y′M}作为训练集，其中M表示训练集中的样本数量；
S402：构建参数为ψ的深度神经网络作为图片分类模型hψ；
S403：构建一个图片分类任务的目标函数
Figure BDA0003749268520000091
使得神经网络预测的标签值与对应图像的真值标签值一致：
Figure BDA0003749268520000092
其中，
Figure BDA0003749268520000093
表示图片和标签分布的期望，l表示交叉熵损失；
S404：利用S401中构建的训练集对图片分类模型hψ进行训练，根据损失函数
Figure BDA0003749268520000094
对图片分类模型hψ进行反向回馈以更新图片分类模型的各层参数ψ，最终学习到的模型作为第三模型
Figure BDA0003749268520000095
S405：获取由新的加密图片构成的测试集用于评估模型
Figure BDA0003749268520000096
的分类精度，Xtest＝{xtest,1,xtest,2,…,xtest,K}和Ytest＝{ytest,1,ytest,2,…,ytest,K}分别表示该测试集的图片集合和其对应的标签集合，其中K表示测试集中的样本数量。
S406：将每张测试图片xtest,i输入到第三模型
Figure BDA0003749268520000097
中得到模型的预测标签
Figure BDA0003749268520000098
将所有测试图片的预测标签
Figure BDA0003749268520000099
和真值标签ytest,i进行对比获得第三模型
Figure BDA00037492685200000910
在测试集上的分类精度；如果分类精度低于阈值，则说明
Figure BDA00037492685200000911
无法从加密后的加密图片数据集中学习到有用的知识，图片经过第二模型
Figure BDA00037492685200000912
的加密能够满足保护图片拥有者数据隐私的需求，且分类精度越低本发明的隐私保护效果越好，反之亦然。
需要说明的是，用于进行评估的加密图片x′i和标注标签y′i，可以是全新的数据，也可以是S1中的图片训练集经过处理后得到的数据，对此可不作限制。
本发明的上述第一模型、第二模型和第三模型均可采用任意可行的深度神经网络模型。
下面将上述图像数据隐私保护方法应用于具体的图像数据实施例中，进行图像数据保护。具体的步骤如S1～S4所述，不再赘述，下面仅展示其具体效果。
实施例
本实施例在常用的图像数据集上进行测试。
1)按照前述S1，获取图像数据集并分为训练集和测试集，利用该数据集的训练集训练一个基于深度神经网络的图片分类模型，得到第一模型。
2)按照前述S2，利用第一模型和图像数据集在生成对抗网络的框架下训练生成器模型和判别器模型，训练得到的生成器模型为第二模型。
3)按照前述S3，如图2所示，将数据集的训练集图片输入第二模型，得到微小噪声，将该噪声添加到数据集图片上，获得加密后的图片，即可上传至社交网络。
4)按照前述S4，在评估时，假设任何人可以从公共平台上下载到加密后的图片x′i并为其标注标签yi，从而构成一个训练集，并利用该训练集训练一个基于深度神经网络的图片分类模型，得到第三模型。将S1中图像数据集中的测试集输入第三模型，获得测试集的准确率(Accuracy)作为对本发明的图像数据隐私保护方法的性能评价。
需要说明的是，在本实施例中，用于训练形成第一模型和第二模型的图片分类模型均采用ResNet-18模型。另外，用于训练生成第二模型的生成器模型的网络架构配合使用了对应的卷积模块和反卷积模块，输入图像先经过卷积模块，卷积结果再输入反卷积模块后输出最终结果，以保证输出的噪声尺度和原图尺度一致。其中，卷积模块可采用ResNet-18模型实现，反卷积模块可采用与ResNet-18对应的反卷积网络。另外，本实施例中，用户指定的噪声可接受幅值c取8/255，权重值α取1。
本实施例是在三个常用的图像数据集上进行验证的，包括SVHN图像数据集(http://ufldl.stanford.edu/housenumbers/)、CIFAR-10图像数据集(https://www.cs.toronto.edu/～kriz/cifar.html)和ImageNet图像数据集前25类(https://www.image-net.org/)。
本实施例的结果如表1所示：
表1三个数据集的测试集准确率
Figure BDA0003749268520000111
1第一模型是指用原始数据集中训练集训练出来的模型
2准确率越低说明对图片数据保护效果越好
3第三模型是指用加密后的图片作为训练集训练出来的模型
上述结果表明，本发明的方法可以使神经网络模型无法从被保护的图片数据中学习到有用的知识，从而达到数据保护的目的。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于生成对抗网络的图像数据隐私保护方法，其特征在于，包括如下步骤：
S1：获取由训练样本组成的图片训练集，每个训练样本包含待保护图片及对应的可训练标签，并利用该图片训练集训练一个基于深度神经网络的图片分类模型；
S2：利用训练好的图片分类模型和图片训练集在生成对抗网络的框架下训练生成器模型和判别器模型，其中生成器模型用于为每个待保护图片生成加密噪声，判别器模型用于识别原始的待保护图片和添加了加密噪声后的待保护图片；
S3：生成对抗网络训练完成后，将待保护的目标图片输入至生成器模型得到加密噪声，将该加密噪声添加到原目标图片上，获得加密图片。
2.如权利要求1所述的基于生成对抗网络的图像数据隐私保护方法，其特征在于，所述的S1具体包括以下子步骤：
S101：获取待保护图片集合X＝{x1,x2,…,xN}，其中N为图像集合中样本数目，xi表示第i个待保护图片样本；
S102：获取待保护图片集合X中每幅图像对应的可训练标签Y＝{y1,y2,…,yN}，yi表示第i个待保护图片样本对应的标签；
S103：使用参数为w的深度神经网络作为图片分类模型fw，该模型用于将每幅图像xi映射到标签空间，从而得到预测标签值；
S104：为了使得图片分类模型fw预测的标签值与对应图片的真值标签值一致，对训练样本定义损失函数
Figure FDA0003749268510000011
为：
Figure FDA0003749268510000012
其中：
Figure FDA0003749268510000013
表示图片和标签分布的期望，l表示交叉熵损失；
S105：基于所述图片训练集训练图片分类模型fw，根据损失函数
Figure FDA0003749268510000014
对模型fw进行反向回馈以更新图片分类模型的各层的参数w，最终学习到的模型作为第一模型
Figure FDA0003749268510000015
3.如权利要求2所述的基于生成对抗网络的图像数据隐私保护方法，其特征在于，所述的S2具体包括以下子步骤：
S201：使用参数为θ的深度神经网络作为生成器模型Gθ，用于为每幅图片xi生成与原图大小一致的加密噪声δi，δi＝Gθ(xi)；
S202：构建生成器模型训练的主要目标函数
Figure FDA0003749268510000021
该函数用于促进第一模型
Figure FDA0003749268510000022
将每幅图片的加密噪声δi分类为接近真值标签值yi的预测标签值：
Figure FDA0003749268510000023
其中：
Figure FDA0003749268510000024
表示图片和标签分布的期望，l表示交叉熵损失；
S203：构建一个基于软铰链的目标损失函数
Figure FDA0003749268510000025
以辅助生成器模型的训练：
Figure FDA0003749268510000026
其中：
Figure FDA0003749268510000027
表示图片和标签分布的期望，‖·‖2表示L2范数，c表示用户指定的噪声可接受幅值；
S204：使用参数为φ的深度神经网络作为判别器模型Dφ，针对该模型构建一个二分类目标函数
Figure FDA0003749268510000028
使判别器模型能够对原图片xi和添加了加密噪声的加密图片xi+δi进行分类：
Figure FDA0003749268510000029
其中，
Figure FDA00037492685100000210
表示图片和标签分布的期望；
S205：结合三项目标函数
Figure FDA00037492685100000211
和
Figure FDA00037492685100000212
针对生成器模型和判别器模型的训练构建一个最大-最小的博弈损失函数，用于交替更新各自的模型参数：
Figure FDA00037492685100000213
其中，α为一个权重值，用于权衡在训练生成器时
Figure FDA00037492685100000214
和
Figure FDA00037492685100000215
的相对重要程度；
S206：利用图片训练集在生成对抗网络的训练框架下训练生成器模型和判别器模型，且在模型迭代更新过程中，根据最大-最小的博弈损失函数对生成器模型和判别器模型进行反向回馈以更新两个模型的各层参数，最终学习到的生成器模型作为第二模型
Figure FDA0003749268510000031
4.如权利要求3所述的基于生成对抗网络的图像数据隐私保护方法，其特征在于，所述的S3具体包括以下子步骤：
S301：将待保护的目标图片x*输入到第二模型
Figure FDA0003749268510000032
中获得加密噪声
Figure FDA0003749268510000033
然后将噪声δ*附加到原始的目标图片x*上，获得加密后的图片x′。
S302：完成加密后的图片x′具备针对深度神经网络的不可学习属性，用于安全上传或分享至各种社交媒体上。
5.如权利要求1所述的基于生成对抗网络的图像数据隐私保护方法，其特征在于，对于生成对抗网络训练完成后的生成器模型，在投入实际应用前序对其进行评估；在评估时，将加密后的图片作为训练集，若基于深度神经网络的图片分类模型无法在该训练集上训练后其分类精度均无法满足要求，则视为该生成器模型达到使用要求。
6.如权利要求5所述的基于生成对抗网络的图像数据隐私保护方法，其特征在于，对生成器模型进行评估的方法具体包括以下子步骤：
S401：在评估时，由生成器模型生成加密图片x′i并为其标注标签y′i，从而构成一个图片集合X′＝{x′1,x′2,…,x′M}及其对应的标签集合Y′＝{y′1,y′2,…,y′M}作为训练集，其中M表示训练集中的样本数量；
S402：构建参数为ψ的深度神经网络作为图片分类模型hψ；
S403：构建一个图片分类任务的目标函数
Figure FDA0003749268510000034
使得神经网络预测的标签值与对应图像的真值标签值一致：
Figure FDA0003749268510000035
其中，
Figure FDA0003749268510000036
表示图片和标签分布的期望，l表示交叉熵损失；
S404：利用S401中构建的训练集对图片分类模型hψ进行训练，根据损失函数
Figure FDA0003749268510000037
对图片分类模型hψ进行反向回馈以更新图片分类模型的各层参数ψ，最终学习到的模型作为第三模型
Figure FDA0003749268510000038
S405：获取由新的加密图片构成的测试集用于评估模型
Figure FDA0003749268510000039
的分类精度，Xtest＝{xtest,1,xtest,2,…,xtest,K}和Ytest＝{ytest,1,ytest,2,…,ytest,K}分别表示该测试集的图片集合和其对应的标签集合，其中K表示测试集中的样本数量。
S406：将每张测试图片xtest,i输入到第三模型
Figure FDA0003749268510000041
中得到模型的预测标签
Figure FDA0003749268510000042
将所有测试图片的预测标签
Figure FDA0003749268510000043
和真值标签ytest,i进行对比获得第三模型
Figure FDA0003749268510000044
在测试集上的分类精度；如果分类精度低于阈值，则说明
Figure FDA0003749268510000045
无法从加密后的加密图片数据集中学习到有用的知识，图片经过第二模型
Figure FDA0003749268510000046
的加密能够满足保护图片拥有者数据隐私的需求。
7.如权利要求3所述的基于生成对抗网络的图像数据隐私保护方法，其特征在于，所述生成器模型的网络架构配合使用了对应的卷积模块和反卷积模块，以保证输出的噪声尺度和原图尺度一致。
8.如权利要求7所述的基于生成对抗网络的图像数据隐私保护方法，其特征在于，所述卷积模块采用ResNet-18模型。
9.如权利要求7所述的基于生成对抗网络的图像数据隐私保护方法，其特征在于，所述图片分类模型采用ResNet-18模型。
10.如权利要求4所述的基于生成对抗网络的图像数据隐私保护方法，其特征在于，所述的步骤S301中，待加密的目标图片是用于训练生成对抗网络的图片，或者是其他任意图片。
CN202210837537.8A 2022-07-15 2022-07-15 一种基于生成对抗网络的图像数据隐私保护方法 Active CN115292728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210837537.8A CN115292728B (zh) 2022-07-15 2022-07-15 一种基于生成对抗网络的图像数据隐私保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210837537.8A CN115292728B (zh) 2022-07-15 2022-07-15 一种基于生成对抗网络的图像数据隐私保护方法

Publications (2)

Publication Number Publication Date
CN115292728A true CN115292728A (zh) 2022-11-04
CN115292728B CN115292728B (zh) 2023-08-04

Family

ID=83824179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210837537.8A Active CN115292728B (zh) 2022-07-15 2022-07-15 一种基于生成对抗网络的图像数据隐私保护方法

Country Status (1)

Country Link
CN (1) CN115292728B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719085A (zh) * 2023-01-10 2023-02-28 武汉大学 一种深度神经网络模型反演攻击防御方法及设备
CN116881954A (zh) * 2023-09-07 2023-10-13 徐州医科大学 一种基于对抗生成覆盖策略的医疗影像数据安全销毁方法
CN117113418A (zh) * 2023-10-18 2023-11-24 武汉大学 基于迭代优化的抗图像增强数据脱敏方法及系统
CN117668874A (zh) * 2023-12-07 2024-03-08 重庆大学 一种基于深度学习训练过程的数据隐私保护方法
CN118037573A (zh) * 2023-11-28 2024-05-14 北京航空航天大学 隐私保护的毫米波人体安检图像动态范围智能压缩方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN111091193A (zh) * 2019-10-31 2020-05-01 武汉大学 一种面向深度神经网络的基于差分隐私的域适应隐私保护方法
CN112232416A (zh) * 2020-10-16 2021-01-15 浙江大学 一种基于伪标签加权的半监督学习方法
US20210042580A1 (en) * 2018-10-10 2021-02-11 Tencent Technology (Shenzhen) Company Limited Model training method and apparatus for image recognition, network device, and storage medium
CN114329549A (zh) * 2021-12-28 2022-04-12 上海交通大学 一种基于生成对抗网络的图像隐私保护方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210042580A1 (en) * 2018-10-10 2021-02-11 Tencent Technology (Shenzhen) Company Limited Model training method and apparatus for image recognition, network device, and storage medium
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN111091193A (zh) * 2019-10-31 2020-05-01 武汉大学 一种面向深度神经网络的基于差分隐私的域适应隐私保护方法
CN112232416A (zh) * 2020-10-16 2021-01-15 浙江大学 一种基于伪标签加权的半监督学习方法
CN114329549A (zh) * 2021-12-28 2022-04-12 上海交通大学 一种基于生成对抗网络的图像隐私保护方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719085A (zh) * 2023-01-10 2023-02-28 武汉大学 一种深度神经网络模型反演攻击防御方法及设备
CN116881954A (zh) * 2023-09-07 2023-10-13 徐州医科大学 一种基于对抗生成覆盖策略的医疗影像数据安全销毁方法
CN116881954B (zh) * 2023-09-07 2024-02-02 苏州慧睿康智能科技有限公司 一种基于对抗生成覆盖策略的医疗影像数据安全销毁方法
CN117113418A (zh) * 2023-10-18 2023-11-24 武汉大学 基于迭代优化的抗图像增强数据脱敏方法及系统
CN117113418B (zh) * 2023-10-18 2024-01-16 武汉大学 基于迭代优化的抗图像增强数据脱敏方法及系统
CN118037573A (zh) * 2023-11-28 2024-05-14 北京航空航天大学 隐私保护的毫米波人体安检图像动态范围智能压缩方法
CN117668874A (zh) * 2023-12-07 2024-03-08 重庆大学 一种基于深度学习训练过程的数据隐私保护方法
CN117668874B (zh) * 2023-12-07 2024-06-07 重庆大学 一种基于深度学习训练过程的数据隐私保护方法

Also Published As

Publication number Publication date
CN115292728B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN115292728A (zh) 一种基于生成对抗网络的图像数据隐私保护方法
US11227187B1 (en) Generating artificial intelligence solutions using raw data and simulated data
Rocchetto et al. Learning hard quantum distributions with variational autoencoders
Kőrösi et al. MOOC performance prediction by deep learning from raw clickstream data
Korfmann et al. Deep learning in population genetics
CN115659408B (zh) 一种电力系统敏感数据共享方法、系统及存储介质
Bevanda et al. Diffeomorphically learning stable Koopman operators
Wu et al. Emulating facial biomechanics using multivariate partial least squares surrogate models
CN111598032B (zh) 一种基于图神经网络的群体行为识别方法
Klemmer et al. Spate-gan: Improved generative modeling of dynamic spatio-temporal patterns with an autoregressive embedding loss
CN118153016B (zh) 基于人工智能的鉴权系统
CN113704372B (zh) 基于深度对抗网络的遥感影像转换地图迁移方法和装置
Chen et al. Sparse general non-negative matrix factorization based on left semi-tensor product
Marwala et al. The use of synthetic data to train ai models: Opportunities and risks for sustainable development
CN116578738B (zh) 一种基于图注意力和生成对抗网络的图文检索方法和装置
Deffo et al. CNNSFR: A convolutional neural network system for face detection and recognition
CN114757247A (zh) 分类预测模型的训练方法、分类预测方法、装置和设备
CN116028891B (zh) 一种基于多模型融合的工业异常检测模型训练方法和装置
CN117058088A (zh) 一种基于智能合约和自注意力的covid-19病灶预测系统
Rominger et al. meteR: an r package for testing the maximum entropy theory of ecology
Graf et al. Error-aware b-pinns: Improving uncertainty quantification in bayesian physics-informed neural networks
ANNAKI et al. Overview of Data Augmentation Techniques in Time Series Analysis.
Badu-Marfo et al. A differentially private multi-output deep generative networks approach for activity diary synthesis
CN114510592A (zh) 图像分类方法、装置、电子设备及存储介质
Gatla et al. Advancements in Generative AI: Exploring Fundamentals and Evolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant