CN111814165B - 一种基于深度神经网络中间层的图像隐私保护方法 - Google Patents

一种基于深度神经网络中间层的图像隐私保护方法 Download PDF

Info

Publication number
CN111814165B
CN111814165B CN202010647806.5A CN202010647806A CN111814165B CN 111814165 B CN111814165 B CN 111814165B CN 202010647806 A CN202010647806 A CN 202010647806A CN 111814165 B CN111814165 B CN 111814165B
Authority
CN
China
Prior art keywords
convolution kernel
middle layer
neural network
privacy
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010647806.5A
Other languages
English (en)
Other versions
CN111814165A (zh
Inventor
赵宏远
黄宏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010647806.5A priority Critical patent/CN111814165B/zh
Publication of CN111814165A publication Critical patent/CN111814165A/zh
Application granted granted Critical
Publication of CN111814165B publication Critical patent/CN111814165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度神经网络中间层的图像隐私保护方法，属于机器学习和图像处理技术领域。该方法包括：S1：选择深度神经网络需要添加噪声的一层神经元设定为当前中间层，计算当前中间层卷积核方差均值，并以当前中间层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组；S2：对步骤S1分成的两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私。本发明既能有效的从本地保护了用户的隐私防止不可信第三方或服务器造成的隐私泄露又兼顾了深度神经网络服务的质量，还能够根据用户对隐私敏感程度的不同自主调节对数据的保护程度，使用户获得适合自己的隐私保护程度以及服务质量。

Description

一种基于深度神经网络中间层的图像隐私保护方法
技术领域
本发明属于机器学习和图像处理技术领域，涉及一种基于深度神经网络中间层的图像隐私保护方法。
背景技术
随着智能手机、智慧医疗工具以及IoT设备的普及，使得在移动设备上运行的机器学习服务如图像识别，语言翻译，健康监控等的需求量越来越大。由于深度神经网络在这些领域的突出表现，将其植入到移动终端中似乎是一个不错的解决办法。但移动设备的存储空间，计算能力或者电量供给很难满足深度神经网络的要求，因此工业上目前的解决方案是将大型的深度神经网络分成本地和云端两部分，计算量较小以及对算力要求不高的浅层神经网络部署在移动终端，剩下的较大神经网络部署在云端，这样既满足了移动设备对机器学习服务的需求，又解决的大型深度神经网络无法部署在移动终端上的问题。
由于机器学习服务中对图像识别或处理的任务占比很大，这类服务大多要求用户上传图片，而图片中除了包含用户愿意上传的数据，还带有很多用户并不想发布到云端的敏感数据。这使得用户失去了对自己数据的控制，导致别有用心的攻击者或者服务提供方能够通过截取中间数据重建出用户上传的原始图像，得到用户的敏感信息，造成用户的隐私泄露。目前对这类隐私泄露问题提供的保护方法主要有两种：原始数据加噪，同态加密。原始数据加噪主要是在用户将数据输入到深度神经网络之前，对其添加服从某种分布的噪声以达到对数据的保护作用，这种保护方法操作简便，保护性较好，但会对深度神经网络的服务质量产生很大的影响，会大大降低用户体验。同态加密方法基于密码学实现对数据的保护，但其效率低、时间复杂度大，而且对运算的种类和运算的次数都有极为严格的要求，很难应用到计算次数多，计算复杂的深度神经网络之中。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度神经网络中间层的图像隐私保护方法，结合深度神经网络部署在移动终端的特点，分析本地部分神经网络卷积核的特征，将噪声按本地神经网络输出特征图所含信息的多少合理的添加其中，实现本地化的隐私保护。
为达到上述目的，本发明提供如下技术方案：
一种基于深度神经网络中间层的图像隐私保护方法，包括以下步骤：
S1：选择深度神经网络需要添加噪声的一层神经元设定为当前中间层，计算深度神经网络当前中间层卷积核方差均值，并以当前中间层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组；
S2：对步骤S1分成的两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私。
进一步，所述步骤S1具体包括以下步骤：
S11：对于当前中间层的第j个卷积核Kj，其尺寸为w×h×c，w和h分别是卷积核的长和宽，c表示卷积核的通道数；计算卷积核Kj的方差均值，其第i个通道的方差为i∈c，则卷积核Kj的方差均值/>
S12：设置卷积核分组阈值λ＝ηmax/4，其中ηmax是当前中间层中卷积核方差均值的最大值；将当前中间层的卷积核按其卷积核方差均值超过λ的分成G1组，未超过λ的分成G2组。
进一步，所述步骤S2具体包括以下步骤：
S21：对于G1中每一个输出的特征图，生成与其同中心，尺寸为H-block_size+1且服从概率为ξ1的伯努利分布的0，1矩阵Mask1，其中H表示特征图的长宽，block_size为用户设定的遮挡块的尺寸，ξ1为用户设定的遮挡块生成概率；对于G2中每一个输出的特征图，按同样的尺寸生成服从概率为ξ2的伯努利分布的0，1矩阵Mask2，其中ξ2＝ξ1/4；
S22：将Mask矩阵全1填充成和输出特征图尺寸相同的矩阵；以Mask矩阵中值为0的位置为中心将其周围长宽为block_size的矩形区域全置为0；
S23：添加保护的输出特征图为f'＝f·Mask，其中f表示原始特征图。
本发明的有益效果在于：本发明通过在深度神经网络中间层加入噪声的技术，保护用户的隐私同时保证了网络输出的准确率。隐私的保护程度是用户在本地可控的，最终用户将扰动后的数据上传给服务器完成深度神经网络后部分的计算，服务器计算出结果后返回给用户。本发明既能有效的从本地保护了用户的隐私防止不可信第三方或服务器造成的隐私泄露又兼顾了深度神经网络服务的质量，还能够根据用户对隐私敏感程度的不同自主调节对数据的保护程度，使用户获得适合自己的隐私保护程度以及服务质量。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为在深度神经网络中间层保护用户图像隐私机制的总体框架图；
图2为Mask矩阵示意图；
图3为加噪后上传到服务器的特征图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图3，本发明考虑一个用户需要向服务器上传图像信息来获得服务的场景，通过在用户上传到服务器的图像中添加噪声来保护用户图像中的隐私数据。本发明优选了一种在深度神经网络中间层特征图上进行扰动以保护用户图像隐私的保护算法，用户能够根据自己对图像隐私保护程度的不同要求去调整算法的保护强度以便获得更高的服务质量。
在具体解释本发明实施例之前，先解释本实施例涉及的4个概念。
(1)卷积神经网络是一类包含卷积计算其具有深度结构的前馈神经网络，是深度学习的代表算法之一。
(2)深度卷积神经网络是在卷积神经网络的基础上，增加其深度使其具有更好的特征提取和高维拟合能力的一种神经网络。本发明为解决这类神经网络进行图像处理任务时存在的隐私泄露问题提供了一种对中间层特征图添加噪声的保护机制。
(3)SSIM结构相似性，是一种衡量两幅图像相似度的指标。其取值范围在0到1之间，当两张图一模一样时，SSIM的值等于1。本发明用这个指标衡量中间层特征图所包含信息的多少。
(4)0-1分布，指一次随机试验，结果只有两种，即一个随机变量的取值只有0和1。记为：0-1分布或B(1,p)，其中p表示一次伯努利实验中结果为正或为1的概率。
一种基于深度神经网络中间层的图像隐私保护方法，用户在本地对其数据进行加噪保护，在该过程中用户能够控制隐私保护的强度，与此同时，还能够保证深度学习服务的服务质量。该模型一共分为部分，如图1所示，第一部分：选择深度神经网络需要添加噪声的一层神经元设定为当前中间层，计算当前中间层卷积核方差的平均值，并以当前层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组；第二部分：对第一阶段分成两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私。
第一部分，包括以下两个步骤：
步骤1：对于当前中间层的第j个卷积核Kj，其尺寸为w×h×c，w和h分别是卷积核的长和宽，c表示卷积核的通道数。计算卷积核Kj的方差均值，其第i个通道的方差为i∈c，则卷积核Kj的方差均值/>
步骤2：设置卷积核分组阈值λ＝ηmax/4，其中ηmax是当前中间层中卷积核方差均值的最大值。将当前中间层的卷积核按其卷积核方差均值是否超过λ分成两组，未超过λ的为G1组，超过λ的为G2组。
第二部分，包括以下三个步骤：
步骤1：对于G1中每一个输出的特征图，生成与其同中心，尺寸为H-block_size+1且服从概率为ξ1的伯努利分布的0，1矩阵Mask1，其中H表示特征图的长宽，block_size为用户设定的遮挡块的尺寸，ξ1为用户设定的遮挡块生成概率。对于G2中每一个输出的特征图，按同样的尺寸生成服从概率为ξ2伯努利分布的0，1矩阵Mask2，其中ξ2＝ξ1/4。
步骤2：将Mask矩阵全1填充成和输出特征图尺寸相同的矩阵。以Mask矩阵中值为0的位置为中心将其周围长宽为block_size的矩形区域全置为0。如图2所示，灰色区域表示全1填充前的Mask矩阵，矩阵中“×”位置的值为0，其中较粗的“×”表示按伯努利分布生成Mask矩阵中值为0的位置。
步骤3：添加保护的输出特征图f'＝f·Mask，其中f表示原始特征图。
验证实施例：将ImageNet数据集在VGG16以及ResNet50上的模拟，如图3所示，证实了本发明相比已有的相关工作提供了更强的隐私保护，同时保证了深度卷积网络的服务质量和任务准确率。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于深度神经网络中间层的图像隐私保护方法，其特征在于，该方法包括以下步骤：
S1：选择深度神经网络需要添加噪声的一层神经元设定为当前中间层，计算当前中间层卷积核方差均值，并以当前中间层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组；具体包括以下步骤：
S11：对于当前中间层的第j个卷积核Kj，其尺寸为w×h×c，w和h分别是卷积核的长和宽，c表示卷积核的通道数；计算卷积核Kj的方差均值，其第i个通道的方差为则卷积核Kj的方差均值/>
S12：设置卷积核分组阈值λ＝ηmax/4，其中ηmax是当前中间层中卷积核方差均值的最大值；将当前中间层的卷积核按其卷积核方差均值是否超过λ分成两组，未超过λ的为G1组，超过λ的为G2组；
S2：对步骤S1分成的两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私；具体包括以下步骤：
S21：对于G1中每一个输出的特征图，生成与其同中心，尺寸为H-block_size+1且服从概率为ξ1的伯努利分布的0，1矩阵Mask1，其中H表示特征图的长宽，block_size为用户设定的遮挡块的尺寸，ξ1为用户设定的遮挡块生成概率；对于G2中每一个输出的特征图，按同样的尺寸生成服从概率为ξ2的伯努利分布的0，1矩阵Mask2，其中ξ2＝ξ1/4；
S22：将Mask矩阵全1填充成和输出特征图尺寸相同的矩阵；以Mask矩阵中值为0的位置为中心将其周围长宽为block_size的矩形区域全置为0；
S23：添加保护的输出特征图为f'＝f·Mask，其中f表示原始特征图。
CN202010647806.5A 2020-07-07 2020-07-07 一种基于深度神经网络中间层的图像隐私保护方法 Active CN111814165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010647806.5A CN111814165B (zh) 2020-07-07 2020-07-07 一种基于深度神经网络中间层的图像隐私保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010647806.5A CN111814165B (zh) 2020-07-07 2020-07-07 一种基于深度神经网络中间层的图像隐私保护方法

Publications (2)

Publication Number Publication Date
CN111814165A CN111814165A (zh) 2020-10-23
CN111814165B true CN111814165B (zh) 2024-01-26

Family

ID=72841872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010647806.5A Active CN111814165B (zh) 2020-07-07 2020-07-07 一种基于深度神经网络中间层的图像隐私保护方法

Country Status (1)

Country Link
CN (1) CN111814165B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541574B (zh) * 2020-12-03 2022-05-17 支付宝(杭州)信息技术有限公司 保护隐私的业务预测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN107704877A (zh) * 2017-10-09 2018-02-16 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN108717680A (zh) * 2018-03-22 2018-10-30 北京交通大学 基于全稠密连接网络的空域图像隐写分析方法
CN109034228A (zh) * 2018-07-17 2018-12-18 陕西师范大学 一种基于差分隐私和层级相关性传播的图像分类方法
WO2019042139A1 (zh) * 2017-08-29 2019-03-07 京东方科技集团股份有限公司 图像处理方法、图像处理装置、神经网络的训练方法
CN111324870A (zh) * 2020-01-22 2020-06-23 武汉大学 一种基于安全双方计算的外包卷积神经网络隐私保护系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072957A (ja) * 2016-10-25 2018-05-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像加工方法、画像加工システム及びプログラム
US11157646B2 (en) * 2018-09-27 2021-10-26 Intel Corporation Systems and methods for processing and handling privacy-sensitive image data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
WO2019042139A1 (zh) * 2017-08-29 2019-03-07 京东方科技集团股份有限公司 图像处理方法、图像处理装置、神经网络的训练方法
CN107704877A (zh) * 2017-10-09 2018-02-16 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
WO2019071754A1 (zh) * 2017-10-09 2019-04-18 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN108717680A (zh) * 2018-03-22 2018-10-30 北京交通大学 基于全稠密连接网络的空域图像隐写分析方法
CN109034228A (zh) * 2018-07-17 2018-12-18 陕西师范大学 一种基于差分隐私和层级相关性传播的图像分类方法
CN111324870A (zh) * 2020-01-22 2020-06-23 武汉大学 一种基于安全双方计算的外包卷积神经网络隐私保护系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Find and Dig: A Privacy-Preserving Image Processing Mechanism in Deep Neural Networks for Mobile Computation";Hongyu Huang等;2021 International Joint Conference on neuralnetworks;第1-8页 *
"一种基于自注意力机制的文本图像生成对抗网络";黄宏宇等;重庆大学学报;第43卷(第(03)期);第55-61页 *
"机器学习系统的隐私和安全问题综述";何英哲等;计算机研究与发展;第56卷(第(10)期);第2049-2070页 *
基于DCGAN反馈的深度差分隐私保护方法;毛典辉;李子沁;蔡强;薛子育;;北京工业大学学报(第06期);870-877 *

Also Published As

Publication number Publication date
CN111814165A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
Li et al. Hermes: an efficient federated learning framework for heterogeneous mobile clients
Brutzkus et al. Low latency privacy preserving inference
Hesamifard et al. Cryptodl: Deep neural networks over encrypted data
CN113159329B (zh) 模型训练方法、装置、设备及存储介质
CN113949505B (zh) 一种隐私保护的多方安全计算方法和系统
CN114696990B (zh) 基于全同态加密的多方计算方法、系统及相关设备
CN110826420A (zh) 人脸识别模型的训练方法及装置
CN110659394B (zh) 基于双向邻近度的推荐方法
Wang et al. Deep learning data privacy protection based on homomorphic encryption in AIoT
CN115563650A (zh) 基于联邦学习实现医疗数据的隐私保护系统
Kalapaaking et al. Smpc-based federated learning for 6g-enabled internet of medical things
CN111814165B (zh) 一种基于深度神经网络中间层的图像隐私保护方法
Han et al. Zt-bds: A secure blockchain-based zero-trust data storage scheme in 6g edge iot
Deng et al. Adaptive federated learning with negative inner product aggregation
CN115907231A (zh) 一种电网数据预测的方法及装置
CN117216788A (zh) 基于区块链的联邦学习隐私保护视频场景识别方法
CN114492847B (zh) 一种高效个性化联邦学习系统和方法
Liao et al. Homomorphic CNN for Privacy Preserving Learning On Encrypted Sensor Data
Wang et al. TensorHE: A homomorphic encryption transformer for privacy-preserving deep learning
CN113537493B (zh) 人工智能模型训练方法、装置、远端平台和可读存储介质
Zhang et al. Scalable Binary Neural Network applications in Oblivious Inference
Li et al. The Entanglement of Communication and Computing in Enabling Edge Intelligence
Li et al. A CKKS-based privacy preserving extreme learning machine
Yao et al. A novel privacy-preserving neural network computing approach for E-Health information system
Shanthala et al. An improved IoT based security model for fitness tracker using quantum fruit fly optimization improved faster RCNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant