CN109034228B - 一种基于差分隐私和层级相关性传播的图像分类方法 - Google Patents

一种基于差分隐私和层级相关性传播的图像分类方法 Download PDF

Info

Publication number
CN109034228B
CN109034228B CN201810781097.2A CN201810781097A CN109034228B CN 109034228 B CN109034228 B CN 109034228B CN 201810781097 A CN201810781097 A CN 201810781097A CN 109034228 B CN109034228 B CN 109034228B
Authority
CN
China
Prior art keywords
loop
neural network
layer
image data
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810781097.2A
Other languages
English (en)
Other versions
CN109034228A (zh
Inventor
李蜀瑜
陈竑毓
李泽堃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN201810781097.2A priority Critical patent/CN109034228B/zh
Publication of CN109034228A publication Critical patent/CN109034228A/zh
Application granted granted Critical
Publication of CN109034228B publication Critical patent/CN109034228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于差分隐私和层级相关性传播的图像分类方法，属于数据安全技术领域，其思路为：确定灰度图像数据集D，灰度图像数据集D包括m个灰度图像数据；计算灰度图像数据集D的相关性矩阵R和灰度图像数据集D的噪声平均相关性矩阵
Figure DDA0001732578770000011
设定卷积神经网络包括num_conv个卷积层和num_FC个全连接层，使用θ表示卷积神经网络全部参数，θ＝{θConv,θFC}，θConv表示卷积神经网络num_conv个卷积层的参数，θFC表示卷积神经网络num_FC个全连接层的参数；进而得到卷积神经网络最优参数
Figure DDA0001732578770000012
Figure DDA0001732578770000013
表示卷积神经网络num_conv个卷积层的最优参数，
Figure DDA0001732578770000014
表示卷积神经网络num_FC个全连接层的最优参数；将卷积神经网络num_conv个卷积层的最优参数
Figure DDA0001732578770000015
和卷积神经网络num_FC个全连接层的最优参数
Figure DDA0001732578770000016
作为一种基于差分隐私和层级相关性传播的图像分类结果。

Description

一种基于差分隐私和层级相关性传播的图像分类方法
技术领域
本发明属于数据安全技术领域，特别涉及一种基于差分隐私和层级相关性传播的图像分类方法。
背景技术
随着人工智能在推荐系统中的广泛应用，其高效的信息过滤技术，使用户更高效的获得自己感兴趣的商品和信息，但推荐系统向用户推荐的同时，存在侵犯用户隐私的风险。一方面，用户可能担心推荐结果中包含太多内容，会泄露自己的隐私信息；另一方面，对推荐结果感兴趣的用户可能担心推荐内容中包含低俗信息，限制其技术改进的能力；因此，处理隐私数据通常需要考虑数据可用性与隐私保护之间的平衡。
在整个大数据营销中，图像作为用户行为数据的重要组成部分，被广泛应用于各大电商网站，推荐系统通过模型分析模块提取图像的内容特征，例如颜色、纹理、形状等低级特征，PHOG、SIFT、CEDD等高级特征，然后对图像进行分类建模，计算与同一分类的库中图像的相似性，最终通过图像的相似性程度和相关匹配程度进行智能推荐；但是，当前基于图像数据的推荐系统并没有对数据进行隐私保护。
发明内容
针对上述现有技术中存在的隐私保护问题，本发明的目的在于提出一种基于差分隐私和层级相关性传播的图像分类方法，该种基于差分隐私和层级相关性传播的图像分类方法结合图像相关性及差分隐私技术设计一种隐私保护模型，基于卷积神经网络，通过训练多层网络来解决图像分类问题；在具体改进中，采用层级相关性传播(Layer-wiseRelevance Propagation,LRP)算法对神经网络中输入的图像特征数据与图像的分类结果之间的相关性进行量化，然后通过量化的相关性来确定对输入特征的隐私保护力度；通过这样的方式，使得图像在隐私保护的前提下，依然能够有较好的分类结果。
本发明的主要思路：利用LRP算法计算得到每个输入特征的平均相关性，并为其添加拉普拉斯噪声，实现图像相关性的隐私保护；根据分配的隐私预算，为神经网络的训练过程添加差分隐私保护，具体表现在为神经网络构造差分隐私变换层用于对图像部分区域中的输入特征按照一定规则添加噪声，同时对神经网络的损失函数添加噪声处理；为了提升神经网络的收敛速度，采用Adam算法迭代更新模型参数并最终输出得到稳定的模型。
为达到上述技术目的，本发明采用如下技术方案予以实现。
一种基于差分隐私和层级相关性传播的图像分类方法，包括以下步骤：
步骤1，确定灰度图像数据集D，所述灰度图像数据集D包括m个灰度图像数据和m个灰度图像数据对应的分类标签；然后基于层级相关性传播计算得到灰度图像数据集D的相关性矩阵R；
步骤2，基于差分隐私以及根据灰度图像数据集D的相关性矩阵R，得到灰度图像数据集D的噪声平均相关性矩阵
Figure BDA0001732578750000021
步骤3，将灰度图像数据集D划分为训练集D1与测试集D2，训练集D1包括
Figure BDA0001732578750000022
个灰度图像数据，测试集D2包括
Figure BDA0001732578750000023
个灰度图像数据，
Figure BDA0001732578750000024
设定卷积神经网络包括num_conv个卷积层和num_FC个全连接层，使用θ表示卷积神经网络全部参数，θ＝{θConv,θFC}，θConv表示卷积神经网络num_conv个卷积层的参数，θFC表示卷积神经网络num_FC个全连接层的参数；
初始化：令loop表示第loop次迭代，loop的初始值设为1，loop的最大值为预设值max_loop；对于第loop次迭代，1≤loop≤max_loop；
步骤4，从训练集D1中确定第loop次迭代后的灰度图像数据集Dloop，进而得到第loop次迭代后的扰动批量数据
Figure BDA0001732578750000025
步骤5，根据第loop次迭代后的扰动批量数据
Figure BDA0001732578750000026
计算得到第loop次迭代后的交叉熵损失函数Lossloop，进而得到第loop次迭代后的扰动损失函数
Figure BDA0001732578750000027
步骤6，根据第loop次迭代后的扰动损失函数
Figure BDA0001732578750000028
计算得到第loop次迭代后一阶矩偏差修正结果
Figure BDA0001732578750000029
和第loop次迭代后二阶矩偏差修正结果
Figure BDA00017325787500000210
步骤7，如果loop<max_loop，则令loop的值加1，根据第loop-1次迭代后一阶矩偏差修正结果
Figure BDA00017325787500000211
和第loop-1次迭代后二阶矩偏差修正结果
Figure BDA00017325787500000212
计算loop次迭代后的卷积神经网络全部参数θloop，然后返回步骤4；
直到得到第max_loop次迭代后的卷积神经网络全部参数θmax_loop，此时迭代停止，并将迭代停止时得到的第max_loop次迭代后的卷积神经网络全部参数θmax_loop，作为卷积神经网络最优参数
Figure BDA0001732578750000031
Figure BDA0001732578750000032
表示卷积神经网络num_conv个卷积层的最优参数，
Figure BDA0001732578750000033
表示卷积神经网络num_FC个全连接层的最优参数；
将卷积神经网络num_conv个卷积层的最优参数
Figure BDA0001732578750000034
和卷积神经网络num_FC个全连接层的最优参数
Figure BDA0001732578750000035
作为一种基于差分隐私和层级相关性传播的图像分类结果。
本发明的有益效果：
本发明基于图像相关性，充分考虑到图像特征数据的重要特征，并根据这些重要程度自适应地扰动输入特征，对图像本身进行隐私保护；再者，扰动神经网络的损失函数来保护模型参数，对模型进行隐私保护；通过上述隐私保护步骤，使得图像在隐私保护的前提下，依然能够有较好的分类效果。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1是本发明的一种基于差分隐私和层级相关性传播的图像分类方法流程图；
图2a是计算得到的的平均相关性示意图；
图2b是经过噪声处理的平均相关性示意图图；
图3a是原始图像示意图；
图3b是经过噪声处理后的图像示意图；
图4是本发明的一种基于差分隐私和层级相关性传播的图像分类方法在不同隐私预算下的模型分类准确率对比图。
具体实施方式
参照图1，为本发明的一种基于差分隐私和层级相关性传播的图像分类方法流程图；其中所述基于差分隐私和层级相关性传播的图像分类方法，包括以下步骤：
步骤1：输入数据集，计算输入特征的相关性并累加求和。
输入灰度图像数据集D，其中灰度图像数据集D包含第一部分和第二部分两部分内容，第一部分是m个灰度图像数据，每个灰度图像数据都为n×n维矩阵，且n×n维矩阵中每个元素分别代表一个输入特征；第二部分是m个灰度图像数据对应的分类标签，记分类标签数量为C，则C个分类标签是一个C维的one-hot向量。
设置神经网络共有L层，分别用0,1,2,...,l,l+1,...,L-1表示，神经网络第0层表示输入层，第L-1层表示输出层，中间第1层至第L-2层都是隐藏层；神经网络第0层神经元总个数为|n×n|，第L-1层神经元总个数为C。
神经网络连接权重用w表示，w＝{w(0,1),w(1,2),...,w(l,l+1),...,w(L-2,L-1)}，w(0,1)表示神经网络第0层和第1层的连接权重，w(l,l+1)表示神经网络第l层和第l+1层的连接权重，w(l，l+1)是一个行数为神经网络第l+1层神经元总个数、列数为神经网络第l层神经元总个数的权重矩阵；神经网络偏置项用b表示，b＝{b(1),b(2),...,b(l),...,b(L-1)}，b(1)表示神经网络第1层的偏置项，是一个维数为第1层神经元总个数的实数向量；b(l)表示神经网络第l层的偏置项，是一个维数为第l层神经元总个数的实数向量。
基于上述神经网络，计算每个灰度图像数据的图像输入特征与分类结果的相关性并对其累加求和，进而得到灰度图像数据集D的相关性矩阵R，R是一个与每个灰度图像数据行数和列数均相同的矩阵，其每一维度上的相关性用Rrow,col表示，其中row和col表示位于灰度图像数据集D的相关性矩阵R的第row行、第col列，且1≤row≤n，1≤col≤n；实际计算灰度图像数据集D的相关性矩阵R的过程包括如下几个子步骤：
(1a)前向计算过程可以表述为计算当前神经元的偏置项加上神经网络上一层每一个神经元的输出乘以其与当前神经元的连接权重累加之和的值，然后将求和结果作为当前神经元的输入，再经过激活函数处理得到输出，又将输出值用于下一层神经元输入的计算，直至达到神经网络输出层，其中神经元的输入由下述公式(1)计算得到：
Figure BDA0001732578750000041
其中，j＝1,2,…,|l'+1|，i＝1,2,…,|l'|，|l'|表示神经网络第l'层神经元总个数，|l'+1|表示神经网络第l'+1层神经元总个数，l'＝0,1,2,…,L-2，
Figure BDA0001732578750000042
表示神经网络第l'+1层第j个神经元的输入，
Figure BDA0001732578750000043
表示神经网络第l'层第i个神经元的输出，若l'＝0，则
Figure BDA0001732578750000044
表示神经网络第0层第i个神经元的输出；
Figure BDA0001732578750000045
表示神经网络第l'层第i个神经元和第l'+1层第j个神经元的连接权重，
Figure BDA0001732578750000051
表示神经网络第l'+1层第j个神经元的偏置项；将输入值经过
Figure BDA0001732578750000052
计算可得到神经网络第l'+1层第j个神经元的输出
Figure BDA0001732578750000053
其中f(·)表示应用在当前神经元的激活函数，当l'+1＝L-1时，
Figure BDA0001732578750000054
表示神经网络第L-1层第j个神经元的输出。
(1b)令j的值分别取1至|l'+1|，重复执行(1a)，进而分别得到神经网络第l'+1层第1个神经元的输入
Figure BDA0001732578750000055
至神经网络第l'+1层第|l'+1|个神经元的输入
Figure BDA0001732578750000056
以及神经网络第l'+1层第1个神经元的输出
Figure BDA0001732578750000057
至神经网络第l'+1层第|l'+1|个神经元的输出
Figure BDA0001732578750000058
并分别记为神经网络第l'+1层的输入z(l'+1)和神经网络第l'+1层的输出x(l'+1)，然后将j的值初始化为1。
(1c)令l'的值分别取0至L-2，重复执行(1a)和(1b)，进而分别得到神经网络第1层的输入z(1)至神经网络第L-1层的输入z(L-1)，以及神经网络第1层的输出x(1)至神经网络第L-1层的输出x(L-1)，然后将l'的值初始化为0。
从灰度图像数据集D中读取第k个灰度图像数据，将第k个灰度图像数据处理成|n×n|长度的列向量形式，并在设置的神经网络上使用传统神经网络中的前向算法计算得到第k个灰度图像数据的C维输出量Outk；k＝1,2,…,m。
将第k个灰度图像数据的C维输出量Outk作为神经网络第L-1层的相关性r(L-1)，计算输入特征与分类结果的相关性就是将这些相关性利用计算公式从输出层逐层向后传播至输入层，即传播到输入特征；根据神经网络的特点，当前神经元上计算得到的相关性会在向后传播过程中被分散到上一层相连的所有神经元上，给出相关性在层级之间的传播方式如公式(2)所示：
Figure BDA0001732578750000059
其中，因相关性计算过程是向后传播的，所以l″+1的初始值是L-1，l″的初始值为L-2，可取l″+1＝L-1,L-2,…,2,1，l″＝L-2,L-3,…,2,1,0；
Figure BDA00017325787500000510
表示神经网络第l″层第i'个神经元上的相关性，i'＝1,2,…,|l″|，|l″|表示神经网络第l″层神经元总个数；当l″取值为0时，神经网络第0层神经元总个数为|n×n|，此时
Figure BDA00017325787500000511
也就是第i个输入特征上的相关性；
Figure BDA0001732578750000061
表示神经网络第l″+1层第j″个神经元上的相关性，j″＝1,2,…,|l″+1|，|l″+1|表示神经网络第l″+1层神经元总个数；
Figure BDA0001732578750000062
表示神经网络第l″+1层第j″个神经元的输入，
Figure BDA0001732578750000063
表示神经网络第l″层第i'个神经元和第l″+1层第j″个神经元的连接权重，
Figure BDA0001732578750000064
表示神经网络第l″层第i'个神经元的输出。
基于层级相关性传播并根据公式(2)计算得到神经网络第0层的相关性r(0)，
Figure BDA0001732578750000065
Figure BDA0001732578750000066
表示神经网络第0层第q个神经元的相关性，q＝1,2,…,|n×n|，|n×n|表示神经网络第0层神经元总个数，也就是第k个灰度图像数据的输入特征数；然后将神经网络第0层的相关性r(0)，作为第k个灰度图像数据相关性列向量。
(1d)将第k个灰度图像数据相关性列向量转换为与第k个灰度图像数据同形状的相关性矩阵，记为第k个灰度图像数据的相关性矩阵Pk。
(1e)令k的值分别取1至m，重复子步骤(1a)至(1d)，进而得到第1个灰度图像数据的相关性矩阵P1至第m个灰度图像数据的相关性矩阵Pm，并记为m个灰度图像数据的相关性矩阵P1,P2,P3,...,Pm。
(1f)计算第row行、第col列上的相关性Rrow,col，其计算过程如公式(3)所示：
Figure BDA0001732578750000067
其中，row＝1,2,…,n，col＝1,2,…,n，Pk,row,col表示第k个灰度图像数据的相关性矩阵Pk在第row行、第col列上的相关性。
(1g)令col的值分别取1至n，重复执行(1f)，进而分别得到第row行、第1列上的相关性Rrow,1至第row行、第n列上的相关性Rrow,n，记为第row行上的相关性Rrow，然后将col的值初始化为1。
(1h)令row的值分别取1至n，重复执行(1f)和(1g)，进而分别得到第1行上的相关性R1至第n行上的相关性Rn，记为灰度图像数据集D的相关性矩阵R。
步骤2：计算平均相关性进行噪声处理。
步骤1计算得到的灰度图像数据集D的相关性矩阵R衡量了灰度图像数据集D中不同维度的输入特征对m个灰度图像数据的分类结果影响；为使计算过程中占据内存量小，可对灰度图像数据集D的相关性矩阵R求平均值；但同时考虑到相关性数据可能造成的隐私泄露风险，步骤2计算每个输入特征的平均相关性并对其进行噪声处理。
噪声处理操作中添加噪声的规模与平均相关性计算函数的敏感度△F相关，即计算函数对单一相关性值的最大敏感程度，因此为方便对输入特征的平均相关性的噪声处理，可将其进行归一化处理。
在本发明方法中，样本计算得到的相关性取值经过归一化处理，最大值为1，共有m个灰度图像数据的相关性参与计算，得出平均相关性计算函数的函数敏感度△F取值为
Figure BDA0001732578750000071
确定了平均相关性计算函数的函数敏感度，添加噪声的规模还与隐私预算相关；在(0,1)内随机抽取数据作为第一隐私预算ε1的值，将灰度图像数据集D的噪声平均相关性矩阵用
Figure BDA0001732578750000072
表示，令
Figure BDA0001732578750000073
表示灰度图像数据集D的噪声平均相关性矩阵
Figure BDA0001732578750000074
的第row行、第col列元素，其计算公式如公式(5)所示：
Figure BDA0001732578750000075
其中，row＝1,2,…,n，col＝1,2,…,n，Rrow,col表示第row行、第col列上的相关性，
Figure BDA0001732578750000076
表示服从拉普拉斯Laplace分布的噪声添加量，normalize(·)表示将平均相关性进行归一化处理。
步骤2给出了量化每个输入特征对数据集样本总体分类结果的影响程度的步骤，并对其添加了隐私保护；本发明方法后续步骤会利用这个噪声平均相关性矩阵对输入数据添加隐私保护，并确保较好的分类效果。
步骤3：构造卷积神经网络模型。
构造需要训练的卷积神经网络模型并进行参数初始化；在本实施例中，卷积神经网络不仅需要对每一个灰度图像数据进行分类任务，而且需要保护每一个灰度图像数据的数据隐私，因此构造神经网络过程中，在传统的模型之外，添加差分隐私变换层DPT，用于对每一个灰度图像数据进行噪声处理。
差分隐私变换层DPT的运行原理首先在于每一个灰度图像数据中的重要像素点处于绝对中心或者是相对中心的位置，因此其处理步骤在于先将每一个灰度图像数据归一化，此时较大概率上灰度图像边缘都是0值或是接近于0的值，之后判断从哪一行哪一列开始到哪一行哪一列结束的矩形范围内都有特征值不小于设定的阈值thv，设定的阈值thv根据具体数据集确定，一般取0或者m个灰度图像数据的所有输入特征中最大值的十分之一。
利用上述原理确定图像的矩形区域范围作为待加噪区域，然后根据步骤2计算的平均相关性矩阵对区域内输入特征进行加噪，加噪原则是非零且相关性较大的特征添加更小的噪声，反之亦然，对于待加噪区域内的零值输入特征，按照概率添加噪声，具体应用方式将在步骤4进行讲解；差分隐私变换层DPT减小了每一个灰度图像数据的加噪范围，使得较于为整个图像数据添加噪声的方式能够支持更小的隐私预算，即实现更好的隐私保护；扰动之后，将输入特征从[0,1]扩展到[-1,1]，用于后续模型计算。
构造一个卷积神经网络模型，在神经网络输入层之后添加差分隐私变换层DPT，对于卷积神经网络模型中的连接权重以及偏置项等模型参数采用随机方式进行初始化；本发明中采用模型的层数及其超参数将在实验仿真阶段给出。
利用交叉验证方式将灰度图像数据集D分成训练集D1与测试集D2，在训练集D1包括
Figure BDA0001732578750000081
个灰度图像数据，并在训练集D1上迭代步骤4、5、6进行模型训练；测试集D2包括
Figure BDA0001732578750000082
个灰度图像数据，
Figure BDA0001732578750000083
初始化：令loop表示第loop次迭代，loop的初始值设为1，loop的最大值为预设值max_loop；对于第loop次迭代，1≤loop≤max_loop。
训练过程遵循差分隐私保护原则，根据经验分配的第二隐私预算为ε2，ε2∈(0,1)。具体的训练过程中要保证对m个灰度图像数据本身以及对模型参数的隐私保护，具体方式是对输入特征进行噪声处理，以及对损失函数进行噪声处理，卷积神经网络模型将第二隐私预算ε2平均分到两个处理过程中，即每个步骤的隐私预算均为
Figure BDA0001732578750000084
步骤4：训练过程批数据读取，并对输入特征进行噪声处理。
考虑到神经网络的训练效率，训练过程采用批量方式读取数据，将批量大小记为batch_size；从训练集D1随机读取batch_size个灰度图像数据用于训练，读取的批量数据记为第loop次迭代后的灰度图像数据集Dloop，
Figure BDA0001732578750000085
为避免训练过程中图像数据的隐私泄露，利用差分隐私变换层DPT对每个灰度图像数据的输入特征进行扰动处理，得到扰动图像的输入特征；扰动图像的输入特征一方面可以对对应灰度图像数据本身进行隐私保护，另一方面也有可能会降低对应灰度图像的分类准确率；本发明方法希望通过扰动更小范围内的输入特征，以及对重要特征扰动更少的原则实现对隐私保护与分类准确率之间的平衡。
对于每个灰度图像数据，差分隐私变换层DPT的具体运行原理可划分为几个子步骤，包括：
(4a)确定加噪区域。
选取第loop次迭代后的灰度图像数据集Dloop中第d幅灰度图像数据，记为Dloop,d，d＝1,2,…,batch_size；对Dloop,d进行归一化处理，并根据差分隐私变换层DPT的运行原理，设定阈值为0的方式确定Dloop,d的部分矩形区域范围作为第loop次迭代后第d幅灰度图像数据的待加噪区域Floop,d，缩小Dloop,d的加噪范围。
具体地，构造一个长为n且值全为thv的行向量，行向量的行标依次为1、2、…、n，计算行标的下限需从Dloop,d中第1行开始比较，依次将Dloop,d的行标加1，直到Dloop,d中的行首次出现行内输入特征超过设定阈值thv，则将该行的行标设定为待加噪区域Floop,d的行下限，记为R_low；计算行标的上限则需要从Dloop,d中第n行开始比较，依次将Dloop,d中的行标减1，直到Dloop,d中首次出现行内输入特征超过设定阈值thv，则将该行的行标设定为待加噪区域Floop,d的行上限，记为R_high。
同样原理，构造一个长为n且值全为thv的列向量，列向量的列标依次为1、2、…、n，计算列标的下限需从Dloop,d中第1列开始比较，依次将Dloop,d的列标加1，直到Dloop,d中的列首次出现列内输入特征超过设定阈值thv，则将该列的列标设定为待加噪区域Floop,d的列下限，记为C_low；计算列标的上限则需要从Dloop,d的第n列开始比较，依次将Dloop,d的列标减1，直到Dloop,d中首次出现列内输入特征超过设定阈值thv，则将该列的列标设定为待加噪区域Floop,d的列上限，记为C_high。
将Dloop,d中行在[R_low,R_high]内、列在[C_low，C_high]内的区域，作为第loop次迭代后第d幅灰度图像数据的待加噪区域Floop,d。
(4b)确定隐私预算分配
算法对输入特征的扰动原则是为相关性更小的输入特征添加更多的噪声，而噪声大小的一个决定因素是为其分配的隐私预算的大小，分配的隐私预算越小，添加的噪声越大，因此这一步需要确定为待加噪区域Floop,d内的每个输入特征分配隐私预算，隐私预算分配需要借助步骤2中计算的噪声平均相关性矩阵，分配原则如公式(6)所示：
Figure BDA0001732578750000101
其中，εrow',col',loop,d表示分配到Dloop,d中第row'行、第col'列输入特征的隐私预算，其中row'和col'的取值必须符合待加噪区域Floop,d的范围，即R_low≤row'≤R_high，C_low≤col'≤C_high；
Figure BDA0001732578750000102
表示灰度图像数据集D的噪声平均相关性矩阵
Figure BDA0001732578750000103
的第row'行、第col'列元素；
Figure BDA0001732578750000104
表示噪声平均相关性矩阵
Figure BDA0001732578750000105
内行在[R_low,R_high]内、列在[C_low,C_high]内的所有噪声平均相关性相加之和。
根据公式(6)可以保证相关性较小的输入特征分配的隐私预算更小，从而导致更大的噪声，反之，相关性较大的输入特征添加更小的噪声，使得对于图像整体的扰动更小。
(4c)为输入特征添加噪声。
根据(4b)的计算结果，为Dloop,d的输入特征进行加噪，加噪方法如公式(7)所示得到待加噪区域Floop,d内第row'行、第col'列的扰动输入特征
Figure BDA0001732578750000106
Figure BDA0001732578750000107
其中，Iloop,d,row',col'表示待加噪区域Floop,d内第row'行、第col'列的输入特征，即row'和col'的取值必须符合待加噪区域Floop,d的范围，
Figure BDA0001732578750000108
表示服从拉普拉斯Laplace分布的噪声添加量，△I表示输入的训练集分类结果对单一灰度图像数据的最大敏感程度，取值为
Figure BDA0001732578750000109
|D|表示训练集D1的大小，|n×n|表示神经元第0层神经元总个数。
(4d)令col'的值分别取C_low至C_high，重复执行(4c)，直到得到待加噪区域Floop,d内第row'行、第C_low列的扰动输入特征
Figure BDA00017325787500001010
至待加噪区域Floop,d内第row'行、第C_high列的扰动输入特征
Figure BDA00017325787500001011
记为待加噪区域Floop,d内第row'行的扰动输入特征
Figure BDA0001732578750000111
然后将col'的值初始化为C_low。
(4e)令row'的值分别取R_low至R_high，重复执行(4c)和(4d)，直到得到待加噪区域Floop,d内第R_low行的扰动输入特征
Figure BDA0001732578750000112
至待加噪区域Floop,d内第R_high行的扰动输入特征
Figure BDA0001732578750000113
记为待加噪区域Floop,d内的扰动输入特征
Figure BDA0001732578750000114
并作为Dloop中第d幅灰度图像数据输入特征加噪处理结果，然后将col'的值初始化为C_low，将row'的值初始化为R_low。
(4f)令d的值分别取1至batch_size，重复执行(4c)至(4e)，直到得到Dloop中第1幅灰度图像数据输入特征加噪处理结果至Dloop中第batch_size幅灰度图像数据输入特征加噪处理结果，记为第loop次迭代后的扰动批量数据
Figure BDA0001732578750000115
步骤4描述过程是针对单一灰度图像数据的输入特征进行噪声处理，对Dloop中每个灰度图像数据都用同样方法进行噪声扰动，最终实现了批量数据读取以及扰动，扰动的批量数据用
Figure BDA0001732578750000116
表示；相较于其他的方法，本发明方法扰动范围更小，使得能够支持更强的隐私保护，另外对重要特征的扰动更小，基于此，对最终分类结果的影响程度也将更小。
步骤5：计算损失函数并进行噪声处理。
利用上面的扰动样本进行前向计算得到
Figure BDA0001732578750000117
的分类结果y，针对Softmax型的输出结果，本发明方法采用交叉熵损失函数作为模型的优化目标；交叉熵损失函数计算公式如公式(9)所示：
Figure BDA0001732578750000118
其中，公式(9)表明需要对
Figure BDA0001732578750000119
中的每个灰度图像数据进行计算，Lossloop表示第loop次迭代后的交叉熵损失函数，a(sp)表示
Figure BDA00017325787500001110
中第sp个灰度图像数据对应的分类标签，y(sp)表示
Figure BDA00017325787500001111
中第sp个灰度图像数据的模型计算分类结果，即
Figure BDA00017325787500001112
中第sp个灰度图像数据在神经网络第L-1层的输出结果，
Figure BDA00017325787500001113
Figure BDA00017325787500001114
表示神经网络第L-1层第q'个神经元的输出，q'＝1,2,…,|L-1|，|L-1|表示神经网络第L-1层神经元总个数，上标T表示转置操作。
针对神经网络训练过程中的隐私问题，本方面方法通过对损失函数进行噪声处理来保护隐私，具体加噪方法如公式(10)所示：
Figure BDA0001732578750000121
其中，
Figure BDA0001732578750000122
表示第loop次迭代后的扰动损失函数，△L表示损失函数对Dloop中每个灰度图像数据的最大敏感程度，取值为
Figure BDA0001732578750000123
|D|表示训练集D1的大小，|n×n|表示神经网络第0层神经元总个数；
Figure BDA0001732578750000124
表示服从拉普拉斯Laplace分布的噪声添加量。
步骤6：优化目标函数，更新模型参数。
神经网络训练过程需要最小化损失函数，基于所述第loop次迭代后的扰动损失函数
Figure BDA0001732578750000125
步骤6采用Adam算法代替传统的随机梯度下降SGD算法更新模型参数，一方面能有效解决梯度消失或梯度爆炸的问题，另一方面收敛速度更快，学习效果更好。
首先设定卷积神经网络包括num_conv个卷积层和num_FC个全连接层，使用θ表示卷积神经网络全部参数，θ＝{θConv,θFC}，θConv表示卷积神经网络num_conv个卷积层的参数，θConv＝{θConv_1,θConv_2,...,θConv_no,...,θConv_num_conv}，no＝1,2,…,num_conv，θConv_no表示第no个卷积层的参数，θConv_no的个数为(SizeFilter_no+1)×Depth_no，SizeFilter_no表示卷积神经网络中第no个卷积层的过滤器大小，Depth_no表示卷积神经网络中第no个卷积层的过滤器个数；θFC表示卷积神经网络num_FC个全连接层的参数，
θFC＝{θFC_(1，2),θFC_(2，3),...,θFC_(index，index+1),...,θFC_(num_FC-1，num_FC)}，θFC_(index,index+1)表示第index个全连接层和第index+1个全连接层之间的连接权重及偏置项，θFC_(index，index+1)的参数个数为(numberindex+1)×numberindex+1，numberindex表示第index个全连接层神经元总个数，numberindex+1表示第index+1个全连接层神经元总个数。
以随机化方式为卷积神经网络全部参数分别赋任意实数值，得到卷积神经网络全部参数初始值θ0。
步骤6的具体更新子步骤为：
6.1计算得到第loop次迭代后的梯度gloop，
Figure BDA0001732578750000131
Figure BDA0001732578750000132
表示第loop次迭代后的扰动损失函数，
Figure BDA0001732578750000133
表示θloop的梯度，θloop表示第loop次迭代后的卷积神经网络全部参数。
6.2计算得到第loop次迭代后一阶矩估计sloop，sloop＝ρ1sloop-1+(1-ρ1)gloop，sloop-1表示第loop-1次迭代后一阶矩估计，s0＝0；ρ1表示矩估计的指数衰减速率，且值在区间[0,1)内的随机数。
6.3计算得到第loop次迭代后二阶矩估计rloop，
Figure BDA0001732578750000134
rloop-1表示第loop-1次迭代后二阶矩估计，r0＝0；ρ2表示矩估计的指数衰减速率，且值在区间[0,1)内的随机数。
6.4计算得到第loop次迭代后一阶矩偏差修正结果
Figure BDA0001732578750000135
Figure BDA0001732578750000136
6.5计算得到第loop次迭代后二阶矩偏差修正结果
Figure BDA0001732578750000137
Figure BDA0001732578750000138
步骤7，如果loop<max_loop，则令loop的值加1，根据第loop-1次迭代后一阶矩偏差修正结果
Figure BDA0001732578750000139
和第loop-1次迭代后二阶矩偏差修正结果
Figure BDA00017325787500001310
计算第loop次迭代后的卷积神经网络全部参数θloop，
θloop＝θloop-1+△θloop-1，
Figure BDA00017325787500001311
Figure BDA00017325787500001312
表示第loop-1次迭代后一阶矩偏差修正结果，
Figure BDA00017325787500001313
表示第loop-1次迭代后二阶矩偏差修正结果；δ表示一个小常数，一般取10-8，用于数值稳定；α表示学习步长，通常α取值为0.001；然后返回步骤4。
直到得到第max_loop次迭代后的卷积神经网络全部参数θmax_loop，此时迭代停止，并将迭代停止时得到的第max_loop次迭代后的卷积神经网络全部参数θmax_loop，作为卷积神经网络最优参数
Figure BDA00017325787500001314
Figure BDA00017325787500001315
表示卷积神经网络num_conv个卷积层的最优参数，
Figure BDA00017325787500001316
表示卷积神经网络num_FC个全连接层的最优参数。
将卷积神经网络num_conv个卷积层的最优参数
Figure BDA00017325787500001317
和卷积神经网络num_FC个全连接层的最优参数
Figure BDA0001732578750000141
作为一种基于差分隐私和层级相关性传播的图像分类结果，也是一种基于差分隐私和层级相关性传播的图像分类方法的最优模型参数。
上述循环过程达到最大迭代次数或者目标函数，也就是损失函数达到最优时，结束循环过程，本发明方法将输出构造的卷积神经网络及其对应的参数，包括卷积神经网络num_conv个卷积层的最优参数
Figure BDA0001732578750000142
和卷积神经网络num_FC个全连接层的最优参数
Figure BDA0001732578750000143
本发明效果通过以下仿真实验进一步说明。
(一)仿真条件：
采用TensorFlow1.4.0 CPU版本、Python3.6、Windows Server 2008R2Enterprise64位操作系统版本作为开发环境，采用MNIST数据集，使用灰度手写数字图片作为模型输入，其中包含训练样本60000个，测试样本10000个，每个样本均由28*28的像素点组成。
实例中采用以下卷积网络模型：
Input→DPT→Conv1→Pool1→Conv2→Pool2→Conv3→Pool3→FC→Softmax
其中所有池化层均采用平均池化方式，Conv1层有10个5*5的过滤器，步长为1，Conv2层有25个5*5的过滤器，步长为1，Conv3有100个4*4的过滤器，步长为1，FC有10个神经元；数据经过FC全连接层的运算将得到对应的分类结果，在其之后添加Softmax回归处理，进行结果的归一化处理。
以下仿真将图像分类准确率作为衡量模型性能的标准，通过不同隐私预算的独立多次迭代实验，计算训练数据分类准确率。
(二)仿真内容：
仿真1：取隐私预算ε1为0.01，计算训练集样本输入特征的平均相关性并进行噪声处理，对比结果如图2a和图2b所示，其中图2a表示计算得到的平均相关性，图2b是经过噪声处理的平均相关性。
仿真2：取batch_size为1000，隐私预算ε2为0.10，阈值设置为0，零值扰动概率设置为0.8；根据仿真1的加噪平均相关性对图像输入特征进行扰动，对比结果如图3a和图3b所示，其中图3a表示原始图像，图3b是经过噪声处理的图像。
仿真3：取batch_size为5000，隐私预算ε2分别取值0.10、0.20、0.30、0.40、0.50，根据仿真1的加噪平均相关性对图像输入特征进行扰动之后用于模型训练，并比较不同隐私预算下模型的分类准确率，对比结果如图4所示。
(三)仿真分析：
从图2a和图2b可以看出，本发明所设计的一种基于差分隐私和层级相关性传播的图像分类方法在平均相关性加噪处理阶段，扰动了平均相关性数据，保护了图像输入特征重要程度隐私，同时保持输入特征重要程度基本不变，为后面的图像输入特征扰动阶段隐私预算分配提供依据。
从图3a和图3b可以看出，本发明所设计的基于差分隐私和层级相关性传播的图像分类方法在输入特征扰动阶段，对加噪区域内的输入特征进行扰动，且遵循相关性大的输入特征扰动较小，相关性小的输入特征扰动较大的原则，对于零值输入特征，以一定概率进行噪声处理；多次实验可知，隐私预算越小，输入特征扰动程度越大，图像偏离程度也越大。
从图4可以看出，在batch_size为5000的情况下，隐私预算ε2取值小于0.10时，会因为输入特征添加噪声过大而导致无法收敛，也就得不到一个很好的训练模型；当隐私预算ε2取值较大时，模型实现了隐私保护与分类准确性之间的平衡，且收敛速度较快；经过加噪公式(7)可知，添加的噪声规模与批量大小与隐私预算相关，只要两者达到一定数量级上的平衡，就可以保护图像及模型隐私，还可以保证图像的分类准确性。
综上所述，仿真实验验证了本发明的正确性和有效性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，包括以下步骤：
步骤1，确定灰度图像数据集D，所述灰度图像数据集D包括m个灰度图像数据和m个灰度图像数据对应的分类标签；然后基于层级相关性传播计算得到灰度图像数据集D的相关性矩阵R；
步骤2，基于差分隐私以及根据灰度图像数据集D的相关性矩阵R，得到灰度图像数据集D的噪声平均相关性矩阵
Figure FDA0001732578740000011
步骤3，将灰度图像数据集D划分为训练集D1与测试集D2，训练集D1包括
Figure FDA0001732578740000012
个灰度图像数据，测试集D2包括
Figure FDA0001732578740000013
个灰度图像数据，
Figure FDA0001732578740000014
设定卷积神经网络包括num_conv个卷积层和num_FC个全连接层，使用θ表示卷积神经网络全部参数，θ＝{θConv,θFC}，θConv表示卷积神经网络num_conv个卷积层的参数，θFC表示卷积神经网络num_FC个全连接层的参数；
初始化：令loop表示第loop次迭代，loop的初始值设为1，loop的最大值为预设值max_loop；对于第loop次迭代，1≤loop≤max_loop；
步骤4，从训练集D1中确定第loop次迭代后的灰度图像数据集Dloop，进而得到第loop次迭代后的扰动批量数据
Figure FDA0001732578740000015
步骤5，根据第loop次迭代后的扰动批量数据
Figure FDA0001732578740000016
计算得到第loop次迭代后的交叉熵损失函数Lossloop，进而得到第loop次迭代后的扰动损失函数
Figure FDA0001732578740000017
步骤6，根据第loop次迭代后的扰动损失函数
Figure FDA0001732578740000018
计算得到第loop次迭代后一阶矩偏差修正结果
Figure FDA0001732578740000019
和第loop次迭代后二阶矩偏差修正结果
Figure FDA00017325787400000110
步骤7，如果loop<max_loop，则令loop的值加1，根据第loop-1次迭代后一阶矩偏差修正结果
Figure FDA00017325787400000111
和第loop-1次迭代后二阶矩偏差修正结果
Figure FDA00017325787400000112
计算loop次迭代后的卷积神经网络全部参数θloop，然后返回步骤4；
直到得到第max_loop次迭代后的卷积神经网络全部参数θmax_loop，此时迭代停止，并将迭代停止时得到的第max_loop次迭代后的卷积神经网络全部参数θmax_loop，作为卷积神经网络最优参数
Figure FDA0001732578740000021
Figure FDA0001732578740000022
Figure FDA0001732578740000023
表示卷积神经网络num_conv个卷积层的最优参数，
Figure FDA0001732578740000024
表示卷积神经网络num_FC个全连接层的最优参数；
将卷积神经网络num_conv个卷积层的最优参数
Figure FDA0001732578740000025
和卷积神经网络num_FC个全连接层的最优参数
Figure FDA0001732578740000026
作为一种基于差分隐私和层级相关性传播的图像分类结果。
2.如权利要求1所述的一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，在步骤1中，所述m个灰度图像数据，每个灰度图像数据都为n×n维矩阵，且n×n维矩阵中每个元素分别代表一个输入特征；
将所述m个灰度图像数据对应的分类标签，记分类标签数量为C；
所述灰度图像数据集D的相关性矩阵R，其得到过程为：
(1a)设置神经网络共有L层，分别用0,1,2,...,l,l+1,...,L-1表示，神经网络第0层表示输入层，第L-1层表示输出层，中间第1层至第L-2层都是隐藏层；神经网络第0层神经元总个数为|n×n|，第L-1层神经元总个数为C；
(1b)计算神经网络第l'+1层第j个神经元的输入
Figure FDA0001732578740000027
Figure FDA0001732578740000028
其中，j＝1,2,…,|l'+1|，i＝1,2,…,|l'|，|l'|表示神经网络第l'层神经元总个数，|l'+1|表示神经网络第l'+1层神经元总个数，l'＝0,1,2,…,L-2，
Figure FDA0001732578740000029
表示神经网络第l'层第i个神经元的输出，若l'＝0，则
Figure FDA00017325787400000210
表示神经网络第0层第i个神经元的输出；
Figure FDA00017325787400000211
表示神经网络第l'层第i个神经元和第l'+1层第j个神经元的连接权重，
Figure FDA00017325787400000212
表示神经网络第l'+1层第j个神经元的偏置项；
Figure FDA00017325787400000213
f(·)表示激活函数，当l'+1＝L-1时，
Figure FDA00017325787400000214
表示神经网络第L-1层第j个神经元的输出；
(1c)令j的值分别取1至|l'+1|，重复执行(1b)，进而分别得到神经网络第l'+1层第1个神经元的输入
Figure FDA00017325787400000215
至神经网络第l'+1层第|l'+1|个神经元的输入
Figure FDA00017325787400000216
以及神经网络第l'+1层第1个神经元的输出
Figure FDA00017325787400000217
至神经网络第l'+1层第|l'+1|个神经元的输出
Figure FDA00017325787400000218
并分别记为神经网络第l'+1层的输入z(l'+1)和神经网络第l'+1层的输出x(l'+1)，然后将j的值初始化为1；
(1d)令l'的值分别取0至L-2，重复执行(1b)和(1c)，进而分别得到神经网络第1层的输入z(1)至神经网络第L-1层的输入z(L-1)，以及神经网络第1层的输出x(1)至神经网络第L-1层的输出x(L-1)，然后将l'的值初始化为0；
从灰度图像数据集D中读取第k个灰度图像数据，并在设置的神经网络上使用传统神经网络中的前向算法计算得到第k个灰度图像数据的C维输出量Outk；k＝1,2,…,m；
(1e)计算神经网络第l”层第i'个神经元上的相关性
Figure FDA0001732578740000031
Figure FDA0001732578740000032
其中，l”+1的初始值是L-1，l”的初始值为L-2，l”+1＝L-1,L-2,…,2,1，l”＝L-2,L-3,…,2,1,0；
Figure FDA0001732578740000033
表示神经网络第l”层第i'个神经元上的相关性，
i'＝1,2,…,|l”|，|l”|表示神经网络第l”层神经元总个数；
Figure FDA0001732578740000034
表示神经网络第l”+1层第j”个神经元上的相关性，j”＝1,2,…,|l”+1|，|l”+1|表示神经网络第l”+1层神经元总个数；
Figure FDA0001732578740000035
表示神经网络第l”+1层第j”个神经元的输入，
Figure FDA0001732578740000036
表示神经网络第l”层第i'个神经元和第l”+1层第j”个神经元的连接权重，
Figure FDA0001732578740000037
表示神经网络第l”层第i'个神经元的输出；
基于层级相关性传播计算得到神经网络第0层的相关性r(0)，
Figure FDA0001732578740000038
Figure FDA0001732578740000039
表示神经网络第0层第q个神经元的相关性，q＝1,2,…,|n×n|，|n×n|表示神经网络第0层神经元总个数；然后将神经网络第0层的相关性r(0)，作为第k个灰度图像数据相关性列向量；
(1f)将第k个灰度图像数据相关性列向量转换为与第k个灰度图像数据同形状的相关性矩阵，记为第k个灰度图像数据的相关性矩阵Pk；
(1g)令k的值分别取1至m，重复子步骤(1b)至(1f)，进而得到第1个灰度图像数据的相关性矩阵P1至第m个灰度图像数据的相关性矩阵Pm，并记为m个灰度图像数据的相关性矩阵P1,P2,P3,...,Pm；
(1h)计算第row行、第col列上的相关性Rrow,col：
Figure FDA0001732578740000041
其中，row＝1,2,…,n，col＝1,2,…,n，Pk,row,col表示第k个灰度图像数据的相关性矩阵Pk在第row行、第col列上的相关性；
(1i)令col的值分别取1至n，重复执行(1h)，进而分别得到第row行、第1列上的相关性Rrow,1至第row行、第n列上的相关性Rrow,n，记为第row行上的相关性Rrow，然后将col的值初始化为1；
(1j)令row的值分别取1至n，重复执行(1h)和(1i)，进而分别得到第1行上的相关性R1至第n行上的相关性Rn，记为灰度图像数据集D的相关性矩阵R。
3.如权利要求2所述的一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，在步骤2中，所述灰度图像数据集D的噪声平均相关性矩阵
Figure FDA0001732578740000042
具体为：
令
Figure FDA0001732578740000043
表示灰度图像数据集D的噪声平均相关性矩阵
Figure FDA0001732578740000044
的第row行、第col列元素，其计算公式为：
Figure FDA0001732578740000045
其中，row＝1,2,…,n，col＝1,2,…,n，Rrow,col表示第row行、第col列上的相关性，lap表示拉普拉斯分布，ε1表示第一隐私预算，第一隐私预算ε1为(0,1)内的随机数，
Figure FDA0001732578740000046
normalize(·)表示归一化处理操作。
4.如权利要求3所述的一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，步骤4的子步骤为：
(4a)从训练集D1随机读取batch_size个灰度图像数据，记为第loop次迭代后的灰度图像数据集Dloop，
Figure FDA0001732578740000047
选取第loop次迭代后的灰度图像数据集Dloop中第d幅灰度图像数据，记为Dloop,d，d＝1,2,…,batch_size；
确定Dloop,d的部分矩形区域范围作为第loop次迭代后第d幅灰度图像数据的待加噪区域Floop,d；
(4b)计算分配到Dloop,d中第row'行、第col'列输入特征的隐私预算εrow',col',loop,d：
Figure FDA0001732578740000051
其中，R_low≤row'≤R_high，C_low≤col'≤C_high；
Figure FDA0001732578740000052
表示灰度图像数据集D的噪声平均相关性矩阵
Figure FDA0001732578740000053
的第row'行、第col'列元素；
Figure FDA0001732578740000054
表示噪声平均相关性矩阵
Figure FDA0001732578740000055
内行在[R_low,R_high]内、列在[C_low,C_high]内的所有噪声平均相关性相加之和；
(4c)计算待加噪区域Floop,d内第row'行、第col'列的输入特征Iloop,d,row',col'：
Figure FDA0001732578740000056
其中，Iloop,d,row',col'表示待加噪区域Floop,d内第row'行、第col'列的输入特征，lap表示拉普拉斯分布，
Figure FDA0001732578740000057
|D|表示训练集D1的大小，|n×n|表示神经元第0层神经元总个数；
(4d)令col'的值分别取C_low至C_high，重复执行(4c)，直到得到待加噪区域Floop,d内第row'行、第C_low列的扰动输入特征
Figure FDA0001732578740000058
至待加噪区域Floop,d内第row'行、第C_high列的扰动输入特征
Figure FDA0001732578740000059
记为待加噪区域Floop,d内第row'行的扰动输入特征
Figure FDA00017325787400000510
然后将col'的值初始化为C_low；
(4e)令row'的值分别取R_low至R_high，重复执行(4c)和(4d)，直到得到待加噪区域Floop,d内第R_low行的扰动输入特征
Figure FDA00017325787400000511
至待加噪区域Floop,d内第R_high行的扰动输入特征
Figure FDA00017325787400000512
记为待加噪区域Floop,d内的扰动输入特征
Figure FDA00017325787400000513
并作为Dloop中第d幅灰度图像数据输入特征加噪处理结果，然后将col'的值初始化为C_low，将row'的值初始化为R_low；
(4f)令d的值分别取1至batch_size，重复执行(4c)至(4e)，直到得到Dloop中第1幅灰度图像数据输入特征加噪处理结果至Dloop中第batch_size幅灰度图像数据输入特征加噪处理结果，记为第loop次迭代后的扰动批量数据
Figure FDA0001732578740000061
5.如权利要求4所述的一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，所述第loop次迭代后第d幅灰度图像数据的待加噪区域Floop,d，其确定过程为：
构造一个长为n且值全为设定阈值thv的行向量，行向量的行标依次为1、2、…、n，计算行标的下限需从Dloop,d中第1行开始比较，依次将Dloop,d的行标加1，直到Dloop,d中的行首次出现行内输入特征超过设定阈值thv，则将该行的行标设定为待加噪区域Floop,d的行下限，记为R_low；计算行标的上限则需要从Dloop,d中第n行开始比较，依次将Dloop,d中的行标减1，直到Dloop,d中首次出现行内输入特征超过设定阈值thv，则将该行的行标设定为待加噪区域Floop,d的行上限，记为R_high；
构造一个长为n且值全为设定阈值thv的列向量，列向量的列标依次为1、2、…、n，计算列标的下限需从Dloop,d中第1列开始比较，依次将Dloop,d的列标加1，直到Dloop,d中的列首次出现列内输入特征超过设定阈值thv，则将该列的列标设定为待加噪区域Floop,d的列下限，记为C_low；计算列标的上限则需要从Dloop,d的第n列开始比较，依次将Dloop,d的列标减1，直到Dloop,d中首次出现列内输入特征超过设定阈值thv，则将该列的列标设定为待加噪区域Floop,d的列上限，记为C_high；
将Dloop,d中行在[R_low,R_high]内、列在[C_low,C_high]内的区域，作为第loop次迭代后第d幅灰度图像数据的待加噪区域Floop,d。
6.如权利要求4所述的一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，在步骤5中，所述第loop次迭代后的交叉熵损失函数Lossloop和所述第loop次迭代后的扰动损失函数
Figure FDA0001732578740000062
其计算公式分别为：
Figure FDA0001732578740000071
Figure FDA0001732578740000072
其中，a(sp)表示
Figure FDA0001732578740000073
中第sp个灰度图像数据对应的分类标签，y(sp)表示
Figure FDA0001732578740000074
中第sp个灰度图像数据的模型计算分类结果，
Figure FDA0001732578740000075
Figure FDA0001732578740000076
表示神经网络第L-1层第q'个神经元的输出，q'＝1,2,…,|L-1|，|L-1|表示神经网络第L-1层神经元总个数，上标T表示转置操作；
Figure FDA0001732578740000077
|D|表示训练集D1的大小，|n×n|表示神经网络第0层神经元总个数；lap表示拉普拉斯分布，ε2表示第二隐私预算，第二隐私预算ε2为(0,1)内的随机数。
7.如权利要求6所述的一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，步骤6中，所述第loop次迭代后一阶矩偏差修正结果
Figure FDA0001732578740000078
和第loop次迭代后二阶矩偏差修正结果
Figure FDA0001732578740000079
其得到子步骤为：
6.1计算得到第loop次迭代后的梯度gloop，
Figure FDA00017325787400000710
Figure FDA00017325787400000711
表示第loop次迭代后的扰动损失函数，
Figure FDA00017325787400000712
表示θloop的梯度，θloop表示第loop次迭代后的卷积神经网络全部参数；以随机化方式为卷积神经网络全部参数分别赋任意实数值，得到卷积神经网络全部参数初始值θ0；
6.2计算得到第loop次迭代后一阶矩估计sloop，sloop＝ρ1sloop-1+(1-ρ1)gloop，sloop-1表示第loop-1次迭代后一阶矩估计，s0＝0；ρ1表示区间[0,1)内的随机数；
6.3计算得到第loop次迭代后二阶矩估计rloop，
Figure FDA00017325787400000713
rloop-1表示第loop-1次迭代后二阶矩估计，r0＝0；ρ2表示区间[0,1)内的随机数；
6.4计算得到第loop次迭代后一阶矩偏差修正结果
Figure FDA00017325787400000714
Figure FDA00017325787400000715
6.5计算得到第loop次迭代后二阶矩偏差修正结果
Figure FDA00017325787400000716
Figure FDA00017325787400000717
8.如权利要求7所述的一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，步骤7中，所述loop次迭代后的卷积神经网络全部参数θloop，其计算过程包括：
θloop＝θloop-1+△θloop-1
Figure FDA0001732578740000081
其中，
Figure FDA0001732578740000082
表示第loop-1次迭代后一阶矩偏差修正结果，
Figure FDA0001732578740000083
表示第loop-1次迭代后二阶矩偏差修正结果；δ表示设定常数，α表示设定学习步长。
CN201810781097.2A 2018-07-17 2018-07-17 一种基于差分隐私和层级相关性传播的图像分类方法 Active CN109034228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810781097.2A CN109034228B (zh) 2018-07-17 2018-07-17 一种基于差分隐私和层级相关性传播的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810781097.2A CN109034228B (zh) 2018-07-17 2018-07-17 一种基于差分隐私和层级相关性传播的图像分类方法

Publications (2)

Publication Number Publication Date
CN109034228A CN109034228A (zh) 2018-12-18
CN109034228B true CN109034228B (zh) 2021-10-12

Family

ID=64642789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810781097.2A Active CN109034228B (zh) 2018-07-17 2018-07-17 一种基于差分隐私和层级相关性传播的图像分类方法

Country Status (1)

Country Link
CN (1) CN109034228B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941520B2 (en) * 2020-01-09 2024-03-26 International Business Machines Corporation Hyperparameter determination for a differentially private federated learning process
CN111814165B (zh) * 2020-07-07 2024-01-26 重庆大学 一种基于深度神经网络中间层的图像隐私保护方法
CN112364372A (zh) * 2020-10-27 2021-02-12 重庆大学 一种有监督矩阵补全的隐私保护方法
CN112541593B (zh) * 2020-12-06 2022-05-17 支付宝(杭州)信息技术有限公司 基于隐私保护的联合训练业务模型的方法及装置
CN113642717B (zh) * 2021-08-31 2024-04-02 西安理工大学 一种基于差分隐私的卷积神经网络训练方法
CN113642715B (zh) * 2021-08-31 2024-07-12 南京昊凛科技有限公司 自适应分配动态隐私预算的差分隐私保护深度学习算法
CN113869384B (zh) * 2021-09-17 2024-05-10 大连理工大学 基于领域自适应的隐私保护图像分类方法
CN116665261A (zh) * 2022-02-18 2023-08-29 腾讯科技（深圳）有限公司 图像处理方法、装置和设备
CN114626471B (zh) * 2022-03-18 2024-10-18 北京信息科技大学 一种基于深度学习与隐私保护技术的图像识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794322A (zh) * 2009-01-30 2010-08-04 新思科技有限公司 用于高效计算海量布局数据的增量式并发处理
CN105512247A (zh) * 2015-11-30 2016-04-20 上海交通大学 基于一致性特征的非交互式差分隐私发布模型的优化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794322A (zh) * 2009-01-30 2010-08-04 新思科技有限公司 用于高效计算海量布局数据的增量式并发处理
CN105512247A (zh) * 2015-11-30 2016-04-20 上海交通大学 基于一致性特征的非交互式差分隐私发布模型的优化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Layer-wise Relevance Propagation for Neural Networks with LocalRenormalization Layers;Alexander Binder等;《https://arxiv.org/abs/1604.00825》;20160404;摘要 *
基于DCGAN反馈的深度差分隐私保护方法;毛典辉等;《北京工业大学学报》;20180424(第06期);摘要 *
差分隐私保护BIRCH算法;张瑶等;《东南大学学报（自然科学版）》;20171120;第47卷;摘要 *

Also Published As

Publication number Publication date
CN109034228A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109034228B (zh) 一种基于差分隐私和层级相关性传播的图像分类方法
Liu et al. Retinex-inspired unrolling with cooperative prior architecture search for low-light image enhancement
CN111127142B (zh) 一种基于广义神经注意力的物品推荐方法
CN111428147B (zh) 结合社交和兴趣信息的异源图卷积网络的社交推荐方法
CN109657156B (zh) 一种基于循环生成对抗网络的个性化推荐方法
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
CN112613581B (zh) 一种图像识别方法、系统、计算机设备和存储介质
CN112966114B (zh) 基于对称图卷积神经网络的文献分类方法和装置
CN113705772A (zh) 一种模型训练方法、装置、设备及可读存储介质
CN112085615B (zh) 图神经网络的训练方法及装置
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
Noor et al. Median filters combined with denoising convolutional neural network for Gaussian and impulse noises
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
CN109034960A (zh) 一种基于用户节点嵌入的多属性推断的方法
CN114398538B (zh) 隐私保护的跨域推荐方法、系统、存储介质、计算机设备
CN113255798A (zh) 一种分类模型训练方法、装置、设备及介质
CN112905894B (zh) 一种基于增强图学习的协同过滤推荐方法
CN114298851A (zh) 基于图表征学习的网络用户社交行为分析方法、装置及存储介质
CN112862064A (zh) 一种基于自适应图学习的图嵌入方法
CN112101364A (zh) 基于参数重要性增量学习的语义分割方法
CN116452333A (zh) 异常交易检测模型的构建方法、异常交易检测方法及装置
Seo et al. Graph neural networks and implicit neural representation for near-optimal topology prediction over irregular design domains
CN112055038A (zh) 生成点击率预估模型的方法及预测点击概率的方法
CN115438755B (zh) 分类模型的增量训练方法、装置和计算机设备
CN113409157A (zh) 一种跨社交网络用户对齐方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant