CN116228906A - 一种基于差分隐私的生成对抗网络图像生成系统 - Google Patents

Abstract

本发明提供了一种基于差分隐私的生成对抗网络图像生成系统，属于人工智能和隐私保护领域，所述系统包括：生成对抗网络由生成器和判别器组成，生成器用于捕获数据分布，产生图像数据；判别器用于估计样本是否来自训练数据，以判断生成数据是否接近真实分布；在需要用到原始数据的判别器损失函数上添加双向选择的噪声，损失函数由两个向量构成，在一个向量的某一个位置上添加了噪声时，另一个向量的对应位置就无需添加噪声，反之亦然，以满足差分隐私；对每一批输入的样本，判别器和生成器交叉训练和迭代，生成预期数量的图像数据。本发明基于差分隐私的生成对抗网络图像生成系统可以保护原始数在据训练过程中的隐私，同时提高生成图像的可用性。

Description

一种基于差分隐私的生成对抗网络图像生成系统

技术领域

本发明涉及人工智能和隐私保护领域，具体涉及一种基于差分隐私的生成对抗网络图像生成系统。

背景技术

生成对抗网络通过计算机生成预期数据，作为一种无监督学习技术，活跃地应用于文本数据生成，图像数据生成转换等领域。其本质是一种深度学习模型，由判别器和生成器构成，判别器对输入数据进行预测，估计样本来自真实训练数据的概率，而生成器则尽量去拟合判别器无法鉴别的真实分布。这种博弈思想产生的图像，对大数据时代下的信息共享具有重要意义。但这些数据的发布往往涉及到用户的私人信息，如人脸识别系统，会利用原始的人脸属性，窃取到用户银行卡财务，对用户隐私安全构成威胁。差分隐私作为一种隐私保护手段，为当前信息越来越发达的社会所带来的用户隐私泄露问题提供了解决方法。

现存的图像隐私保护方法有匿名化技术、数据漂白和加密等。匿名化技术即通过对个人信息数据库的匿名化处理，可以使得除隐私属性外，其他属性组合相同的值至少有多个记录。但这种匿名幅度仍然不够，已被证实仍能从一些关联属性中推断出去标识化的信息。数据漂白通常对图像矢量区域使用替换、重排、加密、截断和掩码等规则进行数据变形，屏蔽敏感信息。但该方法存在生成的敏感区域替换内容不真实、人工工作量大等缺点。图像加密技术可通过适当修改置换数字图像空间域或者数字图像变换域参数，以杂乱图像的方式作为传输数字图像的表象，实现数字图像资料的安全传输过程，或通过将公开的图像以载体形式嵌入到一些需要隐藏的信息当中。可以采用格雷码、波传输、离散小波变换、p-斐波那契变换和混沌序列等算法实现图像加密。但这些加密算法在网络训练和推理的实现受加密过程计算复杂性影响的阻碍，加密后的图像往往能保证隐私，但图像可用性较差。且一旦攻击者得到密钥，便可通过逆运算获得解密图像。

差分隐私技术通过噪声扰动，在保持可接受的隐私保证情况下，针对图像数据训练出较好可用性的模型。扰动方式包含计算扰动、输出扰动和目标扰动，输出扰动方法的主要思想是在通过传统方法训练的深度学习模型参数上加入噪声，对原始图像的隐私保护方式虽然直接、操作简单，且原理清晰，但输出参数的扰动对模型效用的影响巨大，甚至使模型丢失泛化能力。目标扰动主要是在目标函数上加以噪声干扰，间接影响参数收敛。计算扰动通常是每一轮训练过程中，在目标函数所得梯度上添加噪声，这两种方法都会可能使模型无法收敛到最优值，从而影响模型性能。不同扰动方式的主要目标是保持隐私保护有效性和数据可用性。因此，研究在图像发布时，既保证图像敏感信息不被泄露，又使图像数据有较高的可用性技术至关重要。

发明内容

针对图像隐私保护的重要性，以及现存的上述缺陷，本发明的主要目的是提供一种同样满足训练过程中的差分隐私方法，使生成对抗网络在生成图像的模型训练中，能保证敏感的原始图像信息的安全性，同时又能使生成的图像数据有较好的可用性，能继续用于后续的研究与生产。

在本发明的实施例中，所述基于差分隐私的生成对抗网络图像生成系统包括获取原始图像、生成对抗网络、差分隐私算法和训练方式，具体步骤如下：

1、对输入的包含敏感信息的乱序原始图像，进行归一化和标准化处理；

2、先训练判别器，其输入包括一批真实的原始图像，判别器经过多次下采样，对该批图像进行预测，得分为D_θ(x)。隐变量z作为生成器的输入，生成一批同等数量、相同维度的图像，用判别器进行预测，得分为D_θ(G(z))；

3、由判别器对真实数据得到的分数，对用噪声合成的假数据得到的分数，计算wasserstein距离，该差距函数作为损失函数的一部分。生成服从高斯分布

的噪声向量，在向量形式的距离函数上添加该噪声，得到一个噪声扰动后的真假分布距离，即为损失函数的一部分；

4、为约束真假分布样本空间内任意点有界，替代性地将原始数据和生成数据按照μ和1-μ的比例，生成混合样本

将混合样本的梯度作为一个惩罚项以约束参数梯度范围，该惩罚项是损失函数的另一部分；

5、生成服从高斯分布

的噪声向量，将该噪声添加到向量形式的梯度惩罚项，该部分损失函数是带有噪声干扰的；

6、每一轮完整训练中，判别器训练结束后，重新根据隐变量z，判别器传递的脱敏参数，用生成器生成一批预期数量的合成图像数据。

可选地，判别器基于卷积神经网络搭建，前面的下采样块由一个卷积层和一个LeakyReLU激活函数组成，再经过一个由全连接层和激活函数构成的下采样块，最后输出预测分数；

可选地，生成器也是基于卷积神经网络搭建，共有多个上采样块构成，前两个上采样模块都包含一个卷积层和一个ReLU激活函数，在输出生成图像层的上采样块使用卷积层和Tanh激活函数。

可选地，在对向量形式的损失函数上添加两部分噪声时，一部分噪声中，对每一位置的噪声都设置有效性选项，1表示有效，0表示无效；由此，另一部分噪声，相应位置的有效性设置需与第一部分的设置相反；反之亦然。

可选地，通过噪声扰动后的判别器两部分损失函数，通过1：λ进行组合，得到的新的损失函数为

通过该损失函数反向传播优化后的传入生成的参数也带有扰动，生成器的损失函数为/>

所述差分隐私首先通过相互选择的两部分噪声向量在损失函数上进行噪声干扰，使损失函数满足差分隐私；然后再通过反向传播，使判别器梯度也满足差分隐私，因此更新的判别器参数也满足差分隐私；生成器在根据隐变量生成预期数量和维度的图像时，自身梯度和参数信息不带原始图像信息，所用的判别器参数信息是满足差分隐私的，生成器参数也能脱敏，生成的图像数据能保护原始图像的敏感信息。

本发明差分隐私的生成对抗网络图像生成系统结合生成对抗网络和差分隐私原理，对原始图像的判别器和生成器训练交互进行分析，根据梯度信息的前向传播和反向传播的流动特征，以及参数更新时的原理，重新定义带扰动的损失函数，使扰动既考虑到隐私保护程度，又能帮助提升模型鲁棒性和有效性。不断迭代更新训练系统，获得的既定数量和维度的图像，与原始图像具有相似的分布特征。与现有技术相比，本发明的优点有：

1、本发明中的生成器网络和判别器网络，保留了生成器和判别器的内部结构，对生成器和判别器性能的损害小，操作简单快捷；

2、本发明中仍然保留了衡量真实分布和合成分布之间距离的表达式，损失函数额外添加的噪声向量，使得损失函数既能分析真假分布效果，又能保证差分隐私；

3、本发明中采用带噪声的梯度惩罚项，既能防止梯度爆炸或消失导致的模型崩溃，又能提供隐私保护；

4、本发明中双向选择的噪声有效性策略，目的是防止添加过量的噪声，既能保证模型训练过程中生成器的生成效果，又能保证所有涉及到敏感信息的参数在传播过程中都经过脱敏；

5、本发明中的噪声分布上，噪声大小在一定的阈值中进行选择，使噪声干扰更具随机性，扰动大小相较传统的固定噪声更大，隐私保护效果更好。

附图说明

图1是依照本发明一实施例的一种基于差分隐私的生成对抗网络图像生成系统的流程图；

图2是依照本发明一实施例的一种基于差分隐私的生成对抗网络图像生成系统的结构图；

图3是依照本发明一实施例的判别器训练模型结构图；

图4是依照本发明一实施例的生成器生成模型结构图；

图5是依照本发明一实施例的判别器和生成器组合系统训练的流程图；

图6是依照本发明一实施例的满足差分隐私的噪声扰动流程图。

附图标记：1：判别器；2：生成器。

具体实施方式

现将本发明具体实施例进行说明，示范性实施例的实例说明在附图中可见，有助于本领域的技术人员进一步理解。值得指出的是，以下各实施例仅用于说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，任何熟悉本技术领域的普通技术人员，在不脱离本发明的构思范围内，可轻易想到的变化或替换，都属于本发明的保护范围。

参照图1，是本发明基于差分隐私的生成对抗网络图像生成系统的流程图，所述流程包括以下步骤：

S1：获取到包含敏感信息的图像。具体操作为，将数据集的所有图像按照标签打乱顺序，所有图像都按照批大小作为输入，对每一批数据进行归一化和标准化处理；

归一化处理为：

/>

标准化处理为：

S2：以S1中的原始数据和隐变量z作为输入，对判别器和生成器系统进行训练。该组合系统如图2所示，由生成器1和判别器2组成。

所述生成器1的输入是一个隐变量z，经过一系列的上采样过程，可以生成预期维度和大小的图像。生成器的模型结构如图3所示：

内部结构由隐变量，中间模块和输出构成。首先将z维向量经过全连接层变为z’维，改变张量形状为(B,c1,n1,n1)，经过多个上采样反卷积网络，形状变为(B,1,n,n)，通道数分别为c1,c2,c3…。每个反卷积层后都使用ReLU函数进行激活，在输出图像层使用Tanh激活函数。最终得到一批维度是B，大小为n×n的生成图像。

所述判别器2的输入包括一批原始数据x和一批生成数据G(z)，经过鉴别过程，输出噪声目标函数，用于后续判别器参数的梯度求导和优化。图4所示为判别器的模型结构图：

内部结构包括输入、中间模块和输出三个部分。输入图像批大小为B，单张图片大小为n×n，张量形式为(B,1,n,n)，经过多个下采样模块，包含两个卷积层和对应的LeakyReLU激活函数，输出通道数分别为c4,c5…。然后将数据展平，经过全连接层得到输出为(B,c3)，再经过全连接层得到判别器的分类输出，输出为一批图像的分数，维度是B。

一批生成器的生成图像和原始图像作为判别器的输入，经过网络反馈出两者的分布差距，并得到噪声损失函数向量，损失向量更新优化判别器参数，判别器参数为生成器提供参考，生成器相应做出学习调整，更新优化自身参数，用于后续图像生成。

使用上述生成器和判别器训练系统，具体如图5所示的判别器和生成器组合系统训练的流程图：

S21：生成器生按标签成一批同原始数据同等数量和大小的图像；

S22：生成数据和原始数据一同经过判别器网络，得到分布差距；

S23：再利用生成器网络生成一批数据，同原始数据一起，用两者的混合样本等效于样本空间内任意样本，用判别器网络训练，获取样本梯度；

S24：上述S22和S23组合为损失函数，用于后续参数更新；

S25：根据判别器网络的梯度和参数反馈，训练更新生成器参数；

S3：判别器的损失由两部分确定，噪声扰动差距函数和噪声惩罚项，通过两项组合，使生成系统满足差分隐私。图6是满足差分隐私的噪声扰动流程：

S31：定义一批服从高斯分布的噪声向量，对每个位置的噪声有效性进行随机选择；

S32：将上述噪声添加到wasserstein距离上得到新的表示真假分布差距的损失函数；

上述S31和S32具体地：

首先是衡量原始数据和生成数据的分布差距，即wasserstein距离

若直接将该距离用于后续参数更新，存在隐私暴露风险，因此生成一批相同维度B的噪声向量1，即/>

该噪声向量的每一位置都设置一个表示噪声有效性的值，若该位置有效，则置为1，无效则置为0。每一位置的噪声大小在一定的值域范围内动态变化，即σ₁∈[σ₁₁,σ₁₂]。最终的带噪声干扰的距离为/>

S33：重新定义一批服从高斯分布的噪声向量，将噪声各位置的有效性置为与上一批相反；

S34：将该噪声向量添加到梯度惩罚项上；

上述S33和S34具体地：

为了保持模型的鲁棒性，生成对抗网络中引入了梯度惩罚项，因此采用梯度扰动惩罚项保证隐私。具体地，使用原始的一批图像数据x和生成数据G(z)，为使两者之间的任意距离在一个可控的误差内，随机生成一个μ∈[0,1]，替代性地将混合样本

看作样本空间内的任意样本，求取该样本的梯度并满足Lipschitz连续，梯度为/>

为保证差分隐私，生成一批B维的噪声向量2，即

根据噪声向量1的噪声有效位置，将噪声向量2的噪声有效性置为相反，反之亦然。每一位置的噪声大小满足σ₂∈[σ₂₁,σ₂₂]，也是动态变化的值。最终噪声梯度惩罚项为

引入一个比例因子λ，将上述两部分带噪的损失函数组合，可得损失函数为

该扰动策略能保证所有参数的差分隐私，且没有冗余，当噪声对一部分函数发挥作用时，对一部分则是优化作用，这种双向选择的方式，能兼顾隐私和可用性。

S35：上述损失函数满足差分隐私，反向传播求得满足差分隐私的梯度，以此用于后续的差分隐私参数优化。

S4：每一轮训练采用上述方式进行，先训练满足差分隐私的判别器，再训练更新满足差分隐私的生成器；迭代交替训练，直到生成满足预期的生成图像。

至此，本发明涉及的一种基于差分隐私的生成对抗网络图像生成系统，通过生成器和判别器的训练特点，保证模型的鲁棒性，巧妙地引入满足差分隐私的噪声向量，实现隐私图像生成技术。整个训练系统的参数传递都满足差分隐私，且生成图像是能防止隐私泄露的，该种生成方式的图像在后续的下游任务应用中，具有更丰富的特征信息，可用性更强。

以上是对本发明具体实施例的描述，本发明并不局限于上述特定实施方式，熟悉本领域的技术人员，可以在权利要求的范围内做出可想到的修改或变化，这并不影响本发明的实质内容。在不冲突的情况下，本申请的差分隐私噪声扰动方式可以与其他的网络结构、损失函数等进行组合。

Claims (7)

1.一种基于差分隐私的生成对抗网络图像生成系统，其特征在于，所述方法包括以下步骤：

输入包含用户敏感信息的原始图像数据；

以原始图像数据x和隐变量z为输入，对判别器和生成器组成的系统进行训练；

判别器损失函数分为两部分，以两个双向选择向量的噪声对损失成本进行扰动，以达到参数传播过程的脱敏效果，满足整个网络训练的差分隐私；

迭代交替训练判别器和生成器，不断更新判别器和生成器参数，获得预期数量的隐私保护图像。

2.根据权利要求1所述的基于差分隐私的生成对抗网络图像生成系统，其特征在于，所述原始图像作为判别器的输入，带有用户敏感信息；隐变量作为生成器的输入，用于生成与原始图像维度相同的假数据，逼近原始数据分布。

3.根据权利要求1所述的基于差分隐私的生成对抗网络图像生成系统，其特征在于，所述判别器和生成器组成的系统训练包括：

生成器生成一批随机噪声分布的图像数据；

判别器对原始图像和生成器生成的图像进行鉴别，得到真假数据得分差，即wasserstein距离：

生成一批随机噪声分布数据和输入的真实数据，得到随机混合样本

样本梯度/>

作为惩罚项；

将表示真假数据差距的得分

和惩罚项/>

按照1：λ的比例得到判别器损失函数/>

以训练判别器参数；

根据判别器传入的参数θ_D和梯度

隐变量z训练生成器。

4.根据权利1所述的基于差分隐私的生成对抗网络图像生成系统，其特征在于，所述满足差分隐私的噪声扰动方式包括：

定义一批服从高斯分布的噪声向量，随机选择每个样本位置的噪声的有效性，有效为1，无效为0；

将服从高斯分布

的向量形式噪声，添加到wasserstein距离表示的损失函数上，即/>

其中单个噪声在一个阈值范围内的动态变化，即σ₁∈[σ₁₁,σ₁₂]

重新定义一批服从高斯分布

的噪声向量，将噪声有效性位置的设置与上一批噪声向量相反；其中单个噪声大小同样在一定阈值范围内动态变化，即σ₂∈[σ₂₁,σ₂₂]；若第一批噪声向量的某一位置噪声有效性置为0，则新一批噪声向量的相应位置噪声有效性置为1，反之亦然；

将新定义的一批向量形式噪声添加到梯度惩罚项上，即

损失满足差分隐私，反向传播求取满足差分隐私的梯度，更新满足差分隐私的参数。

5.根据权利1所述的基于差分隐私的生成对抗网络图像生成系统，其特征在于，所述迭代交替训练先训练判别器，用判别器的差分隐私参数更新生成器，保证生成器也满足差分隐私，对每一批真实数据都进行迭代训练，直到生成质量较好的预期数量的生成图像。

6.根据权利4所述的生成对抗网络图像生成系统，其特征在于，所述判别器结构为输入图像包括：原始图像和生成图像；经过连续下采样操作，得到损失向量

梯度和参数在网络中的流动都带有噪声扰动，能将映射到参数或梯度的私人敏感信息过滤。

7.根据权利4所述的生成对抗网络图像生成系统，其特征在于，所述生成器结构为对于隐变量z，利用判别器流入的脱敏参数，经过连续上采样，得到预期大小和数量的生成图像；利用损失函数

优化生成器参数，生成能保护用户隐私的高可用性数据。/>

Images