CN111666588A - 一种基于生成对抗网络的情绪差分隐私保护方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的情绪差分隐私保护方法，能够对语句和图像进行检索，并改变语句和图像中人物的情绪，从而实现对于情绪主题的隐私保护。该方法能够对情绪隐私保护对象进行类型判别，分为语句保护与图像保护；该方法可对语句保护对象进行分词、情绪识别、构建文本对抗生成网络TextGAN进行语句生成并对情绪再判定，进而实现语句对象的情绪隐私保护；该方法可对图像保护对象进行裁剪、特征提取并降维、表情分类、构建StarGAN进行面部属性编辑并对表情进行再判定，进而生成逼真的面部图像，实现图像主体的情绪隐私保护；该方法具有良好的泛用性和可迁移性，无需依赖额外设备，能够显著地提升隐私保护效果。

Description

一种基于生成对抗网络的情绪差分隐私保护方法

技术领域

本发明涉及差分隐私保护技术领域，具体涉及一种基于生成对抗网络的情绪差分隐私保护方法。

背景技术

近年来，生成对抗网络在目标检测和计算机视觉、自然语言处理、语音识别和语义分析等领域成效卓然，受到了越来越多研究者的关注。深度学习通过神经网络的分层处理，将低层特征组合成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，其模型性能与训练数据集的规模和质量密切相关，而训练数据集中通常包含较多的敏感信息，攻击者通过一定的攻击手段可以还原出训练数据集，从而使得用户隐私信息泄露.例如:公安机关发布犯罪嫌疑人识别模型，其训练数据集包含全国人口图像信息，当攻击者使用某一攻击手段还原出训练数据集中的图像时，会使个人敏感信息泄露.因此，如何在不泄露个人敏感信息的前提下提升数据可用性，是当前深度学习应用面临的主要问题，将极大影响深度学习未来的发展.

目前，关于敏感信息保护问题的研究的前提主要是基于攻击者对于攻击者对用户背景知识的掌握程度，在此条件下攻击者可以进行身份链接攻击、属性链接攻击、成员链接攻击等隐私攻击，因此，相关学者提出了k匿名、l-多样性以及相关的方法，该类方法通过泛化或抑制用户敏感属性并修改数据集中的原始信息的策略，从而达到保护用户隐私的目的，而深度学习模型主要通过提取并抽象训练数据集中的特征，并不改变数据集的原始信息，因此，与传统方法融合时存在较大难度。前几年，Reza等设计了一个深层的神经网络分布式系统实现了训练数据集的隐私保护，该过程使得参与者可以保留其各自数据的隐私。Matt等人的模型反演攻击可以利用去噪自编码网络还原训练集中的原始信息；Ian等利用生成对抗网络GAN生成与训练数据集相近的数据。为了解决模型反演攻击，Nhat等提出查分隐私自编码方法，该方法利用差分隐私理论来扰乱深度自动编码器中目标函数，在数据重建过程中添加噪声从而使得训练数据集的一保护。NIcolas等提出了一种教师-学生模式的深度网络隐私方法，该方法包含多个由敏感信息数据集训练的教师深度模型以及一个由GAN模型就生成的用于预测的学生模型，学生模型是利用教师模型在投票时结合差分隐私理论选出较优的预测结果，使用者利用学生模型进行预测，教师模型不公布，从而达到保护训练数据集的目的。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

现有技术的方法，均无法实现对于语句的隐私保护，

也就是说，现有技术中存在隐私保护效果不佳的技术问题。

发明内容

有鉴于此，本发明提供了一种基于LSTM和随机森林混合模型的电力通信业务可靠性评估预测方法及装置，用以解决或者至少部分解决现有技术中存在的隐私保护效果不佳的技术问题。

为了解决上述技术问题，本发明第一方面提供了一种基于生成对抗网络的情绪差分隐私保护方法，包括：

S1：接收隐私保护数据；

S2：识别隐私保护数据的类型并进行向量化，当隐私保护数据的类型为文本时执行步骤S3，当隐私保护数据的类型为图片时执行步骤S4；

S3：利用预设分词算法对文字类型的数据进行分词后，通过情绪分类器进行情绪类型识别，然后构建文本对抗生成网络，生成目标语句并进行隐私保护；

S4：通过预设人脸检测算法对图片类型的数据进行检测，获得面部图像，利用人脸特征点检测算法确定其面部情绪，通过表情分类器进行情绪识别，然后构建图像对抗生成网络，生成目标人脸图片并进行隐私保护。

在一种实施方式中，S1中识别隐私保护数据的类型并进行向量化，包括：

S1.1：根据接收的隐私保护数据的格式识别为文本或者图片类型；

S1.2：根据隐私保护数据生成向量序列，并根据识别出的类型附加类别向量，其中，类别向量用以标识数据的类型，当类型为文本时，附加的类别向量为[-1,…,-1]^T，当类型为图片时，附加的类别向量为[0,…,0]^T。

在一种实施方式中，文本对抗生成网络包括LSTM生成器部分、CNN判别器部分和情绪判别器，S3中具体包括：

S3.1：采用最短路径分词算法匹配出隐私保护数据中包含的词语，构成词图，然后基于词图寻找从起始点到终点的最短路径作为分词组合结果，得到分词后的语句；

S2.2：将分词后的语句根据词序进行向量化，采用情绪分类器进行情绪类型识别，获得第一情绪类别，并将第一情绪类别作为情绪标签与向量化后的语句向量进行融合；

S2.3：根据融合后的向量获取向量化后的语句向量，通过LSTM生成器部分根据向量化后的语句生成目标语句，并通过CNN判别器部分判别生成的目标语句是否为满足要求的真实语句，当判定目标语句为满足要求的真实语句时，通过情绪判别器判定目标语句的第二情绪类别，当第一情绪类别与第二情绪类别不一致时，将LSTM生成器部分生成的新语句作为隐私保护后的语句。

在一种实施方式中，S2.3中LSTM生成器部分采用长短记忆网络LSTM，并基于随机噪声指导目标语句的生成，生成过程具体包括：

LSTM生成器部分将随机噪声向量R₁映射成一个目标语句

生成概率为：

其中，p(w¹|R₁)＝arg max(Vh₁)，

为随机噪声向量R₁指导下的条件输出，p(w^t|w^<t,R₁)＝arg max(Vh_t)，句子

w^t表示句子的第t个单词，每一个单词w^t都映射为一个k维向量x_t＝W_e[w^t]，其中

是训练过程中逐渐学习的词嵌入矩阵，V是词典大小，

所有词语则按顺序使用LSTM计算得出，直至遇到结束标志符，计算方法如下：

p(w^t|w^<t,R₁)＝arg max(Vh_t)

h_t＝LSTM(y_t-1,h_t-1,R₁)

y_t-1＝W_e[w^t-1]，h_t-1为循环迭代得到的结果，直至最后一个词语生成完毕，则生成一个目标语句。

在一种实施方式中，S2.3中通过CNN判别器部分判别生成的目标语句是否为满足要求的真实语句，包括：

对生成的目标语句进行卷积和池化操作进行特征提取；

同时对原始语句采用同样的方式进行卷积和池化操作进行特征提取，原始语句为接收的隐私保护数据中类型为文本类型的语句；

采用采用L₁范数作为损失函数进行判定，判定方式如下：

d＝||β-β₁||¹≤ε

其中，β表示从原始语句中提取出的特征，β₁表示从目标语句中提取出的特征，ε为损失阈值，当满足上述判定条件时，对LSTM生成器结果判定为真，即目标语句为满足要求的真实语句；否则返回LSTM生成器部分，反向优化后重新生成。

在一种实施方式中，S2.3中通过情绪判别器判定目标语句的第二情绪类别，包括：

采用使用信息实体增强语言表示框架ERNIE作为情绪判别器对目标语句进行类型识别，并得到第二情绪类别。

在一种实施方式中，图像对抗生成网络包括生成部分、判别部分和情绪分类器，S4具体包括：

S4.1：使用预设人脸检测算法对图片进行人脸检测，提取出图像中的人脸位置和大小，并截取人脸，将人脸从图像背景进行分离。

S4.2：采用ESR算法定位人脸的关键点部位；

S4.3：利用Gabor滤波器进行人脸特征提取；

S4.4：利用PCA对特征进行降维处理；

S4.5：使用SVM作为表情分类器进行情绪识别；

S4.6：通过生成部分生成一个目标人脸图像，判别部分判断生成的目标人脸图像是否满足真实图片的要求，当满足时，通过情绪分类器对目标人脸图像进行类型判断，得到第四情绪类别，与通过表情分类器进行情绪识别得到的第三情绪类别进行比较，当不一致时，将生成部分生成的目标人脸图像为隐私保护后的图像。

在一种实施方式中，S4.6中，生成部分包括生成器G，生成部分生成一个目标人脸图像包括：

将原始人脸图像X和目标向量标签C输入生成器G，输出为y：

G(X,C)→y

原始人脸图像为采用预设人脸检测算法对图片类型的数据进行检测获得的面部图像，目标向量标签为通过表情分类器进行情绪识别得到的第三情绪类别；

将在目标标签向量的指导下生成的图像在原始标签向量下进行人脸重构，通过最小化重构对抗损失，训练生成的目标图像尽可能与真实图像一样，对生成器G使用循环一致性损失函数，如下：

L_rec＝E_x,c,c'[||x-G(G(x,c),c')||₁]

其中，生成器G以生成的图像G(x，c)以及原始输入图像领域标签c'为输入，重构出与原始图像接近的目标图像，选择L范数作为重构损失函数。

在一种实施方式中，S4.6中，判别部分包括真假判别器，真假判别器采用的对抗损失函数为：

L_adv＝E_x[logD_src(x)]+E_x,c[log(1-D_src(G(x,c)))]

其中，D_src(x)为输入图像x经过判别器D之后得到的可能性分布，D_src(G(x,c))表示生成器G生成的图像经过判别器D后的可能性分布，生成器G的作用是使真假判别器采用的抗损失函数尽可能的小，而判别器D则尽可能使其最大化。

在一种实施方式中，S4.6中，通过情绪分类器对目标人脸图像进行类型判断，得到第四情绪类别，包括：

在情绪分类器上添加一个辅助分类器，并采用目标域分类损失函数进行优化，将目标域分类损失函数分解为两部分：一个真实图像的分布分类损失用于约束目标分类器，一个假图像的分布分类损失用于约束生成器G，表达式如下所示：

D_cls(c'|x)代表目标分类器计算出来的领域标签的可能性分布，通过将

这个式子最小化，目标分类器将真实图像x正确分类到与其相关分布c'，假图像的分类分布的损失函数定义如下：

即生成器G使

这个式子最小化，使得生成的图像能够被目标分类器判别为目标领域c。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明的提供的一种基于生成对抗网络GAN的情绪差分隐私保护方法，能够对语句和图像进行检索，并改变语句和图像中人物的情绪，从而实现对于情绪主题的隐私保护。该方法能够对情绪隐私保护对象进行类型判别，分为语句保护与图像保护；该方法可对语句保护对象进行分词、情绪识别、构建文本对抗生成网络TextGAN进行语句生成并对情绪再判定，进而实现语句对象的情绪隐私保护；该方法可对图像保护对象进行裁剪、特征提取并降维、表情分类、构建StarGAN进行面部属性编辑并对表情进行再判定，进而生成逼真的面部图像，实现图像主体的情绪隐私保护；该方法具有良好的泛用性和可迁移性，无需依赖额外设备，能够显著地提升隐私保护效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于生成对抗网络的情绪差分隐私保护方法的流程图；

图2为本发明情绪标签向量与语句向量融合流程图；

图3为本发明对于语句对象施加隐私保护的基于TextGAN的网络流程图；

图4为本发明对于图像对象施加隐私保护的基于StarGAN的网络流程图。

具体实施方式

本发明目的在于提供一种基于生成对抗网络的情绪差分隐私保护方法，从而改善隐私保护效果。

本发明的总体发明构思如下：

提出并实现了一种基于GAN的情绪差分隐私保护方法，能够对语句和图像进行检索，并改变语句和图像中人物的情绪，从而实现对于情绪主题的隐私保护。该方法能够对情绪隐私保护对象进行类型判别，分为语句保护与图像保护；该方法可对语句保护对象进行分词、情绪识别、构建TextGAN进行语句生成并对情绪再判定，进而实现语句对象的情绪隐私保护；该方法可对图像保护对象进行裁剪、特征提取并降维、表情分类、构建StarGAN进行面部属性编辑并对表情进行再判定，进而生成逼真的面部图像，实现图像主体的情绪隐私保护。

该方法具有良好的泛用性和可迁移性，无需依赖额外设备，能够显著地提升隐私保护效果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供了一种基于生成对抗网络的情绪差分隐私保护方法，该方法包括：

S1：接收隐私保护数据；

S2：识别隐私保护数据的类型并进行向量化，当隐私保护数据的类型为文本时执行步骤S3，当隐私保护数据的类型为图片时执行步骤S4；

S3：利用预设分词算法对文字类型的数据进行分词后，通过情绪分类器进行情绪类型识别，然后构建文本对抗生成网络，生成目标语句并进行隐私保护；

S4：通过预设人脸检测算法对图片类型的数据进行检测，获得面部图像，利用人脸特征点检测算法确定其面部情绪，通过表情分类器进行情绪识别，然后构建图像对抗生成网络，生成目标人脸图片并进行隐私保护。

具体来说，本发明首先对当前的隐私保护对象进行类型识别，分为文本和图片，然后分别针对文本类型的数据和图片类型的数据分别进行处理，从而达到隐私保护的目的。

S3是针对文本类型的数据进行隐私保护，采用预设分词算法对文字类型的数据进行分词，从而划分语法成分，并可以连接文字情绪语料库，通过情绪分类器进行情绪类型识别。为了方便处理，可以将通过情绪分类器进行情绪类型识别出的情绪标签(类别)作为额外向量，并将文字语句进行序列化，利用文本对抗生成网络TextGAN生成新语句，控制判别器确保其隐私信息已覆盖更新。

在一种实施方式中，S1中识别隐私保护数据的类型并进行向量化，包括：

S1.1：根据接收的隐私保护数据的格式识别为文本或者图片类型；

S1.2：根据隐私保护数据生成向量序列，并根据识别出的类型附加类别向量，其中，类别向量用以标识数据的类型，当类型为文本时，附加的类别向量为[-1,…,-1]^T，当类型为图片时，附加的类别向量为[0,…,0]^T。

在具体的实施过程中，可以根据输入的隐私保护数据的格式判断其为文字、或图片格式，并将其向量化，向量序列前附加类别向量，其中文字附加为[-1,…,-1]^T，图片附加为[0,…,0]^T，附加向量维数根据输入信息向量化维数自适应。

在一种实施方式中，文本对抗生成网络包括LSTM生成器部分、CNN判别器部分和情绪判别器，S3中具体包括：

S3.1：采用最短路径分词算法匹配出隐私保护数据中包含的词语，构成词图，然后基于词图寻找从起始点到终点的最短路径作为分词组合结果，得到分词后的语句；

S2.2：将分词后的语句根据词序进行向量化，采用情绪分类器进行情绪类型识别，获得第一情绪类别，并将第一情绪类别作为情绪标签与向量化后的语句向量进行融合；

S2.3：根据融合后的向量获取向量化后的语句向量，通过LSTM生成器部分根据向量化后的语句生成目标语句，并通过CNN判别器部分判别生成的目标语句是否为满足要求的真实语句，当判定目标语句为满足要求的真实语句时，通过情绪判别器判定目标语句的第二情绪类别，当第一情绪类别与第二情绪类别不一致时，将LSTM生成器部分生成的新语句作为隐私保护后的语句。

具体来说，最短路径分词算法为Dijkstra算法，该算法适用于所有带权有向图，求解源节点到其他所有节点的最短路径，并可以求得全局最优解。Dijkstra本质为贪心算法，在每一步走到当前路径最短的节点，递推地更新原节点到其他节点的距离。

作为优选，还可以采用改进后的最短路径算法，N-最短路径分词是对Dijkstra算法的扩展，在每一步保存最短的N条路径，并记录这些路径上当前节点的前驱，在最后求得最优解时回溯得到最短路径。

通过最短路径分词算法，可以得到最佳分词结果

在具体的实施过程中，将分词后的语句根据词序向量化为[a¹,a²,…,aⁿ]，对非重要词(主语、介词等)进行选择性丢弃，根据隐私保护强度将语句向量维度归一化为n维，语句每一成分单独占有一维。统一维度后，采用ERNIE对分词后的语句进行情绪阅读理解，输出情绪标签E，并添加至语句末端，情绪标签与向量化语句融合为新向量。

请见图2，为本发明情绪标签向量与语句向量融合流程图，对被判定为语句类型的保护对象进行情绪判断，并将标签与向量化后的语句主体进行融合。

在一种实施方式中，S2.3中LSTM生成器部分采用长短记忆网络LSTM，并基于随机噪声指导目标语句的生成，生成过程具体包括：

LSTM生成器部分将随机噪声向量R₁映射成一个目标语句

生成概率为：

其中，p(w¹|R₁)＝arg max(Vh₁)，

为随机噪声向量R₁指导下的条件输出，p(w^t|w^<t,R₁)＝arg max(Vh_t)，句子

w^t表示句子的第t个单词，每一个单词w^t都映射为一个k维向量x_t＝W_e[w^t]，其中

是训练过程中逐渐学习的词嵌入矩阵，V是词典大小，

所有词语则按顺序使用LSTM计算得出，直至遇到结束标志符，计算方法如下：

p(w^t|w^<t,R₁)＝arg max(Vh_t)

h_t＝LSTM(y_t-1,h_t-1,R₁)

y_t-1＝W_e[w^t-1]，h_t-1为循环迭代得到的结果，直至最后一个词语生成完毕，则生成一个目标语句。

具体来说，LSTM生成器部分的生成器网络编码器采用LSTM，将融合前的语句向量记为S₁，分类标签保持不变，添加同尺度随机噪声向量R₁，R₁标签部分置为0。当最后一个词语生成完毕时，则随机噪声R₁指导下

的生成部分结束。

该LSTM生成器生成语句结果输出将作为两个判别器的输入以及最后的结果输出的基础(如图3所示)。

在一种实施方式中，S2.3中通过CNN判别器部分判别生成的目标语句是否为满足要求的真实语句，包括：

对生成的目标语句进行卷积和池化操作进行特征提取；

同时对原始语句采用同样的方式进行卷积和池化操作进行特征提取，原始语句为接收的隐私保护数据中类型为文本类型的语句；

采用采用L₁范数作为损失函数进行判定，判定方式如下：

d＝||β-β₁||¹≤ε

其中，β表示从原始语句中提取出的特征，β₁表示从目标语句中提取出的特征，ε为损失阈值，当满足上述判定条件时，对LSTM生成器结果判定为真，即目标语句为满足要求的真实语句；否则返回LSTM生成器部分，反向优化后重新生成。

具体来说，LSTM生成器部分的结果将传入CNN判别器部分，以判断其是否为满足要求的真实语句。

在具体的实施过程中，因为一个长度为T(长度不足则补齐)的句子可以表示成一个矩阵X∈R^k×T，它的每一列由句子中的单词的词向量组成，因此通过对句子进行卷积和池化操作来完成特征提取。设计卷积核W_C∈R^k×T,对句子中h大小窗口内的连续词语做卷积：

c＝f(X*W_C+b)

其中f(·)是一个非线性激活函数，*是卷积操作，最终可以得到一个特征向量C，然后对特征向量做最大池化操作：

即作为这次操作的最终特征。

通过最大池化可获取最重要的特征(对应重要的词语位置)，过滤掉信息量少的词语。构造多个卷积核可提取h-gram的特征，根据隐私保护对象主体的具体情况，可设置m种窗口大小，采用d个卷积核，最终可以得到一个md维的特征β₁。对该特征应用一个softmax层映射为输出D(X)∈[0,1]，表示语句X来自真实数据的概率。

同时该CNN判别器接收来自原始语句维度归一化之后的结果，并采用同样的卷积与池化操作得到同一规格的md维特征向量β，为确保LSTM生成语句与原始语句足够相似，采用L₁范数作为损失函数进行判定。如下：

d＝||β-β₁||¹≤ε

其中ε为损失阈值，可根据分词结果给定，且ε∝n(n为词数)。若满足上述限制条件，对LSTM生成器结果判定为真，并将其继续作为情绪判别器的输入；否则返回LSTM反向优化后重新生成。

在一种实施方式中，S2.3中通过情绪判别器判定目标语句的第二情绪类别，包括：

采用使用信息实体增强语言表示框架ERNIE作为情绪判别器对目标语句进行类型识别，并得到第二情绪类别。

具体来说，情绪判别器用于对CNN判别器部分判别为真的来自LSTM生成器生成语句进行判别，为了确保模型可实现差分隐私，在保持语句真实性的前提下(已通过CNN判别器控制实现)，采用ERNIE对生成语句进行二次判别，得到新的情绪标签E₁(即第二情绪类别)，目标为：

E≠E₁

并输出而分类结果，通过该操作，该情绪判别器可确保来自LSTM的生成结果与原始语句不同，从而完成情绪的差分隐私保护。

下面介绍TextGAN的训练过程，TextGAN和原始GAN有所不同，将采用特征匹配的方法进行训练，迭代优化过程包含以下两个步骤：

其中∑_s和∑_r分别表示生成句子特征向量f_s真实句子特征向量f_r的协方差矩阵，μ_s和分别表示f_s和f_r的平均值，∑_s、μ_s和μ_r可根据具体情景来设置，通过设置∑_s＝∑_r＝I，LSTM生成器G的优化则变成了特征匹配。D表示CNN判别器的损失函数，损失

是两个多元正态分布N(μ_r,∑_r)和N(μ_s,∑_s)的JS-散度。

LSTM生成器G包含离散变量，直接应用梯度估计的方法无法使用。采用基于得分函数的强化学习算法，利用soft-argmax函数来逼近下式：

y_t-1＝W_esoftmax(Vh_t-1⊙L)

该处的L是LSTM生成器的损失，当

逼近越接近上式y_t-1。

对于LSTM生成器，预训练一个标准自编码LSTM模型来初始化生成器的LSTM参数；对于CNN判别器，使用交叉训练策略，利用原始的句子和该句子中随机交换两个词的位置后得到的新句子进行判别训练(在初始化的过程中，运用逐点分类损失函数对CNN判别器进行优化)。交替地对生成器和判别器进行训练，每训练5次LSTM生成器就训练1次CNN判别器，直至其收敛则结束训练。

通过上述训练策略，可实现对语句对象的情绪差分隐私保护。

在一种实施方式中，图像对抗生成网络包括生成部分、判别部分和情绪分类器，S4具体包括：

S4.1：使用预设人脸检测算法对图片进行人脸检测，提取出图像中的人脸位置和大小，并截取人脸，将人脸从图像背景进行分离。

S4.2：采用ESR算法定位人脸的关键点部位；

S4.3：利用Gabor滤波器进行人脸特征提取；

S4.4：利用PCA对特征进行降维处理；

S4.5：使用SVM作为表情分类器进行情绪识别；

S4.6：通过生成部分生成一个目标人脸图像，判别部分判断生成的目标人脸图像是否满足真实图片的要求，当满足时，通过情绪分类器对目标人脸图像进行类型判断，得到第四情绪类别，与通过表情分类器进行情绪识别得到的第三情绪类别进行比较，当不一致时，将生成部分生成的目标人脸图像为隐私保护后的图像。

具体实施过程中，S4.1中可以使用OpenCV中现有的Haar分类器对图片进行人脸检测，提取出图像中的人脸位置和大小，并截取人脸，将人脸从图像背景中分离出来，将人脸的位置一坐标返回，同时返回人脸的大小和此时的姿态。对分离所得人脸进行集合运算，得到人脸位置的端正的人脸图像。

S4.2是实现人脸特征点定位，对S4.1所得的人脸图像使用ESR算法，精确定位人脸的关键点部位，实现方法如下：

(1)两层级联回归模型，第一层(R¹,R²,R³)，第二层R^t＝(r¹,r²,r³).

(2)r^k(k＝1,2,3)是由2个回归组成，F为特征个数，通过阈值可以划分为2^F个区域，每个区域与一个回归输出δS_b相关。

(3)通过优化目标函数

求解并加入收缩参数后有：

(4)训练完成后，得到T*K*2^F个回归器：δS_tkb,t＝1,2,…,T,k＝1,2,…,k,b＝1,2,…,2^F。

通过上述回归模型，可以实现人脸图像的关键点定位。

S4.3是Gabor人脸特征提取，

使用Gabor滤波器进行人脸特征提取，Gabor滤波器公式化定义如下：

复数表达：

实数部分：

虚数部分：

其中，λ为正弦函数的波长；θ为Gabor核函数的方向；φ为相位偏移；γ为图像空间的宽高比；σ的值随着Gabor滤波器带宽值b(预给定)的变化而变化，且为正实数，。b的值越小，式子的标准差越大，Gabor形状就会越大。

通过40个滤波器队图像进行滤波，特征向量选取图像中29个特征点，一共40×29，1160维，选择不同的Gabor核函数生成的图，并将特征点区域的像素值提取出来。

S4.4：特征降维

经上述步骤提取特征之后，利用PCA对特征进行降维处理。

输入特征样本集D，低维空间维数k。将样本集中心化，每一列的特征值减去当前列的均值，且协方差矩阵的特征值和特征向量，选取前k个特征值，对应的特征向量，对中心化数据进行运算：对应的特征向量×中心化数据，输出降维后样本集。一般根据前k个特征值和与所有特征值总和的比值(累计贡献率)选取k值。

S4.5：使用SVM作为表情分类器进行情绪识别，即表情分类，在提取到人脸图像的特征向量并进行降维之后，接下来使用SVM进行表情分类。实现方法如下：

(1)准备训练数据集，将数据处理成SVM的标准格式

(2)训练model，调整好参数，载入数据进行训练

(3)利用训练好的model对样本数据进行预测

(4)分析预测结果与标准结果对比

(5)利用SVM分类器对给定图片的表情分类，根据表情总数构建标签向量，添加为额外维度向量。即得该人脸图像的融合向量。

请见图4，为本发明对被判断为图像的主体施加基于StarGAN的情绪差分隐私保护的网络流程图。

在一种实施方式中，S4.6中，生成部分包括生成器G，生成部分生成一个目标人脸图像包括：

将原始人脸图像X和目标向量标签C输入生成器G，输出为y：

G(X,C)→y

原始人脸图像为采用预设人脸检测算法对图片类型的数据进行检测获得的面部图像，目标向量标签为通过表情分类器进行情绪识别得到的第三情绪类别；

将在目标标签向量的指导下生成的图像在原始标签向量下进行人脸重构，通过最小化重构对抗损失，训练生成的目标图像尽可能与真实图像一样，对生成器G使用循环一致性损失函数，如下：

L_rec＝E_x,c,c'[||x-G(G(x,c),c')||₁]

其中，生成器G以生成的图像G(x，c)以及原始输入图像领域标签c'为输入，重构出与原始图像接近的目标图像，选择L范数作为重构损失函数。

具体来说，生成部分包含生成器G(两个生成器G使用同一个生成器)，判别部分包含重建损失判别器，情绪判别器，真假判别器。

1、多领域图像转换部分(生成器G)

生成器G分为编码和解码部分，均采用堆叠CNN架构，为确保生成器G能够多领域映射，将人脸图像X和目标向量标签C输入生成器，输出为y，即：

G(X,C)→y

该操作使原始人脸图像在目标标签的指导下进行新的人脸图像生成。

2、重建判别部分

将生成器G在目标标签向量的指导下生成的图像在原始标签向量下进行人脸重构，通过最小化重构对抗损失，G训练生成的图像尽可能与真实图像一样，对G使用循环一致性损失函数(cycleconsistencyloss)，如下：

L_rec＝E_x,c,c'[||x-G(G(x,c),c')||₁]

其中：G以生成图像G(x，c)以及原始输入图像领域标签c'为输入，努力重构出原始图像x。选择L范数作为重构损失函数。通过该重构部分，可保证生成器条件生成是可逆的，从而使得标签向量指导生成器将人脸图像向目标域转换。

在一种实施方式中，S4.6中，判别部分包括真假判别器，真假判别器采用的对抗损失函数为：

L_adv＝E_x[logD_src(x)]+E_x,c[log(1-D_src(G(x,c)))]

其中，D_src(x)为输入图像x经过判别器D之后得到的可能性分布，D_src(G(x,c))表示生成器G生成的图像经过判别器D后的可能性分布，生成器G的作用是使真假判别器采用的抗损失函数尽可能的小，而判别器D则尽可能使其最大化。

具体来说，当重构部分训练完毕后，可指导生成器2G以生成面部图像和目标标签向量为输入生成目标人脸图像S。S经过一个真假判别器，判断其生成图像是否为真实图像，真假判别器采用L_adv损失函数。

根据输入图像x和目标领域标签c，由G生成输出图像:G(x,c)，同时D区分出真实图像和生成图像。将:D_src(x)作为输入图像x经过D之后得到的可能性分布。生成器G使这个式子尽可能的小，而D则尽可能使其最大化。

在一种实施方式中，S4.6中，通过情绪分类器对目标人脸图像进行类型判断，得到第四情绪类别，包括：

在情绪分类器上添加一个辅助分类器，并采用目标域分类损失函数进行优化，将目标域分类损失函数分解为两部分：一个真实图像的分布分类损失用于约束目标分类器，一个假图像的分布分类损失用于约束生成器G，表达式如下所示：

D_cls(c'|x)代表目标分类器计算出来的领域标签的可能性分布，通过将

这个式子最小化，目标分类器将真实图像x正确分类到与其相关分布c'，假图像的分类分布的损失函数定义如下：

即生成器G使

这个式子最小化，使得生成的图像能够被目标分类器判别为目标领域c。

具体来说，还包括目标分类判别部分，当真假判别其判定生成图像为真，则进行目标分类判别，确保原始人脸图像已转换至目标域。采用以下策略进行：

对于输入图像x和目标分布标签c，目标分类器的目标是将x转换为输出图像y后能够被正确分类为目标分布c。为了实现这一目标，D之上添加一个辅助分类器，并在优化生成器G和目标分类器时采用目标域分类损失函数。将这个式子分解为两部分：一个真实图像的分布分类损失用于约束目标费雷其，一个假图像的分布分类损失用于约束G。D_cls(c'|x)代表目标分类器计算出来的领域标签的可能性分布。一方面，通过将这个式子最小化，目标分类器将真实图像x正确分类到与其相关分布c'。另一方面，假图像的分类分布的损失函数定义如下：

即G使这个式子最小化，使得生成的图像能够被目标分类器判别为目标领域c。

接下来介绍StarGAN的训练策略：

将上述StarGAN部分所有损失函数做线性运算，得总体损失函数表示，最终生成器和判别器的损失函数表示如下：

其中：λ_cls和λ_rec是控制分类误差和重构误差相对于对抗误差的相对权重的超参数。

设置为：

λ_cls＝1,λ_rec＝10

损失函数改进：

为了GAN训练过程稳定，生成高质量的图像，可采用自定义梯度惩罚来代替对抗误差损失：

其中:

表示真实和生成图像之间均匀采样的直线，设置：λ_gp＝10。

在公开人脸数据集(如CelebA，RaFD)上进行训练，即完成StarGAN训练。

此外，引入向量掩码m，使StarGAN模型能够忽略不确定的标签，专注于特定数据集提供的明确的已知标签。在StarGAN中使用n维的one-hot向量来代表m，n表示数据集的数量。除此之外，将标签的同一版本定义为一个数组：

其中：[·]表示串联，其中c表示第i个数据集的标签，已知标签c的向量能用二值标签表示二值属性或者用one-hot的形式表示多类属性。对于剩下的n-1个未i知标签置为0。

利用训练好的StarGAN进行图片类型数据进行保护的方法如下：

1、首先利用训练好的StarGAN进行面部属性编辑，

利用训练好的StarGAN对裁剪完毕的面部图像进行属性编辑，对生成的一系列面部图像再次采用S4.5中的表情分类器进行判别，使得情绪标签向量与原始人脸图像不同。

2、将编辑完成的面部图片在原始图片上进行覆盖，记原始图像为S，编辑完的图像为

裁剪部分赋予掩码H＝1，进行如下变换：

面部图片可与原始图片完成融合，情绪隐私保护完成。

总体来说，本发明的创新点和有益效果如下：

1、传统的隐私保护技术主要针对单一类型的对象进行保护，采用基于解算或者加密的方法，这些方法不仅难度大、效果不佳，并且无法拓展迁移至其他类型的对象。本发明采用基于GAN的情绪差分隐私保护技术，利用生成对抗网络生成与隐私保护对象同一类型的逼真样本，并利用情绪分类器进行判别，进而达到对于对象的情绪隐私保护。这是一种全新的基于深度学习的隐私保护技术，训练简单，实用性极强。

2、本发明针对不同的隐私保护对象类型制定了不同的保护策略，不仅可以对语句对象实现有效的保护，还可以对图像中的对象实现隐私保护，对环境并无严格要求，且生成样本效果极其逼真，能够更有效地实现情绪隐私的抹除再生。

3、本发明可以根据输入样本的数据类型自动进行隐私信息的保护，无需任何手动标识，并且一次训练完成后无需反复训练，节约了大量时间，在保证隐私保护效果的前提下节约了大量时间。

4、本发明提出的方法简单易实现，无需依赖任何额外的设备，具有很强的健壮性和可迁移性。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于生成对抗网络的情绪差分隐私保护方法，其特征在于，包括：

S1：接收隐私保护数据；

S2：识别隐私保护数据的类型并进行向量化，当隐私保护数据的类型为文本时执行步骤S3，当隐私保护数据的类型为图片时执行步骤S4；

S3：利用预设分词算法对文字类型的数据进行分词后，通过情绪分类器进行情绪类型识别，然后构建文本对抗生成网络，生成目标语句并进行隐私保护；

S4：通过预设人脸检测算法对图片类型的数据进行检测，获得面部图像，利用人脸特征点检测算法确定其面部情绪，通过表情分类器进行情绪识别，然后构建图像对抗生成网络，生成目标人脸图片并进行隐私保护。

2.如权利要求1所述的方法，其特征在于，S1中识别隐私保护数据的类型并进行向量化，包括：

S1.1：根据接收的隐私保护数据的格式识别为文本或者图片类型；

S1.2：根据隐私保护数据生成向量序列，并根据识别出的类型附加类别向量，其中，类别向量用以标识数据的类型，当类型为文本时，附加的类别向量为[-1,…,-1]^T，当类型为图片时，附加的类别向量为[0,…,0]^T。

3.如权利要求1所述的方法，其特征在于，文本对抗生成网络包括LSTM生成器部分、CNN判别器部分和情绪判别器，S3中具体包括：

S3.1：采用最短路径分词算法匹配出隐私保护数据中包含的词语，构成词图，然后基于词图寻找从起始点到终点的最短路径作为分词组合结果，得到分词后的语句；

S2.2：将分词后的语句根据词序进行向量化，采用情绪分类器进行情绪类型识别，获得第一情绪类别，并将第一情绪类别作为情绪标签与向量化后的语句向量进行融合；

S2.3：根据融合后的向量获取向量化后的语句向量，通过LSTM生成器部分根据向量化后的语句生成目标语句，并通过CNN判别器部分判别生成的目标语句是否为满足要求的真实语句，当判定目标语句为满足要求的真实语句时，通过情绪判别器判定目标语句的第二情绪类别，当第一情绪类别与第二情绪类别不一致时，将LSTM生成器部分生成的新语句作为隐私保护后的语句。

4.如权利要求3所述的方法，其特征在于，S2.3中LSTM生成器部分采用长短记忆网络LSTM，并基于随机噪声指导目标语句的生成，生成过程具体包括：

LSTM生成器部分将随机噪声向量R₁映射成一个目标语句

生成概率为：

其中，p(w¹|R₁)＝arg max(Vh₁)，

为随机噪声向量R₁指导下的条件输出，p(w^t|w^＜t，R₁)＝arg max(Vh_t)，句子

w^t表示句子的第t个单词，每一个单词w^t都映射为一个k维向量x_t＝W_e[w^t]，其中

是训练过程中逐渐学习的词嵌入矩阵，V是词典大小，

所有词语则按顺序使用LSTM计算得出，直至遇到结束标志符，计算方法如下：

p(w^t|w^＜t，R₁)＝arg max(Vh_t)

h_t＝LSTM(y_t-1，h_t-1，R₁)

y_t-1＝W_e[w^t-1]，h_t-1为循环迭代得到的结果，直至最后一个词语生成完毕，则生成一个目标语句。

5.如权利要求3所述的方法，其特征在于，S2.3中通过CNN判别器部分判别生成的目标语句是否为满足要求的真实语句，包括：

对生成的目标语句进行卷积和池化操作进行特征提取；

同时对原始语句采用同样的方式进行卷积和池化操作进行特征提取，原始语句为接收的隐私保护数据中类型为文本类型的语句；

采用采用L₁范数作为损失函数进行判定，判定方式如下：

d＝||β-β₁||¹≤ε

其中，β表示从原始语句中提取出的特征，β₁表示从目标语句中提取出的特征，ε为损失阈值，当满足上述判定条件时，对LSTM生成器结果判定为真，即目标语句为满足要求的真实语句；否则返回LSTM生成器部分，反向优化后重新生成。

6.如权利要求1所述的方法，其特征在于，S2.3中通过情绪判别器判定目标语句的第二情绪类别，包括：

采用使用信息实体增强语言表示框架ERNIE作为情绪判别器对目标语句进行类型识别，并得到第二情绪类别。

7.如权利要求1所述的方法，其特征在于，图像对抗生成网络包括生成部分、判别部分和情绪分类器，S4具体包括：

S4.1：使用预设人脸检测算法对图片进行人脸检测，提取出图像中的人脸位置和大小，并截取人脸，将人脸从图像背景进行分离；

S4.2：采用ESR算法定位人脸的关键点部位；

S4.3：利用Gabor滤波器进行人脸特征提取；

S4.4：利用PCA对特征进行降维处理；

S4.5：使用SVM作为表情分类器进行情绪识别；

S4.6：通过生成部分生成一个目标人脸图像，判别部分判断生成的目标人脸图像是否满足真实图片的要求，当满足时，通过情绪分类器对目标人脸图像进行类型判断，得到第四情绪类别，与通过表情分类器进行情绪识别得到的第三情绪类别进行比较，当不一致时，将生成部分生成的目标人脸图像为隐私保护后的图像。

8.如权利要求1所述的方法，其特征在于，S4.6中，生成部分包括生成器G，生成部分生成一个目标人脸图像包括：

将原始人脸图像X和目标向量标签C输入生成器G，输出为y：

G(X，C)→y

原始人脸图像为采用预设人脸检测算法对图片类型的数据进行检测获得的面部图像，目标向量标签为通过表情分类器进行情绪识别得到的第三情绪类别；

将在目标标签向量的指导下生成的图像在原始标签向量下进行人脸重构，通过最小化重构对抗损失，训练生成的目标图像尽可能与真实图像一样，对生成器G使用循环一致性损失函数，如下：

L_rec＝E_x，c，c′[||x-G(G(x，c)，c′)||₁]

其中，生成器G以生成的图像G(x，c)以及原始输入图像领域标签c’为输入，重构出与原始图像接近的目标图像，选择L范数作为重构损失函数。

9.如权利要求1所述的方法，其特征在于，S4.6中，判别部分包括真假判别器，真假判别器采用的对抗损失函数为：

L_adv＝E_x[loggD_src(x)]+E_x，c[log(1-D_src(G(x，c)))]

其中，D_src(x)为输入图像x经过判别器D之后得到的可能性分布，D_src(G(x，c))表示生成器G生成的图像经过判别器D后的可能性分布，生成器G的作用是使真假判别器采用的抗损失函数尽可能的小，而判别器D则尽可能使其最大化。

10.如权利要求1所述的方法，其特征在于，S4.6中，通过情绪分类器对目标人脸图像进行类型判断，得到第四情绪类别，包括：

在情绪分类器上添加一个辅助分类器，并采用目标域分类损失函数进行优化，将目标域分类损失函数分解为两部分：一个真实图像的分布分类损失用于约束目标分类器，一个假图像的分布分类损失用于约束生成器G，表达式如下所示：

D_cls(c′|x)代表目标分类器计算出来的领域标签的可能性分布，通过将

这个式子最小化，目标分类器将真实图像x正确分类到与其相关分布c’，假图像的分类分布的损失函数定义如下：

即生成器G使

这个式子最小化，使得生成的图像能够被目标分类器判别为目标领域c。

Images