CN112084962A - 基于生成式对抗网络脸部隐私保护方法 - Google Patents

基于生成式对抗网络脸部隐私保护方法 Download PDF

Info

Publication number
CN112084962A
CN112084962A CN202010955318.0A CN202010955318A CN112084962A CN 112084962 A CN112084962 A CN 112084962A CN 202010955318 A CN202010955318 A CN 202010955318A CN 112084962 A CN112084962 A CN 112084962A
Authority
CN
China
Prior art keywords
face
loss
network
generator
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010955318.0A
Other languages
English (en)
Other versions
CN112084962B (zh
Inventor
杨观赐
林家丞
李杨
何玲
蒋亚汶
袁庆霓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou University
Original Assignee
Guizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou University filed Critical Guizhou University
Priority to CN202010955318.0A priority Critical patent/CN112084962B/zh
Publication of CN112084962A publication Critical patent/CN112084962A/zh
Application granted granted Critical
Publication of CN112084962B publication Critical patent/CN112084962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明的基于生成式对抗网络脸部隐私保护方法，其特征在于：在工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法，并且在工作站上训练特征模型W；当机器人平台上的照相机捕获脸部图像时，对需隐私保护的脸部图像，机器人平台应用基于生成对抗网络的人脸识别方法进行脸部去识别，保护脸部图像的隐私特征，确保用户的视觉隐私不受侵犯。所述基于生成对抗网络的人脸识别方法，包含1个改进U‑Net网络的生成器G和2个判别器D 1、D 2，其中判别器与生成器由卷积层，残差块和自注意力层组成。本发明具有能减少或消除训练过程中模式崩溃和过度拟合的问题，提高生成图像质量，并在视觉上保护图像的隐私的特点。

Description

基于生成式对抗网络脸部隐私保护方法
技术领域
本发明涉及信息安全保护领域，具体涉及一种基于生成式对抗网络脸部隐私保护方法。
背景技术
近年来，大量的照片与视频随着手机，平板电脑和其他成像设备的广泛使用而被记录、存储与处理。这些视觉设备虽然为人们带来了便利，但未受保护的图像或视频会导致隐私泄露，并给隐私保护带来严峻挑战。人脸去识别是视觉隐私保护中重要的第一步，因此人脸去识别问题最近受到了广泛关注。为了保护视觉面部隐私，许多研究人员通过替换或更改图像中的面部区域来使面部识别方法无法有效识别修改后的脸部图像。
传统的人脸去识别方法主要着眼于从图像和视频中删除身份，同时保留与身份无关的特征。在视频和图像处理方面，传统方法大多使用模糊像素化来保护视觉隐私。但研究表明像素化和模糊不能确保正确的人脸去识别的有效性。
近年来，神经网络可以用于隐私去识别，但是，基于卷积神经网络(CNN)的方法有两个局限性：1)生成图像的质量不够真实。这些方法不能保护包含面部的图像的隐私。2)CNN模型是一种监督算法。因此，它需要一些标签来训练网络，但是需要大量的时间和成本。
目前，生成对抗网络(GAN)为隐私去识别提供了新的方向，但是，通过这种方法生成的图像的面部特征不明显，并且不能有效地保留图像的值。基于GAN的隐私去识别技术存在三个局限性：1)大多数基于GAN的隐私去识别方法是一种半监督算法，需要少量标签，但是标记标签训练网络需要大量时间和成本。2)在GAN的对抗训练中，生成器和判别器很容易导致模式崩塌，过拟合以及模型无法收敛的风险；3)由这种算法生成的图像的质量不够真实，并且在去识别过程中不能保留图像特性。
发明内容
本发明的目的在于克服上述缺点而提出了一种能减少或消除训练过程中模式崩溃和过度拟合的问题、能保留去识别图像和原始图像之间的联系，在视觉上保护图像的隐私的基于生成式对抗网络脸部隐私保护方法。
本发明的基于生成式对抗网络脸部隐私保护方法，包括：
步骤一，工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法，并且使用基于生成对抗网络的人脸去识别方法以及隐私和非隐私数据集在工作站上训练特征模型W；
步骤二，工作站与机器人平台通过无线局域网WLAN连接，机器人平台通过工作站上的基于生成对抗网络的人脸去识别方法来定期更新权重；
步骤三，机器人平台上的基于生成对抗网络的人脸去识别方法获得特征模型W，当机器人平台上的照相机捕获脸部图像时，对需隐私保护的脸部图像，机器人平台应用基于生成对抗网络的人脸识别方法进行脸部去识别，保护脸部图像的隐私特征，确保用户的视觉隐私不受侵犯；
其中所述基于生成对抗网络的人脸识别方法，包含1个改进U-Net网络的生成器G和2个判别器D1、D2，其中判别器与生成器由卷积层，残差块和自注意力层组成；
所述改进U-Net网络的生成器G，包括8层下采样卷积层e1-e8、8层上采样卷积层d1–d8和中间层，其中所述下采样卷积层e8是向下采样残差块，上采样卷积层d1是上采样残差块，中间层与上采样卷积层d6为自注意力层；
所述生成器G和2个判别器D1、D2采用基于铰链损失的对抗损失函数，在训练过程中，基于生成对抗网络的人脸识别方法中的2个判别器D1、D2扮演相同的角色，并具有协作竞争关系与共享参数的能力，因此，生成器G和2个判别器D1、D2的对抗损失函数为：
Figure BDA0002678410390000021
Figure BDA0002678410390000022
其中x服从先验分布Pd(x)，y服从目标分布Pd(y)，
Figure BDA0002678410390000028
表示期望值，min(*)是最小值函数，是关于y的集合，α和β参数控制对优化策略的影响；
所述生成器G中引入了像素丢失功能来指导隐私去识别的过程，像素损失包括重建损失和像素损失，
其重建损失
Figure BDA0002678410390000023
的计算公式为：
Figure BDA0002678410390000024
式中
Figure BDA0002678410390000025
为控制重建损失的系数；
所述像素损失
Figure BDA0002678410390000026
的计算公式为：
Figure BDA0002678410390000027
式中ξ为控制像素损失的系数；
由所述重建损失和像素损失结合在一起的总像素损失
Figure BDA0002678410390000031
的值的计算公式为：
Figure BDA0002678410390000032
式中总像素损失
Figure BDA0002678410390000033
的参数
Figure BDA0002678410390000034
和ξ满足条件
Figure BDA0002678410390000035
和
Figure BDA0002678410390000036
并且λ是惩罚系数；
所述生成器G中内容损失包括身份内容损失和轮廓内容损失；
其所述身份内容损失采用结构相似性指标SSIM来量化原始图像和生成图像之间的相似性，所述结构相似性指标SSIM损失函数
Figure BDA0002678410390000037
的计算公式为：
Figure BDA0002678410390000038
式中，μG(x)，μy是G(x)与y的均值；σG(x)，σy是G(x)与y的方差；σG(x)y是G(x)与y的协方差；c1＝(K1L)2，c2＝(K2L)2是用来稳定损失函数的常数，L是像素的范围，K1＝0.001，K2＝0.003；
其所述轮廓内容损失
Figure BDA0002678410390000039
用来测量生成的分布和原始分布，计算公式为：
Figure BDA00026784103900000310
式中，p(*)为概率分布，p(x)通过等式
Figure BDA00026784103900000311
计算，函数f(x)的计算公式为：
Figure BDA00026784103900000312
其中，x+和x-是活跃边界与非活跃边界在x上的分布；
所述总的内容损失函数
Figure BDA00026784103900000313
的计算公式为：
Figure BDA00026784103900000314
所述基于生成对抗网络的人脸识别方法的总损失函数为
Figure BDA00026784103900000315
Figure BDA00026784103900000316
式中，
Figure BDA00026784103900000317
与
Figure BDA00026784103900000318
为正则化损失函数，
Figure BDA00026784103900000319
和
Figure BDA00026784103900000320
上述的基于生成式对抗网络脸部隐私保护方法，其中：所述改进U-Net网络的生成器G中的上采样卷积层d1-d3中使用dropout，dropout率为0.5，以防止过度拟合。
上述的基于生成式对抗网络脸部隐私保护方法，其中：所述改进U-Net网络的生成器G采用频谱归一化SN和实例规范化IN作为归一化函数，以确保训练过程的稳定性。
上述的基于生成式对抗网络脸部隐私保护方法，其中：所述上采样卷积残差模块采用泄漏整流线性单元LReLU用作激活函数，泄漏整流线性单元LReLU的所有斜率均为0.2。
上述的基于生成式对抗网络脸部隐私保护方法，其中：所述其自注意力层采用全局最大池化机制和全连接层机制。
上述的基于生成式对抗网络脸部隐私保护方法，其中：在所述基于生成对抗网络的人脸识别方法中引入优化器RAdam算法，学习速率设置如下：当epoch≤100时，ηG＝0.0001，
Figure BDA0002678410390000041
当epoch≥100时，
Figure BDA0002678410390000042
Figure BDA0002678410390000043
其中ηG是G的学习率，n是训练轮次，N是历时总轮次
Figure BDA0002678410390000044
分别是D1和D2的学习率。
本发明与现有技术的相比，具有明显的有益效果，由以上方案可知，所述基于生成对抗网络的人脸识别方法，包含1个改进U-Net网络的生成器G和2个判别器D1、D2，其中判别器与生成器由卷积层，残差块和自注意力层组成。由于D1和D2可以协作并共享参数以提高图像质量且有助于基于生成对抗网络的人脸去识别方法(FPGAN)减少或消除模式崩溃。因此，增强所生成图像的质量；采用了残差块的设计思想来提高模型中特征提取的准确性；自注意力层中采用了全局最大池化机制和全连接层机制，这有助于防止过度拟合；生成器G中增加自注意力层，可提高特征提取的能力。
本发明所述基于生成对抗网络的人脸去识别方法(FPGAN)，它是一种无监督算法，主要具有以下特点。首先，FPGAN可以保持去识别后图像和原始图像之间的特征，然后生成新的特征以保护主要面部特征的隐私。因此，在面部去识别之后接收到的保护隐私的图像具有美感和重用价值。随后，在生成高质量图像的同时，FPGAN不需要许多带标签的私有图像作为辅助输入，从而节省了标记标签的时间和成本。然后，FPGAN可以减少(或消除)训练过程中模式崩塌，过拟合和不收敛的问题。总之，基于生成对抗网络的人脸识别方法(FPGAN)应用服务机器人平台，具有如下特点：
(1)我们采用了一种端到端的面部去识别方法，该方法具有一个生成器和两个判别器。然后，我们设计了对抗损失函数，以减少或消除训练过程中模式崩溃和过度拟合的问题；
(2)我们设计了像素损失和内容损失函数，以保留去识别图像和原始图像之间的联系，在视觉和数量上保护图像的隐私；
(3)我们改进了U-Net，并将其用作生成器(G)以生成足够逼真的面部图像。然后，我们提出了新的判别器(D1和D2)以提高鉴别精度，并确保由G生成的结果的多样性。
(4)我们将FPGAN应用于服务机器人的身份去识别，并提出了隐私保护系统。然后，我们提出了人脸去识别评价标准来检查模型的性能，该评价标准可用于检查人脸去识别在未来工作中的效果。
以下通过具体实施方式，进一步说明本发明的有益效果。
附图说明
图1为本发明的基于生成式对抗网络脸部隐私保护方法流程图；
图2(a)和图2(b)为本发明的生成器和判别器架构图；
图3(a)至图3(c)为本发明实施例中的在CelebA、MORPH、RaFD数据集上的不同算法生成的脸部去识别结果的示例。
具体实施方式
以下结合附图及较佳实施例，对依据本发明提出的一种基于生成式对抗网络脸部隐私保护方法的具体实施方式、特征及其功效，详细说明如后。
参见图1，本发明的基于生成式对抗网络脸部隐私保护方法，包括：
步骤一，工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法，并且使用基于生成对抗网络的人脸去识别方法以及隐私和非隐私数据集在工作站上训练特征模型W；
步骤二，工作站与机器人平台通过无线局域网WLAN连接，机器人平台通过工作站上的基于生成对抗网络的人脸去识别方法来定期更新权重；
步骤三，机器人平台上的基于生成对抗网络的人脸去识别方法获得特征模型W，当机器人平台上的照相机捕获脸部图像时，对需隐私保护的脸部图像，机器人平台应用基于生成对抗网络的人脸识别方法进行脸部去识别，保护脸部图像的隐私特征，确保用户的视觉隐私不受侵犯；
其中所述基于生成对抗网络的人脸识别方法，包含1个改进U-Net网络的生成器G和2个判别器D1、D2，其中判别器与生成器由卷积层，残差块和自注意力层组成。
1基于生成对抗网络的人脸去识别方法(FPGAN)
1.1残差块与自注意力网络
(1)残差块。我们采用了残差块的设计思想来提高模型中特征提取的准确性。卷积和逆卷积层的残差块旨在提高网络提取特征的能力。此残差块可以帮助G，D1和D2提取详细特征信息。FPGAN中使用的残差模块思想在图2中显示为e8和d1，其中d1(称为up-resblock)是上采样卷积残差模块，泄漏整流线性单元(LReLU)用作激活函数。然后，使用实例规范化(IN)法进行规范化。上采样残差块可以增强网络捕获更多功能的能力。此外，FPGAN中的e8分别是下卷积残差模块。LReLU功能在向下残差模块中使用。最后，h4-h7是D2中的aver-resblock模块，激活函数是LReLU，使用的LReLU的所有斜率均为0.2，每个残差区块的内部组成细节如图2(a)所示。
(2)自注意力层。G，D1，和D2只需要在训练过程中提取主要特征，就可以滤除更多无关的噪声。但是，传统自注意力层无法过滤掉无关的噪音点，因此需要大量的计算。为了解决此问题，我们改进了自注意力层，可减少工作时的计算量。我们在自注意力层中采用了全局最大池和全连接层机制，这有助于防止过度拟合。改进的自注意力层算法如下：
Figure BDA0002678410390000061
Figure BDA0002678410390000071
1.2生成器
我们在FPGAN中将U-Net改进为生成器G。FPGAN的前8层被称为e1-e8作为下采样卷积层，其中e8是向下采样残差块。最后8层是上采样卷积层，称为d1–d8，其中d1是上采样残差块，中间层与d6为自注意力层。G的体系结构如图2(a)所示。U-Net具有三个积极的改进：
(1)设计的下下采样残差块和上采样残差块是为了提高G的提取能力；
(2)添加了改进的G自注意力层，以提高特征提取的能力；
(3)频谱归一化(SN)和实例规范化(IN)作为归一化函数，以确保训练过程的稳定性。
除了使用双曲正切函数tanh的最后一层之外，生成器G的其他层使用的激活函数是LReLU。为防止过度拟合，在d1-d3层中使用了dropout，dropout率为0.5。
1.3判别器
判别器的本质是一个分类网络，我们为确保FPGAN的性能而设计的D1和D2的架构如图2(b)所示。FPGAN的判别器D1和D2具有四个特点：
(1)在D1和D2中应用残差块来提取详细特征；
(2)在D1和D2上使用自注意力层来提取详细特征；
(3)通过添加SN算法，可以将D1和D2中SN的K值限制为1，以防止梯度消失；
(4)在D1和D2的h2和h3层之间添加了跳跃连接，它有助于在分类过程中保留内容结构信息和不相关的图像域信息。
除残差模块外，D1的其他层使用的激活功能是LReLU。SN用于下采样残差块和自注意力层。其他层使用D1中的IN函数。其中，D1专注于提取主要纹理特征，D2专注于提取全局特征。
1.4损失函数设计
1.4.1对抗损失
尽管基于交叉熵的损失函数可以获得良好的结果，但一些研究表明，使用该方法
Figure BDA0002678410390000081
得到的是一个不稳定的奇异点D。因此，为了克服这个问题，我们设计了基于铰链损失的对抗损失函数。在训练过程中，FPGAN中的D1和D2扮演相同的角色，并具有协作竞争关系并共享参数。因此，D1、D2和G的对抗损失函数为
Figure BDA0002678410390000082
Figure BDA0002678410390000083
在式(1)与(2)中，其中x服从先验分布Pd(y)，y服从目标分布Pd(y)，
Figure BDA00026784103900000815
表示期望值，min(*)是最小值函数，G(x)≈y和PG(y)是关于y的集合，α和β参数控制对优化策略的影响。
1.4.2 FPGAN收敛性证明为了将FPGAN收敛到纳什平衡，我们研究了在大样本限制下的行为。由于
Figure BDA0002678410390000084
和
Figure BDA0002678410390000085
是较低的半连续函数，因此
Figure BDA0002678410390000086
对于最优解G具有限值G*，D1 *，D2 *。此外，由于交替最小化，该对满足以下方程式：
Figure BDA0002678410390000087
Figure BDA0002678410390000088
A＝{y|Pd(y)≤PG(y)}。 (5)
根据式(1)和(2)，我们可以得到
Figure BDA0002678410390000089
Figure BDA00026784103900000810
在式(6)中，[x]+＝max{0，x}。基于此，我们可以得到
Figure BDA00026784103900000811
其中，Ac表示补集，
Figure BDA00026784103900000812
是一个指标函数，其满足如果y∈A，
Figure BDA00026784103900000813
否则
Figure BDA00026784103900000814
理论研究证明1)当Pd(y)≤PG(y)时，积分中的项在D*(y)＝-1或2处达到其最小值
Figure BDA00026784103900000816
2)当Pd(y)≥PG(y)时，积分中的项在D*(y)＝1时达到其最小值
Figure BDA00026784103900000817
因此，根据等式(5)可得
Figure BDA0002678410390000091
根据式(4)和(7)，我们可以得到
∫PG(y){-[αD1(y)+βD2(y)]}dy≤∫Pd(y){-[αD1(y)+βD2(y)]}dy. (9)
在式(9)两边同时加(α+β)和∫PG(y)[α(1+D1(y))]++[β(1+D2(y))]+dy，我们可以得到
Figure BDA0002678410390000092
根据式(3)和(7)，可得
Figure BDA0002678410390000093
因此，综合式(8)与(12)，我们可以得到
Figure BDA0002678410390000094
然后，我们可以在公式(8)中获得
Figure BDA0002678410390000095
其结果为2(α+β)。最后，等式(8)中的相等条件为当且仅当Pd(y)＝PG(y)成立，并且以下等式成立
Figure BDA0002678410390000096
1.4.3像素损失
生成器网络可能会在相互转换的图像域之间进行区分，并阐明目标图像域信息。为了确保这一点，我们引入了像素丢失功能来指导隐私去识别的过程。像素损失包括重建损失和像素损失。
(1)重建损失。这是一种有用的方法，可以利用重建损失来提高G的图像输出质量，并使生成的分布接近真实分布。我们将重建损失称为
Figure BDA0002678410390000097
这是像素损失的一部分。其计算如下：
Figure BDA0002678410390000098
(2)像素损失。尽管稳健性是重建损失的最大优势，但重建损失易受大误差影响，并且不会在零位引导。因此，我们采用像素损失
Figure BDA0002678410390000099
来改善图像质量。计算公式如下：
Figure BDA00026784103900000910
为了获得鲁棒性和稳定性，我们首先将重建损失和像素损失结合在一起。然后，我们在像素损失中添加参数
Figure BDA00026784103900000911
来控制重建损失的系数，并添加ξ参数来控制像素损失。最后，总像素损失
Figure BDA00026784103900000912
的值可以通过等式(13)计算：
Figure BDA00026784103900000913
Figure BDA00026784103900000914
的参数
Figure BDA00026784103900000915
和ξ需要满足条件
Figure BDA00026784103900000916
和
Figure BDA00026784103900000917
并且λ是一个参数。
1.4.4内容损失
内容丢失包括身份内容损失和轮廓内容损失，可以测量图像的相似度和内容损失。内容损失包括身份内容损失和轮廓内容损失。
(1)身份内容损失。我们采用结构相似性指标SSIM来量化原始图像和生成图像之间的相似性。SSIM损失函数
Figure BDA0002678410390000101
的计算公式如下
Figure BDA0002678410390000102
式中，μG(x)，μy是G(x)与y的均值，σG(x)，σy是G(x)与y的方差，σG(x)y是G(x)与y的协方差。c1＝(K1L)2，c2＝(K2L)2是用来稳定损失函数的常数。L是像素的范围，K1＝0.001，K2＝0.003。
(2)轮廓内容损失。轮廓特征在图像合成中起着非常重要的作用。因此，它是图像的主要特征。然而，在面部去识别领域中，没有关于图像的内容损失的研究。为了减少训练过程中图像的轮廓损失，我们采用轮廓内容损失
Figure BDA0002678410390000103
来测量生成的分布和原始分布。轮廓内容损失可以计算为
Figure BDA0002678410390000104
式中，p(*)为概率分布，p(x)通过等式
Figure BDA0002678410390000105
计算，函数f(x)的计算公式：
Figure BDA0002678410390000106
其中，x+和x-是活跃边界与非活跃边界在x上的分布。
总之，总的内容损失函数
Figure BDA0002678410390000107
能够通过式(15)计算
Figure BDA0002678410390000108
1.5模型优化方式
FPGAN的总损失函数为
Figure BDA0002678410390000109
Figure BDA00026784103900001010
式中，
Figure BDA00026784103900001011
与
Figure BDA00026784103900001012
为正则化损失函数，
Figure BDA00026784103900001013
和
Figure BDA00026784103900001014
然后，我们将优化器RAdam算法引入到FPGAN中。在训练过程中，G，D1和D2的迭代速度不一致。因此，FPGAN的学习速率设置如下：当epoch≤100时，ηG＝0.0001，
Figure BDA00026784103900001015
当epoch≥100时，
Figure BDA00026784103900001016
Figure BDA00026784103900001017
其中ηG是G的学习率，n是训练轮次，N是历时总轮次，
Figure BDA00026784103900001018
分别是D1和D2的学习率。
实施例如下：
1数据集
我们在四个公共数据集上验证了FPGAN的性能。
(1)CelebA数据集。CelebA数据集包含10,177个身份，202,599个面部图像，5个地标位置以及每个图像40个二进制属性注释。我们选择了1,700幅中性图像和1,700幅微笑图像作为训练数据，并选择了200幅中性图像和200幅带微笑图像的图像作为测试数据。
(2)MORPH数据集。该数据集包含超过13,000个个体的55,000张脸部图像，具有不同的人口统计学特征(年龄，性别和53个种族)。在此，我们仅使用男性数据，因为女性受试者的数量有限。我们在MORTH数据集中使用了1,700个长发男人图像和1,700个短发男人图像作为训练数据，并使用200个长发图像和200个短发图像作为测试数据。
(3)RaFD数据集。该数据集于2010年发布。包含8040张具有8个面部表情的图像：愤怒，厌恶，恐惧，喜悦，悲伤，惊奇，蔑视和中立。每个表情包含3个不同的注视方向，并使用5个相机同时从不同角度拍摄。我们将RaFD数据集中的2,010张中性图像和2,010张其他图像用作训练数据，并将200张图像和200张恐惧图像用作测试数据。
所有数据集均被标准化为256×256的图像尺寸。
2比较算法
本发明中选择的对比算法为CGAN，D2GAN，CycleGAN和UNIT方法作为对比方法。
3评价标准
人脸去识别率
Figure BDA0002678410390000112
传统的面部去识别方法和基于深度学习的面部隐私去识别方法均以去识别率
Figure BDA0002678410390000111
作为主要评估方案检查模型性能。与他们的实验设置一样，在本发明中，实验中选择了一种深度模型FaceNET作为人脸识别技术。FaceNET模型在两个子分组上进行了训练，可以检查人脸识别方法的性能。
人脸去识别后图像质量。采用Freshet inception distance(FID)和inceptionscore(IS)用作评价标准来评估生成图像的质量。使用较高的IS和较低的FID分数，生成的图像质量会更高。
4训练与测试参数
我们在DELL TOWER 5810工作站上训练FPGAN，并在MAT服务机器人平台上测试FPGAN。本发明中的参数设置如下：ηG＝0.0001，ηD＝0.0004。在RAdam优化器中，β1＝0.0，β2＝0.9，warm-up＝0.2，batch size＝1，α＝0.8，β＝0.8，
Figure BDA0002678410390000121
ξ＝0.3，n＝b＝0，N＝200。
5实验结果与分析
表1 FaceNET模型用于计算CelebA，MORPH和RaFD数据集的CGAN,D2GAN,CycleGAN,UNIT和FPGAN的
Figure BDA0002678410390000122
Figure BDA0002678410390000123
表2 使用CelebA，MORPH和RaFD数据集的CGAN，D2GAN，CycleGAN，UNIT和FPGAN(我们的)使用FID和IS得分对生成的图像进行质量评估
Figure BDA0002678410390000124
人脸去识别率
Figure BDA0002678410390000125
如表1所示，CelebA数据集中的CGAN，CycleGAN，D2GAN，UNIT和FPGAN的
Figure BDA0002678410390000126
值分别为86％，87.5％，88％，90.05％和96.5％。FPGAN的值高于对比方法的值，这表明FPGAN中人脸识别的效果优于对比算法。为平等地对比模型，我们在MORPH数据集上测试了模型；结果如下：CGAN为85％，CycleGAN为86.5％，D2GAN为87.5％，UNIT为89.5％，FPGAN为95％。FPGAN比CGAN，CycleGAN，D2GAN和UNIT多10％，8.5％，7.5％和5.5％。结果表明，FPGAN优于其他方法。
人脸去识别图像质量。从表2中可以看出，在CelebA数据集中，FPGAN的FID得分为0.763，对于CGAN，CycleGAN，D2GAN和UNIT而言，分别仅为83.7％，77.5％，86.12％和86.51％。根据这些结果，与上述方法相比，FPGAN生成的图像质量更好。原始图像的IS为3.54±0.54，CGAN为2.54±0.32，CycleGAN为2.44±0.37，D2GAN为2.82±0.37，UNIT为2.84±0.36，FPGAN为2.93±0.34。除原始图像外，FPGAN的得分高于比较方法。根据表2，我们的FPGAN优于MORPH和RaFD数据集的对比算法。此外，对于MORPH和RaFD数据集，FPGAN的IS得分高于其他方法，FPGAN的FID得分低于其他方法，这表明我们在FPGAN上添加的内容损失和像素损失在训练。总之，这种差异表明，FPGAN产生的图像质量优于对比算法产生的图像质量。图3由不同模型在(a)CelebA，(b)MORPH，(c)RaFD数据集上生成的面部去识别结果的示例。最左边图像是原始图像，从左到右的由CGAN，D2GAN，CycleGAN，UNIT和FPGAN等算法生成。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (6)

1.基于生成式对抗网络脸部隐私保护方法，包括：
步骤一，工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法，并且使用基于生成对抗网络的人脸去识别方法以及隐私和非隐私数据集在工作站上训练特征模型W；
步骤二，工作站与机器人平台通过无线局域网WLAN连接，机器人平台通过工作站上的基于生成对抗网络的人脸去识别方法来定期更新权重；
步骤三，机器人平台上的基于生成对抗网络的人脸去识别方法获得特征模型W，当机器人平台上的照相机捕获脸部图像时，对需隐私保护的脸部图像，机器人平台应用基于生成对抗网络的人脸识别方法进行脸部去识别，保护脸部图像的隐私特征，确保用户的视觉隐私不受侵犯；
其中所述基于生成对抗网络的人脸识别方法，包含1个改进U-Net网络的生成器G和2个判别器D 1、D 2，其中判别器与生成器由卷积层，残差块和自注意力层组成；
所述改进U-Net网络的生成器G，包括8层下采样卷积层e 1-e 8、8层上采样卷积层d 1–d 8和中间层，其中下采样卷积层e 8是向下采样残差块，上采样卷积层d 1是上采样残差块，中间层与上采样卷积层d 6为自注意力层；
所述生成器G和2个判别器D 1、D 2采用基于铰链损失的对抗损失函数，在训练过程中，基于生成对抗网络的人脸识别方法中的2个判别器D 1、D 2扮演相同的角色，并具有协作竞争关系与共享参数的能力，因此，生成器G和2个判别器D 1、D 2的对抗损失函数为：
Figure DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
其中x服从先验分布
Figure DEST_PATH_IMAGE004
，y服从目标分布
Figure DEST_PATH_IMAGE005
，
Figure DEST_PATH_IMAGE006
(*)表示期望值，min (*)是最小值函数，是关于y的集合，α和β参数控制对优化策略的影响；
所述生成器G中引入了像素丢失功能来指导隐私去识别的过程，像素损失包括重建损失和像素损失，
其重建损失
Figure DEST_PATH_IMAGE007
的计算公式为：
Figure DEST_PATH_IMAGE008
式中
Figure DEST_PATH_IMAGE009
为控制重建损失的系数；
所述像素损失
Figure DEST_PATH_IMAGE010
的计算公式为：
Figure DEST_PATH_IMAGE011
式中
Figure DEST_PATH_IMAGE012
为控制像素损失的系数；
由所述重建损失和像素损失结合在一起的总像素损失
Figure DEST_PATH_IMAGE013
的值的计算公式为：
Figure DEST_PATH_IMAGE014
式中总像素损失
Figure 257839DEST_PATH_IMAGE013
的参数
Figure 174980DEST_PATH_IMAGE009
和
Figure DEST_PATH_IMAGE015
满足条件
Figure DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE017
，并且
Figure DEST_PATH_IMAGE018
是惩罚系数；
所述生成器G中内容损失包括身份内容损失和轮廓内容损失，
其所述身份内容损失采用结构相似性指标SSIM来量化原始图像和生成图像之间的相似性，所述结构相似性指标SSIM损失函数
Figure DEST_PATH_IMAGE019
的计算公式为：
Figure DEST_PATH_IMAGE020
，
式中，
Figure DEST_PATH_IMAGE021
是
Figure DEST_PATH_IMAGE022
与 y 的均值；
Figure DEST_PATH_IMAGE023
，
Figure DEST_PATH_IMAGE024
是
Figure 548192DEST_PATH_IMAGE022
与 y 的方差；
Figure DEST_PATH_IMAGE025
是
Figure 536877DEST_PATH_IMAGE022
与 y的协方差；
Figure DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE027
是用来稳定损失函数的常数， L 是像素的范围，K1=0.001， K2=0.003；
其所述轮廓内容损失
Figure DEST_PATH_IMAGE028
用来测量生成的分布和原始分布，计算公式为：
Figure DEST_PATH_IMAGE029
式中，
Figure DEST_PATH_IMAGE030
为概率分布，
Figure DEST_PATH_IMAGE031
通过等式
Figure DEST_PATH_IMAGE032
计算， 函数
Figure DEST_PATH_IMAGE033
的计算公式为：
Figure DEST_PATH_IMAGE034
，
其中，
Figure DEST_PATH_IMAGE035
和
Figure DEST_PATH_IMAGE036
是活跃边界与非活跃边界在
Figure DEST_PATH_IMAGE037
上的分布；
所述总的内容损失函数
Figure DEST_PATH_IMAGE038
的计算公式为：
Figure DEST_PATH_IMAGE039
所述生成器G中的基于生成对抗网络的人脸识别方法的总损失函数为
Figure DEST_PATH_IMAGE040
Figure DEST_PATH_IMAGE041
，
式中，
Figure DEST_PATH_IMAGE042
与
Figure DEST_PATH_IMAGE043
为正则化损失函数，
Figure DEST_PATH_IMAGE044
和
Figure DEST_PATH_IMAGE045
。
2.如权利要求1所述的基于生成式对抗网络脸部隐私保护方法，其特征在于：所述改进U-Net网络的生成器G中的上采样卷积层d 1-d 3中使用dropout，dropout率为0.5，以防止过度拟合。
3.如权利要求1或2所述的基于生成式对抗网络脸部隐私保护方法，其特征在于：所述改进U-Net网络的生成器G采用频谱归一化SN 和实例规范化IN作为归一化函数，以确保训练过程的稳定性。
4.如权利要求1所述的基于生成式对抗网络脸部隐私保护方法，其特征在于：所述上采样卷积残差模块采用泄漏整流线性单元LReLU用作激活函数，泄漏整流线性单元LReLU的所有斜率均为0.2。
5.如权利要求1所述的基于生成式对抗网络脸部隐私保护方法，其特征在于：所述其自我注意力层采用全局最大池化机制和全连接层机制。
6.如权利要求1、2、4或5所述的基于生成式对抗网络脸部隐私保护方法，其特征在于：在所述基于生成对抗网络的人脸识别方法中引入优化器RAdam算法，学习速率设置如下：当epoch
Figure DEST_PATH_IMAGE046
时，
Figure DEST_PATH_IMAGE047
；当epoch≥100时，
Figure DEST_PATH_IMAGE048
Figure DEST_PATH_IMAGE049
，其中
Figure DEST_PATH_IMAGE050
是G的学习率，n是训练轮次，N是历时总轮次
Figure DEST_PATH_IMAGE051
，
Figure DEST_PATH_IMAGE052
分别是
Figure DEST_PATH_IMAGE053
和
Figure DEST_PATH_IMAGE054
的学习率。
CN202010955318.0A 2020-09-11 2020-09-11 基于生成式对抗网络脸部隐私保护方法 Active CN112084962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010955318.0A CN112084962B (zh) 2020-09-11 2020-09-11 基于生成式对抗网络脸部隐私保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010955318.0A CN112084962B (zh) 2020-09-11 2020-09-11 基于生成式对抗网络脸部隐私保护方法

Publications (2)

Publication Number Publication Date
CN112084962A true CN112084962A (zh) 2020-12-15
CN112084962B CN112084962B (zh) 2021-05-25

Family

ID=73737527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010955318.0A Active CN112084962B (zh) 2020-09-11 2020-09-11 基于生成式对抗网络脸部隐私保护方法

Country Status (1)

Country Link
CN (1) CN112084962B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466425A (zh) * 2021-01-28 2021-03-09 北京妙医佳健康科技集团有限公司 一种信息处理方法和装置
CN112734762A (zh) * 2020-12-31 2021-04-30 西华师范大学 基于协方差自注意力机制的双路径UNet网络肿瘤分割方法
CN112818407A (zh) * 2021-04-16 2021-05-18 中国工程物理研究院计算机应用研究所 一种基于生成对抗网络的视频隐私保护方法
CN112819180A (zh) * 2021-01-26 2021-05-18 华中科技大学 一种基于联邦生成模型的多业务数据生成方法和装置
CN112926559A (zh) * 2021-05-12 2021-06-08 支付宝(杭州)信息技术有限公司 人脸图像处理方法及装置
CN112949535A (zh) * 2021-03-15 2021-06-11 南京航空航天大学 一种基于生成式对抗网络的人脸数据身份去识别方法
CN112949553A (zh) * 2021-03-22 2021-06-11 陈懋宁 基于自注意力级联生成对抗网络的人脸图像修复方法
CN113051604A (zh) * 2021-03-08 2021-06-29 中国地质大学（武汉） 一种基于生成式对抗网络的涉密地理表格类数据保护方法
CN113160348A (zh) * 2021-05-20 2021-07-23 深圳文达智通技术有限公司 可恢复的人脸图像隐私保护方法、装置、设备及存储介质
CN113343878A (zh) * 2021-06-18 2021-09-03 北京邮电大学 基于生成对抗网络的高保真人脸隐私保护方法和系统
CN113378697A (zh) * 2021-06-08 2021-09-10 安徽大学 一种基于卷积神经网络的说话人脸视频生成方法及装置
CN113592696A (zh) * 2021-08-12 2021-11-02 支付宝(杭州)信息技术有限公司 加密模型训练、图像加密和加密人脸图像识别方法及装置
CN114005170A (zh) * 2022-01-05 2022-02-01 中国科学院自动化研究所 基于视觉对抗重构的DeepFake防御方法和系统
CN114626042A (zh) * 2022-03-18 2022-06-14 杭州师范大学 一种人脸验证攻击方法和装置
CN116777733A (zh) * 2023-04-25 2023-09-19 成都信息工程大学 基于生成对抗网络的人脸隐私保护方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268201A1 (en) * 2017-03-15 2018-09-20 Nec Laboratories America, Inc. Face recognition using larger pose face frontalization
CN108960159A (zh) * 2018-07-10 2018-12-07 深圳市唯特视科技有限公司 一种基于生成对抗网络的热成像人脸识别方法
CN110059465A (zh) * 2019-04-24 2019-07-26 腾讯科技（深圳）有限公司 身份验证方法、对抗生成网络的训练方法、装置及设备
CN110363183A (zh) * 2019-07-30 2019-10-22 贵州大学 基于生成式对抗网络的服务机器人视觉图片隐私保护方法
CN111242837A (zh) * 2020-01-03 2020-06-05 杭州电子科技大学 基于生成对抗网络的人脸匿名隐私保护方法
CN111476200A (zh) * 2020-04-27 2020-07-31 华东师范大学 基于生成对抗网络的人脸去识别化生成方法
CN111539382A (zh) * 2020-05-22 2020-08-14 支付宝(杭州)信息技术有限公司 一种图像识别模型隐私风险的评估方法、装置及电子设备
US10762337B2 (en) * 2018-04-27 2020-09-01 Apple Inc. Face synthesis using generative adversarial networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268201A1 (en) * 2017-03-15 2018-09-20 Nec Laboratories America, Inc. Face recognition using larger pose face frontalization
US10762337B2 (en) * 2018-04-27 2020-09-01 Apple Inc. Face synthesis using generative adversarial networks
CN108960159A (zh) * 2018-07-10 2018-12-07 深圳市唯特视科技有限公司 一种基于生成对抗网络的热成像人脸识别方法
CN110059465A (zh) * 2019-04-24 2019-07-26 腾讯科技（深圳）有限公司 身份验证方法、对抗生成网络的训练方法、装置及设备
CN110363183A (zh) * 2019-07-30 2019-10-22 贵州大学 基于生成式对抗网络的服务机器人视觉图片隐私保护方法
CN111242837A (zh) * 2020-01-03 2020-06-05 杭州电子科技大学 基于生成对抗网络的人脸匿名隐私保护方法
CN111476200A (zh) * 2020-04-27 2020-07-31 华东师范大学 基于生成对抗网络的人脸去识别化生成方法
CN111539382A (zh) * 2020-05-22 2020-08-14 支付宝(杭州)信息技术有限公司 一种图像识别模型隐私风险的评估方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIFAN WU 等: "Privacy-Protective-GAN for Privacy Preserving Face De-Identification", 《HTTPS://LINK.SPRINGER.COM/CONTENT/PDF/10.1007/S11390-019-1898-8.PDF》 *
杨观赐 等: "基于改进Cycle-GAN的机器人视觉隐私保护方法", 《华中科技大学学报(自然科学版)》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734762A (zh) * 2020-12-31 2021-04-30 西华师范大学 基于协方差自注意力机制的双路径UNet网络肿瘤分割方法
CN112819180A (zh) * 2021-01-26 2021-05-18 华中科技大学 一种基于联邦生成模型的多业务数据生成方法和装置
CN112466425B (zh) * 2021-01-28 2021-04-02 北京妙医佳健康科技集团有限公司 一种信息处理方法和装置
CN112466425A (zh) * 2021-01-28 2021-03-09 北京妙医佳健康科技集团有限公司 一种信息处理方法和装置
CN113051604A (zh) * 2021-03-08 2021-06-29 中国地质大学（武汉） 一种基于生成式对抗网络的涉密地理表格类数据保护方法
CN113051604B (zh) * 2021-03-08 2022-06-14 中国地质大学（武汉） 一种基于生成式对抗网络的涉密地理表格类数据保护方法
CN112949535B (zh) * 2021-03-15 2022-03-11 南京航空航天大学 一种基于生成式对抗网络的人脸数据身份去识别方法
CN112949535A (zh) * 2021-03-15 2021-06-11 南京航空航天大学 一种基于生成式对抗网络的人脸数据身份去识别方法
CN112949553A (zh) * 2021-03-22 2021-06-11 陈懋宁 基于自注意力级联生成对抗网络的人脸图像修复方法
CN112818407A (zh) * 2021-04-16 2021-05-18 中国工程物理研究院计算机应用研究所 一种基于生成对抗网络的视频隐私保护方法
CN112818407B (zh) * 2021-04-16 2021-06-22 中国工程物理研究院计算机应用研究所 一种基于生成对抗网络的视频隐私保护方法
CN112926559A (zh) * 2021-05-12 2021-06-08 支付宝(杭州)信息技术有限公司 人脸图像处理方法及装置
CN113160348A (zh) * 2021-05-20 2021-07-23 深圳文达智通技术有限公司 可恢复的人脸图像隐私保护方法、装置、设备及存储介质
CN113378697A (zh) * 2021-06-08 2021-09-10 安徽大学 一种基于卷积神经网络的说话人脸视频生成方法及装置
CN113378697B (zh) * 2021-06-08 2022-12-09 安徽大学 一种基于卷积神经网络的说话人脸视频生成方法及装置
CN113343878A (zh) * 2021-06-18 2021-09-03 北京邮电大学 基于生成对抗网络的高保真人脸隐私保护方法和系统
CN113592696A (zh) * 2021-08-12 2021-11-02 支付宝(杭州)信息技术有限公司 加密模型训练、图像加密和加密人脸图像识别方法及装置
CN114005170A (zh) * 2022-01-05 2022-02-01 中国科学院自动化研究所 基于视觉对抗重构的DeepFake防御方法和系统
CN114626042A (zh) * 2022-03-18 2022-06-14 杭州师范大学 一种人脸验证攻击方法和装置
CN116777733A (zh) * 2023-04-25 2023-09-19 成都信息工程大学 基于生成对抗网络的人脸隐私保护方法

Also Published As

Publication number Publication date
CN112084962B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN112084962B (zh) 基于生成式对抗网络脸部隐私保护方法
Lin et al. FPGAN: Face de-identification method with generative adversarial networks for social robots
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
WO2022111236A1 (zh) 一种结合注意力机制的面部表情识别方法及系统
Prakash et al. Semantic perceptual image compression using deep convolution networks
Wang et al. Review of ear biometrics
AU2014368997A1 (en) System and method for identifying faces in unconstrained media
CN110569724B (zh) 一种基于残差沙漏网络的人脸对齐方法
Yang et al. Facial expression recognition based on dual-feature fusion and improved random forest classifier
Nousi et al. Deep autoencoders for attribute preserving face de-identification
Wang et al. ScleraSegNet: An attention assisted U-Net model for accurate sclera segmentation
Peng et al. BDC-GAN: Bidirectional conversion between computer-generated and natural facial images for anti-forensics
Yap et al. A survey on facial wrinkles detection and inpainting: Datasets, methods, and challenges
CN114882537B (zh) 一种基于神经辐射场的手指新视角图像生成方法
Gajjala et al. MERANet: Facial micro-expression recognition using 3D residual attention network
CN116311463A (zh) 基于生成对抗网络和化妆迁移的男性人脸隐私保护方法
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
Ge et al. Super-resolution reconstruction of biometric features recognition based on manifold learning and deep residual network
Chen et al. End to end robust recognition method for iris using a dense deep convolutional neural network
Jang et al. L-GAN: landmark-based generative adversarial network for efficient face de-identification
Ptucha et al. Fusion of static and temporal predictors for unconstrained facial expression recognition
Nguyen et al. LAWNet: A lightweight attention-based deep learning model for wrist vein verification in smartphones using RGB images
Jiang et al. CE-PeopleSeg: Real-time people segmentation with 10% CPU usage for video conference
Gou et al. MAL-Net: Multiscale Attention Link Network for accurate eye center detection
Zhang et al. Deepfake detection based on incompatibility between multiple modes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant