CN114626042A - 一种人脸验证攻击方法和装置 - Google Patents
一种人脸验证攻击方法和装置 Download PDFInfo
- Publication number
- CN114626042A CN114626042A CN202210272519.XA CN202210272519A CN114626042A CN 114626042 A CN114626042 A CN 114626042A CN 202210272519 A CN202210272519 A CN 202210272519A CN 114626042 A CN114626042 A CN 114626042A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- face
- adv
- attack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000012795 verification Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000003042 antagnostic effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 235000000332 black box Nutrition 0.000 abstract 1
- 238000011156 evaluation Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/44—Program or device authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种人脸验证攻击方法和装置。将生成对抗网络中的注意力生成器G载入经过本发明优化后的模型参数,能够根据输入的不同被攻击者人脸图像,生成对应的对抗样本xadv,再攻击黑盒人脸识别模型的人脸验证任务,实现高质量可迁移的灰盒人脸验证攻击。本发明方法生成的对抗样本真实自然,攻击方式贴近人脸识别模型的现实使用场景,且大大减少了计算开销。基于生成对抗网络的模型在训练完成后不再需要借助白盒人脸识别模型,也能高效进行黑盒攻击,对抗样本具有可迁移性,能够有效迁移到更多的人脸识别模型中。
Description
·技术领域
本发明属于深度学习下的对抗攻击领域,具体涉及一种人脸验证攻击方法和装置。
·背景技术
随着硬件技术的算力增长和算法的不断更迭,以卷积神经网络为代表的深度学习技术被广泛应用在了许多机器学习的任务中,如计算机视觉的图像分类、目标检测、语义分割,自然语言处理和博弈论等等。得利于深度学习模型的不断发展,人脸识别系统已经能够超越人类的识别能力,在基准数据集上实现高达99%的准确率。然而,研究者们发现现有的深度学习技术存在着严重的安全隐患:攻击者可以向良性的数据样本中添加精心设计的噪声从而欺骗深度学习模型。“对抗样本”的概念最早是由Szegedy等人提出,他们发现训练好的模型会给添加细微干扰的图片以高置信度的错误分类结果。不仅仅是关于安全方面的风险,对抗样本同时也给深度学习的可解释性带来了一定的挑战。随着模型的复杂化,我们对模型的可解释性大大降低。它揭示出深度神经网络和人类的认知仍有一定的差距。AnhNguyen等人提出一些人类完全无法识别的样本,会使得深度学习模型以高置信度分类错误。这代表深度学习的模型的学习机制与人类大脑并不相同,仍有一定的不可解释性。对抗样本的存在无疑制约着深度学习技术进一步的大规模应用。
由于人脸识别系统在日常生活中的广泛使用,其高效性和可靠性也成为了应用于现实生活场景当中的考虑因素。在人脸识别技术的应用过程中,仅仅考虑提高人脸识别模型的识别的效率是不够的,人脸识别模型还需要能够经受住潜在的对抗攻击。人脸识别模型的主要任务分为以下两种:1)人脸识别,根据输入的图像返回对应的预测对象身份;2)人脸验证,判断用户输入的图像对是否为同一人。尽管已经涌现出了许多针对人脸验证任务的对抗攻击方法,但是大多数方法都不可避免地存在以下三类问题中的部分问题:
1)生成对抗样本需要较长的时间。比如在白盒攻击中基于梯度的迭代方法中,PGD方法对抗样本生成需要经过数十次的迭代优化才能最终得到对抗样本,平均每张人脸图像生成对应的对抗样本需要约8s;
2)攻击无法有效迁移到更多的模型上。白盒攻击需要了解所攻击的目标模型的结构和参数。白盒攻击方法仅能有效地攻击白盒的人脸识别模型,若使用针对特定白盒模型生成的对抗样本用于攻击其他未知的人脸识别模型时,其对抗攻击效果很差,无法实现很好的迁移攻击。
3)图像质量较差。为了使得生成的对抗样本能够误导更多未知的人脸识别模型,实现更好的攻击迁移效果,添加的对抗扰动往往较多并非常明显,容易被肉眼观察到这种修改,降低对抗攻击的隐蔽性,使得对抗样本变得不真实自然。从图像恢复评价指标上而言,图像质量较差;从图像感知指标上而言,会引起人的怀疑。
·术语解释
白盒人脸识别模型:指能够获取到所有模型信息和结构的目标人脸识别模型;
黑盒人脸识别模型:指无法获取到目标模型信息和结构的人脸识别模型;
本地白盒人脸识别模型:指在本方法的训练阶段,利用模型进行特征提取辅助网络训练的白盒人脸识别模型。
·发明内容
本发明旨在针对现有人脸验证对抗样本生成技术的不足,提供一种能够快速生成高质量可迁移的灰盒人脸验证攻击方法。
本发明的具体实现方法步骤如下:
步骤一、对被攻击者的原始人脸图像xoriginal进行预处理,得到预处理后的图像x;
对于给定的250*250像素的人脸图像先通过MTCNN(Multi-task CascadeConvolutional Neural Network)进行人脸关键点的检测,用得到的五类关键点进行一种近似变换得到对齐后的人脸图像,再裁剪至160*160像素。再将每个像素点的像素值减去127.5后除以128进行正则化,得到预处理后的图像x;并随机选取一张与原始人脸图像x属于同一对象的其他人脸图像作为非定向攻击的目标图像y;
步骤二、将预处理后的图像x输入到注意力生成器G得到对抗噪声G(x);再对对抗噪声G(x)使用服从二维高斯分布的卷积核进行卷积操作,即对图像进行高斯滤波操作得到对抗噪声G(x)'original,将高斯模糊后的对抗噪声G(x)'original进行裁剪操作,将图像的像素值控制在有效范围内,得到对抗噪声G(x)';最后将对抗噪声G(x)'加入到预处理操作前的原始人脸图像xoriginal上,形成对抗样本xadv;
xadv=xoriginal+G(x)' (1)
步骤三、注意力生成器G为使得生成的对抗样本尽可能是真实自然的,需要通过约束对添加的扰动进行控制,根据对抗噪声G(x)'计算扰动损失Lperturbation,其计算方法如下:
Lperturbation=Ex[Max(ε,||G(x)′||2)] (2)
其中||·||2表示L2范数,ε为设置的对抗噪声扰动上限,Ex表示与处理后的整张图像x的期望值;
步骤四、将对抗样本xadv传输给样本判别器D1,样本判别器D1用于对被攻击者的输入人脸图像与其对应生成的对抗样本之间进行图像真实性的判断,并以此计算生成对抗网络的对抗损失LGAN,其公式如(3)所示:
LGAN=Ex[logD1(x)]+Ex[log(1-D1(xadv))] (3)
式中D1(x)表示样本判别器D1对被攻击者人脸图像x的判别结果;D1(xadv)表示对对抗样本xadv的判别结果;
步骤五、将对抗样本xadv传输到由本地白盒人脸识别模型作为身份判别器的D2,由本地白盒人脸识别模型对对抗样本xadv和目标人脸图像y提取特征,再对特征计算余弦相似度,并以此计算身份判别损失Lidentity,如公式(4)所示;
Lidentity=Ex[(F(xadv,y))] (4)
其中,F(xadv,y)表示由图像y和对抗样本xadv的特征向量计算余弦相似度;
步骤六、根据步骤三、四、五得到的损失Lperturbation、LGAN、Lidentity和对应的权重,累加得到总损失L,如公式(5)所示;然后通过模型的反向传播,以最小化总损失L为生成对抗网络训练的最终目标,对注意力生成器G和样本判别器D1的参数进行更新,而不对身份判别器D2的参数进行更新;
L=LGAN+λiLidentity+λpLperturbation (5)
式中,λi和λp分别是身份判别损失Lidentity和扰动损失Lperturbation的权重系数;
步骤七、利用步骤六反向传播更新后的注意力生成器G和样本判别器D1,重复步骤二至六,进行下一次的迭代训练;模型的训练将不停迭代优化总损失函数L,直至达到预设的迭代次数;
步骤八、向注意力生成器G载入经过步骤七最终训练得到的最优攻击成功率的模型参数,根据输入的不同被攻击者人脸图像,生成对应的对抗样本xadv;
步骤九、使用步骤八生成的对抗样本xadv攻击黑盒人脸识别模型的人脸验证任务,实现高质量可迁移的灰盒人脸验证攻击;作为优选,本攻击方法中的注意力生成器G包括:
1)7*7,步长为1,filters=64的卷积块;
2)4*4,步长为2,filters=128的卷积块;
3)4*4,步长为2,filters=256的卷积块;
4)三个残差模块,每个残差模块都包含了2个3*3的卷积层和跳跃连接操作。此外,每个残差模块的第二个3*3卷积层后不采用激活函数,且均在跳跃连接处使用了通道注意力SE模块。
5)图像尺寸放大2倍的上采样和5*5,步长为1,filters=128的卷积层;
6)图像尺寸放大2倍的上采样和5*5,步长为1,filters=64的卷积层;
7)7*7,步长为1,filters=3的卷积块(激活函数为tanh)。
上述的每个卷积块均由一个卷积层、Instance Norm层和ReLU的激活函数组成。
作为优选,本攻击方法中的样本判别器D1依次包括:1)4*4,步长为2,filters=32的卷积块;
2)4*4,步长为2,filters=64的卷积块;
3)4*4,步长为2,filters=128的卷积块;
4)4*4,步长为2,filters=256的卷积块;
5)4*4,步长为2,filters=512的卷积块。
上述的每个卷积块依次包括一个卷积层、Batch Norm层和LeakyReLU激活函数。
在样本判别器D1的最后还添加了1*1,步长为1,filters=3的卷积层用于计算patch-based的对抗损失LGAN。
作为优选,在GAN网络模型训练的过程中,注意力生成器G和样本判别器D1采用N:1的交替训练方式,即首先根据总损失函数L更新一次样本判别器D1的参数,然后在接下去的多次迭代中都只对注意力生成器G的参数进行更新。
作为优选,所述的通过服从二维高斯分布的卷积核进行卷积实现高斯滤波操作的具体过程如式(5)所示:
G(x)′original=τk*G(x) (5)
式中,τk表示核大小为k的高斯核;*表示用k*k的高斯核对生成的噪声G(x)进行卷积操作。
作为优选,所述的本地白盒人脸识别模型为应用最为广泛的FaceNet人脸识别模型。
作为优选,针对公式(4)中所述的扰动损失权重λp=1,身份判别损失权重λi采用自动调整策略而非固定的默认值λi=10,根据图像x与对抗样本xadv特征向量之间的余弦相似度,对应调整身份判别损失权重λi,其对应关系如表1所示:
表1自动调整策略的余弦相似度取值与身份判别损失权重λi对应关系
余弦相似度范围 | [-1,-0.4] | [-0.4,-0.2] | [-0.2,0.2] | [0,0.2] | [0.2,0.4] | [0.4,0.6] | [0.6,1] |
身份判别损失λ<sub>i</sub> | 16.141 | 15.373 | 14.641 | 13.31 | 12.1 | 11 | 10 |
若对抗样本xadv与攻击目标图像y之间的余弦相似度∈[0.6,1],则将λi设为10,若余弦相似度∈[0.4,0.6],则将λi设为11,,以此类推
本发明的另一个目的是提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现上述的方法。
本发明具有的有益效果是:
1、本发明提出了一种基于生成对抗网络的针对人脸验证任务的灰盒对抗攻击方法,相比于白盒攻击方法,对抗样本的生成速度更快,大大减少了计算开销。提出的灰盒攻击更加符合人脸识别模型的现实应用,并取得了较好的攻击迁移性。
2、本发明提出的方法将高斯滤波操作沿用至人脸验证任务的攻击上,对对抗噪声进行高斯平滑,提高了对抗样本的攻击迁移性,使其在攻击黑盒模型时也能取得较高的攻击成功率。
3、本发明在生成器中残差模块的跳跃连接操作中引入了注意力机制,根据不同通道特征的贡献重新分配特征权重,提高了生成器对人脸图像的特征提取能力,进一步提高了对抗样本的迁移性。
4、本发明提出了一种根据FaceNet白盒人脸识别模型计算所得余弦相似度而自动调整身份判别损失权重的策略,按照人脸验证图像对之间的不同余弦相似度取值,自动调节身份判别损失在总损失中的权重,进一步提高对抗样本的白盒攻击成功率和迁移性。
4、本发明提出的方法生成的对抗样本图像质量优于同类方法,肉眼难以察觉这种对抗攻击,保证了对抗样本的真实自然。
·附图说明
图1是本发明方法流程图
图2是本发明方法中的注意力生成器结构图
图3是本发明方法对人脸验证任务的攻击效果
图4是本发明方法和其他方法生成的对抗样本
·具体实施方式
下面结合具体实施对本发明做进一步分析。
如图1为一种人脸验证攻击方法,包括以下步骤:
步骤一、本发明用于训练的图像数据为公开数据集CASIA-WebFace经过一定数据清洗后的包含10,575个名人的45,3401张图像。将图片输入到注意力生成器G之前,首先将对250*250的人像图像通过MTCNN对的10个landmark坐标进行检测,包括:2个眼睛,1个鼻子和2个嘴角的坐标(0—9其中0和5表示左眼,1和6表示右眼,2和7表示鼻子,3和8表示作嘴角,3和9表示右嘴角的椭圆)。检测后通过近似的仿射变换将人脸图像进行对齐,使得图像具有良好的角度,并将图像resize到160*160,得到图像xoriginal。此外,选择经过预训练的FaceNet模型,作为本地白盒人脸识别模型,用于提取人脸图像的特征,计算比较图像对之间的余弦相似度,在本攻击方法的训练阶段判断对抗样本对人脸验证任务的攻击是否成功。
步骤二、将经过预处理后的被攻击者的人脸图像x,每个像素点的像素值减去127.5后除以128进行正则化;针对每张人脸图像x随机选择一张与其属于同一对象的其他图像作为非定向攻击的目标图像y;将正则化后的图像再输入到注意力生成器G中得到对抗噪声G(x);对生成的对抗噪声G(x)经过二维卷积核进行卷积,即对图像的高斯滤波操作,得到对抗噪声G(x)'original,再将其进行clip裁剪到合理的像素值区间,得到对抗噪声G(x)'。最后将对抗噪声G(x)'加入到预处理操作前的原始人脸图像xoriginal上,形成对抗样本xadv;
步骤三、根据对抗噪声G(x)'计算扰动损失Lperturbation,其计算方法如下:
Lperturbation=Ex[Max(ε,||G(x)'||2)] (6)
其中||·||2表示L2范数,即对向量各元素先求平方和后再求平方根,使得扰动的像素修改尽可能小,防止过拟合;ε为设置的对抗噪声扰动上限,本例中ε取值为3;Ex表示与处理后的整张图像x的期望值。
步骤四、将对抗样本xadv传输给样本判别器D1,样本判别器D1用于对被攻击者的输入人脸图像与其对应生成的对抗样本之间进行图像真实性的判断,并以此计算生成对抗网络的对抗损失LGAN,其公式如(7)所示::
LGAN=Ex[logD1(x)]+Ex[log(1-Dl(xadv))] (7)
式中D1(x)表示对原始人脸图像x的判别结果;D1(xadv)表示对对抗样本xadv的判别结果;判别结果的范围为[0,1],0为假,1为真。对图像x进行判别时,我们希望样本判别器D1的判别结果越接近于1越好,故最小化LGAN时,其损失函数为log D1(x);对于生成的对抗样本xadv,希望判别器的判别结果D(xadv)越接近于0越好,故其损失函数为log(1-D1(xadv))。
步骤五、将对抗样本xadv传输到由本地白盒人脸识别模型FaceNet作为身份判别器的D2,由FaceNet对对抗样本xadv和目标人脸图像y提取特征,再计算余弦相似度,并以此获得身份判别损失Lidentity,如公式(8)所示。
Lidentity=Ex[(F(xadv,y))] (8)
上式中的F(·)表示由图像y和对抗样本xadv的特征向量计算余弦相似度;
步骤六:根据步骤三、四、五得到的损失Lperturbation、LGAN、Lidentity及其权重系数,累加得到总损失L,如公式(9)所示。然后通过模型的反向传播,以最小化总损失L为生成对抗网络训练的最终目标,对注意力生成器G和样本判别器D1的参数进行更新,而不对白盒人脸识别模型FaceNet作为的身份判别器D2的参数进行更新;
L=LGAN+AiLidentity+λpLperturbation (9)
式中,λi和λp分别是身份判别损失Lidentity和扰动损失Lperturbation的权重系数。
步骤七、利用步骤六反向传播更新后的注意力生成器G和样本判别器D1,重复步骤二至六,进行下一次的迭代训练。模型的训练将不停迭代优化总损失函数L,直至达到预设的迭代次数;
步骤八、向注意力生成器G载入经过步骤七最终训练得到的最优攻击成功率的模型参数,根据输入的不同被攻击者人脸图像,生成对应的对抗样本xadv;
步骤九、使用步骤八生成的对抗样本xadv攻击黑盒人脸识别模型的人脸验证任务,实现高质量可迁移的灰盒人脸验证攻击。
图2是本发明中的注意力生成器结构图。所述的注意力生成器G依次包括:
1)7*7,步长为1,filters=64的卷积块;
2)4*4,步长为2,filters=128的卷积块;
3)4*4,步长为2,filters=256的卷积块;
4)三个残差模块,每个残差模块都包含了2个3*3的卷积层、跳跃连接和注意力机制。此外,每个残差模块的第二个3*3卷积层后不采用激活函数,且均在跳跃连接处使用了通道注意力SE模块。
5)图像尺寸放大2倍的上采样和5*5,步长为1,filters=128的卷积层;
6)图像尺寸放大2倍的上采样和5*5,步长为1,filters=64的卷积层;
7)7*7,步长为1,filters=3的卷积块(激活函数为tanh)。
上述的每个卷积块依次包括一个卷积层、Instance Norm层和ReLU的激活函数。
SE模块主要包括压缩和激活两部分。压缩部分首先对输入为H*W*C的特征图通过一次全局平均池化操作,为每个大小为W*H的二维特征图生成1*1*C的实数,代表当前特征图的全局特征响应权重。激活部分再将表示所有通道之间相互关联度的实数通过先降维再恢复维度的两次全连接操作,增加非线性的处理拟合通道之间的相关性,学习多个通道之间的非互斥关系,再借助Sigmoid函数激活后转换为[0,1]之间的数值与特征图全乘重新分配不同通道的权重。
SE模块通常被添加在残差模块的第二个卷积层后,而在此处选择添加在残差模块的跳跃连接操作中,以进一步提高生成器的特征提取能力,进而提高对抗样本的迁移性。
所述的样本判别器D1依次包括:1)4*4,步长为2,filters=32的卷积块;
2)4*4,步长为2,filters=64的卷积块;
3)4*4,步长为2,filters=128的卷积块;
4)4*4,步长为2,filters=256的卷积块;
5)4*4,步长为2,filters=512的卷积块。
上述的每个卷积块依次包括一个卷积层、BatchNorm层和LeakyReLU激活函数。
在样本判别器D1的最后还添加了1*1,步长为1,filters=3的卷积层用于计算patch-based的对抗损失LGAN。
在网络模型的训练过程中,注意力生成器G和样本判别器D1采用N:1的交替训练方式,即首先根据总损失函数L更新一次样本判别器D1的参数,然后在接下去的多次迭代中都只对注意力生成器G的参数进行更新。
所述的使用二维卷积核进行卷积实现高斯滤波,是指使用一定大小卷积尺寸的服从二维高斯分布的高斯核对生成的噪声G(x)进行卷积,用于去除图像中的高频分量信息,保留图像中的低频分量信息。通过高斯滤波操作可以对生成的噪声G(x)作高斯滤波处理,使得噪声G(x)'original更加平滑。经过处理后的噪声经裁剪操作再加到原图x上,形成的对抗样本xadv能具有更有效的攻击的性能和迁移性。高斯滤波操作如式(10)所示:
G(x)′original=τk*G(x) (10)
式中,τk表示核大小为k*k的高斯核,在本例中k取值为7;G(x)'original表示用k*k的高斯核对生成的噪声G(x)进行卷积操作来进行高斯平滑处理后得到的对抗噪声。
为验证本发明的有效性,将现有的多种针对人脸识别模型的对抗攻击方法包括:FLM、GFLM、PGD、FGSM等进行实验比较。实验采用的数据集为LFW(Labled Faces intheWild)数据集。该数据集由5749个身份组成,其中1680人有两张或更多张图像数据。由于人脸验证任务需要根据至少两张图像的类别的图像对衡量成功率,我们对LFW数据集进行了筛选,仅考虑包含两张或更多张的1680个类别的9164张图像用于人脸验证任务的评价。
为了验证本发明提出的攻击方法的有效性,选择攻击成功率(Attack SuccessRate,ASR)作为评价指标,它表示对抗攻击能够成功误导目标人脸识别模型的人脸验证任务情况。本文共采用7种SOTA人脸识别模型作为人脸特征匹配器进行试验。其中公开的模型包括FaceNet,SphereFace,InsightFace和VGG-Face。为更好地将本文研究工作拓展到现实应用场景中去,选择3种商用人脸识别模型的API接口:百度,旷视,讯飞进行测试。训练阶段仅使用FaceNet作为本发明提出方法的第三方模型作为身份判别器辅助训练。推理阶段便可以根据不同图像自动生成对抗样本,再将其他几个模型作为目标黑盒攻击模型进行测试。对于目标人脸识别模型而言,一定的FAR值下都存在基于余弦相似度的固定阈值作为判断人脸验证任务的阈值τ。当图像对的特征向量之间的余弦相似度大于该阈值τ,即可判断二者属于同一人,反之二者不属于同一人。本发明方法对FaceNet的人脸验证攻击效果如图3。FaceNet中人脸验证任务的判定阈值为0.45,原始图像与目标图像之间的余弦相似度均大于该阈值,而进行攻击后生成的对抗样本与目标图像之间的余弦相似度均小于该阈值,实现了人脸验证攻击。
而对于非定向攻击而言,攻击目标是使得同一人的图像对在经过对抗攻击后,二者特征向量之间的余弦相似度小于该阈值t,故攻击成功率计算方式如式(11):
式中,和yi分别代表第i组对抗样本和非定向目标图像,N表示人脸验证任务的图像总数,τ表示FaceNet在1%FAR值计算下得到的判别阈值,F(·)表示根据特征向量计算余弦相似度。当对抗样本和定向目标之间的余弦相似度小于阈值,则表示攻击成功。ASR∈[0,1],ASR越高代表对抗样本的攻击效果越好。
攻击者由于无法获取所有的人脸识别模型信息,为使得能够对多种模型都具有攻击性,对抗样本的可迁移性无疑是最重要的。在此,本文假设所有的对抗攻击方法均只能获取FaceNet的白盒信息,而无法获取其他人脸识别模型的信息。白盒攻击方法只能针对FaceNet模型生成对抗样本,将生成的对抗样本攻击其他人脸识别模型。本发明方法与各攻击方法在不同人脸识别模型和API上的实验结果如表2所示。
表2本发明方法与各攻击方法对人脸识别模型的攻击成功率(%)
Method | FaceNet | SphereFace | InsightFace | VGG-Face | API-Baidu | API-Face++ | API-Xfyun |
PGD | 99.90 | 52.95 | 52.54 | 32.67 | 94.57 | 56.25 | 16.95 |
FGSM | 91.60 | 26.76 | 28.22 | 18.26 | 74.81 | 26.74 | 7.62 |
FLM | 100.00 | 24.01 | 16.40 | 18.13 | 74.85 | 20.32 | 5.24 |
GFLM | 99.83 | 33.51 | 26.40 | 23.07 | 89.62 | 42.48 | 11.78 |
AdvFace | 99.72 | 26.73 | 16.16 | 29.63 | 67.23 | 17.22 | 4.65 |
Ours | 99.98 | 78.59 | 58.22 | 73.47 | 98.37 | 74.22 | 28.14 |
根据实验结果,各方法均能够在白盒模型上实现较高的攻击成功率,其中FLM和本发明方法效果最好,分别实现了100%和99.98%的攻击成功率。而针对未知的黑盒模型而言,PGD、FGSM、FLM、GFLM的白盒方法生成的对抗样本都无法实现高效迁移,其中通过梯度多步迭代优化的PGD方法迁移效果较好。同为灰盒攻击的AdvFace表现出较差的迁移性,而本发明方法能够有效迁移到黑盒模型中,分别在SphereFace和Face++上实现了78.59%和74.22%的攻击成功率。
对抗样本图像质量越高,越接近原始图像,人肉眼便越难以发现这种对抗攻击,才能使得攻击更为隐蔽和有效。为了衡量本发明方法与各攻击方法生成对抗样本的图像质量,采用图像恢复评价指标的结构相似性指数SSIM、峰值信噪比PSNR,图像感知评价指标的学习感知图像块相似度LIPIS,图像质量评价结果见表3,图4是本发明提出的方法和其他方法的生成的对抗样本。
表3本发明方法与各攻击方法生成对抗样本的时间和图像质量评价结果
Method | PGD | FGSM | FLM | GFLM | AdvFace | Ours |
↑SSIM | 0.75±0.03 | 0.82±0.07 | 0.82±0.05 | 0.62±0.10 | 0.97±0.013 | 0.92±0.027 |
↑PSNR(dB) | 29.23±0.41 | 18.99±3.24 | 23.25±1.81 | 19.50±2.34 | 34.40±4.82 | 29.80±4.08 |
↓LPIPS | 0.086±0.021 | 0.072±0.041 | 0.033±0.010 | 0.058±0.025 | 0.005±0.002 | 0.020±0.007 |
↓Time(s) | 7.86 | 0.01 | 0.12 | 0.53 | 0.01 | 0.01 |
结合表3与图4,FGSM和PGD方法生成的对抗样本由于分别出现了明显的波纹和白雾,很容易引起感知上的察觉,故LPIPS较高,图像恢复质量也较差。基于图像进行几何变换的FLM和GFLM方法相比,由于二者在不同程度上都对人脸图像进行扭曲,其中GFLM扭曲程度更甚,所以二者的图像恢复质量较差。对于面部关键点的位移也使得面部特征发生变化,使得感知评价LPIPS略高,与原始图像之间存在一定的特征偏差。同样采用GAN的AdvFace生成了高质量的对抗样本,图像真实自然,但这种对抗样本却不具有实现攻击的可迁移性。相比之下,本发明方法实现了高质量可迁移的对抗样本生成,虽然在图像恢复质量和LPIPS感知评价上略低于AdvFace,但仍能够保持肉眼感知上的真实自然。
为了衡量本发明方法生成对抗样本的时间,选用测试集生成对抗样本的均值作为衡量攻击方法的时间成本的评价指标,结果见表3。基于梯度的白盒攻击方法FGSM和PGD,由于PGD需要进行更多的迭代次数寻求最优扰动,故生成对抗样本需要大量的时间。基于人脸图像关键点进行几何变换的FLM和GFLM方法,二者均需要对关键点的位移场进行数次的迭代,故相比基于梯度的单步骤FGSM方法,需要较长时间,但同时又优于迭代次数较多的PGD方法。GFLM将人脸关键点依照特征属性进行分组几何变换,相对于对每个人脸关键点独立的FLM方法,需要更多的生成时间。基于生成对抗网络的AdvFace和本发明方法,则能够以与FGSM相同的时间生成对抗样本,高效生成对抗样本。
Claims (9)
1.一种人脸验证攻击方法,其特征在于该方法包括以下步骤:
步骤一、对被攻击者的原始人脸图像xoriginal进行预处理,得到预处理后的图像x,随机选取一张与原始人脸图像x属于同一对象的其他人脸图像作为非定向攻击的目标图像y;
步骤二、将预处理后的图像x输入到注意力生成器G得到对抗噪声G(x);再对对抗噪声G(x)使用服从二维高斯分布的卷积核进行卷积操作,即对图像进行高斯滤波操作得到对抗噪声G(x)′original,将高斯模糊后的对抗噪声G(x)′original进行裁剪操作,将图像的像素值控制在有效范围内,得到对抗噪声G(x)′;最后将对抗噪声G(x)′加入到预处理操作前的原始人脸图像xoriginal上,形成对抗样本xadv;
xadv=xoriginal+G(x)′ (1)
步骤三、根据对抗噪声G(x)′计算扰动损失Lperturbation,其计算方法如下:
Lperturbation=Ex[Max(ε,||G(x)′||2)] (2)
其中||·||2表示L2范数,ε为设置的对抗噪声扰动上限,Ex表示与处理后的整张图像x的期望值;
步骤四、将对抗样本xadv传输给样本判别器D1,样本判别器D1用于对被攻击者的输入人脸图像与其对应生成的对抗样本之间进行图像真实性的判断,并以此计算生成对抗网络的对抗损失LGAN,其公式如(3)所示:
LGAN=Ex[logD1(x)]+Ex[log(1-D1(xadv))] (3)
式中D1(x)表示样本判别器D1对被攻击者人脸图像x的判别结果;D1(xadv)表示对对抗样本xadv的判别结果;
步骤五、将对抗样本xadv传输到由本地白盒人脸识别模型作为身份判别器的D2,由本地白盒人脸识别模型对对抗样本xadv和目标人脸图像y提取特征,再对特征计算余弦相似度,并以此计算身份判别损失Lidentity,如公式(4)所示;
Lidentity=Ex[(F(xadv,y))] (4)
其中,F(xadv,y)表示由图像y和对抗样本xadv的特征向量计算余弦相似度;
步骤六、根据步骤三、四、五得到的损失Lperturbation、LGAN、Lidentity和对应的权重,累加得到总损失L,如公式(5)所示;然后通过模型的反向传播,以最小化总损失L为生成对抗网络训练的最终目标,对注意力生成器G和样本判别器D1的参数进行更新,而不对身份判别器D2的参数进行更新;
L=LGAN+λiLidentity+λpLperturbation (5)
式中λi和λp分别是身份判别损失Lidentity和扰动损失Lperturbation的权重系数;
步骤七、利用步骤六反向传播更新后的注意力生成器G和样本判别器D1,重复步骤二至六,进行下一次的迭代训练;模型的训练将不停迭代优化总损失函数L,直至达到预设的迭代次数;
步骤八、向注意力生成器G载入经过步骤七最终训练得到的最优攻击成功率的模型参数,根据输入的不同被攻击者人脸图像,生成对应的对抗样本xadv;
步骤九、使用步骤八生成的对抗样本xadv攻击黑盒人脸识别模型的人脸验证任务,实现高质量可迁移的灰盒人脸验证攻击。
2.根据权利要求1所述的一种人脸验证攻击方法,其特征在于:所述的注意力生成器G依次包括:1)7*7,步长为1,filters=64的卷积块;
2)4*4,步长为2,filters=128的卷积块;
3)4*4,步长为2,filters=256的卷积块;
4)三个级联的残差模块,每个残差模块均包括2个级联的3*3卷积层、跳跃连接和注意力机制;此外,每个残差模块的第二个3*3卷积层后不采用激活函数,且均在跳跃连接处使用SE模块;
5)图像尺寸放大2倍的上采样和5*5,步长为1,filters=128的卷积层;
6)图像尺寸放大2倍的上采样和5*5,步长为1,filters=64的卷积层;
7)7*7,步长为1,filters=3的卷积块,其中激活函数为tanh;
上述的每个卷积块均由一个卷积层、Instance Norm层和ReLU的激活函数组成。
3.根据权利要求2所述的一种人脸验证攻击方法,其特征在于:
所述SE模块包括压缩和激活两部分;压缩部分首先对输入为H*W*C的特征图通过一次全局平均池化操作,为每个大小为W*H的二维特征图生成1*1*C的实数,代表当前特征图的全局特征响应权重;激活部分将表示所有通道之间相互关联度的实数通过先降维再恢复维度的两次全连接操作,增加非线性的处理拟合通道之间的相关性,学习多个通道之间的非互斥关系,再借助Sigmoid函数激活后转换为[0,1]之间的数值与特征图进行全乘操作。
4.根据权利要求1所述的一种人脸验证攻击方法,其特征在于:所述的样本判别器D1依次包括:1)4*4,步长为2,filters=32的卷积块;
2)4*4,步长为2,filters=64的卷积块;
3)4*4,步长为2,filters=128的卷积块;
4)4*4,步长为2,filters=256的卷积块;
5)4*4,步长为2,filters=512的卷积块;
6)1*1,步长为1,filters=3的卷积层,用于计算patch-based的对抗损失LGAN;
上述的每个卷积块依次包括一个卷积层、Batch Norm层和LeakyReLU激活函数。
5.根据权利要求1所述的一种人脸验证攻击方法,其特征在于:在网络模型的训练过程中,注意力生成器G和样本判别器D1采用N:1的交替训练方式,即首先根据总损失函数L更新一次样本判别器D1的参数,然后在接下去的多次迭代中都只对注意力生成器G的参数进行更新。
6.根据权利要求1所述的一种人脸验证攻击方法,其特征在于:步骤二中所述的使用服从二维高斯分布的卷积核进行卷积操作的计算方法如式(6)所示:
G(x)′original=τk*G(x) (6)
式中,τk表示核大小为k的高斯核;*表示用k*k的高斯核对生成的噪声G(x)进行卷积操作。
7.根据权利要求1所述的一种人脸验证攻击方法,其特征在于:所述的本地白盒人脸识别模型为FaceNet人脸识别模型。
8.根据权利要求1所述的一种人脸验证攻击方法,其特征在于:针对公式(4)中所述的扰动损失权重λp=1,身份判别损失权重λi由自动调整策略确定而非始终为默认值λi=10,根据对抗样本xadv与攻击目标图像y特征向量之间的余弦相似度,对应调整身份判别损失权重λi,其对应关系如下:[0.6,1]:10,[0.4,0.6]:11,[0.2,0.4]:12.1,[0,0.2]:13.31,[-0.2,0]:14.641,[-0.4,-0.2]:15.373,[-1,-0.4]:16.141。
9.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210272519.XA CN114626042B (zh) | 2022-03-18 | 一种人脸验证攻击方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210272519.XA CN114626042B (zh) | 2022-03-18 | 一种人脸验证攻击方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114626042A true CN114626042A (zh) | 2022-06-14 |
CN114626042B CN114626042B (zh) | 2024-06-28 |
Family
ID=
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115439377A (zh) * | 2022-11-08 | 2022-12-06 | 电子科技大学 | 一种增强对抗图像样本迁移性攻击的方法 |
CN116259098A (zh) * | 2023-05-10 | 2023-06-13 | 南京理工大学 | 基于特征注意力的迁移性人脸识别对抗攻击方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016106294A (ja) * | 2015-12-28 | 2016-06-16 | 墫野 和夫 | 国の全額借金返済と都道府県市町村区の全額借金返済の為の知的所有財産のもし石炭石油天然ガス水素が無くなった場合の世界像と対処の有り方対処の為の全自動ロボット家電システム装置の著作権原本。 |
US20200151505A1 (en) * | 2018-11-12 | 2020-05-14 | Sap Se | Platform for preventing adversarial attacks on image-based machine learning models |
WO2020168731A1 (zh) * | 2019-02-19 | 2020-08-27 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
CN112085069A (zh) * | 2020-08-18 | 2020-12-15 | 中国人民解放军战略支援部队信息工程大学 | 基于集成注意力机制的多目标对抗补丁生成方法及装置 |
CN112084962A (zh) * | 2020-09-11 | 2020-12-15 | 贵州大学 | 基于生成式对抗网络脸部隐私保护方法 |
CN112766160A (zh) * | 2021-01-20 | 2021-05-07 | 西安电子科技大学 | 基于多级属性编码器和注意力机制的人脸替换方法 |
CN113435264A (zh) * | 2021-06-08 | 2021-09-24 | 广州紫为云科技有限公司 | 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置 |
CN113505886A (zh) * | 2021-07-08 | 2021-10-15 | 深圳市网联安瑞网络科技有限公司 | 基于模糊测试的对抗样本生成方法、系统、终端及介质 |
CN113963213A (zh) * | 2021-10-27 | 2022-01-21 | 上海交通大学 | 针对深度神经网络对抗样本的对抗噪声去除方法及系统 |
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016106294A (ja) * | 2015-12-28 | 2016-06-16 | 墫野 和夫 | 国の全額借金返済と都道府県市町村区の全額借金返済の為の知的所有財産のもし石炭石油天然ガス水素が無くなった場合の世界像と対処の有り方対処の為の全自動ロボット家電システム装置の著作権原本。 |
US20200151505A1 (en) * | 2018-11-12 | 2020-05-14 | Sap Se | Platform for preventing adversarial attacks on image-based machine learning models |
WO2020168731A1 (zh) * | 2019-02-19 | 2020-08-27 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
CN112085069A (zh) * | 2020-08-18 | 2020-12-15 | 中国人民解放军战略支援部队信息工程大学 | 基于集成注意力机制的多目标对抗补丁生成方法及装置 |
CN112084962A (zh) * | 2020-09-11 | 2020-12-15 | 贵州大学 | 基于生成式对抗网络脸部隐私保护方法 |
CN112766160A (zh) * | 2021-01-20 | 2021-05-07 | 西安电子科技大学 | 基于多级属性编码器和注意力机制的人脸替换方法 |
CN113435264A (zh) * | 2021-06-08 | 2021-09-24 | 广州紫为云科技有限公司 | 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置 |
CN113505886A (zh) * | 2021-07-08 | 2021-10-15 | 深圳市网联安瑞网络科技有限公司 | 基于模糊测试的对抗样本生成方法、系统、终端及介质 |
CN113963213A (zh) * | 2021-10-27 | 2022-01-21 | 上海交通大学 | 针对深度神经网络对抗样本的对抗噪声去除方法及系统 |
Non-Patent Citations (2)
Title |
---|
孙军梅: "面向人脸验证的可迁移对抗样本生成方法", 电子与信息学报, vol. 45, no. 5, 31 May 2023 (2023-05-31), pages 1842 - 1851 * |
张加胜;刘建明;韩磊;纪飞;刘煌;: "对抗样本生成在人脸识别中的研究与应用", 计算机应用与软件, no. 05, 12 May 2019 (2019-05-12) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115439377A (zh) * | 2022-11-08 | 2022-12-06 | 电子科技大学 | 一种增强对抗图像样本迁移性攻击的方法 |
CN115439377B (zh) * | 2022-11-08 | 2023-03-24 | 电子科技大学 | 一种增强对抗图像样本迁移性攻击的方法 |
CN116259098A (zh) * | 2023-05-10 | 2023-06-13 | 南京理工大学 | 基于特征注意力的迁移性人脸识别对抗攻击方法及装置 |
CN116259098B (zh) * | 2023-05-10 | 2023-07-25 | 南京理工大学 | 基于特征注意力的迁移性人脸识别对抗攻击方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113554089B (zh) | 一种图像分类对抗样本防御方法、系统及数据处理终端 | |
CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
CN111340716B (zh) | 一种改进双重判别对抗网络模型的图像去模糊方法 | |
CN111598210B (zh) | 面向基于人工免疫算法对抗攻击的对抗防御方法 | |
CN111915486B (zh) | 基于图像超分辨重建的对抗样本防御方法 | |
CN109949200B (zh) | 基于滤波器子集选择和cnn的隐写分析框架构建方法 | |
Hsu et al. | A high-capacity QRD-based blind color image watermarking algorithm incorporated with AI technologies | |
Zhang et al. | Multi-task convnet for blind face inpainting with application to face verification | |
Liu et al. | Ensemble of CNN and rich model for steganalysis | |
Chen et al. | Image splicing localization using residual image and residual-based fully convolutional network | |
CN113487506B (zh) | 基于注意力去噪的对抗样本防御方法、装置和系统 | |
CN114626042B (zh) | 一种人脸验证攻击方法和装置 | |
CN114626042A (zh) | 一种人脸验证攻击方法和装置 | |
CN113159317B (zh) | 一种基于动态残差侵蚀的对抗样本生成方法 | |
CN112330566B (zh) | 图像去噪的方法、装置及计算机存储介质 | |
Zhu et al. | Video smoke removal based on low‐rank tensor completion via spatial‐temporal continuity constraint | |
CN113570564A (zh) | 一种基于多路卷积网络的多清晰度伪造人脸视频的检测方法 | |
CN113657448B (zh) | 一种基于生成对抗网络和梯度解释的对抗样本防御方法 | |
CN112084922A (zh) | 一种基于手势和面部表情的行为异常人群检测方法 | |
Chen et al. | An image denoising method of picking robot vision based on feature pyramid network | |
CN113837360B (zh) | 一种基于关系图的dnn鲁棒模型加固方法 | |
Bansal et al. | Securing fingerprint images using a hybrid technique | |
CN110992285B (zh) | 一种基于分层神经网络的图像去雾方法 | |
CN117786682B (zh) | 基于增强框架的物理对抗攻击方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |