CN112507811A - 一种检测人脸识别系统抵御伪装攻击的方法和系统 - Google Patents
一种检测人脸识别系统抵御伪装攻击的方法和系统 Download PDFInfo
- Publication number
- CN112507811A CN112507811A CN202011317992.2A CN202011317992A CN112507811A CN 112507811 A CN112507811 A CN 112507811A CN 202011317992 A CN202011317992 A CN 202011317992A CN 112507811 A CN112507811 A CN 112507811A
- Authority
- CN
- China
- Prior art keywords
- face
- face image
- recognition system
- image
- face recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000000873 masking effect Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 27
- 239000011521 glass Substances 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000007123 defense Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种检测人脸识别系统抵御伪装攻击的方法和系统，该方法包括：获取人脸图像X和人脸图像Y；其中，人脸图像X对应分类号M，人脸图像Y对应分类号N；使用基于梯度与动量的迭代攻击方法在人脸图像X添加噪声Z，并对噪声Z掩模成可穿戴物品的形状，得到包含噪声的人脸图像G；S3，将人脸图像G攻击待检测人脸识别系统，若输出分类号为N，则待检测人脸识别系统抵御定向伪装攻击失败；若输出分类号为M，则待检测人脸识别系统抵御伪装攻击成功。本发明使用生成的伪装特性的可穿戴装饰物品对人脸识别系统进行攻击，可以检测人脸识别系统是否具有对伪装对抗样本的抵御能力，对人脸识别系统的安全性完成评估。
Description
技术领域
本发明涉及计算机视觉领域和深度学习技术领域，具体涉及一种检测人脸识别系统抵御伪装攻击的方法和系统。
背景技术
随着计算机视觉和人工智能技术的快速发展，人脸识别技术的应用越来越广泛，例如人脸识别门禁考勤、电子护照和身份证、高铁站自助进站等等。但是，随着技术的发展，人脸识别系统受到欺骗攻击的风险日益提高。例如：在视频监控和访问控制广泛应用的人脸识别系统中，有些对抗样本输入人脸识别系统，人脸识别统会被对抗样本误导，而对人脸识别错误，从而威胁人身财产安全，甚至可能造成严重后果。
现有技术中的检测人脸识别攻击的防御能力的方法，其主要思想是先生成针对人脸识别系统的对抗样本，然后将对抗样本加入学习。该方法首先采集人脸图像数据并进行预处理，分成预训练数据集和扰动数据集；在扰动数据集中的人脸图像上制作用于限制扰动区域的纯色眼镜框模板；然后利用预训练数据集训练人脸识别模型的人脸分类器；利用搭建的Rosenbrock-PSO人脸攻击模型，将带纯色眼镜框的人脸图像输入Rosenbrock-PSO人脸攻击模型中进行进化寻优，得到眼镜框上RGB值为最优解时的人脸图像作为对抗样本；最后将对抗样本加入到预训练数据集中重新训练人脸分类器，使人脸识别模型具有防御对抗样本攻击的能力。但是现有的针对Rosenbrock-PSO的对抗样本生成方法仅用于寻找使人脸识别系统出错的对抗样本，并不能保证人脸识别系统可以抵御定向伪装的对抗样本的攻击，即经过该方法生成的对抗样本对人脸识别系统进行对抗训练，训练后得到的任意一个人脸识别系统，仍无法检测出抵御针对特定目标伪装的人脸图像生成的对抗样本攻击的能力。且基于Rosenbrock-PSO的人脸识别攻击防御方法只是在训练集中加入混淆数据的方式，通过干扰机器学习模型的训练过程，使机器学习模型出现更多错误预测，但此方法存在适用性低的缺陷，攻击者一般无法获得并干扰目标模型算法的训练集来源，一般只适用于实验环境。
综上，行业内急需研发一种能够检测出实际的人脸识别系统抵御特定目标伪装的对抗样本攻击的能力的方法或者系统。
发明内容
本发明的目的是为了克服以上现有技术存在的不足，提供了一种检测人脸识别系统抵御伪装攻击的方法和系统。
本发明的目的通过以下的技术方案实现：
一种检测人脸识别系统抵御伪装攻击的方法，包括：
S1，获取人脸图像X和人脸图像Y；其中，人脸图像X对应分类号M，人脸图像Y对应分类号N；
S2，使用基于梯度与动量的迭代攻击方法在人脸图像X添加噪声Z，并对噪声Z掩模成可穿戴物品的形状，得到包含噪声的人脸图像G；
S3，将人脸图像G攻击待检测人脸识别系统；
S4，根据待检测人脸识别系统的识别结果，判断待检测人脸识别系统抵御伪装攻击的能力。
优选地，若人脸图像G包含噪声为能将人脸图像X定向伪装成人脸图像Y的噪声；则步骤S4包括若待检测人脸识别系统输出分类号为N，则待检测人脸识别系统抵御定向伪装攻击失败；若输出分类号为M，则待检测人脸识别系统抵御定向伪装攻击成功。
优选地，若人脸图像G包含噪声为将人脸图像X误分类的噪声；则步骤S4包括若待检测人脸识别系统判定人脸图像G和人脸图像X不是同一个人，则待检测人脸识别系统抵御定向伪装攻击失败；若待检测人脸识别系统判定人脸图像G和人脸图像X是同一个人，则待检测人脸识别系统抵御伪装成功。
优选地，在步骤S2中的基于梯度与动量的迭代攻击方法在基础的迭代式攻击方法上加入动量项，公式如下：
其中，X为人脸图像X，Y为目标人脸图像Y，J(X,Y)为将人脸图像X当做神经网络的输入，经过人脸识别网络训练后得到的损失函数，
为针对损失函数求关于人脸图像X的梯度，ε为添加的噪声的上界，εsign(gN+1)为噪声扰动Z，
表示第一轮未进行更新时初始图像，经过N+1轮迭代，得到最终生成的包含噪声Z的对抗样本图像
即包含噪声的人脸图像G。
优选地，步骤S1之前包括：采集人脸图像数据，并对人脸图像数据进行预处理，得到包含人脸图像X和人脸图像Y的人脸数据集M。
优选地，对人脸图像数据进行预处理包括：定位人脸图像数据中的人脸，提取人脸区域和特征点，根据特征点对所有人脸进行对齐操作并保存，得到对齐后的人脸数据集M；面部对齐后，人脸数据集M中的所有人脸图像的68个检查点均分布在相同的位置。
优选地，人脸图像G攻击待检测人脸识别系统之前还包括：使用训练数据集训练待检测人脸识别系统，在训练过程中不断地调整待检测人脸识别系统的参数值，使得待检测人脸识别系统输出正确的图像分类号；其中训练数据集包含样本图像以及对应的图像分类号。
优选地，可穿戴物品包括：眼镜、头巾、帽子、围巾中的至少一种。
一种检测人脸识别系统抵御定向伪装能力的系统，包括：
人脸图像获取模块，用于获取人脸图像X和人脸图像Y；其中，人脸图像X对应分类号M，人脸图像Y对应分类号N；
伪装模块，用于使用基于梯度与动量的迭代攻击方法在人脸图像X添加噪声Z，并对噪声Z掩模成可穿戴物品的形状，得到包含噪声的人脸图像G；
人脸图像检测模块，用于将人脸图像G攻击待检测人脸识别系统；其中若人脸图像G包含能将人脸图像X定向伪装成人脸图像Y的噪声，且待检测人脸识别系统输出分类号为N，则待检测人脸识别系统抵御定向伪装攻击失败；若人脸图像G包含能将人脸图像X定向伪装成人脸图像Y的噪声，且输出分类号为M，则待检测人脸识别系统抵御定向伪装攻击成功；若人脸图像G包含能将人脸图像X误分类的噪声且若待检测人脸识别系统判定人脸图像G和人脸图像X不是同一个人，则待检测人脸识别系统抵御定向伪装攻击失败；若人脸图像G包含能将人脸图像X误分类的噪声且待检测人脸识别系统判定人脸图像G和人脸图像X是同一个人，则待检测人脸识别系统抵御伪装成功。
优选地，基于梯度与动量的迭代攻击方法在基础的迭代式攻击方法上加入动量项，公式如下：
其中，X为人脸图像X，Y为目标人脸图像Y，J(X,Y)为将人脸图像X当做神经网络的输入，经过人脸识别网络训练后得到的损失函数，
为针对损失函数求关于人脸图像X的梯度，ε为添加的噪声的上界，εsign(gN+1)为噪声扰动Z，
表示第一轮未进行更新时初始图像，经过N+1轮迭代，得到最终生成的包含噪声Z的对抗样本图像
即包含噪声的人脸图像G。
本发明相对于现有技术具有如下优点：
本发明通过使用基于梯度与动量的迭代攻击方法在人脸图像X添加能将人脸图像X定向伪装成人脸图像Y或者将人脸图像X误分类的噪声Z，并对噪声Z掩模成可穿戴物品的形状，得到包含噪声的人脸图像G，将人脸图像G攻击待检测人脸识别系统，可以实现对任何人脸识别系统的安全性检测，即用户使用生成的伪装特性的可穿戴装饰物品对人脸识别系统进行攻击，可以检测人脸识别系统是否具有对定向伪装对抗样本的抵御能力，从而及时发现人脸识别检测漏洞，对人脸识别系统的安全性完成评估。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的检测人脸识别系统抵御伪装攻击的方法的流程示意图。
图2本发明的将噪声Z和图像X进行结合得到图像G的过程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例1
参见图1，一种检测人脸识别系统抵御伪装攻击的方法，包括：
S11，获取人脸图像X和人脸图像Y；其中，人脸图像X对应分类号M，人脸图像Y对应分类号N；步骤S1之前包括：采集人脸图像数据，并对人脸图像数据进行预处理，得到包含人脸图像X和人脸图像Y的人脸数据集M。
更进一步地，对人脸图像数据进行预处理包括：定位人脸图像数据中的人脸，提取人脸区域和特征点，根据特征点对所有人脸进行对齐操作并保存，得到对齐后的人脸数据集M；面部对齐后，人脸数据集M中的所有人脸图像的68个检查点均分布在相同的位置。
S12，使用基于梯度与动量的迭代攻击方法在人脸图像X添加能将人脸图像X定向伪装成人脸图像Y的噪声Z，并对噪声Z掩模成可穿戴物品的形状，得到包含噪声的人脸图像G；可穿戴物品包括：眼镜、头巾、帽子、围巾中的至少一种。步骤S2的目的是对人脸图像X添加眼镜、头巾、帽子、围巾形状的噪声扰动，使得该系统对添加扰动后的人脸图像识别成特定目标，即定向伪装的人；对任意人脸识别系统进行安全性检测，检测人脸识别系统能否正确的鉴别出定向伪装的人，完成对人脸识别系统的安全性评估工作。
其中，快速梯度符号法(FGSM),通过一次梯度迭代即可以生成对抗样本：
此处的X为人脸图像X(人脸图像数据集)，Y为目标人脸图像Y(分类号)，J(X,Y)为将人脸图像X当做神经网络的输入，经过人脸识别网络训练后得到的损失函数，
为针对损失函数求关于X的梯度，ε为添加的噪声扰动的上界，限制了修改的每个像素点的最大值；
就是得到的噪声扰动Z，将其与X结合就得到了经过FGSM方法的对抗样本图像Xadv，也就是包含噪声的人脸图像G。
但是FGSM方法的效率不高，得到的对抗样本图像的效果也不好，于是：为了提升成功率，迭代式攻击方法(I-FGSM)通过多步更新，可以更好地生成对抗样本，即：
I-FGSM的方法是在FGSM方法的基础上增加了迭代进行多步更新，
表示第一轮未进行更新时初始图像，经过N+1轮迭代，得到最终生成的包含噪声的对抗样本图像
也就是包含噪声的人脸图像G。
本发明利用基于梯度与动量的迭代攻击方法，在基础的迭代式攻击方法上加入动量项，可以使得生成的对抗样本不仅能有效欺骗白盒模型，也能欺骗未知的黑盒模型，达到更好的攻击效果。通过在FGSM迭代过程中加入动量的公式如下：
其中，动量项gN可以加速收敛、避免较差的局部极值、同时使得每次梯度更新方向更加平稳，μ为动量值gN的衰减系数。通过以上迭代过程对一个真实样本图像X逐步添加噪声，可以得到能够欺骗人脸识别系统的对抗样本
此处的对抗样本
包含了经过基于梯度与动量的迭代攻击方法生成的噪声Z，即公式中的εsign(gN+1)，对于图像噪声解释如下：
如图2所示：左侧图片(X)及其对应标签为‘Puffer’，并且神经网络模型可以以97.99％的置信度将其正确分类成‘Puffer’；中间图片为经过对抗样本生成算法生成的噪声(Z)；将噪声(Z)和左侧图像(X)进行结合得到右侧图像(G)，即生成的对抗样本图像。人类肉眼无法察觉图像G和图像X的差别，但是，图像G却能够“骗过”神经网络模型，即神经网络模型以100％的置信度将图片G错误的识别成了‘Grab’,而非‘Puffer’，但是肉眼中图像G仍然是一张标签为‘Puffer’的图片X。因此称类似G这样的图像为对抗样本，z为图像噪声。
此外，通过限制噪声z范围，保证生成噪声的形状为预设的眼镜、头巾、帽子、围巾等可穿戴物品的形状Z并最后将生成的特定形状的噪声图案Z与图像X结合得到包含噪声的人脸图像G。
S13，将人脸图像G攻击待检测人脸识别系统，若输出分类号为N，则待检测人脸识别系统抵御定向伪装攻击失败；若输出分类号为M，则待检测人脸识别系统抵御定向伪装攻击成功。
其中，人脸图像G攻击待检测人脸识别系统之前还包括：使用训练数据集训练待检测人脸识别系统，在训练过程中不断地调整待检测人脸识别系统的参数值，使得待检测人脸识别系统输出正确的图像分类号；其中训练数据集包含样本图像以及对应的图像分类号。
举例：首先对采集到的人脸图像数据集进行预处理操作，即利用dlib提供的模型来识别68个关键检查点。假设选取采集到的人脸图像数据集中一张4032*3016的原始人脸图像R，对人脸数据进行对齐后得到224*224像素大小的人脸图像数据R’。对所有采集到的的人脸图像数据进行上述预处理操作，最终得到我们需要的人脸图像数据集N。
从数据集N中任意选取一张人脸图像X，大小为224*224，是一个名字为张三的用户。假设X被正确识别分类的分类号为M。由于人脸识别网络C已经提前训练好，人脸识别网络C能正确识别图像X，即人脸识别网络C能将图像X正确分类成M。
从数据集N中任意选取一张人脸图像Y，大小为224*224，是一个名字为李四的用户,Y被人脸识别网络C正确识别分类的分类号为N。
将人脸图像X作为人脸识别网络C的输入，首先构造损失函数J(X,Y)，然后求模型对输入的导数▽XJ(X,Y)，在梯度方向上累积计算更新动量gN并添加到图像X上，在迭代过程对一个真实样本x逐步添加预设的眼镜、头巾、帽子、围巾等可穿戴物品的形状的噪声z就得到了我们需要的对抗样本图像G。
实验环境下，将生成的噪声图像G作为人脸识别网络C的输入，若得到人脸识别网络C对G的分类号为N，即人脸识别网络认为图像G和图像Y为同一个人，攻击成功，人脸识别系统抵御定向伪装失败；若得到人脸识别网络C对G的分类号为M，即人脸识别网络认为图像G和图像X为同一个人，攻击失败，人脸识别系统抵御定向伪装成功。
此外，本实施例还提供一种检测人脸识别系统抵御定向伪装能力的系统，包括：人脸图像获取模块，用于获取人脸图像X和人脸图像Y；其中，人脸图像X对应分类号M，人脸图像Y对应分类号N；伪装模块，用于使用基于梯度与动量的迭代攻击方法在人脸图像X添加能将人脸图像X定向伪装成人脸图像Y的噪声Z，并对噪声Z掩模成可穿戴物品的形状，得到包含噪声的人脸图像G；人脸图像检测模块，用于将人脸图像G攻击待检测人脸识别系统，若输出分类号为N，则待检测人脸识别系统抵御定向伪装攻击失败；若输出分类号为M，则待检测人脸识别系统抵御定向伪装攻击成功。其中，基于梯度与动量的迭代攻击方法在基础的迭代式攻击方法上加入动量项，公式如下：
其中，X为人脸图像X，Y为目标人脸图像Y，J(X,Y)为将人脸图像X当做神经网络的输入，经过人脸识别网络训练后得到的损失函数，
为针对损失函数求关于人脸图像X的梯度，ε为添加的噪声的上界，εsign(gN+1)为噪声扰动Z，
表示第一轮未进行更新时初始图像，经过N+1轮迭代，得到最终生成的包含噪声Z的对抗样本图像
即包含噪声的人脸图像G。
实施例2
实施例2和实施例1的区别在于，使用基于梯度与动量的迭代攻击方法在人脸图像X添加噪声Z为将人脸图像X误分类的噪声。待检测人脸识别系统的判定方面，若待检测人脸识别系统判定人脸图像G和人脸图像X不是同一个人，则待检测人脸识别系统抵御定向伪装攻击失败；若待检测人脸识别系统判定人脸图像G和人脸图像X是同一个人，则待检测人脸识别系统抵御伪装成功。
综上，本发明具有以下有益效果：
1、本发明使用基于梯度与动量的迭代攻击方法，可以对人脸图片添加眼镜、帽子、头巾、围巾等形状的扰动，使得该神经网络将添加扰动后的图片识别成特定目标，实现对人脸识别系统的攻击，进而检测人脸识别系统抵御定向伪装能力。
2、利用眼镜、头巾、帽子、围巾等形状掩模，使添加的对抗扰动限制于可穿戴衣物形状的范围之中，使对抗样本更具物理攻击的实用价值。如果增加的干扰范围过大，可能会成功地误导人脸识别系统，但同时又过于显眼，容易引起人们的注意，从而失去攻击的本意。
上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种检测人脸识别系统抵御伪装攻击的方法，其特征在于，包括：
S1，获取人脸图像X和人脸图像Y；其中，人脸图像X对应分类号M，人脸图像Y对应分类号N；
S2，使用基于梯度与动量的迭代攻击方法在人脸图像X添加噪声Z，并对噪声Z掩模成可穿戴物品的形状，得到包含噪声的人脸图像G；
S3，将人脸图像G攻击待检测人脸识别系统；
S4，根据待检测人脸识别系统的识别结果，判断待检测人脸识别系统抵御伪装攻击的能力。
2.根据权利要求1所述的检测人脸识别系统抵御伪装攻击的方法，其特征在于，若人脸图像G包含噪声为能将人脸图像X定向伪装成人脸图像Y的噪声；则步骤S4包括若待检测人脸识别系统输出分类号为N，则待检测人脸识别系统抵御定向伪装攻击失败；若输出分类号为M，则待检测人脸识别系统抵御定向伪装攻击成功。
3.根据权利要求1所述的检测人脸识别系统抵御伪装攻击的方法，其特征在于，若人脸图像G包含噪声为将人脸图像X误分类的噪声；则步骤S4包括若待检测人脸识别系统判定人脸图像G和人脸图像X不是同一个人，则待检测人脸识别系统抵御定向伪装攻击失败；若待检测人脸识别系统判定人脸图像G和人脸图像X是同一个人，则待检测人脸识别系统抵御伪装成功。
4.根据权利要求1所述的检测人脸识别系统抵御伪装攻击的方法，其特征在于，在步骤S2中的基于梯度与动量的迭代攻击方法在基础的迭代式攻击方法上加入动量项，公式如下：
其中，X为人脸图像X，Y为目标人脸图像Y，J(X,Y)为将人脸图像X当做神经网络的输入，经过人脸识别网络训练后得到的损失函数，
为针对损失函数求关于人脸图像X的梯度，ε为添加的噪声的上界，εsign(gN+1)为噪声扰动Z，
表示第一轮未进行更新时初始图像，经过N+1轮迭代，得到最终生成的包含噪声Z的对抗样本图像
即包含噪声的人脸图像G。
5.根据权利要求1所述的检测人脸识别系统抵御伪装攻击的方法，其特征在于，步骤S1之前包括：采集人脸图像数据，并对人脸图像数据进行预处理，得到包含人脸图像X和人脸图像Y的人脸数据集M。
6.根据权利要求5所述的检测人脸识别系统抵御伪装攻击的方法，其特征在于，对人脸图像数据进行预处理包括：定位人脸图像数据中的人脸，提取人脸区域和特征点，根据特征点对所有人脸进行对齐操作并保存，得到对齐后的人脸数据集M；面部对齐后，人脸数据集M中的所有人脸图像的68个检查点均分布在相同的位置。
7.根据权利要求1所述的检测人脸识别系统抵御伪装攻击的方法，其特征在于，人脸图像G攻击待检测人脸识别系统之前还包括：使用训练数据集训练待检测人脸识别系统，在训练过程中不断地调整待检测人脸识别系统的参数值，使得待检测人脸识别系统输出正确的图像分类号；其中训练数据集包含样本图像以及对应的图像分类号。
8.根据权利要求1所述的检测人脸识别系统抵御伪装攻击的方法，其特征在于，可穿戴物品包括：眼镜、头巾、帽子、围巾中的至少一种。
9.一种检测人脸识别系统抵御定向伪装能力的系统，其特征在于，包括：
人脸图像获取模块，用于获取人脸图像X和人脸图像Y；其中，人脸图像X对应分类号M，人脸图像Y对应分类号N；
伪装模块，用于使用基于梯度与动量的迭代攻击方法在人脸图像X添加噪声Z，并对噪声Z掩模成可穿戴物品的形状，得到包含噪声的人脸图像G；
人脸图像检测模块，用于将人脸图像G攻击待检测人脸识别系统；其中若人脸图像G包含能将人脸图像X定向伪装成人脸图像Y的噪声，且待检测人脸识别系统输出分类号为N，则待检测人脸识别系统抵御定向伪装攻击失败；若人脸图像G包含能将人脸图像X定向伪装成人脸图像Y的噪声，且输出分类号为M，则待检测人脸识别系统抵御定向伪装攻击成功；若人脸图像G包含能将人脸图像X误分类的噪声且若待检测人脸识别系统判定人脸图像G和人脸图像X不是同一个人，则待检测人脸识别系统抵御定向伪装攻击失败；若人脸图像G包含能将人脸图像X误分类的噪声且待检测人脸识别系统判定人脸图像G和人脸图像X是同一个人，则待检测人脸识别系统抵御伪装成功。
10.根据权利要求9所述的检测人脸识别系统抵御定向伪装能力的系统，其特征在于，基于梯度与动量的迭代攻击方法在基础的迭代式攻击方法上加入动量项，公式如下：
其中，X为人脸图像X，Y为目标人脸图像Y，J(X,Y)为将人脸图像X当做神经网络的输入，经过人脸识别网络训练后得到的损失函数，
为针对损失函数求关于人脸图像X的梯度，ε为添加的噪声的上界，εsign(gN+1)为噪声扰动Z，
表示第一轮未进行更新时初始图像，经过N+1轮迭代，得到最终生成的包含噪声Z的对抗样本图像
即包含噪声的人脸图像G。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011317992.2A CN112507811A (zh) | 2020-11-23 | 2020-11-23 | 一种检测人脸识别系统抵御伪装攻击的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011317992.2A CN112507811A (zh) | 2020-11-23 | 2020-11-23 | 一种检测人脸识别系统抵御伪装攻击的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112507811A true CN112507811A (zh) | 2021-03-16 |
Family
ID=74959378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011317992.2A Pending CN112507811A (zh) | 2020-11-23 | 2020-11-23 | 一种检测人脸识别系统抵御伪装攻击的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112507811A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926802A (zh) * | 2021-04-01 | 2021-06-08 | 重庆邮电大学 | 时序数据对抗样本生成方法、系统、电子设备及存储介质 |
| CN113221858A (zh) * | 2021-06-16 | 2021-08-06 | 中国科学院自动化研究所 | 人脸识别对抗攻击的防御方法及系统 |
| CN114333029A (zh) * | 2021-12-31 | 2022-04-12 | 北京瑞莱智慧科技有限公司 | 模板图像生成方法、装置及存储介质 |
| CN118135640A (zh) * | 2024-05-06 | 2024-06-04 | 南京信息工程大学 | 基于隐性噪声的对抗人脸图像攻击防御方法 |
| CN118135640B (zh) * | 2024-05-06 | 2024-07-05 | 南京信息工程大学 | 基于隐性噪声的对抗人脸图像攻击防御方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948658A (zh) * | 2019-02-25 | 2019-06-28 | 浙江工业大学 | 面向特征图注意力机制的对抗攻击防御方法及应用 |
| CN110851835A (zh) * | 2019-09-23 | 2020-02-28 | 平安科技（深圳）有限公司 | 图像模型检测方法、装置、电子设备及存储介质 |
| CN111738217A (zh) * | 2020-07-24 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 生成人脸对抗补丁的方法和装置 |
-
2020
- 2020-11-23 CN CN202011317992.2A patent/CN112507811A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948658A (zh) * | 2019-02-25 | 2019-06-28 | 浙江工业大学 | 面向特征图注意力机制的对抗攻击防御方法及应用 |
| CN110851835A (zh) * | 2019-09-23 | 2020-02-28 | 平安科技（深圳）有限公司 | 图像模型检测方法、装置、电子设备及存储介质 |
| CN111738217A (zh) * | 2020-07-24 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 生成人脸对抗补丁的方法和装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926802A (zh) * | 2021-04-01 | 2021-06-08 | 重庆邮电大学 | 时序数据对抗样本生成方法、系统、电子设备及存储介质 |
| CN112926802B (zh) * | 2021-04-01 | 2023-05-23 | 重庆邮电大学 | 时序数据对抗样本生成方法、系统、电子设备及存储介质 |
| CN113221858A (zh) * | 2021-06-16 | 2021-08-06 | 中国科学院自动化研究所 | 人脸识别对抗攻击的防御方法及系统 |
| CN113221858B (zh) * | 2021-06-16 | 2022-12-16 | 中国科学院自动化研究所 | 人脸识别对抗攻击的防御方法及系统 |
| CN114333029A (zh) * | 2021-12-31 | 2022-04-12 | 北京瑞莱智慧科技有限公司 | 模板图像生成方法、装置及存储介质 |
| CN118135640A (zh) * | 2024-05-06 | 2024-06-04 | 南京信息工程大学 | 基于隐性噪声的对抗人脸图像攻击防御方法 |
| CN118135640B (zh) * | 2024-05-06 | 2024-07-05 | 南京信息工程大学 | 基于隐性噪声的对抗人脸图像攻击防御方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112507811A (zh) | 一种检测人脸识别系统抵御伪装攻击的方法和系统 | |
| Sharif et al. | Accessorize to a crime: Real and stealthy attacks on state-of-the-art face recognition | |
| CN111626925B (zh) | 一种对抗补丁的生成方法及装置 | |
| CN109858368B (zh) | 一种基于Rosenbrock-PSO的人脸识别攻击防御方法 | |
| EP2091021A1 (en) | Face authentication device | |
| CN113076557B (zh) | 一种基于对抗攻击的多媒体隐私保护方法、装置及设备 | |
| US11594074B2 (en) | Continuously evolving and interactive Disguised Face Identification (DFI) with facial key points using ScatterNet Hybrid Deep Learning (SHDL) network | |
| CN111783890B (zh) | 一种针对图像识别过程中的小像素对抗样本防御方法 | |
| US12008471B2 (en) | Robustness assessment for face recognition | |
| Gragnaniello et al. | Perceptual quality-preserving black-box attack against deep learning image classifiers | |
| CN115640609A (zh) | 一种特征隐私保护方法及装置 | |
| Sarkar et al. | Facehack: Attacking facial recognition systems using malicious facial characteristics | |
| Ryu et al. | Adversarial attacks by attaching noise markers on the face against deep face recognition | |
| CN117115881A (zh) | 基于机器学习的人脸识别系统 | |
| Bera et al. | Two-stage human verification using HandCAPTCHA and anti-spoofed finger biometrics with feature selection | |
| Liang et al. | We can always catch you: Detecting adversarial patched objects with or without signature | |
| CN112200075B (zh) | 一种基于异常检测的人脸防伪方法 | |
| Huang et al. | Multi-Teacher Single-Student Visual Transformer with Multi-Level Attention for Face Spoofing Detection. | |
| CN113642003A (zh) | 基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法 | |
| CN113435264A (zh) | 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置 | |
| CN117494183A (zh) | 基于知识蒸馏的生成对抗网络模型的隐私数据生成方法及系统 | |
| Saha et al. | Is face recognition safe from realizable attacks? | |
| Sheikholeslami et al. | Efficient randomized defense against adversarial attacks in deep convolutional neural networks | |
| CN114332982A (zh) | 一种人脸识别模型攻击防御方法、装置、设备及存储介质 | |
| CN114067176A (zh) | 一种无需样本数据的对抗贴片生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220809 Address after: 510006 No. 230 West Ring Road, Panyu District University, Guangdong, Guangzhou Applicant after: Guangzhou University Applicant after: National University of Defense Technology Address before: 510006 No. 230 West Ring Road, Panyu District University, Guangdong, Guangzhou Applicant before: Guangzhou University |
|
| TA01 | Transfer of patent application right |