CN115995104A - 人脸识别对抗样本的生成方法及装置、存储介质 - Google Patents

人脸识别对抗样本的生成方法及装置、存储介质 Download PDF

Info

Publication number
CN115995104A
CN115995104A CN202211013503.3A CN202211013503A CN115995104A CN 115995104 A CN115995104 A CN 115995104A CN 202211013503 A CN202211013503 A CN 202211013503A CN 115995104 A CN115995104 A CN 115995104A
Authority
CN
China
Prior art keywords
image
face
attack mask
attack
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211013503.3A
Other languages
English (en)
Inventor
王镜茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202211013503.3A priority Critical patent/CN115995104A/zh
Publication of CN115995104A publication Critical patent/CN115995104A/zh
Priority to PCT/CN2023/111034 priority patent/WO2024041346A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

一种人脸识别对抗样本的生成方法及装置、存储介质，包括：对第一图像和第二图像进行预处理，并生成多张备选攻击掩膜图像，其中，第一图像和第二图像均包含人脸区域；使用每张备选攻击掩膜图像与第二图像，对第一图像进行K次迭代修改攻击，计算K次迭代修改攻击后得到的修改图像与第二图像的相似度得分，根据多张备选攻击掩膜图像对应的相似度得分，生成最终攻击掩膜图像，备选攻击掩膜图像和最终攻击掩膜图像均用于指定对第一图像进行迭代修改攻击时的修改区域，不同备选攻击掩膜图像指定的修改区域不同；使用最终攻击掩膜图像与第二图像，对第一图像进行M次迭代修改攻击，得到人脸识别对抗样本，M、K均为大于1的正整数，且M＞K。

Description

人脸识别对抗样本的生成方法及装置、存储介质
技术领域
本公开实施例涉及但不限于人脸识别技术领域，尤其涉及一种人脸识别对抗样本的生成方法及装置、存储介质。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术，通常基于深度学习模型提取人脸特征来实现。但是，深度学习模型容易受到“对抗样本”的攻击影响，对抗样本通过添加人眼无法察觉的小扰动，可以使模型产生不正确的预测。
对抗样本现象揭示了深度学习模型的安全漏洞。因此，研究如何快速大量地生成高质量的对抗样本对防御对抗攻击尤为重要。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本公开实施例提供了一种人脸识别对抗样本的生成方法，包括：
对第一图像和第二图像进行预处理，并生成多张备选攻击掩膜图像，其中，所述第一图像和第二图像均包含人脸区域；
使用每张所述备选攻击掩膜图像与第二图像，对所述第一图像进行K次迭代修改攻击，计算K次迭代修改攻击后得到的修改图像与所述第二图像的相似度得分，根据多张备选攻击掩膜图像对应的相似度得分，生成最终攻击掩膜图像，其中，所述攻击掩膜图像和所述最终攻击掩膜图像均用于指定对所述第一图像进行迭代修改攻击时的修改区域，不同所述备选攻击掩膜图像指定的修改区域不同；
使用所述最终攻击掩膜图像与第二图像，对所述第一图像进行M次迭代修改攻击，得到人脸识别对抗样本，其中，M、K均为大于1的正整数，且M＞K。
本公开实施例还提供了一种人脸识别对抗样本的生成装置，包括存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如本公开任一实施例所述的人脸识别对抗样本的生成方法的步骤。
本公开实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任一实施例所述的人脸识别对抗样本的生成方法。
在阅读理解了附图和详细描述后，可以明白其他方面。
附图说明
附图用来提供对本公开技术方案的理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
图1为本公开示例性实施例一种人脸识别对抗样本的生成方法的流程示意图；
图2为本公开示例性实施例一种所生成的多张备选攻击掩膜图像的示意图；
图3为本公开示例性实施例一种一次迭代修改攻击的流程示意图；
图4为本公开示例性实施例一种对最终攻击掩膜图像进行校正的方法示意图；
图5为本公开示例性实施例另一种人脸识别对抗样本的生成方法的流程示意图；
图6为本公开示例性实施例一种人脸识别对抗样本的生成效果示意图；
图7为本公开示例性实施例一种人脸识别对抗样本的生成装置的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，下文中将结合附图对本公开的实施例进行详细说明。实施方式可以以多个不同形式来实施。所属技术领域的普通技术人员可以很容易地理解一个事实，就是方式和内容可以在不脱离本公开的宗旨及其范围的条件下被变换为各种各样的形式。因此，本公开不应该被解释为仅限定在下面的实施方式所记载的内容中。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互任意组合。
本公开中的附图比例可以作为实际工艺中的参考，但不限于此。例如：沟道的宽长比、各个膜层的厚度和间距、各个信号线的宽度和间距，可以根据实际需要进行调整。显示面板中像素的个数和每个像素中子像素的个数也不是限定为图中所示的数量，本公开中所描述的附图仅是结构示意图，本公开的一个方式不局限于附图所示的形状或数值等。
本说明书中的“第一”、“第二”、“第三”等序数词是为了避免构成要素的混同而设置，而不是为了在数量方面上进行限定的。
如图1所示，本公开实施例提供了一种人脸识别对抗样本的生成方法，包括如下步骤：
步骤101、对第一图像和第二图像进行预处理，并生成多张备选攻击掩膜图像，其中，第一图像和第二图像均包含人脸区域；
步骤102、使用每张备选攻击掩膜图像与第二图像，对第一图像进行K次迭代修改攻击，计算K次迭代修改攻击后得到的修改图像与第二图像的相似度得分，根据多张备选攻击掩膜图像对应的相似度得分，生成最终攻击掩膜图像，其中，备选攻击掩膜图像和最终攻击掩膜图像均用于指定对第一图像进行迭代修改攻击时的修改区域，不同备选攻击掩膜图像指定的修改区域不同；
步骤103、使用最终攻击掩膜图像与第二图像，对第一图像进行M次迭代修改攻击，得到人脸识别对抗样本，其中，M、K均为大于1的正整数，且M＞K。
本公开实施例提供的人脸识别对抗样本的生成方法，通过生成多张备选攻击掩膜图像，使用每张备选攻击掩膜图像与第二图像，对第一图像进行K次迭代修改攻击，计算K次迭代修改攻击后得到的修改图像与第二图像的相似度得分；根据多张备选攻击掩膜图像对应的相似度得分，生成最终攻击掩膜图像；使用最终攻击掩膜图像与第二图像，对第一图像进行M次迭代修改攻击，M＞K＞1，得到人脸识别对抗样本，减少了人脸图像的修改面积，降低了修改前后的视觉差异，实现了尽可能少地修改人脸图像并使之能够“欺骗”过人脸识别系统，一方面可以防止人脸滥用，另一方面可以帮助深度神经网络模型提高鲁棒性。
在一些示例性实施方式中，步骤101中对第一图像和第二图像进行预处理，包括：
使用人脸检测模型，分别提取第一图像和第二图像中的人脸区域；
使用人脸关键点检测模型，分别提取第一图像和第二图像中的人脸关键点；
对提取的第一图像和第二图像中的人脸关键点进行仿射变换，得到对齐后的第一图像和第二图像，对齐后的第一图像和第二图像均为人脸图像；
将对齐后的第一图像和第二人脸图像调整至预设尺寸。
本公开实施例中，对图像进行预处理，包括如下操作：通过人脸检测模型在图像中准确标定出人脸的位置和大小；通过人脸关键点检测模型得到人脸的关键点坐标；根据人脸的关键点坐标调整人脸的角度，使人脸对齐；将对齐后的人脸图像调整至预设尺寸。示例性的，预设尺寸可以为112像素*112像素。
在一些示例性实施方式中，步骤101中生成多张备选攻击掩膜图像，包括：
根据预处理后的图像尺寸，设置起始位置坐标、窗口尺寸、步长大小与终止位置坐标，其中，起始位置坐标包括沿第一方向的横向起始位置坐标与沿第二方向的纵向起始位置坐标，终止位置坐标包括沿第一方向的横向终止位置坐标与沿第二方向的纵向终止位置坐标，步长包括沿第一方向的横向步长和沿第二方向的纵向步长，第一方向与第二方向交叉；
依据设置的起始位置坐标、窗口尺寸、步长大小与终止位置坐标，生成多张备选攻击掩膜图像，其中，多张备选攻击掩膜图像包括a*b张，a＝(横向终止位置坐标-横向起始位置坐标)/横向步长，b＝(纵向终止位置坐标-纵向起始位置坐标)/纵向步长，每张备选攻击掩膜图像指定的修改区域的尺寸等于窗口尺寸。
在一些示例性实施方式中，第一方向与第二方向可以相互垂直。
在一些示例性实施方式中，窗口形状可以为矩形形状，窗口尺寸可以包括沿第一方向的窗口宽度和沿第二方向的窗口高度。
在一些示例性实施方式中，起始位置坐标为[startx，starty]，其中，横向起始位置坐标为startx，纵向起始位置坐标为starty，窗口尺寸为[winw，winh]，其中，窗口宽度为winw，窗口高度为winh，横向步长为stepx，纵向步长为stepy，终止位置坐标为[endx，endy]，其中，横向终止位置坐标为endx，纵向终止位置坐标为endy，则a＝(endx-startx)/stepx，b＝(endy-starty)/stepy，第一张备选攻击掩膜图像指定的修改区域为从[startx，starty]到[startx+winw，starty+winh]的矩形区域，第二张备选攻击掩膜图像指定的修改区域为从[startx+stepx，starty]到[startx+stepx+winw，starty+winh]的矩形区域，……，第a张备选攻击掩膜图像指定的修改区域为从[endx，starty]到[endx+winw，starty+winh]的矩形区域，第a+1张备选攻击掩膜图像指定的修改区域为从[startx，starty+stepy]到[startx+winw，starty+stepy+winh]的矩形区域，……，第a*b张备选攻击掩膜图像指定的修改区域为从[endx，endy]到[endx+winw，endy+winh]的矩形区域。每张备选攻击掩膜图像指定的修改区域尺寸均为winw*winh，但是，不同备选攻击掩膜图像指定的修改区域不同。
示例性的，取startx＝20，starty＝20，winw＝13，winh＝10，stepx＝8，stepy＝5，endx＝92，endy＝95，所产生的多张备选攻击掩膜图像如图2所示。每张备选攻击掩膜图像中，左上位置的坐标为该备选攻击掩膜图像所指定区域的起始位置坐标(即黑色矩形块的左上角顶点坐标)，右下位置的坐标为该备选攻击掩膜图像所指定区域的终止位置坐标(即黑色矩形块的右下角顶点坐标)，每张备选攻击掩膜图像指定的修改区域尺寸均为13像素*10像素。每行包括(92-20)/8＝9张备选攻击掩膜图像，每列包括(95-20)/5＝15张备选攻击掩膜图像，因此，一共产生了9×15＝135张备选攻击掩膜图像。
在一些示例性实施方式中，第一图像和第二图像可以为属于同一身份的不同图像。此时，人脸识别对抗攻击的目标在于：修改第一图像使它与同一身份下的其他人脸图像(即第二图像)经过人脸识别模型提取到的人脸特性向量的相似度得分尽可能低。
在一些示例性实施方式中，当第一图像和第二图像为属于同一身份的不同图像时，如图3所示，步骤102或步骤103中对第一图像进行一次迭代修改攻击，包括如下步骤：
将第一图像或修改后的第一图像与第二图像分别输入人脸识别模型，得到第一图像对应的第一人脸特征向量与第二图像对应的第二人脸特征向量，计算第一人脸特征向量与第二人脸特征向量之间的损失函数的值并进行反向传播，对第一图像进行修改以使第一人脸特征向量与第二人脸特征向量之间的损失函数的值上升，修改区域为备选攻击掩膜图像或最终攻击掩膜图像指定的修改区域，该人脸识别模型的损失函数为-1*第一人脸特征向量与第二人脸特征向量之间的损失函数。
本公开实施例中，在步骤102中对第一图像进行K次迭代修改攻击时，修改区域为本次迭代修改攻击使用的备选攻击掩膜图像指定的修改区域；在步骤103中对第一图像进行M次迭代修改攻击时，修改区域为最终攻击掩膜图像指定的修改区域。在K次迭代修改攻击或M次迭代修改攻击中的第一次修改攻击时，将第一图像与第二图像分别输入人脸识别模型，得到第一图像对应的第一人脸特征向量与第二图像对应的第二人脸特征向量；在K次迭代修改攻击或M次迭代修改攻击中的非第一次修改攻击时，将前一次修改攻击修改后的第一图像与第二图像分别输入人脸识别模型，得到第一图像对应的第一人脸特征向量与第二图像对应的第二人脸特征向量。
本公开实施例中，人脸识别模型可以包括一个或多个，当人脸识别模型包括多个且第一图像和第二图像为属于同一身份的不同图像时，步骤102或步骤103中对第一图像进行一次迭代修改攻击，包括如下步骤：将第一图像或修改后的第一图像与第二图像分别输入每个人脸识别模型，得到每个人脸识别模型对应的第一人脸特征向量与第二人脸特征向量，计算每个人脸识别模型对应的第一人脸特征向量与第二人脸特征向量之间的损失函数的值，将多个人脸识别模型对应的损失函数的值进行加权平均并反向传播，对第一图像进行修改以使加权平均后的损失函数的值上升，修改区域为备选攻击掩膜图像或最终攻击掩膜图像指定的修改区域。
在一些示例性实施方式中，第一人脸特征向量与第二人脸特征向量之间的损失函数可以通过均方损失函数(Mean Squared Error，MSE)进行计算。
在一些示例性实施方式中，当第一图像和第二图像为属于同一身份的不同图像时，步骤103中根据多张备选攻击掩膜图像对应的相似度得分，生成最终攻击掩膜图像，包括：
将多张备选攻击掩膜图像对应的相似度得分进行排序；
选择相似度得分排序在前的N个备选攻击掩膜图像；
将排序在前的N个备选攻击掩膜图像指定的修改区域合成得到最终攻击掩膜图像指定的修改区域。
在另一些示例性实施方式中，第一图像和第二图像可以为属于不同身份的不同图像。此时，人脸识别对抗攻击的目标在于：修改第一图像使它与不同身份下的其他人脸图像(即第二图像)经过人脸识别模型提取到的人脸特性向量的相似度得分尽可能高。
在一些示例性实施方式中，当第一图像和第二图像为属于不同身份的不同图像时，如图3所示，步骤102或步骤103中对第一图像进行一次迭代修改攻击，包括：
将第一图像或修改后的第一图像与第二图像分别输入人脸识别模型，得到第一图像对应的第一人脸特征向量与第二图像对应的第二人脸特征向量，计算第一人脸特征向量与第二人脸特征向量之间的损失函数的值并进行反向传播，对第一图像进行修改以使第一人脸特征向量与第二人脸特征向量之间的损失函数的值下降，修改区域为备选攻击掩膜图像或最终攻击掩膜图像指定的修改区域，该人脸识别模型的损失函数为第一人脸特征向量与第二人脸特征向量之间的损失函数。
本公开实施例中，人脸识别模型可以包括一个或多个，当人脸识别模型包括多个且第一图像和第二图像为属于不同身份的不同图像时，步骤102或步骤103中对第一图像进行一次迭代修改攻击，包括：将第一图像或修改后的第一图像与第二图像分别输入每个人脸识别模型，得到每个人脸识别模型对应的第一人脸特征向量与第二人脸特征向量，计算每个人脸识别模型对应的第一人脸特征向量与第二人脸特征向量之间的损失函数的值，将多个人脸识别模型对应的损失函数的值进行加权平均并反向传播，对第一图像进行修改以使加权平均后的损失函数的值下降，修改区域为备选攻击掩膜图像或最终攻击掩膜图像指定的修改区域。
在一些示例性实施方式中，当第一图像和第二图像为属于不同身份的不同图像时，步骤103中根据多张备选攻击掩膜图像对应的相似度得分，生成最终攻击掩膜图像，包括：
将多张备选攻击掩膜图像对应的相似度得分进行排序；
选择相似度得分排序在后的N个备选攻击掩膜图像；
将排序在后的N个备选攻击掩膜图像指定的修改区域合成得到最终攻击掩膜图像指定的修改区域。
在一些示例性实施方式中，N可以取3到8之间。示例性的，N可以为5或6。
在一些示例性实施方式中，如图4所示，该方法还可以包括：
检测最终攻击掩膜图像指定的修改区域是否包括一个或多个阶梯形状区域；
当包括一个或多个阶梯形状区域时，将每个阶梯形状区域划分为多个矩形区域。
本公开实施例提供的人脸识别对抗样本的生成方法，通过对最终攻击掩膜图像指定的修改区域进行校正处理(即划分为多个矩形区域)，进一步减小了对原始图像的修改面积，降低了修改前后的视觉差异。
在一些示例性实施方式中，M在120到180之间，K在20到40之间。示例性的，M为150，K为30。
在一些示例性实施方式中，如图5所示，本公开实施例提供的人脸识别对抗样本的生成方法，包括如下步骤：
1)对于一幅给定的人脸图像，记为P1，假设它的身份为I1。使用人脸检测模型将P1中的人脸区域截取出来；使用人脸关键点检测模型提取关键点后，利用仿射变换将截取到的人脸区域校正为预设尺寸(示例性的，112像素*112像素)的标准图像。
一般的对于人脸识别模型的攻击可以分为两种，第一种是修改P1使它与同一身份下的其他人脸图像经过模型提取到的特征向量的相似度得分尽可能低；第二种是修改P1使它与不同身份下的其他人脸图像经过模型提取到的特征向量的相似度得分尽可能高。
以第一种攻击类型为例，给定另一幅人脸图像，记为P2，假设它的身份为I1，与P1相同。使用人脸检测模型将P2中的人脸区域截取出来；使用人脸关键点检测模型提取关键点后，利用仿射变换将截取到的人脸区域校正为预设尺寸(示例性的，112像素*112像素)的标准图像。
以第二种攻击类型为例，给定另一幅人脸图像，记为P3，假设它的身份为I2，与P1不同。使用人脸检测模型将P3中的人脸区域截取出来；使用人脸关键点检测模型提取关键点后，利用仿射变换将截取到的人脸区域校正为预设尺寸(示例性的，112像素*112像素)的标准图像。
2)从[startx，starty]位置开始，以[winw，winh]为窗口尺寸，[stepx，stepy]为步长，以[endx，endy]为终止滑动位置来移动检索块，生成多张备选攻击掩膜图像。
示例性的，取startx＝20，starty＝20，winw＝13，winh＝10，stepx＝8，stepy＝5，endx＝92，endy＝95，所生成的多张备选攻击掩膜图像如图2所示。每张备选攻击掩膜图像中，左上位置的坐标为该备选攻击掩膜图像所指定区域的起始位置坐标(即黑色矩形块的左上角顶点坐标)，右下位置的坐标为该备选攻击掩膜图像所指定区域的终止位置坐标(即黑色矩形块的右下角顶点坐标)。每行包括(92-20)/8＝9张备选攻击掩膜图像，每列包括(95-20)/5＝15张备选攻击掩膜图像，因此，一共产生9×15＝135张备选攻击掩膜图像。
3)使用每张备选攻击掩膜图像，对P1图像进行K次迭代修改攻击，根据K次迭代修改攻击后得到的结果，确定P1图像中较易攻击成功的区域。
以第一种攻击类型为例，如图3所示，此时，第一图像为P1，第二图像为P2，将P1和P2两幅图像输入人脸识别模型分别提取到人脸特征向量后计算提取到的人脸特征向量之间的MSE Loss，固定模型的参数不变，通过反向传播对P1图像进行修改使MSE Loss不断上升，其中对P1图像的修改区域为备选攻击掩膜图像所指定的修改区域。采用梯度下降法进行迭代，损失函数为-1*MSE Loss，这样进行梯度下降的时候可以令MSE Loss上升，一次梯度下降即为完成一次迭代。对于步骤2)中所产生的每张备选攻击掩膜图像，都利用所述流程进行K次迭代(示例性的，K＝30)。计算每张备选攻击掩膜图像所对应的最终修改图像和P2图像的相似度，选择其中相似度得分较低的N个备选攻击掩膜图像(示例性的，N可以取5个或6个)，该N个备选攻击掩膜图像所对应的区域即为前N个较易攻击成功的区域。
以第二种攻击类型为例，如图3所示，此时，第一图像为P1，第二图像为P3，将P1和P3两幅图像输入人脸识别模型分别提取到人脸特征向量后计算提取到的人脸特征向量之间的MSE Loss，固定模型的参数不变，通过反向传播对P1图像进行修改使MSE Loss不断下降，其中对P1图像的修改区域为备选攻击掩膜图像所指定的修改区域。采用梯度下降法进行迭代，损失函数为MSE Loss，这样进行梯度下降的时候可以令MSE Loss下降，一次梯度下降即为完成一次迭代。对于步骤2)中所产生的每张备选攻击掩膜图像，都利用所述流程进行K次迭代(示例性的，K＝30)。计算每张备选攻击掩膜图像所对应的最终修改图像和P3图像的相似度，选择其中相似度得分较高的N个备选攻击掩膜图像(示例性的，N可以取5个或6个)，它们所对应的区域即为前N个较易攻击成功的区域。
得到前N个较易攻击成功的区域后，将这些区域合并起来生成一个最终攻击掩膜图像。由于在生成备选攻击掩膜图像时所使用的滑窗之间存在重叠关系，直接生成的最终攻击掩膜图像有可能存在阶梯的形状，影响最终生成的攻击图像的视觉效果。为了进一步缩小修改区域的面积，本公开实施例沿水平方向对生成的掩膜进行逐像素扫描，发现水平方向上相邻两个像素之间，在垂直方向上的掩膜高度不相同时，在该位置上对掩膜区域进行切断，从而获得最终的攻击掩膜图像，如图4所示的校正后的攻击掩膜图像。
4)获取到最终的攻击掩膜图像之后，采用类似步骤3)中所述的迭代修改攻击流程对原始人脸图像P1进行M次迭代修改攻击(示例性的，M＝150)，生成最终的人脸攻击图像(即人脸识别对抗样本)。
本公开实施例通过快速梯度算法(Fast Gradient Sign Attack，FGSM)修改原始人脸图像，FGSM在白盒环境下，通过求出模型对输入数据的导数，用函数求得其梯度方向，再乘以步长，得到的就是其扰动量，将这个扰动量加在原来的输入上，就得到了在FGSM攻击下的人脸识别对抗样本，该人脸识别对抗样本很大概率上可以使模型分类错误，以达到攻击的目的。
以第二种攻击类型为例，最终的攻击效果如图6所示，其中，图6左侧图像为原始图像，中间图像为修改后的图像，即生成的人脸识别对抗样本，右侧图像为身份不同的混淆图像。修改后的图像与原始图像的视觉差异不明显，且与身份不同的混淆图像在人脸识别模型中，相似度得分可以达到0.3以上。
本公开实施例提供了一种人脸识别对抗样本的生成方法，通过使用滑窗对整幅人脸图像进行分块检索，找到整幅人脸图像中较易攻击成功的区域，进而产生最优的攻击掩膜图像，根据最优的攻击掩膜图像生成最终的攻击图像(即人脸识别对抗样本)，在改动很少面积的前提下，使人脸图像能够“欺骗”过识别系统，从而有效防止上传到云端的人脸图像被滥用。
本公开实施例还提供了一种人脸识别对抗样本的生成装置，包括存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如本公开任一实施例所述的人脸识别对抗样本的生成方法的步骤。
如图7所示，在一个示例中，该人脸识别对抗样本的生成装置可包括：处理器710、存储器720和总线系统730，其中，处理器710和存储器720通过总线系统730相连，存储器720用于存储指令，处理器710用于执行存储器720存储的指令，以对第一图像和第二图像进行预处理，并生成多张备选攻击掩膜图像，其中，所述第一图像和第二图像均包含人脸区域；使用每张所述备选攻击掩膜图像与第二图像，对所述第一图像进行K次迭代修改攻击，计算K次迭代修改攻击后得到的修改图像与所述第二图像的相似度得分，根据多张备选攻击掩膜图像对应的相似度得分，生成最终攻击掩膜图像，其中，所述备选攻击掩膜图像和所述最终攻击掩膜图像均用于指定对所述第一图像进行迭代修改攻击时的修改区域，不同所述备选攻击掩膜图像指定的修改区域不同；使用所述最终攻击掩膜图像与第二图像，对所述第一图像进行M次迭代修改攻击，得到人脸识别对抗样本，其中，M、K均为大于1的正整数，且M＞K。
应理解，处理器710可以是中央处理单元(Central Processing Unit，CPU)，处理器710还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器720可以包括只读存储器和随机存取存储器，并向处理器710提供指令和数据。存储器720的一部分还可以包括非易失性随机存取存储器。例如，存储器720还可以存储设备类型的信息。
总线系统730除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图7中将各种总线都标为总线系统730。
在实现过程中，处理设备所执行的处理可以通过处理器710中的硬件的集成逻辑电路或者软件形式的指令完成。即本公开实施例的方法步骤可以体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等存储介质中。该存储介质位于存储器720，处理器710读取存储器720中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本公开实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任一实施例所述的人脸识别对抗样本的生成方法。
在一些可能的实施方式中，本申请提供的人脸识别对抗样本的生成方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的人脸识别对抗样本的生成方法中的步骤，例如，所述计算机设备可以执行本申请实施例所记载的人脸识别对抗样本的生成方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开中的附图只涉及本公开涉及到的结构，其他结构可参考通常设计。在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
本领域的普通技术人员应当理解，可以对本公开的技术方案进行修改或者等同替换，而不脱离本公开技术方案的精神和范围，均应涵盖在本公开的权利要求的范围当中。

Claims (13)

1.一种人脸识别对抗样本的生成方法，其特征在于，包括：
对第一图像和第二图像进行预处理，并生成多张备选攻击掩膜图像，其中，所述第一图像和第二图像均包含人脸区域；
使用每张所述备选攻击掩膜图像与第二图像，对所述第一图像进行K次迭代修改攻击，计算K次迭代修改攻击后得到的修改图像与所述第二图像的相似度得分，根据多张所述备选攻击掩膜图像对应的相似度得分，生成最终攻击掩膜图像，其中，所述备选攻击掩膜图像和所述最终攻击掩膜图像均用于指定对所述第一图像进行迭代修改攻击时的修改区域，不同所述备选攻击掩膜图像指定的修改区域不同；
使用所述最终攻击掩膜图像与第二图像，对所述第一图像进行M次迭代修改攻击，得到人脸识别对抗样本，其中，M、K均为大于1的正整数，且M＞K。
2.根据权利要求1所述的生成方法，其特征在于，所述第一图像和第二图像为属于同一身份的不同图像。
3.根据权利要求2所述的生成方法，其特征在于，对所述第一图像进行一次迭代修改攻击，包括：
将所述第一图像或修改后的所述第一图像与所述第二图像分别输入人脸识别模型，得到所述第一图像对应的第一人脸特征向量与所述第二图像对应的第二人脸特征向量，计算所述第一人脸特征向量与第二人脸特征向量之间的损失函数的值并进行反向传播，对所述第一图像进行修改以使所述第一人脸特征向量与第二人脸特征向量之间的损失函数的值上升，修改区域为所述备选攻击掩膜图像或所述最终攻击掩膜图像指定的修改区域，所述人脸识别模型的损失函数为-1*所述第一人脸特征向量与所述第二人脸特征向量之间的损失函数。
4.根据权利要求2所述的生成方法，其特征在于，所述根据多张所述备选攻击掩膜图像对应的相似度得分，生成最终攻击掩膜图像，包括：
将多张所述备选攻击掩膜图像对应的相似度得分进行排序；
选择相似度得分排序在前的N个所述备选攻击掩膜图像；
将所述排序在前的N个所述备选攻击掩膜图像指定的修改区域合成得到所述最终攻击掩膜图像指定的修改区域。
5.根据权利要求1所述的生成方法，其特征在于，所述第一图像和第二图像为属于不同身份的不同图像。
6.根据权利要求5所述的生成方法，其特征在于，对所述第一图像进行一次迭代修改攻击，包括：
将所述第一图像或修改后的所述第一图像与所述第二图像分别输入人脸识别模型，得到所述第一图像对应的第一人脸特征向量与所述第二图像对应的第二人脸特征向量，计算所述第一人脸特征向量与第二人脸特征向量之间的损失函数的值并进行反向传播，对所述第一图像进行修改以使所述第一人脸特征向量与第二人脸特征向量之间的损失函数的值下降，修改区域为所述备选攻击掩膜图像或最终攻击掩膜图像指定的修改区域，所述人脸识别模型的损失函数为所述第一人脸特征向量与所述第二人脸特征向量之间的损失函数。
7.根据权利要求5所述的生成方法，其特征在于，所述根据多张所述备选攻击掩膜图像对应的相似度得分，生成最终攻击掩膜图像，包括：
将多张所述备选攻击掩膜图像对应的相似度得分进行排序；
选择相似度得分排序在后的N个所述备选攻击掩膜图像；
将所述排序在后的N个所述备选攻击掩膜图像指定的修改区域合成得到所述最终攻击掩膜图像指定的修改区域。
8.根据权利要求1所述的生成方法，其特征在于，所述方法还包括：
检测所述最终攻击掩膜图像指定的修改区域是否包括一个或多个阶梯形状区域；
当包括一个或多个所述阶梯形状区域时，将每个所述阶梯形状区域划分为多个矩形区域。
9.根据权利要求1所述的生成方法，其特征在于，所述生成多张备选攻击掩膜图像，包括：
根据预处理后的图像尺寸，设置起始位置坐标、窗口尺寸、步长大小与终止位置坐标，其中，起始位置坐标包括沿第一方向的横向起始位置坐标与沿第二方向的纵向起始位置坐标，终止位置坐标包括沿第一方向的横向终止位置坐标与沿第二方向的纵向终止位置坐标，步长包括沿第一方向的横向步长和沿第二方向的纵向步长，第一方向与第二方向交叉；
依据设置的起始位置坐标、窗口尺寸、横向步长、纵向步长与终止位置坐标，生成多张备选攻击掩膜图像，其中，所述多张备选攻击掩膜图像包括a*b张，a＝(横向终止位置坐标-横向起始位置坐标)/横向步长，b＝(纵向终止位置坐标-纵向起始位置坐标)/纵向步长，每张所述备选攻击掩膜图像指定的修改区域的尺寸等于所述窗口尺寸。
10.根据权利要求1所述的生成方法，其特征在于，所述对第一图像和第二图像进行预处理，包括：
使用人脸检测模型，分别提取所述第一图像和第二图像中的人脸区域；
使用人脸关键点检测模型，分别提取所述第一图像和第二图像中的人脸关键点；
对提取的所述第一图像和第二图像中的人脸关键点进行仿射变换，得到对齐后的第一图像和第二图像，对齐后的所述第一图像和第二图像均为人脸图像；
将对齐后的第一图像和第二图像调整至预设尺寸。
11.根据权利要求1所述的生成方法，其特征在于，M在120到180之间，K在20到40之间。
12.一种人脸识别对抗样本的生成装置，其特征在于，包括存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至11中任一项所述的人脸识别对抗样本的生成方法的步骤。
13.一种存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1至11中任一项所述的人脸识别对抗样本的生成方法。
CN202211013503.3A 2022-08-23 2022-08-23 人脸识别对抗样本的生成方法及装置、存储介质 Pending CN115995104A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211013503.3A CN115995104A (zh) 2022-08-23 2022-08-23 人脸识别对抗样本的生成方法及装置、存储介质
PCT/CN2023/111034 WO2024041346A1 (zh) 2022-08-23 2023-08-03 人脸识别对抗样本的生成方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211013503.3A CN115995104A (zh) 2022-08-23 2022-08-23 人脸识别对抗样本的生成方法及装置、存储介质

Publications (1)

Publication Number Publication Date
CN115995104A true CN115995104A (zh) 2023-04-21

Family

ID=85990948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211013503.3A Pending CN115995104A (zh) 2022-08-23 2022-08-23 人脸识别对抗样本的生成方法及装置、存储介质

Country Status (2)

Country Link
CN (1) CN115995104A (zh)
WO (1) WO2024041346A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041346A1 (zh) * 2022-08-23 2024-02-29 京东方科技集团股份有限公司 人脸识别对抗样本的生成方法及装置、存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135640B (zh) * 2024-05-06 2024-07-05 南京信息工程大学 基于隐性噪声的对抗人脸图像攻击防御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418432B2 (en) * 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
CN111444516B (zh) * 2020-03-23 2023-03-24 华南理工大学 一种基于敏感度的深度强化学习智能体攻击方法
CN111626925B (zh) * 2020-07-24 2020-12-01 支付宝(杭州)信息技术有限公司 一种对抗补丁的生成方法及装置
CN112287973A (zh) * 2020-09-28 2021-01-29 北京航空航天大学 基于截尾奇异值和像素插值的数字图像对抗样本防御方法
CN114297730B (zh) * 2021-12-31 2023-04-07 北京瑞莱智慧科技有限公司 对抗图像生成方法、装置及存储介质
CN115995104A (zh) * 2022-08-23 2023-04-21 京东方科技集团股份有限公司 人脸识别对抗样本的生成方法及装置、存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041346A1 (zh) * 2022-08-23 2024-02-29 京东方科技集团股份有限公司 人脸识别对抗样本的生成方法及装置、存储介质

Also Published As

Publication number Publication date
WO2024041346A1 (zh) 2024-02-29

Similar Documents

Publication Publication Date Title
CN115995104A (zh) 人脸识别对抗样本的生成方法及装置、存储介质
CN112488064B (zh) 一种人脸追踪方法、系统、终端及存储介质
US10817717B2 (en) Method and device for parsing table in document image
CN108121986B (zh) 目标检测方法及装置、计算机装置和计算机可读存储介质
CN108960229B (zh) 一种面向多方向的文字检测方法和装置
CN112668483B (zh) 一种融合行人重识别和人脸检测的单目标人物跟踪方法
US8311291B2 (en) Face image detecting device, face image detecting method, and face image detecting program
US11748890B2 (en) Instance segmentation method and system for enhanced image, and device and medium
EP3388978A1 (en) Image classification method, electronic device, and storage medium
US10262229B1 (en) Wide-area salient object detection architecture for low power hardware platforms
CN104952083B (zh) 一种基于显著性目标背景建模的视频显著性检测方法
US11361190B2 (en) Deep learning model used for image recognition and training apparatus of the model and method thereof
JP2019117577A (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN110378837A (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN109711384A (zh) 一种基于深度卷积神经网络的人脸识别方法
CN112926564B (zh) 图片分析方法、系统、计算机设备和计算机可读存储介质
Winarno et al. Multi-view faces detection using Viola-Jones method
CN113435264A (zh) 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置
CN106295620A (zh) 发型识别方法及发型识别装置
CN116883916A (zh) 一种基于深度学习的会议异常行为检测方法及系统
CN111898408A (zh) 一种快速人脸识别方法及装置
CN111291754A (zh) 一种文本级联检测方法、装置及存储介质
CN115497097A (zh) 一种倾斜汉字点选验证码识别方法
CN115511910A (zh) 面向视频跟踪的对抗攻击方法、系统、介质、设备及终端
Naz et al. Challenges in baseline detection of cursive script languages

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination