CN111738217A - 生成人脸对抗补丁的方法和装置 - Google Patents

生成人脸对抗补丁的方法和装置 Download PDF

Info

Publication number
CN111738217A
CN111738217A CN202010725497.9A CN202010725497A CN111738217A CN 111738217 A CN111738217 A CN 111738217A CN 202010725497 A CN202010725497 A CN 202010725497A CN 111738217 A CN111738217 A CN 111738217A
Authority
CN
China
Prior art keywords
patch
image
similarity
countermeasure
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010725497.9A
Other languages
English (en)
Other versions
CN111738217B (zh
Inventor
傅驰林
张晓露
周俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010725497.9A priority Critical patent/CN111738217B/zh
Publication of CN111738217A publication Critical patent/CN111738217A/zh
Application granted granted Critical
Publication of CN111738217B publication Critical patent/CN111738217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种生成人脸对抗补丁的方法和装置。在该方法中，首先获取初始对抗补丁，然后获取不包含攻击者人脸图像的人脸图像集。接着，分别利用人脸图像集中的各张人脸图像，对初始对抗补丁进行第一轮优化，得到第一对抗补丁；其中第一轮优化使得，叠加有补丁的各张人脸图像与目标人脸图像之间的相似度增加。接着，在第一对抗补丁的基础上，对补丁进行第二轮优化，使得叠加补丁的攻击者图像与目标人脸图像之间的相似度增加，且与攻击者自身图像之间的相似度降低。

Description

生成人脸对抗补丁的方法和装置
技术领域
本说明书一个或多个实施例涉及机器学习领域，尤其涉及用于对抗训练人脸识别模型的对抗补丁的生成方法和装置。
背景技术
随着人脸识别模型的大规模应用，针对模型的攻击层出不穷，需要及时跟进研究，发现潜在的攻击手段，将危险防范于未然。众多攻击方法中，对抗样本是一种新型的，攻击性较强的攻击手段。对抗样本可以通过对原人脸图像添加肉眼几乎不可见的扰动，而使得人脸识别模型以高置信度输出一个错误的识别结果。
通过对抗样本对人脸识别模型进行攻击的方式主要有两种，通过全图扰动或对特定区域施加扰动构造对抗补丁来生成对抗样本。在物理世界中，例如使用人脸识别模型的刷脸支付系统、门禁系统等情况下，无法对背景、环境添加扰动，因此往往利用对抗补丁进行攻击。
对抗补丁一般是基于局部扰动而形成的图像区域。例如，对抗补丁可以是针对特定的模型与目标人脸，生成一张可打印的2D图片或3D物体，并通过粘贴、佩戴等方式放置于攻击者面部某区域，以实现被攻击模型将带有对抗补丁的攻击者识别为目标人物。
对抗补丁需要基于攻击者人脸图像和目标人脸图像而生成。在已有的方法中，对抗补丁紧密依赖于攻击者的人脸图像，一旦攻击者采集自身照片质量不佳，生成的对抗补丁在使用时只要位置、光照等有微小变化就显著降低与攻击目标的相似度，鲁棒性较差，很难达到预期的攻击效果。
因此，希望能有改进的方案，可以生成鲁棒性更强、攻击性更强的人脸对抗补丁。利用这样的对抗补丁，可以通过对抗训练方式，更好地鉴别和发现更多潜在攻击，提升人脸识别的安全性。
发明内容
本说明书一个或多个实施例描述了一种生成人脸对抗补丁的方法和装置，可以基于已有补丁进行优化，提高其通用性以及混淆能力，从而生成鲁棒性更强、攻击性更强的人脸对抗补丁。
根据第一方面，提供了一种生成人脸对抗补丁的方法，包括：
获取基于攻击者图像和目标人脸图像，针对目标识别模型而生成的初始对抗补丁；
获取人脸图像集，所述人脸图像集不包含所述攻击者的人脸图像；
在所述初始对抗补丁基础上，分别针对所述人脸图像集中的各张人脸图像，以减小第一损失函数为目标，迭代地对当前对抗补丁进行第一调整，得到针对所述人脸图像集更新的第一对抗补丁；其中，所述第一损失函数与第一相似度负相关，所述第一相似度为，利用所述目标识别模型计算的、叠加有当前对抗补丁的各张人脸图像与所述目标人脸图像之间的相似度；
在所述第一对抗补丁的基础上，以减小第二损失函数为目标，迭代地对当前对抗补丁进行第二调整，得到第二对抗补丁，其中，所述第二损失函数与第二相似度负相关，且与第三相似度正相关，所述第二相似度为，叠加有当前对抗补丁的攻击者图像与所述目标人脸图像之间的相似度，所述第三相似度为，叠加有当前对抗补丁的攻击者图像与原始攻击者图像之间的相似度，所述第二相似度和第三相似度均利用所述目标识别模型计算得到。
在一个实施例中，获取初始对抗补丁的步骤具体包括：在预定图像区域，生成对抗补丁模板；利用所述目标识别模型，分别计算叠加有对抗补丁的所述攻击者图像对应的第一特征向量和所述目标人脸图像对应的第二特征向量，并计算第一特征向量和第二特征向量之间的向量相似度；以增加所述向量相似度为目标，调整所述对抗补丁模板中的图像参数，得到所述初始对抗补丁。
根据一种实施方式，所述获取人脸图像集的步骤具体包括：获取备选人脸图像；利用所述目标识别模型计算所述备选人脸图像与所述攻击者图像之间的相似度；在所述相似度小于预设阈值的情况下，将所述备选人脸图像归入所述人脸图像集。
根据一个实施例，第一损失函数还与第一距离负相关，所述第一距离为所述当前对抗补丁与所述初始对抗补丁之间的距离。
根据一个实施例，上述第一损失函数还包括正则化项，所述正则化项表示所述当前对抗补丁中图像参数的绝对大小。
在一个实施例中，通过以下方式迭代地对当前对抗补丁进行第一调整：在所述第一损失函数减小的方向，确定当前对抗补丁中图像参数的参数梯度；基于所述当前对抗补丁中图像参数的当前参数值，以预设步长叠加所述参数梯度，从而进行所述第一调整。
进一步的，在不同例子中可以采用以下方式之一，确定所述参数梯度：投影梯度下降PGD方式，快速梯度符号法FGSM，动量迭代IM-FGSM。
在一个实施例中，上述第二损失函数包括第一损失项，所述第一损失项为所述第三相似度减去预定相似度阈值得到的差值与0之中的较大者。
根据一种实施方式，所述方法还包括：将所述第二对抗补丁叠加在所述攻击者图像上，生成第一对抗样本。
进一步的，在一个实施例中，方法还包括：利用所述第一对抗样本，训练判别器，所述判别器用于判别输入的人脸图像是否包含对抗补丁。
根据第二方面，提供了一种生成人脸对抗补丁的装置，包括：
初始补丁获取单元，配置为获取基于攻击者图像和目标人脸图像，针对目标识别模型而生成的初始对抗补丁；
人脸集获取单元，配置为获取人脸图像集，所述人脸图像集不包含所述攻击者的人脸图像；
第一优化单元，配置为在所述初始对抗补丁基础上，分别针对所述人脸图像集中的各张人脸图像，以减小第一损失函数为目标，迭代地对当前对抗补丁进行第一调整，得到针对所述人脸图像集更新的第一对抗补丁；其中，所述第一损失函数与第一相似度和第一距离负相关，所述第一相似度为，利用所述目标识别模型计算的、叠加有当前对抗补丁的各张人脸图像与所述目标人脸图像之间的相似度，所述第一距离为所述当前对抗补丁与所述初始对抗补丁之间的距离；
第二优化单元，配置为在所述第一对抗补丁的基础上，以减小第二损失函数为目标，迭代地对当前对抗补丁进行第二调整，得到第二对抗补丁，其中，所述第二损失函数与第二相似度负相关，且与第三相似度正相关，所述第二相似度为，叠加有当前对抗补丁的攻击者图像与所述目标人脸图像之间的相似度，所述第三相似度为，叠加有当前对抗补丁的攻击者图像与原始攻击者图像之间的相似度，所述第二相似度和第三相似度均利用所述目标识别模型计算得到。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
根据本说明书实施例提供的对抗补丁生成方式，对常规方式生成的初始对抗补丁进行两轮优化。在第一轮优化中，通过不包含攻击者图像的人脸图像集提升对抗补丁的通用性；在第二轮优化中，基于攻击者图像进一步提升对抗补丁的混淆能力。如此得到鲁棒性更强、攻击性更强的人脸对抗补丁。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施过程示意图；
图2示出根据一个实施例的生成人脸对抗补丁的方法流程图；
图3示出在一个实施例中生成初始对抗补丁的示意图；
图4示出在一个实施例中调整得到第一对抗补丁的示意图；
图5示出在一个实施例中调整得到第二对抗补丁的示意图；
图6示出根据一个实施例的生成人脸对抗补丁的装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施过程示意图。如图1所示，人脸对抗补丁的生成，至少基于攻击者图像S，目标人脸图像T，目标识别模型。
攻击者图像S，是攻击者本人的人脸照片图像。目标人脸图像T，是攻击者所要伪装或者攻击的目标人物的人脸照片图像。目标识别模型，是攻击所针对的人脸识别模型，该模型可以通过多种方式实现。典型的，人脸识别模型可以以卷积神经网络CNN作为基础网络，通过多种算法实现。一般来说，人脸识别模型在进行识别的过程中，都会基于输入的人脸图像进行特征提取，得到一个特征向量，或称为嵌入向量embedding，来表征输入图像的总体特征。然后，基于该特征向量，来确定输入的人脸图像对应于哪个身份。因此，简单清楚起见，在本文中，将目标识别模型表示为函数f（x），该函数示出基于输入人脸图像提取出特征向量的算法过程。
当对攻击者图像S添加扰动，使得目标识别模型f（x）针对图像S计算出的特征向量，与针对目标人脸图像T计算出的特征向量非常相似时，则认为，针对目标人脸的攻击成功。当上述扰动都集中在图像上预定区域时，则体现为对抗补丁。
为了针对目标人脸图像生成更有攻击力，更具鲁棒性的对抗补丁，如图1所示，在一个实施例中，首先可以按照常规方式，基于攻击者图像S，目标人脸图像T，针对目标识别模型f（x），生成初始补丁r0，然后，对该初始补丁r0进行优化。
在优化过程中，可以构造一个人脸图像集A，该人脸图像集A不包括攻击者的人脸图像。然后，利用该人脸图像集A中的各张人脸图像，对初始补丁r0进行迭代优化，优化的方向是使得叠加补丁后的各张人脸图像，经由目标识别模型所得出的特征向量，都更加接近于目标人脸图像T。如此，使得对抗补丁更好地捕捉目标人脸图像T的抽象特征，具有更强的通用性。将如此优化后的对抗补丁记为通用补丁r1。
接着，再利用攻击者图像S，和目标人脸图像T，对上述通用补丁r1进行进一步优化，优化的方向是使得，叠加补丁后的攻击者图像，经由目标识别模型所得出的特征向量，不仅更加接近于目标人脸图像T，同时远离原始的攻击者图像本身。如此得到的对抗补丁记为专用补丁r2。
通过在原始补丁r0上进行以上两轮优化，最后得到的专用补丁r2可以更好地体现攻击目标的特征，具有更强的攻击力和鲁棒性。下面具体描述以上构思的实施过程。
图2示出根据一个实施例的生成人脸对抗补丁的方法流程图。可以理解，该方法流程可以由任何具有计算、处理能力的装置、设备、平台、设备集群来执行。下面描述其中各个步骤的具体实施方式。
首先，在步骤21，获取基于攻击者图像S和目标人脸图像T，针对目标识别模型而生成的初始对抗补丁r0。需要说明的是，该初始对抗补丁可以通过各种已有方式生成。
具体的，在一个例子中，可以先在预定图像区域，生成对抗补丁模板。该预定图像区域例如可以是人脸图像中的眼部区域，额头区域，眼睛和鼻子的连线区域，等等。上述对抗补丁模板可以是在上述图像区域中具有随机初始化的图像参数的图像部分。
然后，利用目标识别模型f（x），分别计算叠加有对抗补丁的攻击者图像对应的第一特征向量f1和目标人脸图像对应的第二特征向量f2，并计算第一特征向量f1和第二特征向量f2之间的向量相似度sim(f1,f2)。该向量相似度例如可以是余弦相似度，点乘相似度等。然后，以增加上述向量相似度sim（f1，f2）为目标，反复调整对抗补丁模板中的图像参数，得到初始对抗补丁r0。
图3示出在一个实施例中生成初始对抗补丁的示意图。如图3所示，初始对抗补丁r0基于攻击者图像S和目标人脸图像T，针对目标识别模型f（x）而生成。
在一个实施例中，可以预先实施上述过程。在执行步骤21时，只需读取预先生成的上述初始对抗补丁r0。在另一实施例中，在执行步骤21时，按照各种已有方式生成初始对抗补丁r0。
然后，在步骤22，获取人脸图像集A，其中不包含攻击者的人脸图像。
在一个实施例中，获取多张非攻击者本人的照片图像，构成上述人脸图像集。
在另一实施例中，在获取上述人脸图像集时，还利用目标识别模型，排除掉与攻击者图像S相似的图像（即使是来自不同于攻击者本人的他人照片），使得人脸图像集中各张人脸图像与攻击者图像均不相似。
具体的，可以获取备选的人脸图像，然后，利用目标识别模型f（x）分别计算该备选人脸图像和攻击者图像S各自的特征向量，进而计算得到两者之间的相似度。如果该相似度小于预设阈值，则将该备选人脸图像归入上述人脸图像集A；如果该相似度大于或等于预设阈值，则将该备选人脸图像排除。如此得到的人脸图像集，不仅不包含攻击者图像，还排除掉了与攻击者图像相似的图像，使得人脸图像集与攻击者图像关联性更小，更具有普适性。
于是，接下来，在步骤23，在初始对抗补丁r0基础上，分别根据人脸图像集A中的各张人脸图像x，迭代优化对抗补丁。在迭代优化时，可以根据优化目标设置损失函数，以减小损失函数为目标，调整对抗补丁中的图像参数，以此实现迭代优化。
发明人研究发现，根据已有方式生成初始对抗补丁r0时，由于可调参数较少，该初始对抗补丁r0往往局限于局部最优值，并且紧密依赖于原始的攻击者图像S。为此，在步骤23中，基于普适的人脸图像集A对初始对抗补丁r0进行通用性优化。因此，可以将本轮优化的目标设定为，使得对抗补丁可以一定程度上适用于人脸图像集中的各张人脸图像。进一步的，还希望优化的对抗补丁与初始对抗补丁r0拉开一定距离。
根据上述优化目标，可以设置第一损失函数L1，该第一损失函数L1与第一相似度负相关，其中第一相似度为，利用目标识别模型f（x）计算的、叠加有当前对抗补丁r的各张人脸图像与目标人脸图像T之间的相似度。如此，第一损失函数的减小，就意味着对抗补丁通用性的提升。进一步的，在一个实施例中，还可以使得第一损失函数L1与第一距离负相关，第一距离为当前对抗补丁r与初始对抗补丁r0之间的距离。
具体的，在一个实施例中，上述第一损失函数L1可设置为：
Figure DEST_PATH_IMAGE001
(1)
其中，x表示人脸图像集中任意一张人脸图像，r表示当前对抗补丁，x+r即为叠加有当前对抗补丁的人脸图像。
Figure 159065DEST_PATH_IMAGE002
为经由目标识别模型f（x）计算得到的人脸图像x+r对应的特征向量，
Figure DEST_PATH_IMAGE003
为经由目标识别模型f（x）计算得到的目标人脸图像T对应的特征向量，sim为相似度计算函数。
Figure 922490DEST_PATH_IMAGE004
表示当前对抗补丁r和初始对抗补丁r0之间的图像距离。
更具体的，在一个例子中，上述相似度计算函数sim可以取余弦相似度cos函数，图像距离通过欧式距离（或二阶范数）确定，如此，上述公式（1）可以具体化为：
Figure DEST_PATH_IMAGE005
(2)
其中，ρ为预定系数。
在其他例子中，也可以通过其他方式计算相似度和距离，例如，通过向量点乘计算两个向量的相似度，或计算其欧式距离的反比作为相似度，等等。也可以通过更高阶或更低阶范数计算补丁r和r0之间的距离。
更进一步的，在一个例子中，还在第一损失函数中引入正则化项，该正则化项表示当前对抗补丁r中图像参数的绝对大小。在一个例子中，该正则化项取一阶范数正则化。在这样的情况下，第一损失函数例如可以表示为：
Figure 989804DEST_PATH_IMAGE006
（3）
其中
Figure DEST_PATH_IMAGE007
为一阶范数正则化项，表示当前对抗补丁r中图像参数的一阶范数，β为预设系数。通过在第一损失函数中引入正则化项，为对抗补丁r中图像参数大小施加一定约束，避免出现参数范围过大的情况。
在以上述各种具体形式设置第一损失函数L1的基础上，在步骤23中，以减小上述第一损失函数L1为目标，迭代地对当前对抗补丁r进行调整，以实现补丁优化。
调整对抗补丁r的过程可以采用梯度方式。具体的，可以在第一损失函数减小的方向，确定当前对抗补丁中图像参数的参数梯度；然后，基于当前对抗补丁r中图像参数的当前参数值，以预设步长叠加上述参数梯度，从而进行对抗补丁中图像参数的调整。更具体的，可以采用投影梯度下降PGD方式，快速梯度符号法FGSM，动量迭代MI-FGSM等多种方式，确定出参数梯度，并基于梯度进行参数调整。例如，当采用动量迭代MI-FGSM方式时，第t轮迭代中，更新对抗补丁中图像参数的过程可以表示为：
Figure 492591DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE009
（4）
其中，
Figure 518316DEST_PATH_IMAGE010
表示第t轮的图像参数值（更新前的值），
Figure DEST_PATH_IMAGE011
为第t+1轮的图像参数值（更新后的值），
Figure 972300DEST_PATH_IMAGE012
为动量超参数，
Figure DEST_PATH_IMAGE013
为更新步长，
Figure 277859DEST_PATH_IMAGE014
通过迭代确定，其初始值
Figure DEST_PATH_IMAGE015
，
Figure 618842DEST_PATH_IMAGE016
为根据第一损失函数直接得到的参数梯度值。
根据以上第一损失函数的设置方式，当针对人脸图像集A中的某张人脸图像x，以减小上述第一损失函数L1为目标调整对抗补丁r时，就意味着，调整后使得叠加有对抗补丁的人脸图像x+r与目标人脸图像T相似度更高，从而增加对抗补丁的通用性，且对抗补丁r与初始对抗补丁r0距离增大，这使得对抗补丁可以跳出初始对抗补丁r0所落入的局部最优值，在更大范围内确定出更优值。
如此，在依次基于人脸图像集A中各张人脸图像，对对抗补丁反复多次地进行迭代调整后，可以得到优化的对抗补丁，在此称为第一对抗补丁。可以理解，该第一对抗补丁基于多张不同的人脸图像而优化，因此，可以更好地捕捉和反映目标人脸图像的特点，具有更强的通用性。
图4示出在一个实施例中调整得到第一对抗补丁的示意图。如图4所示，第一对抗补丁r1是根据人脸数据集A，目标人脸图像T和目标识别模型f（x），对初始对抗补丁r0进行优化调整而得到。
接着，对以上得到的第一对抗补丁r1进行进一步优化。即，在步骤24，在第一对抗补丁的基础上，针对攻击者图像，对补丁进行第二轮优化。第二轮优化的目标是，增加对抗补丁的专用性，使其更好地适用于攻击者。为此，可以设置第二损失函数L2，该第二损失函数L2与第二相似度负相关，且与第三相似度正相关，其中第二相似度为，叠加有当前对抗补丁的攻击者图像与目标人脸图像T之间的相似度，而第三相似度为，叠加有当前对抗补丁的攻击者图像与原始攻击者图像之间的相似度。基于这样的设置，在第二轮优化中，以减小第二损失函数为目标，迭代地对当前对抗补丁进行调整，得到进一步优化的第二对抗补丁。
具体的，在一个实施例中，上述第二损失函数L2可设置为：
Figure DEST_PATH_IMAGE017
(5)
其中，s+r表示在攻击者图像S上叠加当前对抗补丁r得到的攻击图像，
Figure 64736DEST_PATH_IMAGE018
表示经由目标识别模型f（x）计算得到的攻击图像s+r对应的特征向量，
Figure DEST_PATH_IMAGE019
表示经由目标识别模型f（x）计算得到的原始攻击者图像对应的特征向量，
Figure 445164DEST_PATH_IMAGE003
表示经由目标识别模型f（x）计算得到的目标人脸图像T对应的特征向量。
Figure 385438DEST_PATH_IMAGE020
对应于上述第二相似度，
Figure DEST_PATH_IMAGE021
对应于上述第三相似度。
更具体的，在一个例子中，上述相似度计算函数sim可以取余弦相似度cos函数，如此，上述公式（5）可以具体化为：
Figure 643244DEST_PATH_IMAGE022
(6)
类似的，在其他例子中，还可以采用其他的相似度计算方式。
在一个实施例中，针对第三相似度设置其下降极限阈值，以避免对第三相似度的过度优化。具体的，可以将与第三相似度相关的损失项设置为，第三相似度减去预定相似度阈值γ得到的差值与0之中的较大者。
在一个例子中，第二损失函数可以表示为：
Figure DEST_PATH_IMAGE023
(7)
公式（7）中，相似度阈值γ为预先设定的超参数，表示第三相似度的下降极限。可以看到，当第三相似度降低至相似度阈值γ以下时，第一损失项恒为0，不再变化。如此，限制了第三相似度的下降极限，避免在补丁优化时过度侧重攻击图像s+r与攻击者自身相似度的降低，而不能满足与目标人脸图像的相似度匹配要求。
在以上述各种具体形式设置第二损失函数L2的基础上，在步骤24中，在第一对抗补丁的基础上，以减小上述第二损失函数L2为目标，迭代地调整对抗补丁，以实现第二轮补丁优化。迭代调整对抗补丁的过程可以采用梯度方式，例如前述PGD方式，FGSM方式，MI-FGSM方式等，在此不再赘述。迭代优化后的对抗补丁称为第二对抗补丁，或如图1所示称为专有补丁。
根据以上第二损失函数的设置方式，当基于攻击者图像S和目标人脸图像T，以减小上述第二损失函数L2为目标调整对抗补丁r时，就意味着，调整后使得在攻击者图像S上叠加对抗补丁r得到的攻击图像s+r与目标人脸图像T相似度更高，且与攻击者自身的原始图像S相似度更低。如此，得到的第二对抗补丁可以更好地专用于攻击者对目标人脸的攻击，具有更强的混淆能力，从而具有更强的攻击力和鲁棒性。
图5示出在一个实施例中调整得到第二对抗补丁的示意图。如图5所示，第二对抗补丁r2是根据攻击者图像S，目标人脸图像T和目标识别模型f（x），在第一对抗补丁r1基础上进行优化调整而得到。
通过以上方式优化得到的第二对抗补丁，可以用于攻击者在基于目标识别模型的系统中，对目标人脸进行攻击。在一个实施例中，可以将以上生成的第二对抗补丁叠加在攻击者图像上，从而生成第一对抗样本。这样的第一对抗样本可以直接用于对目标人脸的攻击。
进一步的，为了防范这样的攻击，在一个实施例中，可以利用以上得到的第一对抗样本，来训练判别器，使得判别器可以判别输入的人脸图像是真实人脸，还是包含对抗补丁的人脸。判别器的训练和对抗样本的生成形成对抗，对抗补丁和对抗样本的攻击性越强，训练得到的判别器判别能力才会越强，才有可能判别出具有更强攻击性的对抗样本。如此，提高人脸识别系统的安全性。
根据另一方面的实施例，提供了一种生成人脸对抗补丁的装置，该装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。图6示出根据一个实施例的生成人脸对抗补丁的装置的示意性框图。如图6所示，该装置600包括：
初始补丁获取单元61，配置为获取基于攻击者图像和目标人脸图像，针对目标识别模型而生成的初始对抗补丁；
人脸集获取单元62，配置为获取人脸图像集，所述人脸图像集不包含所述攻击者的人脸图像；
第一优化单元63，配置为在所述初始对抗补丁基础上，分别针对所述人脸图像集中的各张人脸图像，以减小第一损失函数为目标，迭代地对当前对抗补丁进行第一调整，得到针对所述人脸图像集更新的第一对抗补丁；其中，所述第一损失函数与第一相似度负相关，所述第一相似度为，利用所述目标识别模型计算的、叠加有当前对抗补丁的各张人脸图像与所述目标人脸图像之间的相似度；
第二优化单元64，配置为在所述第一对抗补丁的基础上，以减小第二损失函数为目标，迭代地对当前对抗补丁进行第二调整，得到第二对抗补丁，其中，所述第二损失函数与第二相似度负相关，且与第三相似度正相关，所述第二相似度为，叠加有当前对抗补丁的攻击者图像与所述目标人脸图像之间的相似度，所述第三相似度为，叠加有当前对抗补丁的攻击者图像与原始攻击者图像之间的相似度，所述第二相似度和第三相似度均利用所述目标识别模型计算得到。
在一个实施例中，所述初始补丁获取单元61具体配置为：
在预定图像区域，生成对抗补丁模板；
利用所述目标识别模型，分别计算叠加有对抗补丁的所述攻击者图像对应的第一特征向量和所述目标人脸图像对应的第二特征向量，并计算第一特征向量和第二特征向量之间的向量相似度；
以增加所述向量相似度为目标，调整所述对抗补丁模板中的图像参数，得到所述初始对抗补丁。
根据一种实施方式，所述人脸集获取单元62配置为：
获取备选人脸图像；
利用所述目标识别模型计算所述备选人脸图像与所述攻击者图像之间的相似度；
在所述相似度小于预设阈值的情况下，将所述备选人脸图像归入所述人脸图像集。
根据一个实施例，第一损失函数还与第一距离负相关，所述第一距离为所述当前对抗补丁与所述初始对抗补丁之间的距离。
根据一个实施例，所述第一损失函数还包括正则化项，所述正则化项表示所述当前对抗补丁中图像参数的绝对大小。
在一个实施例中，所述第一优化单元63配置为：
在所述第一损失函数减小的方向，确定当前对抗补丁中图像参数的参数梯度；
基于所述当前对抗补丁中图像参数的当前参数值，以预设步长叠加所述参数梯度，从而进行所述第一调整。
进一步的，在不同例子中，所述第一优化单元63具体配置为，采用以下方式之一，确定所述参数梯度：投影梯度下降PGD方式，快速梯度符号法FGSM，动量迭代IM-FGSM。
在一个实施例中，所述第二损失函数包括第一损失项，所述第一损失项为所述第三相似度减去预定相似度阈值得到的差值与0之中的较大者。
根据一种实施方式，上述装置600还包括对抗样本生成单元（未示出），配置为：将所述第二对抗补丁叠加在所述攻击者图像上，生成第一对抗样本。
进一步的，在一个实施例中，上述装置600还包括训练单元（未示出），配置为：利用所述第一对抗样本，训练判别器，所述判别器用于判别输入的人脸图像是否包含对抗补丁。
通过以上装置，可以生成具有更强攻击力和鲁棒性的人脸对抗补丁。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (22)

1.一种生成人脸对抗补丁的方法，包括：
获取基于攻击者图像和目标人脸图像，针对目标识别模型而生成的初始对抗补丁；
获取人脸图像集，所述人脸图像集不包含所述攻击者的人脸图像；
在所述初始对抗补丁基础上，分别针对所述人脸图像集中的各张人脸图像，以减小第一损失函数为目标，迭代地对当前对抗补丁进行第一调整，得到针对所述人脸图像集更新的第一对抗补丁；其中，所述第一损失函数与第一相似度负相关，所述第一相似度为，利用所述目标识别模型计算的、叠加有当前对抗补丁的各张人脸图像与所述目标人脸图像之间的相似度；
在所述第一对抗补丁的基础上，以减小第二损失函数为目标，迭代地对当前对抗补丁进行第二调整，得到第二对抗补丁，其中，所述第二损失函数与第二相似度负相关，且与第三相似度正相关，所述第二相似度为，叠加有当前对抗补丁的攻击者图像与所述目标人脸图像之间的相似度，所述第三相似度为，叠加有当前对抗补丁的攻击者图像与原始攻击者图像之间的相似度，所述第二相似度和第三相似度均利用所述目标识别模型计算得到。
2.根据权利要求1所述的方法，其中，获取基于攻击者图像和目标人脸图像，针对目标识别模型而生成的初始对抗补丁，包括：
在预定图像区域，生成对抗补丁模板；
利用所述目标识别模型，分别计算叠加有对抗补丁的所述攻击者图像对应的第一特征向量和所述目标人脸图像对应的第二特征向量，并计算第一特征向量和第二特征向量之间的向量相似度；
以增加所述向量相似度为目标，调整所述对抗补丁模板中的图像参数，得到所述初始对抗补丁。
3.根据权利要求1所述的方法，其中，所述获取人脸图像集，包括：
获取备选人脸图像；
利用所述目标识别模型计算所述备选人脸图像与所述攻击者图像之间的相似度；
在所述相似度小于预设阈值的情况下，将所述备选人脸图像归入所述人脸图像集。
4.根据权利要求1所述的方法，其中，所述第一损失函数还与第一距离负相关，所述第一距离为所述当前对抗补丁与所述初始对抗补丁之间的距离。
5.根据权利要求1或4所述的方法，其中，所述第一损失函数还包括正则化项，所述正则化项表示所述当前对抗补丁中图像参数的绝对大小。
6.根据权利要求1所述的方法，其中，迭代地对当前对抗补丁进行第一调整，包括：
在所述第一损失函数减小的方向，确定当前对抗补丁中图像参数的参数梯度；
基于所述当前对抗补丁中图像参数的当前参数值，以预设步长叠加所述参数梯度，从而进行所述第一调整。
7.根据权利要求6所述的方法，其中，确定当前对抗补丁中图像参数的参数梯度包括，采用以下方式之一，确定所述参数梯度：
投影梯度下降PGD方式，快速梯度符号法FGSM，动量迭代IM-FGSM。
8.根据权利要求1所述的方法，其中，所述第二损失函数包括第一损失项，所述第一损失项为所述第三相似度减去预定相似度阈值得到的差值与0之中的较大者。
9.根据权利要求1所述的方法，其中，还包括：
将所述第二对抗补丁叠加在所述攻击者图像上，生成第一对抗样本。
10.根据权利要求9所述的方法，还包括：
利用所述第一对抗样本，训练判别器，所述判别器用于判别输入的人脸图像是否包含对抗补丁。
11.一种生成人脸对抗补丁的装置，包括：
初始补丁获取单元，配置为获取基于攻击者图像和目标人脸图像，针对目标识别模型而生成的初始对抗补丁；
人脸集获取单元，配置为获取人脸图像集，所述人脸图像集不包含所述攻击者的人脸图像；
第一优化单元，配置为在所述初始对抗补丁基础上，分别针对所述人脸图像集中的各张人脸图像，以减小第一损失函数为目标，迭代地对当前对抗补丁进行第一调整，得到针对所述人脸图像集更新的第一对抗补丁；其中，所述第一损失函数与第一相似度负相关，所述第一相似度为，利用所述目标识别模型计算的、叠加有当前对抗补丁的各张人脸图像与所述目标人脸图像之间的相似度；
第二优化单元，配置为在所述第一对抗补丁的基础上，以减小第二损失函数为目标，迭代地对当前对抗补丁进行第二调整，得到第二对抗补丁，其中，所述第二损失函数与第二相似度负相关，且与第三相似度正相关，所述第二相似度为，叠加有当前对抗补丁的攻击者图像与所述目标人脸图像之间的相似度，所述第三相似度为，叠加有当前对抗补丁的攻击者图像与原始攻击者图像之间的相似度，所述第二相似度和第三相似度均利用所述目标识别模型计算得到。
12.根据权利要求11所述的装置，其中，所述初始补丁获取单元具体配置为：
在预定图像区域，生成对抗补丁模板；
利用所述目标识别模型，分别计算叠加有对抗补丁的所述攻击者图像对应的第一特征向量和所述目标人脸图像对应的第二特征向量，并计算第一特征向量和第二特征向量之间的向量相似度；
以增加所述向量相似度为目标，调整所述对抗补丁模板中的图像参数，得到所述初始对抗补丁。
13.根据权利要求11所述的装置，其中，所述人脸集获取单元配置为：
获取备选人脸图像；
利用所述目标识别模型计算所述备选人脸图像与所述攻击者图像之间的相似度；
在所述相似度小于预设阈值的情况下，将所述备选人脸图像归入所述人脸图像集。
14.根据权利要求11所述的装置，其中，所述第一损失函数还与第一距离负相关，所述第一距离为所述当前对抗补丁与所述初始对抗补丁之间的距离。
15.根据权利要求11或14所述的装置，其中，所述第一损失函数还包括正则化项，所述正则化项表示所述当前对抗补丁中图像参数的绝对大小。
16.根据权利要求11所述的装置，其中，所述第一优化单元配置为：
在所述第一损失函数减小的方向，确定当前对抗补丁中图像参数的参数梯度；
基于所述当前对抗补丁中图像参数的当前参数值，以预设步长叠加所述参数梯度，从而进行所述第一调整。
17.根据权利要求16所述的装置，其中，所述第一优化单元具体配置为，采用以下方式之一，确定所述参数梯度：投影梯度下降PGD方式，快速梯度符号法FGSM，动量迭代IM-FGSM。
18.根据权利要求11所述的装置，其中，所述第二损失函数包括第一损失项，所述第一损失项为所述第三相似度减去预定相似度阈值得到的差值与0之中的较大者。
19.根据权利要求11所述的装置，其中，还包括对抗样本生成单元，配置为：
将所述第二对抗补丁叠加在所述攻击者图像上，生成第一对抗样本。
20.根据权利要求19所述的装置，还包括训练单元，配置为：
利用所述第一对抗样本，训练判别器，所述判别器用于判别输入的人脸图像是否包含对抗补丁。
21.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项的所述的方法。
22.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项所述的方法。
CN202010725497.9A 2020-07-24 2020-07-24 生成人脸对抗补丁的方法和装置 Active CN111738217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010725497.9A CN111738217B (zh) 2020-07-24 2020-07-24 生成人脸对抗补丁的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010725497.9A CN111738217B (zh) 2020-07-24 2020-07-24 生成人脸对抗补丁的方法和装置

Publications (2)

Publication Number Publication Date
CN111738217A true CN111738217A (zh) 2020-10-02
CN111738217B CN111738217B (zh) 2020-11-13

Family

ID=72657695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010725497.9A Active CN111738217B (zh) 2020-07-24 2020-07-24 生成人脸对抗补丁的方法和装置

Country Status (1)

Country Link
CN (1) CN111738217B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507811A (zh) * 2020-11-23 2021-03-16 广州大学 一种检测人脸识别系统抵御伪装攻击的方法和系统
CN112633424A (zh) * 2021-03-10 2021-04-09 腾讯科技（深圳）有限公司 图像处理方法、装置、图像处理设备及存储介质
CN113239851A (zh) * 2021-05-27 2021-08-10 支付宝(杭州)信息技术有限公司 一种基于隐私保护的隐私图像处理方法、装置及设备
CN113255526A (zh) * 2021-05-28 2021-08-13 华中科技大学 基于动量的对人群计数模型的对抗样本生成方法及系统
CN113506272A (zh) * 2021-07-14 2021-10-15 人民网股份有限公司 一种虚假视频的检测方法及系统
CN114240732A (zh) * 2021-06-24 2022-03-25 中国人民解放军陆军工程大学 一种攻击人脸验证模型的对抗贴片生成方法
CN114419704A (zh) * 2021-12-31 2022-04-29 北京瑞莱智慧科技有限公司 对抗样本动态生成方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609481A (zh) * 2017-08-14 2018-01-19 百度在线网络技术（北京）有限公司 为人脸识别生成训练数据的方法、装置和计算机存储介质
CN109978989A (zh) * 2019-02-26 2019-07-05 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110598400A (zh) * 2019-08-29 2019-12-20 浙江工业大学 一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用
CN111027628A (zh) * 2019-12-12 2020-04-17 支付宝(杭州)信息技术有限公司 一种模型确定方法和系统
CN111241287A (zh) * 2020-01-16 2020-06-05 支付宝(杭州)信息技术有限公司 用于生成对抗文本的生成模型的训练方法及装置
CN111340008A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609481A (zh) * 2017-08-14 2018-01-19 百度在线网络技术（北京）有限公司 为人脸识别生成训练数据的方法、装置和计算机存储介质
CN109978989A (zh) * 2019-02-26 2019-07-05 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110598400A (zh) * 2019-08-29 2019-12-20 浙江工业大学 一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用
CN111027628A (zh) * 2019-12-12 2020-04-17 支付宝(杭州)信息技术有限公司 一种模型确定方法和系统
CN111241287A (zh) * 2020-01-16 2020-06-05 支付宝(杭州)信息技术有限公司 用于生成对抗文本的生成模型的训练方法及装置
CN111340008A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507811A (zh) * 2020-11-23 2021-03-16 广州大学 一种检测人脸识别系统抵御伪装攻击的方法和系统
CN112633424A (zh) * 2021-03-10 2021-04-09 腾讯科技（深圳）有限公司 图像处理方法、装置、图像处理设备及存储介质
CN112633424B (zh) * 2021-03-10 2021-06-22 腾讯科技（深圳）有限公司 图像处理方法、装置、图像处理设备及存储介质
CN113239851A (zh) * 2021-05-27 2021-08-10 支付宝(杭州)信息技术有限公司 一种基于隐私保护的隐私图像处理方法、装置及设备
CN113239851B (zh) * 2021-05-27 2023-06-23 支付宝(杭州)信息技术有限公司 一种基于隐私保护的隐私图像处理方法、装置及设备
CN113255526A (zh) * 2021-05-28 2021-08-13 华中科技大学 基于动量的对人群计数模型的对抗样本生成方法及系统
CN114240732A (zh) * 2021-06-24 2022-03-25 中国人民解放军陆军工程大学 一种攻击人脸验证模型的对抗贴片生成方法
CN113506272A (zh) * 2021-07-14 2021-10-15 人民网股份有限公司 一种虚假视频的检测方法及系统
CN113506272B (zh) * 2021-07-14 2024-02-13 人民网股份有限公司 一种虚假视频的检测方法及系统
CN114419704A (zh) * 2021-12-31 2022-04-29 北京瑞莱智慧科技有限公司 对抗样本动态生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111738217B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111738217B (zh) 生成人脸对抗补丁的方法和装置
CN111626925B (zh) 一种对抗补丁的生成方法及装置
JP7133949B2 (ja) 顔認証方法及び装置
CN111340008B (zh) 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统
JP7046625B2 (ja) 顔認証方法及び装置
CN111475797B (zh) 一种对抗图像生成方法、装置、设备以及可读存储介质
Kollreider et al. Verifying liveness by multiple experts in face biometrics
KR102077260B1 (ko) 확룔 모델에 기반한 신뢰도를 이용하여 얼굴을 인식하는 방법 및 장치
US9042609B2 (en) Face authentication system, face authentication method, and face authentication program
CN110569731B (zh) 一种人脸识别方法、装置及电子设备
WO2019152983A2 (en) System and apparatus for face anti-spoofing via auxiliary supervision
US11423702B2 (en) Object recognition method and apparatus
US20180075291A1 (en) Biometrics authentication based on a normalized image of an object
CN110532746B (zh) 人脸校验方法、装置、服务器及可读存储介质
CN111310512B (zh) 用户身份鉴权方法及装置
US20240104965A1 (en) Face liveness detection methods and apparatuses
JP5698418B2 (ja) 虹彩認識による識別
CN113128428B (zh) 基于深度图预测的活体检测方法和相关设备
CN113435264A (zh) 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置
EP2998928A1 (en) Apparatus and method for extracting high watermark image from continuously photographed images
Kimura et al. Quality-dependent score-level fusion of face, gait, and the height biometrics
CN114140349A (zh) 干扰图像的生成方法和装置
CN114936361A (zh) 生物特征识别方法、服务器以及客户端
JP2008015871A (ja) 認証装置、及び認証方法
CN113592696A (zh) 加密模型训练、图像加密和加密人脸图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant