CN113486875B - 基于词分离和自适应的跨域人脸表示攻击检测方法和系统 - Google Patents
基于词分离和自适应的跨域人脸表示攻击检测方法和系统 Download PDFInfo
- Publication number
- CN113486875B CN113486875B CN202111049208.9A CN202111049208A CN113486875B CN 113486875 B CN113486875 B CN 113486875B CN 202111049208 A CN202111049208 A CN 202111049208A CN 113486875 B CN113486875 B CN 113486875B
- Authority
- CN
- China
- Prior art keywords
- cluster
- vocabulary
- representation
- face
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000000926 separation method Methods 0.000 title claims abstract description 36
- 230000000007 visual effect Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000002776 aggregation Effects 0.000 claims abstract description 13
- 238000004220 aggregation Methods 0.000 claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000006978 adaptation Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008485 antagonism Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于词分离和自适应的跨域人脸表示攻击检测方法和系统,属于人脸识别领域。本发明采用VLAD聚合方法对局部特征进行量化,利用视觉词汇对特征空间进行局部划分,从而保持局部辨识能力,并进一步提出词汇分离和自适应方法来修改针对跨域PAD任务的检测方法,其中词汇分离方法将词汇划分为领域共享型和领域特定型视觉词汇,领域共享型单词对应所有域的泛化属性,而领域特定型的单词对应特定域的属性,以应对跨领域场景下的活体和攻击面孔的多样性;词汇自适应方法模仿了端到端训练中K均值算法的最大化步骤,保证了视觉词汇定位在分配的局部特征的中心,从而带来鲁棒的相似性度量。
Description
技术领域
本发明涉及人脸识别领域,具体涉及一种基于基于词分离和自适应的跨域人脸表示攻击检测方法和系统。
背景技术
人脸识别的应用,如智能手机解锁、门禁、电子钱包支付等,通常与隐私相关,并在日常生活中应用广泛。然而,人脸识别系统可能很容易被各种表示攻击模式 (如打印攻击、重放攻击和3D面具攻击)绕过。如今,人脸图像很容易通过社交软件和互联网图像的途径获取,使人脸表示攻击检测(PAD,也即反欺诈)成为了保证人脸识别系统可靠性的关键步骤。
为了解决人脸反欺诈问题,网络上发布了大量具有不同的对象特征、攻击类型和模式的数据集。同时,提出了多种方法来判断活体人脸和假人脸之间的决策边界,例如基于图像纹理的方法通过利用外观线索(例如颜色纹理和图像扭曲线索)来检测攻击;基于时间的方法利用时间线索(例如面部动作和rPPG)来检测攻击;以及基于深度特征的方法,例如一种单边对抗学习方法,其中特征生成器被训练成只对真实面孔不分域,对虚假面孔则不然。
尽管现有的很多方法在数据集内部测试中显示出了良好的结果,但在跨数据集(域)场景中,即训练和测试数据来自具有不同攻击类型和识别环境的不同数据集时,它们的性能会显著下降。此外,现有的基于深度特征的方法通常是通过全局平均池化得到的,由于大多数的欺骗线索是微小的局部图像模式,这种简单的池化方法仅给出了局部特征映射的粗略求和,失去了局部鉴别能力。
发明内容
为了解决上述中的技术问题,本发明提供了一种基于词分离和自适应的跨域人脸表示攻击检测方法和系统。
本发明采用如下技术方案:
一种基于词分离和自适应的跨域人脸表示攻击检测方法,包括以下步骤:
1)建立由局部特征提取模块、聚类模块、词汇分离模块、质心自适应模块和聚合模块构成的人脸表示攻击检测模型;以及利用局部特征提取模块和聚类模块对不同域的真实人脸图像和虚假人脸图像进行编码,得到人脸图像的局部特征和K个视觉聚类,将K个聚类质心作为词汇集;
2)利用局部特征进行簇内识别,计算簇内鉴别损失;
利用词汇分离模块将词汇集中的聚类质心划分为共享视觉词汇和特定视觉词汇,计算两种词汇的正交损失;
利用质心自适应模块计算每一个视觉聚类下的局部特征的特征中心与聚类质心的质心自适应损失;
3)将人脸图像的局部特征量化到最接近的视觉词汇,计算赋值矩阵;利用聚合模块对局部特征与其对应的聚类质心之间的残差进行加权聚合,得到该人脸图像的NetVLAD表示;利用共享视觉词汇下的NetVLAD表示计算对抗损失,利用共享视觉词汇和特定视觉词汇的NetVLAD表示相结合计算分类损失和全局损失;
4)将步骤2)和步骤3)中损失值的加权结果作为总损失,训练人脸表示攻击检测模型,利用训练好的人脸表示攻击检测模型实现攻击检测。
进一步的,所述的局部特征提取模块采用CNN网络,所述的聚类模块采用k-means网络。利用k-means网络对人脸图像的局部特征进行聚类,得到K个视觉聚类,将每一个聚类质心表示为ck,即一个视觉词汇,构成词汇集V。
进一步的,利用训练好的人脸表示攻击检测模型进行攻击检测时,首先获得待检测人脸图像在每一个聚类下的NetVLAD表示,比较待检测人脸图像与真实人脸图像对应的NetVLAD表示之间的相似性,根据相似性结果的预设阈值判断是否遭遇攻击。
本发明还提出了一种基于词分离和自适应的跨域人脸表示攻击检测系统,用于实现上述的跨域人脸表示攻击检测方法。
与现有技术相比,本发明的优势在于:本发明采用VLAD聚合方法对局部特征进行量化,利用视觉词汇对特征空间进行局部划分,从而保持局部辨识能力,并进一步提出词汇分离和自适应方法来修改针对跨域PAD任务的检测方法,其中词汇分离方法将词汇划分为领域共享型和领域特定型视觉词汇,领域共享型单词对应所有域的泛化属性,而领域特定型的单词对应特定域的属性,以应对跨领域场景下的活体和攻击面孔的多样性;词汇自适应方法模仿了端到端训练中K均值算法的最大化步骤,保证了视觉词汇定位在分配的局部特征的中心,从而带来鲁棒的相似性度量。
附图说明
图1为本发明方法的整体框架设计图。
图2为本发明中的局部特征分布和视觉词汇示意图;图2中的(a)采用视觉聚簇局部划分特征空间,使视觉词汇的局部特征的残差聚合到全局表示;图2中的(b)残差相似度对聚类质心位置敏感。
图3为本发明提出的词汇自适应方法的示意图;图3中的(a)期望聚类质心趋近于分配的特征中心;图3中的(b)真实残差中心与虚假残差中心之间的夹角。
图4为局部特征分配到聚类的统计数量的可视化结果;图4中的(a)真实与虚假分布;图4中的(b)不同域下的分布。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
如图1所示,本发明提出的基于词汇分离和自适应的跨域人脸表示攻击检测方法,主要包括以下几部分内容:
1.建立由局部特征提取模块、聚类模块、词汇分离模块、质心自适应模块和聚合模块构成的人脸表示攻击检测模型;以及利用局部特征提取模块和聚类模块对不同域的真实人脸图像和虚假人脸图像进行编码,得到人脸图像的局部特征图和K个视觉聚类,将K个聚类质心作为词汇集。
2.利用局部特征图进行簇内识别,计算簇内鉴别损失。
3.提出一种词汇分离方法,利用词汇分离模块将词汇划分为共享视觉词汇和特定视觉词汇,根据两种词汇计算正交损失。
4.提出一种质心自适应方法,利用质心自适应模块计算每一个视觉聚类下的局部特征的特征中心与聚类质心的质心自适应损失。
5.将人脸图像的局部特征量化到最接近的视觉词汇,计算赋值矩阵;由聚合模块根据赋值矩阵对局部特征与其对应的聚类质心之间的残差进行加权聚合,得到NetVLAD表示。
6.将新引入的簇内鉴别损失、正交损失、质心自适应损失与传统的分类损失、三重损失、对抗性损失相结合,根据总损失训练人脸表示攻击检测模型;利用训练好的模型实现攻击检测。
下面结合具体实施例,对上述六个部分内容进行具体介绍。
(一)对真实和虚假人脸进行编码
(1.1)人脸图像准备:获取不同域下的真实图像和攻击图像,构成训练图像集X={X1,X2,…,Xi,…XS},其来自S 个不同的源域D={D1,D2,…,Di,…, DS},其中Xi对应于第i个源域Di下的图像;标记图像的真假,将标签集合记为Y={Y1,Y2,…, Yi,…,YS} (Yi∈{0,1},真或假)。
(二)簇内鉴别损失
计算公式为:
(三)词汇分离
人脸采集中的主要条件(光照、人脸外观、摄像头质量等)的无限变化带来了不同的数据分布,也给对齐表示分布带来了困难。当不同的数据集具有不同的攻击类型时,这种情况更加明显。假设所有域都有共享成分和特定成分,共享成分和特定成分都有助于识别攻击,并且只有共享成分需要跨域对齐。
在本发明提出的词汇分离策略中,将词汇划分为K1个共享视觉词汇
和K2个特定视觉词汇,表示为V=[Vsh; Vsp],K1+K2=K;通过这两种词汇分别得
到了最终的共享表示Fsh和特定表示Fsp;在优化过程中,将共享表示和特定表示结合起来
进行识别,但只用对抗性损失将共享表示的分布对齐,如图1右侧所示。
利用Vsh和Vsp计算正交损失:
此处,共享表示Fsh和特定表示Fsp分别是在共享视觉词汇Vsh和特定视觉词汇Vsp的基础上提取特征得到的,可以采用现有的神经网络实现,属于已有技术,本发明不做进一步限定。
(四)质心自适应
经过k-means聚类获得了初始化的视觉词汇后,最终的期望是将局部特征赋给最接近的视觉词汇。本发明发现传统的优化过程存在缺陷,因为传统方法只有将局部特征赋给视觉词汇的步骤,而没有像k-means算法那样重新计算视觉词汇的最大化步骤。如图2中的(b)所示,VLAD表示的残差相似度比较是词汇敏感的,两组局部特征在视觉词汇轻微变化的情况下,相似度变化较大。在理想情况下,视觉词汇应该位于指定的特征中心,作为k-means算法的最大化步骤来给出VLAD表示的鲁棒的相似性度量。因此在训练阶段,本发明提出了一种质心自适应方法,通过最小化聚类质心与对应的局部特征中心之间的距离来模拟最大步长。
如图3中的(a)的质心自适应所示,计算分配特征的中心,并期望与聚类质心接近。计算分配的局部特征的特征中心与聚类质心的质心自适应损失:
为了进一步提高聚类内的鉴别能力,本发明在每个聚类中使用一个显式的约束使真实图像的特征中心远离虚假图像。如图3中的(b)所示,本发明强制使真实残差中心和假残差中心之间的夹角α较大,从而形成了(二)中所述的簇内鉴别损失(intra)。
(五)计算NetVLAD表示
其中,上角标T为转置,Ai,k表示赋值矩阵A中的元素,ck表示第k个视觉词汇,即词汇集中的第k个视觉词汇。
赋值步骤是通过在局部特征上使用1×1卷积层来实现的,然后使用soft-max函数来缩放数值。
(5.2)计算局部特征与其对应的聚类质心之间的残差:
其中,ri,k表示第i个局部特征对第k个聚类质心的残差。
其中,对应第k个聚类下的NetVLAD表示,t为调节参数,当时,对应
的是将最接近的聚类赋值为1或0的硬量化情况。在本实施例中,考虑软量化来处理量化噪
声,并根据经验将t设为3。表示第i个局部特征对临近的第个聚类的赋值参数,表
示临近第i个局部特征的视觉词汇的总个数。
(六)总损失
所述的分类损失、三重损失、对抗性损失为传统训练方式采用的损失函数,利用全局平均池化(GAP)得到局部特征的全局表示,通过分类损失和三重损失在特征空间中分离出真假人脸来进行优化,以此获得鉴别能力。利用生成器与用于成功区分域的鉴别器进行极小极大博弈,形成对抗性损失来得到所有源域的泛化特征。
其中,人脸图像x的全局特征表示为:
分类损失函数为:
其中X表示训练图像集,Y表示标签集,利用交叉熵损失作为分类损失;1[k=y]为指示函数,当k=y成立时输出1,不成立时输出0。
进一步采用两类三重损失通过在特征空间分离真假人脸弥补了分类损失:
其中,xa与正样本xp具有相同的标记,与负样本xn具有不同的标记,m为余量。
对抗性损失将所有源域的分布对齐,并保证对未知域的泛化能力:
其中,YD为相应域下的标签,1[s=y]为指示函数,当s=y成立时输出1,不成立时输出0。
传统的训练方式采用了上述三类损失,本发明在此基础上引入簇内鉴别、词汇分离和自适应策略对模型训练进行了修正。
在本发明的一项具体实施中,利用训练好的模型中的特征提取模块获取待检测人脸图像的局部特征,根据(五)中的方法获得待检测人脸图像的NetVLAD表示,比较待检测人脸图像与真实人脸图像对应的NetVLAD表示之间的相似性,根据相似性结果判断是否遭遇攻击。
将第k个聚类下的相似度表示为:
其中,表示真实人脸图像中第k个聚类下的NetVLAD表示,表示
待检测人脸图像中第k个聚类下的NetVLAD表示;x1表示真实人脸图像,x2表示待检测人脸图
像,fi表示第i个局部特征,fj表示第j个局部特征,ri,k表示第i个局部特征对第k个聚类质心
的残差,rj,k表示第j个局部特征对第k个聚类质心的残差;〈.〉表示距离计算。
可以看出,本发明通过将局部特征分配给最接近的聚类质心,采用选择性匹配的方式,只比较残差的簇内相似性。与传统的全局匹配方式相比,选择性匹配更加合理,因为人类在比较两张脸时通常比较相同的面部部位。
与前述的基于词分离和自适应的跨域人脸表示攻击检测方法的实施例相对应,本申请还提供了一种基于词分离和自适应的跨域人脸表示攻击检测系统的实施例,其包括:
局部特征提取模块:其用于提取人脸图像的局部特征。
聚类模块,其用于人脸图像的局部特征进行聚类,得到K个视觉聚类,将聚类质心作为词汇集。
簇内识别模块,其用于利用局部特征进行簇内识别,计算簇内鉴别损失。
词汇分离模块,其用于将词汇集中的聚类质心划分为共享视觉词汇和特定视觉词汇,计算两种词汇的正交损失。
质心自适应模块,其用于计算每一个视觉聚类下的局部特征的特征中心与聚类质心的质心自适应损失。
聚合模块,其用于将人脸图像的局部特征量化到最接近的视觉词汇,计算赋值矩阵;对局部特征与其对应的聚类质心之间的残差进行加权聚合,得到该人脸图像的NetVLAD表示。
相似性攻击检测模块,其用于基于每一个聚类下的相似度实现攻击检测。
对于系统实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的,其中所述作为聚合模块,可以是或者也可以不是物理上分开的。另外,在本发明中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述集成的模块或单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现,以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。
实施例
本发明在OULU-NPU(简称O)、CASIA-FASD(简称C)、Idiap应答攻击(简称I)和MSU-MFSD (简称M)四个公共数据集上评估了本发明提出的攻击检测方法的性能。如表1所示,这四个数据集收集自不同的识别设备、攻击类型、光照条件、背景和人种。因此,这些数据集之间存在显著的域差异性。
表1:用于评估的四个FAS数据集
注释:攻击类型P表示打印照片,D表示显示照片,R表示回放视频,C表示切割照片
本实施例采用MTCNN算法对人脸进行检测和校正,将检测到的所有人脸大小调整为256×256×3的尺寸作为网络的输入。遵循单帧设置,其中选择一个视频中的一帧进行训练,两帧进行测试。本实施例在ResNet-18 (R)和MADDG (M)架构上实现了该方法,并将最终的卷积层替换为128-d的卷积核,将局部特征的维数降至128-d。
对于NetVLAD,词汇是随机初始化的,词汇分离是手动设置的,因为最终层是重新初始化的,并且那里没有共享和特定词汇的线索。对训练数量为60(每个域10个真脸和10个假脸)使用SGD优化器,初始学习率为0.001,经过1500次迭代后降至0.0001。
如表2所示,列出了现有的几种具有代表性的人脸反欺诈方法的跨域检测模型的性能,如Multi-Scale LBP (MS-LBP) ;二进制CNN ;图像失真分析(IDA) ;颜色纹理 (CT);LBPTOP和辅助监督,并将本发明的方法(VLAD-VSA)与它们进行比较。
表2:在四个攻击类型组合中与最先进的跨域人脸PAD方法的比较
与最新的基于三重损失和对抗性损失的各种复杂方法相比,本发明采用简单的两类三重损失和对抗性损失,没有引入额外的深度和ID监督,本发明的先进性在于采用VLAD表示的基础上再使用基于词汇分离和自适应方法进行修正。
从表2可以看出,本发明在四个跨域评估组合下的性能显著超过了大多数现有方法,说明采用本发明提出的词汇分离和自适应策略的VLAD表示对跨域PAD任务具有良好的泛化和识别能力。
在MADDG架构上,在O&M&I to C组合中,本发明的表现略差于MD-DRL,原因在于MD-DRL采用了辅助ID监督,设计了三个编码器,使得参数多了三倍,结构极其复杂。在剩下的三个组合中,本发明明显优于MD-DRL。
为了进一步验证词汇分离(VS)和词汇自适应(VA)的有效性,表3给出了单独VLAD方法、VLAD+VS方法、VLAD+VA方法、VLAD-VAS方法(即,VLAD+VS+VA)实验结果。
表3:基于ResNet架构的VLAD表示、词汇自适应和分离方法的消融结果
从表3中可见,VLAD + VS和VLAD + VA均在VLAD的基础上,所有组合和指标的性能都有一致的提升。当VLAD同时与VS和VA两种方法结合时(VLAD- VSA),VLAD的性能有进一步地提高。
本实施例还进一步在只有两个源域可用情况下的有限的源域组合上评估了所提出的方法。如表4所示,将MSU-MFSD和Idiap重放攻击数据集作为源域,CASIA-FASD (M&I toC)或OULU-NPU (M&I to O)作为目标域。可以看出,本发明的方法在两个组合上超过了大多数现有的方法,可与最先进的MD-DRL在M&I to C组合上相媲美。对于M&I to O组合,其中目标域比两个源域有更多的视频,两个指标的提升更明显,这证明了在有限源域和有限训练数据的困难情况下,本发明的攻击检测方法仍然能够表现出其优异性。
表4:有限源域下(MADDG)的跨域PAD结果的比较
本发明提出的词汇自适应方法包含了保证聚类质心靠近对应的特征中心的质心自适应方法,以及提高了簇内判别能力的簇内判别损失法。
为了理解局部特征分配给视觉聚类的情形,本实施例在OULU-NPU, CASIA-FASD和MSU-MFSD数据集中训练了一个包含8个视觉词汇的VLAD-VSA模型(7个共享词汇和一个特定词汇),在每个域随机选取70幅真实图像和70幅虚假图像,并统计聚类中的局部特征分配数量。真假特征和多域特征的分配情况如图4所示。其中,如图4中的(a)所示,集群的大部分通常是真实或虚假的特征其中的一类。例如,第四个聚类中的大部分局部特征是虚假的,第三个聚类中的大部分局部特征是真实的。它证明了视觉词汇倾向于捕捉特定的线索来识别真实或虚假的面孔。特定的词汇(第8个)以虚假特征为主,表明虚假图像容易包含特定于一个数据集的模式。且,视觉词汇是跨域泛化的。在图4中的(b)中,可以发现聚类通常是域无关的,因为所有聚类中三个域的特征数量是相似的。聚类不明显偏向某一个域,证明了它们的泛化能力。
以上列举的仅是本发明的具体实施例。显然,本发明不限于以上实施例,还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形,均应认为是本发明的保护范围。
Claims (6)
1.一种基于词分离和自适应的跨域人脸表示攻击检测方法,其特征在于,包括以下步骤:
1)建立由局部特征提取模块、聚类模块、词汇分离模块、质心自适应模块和聚合模块构成的人脸表示攻击检测模型;以及利用局部特征提取模块和聚类模块对不同域的真实人脸图像和虚假人脸图像进行编码,得到人脸图像的局部特征和K个视觉聚类,将K个聚类质心作为词汇集;
2)利用局部特征进行簇内识别,计算簇内鉴别损失;所述的簇内鉴别损失表示为:
利用词汇分离模块将词汇集中的聚类质心划分为K1个共享视觉词汇Vsh和K2个特定视觉词汇Vsp,表示为V=[Vsh;Vsp],K1+K2=K,V为词汇集;计算两种词汇的正交损失;所述的正交损失计算公式为:
利用质心自适应模块计算每一个视觉聚类下的局部特征的特征中心与聚类质心的质心自适应损失;所述的质心自适应模块计算过程具体为:
计算分配的局部特征的特征中心:
3)将人脸图像的局部特征量化到最接近的视觉词汇,计算赋值矩阵;利用聚合模块对局部特征与其对应的聚类质心之间的残差进行加权聚合,得到该人脸图像的NetVLAD表示;利用共享视觉词汇下的NetVLAD表示计算对抗损失,利用共享视觉词汇和特定视觉词汇的NetVLAD表示相结合计算分类损失和全局损失;
所述的人脸图像的NetVLAD表示计算过程为:
3.1)将人脸图像的局部特征量化到最接近的视觉词汇,计算赋值矩阵:
3.2)计算局部特征与其对应的聚类质心之间的残差:
ri,k=fi-ck
其中,ri,k表示第i个局部特征对第k个聚类质心的残差;
4)将步骤2)和步骤3)中损失值的加权结果作为总损失,训练人脸表示攻击检测模型,利用训练好的人脸表示攻击检测模型实现攻击检测。
2.根据权利要求1所述的基于词分离和自适应的跨域人脸表示攻击检测方法,其特征在于,所述的局部特征提取模块采用CNN网络,所述的聚类模块采用k-means网络。
4.根据权利要求1所述的基于词分离和自适应的跨域人脸表示攻击检测方法,其特征在于,利用训练好的人脸表示攻击检测模型进行攻击检测时,首先获得待检测人脸图像在每一个聚类下的NetVLAD表示,比较待检测人脸图像与真实人脸图像对应的NetVLAD表示之间的相似性,根据相似性结果的预设阈值判断是否遭遇攻击。
6.一种基于词分离和自适应的跨域人脸表示攻击检测系统,其特征在于,用于实现权利要求1所述的跨域人脸表示攻击检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111049208.9A CN113486875B (zh) | 2021-09-08 | 2021-09-08 | 基于词分离和自适应的跨域人脸表示攻击检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111049208.9A CN113486875B (zh) | 2021-09-08 | 2021-09-08 | 基于词分离和自适应的跨域人脸表示攻击检测方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113486875A CN113486875A (zh) | 2021-10-08 |
CN113486875B true CN113486875B (zh) | 2021-12-07 |
Family
ID=77946717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111049208.9A Active CN113486875B (zh) | 2021-09-08 | 2021-09-08 | 基于词分离和自适应的跨域人脸表示攻击检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113486875B (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019152983A2 (en) * | 2018-02-05 | 2019-08-08 | Board Of Trustees Of Michigan State University | System and apparatus for face anti-spoofing via auxiliary supervision |
CN110135460B (zh) * | 2019-04-16 | 2023-04-18 | 广东工业大学 | 基于vlad卷积模块的图像信息强化方法 |
CN110309798B (zh) * | 2019-07-05 | 2021-05-11 | 中新国际联合研究院 | 一种基于域自适应学习和域泛化的人脸欺骗检测方法 |
CN111046379B (zh) * | 2019-12-06 | 2021-06-18 | 支付宝(杭州)信息技术有限公司 | 一种对抗攻击的监测方法和装置 |
CN113128287B (zh) * | 2019-12-31 | 2024-01-02 | 暗物质(北京)智能科技有限公司 | 训练跨域人脸表情识别模型、人脸表情识别的方法及系统 |
CN111160313B (zh) * | 2020-01-02 | 2023-04-07 | 华南理工大学 | 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法 |
CN111652357B (zh) * | 2020-08-10 | 2021-01-15 | 浙江大学 | 一种利用基于图的特定目标网络解决视频问答问题的方法及其系统 |
CN112668519A (zh) * | 2020-12-31 | 2021-04-16 | 声耕智能科技(西安)研究院有限公司 | 基于MCCAE网络和Deep SVDD网络的异常人脸识别活体检测方法及系统 |
CN113312965B (zh) * | 2021-04-14 | 2023-04-28 | 重庆邮电大学 | 一种人脸未知欺骗攻击活体检测方法及系统 |
-
2021
- 2021-09-08 CN CN202111049208.9A patent/CN113486875B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113486875A (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108647681B (zh) | 一种带有文本方向校正的英文文本检测方法 | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN108960080B (zh) | 基于主动防御图像对抗攻击的人脸识别方法 | |
Sarfraz et al. | Head Pose Estimation in Face Recognition Across Pose Scenarios. | |
CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
CN111191655B (zh) | 对象识别方法和装置 | |
Ghadekar et al. | Handwritten digit and letter recognition using hybrid dwt-dct with knn and svm classifier | |
CN110675437A (zh) | 一种基于改进gms-orb特征的图像匹配方法及存储介质 | |
CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
CN114067444A (zh) | 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统 | |
CN104966075B (zh) | 一种基于二维判别特征的人脸识别方法与系统 | |
CN108564040A (zh) | 一种基于深度卷积特征的指纹活性检测方法 | |
CN107220598A (zh) | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 | |
CN107784263A (zh) | 基于改进加速鲁棒特征的平面旋转人脸检测的方法 | |
CN107392105A (zh) | 一种基于反向协同显著区域特征的表情识别方法 | |
CN107784284B (zh) | 人脸识别方法及系统 | |
CN113743365A (zh) | 人脸识别过程中的欺诈行为检测方法及装置 | |
CN113468954B (zh) | 基于多通道下局部区域特征的人脸伪造检测方法 | |
CN113033345B (zh) | 基于公共特征子空间的v2v视频人脸识别方法 | |
CN110287973B (zh) | 一种基于低秩鲁棒线性鉴别分析的图像特征提取方法 | |
Yoon et al. | An accurate and real-time multi-view face detector using orfs and doubly domain-partitioning classifier | |
CN111860529A (zh) | 一种图像的预处理方法、系统、设备以及介质 | |
CN113486875B (zh) | 基于词分离和自适应的跨域人脸表示攻击检测方法和系统 | |
CN116188956A (zh) | 一种深度伪造人脸图像检测的方法及相关设备 | |
CN113888428A (zh) | 一种基于局部对比度的红外弱小目标检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |