CN111639589A - 基于对抗学习和类颜色空间的视频虚假人脸检测方法 - Google Patents

基于对抗学习和类颜色空间的视频虚假人脸检测方法 Download PDF

Info

Publication number
CN111639589A
CN111639589A CN202010468575.1A CN202010468575A CN111639589A CN 111639589 A CN111639589 A CN 111639589A CN 202010468575 A CN202010468575 A CN 202010468575A CN 111639589 A CN111639589 A CN 111639589A
Authority
CN
China
Prior art keywords
image
calculated
adv
fgm
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010468575.1A
Other languages
English (en)
Other versions
CN111639589B (zh
Inventor
冯晓毅
党晨
夏召强
蒋晓悦
郑杨
张晨
王西汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Xinhepu Optoelectronics Co ltd
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010468575.1A priority Critical patent/CN111639589B/zh
Publication of CN111639589A publication Critical patent/CN111639589A/zh
Application granted granted Critical
Publication of CN111639589B publication Critical patent/CN111639589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于对抗学习和类颜色空间的视频虚假人脸检测方法，用于解决目前视频虚假人脸检测方法对利用对抗学习技术构建的视频虚假人脸图像检测效果较差的问题。基于对抗学习的虚假人脸检测方法需要构建对抗数据集用于训练，本发明中基于OULU‑NPU数据集，利用FGM、BIM和deepfool方法构建对抗数据集。首先在训练过程中，对训练视频数据进行预处理，提取和归一化人脸图像，然后利用上述三种攻击方法构建对抗数据集，再输入神经网络构建新颜色空间和训练模型。在检测过程中，对待测视频进行预处理，提取和归一化人脸图像。然后输入卷积神经网络，利用训练好的模型将归一化图像映射到新颜色空间，并进行特征提取和分类检测。本发明提出利用FGM、BIM和deepfool方法构建对抗数据集，然后使用对抗数据集训练自适应颜色空间映射、特征提取和分类模型。

Description

基于对抗学习和类颜色空间的视频虚假人脸检测方法
技术领域：
本发明涉及视频虚假人脸检测的方法。
现有技术：
近年来，我国人脸身份认证技术发展突飞猛进，在门禁、安防以及金融等领域广泛应用。但是，人脸身份认证技术在给我们生活提供便捷的同时，也存在被攻击的严重安全隐患。人脸伪装是最有效且低成本地欺骗人脸识别算法的手段，具体的实现方法是利用用户的照片、视频、3D面具等伪装成本人欺骗(攻击)人脸识别系统。因此，针对虚假人脸(facespoofing)攻击的检测技术具有重要研究意义。目前，现有虚假人脸检测方法在已有数据集上获得了较好结果，但随着打印设备和显示设备的性能不断提高，虚假人脸的欺骗手段越来越高明，特别是日益发展的对抗学习技术为高逼真度的虚假人脸攻击提供了技术支撑，在现实场景中人脸攻击检测方法面临的挑战性不断增加。因此，面向对抗样本的虚假人脸检测成为亟需解决的问题。
文献1“Face anti-spoofing using patch and depth-based CNNs[C].2017IEEE International Joint Conference on Biometrics(IJCB),2017:319-328.”提出了一种视频虚假人脸检测方法。此方法首先对人脸图像分别提取其分割图块和预测其深度图，然后利用神经网络计算图块的虚假度，再利用特征提取器和支持向量机进行真假分类，最后将图块的虚假度和支持向量机的分类结果融合计算得到分类结果，最终在现有实验室数据中获得了优异的性能。
发明目的：
由于现有方法在现实场景中对利用对抗学习技术构建的视频虚假样本检测效果较差，本发明提出了一种对抗学习和类颜色空间的视频虚假人脸检测方法，通过对抗学习和构建类颜色空间优化对利用对抗学习技术构建的更逼真视频虚假人脸图像检测效果。
发明内容：
本发明是一种基于对抗学习的视频虚假人脸检测方法。发明流程如附图1所示，分为四个主要部分：数据预处理、对抗样本构建、自适应类颜色空间计算、特征提取与检测。首先，利用数据预处理将人脸图像进行归一化表达；其次，利用多种对抗攻击方法构建对抗数据集，以训练深度模型；然后，面向虚假人脸检测任务，构建自适应类颜色空间；最后，构建深度网络提取特征，并进行真假脸检测。
1、数据预处理：
对于宽度和高度分别为w和h的RGB人脸图像I(x,y),x＝1,2,…,w,y＝1,2,…,h，归一化为宽和高均为l的RGB人脸图像。
2、对抗样本构建：
1)基于FGM方法生成对抗样本：
利用文献2“Goodfellow Ian J,Shlens Jonathon,SzegedyChristian.Explaining And Harnessing Adversarial Examples[J].stat,2015,1050:20.”中FGM方法对图像I进行变换，由图像I生成对抗样本Iadv-FGM，可由公式(1)计算得到：
Iadv-FGM＝I+radv-FGM (1)
其中radv-FGM是指利用FGM方法构建出的对抗扰动，其宽度和高度分别为w和h，可由公式(2)计算得到：
radv-FGM＝ε1·Ig/‖Ig‖2 (2)
其中ε1是限幅常数；Ig是损失函数在样本I处的梯度，可由公式(3)计算得到：
Figure BDA0002513478280000021
其中
Figure BDA0002513478280000022
表示对I求梯度的算子；L(·)为损失函数，由神经网络学习得到；Iy为损失函数在样本I处的值；θ为损失函数的参数。
2)基于BIM方法生成对抗样本：
利用文献3“Kurakin Alexey,Goodfellow Ian,Bengio Samy.Adversarialexamples in the physical world[J].Artificial Intelligence Safety andSecurity,2018,:99-112.”中BIM方法由图像I生成对抗样本Iadv-BIM，可由公式(4)计算得到：
Figure BDA0002513478280000023
其中
Figure BDA0002513478280000024
是指初始的样本，可由公式(5)计算得到；N为迭代次数，通常最多迭代4次；radv-BIM是指利用BIM方法构建出的对抗扰动，其宽度和高度分别为w和h，可由公式(6)计算得到：
Figure BDA0002513478280000025
radv-BIM＝ε2·Ig/‖Ig‖2 (6)
其中ε2是限幅常数；‖·‖2是二范数运算符；Ig是损失函数在样本I处的梯度，可由公式(3)计算得到。
3)基于deepfool方法生成对抗样本：
利用文献4“Moosavi-Dezfooli Seyed-Mohsen,Fawzi Alhussein,FrossardPascal.Deepfool:a simple and accurate method to fool deep neural networks[C].Proceedings of the IEEE conference on computer vision and patternrecognition,2016:2574-2582.”中提出的deepfool方法由图像I生成对抗样本Iadv-d，可由公式(7)计算得到：
Figure BDA0002513478280000026
其中，
Figure BDA0002513478280000027
表示为使I被预测的标签发生改变，需要施加的使‖radv-d‖2取得最小值的radv-d，可由公式(8)计算得到：
Figure BDA0002513478280000028
其中，
Figure BDA0002513478280000029
表示分类器对I预测的标签；radv-d表示对I施加的扰动；s.t.表示约束条件，即在满足后式的条件下求取前式。
4)对抗样本集的构建：
在现有的公用数据集基础上，根据步骤1)到3)可得到基于FGM、BIM和deepfool方法的对抗样本，将其中由现有数据集的训练集部分构建得到的对抗样本混合在一起，从其中随机选取μ的样本，再与原样本混合，构成最终的对抗样本集。其中μ为选择比。
3、自适应类颜色空间构建：
对于宽度和高度分别为w和h的RGB人脸图像I(x,y),x＝1,2,…,w,y＝1,2,…,h；
1)计算色相通道图：
图像I在HSV颜色空间中的色相(Hue)分量图IH，可由公式(9)计算得到：
Figure BDA0002513478280000031
其中，IR，IG和IB分别表示图像I的R,G,B三个颜色分量，IH矩阵尺寸为w*h；
2)计算饱和度通道图：
图像I在HSV颜色空间中的饱和度(Saturation)通道图IS，可通过公式(10)计算得到：
Figure BDA0002513478280000032
其中max(·)为求最大值算子；min(·)为求最小值算子；IS矩阵尺寸为w*h；
3)计算蓝色-亮度色差通道图：
图像I在YCrCb颜色空间中的Cb(蓝色-亮度色差)通道图IC，可由RGB输入信号的B通道像素值与RGB信号亮度值之间的差值获得，通过公式(11)计算得到：
IC＝-θ1*IR-θ2*IG+θ3*IB+b1 (11)
其中θ1、θ2、θ3为权重系数；b1为偏置量；IC矩阵尺寸为w*h；
4)计算蓝色-黄色色差通道图：
图像I的蓝色-黄色色差通道图Ib可通过公式(12)计算得到：
Figure BDA0002513478280000033
其中Y表示XYZ模式下颜色的Y分量，可由公式(13)计算得到；Z表示XYZ模式下颜色的Z分量，可由公式(14)计算得到；ε3为常系数；t为归一化系数；f(·)为校正函数，该函数由Gamma校正函数改进而来，计算公式如公式(15)；Ib矩阵尺寸为w*h；
Y＝θ4*IR+θ5*IG+θ6*IB (13)
Z＝θ7*IR+θ8*IG+θ9*IB (14)
Figure BDA0002513478280000034
其中θ4、θ5、θ6、θ7、θ8、θ9、θ10为权重系数；b2为偏置量；h为门限值。
5)自适应类颜色空间构建：
根据步骤1)到4)可获得4个尺寸为w*h的矩阵IH',IS',IC',Ib'，将它们级联在一起并进行线性变换，可得到面向虚假人脸检测任务的、自适应类颜色空间下的人脸图像(IH',IS',IC',Ib')，线性变换的过程如公式(16)：
Figure BDA0002513478280000035
其中wij为权重矩阵的元素。由神经网络的重构层训练数据集得到。IH',IS',IC',Ib'的矩阵尺寸均为w*h。卷积神经网络结构如附图2。
3、特征提取与检测：
1)自适应特征提取：
经过步骤1、2后，可得到自适应类颜色空间下的人脸图像(IH',IS',IC',Ib')，在此基础上进一步利用卷积神经网络对训练数据(IH',IS',IC',Ib')进行训练得到自适应的特征提取器，对训练数据进行特征提取得到特征图F。卷积神经网络结构如附图2。
2)检测：
经过步骤1)获得特征图F，进一步利用卷积神经网络对训练数据(IH',IS',IC',Ib')进行训练得到自适应的检测器，将F映射为一维特征向量后进行真假脸类别分类，得到检测结果。
3)模型训练
步骤1)和2)所得的特征提取器和分类器即为对应的卷积神经网络模型。
有益效果：
本发明使用虚假人脸检测领域公共数据集OULU-NPU进行对抗数据集构建和测试。通过计算本发明在整个数据集上的准确率(Accuracy,ACC)、半错误率(Half Total ErrorRate,HTER)和等错误率(Equal Error Rate,EER)来衡量本发明算法的有效性。本发明在OULU-NPU数据库上性能较文献1方法有较大提升。具体表现为ACC指标提高了32.1％，HTER指标提高了29.3％，EER指标提高了32.6％。
附图说明：
图1本发明流程图。
图2本发明卷积神经网络结构图。
具体实施方式：
1、数据预处理：
对于宽度和高度分别为w和h的RGB人脸图像I(x,y),x＝1,2,…,w,y＝1,2,…,h，归一化为宽和高均为l的RGB人脸图像，l常取64。
2、对抗样本集构建
对于数据集中提取到的纯人脸图像I，首先构建出对应的对抗样本。具体步骤如下：
1)基于FGM方法生成对抗样本：
利用文献2“Goodfellow Ian J,Shlens Jonathon,SzegedyChristian.Explaining And Harnessing Adversarial Examples[J].stat,2015,1050:20.”中FGM方法对图像I进行变换，由图像I生成对抗样本Iadv-FGM，可由公式(17)计算得到：
Iadv-FGM＝I+radv-FGM (17)
其中radv-FGM是指利用FGM方法构建出的对抗扰动，其宽度和高度均为64，可由公式(18)计算得到：
radv-FGM＝ε1·Ig/‖Ig‖2 (18)
其中ε1是限幅常数，常取范围在0.001～0.1之间；Ig是损失函数在样本I处的梯度，可由公式(19)计算得到：
Figure BDA0002513478280000051
其中
Figure BDA0002513478280000052
表示对I求梯度的算子；L(·)为损失函数，由神经网络学习得到；Iy为损失函数在样本I处的值，由神经网络计算得到；θ为损失函数的参数，由神经网络计算得到。
2)基于BIM方法生成对抗样本：
利用文献3“Kurakin Alexey,Goodfellow Ian,Bengio Samy.Adversarialexamples in the physical world[J].Artificial Intelligence Safety andSecurity,2018,:99-112.”中BIM方法由图像I生成对抗样本Iadv-BIM，可由公式(20)计算得到：
Figure BDA0002513478280000053
其中
Figure BDA0002513478280000054
是指初始的样本，可由公式(21)计算得到；N为迭代次数，通常最多迭代4次；radv-BIM是指利用BIM方法构建出的对抗扰动，其宽度和高度均为64，可由公式(6)计算得到：
Figure BDA0002513478280000055
radv-BIM＝ε2·Ig/‖Ig‖2 (22)
其中ε2是限幅常数，常取范围在0.001～0.1之间；‖·‖2是二范数运算符；Ig是损失函数在样本I处的梯度，可由公式(19)计算得到。
3)基于deepfool方法生成对抗样本：
利用文献4“Moosavi-Dezfooli Seyed-Mohsen,Fawzi Alhussein,FrossardPascal.Deepfool:a simple and accurate method to fool deep neural networks[C].Proceedings of the IEEE conference on computer vision and patternrecognition,2016:2574-2582.”中提出的deepfool方法由图像I生成对抗样本Iadv-d，可由公式(23)计算得到：
Figure BDA0002513478280000056
其中，
Figure BDA0002513478280000057
表示为使I被预测的标签发生改变，需要施加的使‖radv-d‖2取得最小值的radv-d，可由公式(24)计算得到：
Figure BDA0002513478280000058
其中，
Figure BDA0002513478280000059
表示分类器对I预测的标签；radv-d表示对I施加的扰动；s.t.表示约束条件，即在满足后式的条件下求取前式；min(·)表示求最小值算子。
4)对抗样本集的构建：
在现有的公用数据集基础上，根据步骤1)到3)可得到基于FGM、BIM和deepfool方法的对抗样本，将其中由现有数据集的训练集部分构建得到的对抗样本混合在一起，从其中随机选取μ的样本，再与原样本混合，构成最终的对抗样本集。其中μ为选择比，通常取值1/10。
3、针对虚假人脸检测的自适应类颜色空间构建
1)计算色相通道图：
图像I在HSV颜色空间中的色相(Hue)分量图IH，可由公式(25)计算得到：
Figure BDA0002513478280000061
其中，IR，IG和IB分别表示图像I的R,G,B三个颜色分量，IH矩阵尺寸为64*64；
2)计算饱和度通道图：
图像I在HSV颜色空间中的饱和度(Saturation)通道图IS，可通过公式(26)计算得到：
Figure BDA0002513478280000062
其中max(·)为求最大值算子；min(·)为求最小值算子；IS矩阵尺寸为64*64；
3)计算蓝色-亮度色差通道图：
图像I在YCrCb颜色空间中的Cb(蓝色-亮度色差)通道图IC，可由RGB输入信号的B通道像素值与RGB信号亮度值之间的差值获得，通过公式(27)计算得到：
IC＝-θ1*IR-θ2*IG+θ3*IB+b1 (27)
其中θ1为权重系数，常取0.148；θ2为权重系数，常取0.291；θ3为权重系数，常取0.439；b1为偏置量，常取128；IC矩阵尺寸为64*64；
4)计算蓝色-黄色色差通道图：
图像I的蓝色-黄色色差通道图Ib可通过公式(28)计算得到：
Figure BDA0002513478280000063
其中Y表示XYZ模式下颜色的Y分量，可由公式(29)计算得到；Z表示XYZ模式下颜色的Z分量，可由公式(30)计算得到；ε3为常系数，常取200；t为归一化系数，常取255；f(·)为校正函数，该函数由Gamma校正函数改进而来，计算公式如公式(31)；Ib矩阵尺寸为64*64；
Y＝0.2126*IR+0.7122*IG+0.0752*IB (29)
Z＝0.0193*IR+0.1192*IG+0.9505*IB (30)
Figure BDA0002513478280000064
其中θ4为权重系数，常取0.2126；θ5为权重系数，常取0.7122；θ6为权重系数，常取0.0752；θ7为权重系数，常取0.0193；θ8为权重系数，常取0.1192；θ9为权重系数，常取0.9505；θ10为权重系数，常取7.787；b2为偏置量，常取4/29；h为门限值，常取0.008856。
5)自适应类颜色空间构建：
根据步骤1)到4)可获得4个尺寸为w*h的矩阵IH',IS',IC',Ib'。，将它们级联在一起并进行线性变换，可得到面向虚假人脸检测任务的、自适应类颜色空间下的人脸图像(IH',IS',IC',Ib')，线性变换的过程如公式(32)：
Figure BDA0002513478280000065
其中wij由卷积神经网络的重构层训练数据集得到。重构层由一层网络构成，通过对卷积神经网络目标函数关于wij求偏导确定最优的wij。IH',IS',IC',Ib'的矩阵尺寸均为64*64。卷积神经网络结构如附图2。网络各层的核函数、窗函数和激活函数的设置情况如表1所示。
表1卷积神经网络各层的核函数、窗函数和激活函数的设置情况
网络层名称 核函数/窗函数大小 激活函数
Conv1 3×3 ReLU
Conv2 3×3 ReLU
Conv3 3×3 ReLU
Pooling1 2×2 ——
Conv4 3×3 ReLU
Conv5 3×3 ReLU
Pooling2 2×2 ——
Dense1 —— ReLU
Dense2 —— Softmax
4、特征提取与检测：
1)自适应特征提取：
经过步骤1到3后，可得到自适应类颜色空间下的人脸图像(IH',IS',IC',Ib')，在此基础上进一步利用卷积神经网络对训练数据(IH',IS',IC',Ib')进行训练得到自适应的特征提取器，对训练数据进行特征提取得到特征图F。卷积神经网络结构如附图2，各层核函数、窗函数和激活函数的设置情况如表1。
2)检测：
经过步骤1)获得特征图F，进一步利用卷积神经网络对训练数据(IH',IS',IC',Ib')进行训练得到自适应的检测器，将F映射为一维特征向量后进行真假脸类别分类，得到检测结果。卷积神经网络结构如附图2，各层核函数、窗函数和激活函数的设置情况如表1。
3)模型训练
步骤1)和2)所得的特征提取器和分类器即为对应的卷积神经网络模型。

Claims (1)

1.基于对抗学习和类颜色空间的视频虚假人脸检测方法，其特征在于两个部分：针对虚假人脸检测的对抗样本集构建和针对虚假人脸检测的自适应类颜色空间计算；
(1)针对虚假人脸检测的对抗样本集构建：
对于宽度和高度分别为w和h的RGB人脸图像I(x,y),x＝1,2,…,w,y＝1,2,…,h；
1)计算基于FGM方法的对抗样本：
图像I的基于FGM方法的对抗样本Iadv-FGM是指利用FGM方法由图像I构建出的对抗样本，可由公式(1)计算得到：
Iadv-FGM＝I+radv-FGM (1)
其中radv-FGM是指利用FGM方法构建出的对抗扰动，其宽度和高度分别为w和h，可由公式(2)计算得到：
radv-FGM＝ε1·Ig/‖Ig‖2 (2)
其中ε1是限幅常数；Ig是损失函数在样本I处的梯度，可由公式(3)计算得到：
Figure FDA0002513478270000011
其中
Figure FDA0002513478270000012
表示对I求梯度的算子；L(·)为损失函数；Iy为损失函数在样本I处的值；θ为损失函数的参数。
2)计算基于BIM方法的对抗样本：
图像I的基于BIM方法的对抗样本Iadv-BIM是指利用BIM方法由图像I构建出的对抗样本，可由公式(4)计算得到：
Figure FDA0002513478270000013
其中
Figure FDA0002513478270000014
是指初始的样本，可由公式(5)计算得到；N为迭代次数，通常最多迭代4次；radv-BIM是指利用BIM方法构建出的对抗扰动，其宽度和高度分别为w和h，可由公式(6)计算得到：
Figure FDA0002513478270000015
radv-BIM＝ε2·Ig/‖Ig‖2 (6)
其中ε2是限幅常数；‖·‖2是二范数运算符；Ig是损失函数在样本I处的梯度，可由公式(3)计算得到。
3)计算基于deepfool方法的对抗样本：
图像I的基于deepfool方法的对抗样本Iadv-d是指利用deepfool方法由图像I构建出的对抗样本，可由公式(7)计算得到：
Figure FDA0002513478270000016
其中，
Figure FDA0002513478270000017
表示为使I被预测的标签发生改变，需要施加的使‖radv-d‖2取得最小值的radv-d，可由公式(8)计算得到：
Figure FDA0002513478270000018
其中，
Figure FDA0002513478270000019
表示分类器对I预测的标签；radv-d表示对I施加的扰动；s.t.表示约束条件，即在满足后式的条件下求取前式。
4)对抗样本集的构建：
在现有的公用数据集基础上，根据步骤1)到3)我们可以得到基于FGM、BIM和deepfool方法的对抗样本，将其中由现有数据集的训练集部分构建得到的对抗样本混合在一起，从其中随机选取μ的样本，再与原样本混合，构成最终的对抗样本集。其中μ为选择比。
(2)针对虚假人脸检测的自适应类颜色空间构建：
对于宽度和高度分别为w和h的RGB人脸图像I(x,y),x＝1,2,…,w,y＝1,2,…,h；
1)计算色相通道图：
图像I的色相通道图IH是指图像在HSV颜色空间中的色相(Hue)分量，可由公式(9)计算得到：
Figure FDA0002513478270000021
其中，IR，IG和IB分别表示图像I的R,G,B三个颜色分量，IH矩阵尺寸为w*h；
2)计算饱和度通道图：
图像I的饱和度通道图IS是指图像在HSV颜色空间中的饱和度(Saturation)分量，可通过公式(10)计算得到：
Figure FDA0002513478270000022
其中max(·)为求最大值算子；min(·)为求最小值算子；IS矩阵尺寸为w*h；
3)计算蓝色-亮度色差通道图：
图像I的蓝色-亮度色差通道图IC是指图像在YCrCb颜色空间中的Cb分量，具体来说就是RGB输入信号的B通道像素值与RGB信号亮度值之间的差值，可通过公式(11)计算得到：
IC＝-θ1*IR-θ2*IG+θ3*IB+b1 (11)
其中θ1、θ2、θ3为权重系数；b1为偏置量；IC矩阵尺寸为w*h；
4)计算蓝色-黄色色差通道图：
图像I的蓝色-黄色色差通道图Ib可通过公式(12)计算得到：
Figure FDA0002513478270000023
其中Y表示XYZ模式下颜色的Y分量，可由公式(13)计算得到；Z表示XYZ模式下颜色的Z分量，可由公式(14)计算得到；ε3为常系数；t为归一化系数；f(·)为校正函数，该函数由Gamma校正函数改进而来，计算公式如公式(15)；Ib矩阵尺寸为w*h；
Y＝θ4*IR+θ5*IG+θ6*IB (13)
Z＝θ7*IR+θ8*IG+θ9*IB (14)
Figure FDA0002513478270000024
其中θ4、θ5、θ6、θ7、θ8、θ9、θ10为权重系数；b2为偏置量；h为门限值。
5)针对虚假人脸检测的自适应类颜色空间构建：
根据步骤1)到4)我们得到了4个尺寸为w*h的矩阵IH',IS',IC',Ib'。将它们级联在一起并进行线性变换得到自适应类颜色空间下的人脸图像(IH',IS',IC',Ib')，线性变换的过程如公式(16)：
Figure FDA0002513478270000031
其中wij为权重矩阵的元素。由神经网络的重构层训练数据集得到。IH',IS',IC',Ib'的矩阵尺寸均为w*h。
CN202010468575.1A 2020-05-28 2020-05-28 基于对抗学习和类颜色空间的视频虚假人脸检测方法 Active CN111639589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010468575.1A CN111639589B (zh) 2020-05-28 2020-05-28 基于对抗学习和类颜色空间的视频虚假人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010468575.1A CN111639589B (zh) 2020-05-28 2020-05-28 基于对抗学习和类颜色空间的视频虚假人脸检测方法

Publications (2)

Publication Number Publication Date
CN111639589A true CN111639589A (zh) 2020-09-08
CN111639589B CN111639589B (zh) 2022-04-19

Family

ID=72329476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010468575.1A Active CN111639589B (zh) 2020-05-28 2020-05-28 基于对抗学习和类颜色空间的视频虚假人脸检测方法

Country Status (1)

Country Link
CN (1) CN111639589B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200075A (zh) * 2020-10-09 2021-01-08 西安西图之光智能科技有限公司 一种基于异常检测的人脸防伪方法
CN112883874A (zh) * 2021-02-22 2021-06-01 中国科学技术大学 针对深度人脸篡改的主动防御方法
CN112927202A (zh) * 2021-02-25 2021-06-08 华南理工大学 多时域多特征结合的Deepfake视频检测方法及系统
CN114065872A (zh) * 2021-11-26 2022-02-18 杭州涿溪脑与智能研究所 基于特征重构的可见光图像通用对抗扰动构建方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436252A (zh) * 2008-12-22 2009-05-20 北京中星微电子有限公司 一种车辆视频图像中车身颜色识别方法及系统
CN108596141A (zh) * 2018-05-08 2018-09-28 深圳大学 一种深度网络生成人脸图像的检测方法及系统
CN108710831A (zh) * 2018-04-24 2018-10-26 华南理工大学 一种基于机器视觉的小数据集人脸识别算法
CN109359659A (zh) * 2018-12-26 2019-02-19 哈尔滨理工大学 一种基于颜色特征的汽车保险片分类方法
US20190279009A1 (en) * 2018-03-12 2019-09-12 Microsoft Technology Licensing, Llc Systems and methods for monitoring driver state
CN110414350A (zh) * 2019-06-26 2019-11-05 浙江大学 基于注意力模型的双路卷积神经网络的人脸防伪检测方法
CN110443203A (zh) * 2019-08-07 2019-11-12 中新国际联合研究院 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法
AU2019101186A4 (en) * 2019-10-02 2020-01-23 Guo, Zhongliang MR A Method of Video Recognition Network of Face Tampering Based on Deep Learning
CN110991299A (zh) * 2019-11-27 2020-04-10 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436252A (zh) * 2008-12-22 2009-05-20 北京中星微电子有限公司 一种车辆视频图像中车身颜色识别方法及系统
US20190279009A1 (en) * 2018-03-12 2019-09-12 Microsoft Technology Licensing, Llc Systems and methods for monitoring driver state
CN108710831A (zh) * 2018-04-24 2018-10-26 华南理工大学 一种基于机器视觉的小数据集人脸识别算法
CN108596141A (zh) * 2018-05-08 2018-09-28 深圳大学 一种深度网络生成人脸图像的检测方法及系统
CN109359659A (zh) * 2018-12-26 2019-02-19 哈尔滨理工大学 一种基于颜色特征的汽车保险片分类方法
CN110414350A (zh) * 2019-06-26 2019-11-05 浙江大学 基于注意力模型的双路卷积神经网络的人脸防伪检测方法
CN110443203A (zh) * 2019-08-07 2019-11-12 中新国际联合研究院 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法
AU2019101186A4 (en) * 2019-10-02 2020-01-23 Guo, Zhongliang MR A Method of Video Recognition Network of Face Tampering Based on Deep Learning
CN110991299A (zh) * 2019-11-27 2020-04-10 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEI LI ET AL: "Face Presentation Attack Detection in Learned Color-liked Space", 《ARXIV:1810.13170V2》 *
LEI LI ET AL: "Face spoofing detection with local binary pattern network", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 *
马玉锟等: "一种面向人脸活体检测的对抗样本生成算法", 《软件学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200075A (zh) * 2020-10-09 2021-01-08 西安西图之光智能科技有限公司 一种基于异常检测的人脸防伪方法
CN112200075B (zh) * 2020-10-09 2024-06-04 西安西图之光智能科技有限公司 一种基于异常检测的人脸防伪方法
CN112883874A (zh) * 2021-02-22 2021-06-01 中国科学技术大学 针对深度人脸篡改的主动防御方法
CN112883874B (zh) * 2021-02-22 2022-09-06 中国科学技术大学 针对深度人脸篡改的主动防御方法
CN112927202A (zh) * 2021-02-25 2021-06-08 华南理工大学 多时域多特征结合的Deepfake视频检测方法及系统
CN112927202B (zh) * 2021-02-25 2022-06-03 华南理工大学 多时域多特征结合的Deepfake视频检测方法及系统
CN114065872A (zh) * 2021-11-26 2022-02-18 杭州涿溪脑与智能研究所 基于特征重构的可见光图像通用对抗扰动构建方法及系统

Also Published As

Publication number Publication date
CN111639589B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN111639589B (zh) 基于对抗学习和类颜色空间的视频虚假人脸检测方法
Naseer et al. Local gradients smoothing: Defense against localized adversarial attacks
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
US11354917B2 (en) Detection of fraudulently generated and photocopied credential documents
CN104966085B (zh) 一种基于多显著特征融合的遥感图像感兴趣区域检测方法
WO2019071754A1 (zh) 一种基于深度学习的图像隐私感知方法
CN114067444B (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN102663405B (zh) 基于显著度和混合高斯模型的监控视频前景提取方法
Katzir et al. Detecting adversarial perturbations through spatial behavior in activation spaces
CN112668557A (zh) 一种行人再识别系统中防御图像噪声攻击的方法
CN115331079A (zh) 一种面向多模态遥感图像分类网络的对抗攻击方法
CN112200075B (zh) 一种基于异常检测的人脸防伪方法
CN114758113A (zh) 对抗样本防御训练方法、分类预测方法及装置、电子设备
Chen et al. Multi-dimensional color image recognition and mining based on feature mining algorithm
CN111274946B (zh) 一种人脸识别方法和系统及设备
CN112215780A (zh) 基于类特征修复融合的图像取证对抗性攻击防御方法
CN110929239B (zh) 一种基于唇语指令的终端解锁方法
CN112419258A (zh) 基于时频分割及卷积神经网络的鲁棒环境声音识别方法
Sabitha et al. Enhanced model for fake image detection (EMFID) using convolutional neural networks with histogram and wavelet based feature extractions
Patel et al. Image Forgery Detection using CNN
CN114049537A (zh) 一种基于卷积神经网络的对抗样本防御方法
CN116824695B (zh) 一种基于特征去噪的行人再识别非局部防御方法
CN103761511B (zh) 基于rgb彩色特征双重流形鉴别分析的彩色人脸识别方法
CN116311439A (zh) 一种人脸验证隐私保护方法和装置
CN108280468A (zh) 一种基于网格的图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221124

Address after: 712000 No. 1, Floor 1, Unit 1, Building F4, Caihong New Home, Yingbin Road, Qindu District, Xianyang, Shaanxi

Patentee after: Xianyang xinhepu photoelectric Co.,Ltd.

Address before: Beilin District Shaanxi province Xi'an City friendship road 710072 No. 127

Patentee before: Northwestern Polytechnical University

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 710000 Room 301-17, West Building, Building 10, West Life Science Park, Fengdong New City, Xixian New District, Xi'an City, Shaanxi Province

Patentee after: Shaanxi Xinhepu Optoelectronics Co.,Ltd.

Address before: 712000 No. 1, Floor 1, Unit 1, Building F4, Caihong New Home, Yingbin Road, Qindu District, Xianyang, Shaanxi

Patentee before: Xianyang xinhepu photoelectric Co.,Ltd.

CP03 Change of name, title or address