CN111460931B - 基于颜色通道差值图特征的人脸欺骗检测方法及系统 - Google Patents

基于颜色通道差值图特征的人脸欺骗检测方法及系统 Download PDF

Info

Publication number
CN111460931B
CN111460931B CN202010186904.3A CN202010186904A CN111460931B CN 111460931 B CN111460931 B CN 111460931B CN 202010186904 A CN202010186904 A CN 202010186904A CN 111460931 B CN111460931 B CN 111460931B
Authority
CN
China
Prior art keywords
color channel
attention
image
module
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010186904.3A
Other languages
English (en)
Other versions
CN111460931A (zh
Inventor
胡永健
任园园
谢以翔
王宇飞
刘琲贝
穆罕默德·艾哈迈德·阿明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Sino Singapore International Joint Research Institute
Original Assignee
South China University of Technology SCUT
Sino Singapore International Joint Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Sino Singapore International Joint Research Institute filed Critical South China University of Technology SCUT
Priority to CN202010186904.3A priority Critical patent/CN111460931B/zh
Publication of CN111460931A publication Critical patent/CN111460931A/zh
Application granted granted Critical
Publication of CN111460931B publication Critical patent/CN111460931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本发明公开了一种基于颜色通道差值图特征的人脸欺骗检测方法及系统,该方法包括下述步骤:视频数据预处理后选取人脸图像;提取人脸图像得到多个颜色通道图像;计算颜色通道图像之间的差值得到多个颜色通道差值图,并进行归一化处理得到归一化颜色通道差值图;将设置的注意力模块添加到深度卷积神经网络中构建注意力网络;将交叉熵损失与验证损失通过加权结合为总损失;将归一化颜色通道差值图输入注意力网络进行噪声特征学习,根据损失值更新网络权重系数,训练注意力网络,完成训练后保存注意力网络的模型和权重;训练后的注意力网络预测分类结果。本发明能准确提取欺骗噪声特征,提高人脸欺骗检测模型的泛化能力。

Description

基于颜色通道差值图特征的人脸欺骗检测方法及系统
技术领域
本发明涉及人脸检测识别技术领域,具体涉及一种基于颜色通道差值图特征的人脸欺骗检测方法及系统。
背景技术
人脸欺骗检测就是判断人脸识别过程中是真人脸还是静态或者动态假脸,这些假脸通常可能是打印的人脸照片、重放的人脸视频或3D面膜等,现有人脸欺骗检测技术中一种方式是基于传统手工特征来实施检测,例如,通过提取纹理特征等,另一种方式是通过基于深度学习进行检测;而基于手工提取特征的方法易受到光照条件和场景的影响,且提取的特征不够丰富,难以满足检测准确率的需求;大部分基于深度学习的方法在进行训练时都直接采用RGB或灰度图像作为网络输入,这种方式导致网络学习到的特征可能不是用于区分活体图像的有效特征,而是拟合了人脸识别的特征,在“真/假”两类标签的监督训练下使模型容易只关注两类训练数据中非欺骗信息的差异(例如人脸结构差异、背景内容差异等),故模型在库内检测准确率高,但跨库性能大幅降低,泛化性差。
发明内容
为了克服现有技术存在的缺陷与不足,本发明提供一种基于颜色通道差值图特征的人脸欺骗检测方法,本发明所设计的网络能准确提取欺骗噪声特征,提高网络模型的泛化能力。
为了达到上述目的,本发明采用以下技术方案:
本发明提供一种基于颜色通道差值图特征的人脸欺骗检测方法,包括下述步骤:
视频数据预处理,选取人脸图像;
提取所述人脸图像得到多个颜色通道图像;
计算所述颜色通道图像之间的差值,得到多个颜色通道差值图;
对所述颜色通道差值图进行归一化处理,得到归一化颜色通道差值图;
设置多个注意力模块,将所述注意力模块添加到深度卷积神经网络的每个基础网络结构中,构建注意力网络;
采用分类标签计算交叉熵损失,采用人脸图像的特征向量计算验证损失,将交叉熵损失与验证损失通过加权结合为总损失;
将所述归一化颜色通道差值图输入所述注意力网络进行噪声特征学习,以最小化损失函数为目标训练注意力网络;
根据损失值更新网络权重系数,在注意力网络训练完成后保存注意力网络的模型和权重;
提取待检测视频数据的人脸图像,并转换为归一化颜色通道差值图后输入到训练后的注意力网络,预测分类结果。
作为优选的技术方案,所述视频数据预处理,具体步骤包括:从视频数据中提取图像帧,采用人脸识别算法检测人脸区域,裁剪后得到统一尺寸的人脸图像,作为待训练的人脸图像。
作为优选的技术方案,所述提取所述人脸图像得到多个颜色通道图像,所述人脸图像采用RGB格式图像,提取得到红、绿、蓝3个颜色通道图像。
作为优选的技术方案,计算所述颜色通道图像之间的差值,得到多个颜色通道差值图,具体步骤包括:
将人脸图像表示为:
J(x,y)=I(x,y)+Z(x,y)
其中,(x,y)表示图像中像素点的二维坐标,I(x,y)表示真实自然图像,Z(x,y)表示欺骗噪声;
所述人脸图像采用RGB格式图像,对于r、g、b每一个颜色通道,人脸欺骗过程均引入了欺骗噪声,r、g、b每一个颜色通道的人脸图像表示为:
Jr(x,y)=Ir(x,y)+Zr(x,y)
Jg(x,y)=Ig(x,y)+Zg(x,y)
Jb(x,y)=Ib(x,y)+Zb(x,y)
计算3个颜色通道图像之间的差值,得到差值图Dr-g、差值图Dr-b和差值图Dg-b,分别表示为:
Dr-g(x,y)=Jr(x,y)-Jg(x,y)
Dr-b(x,y)=Jr(x,y)-Jb(x,y)
Dg-b(x,y)=Jg(x,y)-Jb(x,y)。
作为优选的技术方案,对所述颜色通道差值图进行归一化处理,得到归一化颜色通道差值图,所述归一化处理的具体公式表示为:
Figure BDA0002414509410000031
其中Ddmax,Ddmin分别表示差值图d中的最大值和最小值,Dd(x,y)表示当前像素值。
作为优选的技术方案,将所述注意力模块添加到深度卷积神经网络的每个基础网络结构中,构建注意力网络,具体步骤包括:
将所述注意力模块添加到深度卷积神经网络的每个基础网络结构中,依据二分类任务修改最后一层全连接层的节点数,给定卷积特征图F作为输入,注意力模块的输出为注意力引导特征图T:
Figure BDA0002414509410000032
其中,
Figure BDA0002414509410000033
表示逐元素乘法,M(F)表示根据卷积特征图F产生的注意力权重图。
作为优选的技术方案,所述给定卷积特征图F作为输入,注意力模块的输出为注意力引导特征图T,具体步骤包括:
所述注意力模块对卷积特征图F进行全局平均池化,对特征通道信息降维,生成特征向量Favg,将特征向量Favg输入到构建的3个全连接层中,输出向量Fc
将输出向量Fc采用矩阵形状扩增操作,将每个注意力值对应不同的卷积特征图尺寸,并且通过Sigmoid函数将注意力权重图M中的注意力值映射到(0,1)的范围,生成注意力权重值;
将注意力权重图M与卷积特征图F对应点相乘,获得注意力引导特征图T。
作为优选的技术方案,将交叉熵损失与验证损失通过加权结合为总损失,具体计算公式为:
L=λ1LCls2LTrip
其中,λ1表示交叉熵损失LCls的占比权重,λ2表示验证损失LTrip的占比权重;
交叉熵损失函数LCls定义为:
Figure BDA0002414509410000041
其中,k表示同一批送入网络进行训练的样本数量,uw
Figure BDA0002414509410000042
分别表示第w个样本的真实值与预测值;
验证损失函数采用三元组损失函数LTrip,其定义为:
Figure BDA0002414509410000043
其中,m表示同一批送入网络进行训练的样本数量,
Figure BDA0002414509410000044
表示s类第i个样本的512维特征向量,下标a、p、n分别表示三元组的锚点、正样本点和负样本点,margin表示正样本对和负样本对间的最小间隔。
本发明还提供一种基于颜色通道差值图特征的人脸欺骗检测系统,包括:视频数据预处理模块、颜色通道图像提取模块、颜色通道差值图获取模块、归一化处理模块、注意力网络构建模块、总损失构建模块、注意力网络训练模块、训练参数更新模块和检测模块;
所述视频数据预处理模块用于进行视频数据预处理,选取人脸图像;
所述颜色通道图像提取模块用于提取所述人脸图像得到多个颜色通道图像;
所述颜色通道差值图获取模块用于计算所述颜色通道图像之间的差值,得到多个颜色通道差值图;
所述归一化处理模块用于对所述颜色通道差值图进行归一化处理,得到归一化颜色通道差值图;
所述注意力网络构建模块用于设置多个注意力模块,将所述注意力模块添加到深度卷积神经网络的每个基础网络结构中,构建注意力网络;
所述总损失构建模块包括交叉熵损失计算模块和验证损失计算模块,所述交叉熵损失计算模块采用分类标签计算交叉熵损失,所述验证损失计算模块采用人脸图像的特征向量计算验证损失,所述总损失构建模块将交叉熵损失与验证损失通过加权结合为总损失;
所述注意力网络训练模块用于将所述归一化颜色通道差值图输入所述注意力网络进行噪声特征学习,以最小化损失函数为目标训练注意力网络;
所述训练参数更新模块用于根据损失值更新网络权重系数,在注意力网络训练完成后保存注意力网络的模型和权重;
所述检测模块用于提取待检测视频数据的人脸图像,并转换为归一化颜色通道差值图后输入到训练后的注意力网络,预测分类结果。
作为优选的技术方案,所述颜色通道图像提取模块包括r颜色通道提取模块、g颜色通道提取模块和b颜色通道提取模块,分别用于提取r、g和b颜色通道的人脸图像。
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明采用了从归一化颜色通道差值图提取分类特征的技术方案,相比于直接使用RGB图像,降低了不同训练数据对模型性能的影响,在保证库内高准确率的同时,大幅降低跨库错误率,提高人脸欺骗检测模型的泛化性能,且跨库性能表现平稳。
(2)本发明采用一种轻量级的注意力网络结构进行人脸欺骗检测,通过使用注意力机制,优化了对归一化颜色通道差值图的分类特征的学习,保证了模型对人脸欺骗信息的提取能力。
(3)本发明将交叉熵损失与验证损失相结合,采用多任务监督的方式,进一步提高模型的泛化能力。
(4)本发明设计了一个结构简单、参数少的注意力网络,达到了模型运行速度快、对硬件部署要求低的效果,有利于在实际场景中应用。
附图说明
图1为本实施例基于颜色通道差值图特征的人脸欺骗检测方法的训练流程示意图;
图2为本实施例基于颜色通道差值图特征的人脸欺骗检测方法的流程示意图;
图3为本实施例预处理后获得的图像以及3个颜色通道图像示意图;
图4为本实施例颜色通道差值图示意图;
图5为本实施例注意力网络结构示意图;
图6为本实施例注意力网络各层次的架构示意图;
图7为本实施例基于颜色通道差值图特征的人脸欺骗检测方法的测试流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例
本实施例采用CASIA-MFSD活体检测数据集和Idiap Replay-Attack活体检测数据集进行训练和检测,CASIA-MFSD视频拍摄设备包含有使用时间较久的USB摄像头、新USB摄像头、Sony NEX-5摄像头,对应的分辨率分别为640×480像素、480×640像素、1920×1080像素,共含50个个体的600段视频。Idiap Replay-Attack视频拍摄设备使用了笔记本内置摄像头,分辨率为320×240像素,共含50个个体的1300段视频;实施例在Linux系统上进行,主要基于深度学习框架Pytorch来实现,本实施例所用显卡为GTX1080Ti,CUDA版本为8.0.61,cudnn版本为6.0.21,使用OpenCV的VideoCapture类读取CASIA-MFSD活体检测数据集的训练集视频,得到视频各帧图像;
如图1、图2所示,本实施例提供一种基于颜色通道差值图特征的人脸欺骗检测方法,包括视频数据预处理、构建颜色通道差值图、设计注意力网络、模型训练和模型应用等步骤,具体步骤如下:
S1:视频数据预处理:对输入视频分帧,提取帧图像,逐帧选择图像的人脸部分作为检测区域;
在本实施例中,具体步骤包括:从视频中顺序提取图像帧,利用人脸识别算法检测人脸区域,裁剪得到待训练的人脸图像,尺寸为224×224;
S2:构建颜色通道差值图:
S21:读取上述预处理后的图像数据,提取3个颜色通道图像;
如图3所示,在本实施例中,具体为读取图像为RGB格式,得到红、绿、蓝3个颜色通道图像;
S22:如图4所示,计算3个颜色通道图像之间的差值,获得3个颜色通道差值图;
在本实施例中,具体步骤为:
假设原始无噪人脸图像为O,人脸图像的一般表达为J,真实自然图像在成像过程中不可避免地会引入成像管道的物理和电子噪声,此外,在数字图像存储过程中还会引入量化编码噪声,本实施例采用符号N0表示;另一方面,在攻击者欺骗人脸识别系统时,即在人脸图像伪造过程中,由于外部环境、光线、人脸图像媒介的材质等多个因素的影响,伪造人脸的媒介以及攻击方式会引入多种攻击噪声,如欺骗介质材质的反光噪声、拍摄环境噪声等,由此引入了与真实人脸图像噪声不一样的特征,本实施例用符号Z来表示这种差异,至此,人脸图像的一般数学表达则为:
J(x,y)=O(x,y)+N0(x,y)+Z(x,y)
其中,(x,y)表示图像中像素点的二维坐标,对于真实自然图像,Z(x,y)=0。由于无噪人脸图像O与自然噪声N0均属于非欺骗信息,现令I(x,y)=O(x,y)+N0(x,y),则I(x,y)表示真实自然图像,图像的一般表达式简化为:
J(x,y)=I(x,y)+Z(x,y)
将图像数据读取为RGB格式,图像中一个像素点的值由红、绿、蓝3个颜色通道来组成,每个颜色通道表示对应的颜色分量值,对于图中每一个颜色通道,可以得到如下公式:
JC(x,y)=Ic(x,y)+Zc(x,y),c∈{r,g,b}
则对于r,g,b每一个颜色通道,人脸欺骗过程均引入了欺骗噪声,即有:
Jr(x,y)=Ir(x,y)+Zr(x,y)
Jg(x,y)=Ig(x,y)+Zg(x,y)
Jb(x,y)=Ib(x,y)+Zb(x,y)
在上述公式,攻击噪声Zc(Zc≠0,c∈{r,g,b})是识别伪造人脸的重要依据,颜色通道间的减法运算抑制了图像内容对差值图的影响,为了凸显了噪声分量,按下式求得各个颜色通道间的差值图Dc1-c2
Dc1-c2(x,y)=Jc1(x,y)-Jc2(x,y)
=(Ic1(x,y)+Zc1(x,y))-(Ic2(x,y)+Zc2(x,y))
=(Ic1(x,y)-Ic2(x,y))+(Zc1(x,y)-Zc2(x,y))
其中,Ic1-Ic2表示颜色通道c1的值减去颜色通道c2的值,c1,c2∈{r,g,b}且c1≠c2,由于图像内容恒定,故上式中前一项Ic1-Ic2可认为是对图像内容的抑制;与此同时,由于欺骗噪声多来自材质或媒介的反光噪声,且受外界环境影响(例如光照)严重,可看成是随机噪声,因此后一个项中两个不同颜色通道的噪声分量相减不会削弱其强度,这是本实施例能够提取分类噪声特征的重要依据;
RGB图像有红、绿、蓝3个颜色通道,3个颜色通道间的差值图Dr-g、Dr-b、Dg-b分别计算如下:
Dr-g(x,y)=Jr(x,y)-)g(x,y)
Dr-b(x,y)=Jr(x,y)-Jb(x,y)
Dg-b(x,y)=Jg(x,y)-Jb(x,y)
S23:分别对3个颜色通道差值图进行归一化操作,得到归一化颜色通道差值图;
在本实施例中,逐像素线性归一化公式如下:
Figure BDA0002414509410000091
其中,Ddmax,Ddmin分别为差值图d中的最大值和最小值,Dd(x,y)为当前像素值;
S3:设计注意力网络:如图5、图6所示,在深度卷积神经网络ResNet-18的基础上,将注意力模块放置在基准网络的每个基础结构中,组成一个端到端的网络结构,构建成注意力网络模型;图6中的注意力网络架构为卷积层和全连接层的主要设置,不包括ResNet网络的池化层和批处理归一化层以及ResNet网络的降采样结构;
在本实施例中,注意力网络采用ResNet-18作为基准网络,并依据二分类任务修改最后一层全连接层的节点数,注意力模块放置在基准网络的每个基础块中,给定卷积特征图F作为输入,注意力模块的输出为注意力引导特征图T:
Figure BDA0002414509410000092
其中,
Figure BDA0002414509410000101
表示逐元素乘法,符号M(F)表示根据卷积特征图F产生的注意力权重图,通过对应点相乘的方式,使得卷积特征图F中的每个值都获得比重加权,实现细粒度的特征引导学习功能,合理提高卷积特征图F中重要特征通道的影响力,同时,通过Sigmoid函数,注意力权重图的值被限制在(0,1)的开区间,将该值与卷积特征图F对应点相乘,实现注意力加权;在注意力模块的设计中,注意力引导特征图T被作为模块的最终输出,通过网络不断的迭代学习,注意力引导特征图T会不断累积有利于分类的欺骗噪声信息;
在本实施例中,注意力模块的设计有如下3个步骤:
(1)注意力机制的设计从颜色通道的重要性出发,实现特征通道间的关联性和注意力程度的学习,因此注意力模块首先会对卷积特征图F进行全局平均池化,对特征通道信息降维,并生成特征向量Favg,将特征向量Favg送入所构建3个全连接层,全连接层的作用是学习不同特征通道的关联性与自动学习降维信息的最优值,输出向量Fc,全连接层的输出向量代表着特征通道间的注意力程度,即通道注意力权重值;
(2)对上述全连接层的输出向量Fc使用矩阵形状扩增操作,将每个注意力值对应不同的卷积特征图尺寸,并且通过Sigmoid函数,注意力权重图M中的注意力值被映射到(0,1)的范围,生成注意力权重值;
(3)将注意力权重图M与卷积特征图F对应点相乘,实现本实施例方法所设计的注意力机制,获得注意力引导特征图T;
S4:模型训练:
设置模型训练参数,包括模型训练周期、学习率、优化方法、算法训练的批尺寸、损失函数,在本实施例中,采用ImageNet数据集预训练ResNet-18模型,按照分类个数修改网络输出层维度,设置训练周期为40,优化方法为Adam,学习率为0.0001,权重衰减为0.0005,训练的批尺寸为64;
将归一化颜色通道差值图送入注意力网络进行噪声特征学习,采用“真/假”两类标签用于计算交叉熵损失,并利用ResNet-18的512维特征向量计算验证损失,将交叉熵损失与验证损失通过加权结合在一起,根据损失值更新网络权重系数,以最小化损失函数为目标来训练网络,最终实现分类;
在本实施例中,将交叉熵损失与验证损失加权联合在一起训练网络,具体设置为:
L=λ1LCls2LTrip
其中,λ1为交叉熵损失LCls的占比权重,λ2为验证损失LTrip的占比权重,本实施例将占比权重λ1设置为1,占比权重λ2设置为0.5;
交叉熵损失函数LCls定义为:
Figure BDA0002414509410000111
其中,k表示同一批送入网络进行训练的样本数量,uw
Figure BDA0002414509410000112
分别表示第w个样本的真实值与预测值;
验证损失函数采用三元组损失函数LTrip,其定义为:
Figure BDA0002414509410000113
其中,m表示同一批送入网络进行训练的样本数量,
Figure BDA0002414509410000114
表示s类第i个样本的512维特征向量,下标a、p、n分别表示三元组的锚点、正样本点和负样本点,margin表示正样本对和负样本对间的最小间隔,以损失函数L最小化为目标,采用bp算法来训练模型,由此通过两个损失函数的加权和来实现多任务学习;本实施例将正样本对和负样本对间的最小间隔margin设置为0.4;
训练优化网络的参数,直至训练网络参数稳定,训练完成后,保存网络的模型和权重;
S5:模型应用:加载模型训练步骤保存的模型结构和参数作为检测系统的后台模块;
提取待检测的图像,转换为归一化颜色通道差值图后,输入检测系统中,预测分类结果。
如图7所示,本实施例将上述步骤得到的模型作为测试模型进行测试,测试阶段的网络结构与训练阶段的网络结构相同;本实施例人脸欺骗检测算法性能评价指标是错误接受率(False Acceptance Rate,FAR)、错误拒绝率(False Rejection Rate,FRR)、等错误率(Equal Error Rate,EER)以及半错误率(Half Total Error Rate,HTER)。错误接受率(FAR)指算法把假体人脸判断成活体人脸的比率;错误拒绝率(FRR)指算法把活体人脸判断成假体人脸的比率;FRR与FAR相等时的错误率即为等错误率(EER);FRR与FAR的均值即为半错误率(HTER),其中,半错误率(HTER)是人脸欺骗检测算法常用的评价指标,计算公式如下:
Figure BDA0002414509410000121
本实施例还提供一种基于颜色通道差值图特征的人脸欺骗检测系统,包括:视频数据预处理模块、颜色通道图像提取模块、颜色通道差值图获取模块、归一化处理模块、注意力网络构建模块、总损失构建模块、注意力网络训练模块、训练参数更新模块和检测模块;
在本实施例中,视频数据预处理模块用于进行视频数据预处理,选取人脸图像;颜色通道图像提取模块用于提取人脸图像得到多个颜色通道图像;颜色通道差值图获取模块用于计算颜色通道图像之间的差值,得到多个颜色通道差值图;归一化处理模块用于对颜色通道差值图进行归一化处理,得到归一化颜色通道差值图;注意力网络构建模块用于设置多个注意力模块,将注意力模块添加到深度卷积神经网络的每个基础网络结构中,构建注意力网络;总损失构建模块包括交叉熵损失计算模块和验证损失计算模块,交叉熵损失计算模块采用分类标签计算交叉熵损失,验证损失计算模块采用人脸图像的特征向量计算验证损失,总损失构建模块将交叉熵损失与验证损失通过加权结合为总损失;注意力网络训练模块用于将归一化颜色通道差值图输入注意力网络进行噪声特征学习,以最小化损失函数为目标训练注意力网络;训练参数更新模块用于根据损失值更新网络权重系数,在注意力网络训练完成后保存注意力网络的模型和权重;检测模块用于提取待检测视频数据的人脸图像,并转换为归一化颜色通道差值图后输入到训练后的注意力网络,预测分类结果。
在本实施例中,颜色通道图像提取模块包括r颜色通道提取模块、g颜色通道提取模块和b颜色通道提取模块,分别用于提取r、g和b颜色通道的人脸图像。
为了证明本发明的可行性以及检验该方法的泛化性能,将本发明的方法与直接采用红、绿、蓝通道图像输入ResNet-18模型的方法作对比,在CASIA-MFSD和Idiap Replay-Attack数据库上分别进行库内实验与跨库实验。其中,库内实验结果如下表1所示,跨库实验结果如下表2所示:
表1库内实验结果
Figure BDA0002414509410000131
表2跨库实验结果(HTER/%)
Figure BDA0002414509410000132
由表1可知,对于Idiap Replay-Attack库,本发明的方法与直接使用红、绿、蓝通道图像输入ResNet-18模型的方法具有相同的半错误率,但在CASIA-MFSD库中,本发明的方法的等错误率低0.1%;由表2可知,本发明无论用CASIA-MFSD数据库还是Idiap Replay-Attack数据库训练,其跨库检测的半错误率都维持在34%-35%之间;与之相比,直接使用红、绿、蓝通道图像输入ResNet-18模型的方法其半错误率分别高达40%和52.6%,说明跨库性能急剧恶化,泛化性能不好。上述实验结果证明,本发明在保证库内高准确率的同时,大幅降低跨库错误率,明显改善泛化性能,且跨库性能表现平稳。
本实施例利用注意力网络提取颜色通道差值图特征进行人脸欺骗检测,通过抑制图像内容来凸显自然图像的噪声和欺骗攻击噪声之间的差异,另外,为了进一步优化特征学习过程,本实施例设计注意力网络来实现端到端的欺骗特征引导学习,实验结果证明,本实施例在包括CASIA-FASD和Idiap Replay-attack在内的基准数据库测试中,性能良好。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种基于颜色通道差值图特征的人脸欺骗检测方法,其特征在于,包括下述步骤:
视频数据预处理,选取人脸图像;
提取所述人脸图像得到多个颜色通道图像;
计算所述颜色通道图像之间的差值,得到多个颜色通道差值图;
对所述颜色通道差值图进行归一化处理,得到归一化颜色通道差值图;
设置多个注意力模块,将所述注意力模块添加到深度卷积神经网络的每个基础网络结构中,构建注意力网络;
采用分类标签计算交叉熵损失,采用人脸图像的特征向量计算验证损失,将交叉熵损失与验证损失通过加权结合为总损失;
将所述归一化颜色通道差值图输入所述注意力网络进行噪声特征学习,以最小化损失函数为目标训练注意力网络;
根据损失值更新网络权重系数,在注意力网络训练完成后保存注意力网络的模型和权重;
提取待检测视频数据的人脸图像,并转换为归一化颜色通道差值图后输入到训练后的注意力网络,预测分类结果。
2.根据权利要求1所述的基于颜色通道差值图特征的人脸欺骗检测方法,其特征在于,所述视频数据预处理,具体步骤包括:从视频数据中提取图像帧,采用人脸识别算法检测人脸区域,裁剪后得到统一尺寸的人脸图像,作为待训练的人脸图像。
3.根据权利要求1所述的基于颜色通道差值图特征的人脸欺骗检测方法,其特征在于,所述提取所述人脸图像得到多个颜色通道图像,所述人脸图像采用RGB格式图像,提取得到红、绿、蓝3个颜色通道图像。
4.根据权利要求3所述的基于颜色通道差值图特征的人脸欺骗检测方法,其特征在于,计算所述颜色通道图像之间的差值,得到多个颜色通道差值图,具体步骤包括:
将人脸图像表示为:
J(x,y)=I(x,y)+Z(x,y)
其中,(x,y)表示图像中像素点的二维坐标,I(x,y)表示真实自然图像,Z(x,y)表示欺骗噪声;
所述人脸图像采用RGB格式图像,对于r、g、b每一个颜色通道,人脸欺骗过程均引入了欺骗噪声,r、g、b每一个颜色通道的人脸图像表示为:
Jr(x,y)=Ir(x,y)+Zr(x,y)
Jg(x,y)=Ig(x,y)+Zg(x,y)
Jb(x,y)=Ib(x,y)+Zb(x,y)
计算3个颜色通道图像之间的差值,得到差值图Dr-g、差值图Dr-b和差值图Dg-b,分别表示为:
Dr-g(x,y)=Jr(x,y)-Jg(x,y)
Dr-b(x,y)=Jr(x,y)-Jb(x,y)
Dg-b(x,y)=Jg(x,y)-Jb(x,y)。
5.根据权利要求1或3所述的基于颜色通道差值图特征的人脸欺骗检测方法,其特征在于,对所述颜色通道差值图进行归一化处理,得到归一化颜色通道差值图,所述归一化处理的具体公式表示为:
Figure FDA0002414509400000021
其中Ddmax,Ddmin分别表示差值图d中的最大值和最小值,Dd(x,y)表示当前像素值。
6.根据权利要求1所述的基于颜色通道差值图特征的人脸欺骗检测方法,其特征在于,将所述注意力模块添加到深度卷积神经网络的每个基础网络结构中,构建注意力网络,具体步骤包括:
将所述注意力模块添加到深度卷积神经网络的每个基础网络结构中,依据二分类任务修改最后一层全连接层的节点数,给定卷积特征图F作为输入,注意力模块的输出为注意力引导特征图T:
Figure FDA0002414509400000031
其中,
Figure FDA0002414509400000032
表示逐元素乘法,M(F)表示根据卷积特征图F产生的注意力权重图。
7.根据权利要求6所述的基于颜色通道差值图特征的人脸欺骗检测方法,其特征在于,所述给定卷积特征图F作为输入,注意力模块的输出为注意力引导特征图T,具体步骤包括:
所述注意力模块对卷积特征图F进行全局平均池化,对特征通道信息降维,生成特征向量Favg,将特征向量Favg输入到构建的3个全连接层中,输出向量Fc
将输出向量Fc采用矩阵形状扩增操作,将每个注意力值对应不同的卷积特征图尺寸,并且通过Sigmoid函数将注意力权重图M中的注意力值映射到(0,1)的范围,生成注意力权重值;
将注意力权重图M与卷积特征图F对应点相乘,获得注意力引导特征图T。
8.根据权利要求1所述的基于颜色通道差值图特征的人脸欺骗检测方法,其特征在于,将交叉熵损失与验证损失通过加权结合为总损失,具体计算公式为:
L=λ1LCls2LTrip
其中,λ1表示交叉熵损失Lcls的占比权重,λ2表示验证损失LTrip的占比权重;
交叉熵损失函数Lcls定义为:
Figure FDA0002414509400000033
其中,k表示同一批送入网络进行训练的样本数量,uw
Figure FDA0002414509400000034
分别表示第w个样本的真实值与预测值;
验证损失函数采用三元组损失函数LTrip,其定义为:
Figure FDA0002414509400000041
其中,m表示同一批送入网络进行训练的样本数量,
Figure FDA0002414509400000042
表示s类第i个样本的512维特征向量,下标a、p、n分别表示三元组的锚点、正样本点和负样本点,mar gin表示正样本对和负样本对间的最小间隔。
9.一种基于颜色通道差值图特征的人脸欺骗检测系统,其特征在于,包括:视频数据预处理模块、颜色通道图像提取模块、颜色通道差值图获取模块、归一化处理模块、注意力网络构建模块、总损失构建模块、注意力网络训练模块、训练参数更新模块和检测模块;
所述视频数据预处理模块用于进行视频数据预处理,选取人脸图像;
所述颜色通道图像提取模块用于提取所述人脸图像得到多个颜色通道图像;
所述颜色通道差值图获取模块用于计算所述颜色通道图像之间的差值,得到多个颜色通道差值图;
所述归一化处理模块用于对所述颜色通道差值图进行归一化处理,得到归一化颜色通道差值图;
所述注意力网络构建模块用于设置多个注意力模块,将所述注意力模块添加到深度卷积神经网络的每个基础网络结构中,构建注意力网络;
所述总损失构建模块包括交叉熵损失计算模块和验证损失计算模块,所述交叉熵损失计算模块采用分类标签计算交叉熵损失,所述验证损失计算模块采用人脸图像的特征向量计算验证损失,所述总损失构建模块将交叉熵损失与验证损失通过加权结合为总损失;
所述注意力网络训练模块用于将所述归一化颜色通道差值图输入所述注意力网络进行噪声特征学习,以最小化损失函数为目标训练注意力网络;
所述训练参数更新模块用于根据损失值更新网络权重系数,在注意力网络训练完成后保存注意力网络的模型和权重;
所述检测模块用于提取待检测视频数据的人脸图像,并转换为归一化颜色通道差值图后输入到训练后的注意力网络,预测分类结果。
10.根据权利要求9所述的基于颜色通道差值图特征的人脸欺骗检测系统,其特征在于,所述颜色通道图像提取模块包括r颜色通道提取模块、g颜色通道提取模块和b颜色通道提取模块,分别用于提取r、g和b颜色通道的人脸图像。
CN202010186904.3A 2020-03-17 2020-03-17 基于颜色通道差值图特征的人脸欺骗检测方法及系统 Active CN111460931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010186904.3A CN111460931B (zh) 2020-03-17 2020-03-17 基于颜色通道差值图特征的人脸欺骗检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010186904.3A CN111460931B (zh) 2020-03-17 2020-03-17 基于颜色通道差值图特征的人脸欺骗检测方法及系统

Publications (2)

Publication Number Publication Date
CN111460931A CN111460931A (zh) 2020-07-28
CN111460931B true CN111460931B (zh) 2023-01-31

Family

ID=71683200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010186904.3A Active CN111460931B (zh) 2020-03-17 2020-03-17 基于颜色通道差值图特征的人脸欺骗检测方法及系统

Country Status (1)

Country Link
CN (1) CN111460931B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914758A (zh) * 2020-08-04 2020-11-10 成都奥快科技有限公司 一种基于卷积神经网络的人脸活体检测方法及装置
CN111967427A (zh) * 2020-08-28 2020-11-20 广东工业大学 一种伪造人脸视频鉴别方法、系统和可读存储介质
CN112528265A (zh) * 2020-12-18 2021-03-19 平安银行股份有限公司 基于在线会议的身份识别方法、装置、设备及介质
CN112580576B (zh) * 2020-12-28 2023-06-20 华南理工大学 基于多尺度光照不变性纹理特征的人脸欺骗检测方法及系统
CN112801015B (zh) * 2021-02-08 2023-03-24 华南理工大学 一种基于注意力机制的多模态人脸识别方法
CN113076876B (zh) * 2021-04-02 2023-01-31 华南理工大学 一种基于三维结构监督和置信度加权的人脸欺骗检测方法和系统
CN113343770B (zh) * 2021-05-12 2022-04-29 武汉大学 一种基于特征筛选的人脸防伪方法
CN114049420B (zh) * 2021-10-29 2022-10-21 马上消费金融股份有限公司 一种模型训练方法、图像渲染方法、装置和电子设备
CN114445898B (zh) * 2022-01-29 2023-08-29 北京百度网讯科技有限公司 人脸活体检测方法、装置、设备、存储介质及程序产品
CN114663986B (zh) * 2022-03-31 2023-06-20 华南理工大学 一种基于双解耦生成和半监督学习的活体检测方法及系统
CN114758387B (zh) * 2022-04-02 2024-03-29 华南理工大学 基于单帧rgb图像的轻量级人脸反欺诈方法及装置
CN114972976B (zh) * 2022-07-29 2022-12-20 之江实验室 基于频域自注意力机制的夜间目标检测、训练方法及装置
CN116433665B (zh) * 2023-06-13 2023-08-22 中国民航大学 基于视觉检测的飞机部件缺陷在线识别系统
CN116563400B (zh) * 2023-07-12 2023-09-05 南通原力云信息技术有限公司 一种小程序图像信息压缩处理方法
CN117011918B (zh) * 2023-08-08 2024-03-26 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778676A (zh) * 2016-12-31 2017-05-31 中南大学 一种基于人脸识别及图像处理的注意力评估方法
CN109977865A (zh) * 2019-03-26 2019-07-05 江南大学 一种基于人脸颜色空间和度量分析的欺诈检测方法
CN110309798A (zh) * 2019-07-05 2019-10-08 中新国际联合研究院 一种基于域自适应学习和域泛化的人脸欺骗检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778676A (zh) * 2016-12-31 2017-05-31 中南大学 一种基于人脸识别及图像处理的注意力评估方法
CN109977865A (zh) * 2019-03-26 2019-07-05 江南大学 一种基于人脸颜色空间和度量分析的欺诈检测方法
CN110309798A (zh) * 2019-07-05 2019-10-08 中新国际联合研究院 一种基于域自适应学习和域泛化的人脸欺骗检测方法

Also Published As

Publication number Publication date
CN111460931A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111460931B (zh) 基于颜色通道差值图特征的人脸欺骗检测方法及系统
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
EP3579147A1 (en) Image processing method and electronic device
WO2022111506A1 (zh) 视频动作识别方法、装置、电子设备和存储介质
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN112800876A (zh) 一种用于重识别的超球面特征嵌入方法及系统
WO2022247539A1 (zh) 活体检测方法、估算网络处理方法、装置、计算机设备和计算机可读指令产品
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN112052808A (zh) 细化深度图的人脸活体检测方法、装置、设备及存储介质
CN111539456B (zh) 一种目标识别方法及设备
CN116453232A (zh) 人脸活体检测方法、人脸活体检测模型的训练方法和装置
CN111507416A (zh) 一种基于深度学习的吸烟行为实时检测方法
CN111967331B (zh) 基于融合特征和字典学习的人脸表示攻击检测方法及系统
CN112488072A (zh) 一种人脸样本集获取方法、系统及设备
CN111027573A (zh) 基于盲取证技术的图像真伪鉴别方法
KR101334858B1 (ko) 나비종 자동분류 시스템 및 방법, 이를 이용한 나비종 자동분류 기능이 구비된 휴대 단말기
CN113065407B (zh) 基于注意力机制和生成对抗网络的财务票据印章擦除方法
CN110222217B (zh) 一种基于分段加权的鞋印图像检索方法
CN114565918A (zh) 一种基于多特征提取模块的人脸静默活体检测方法与系统
CN113706636A (zh) 一种用于篡改图像识别的方法与装置
CN111754459A (zh) 基于统计深度特征的染色伪造图像检测方法及电子装置
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN117809169B (zh) 一种小样本水下声呐图像分类方法及其模型搭建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant