CN110348319A - 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 - Google Patents
一种基于人脸深度信息和边缘图像融合的人脸防伪方法 Download PDFInfo
- Publication number
- CN110348319A CN110348319A CN201910525961.7A CN201910525961A CN110348319A CN 110348319 A CN110348319 A CN 110348319A CN 201910525961 A CN201910525961 A CN 201910525961A CN 110348319 A CN110348319 A CN 110348319A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- depth
- depth information
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000011176 pooling Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 abstract description 5
- 238000005286 illumination Methods 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000208140 Acer Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于人脸深度信息和边缘图像融合的人脸防伪方法,通过双流网络分别提取人脸图像的边缘信息和深度图信息,将两类特征进行融合后通过特征融合分类网络学习并分类。其中,Sobel算子用于人脸图像的边缘信息提取,PRNe被用于获取预处理后的活体对象的人脸的三维结构信息,随后采用Z‑Buffer算法投影得到对应的活体人脸深度标签。双流网络中的深度信息提取网络分支提取活体与非活体人脸的区分性深度信息,并采用加权矩阵和熵损失监督方式加强人脸区域与背景区域之间的深度区分性。与现有技术相比,本发明受图像质量、光照等因素影响小,改善了硬件提取深度信息成本高的问题,扩大了背景信息的特征并减弱了冗余噪声的学习。
Description
技术领域
本发明涉及活体检测技术,特别涉及一种基于人脸深度信息和边缘图像融合的人脸防伪技术。
背景技术
随着人脸识别技术的应用领域越来越广泛,与之相关的各种挑战也逐渐显现,基于人脸生物特征的身份识别系统的安全性引起了大众的普遍关注。当恶意攻击者利用合法用户的人脸信息,以照片或者视频的形式来假冒用户身份时,系统可能会错误识别攻击用户,将其判别为合法,这将对身份安全造成严重威胁。在人脸识别系统中人脸防伪技术是系统安全性的保障。目前,关于人脸防伪技术的方法研究可以大致分为两大类:基于传统特征的方法以及基于深度神经网络的特征提取方法。基于传统特征的方法包括通过人脸图像纹理特征、人脸图像频域特征以及面部动作来进行分类判别。由于攻击人脸图像是通过二次采集得到的,相较于活体人脸图像会存在更多的噪声,因此在图片纹理信息以及高频信息部分会展现出具有区分性的线索。另外,通过眨眼、嘴唇动作等面部表情变化的交互方式也可以实现防伪判别。但是传统特征方法容易受到光照、图片质量的影响,涉及到交互判别的部分也容易被重放攻击识破。基于深度神经网络的特征提取方法包括提取人脸图像的多尺度特征信息、人脸局部的特征信息以及多帧图像的时序信息等等,这些方法重点考虑活体与攻击对象在人脸区域的细节区别,丢失了相关的背景信息。
发明内容
基于先验知识,重放攻击对象相较于活体存在深度信息缺失。活体对象具有三维人脸结构,在人脸的不同区域存在深度差异,而重放攻击对象以及打印攻击对象都是以平面的方式展现,表面深度基本无区分。由于现有的深度信息采集设备价格比较昂贵,本发明旨在通过深度学习的方法学习人脸深度信息的相关特征,提出通过学习策略的改进来加强人脸深度信息的区分性。
鉴于传统方法的局限性,本发明提出了一种基于人脸深度信息与边缘图像融合的人脸防伪方法,一方面通过加权学习的方式改进人脸深度信息网络,减小冗余噪声的学习;另一方面采用人脸边缘图像提取背景依赖信息,将人脸深度信息和边缘图像融合之后进行分类判别。本发明的目的通过以下技术方案实现:
步骤(1),获取摄像头前的人脸视频图像帧,通过图像帧截取方法对视频人脸数据进行处理,并保存活体对象图片和攻击对象图片,活体对象的类别标签记为1,攻击对象的类别标签记为0;
步骤(2),截取视频图像帧中的人脸区域,并剪裁获得以人脸为中心的多种尺度大小的人脸图像,将这部分人脸图像输入数据记为I;
步骤(3),获取人脸深度图标签,包括步骤(2)中的活体人脸图像对应的深度图标签,以及攻击人脸图像的深度图标签;
步骤(4),提取输入的人脸图像对应的边缘图特征;
步骤(5),采用深度信息提取网络学习深度特征,并生成预估的深度图特征;
步骤(6),联合人脸图像的深度图特征和边缘图特征,通过特征提取网络进行特征提取;
步骤(7),使用全连接层进行特征降维,然后采用Softmax分类器,将特征提取网络的输出表征为不同类别之间的相对概率,进行最终的类别预测,全连接层和Softmax分类器共同构成特征融合分类网络层;
其中,i表示第i个类别,N表示类别总数,Vi表示第i个类别的概率值,Si表示经softmax 处理之后第i个类别的概率值。
进一步的,步骤(2)中利用Dlib工具中的人脸检测算法,检测视频图像帧中的人脸区域。
进一步的,步骤(3)中采用PRNet,将步骤(2)处理得到的人脸图像中的活体对象部分投射到UV空间记录完整人脸的三维形状,并通过Z-Buffer算法将人脸三维形状投射到二维平面上,得到活体人脸图像对应的深度图标签,并将深度值归一化到[0,1],而攻击人脸图像的深度图标签是深度值为0的平面。
进一步的,步骤(4)中采用Sobel算子提取人脸图像对应的边缘图特征,具体实现方式如下,
步骤4.1,分别计算人脸图像在X方向和Y方向的亮度差分近似值,设定两个相关模板Gx, Gy,其中,Gx是检测水平边缘的横向模板,Gy是检测竖直边缘的纵向模板;
步骤4.2,结合图像中每一个像素的横向和纵向灰度值,计算该像素点梯度值;
步骤4.3,计算图像中每一个像素点的梯度方向;
步骤4.4,利用步骤4.1-4.3的计算方式对输入的人脸图像作平面卷积,得到人脸边缘图特征。
进一步的,步骤(5)的具体实现方式如下,
步骤5.1,深度信息提取网络采用三个级联的卷积模块提取输入图像的深度信息,每个级联模块由三层卷积层和一层池化层组成,并采取反卷积操作,在同维度连接三个池化层的输出,将其作为学习网络预估的深度图,具体包括如下子步骤;
步骤5.1.1,卷积模块组成:每一个卷积模块均由(a)3层卷积层(b)1层池化层组成,其中,每一层卷积后紧跟非线性激活操作。
步骤5.1.2,卷积操作:采用维度为3×3的卷积核完成,且一个卷积模块中三层卷积的卷积核数目(即卷积后的特征图数目)分别为:128、196、128;其中,第l层的第k个特征图中位置(i,j)处的像素值为:
和是第l层中第k个卷积核的权重向量和偏置项,是输入的样本或特征图中以第 l层中以位置(i,j)为中心,维度与卷积核一致的像素区域;
步骤5.1.3,非线性激活:由于线性的函数只能拟合出线性输出,而准确的分类需要更复杂的函数拟合,因此对卷积后的特征图进行非线性激活操作。本发明中采用ReLU机制完成。记σ(·)为非线性激活函数,则表示为:
其中,a是指非线性激活之后的数值;
步骤5.1.4,选取步长为2,对输出特征图进行最大池化,即对于选定区域,每次用该区域最大值作为池化后的输出。对于步长为2的池化层,输出维度是输入维度的
步骤5.1.5,池化层连接:依次重复3次步骤5.1.2~5.1.4,每一次模块操作的输出是下一次模块操作的输入,分别记这三次输出为pool1、pool2、pool3,对pool3、pool2分别进行步长为4、2的反卷积操作得到pool2′、pool3′,同维度连接输出pool1、pool2′、pool3′得到联合输出pool。
步骤5.1.6,将步骤5.1.5的输出pool依次经过3层全连接层和非线性激活层,得到预估的深度图GD;
步骤5.2,通过加权学习的方法减小输入图像的冗余噪声学习,获得加权学习后的预估深度图特征,对人脸区域部分赋上权重1,图像背景区域赋上权重0,如下公式所示:
其中,CNN(Xi;ΘD);表示通过深度信息提取网络获取的深度图,Xi表示图像X上的第i 个像素,ΘD表示网络学习中相应的权重参数,Di表示人脸深度标签图中的第i个像素,Nd表示一张图上像素点的总数,Jdepth即深度信息提取网络的损失函数。
进一步的,步骤(6)的具体实现方式如下:
步骤6.1,融合人脸深度图特征以及人脸边缘图特征,共同作为特征提取网络的输入,其中特征提取网络由四个卷积层与池化层的组合构成,其中,每一个卷积层后面紧跟非线性激活操作,经过第四个池化层后输出;
步骤6.2,卷积操作:采用维度为3×3的卷积核完成,其中,第l层的第k个特征图中位置(i,j)处的像素值为:
和是第l层中第k个卷积核的权重向量和偏置项,是输入的样本或特征图中以第 l层中以位置(i,j)为中心,维度与卷积核一致的像素区域;
步骤6.3,非线性激活:由于线性的函数只能拟合出线性输出,而准确的分类需要更复杂的函数拟合,因此对卷积后的特征图进行非线性激活操作。本发明中采用ReLU机制完成。记σ(·)为非线性激活函数,则表示为:
步骤6.4,选取步长为2,对输出特征图进行最大池化,即对于选定区域,每次用该区域最大值作为池化后的输出。对于步长为2的池化层,输出维度是输入维度的
步骤6.5,重复四次步骤6.2-步骤6.4,提取输入对象的深层特征;
步骤6.6,计算特征提取网络的整体损失函数Jtotal,利用Adam优化器更新网络参数和权重,
Jtotal=λdJdepth+λcJclassification
其中,表示对于输入的深度预估图与边缘图的融合图像Ii,其通过特征融合分类网络判别的类型与实际标签类型yi相等的概率,Jclassification表示采用预估深度图与边缘图的融合图像Ii进行分类时特征提取网络需要优化的损失函数,Jtotal表示特征提取网络的总体损失函数,λd和λc分别用来控制深度信息提取网络和特征提取网络的更新权重,具体取值在实验中测定。
与现有技术相比,本发明具有以下有点和有益效果:
(1)本发明提出加权监督的方式加强学习对象人脸深度的区分性,改善了特征提取中光照和图像分辨率的干扰,增强了分类的可靠性;
(2)本发明提出融合人脸深度图特征和边缘信息特征来进行检测类型分类,放大了图像背景的影响,并且抑制了人脸区域中可能存在的扰乱噪声,为特征图补充了更为详实的细节信息。
附图说明
图1为本发明网络框架结构图。
图2为本发明中基于人脸深度信息监督的算法流程图。
图3为本发明实施例的工作流程图。
具体实施方式
本实施例用于实现基于数据集CASIA-FASD的训练和测试。
如图3所示,本实施例基于人脸深度信息与人脸边缘信息融合分类的人脸防伪方法,和现有算法的结果进行比较,具体包括以下步骤:
(1)获取训练数据。通过对每一帧图像进行截取的方法对视频人脸数据进行处理,并保存活体对象图片和攻击对象图片,活体对象的类别标签记为1,攻击对象的类别标签记为0。训练网络的学习率设置为0.00005,通过梯度下降方法进行权重回归更新;
(2)截取视频图像帧中的人脸区域。利用Dlib工具中的人脸检测算法,检测视频图像帧中的人脸区域,并剪裁获得以人脸为中心的多种尺度大小的人脸图像,将这部分人脸图像输入数据记为I。
(3)获取人脸深度图标签。采用PRNet,将步骤(2)处理得到的人脸图像中的活体对象部分投射到UV空间记录完整人脸的三维形状,并通过Z-Buffer算法将三维人脸结构投射到二维平面上,得到活体人脸图像对应的深度图标签,为了方便计算,将深度值归一化到[0,1]。而攻击人脸图像的深度图标签是深度值为0的平面。
(4)提取人脸边缘图像;采用Sobel算子进行人脸边缘图像提取。
(5)采用深度信息提取网络学习深度特征,并生成预估的人脸深度图像,具体流程如图 2所示。
(6)联合人脸图像的深度图特征和边缘图特征,通过特征提取网络进行特征提取。
(7)使用全连接层进行特征降维,然后采用Softmax分类器,将特征提取网络的输出表征为不同类别之间的相对概率,进行最终的类别预测,全连接层和Softmax分类器共同构成特征融合分类网络层,如图1所示;
(8)设置训练网络的迭代次数为10000,训练网络直至参数收敛。
(9)对测试集数据依次进行图像帧提取,人脸区域剪裁等处理,并将处理后的数据作为输入送入训练完成的模型中进行验证。通过ACC、HTER、ACER等评价指标来评估训练的模型性能,在两个数据集上的测试结果如下所示:
表1本发明方法在两个数据集上的测试结果
经实验测定,本发明方法在Replay-Attack数据集上的测试准确率能够达到97.8%,EER、 HTER、ACER等测试评价指标分别为:4%、4.8%、5.8%;在CASIA数据集上的各测试评价指标分别为:95.1%、4.3%、0.7%、3.7%。实验结果说明,本发明方法能够有效的区分活体与攻击对象。
表2本发明实施例的深度信息提取网络和特征提取网络结构表
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (6)
1.一种基于人脸深度信息和边缘图像融合的人脸防伪方法,其特征在于,包括如下步骤:
步骤(1),获取摄像头前的人脸视频图像帧,通过图像帧截取方法对视频人脸数据进行处理,并保存活体对象图片和攻击对象图片,活体对象的类别标签记为1,攻击对象的类别标签记为0;
步骤(2),截取视频图像帧中的人脸区域,并剪裁获得以人脸为中心的多种尺度大小的人脸图像,将这部分人脸图像输入数据记为I;
步骤(3),获取人脸深度图标签,包括步骤(2)中的活体人脸图像对应的深度图标签,以及攻击人脸图像的深度图标签;
步骤(4),提取输入的人脸图像对应的边缘图特征;
步骤(5),采用深度信息提取网络学习深度特征,并生成预估的深度图特征;
步骤(6),联合人脸图像的深度图特征和边缘图特征,通过特征提取网络进行特征提取;
步骤(7),使用全连接层进行特征降维,然后采用Softmax分类器,将特征提取网络的输出表征为不同类别之间的相对概率,进行最终的类别预测,
其中,i表示第i个类别,N表示类别总数,Vi表示第i个类别的概率值,Si表示经softmax处理之后第i个类别的概率值。
2.如权利要求1所述的一种基于人脸深度信息和边缘图像融合的人脸防伪方法,其特征在于:步骤(2)中利用Dlib工具中的人脸检测算法,检测视频图像帧中的人脸区域。
3.如权利要求1所述的一种基于人脸深度信息和边缘图像融合的人脸防伪方法,其特征在于:步骤(3)中采用PRNet,将步骤(2)处理得到的人脸图像中的活体对象部分投射到UV空间记录完整人脸的三维形状,并通过Z-Buffer算法将人脸三维形状投射到二维平面上,得到活体人脸图像对应的深度图标签,并将深度值归一化到[0,1],而攻击人脸图像的深度图标签是深度值为0的平面。
4.如权利要求1所述的一种基于人脸深度信息和边缘图像融合的人脸防伪方法,其特征在于:步骤(4)中采用Sobel算子提取人脸图像对应的边缘图特征,具体实现方式如下,
步骤4.1,分别计算人脸图像在X方向和Y方向的亮度差分近似值,设定两个相关模板Gx,Gy,其中,Gx是检测水平边缘的横向模板,Gy是检测竖直边缘的纵向模板;
步骤4.2,结合图像中每一个像素的横向和纵向灰度值,计算该像素点梯度值;
步骤4.3,计算图像中每一个像素点的梯度方向;
步骤4.4,利用步骤4.1-4.3的计算方式对输入的人脸图像作平面卷积,得到人脸边缘图特征。
5.如权利要求1-4任一所述一种基于人脸深度信息和边缘图像融合的人脸防伪方法,其特征在于:步骤(5)的具体实现方式如下,
步骤5.1,深度信息提取网络采用三个级联的卷积模块提取输入图像的深度信息,每个级联模块由三层卷积层和一层池化层组成,并采取反卷积操作,在同维度连接三个池化层的输出,将其作为学习网络预估的深度图,具体包括如下子步骤;
步骤5.1.1,每一个卷积模块均由(a)3层卷积层(b)1层池化层组成,其中,每一层卷积后紧跟非线性激活操作;
步骤5.1.2,采用维度为3×3的卷积核完成卷积操作,其中,第l层的第k个特征图中位置(i,j)处的像素值为:
和是第l层中第k个卷积核的权重向量和偏置项,是输入的样本或特征图中以第l层中以位置(i,j)为中心,维度与卷积核一致的像素区域;
步骤5.1.3,对卷积后的特征图进行非线性激活操作,采用ReLU机制完成,记σ(·)为非线性激活函数,则表示为:
其中,a是指非线性激活之后的数值;
步骤5.1.4,对输出特征图进行最大池化,即对于选定区域,每次用该区域最大值作为池化后的输出;
步骤5.1.5,依次重复3次步骤5.1.2~5.1.4,每一次卷积模块操作的输出是下一次卷积模块操作的输入,分别记这三次输出为pool1、pool2、pool3,对pool3、pool2分别进行步长为4、2的反卷积操作得到pool2′、pool3′,同维度连接输出pool1、pool2′、pool3′得到联合输出pool;
步骤5.1.6,将步骤5.1.5的输出pool依次经过3层全连接层和非线性激活层,得到预估的深度图GD;
步骤5.2,通过加权学习的方法减小输入图像的冗余噪声学习,获得加权学习后的预估深度图特征,对人脸区域部分赋上权重1,图像背景区域赋上权重0,如下公式所示:
其中,CNN(Xi;ΘD)i表示通过深度信息提取网络获取的深度图,Xi表示图像X上的第i个像素,ΘD表示深度信息提取网络中相应的权重参数,Di表示人脸深度标签图中的第i个像素,Nd表示一张图像上像素点的总数,Jdepth为深度信息提取网络的损失函数。
6.如权利要求5所述一种基于人脸深度信息和边缘图像融合的人脸防伪方法,其特征在于:步骤(6)的具体实现方式如下,
步骤6.1,融合人脸深度图特征以及人脸边缘图特征,共同作为特征提取网络的输入,其中特征提取网络由四个卷积层与池化层的组合构成,其中,每一个卷积层后面紧跟非线性激活操作,经过第四个池化层后输出;
步骤6.2,采用维度为3×3的卷积核完成卷积操作,其中,第l层的第k个特征图中位置(i,j)处的像素值为:
和是第l层中第k个卷积核的权重向量和偏置项,是输入的样本或特征图中以第l层中以位置(i,j)为中心,维度与卷积核一致的像素区域;
步骤6.3,对卷积后的特征图进行非线性激活操作,采用ReLU机制完成,记σ(·)为非线性激活函数,则表示为:
步骤6.4,对输出特征图进行最大池化,即对于选定区域,每次用该区域最大值作为池化后的输出;
步骤6.5,重复四次步骤6.2-步骤6.4,提取输入对象的深层特征;
步骤6.6,计算特征提取网络的损失函数Jtotal,利用Adam优化器更新网络参数和权重;
Jtotal=λdJdepth+λcJclassification
其中,表示对于输入的深度预估图与边缘图的融合图像Ii,其通过特征融合分类网络判别的类型与实际标签类型yi相等的概率,Jdepth为深度信息提取网络的损失函数,Jclassification表示采用预估深度图与边缘图的融合图像Ii进行分类时特征提取网络需要优化的损失函数,Jtotal表示特征提取网络的总体损失函数,λd和λc分别用来控制深度信息提取网络和特征提取网络的更新权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910525961.7A CN110348319B (zh) | 2019-06-18 | 2019-06-18 | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910525961.7A CN110348319B (zh) | 2019-06-18 | 2019-06-18 | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110348319A true CN110348319A (zh) | 2019-10-18 |
CN110348319B CN110348319B (zh) | 2021-05-04 |
Family
ID=68182203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910525961.7A Active CN110348319B (zh) | 2019-06-18 | 2019-06-18 | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110348319B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969171A (zh) * | 2019-12-12 | 2020-04-07 | 河北科技大学 | 基于改进卷积神经网络的图像分类模型、方法及应用 |
CN111079606A (zh) * | 2019-12-06 | 2020-04-28 | 北京爱笔科技有限公司 | 一种人脸防伪方法及装置 |
CN111079701A (zh) * | 2019-12-30 | 2020-04-28 | 河南中原大数据研究院有限公司 | 一种基于图像质量的人脸防伪方法 |
CN111191549A (zh) * | 2019-12-23 | 2020-05-22 | 浙江大学 | 一种两级人脸防伪检测方法 |
CN111274946A (zh) * | 2020-01-19 | 2020-06-12 | 杭州涂鸦信息技术有限公司 | 一种人脸识别方法和系统及设备 |
CN111339832A (zh) * | 2020-02-03 | 2020-06-26 | 中国人民解放军国防科技大学 | 人脸合成图像的检测方法及装置 |
CN111461089A (zh) * | 2020-06-17 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 一种人脸检测的方法、人脸检测模型的训练方法及装置 |
CN111985310A (zh) * | 2020-07-08 | 2020-11-24 | 华南理工大学 | 一种用于人脸识别的深度卷积神经网络的训练方法 |
CN112070041A (zh) * | 2020-09-14 | 2020-12-11 | 北京印刷学院 | 一种基于cnn深度学习模型的活体人脸检测方法和装置 |
CN112149713A (zh) * | 2020-08-21 | 2020-12-29 | 中移雄安信息通信科技有限公司 | 基于绝缘子图像检测模型检测绝缘子图像的方法及装置 |
CN112329612A (zh) * | 2020-11-03 | 2021-02-05 | 北京百度网讯科技有限公司 | 活体检测方法、装置及电子设备 |
CN112529888A (zh) * | 2020-12-18 | 2021-03-19 | 平安科技(深圳)有限公司 | 基于深度学习的人脸图像评估方法、装置、设备及介质 |
CN113076876A (zh) * | 2021-04-02 | 2021-07-06 | 华南理工大学 | 一种基于三维结构监督和置信度加权的人脸欺骗检测方法 |
CN113449707A (zh) * | 2021-08-31 | 2021-09-28 | 杭州魔点科技有限公司 | 活体检测方法、电子设备和存储介质 |
CN113496215A (zh) * | 2021-07-07 | 2021-10-12 | 浙江大华技术股份有限公司 | 一种活体人脸检测的方法、装置及电子设备 |
CN113642639A (zh) * | 2021-08-12 | 2021-11-12 | 云知声智能科技股份有限公司 | 活体检测方法、装置、设备和存储介质 |
CN114511644A (zh) * | 2022-01-21 | 2022-05-17 | 电子科技大学 | 一种基于深度学习的自适应数字伪装方法 |
CN114724008A (zh) * | 2022-04-12 | 2022-07-08 | 中国人民解放军国防科技大学 | 一种联合多尺度特征的深度伪造图像检测方法及系统 |
CN115439329A (zh) * | 2022-11-10 | 2022-12-06 | 四川轻化工大学 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
CN115546858A (zh) * | 2022-08-15 | 2022-12-30 | 荣耀终端有限公司 | 人脸图像处理方法和电子设备 |
CN115580564A (zh) * | 2022-11-09 | 2023-01-06 | 深圳桥通物联科技有限公司 | 一种物联网通信网关动态调用装置 |
GB2621390A (en) * | 2022-08-11 | 2024-02-14 | Openorigins Ltd | Methods and systems for scene verification |
CN117975579A (zh) * | 2024-03-18 | 2024-05-03 | 北京远鉴信息技术有限公司 | 合成人脸图像的鉴别方法、装置、电子设备及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200200A (zh) * | 2014-08-28 | 2014-12-10 | 公安部第三研究所 | 融合深度信息和灰度信息实现步态识别的系统及方法 |
CN105740823A (zh) * | 2016-02-01 | 2016-07-06 | 北京高科中天技术股份有限公司 | 基于深度卷积神经网络的动态手势轨迹识别方法 |
CN106778810A (zh) * | 2016-11-23 | 2017-05-31 | 北京联合大学 | 基于rgb特征与深度特征的原始图像层融合方法及系统 |
CN107463899A (zh) * | 2017-08-03 | 2017-12-12 | 北京金风科创风电设备有限公司 | 识别风力发电机部件的边缘的方法及装置 |
CN107945185A (zh) * | 2017-11-29 | 2018-04-20 | 北京工商大学 | 基于宽残差金字塔池化网络的图像分割方法及系统 |
CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断系统 |
CN108492248A (zh) * | 2018-01-30 | 2018-09-04 | 天津大学 | 基于深度学习的深度图超分辨率方法 |
CN108830179A (zh) * | 2018-05-25 | 2018-11-16 | 太原科技大学 | 融合彩色图像边缘和深度方向直方图的行人检测算法 |
CN109101926A (zh) * | 2018-08-14 | 2018-12-28 | 河南工业大学 | 基于卷积神经网络的空中目标检测方法 |
CN109166125A (zh) * | 2018-07-06 | 2019-01-08 | 长安大学 | 一种基于多边缘融合机制的三维深度图像分割算法 |
CN109165682A (zh) * | 2018-08-10 | 2019-01-08 | 中国地质大学(武汉) | 一种融合深度特征和显著性特征的遥感图像场景分类方法 |
US20190080457A1 (en) * | 2017-09-08 | 2019-03-14 | Samsung Electronics Co., Ltd. | Electronic device and method for automatic human segmentation in image |
CN109711243A (zh) * | 2018-11-01 | 2019-05-03 | 长沙小钴科技有限公司 | 一种基于深度学习的静态三维人脸活体检测方法 |
-
2019
- 2019-06-18 CN CN201910525961.7A patent/CN110348319B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200200A (zh) * | 2014-08-28 | 2014-12-10 | 公安部第三研究所 | 融合深度信息和灰度信息实现步态识别的系统及方法 |
CN105740823A (zh) * | 2016-02-01 | 2016-07-06 | 北京高科中天技术股份有限公司 | 基于深度卷积神经网络的动态手势轨迹识别方法 |
CN106778810A (zh) * | 2016-11-23 | 2017-05-31 | 北京联合大学 | 基于rgb特征与深度特征的原始图像层融合方法及系统 |
CN107463899A (zh) * | 2017-08-03 | 2017-12-12 | 北京金风科创风电设备有限公司 | 识别风力发电机部件的边缘的方法及装置 |
US20190080457A1 (en) * | 2017-09-08 | 2019-03-14 | Samsung Electronics Co., Ltd. | Electronic device and method for automatic human segmentation in image |
CN107945185A (zh) * | 2017-11-29 | 2018-04-20 | 北京工商大学 | 基于宽残差金字塔池化网络的图像分割方法及系统 |
CN108492248A (zh) * | 2018-01-30 | 2018-09-04 | 天津大学 | 基于深度学习的深度图超分辨率方法 |
CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断系统 |
CN108830179A (zh) * | 2018-05-25 | 2018-11-16 | 太原科技大学 | 融合彩色图像边缘和深度方向直方图的行人检测算法 |
CN109166125A (zh) * | 2018-07-06 | 2019-01-08 | 长安大学 | 一种基于多边缘融合机制的三维深度图像分割算法 |
CN109165682A (zh) * | 2018-08-10 | 2019-01-08 | 中国地质大学(武汉) | 一种融合深度特征和显著性特征的遥感图像场景分类方法 |
CN109101926A (zh) * | 2018-08-14 | 2018-12-28 | 河南工业大学 | 基于卷积神经网络的空中目标检测方法 |
CN109711243A (zh) * | 2018-11-01 | 2019-05-03 | 长沙小钴科技有限公司 | 一种基于深度学习的静态三维人脸活体检测方法 |
Non-Patent Citations (6)
Title |
---|
HUI SONG等: "ResNet with Global and Local Image Features, Stacked Pooling Block, for Semantic Segmentation", 《 2018 IEEE/CIC INTERNATIONAL CONFERENCE ON COMMUNICATIONS IN CHINA (ICCC)》 * |
YANG XIN等: "Multimodal Feature-Level Fusion for Biometrics Identification System on IoMT Platform", 《IEEE ACCESS 》 * |
佟喜峰,王梅主编: "《图像处理与识别技术应用与实践》", 30 April 2019, 哈尔滨:哈尔滨工业大学出版社 * |
孙明建等: "基于新型深度全卷积网络的肝脏CT影像三维区域自动分割", 《中国生物医学工程学报》 * |
王佳盛等: "基于全卷积神经网络的荔枝表皮缺陷提取", 《华南农业大学学报》 * |
陈超等: "卷积神经网络的发展及其在计算机视觉领域中的应用综述", 《计算机科学》 * |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079606A (zh) * | 2019-12-06 | 2020-04-28 | 北京爱笔科技有限公司 | 一种人脸防伪方法及装置 |
CN110969171A (zh) * | 2019-12-12 | 2020-04-07 | 河北科技大学 | 基于改进卷积神经网络的图像分类模型、方法及应用 |
CN111191549A (zh) * | 2019-12-23 | 2020-05-22 | 浙江大学 | 一种两级人脸防伪检测方法 |
CN111079701A (zh) * | 2019-12-30 | 2020-04-28 | 河南中原大数据研究院有限公司 | 一种基于图像质量的人脸防伪方法 |
CN111079701B (zh) * | 2019-12-30 | 2023-03-24 | 陕西西图数联科技有限公司 | 一种基于图像质量的人脸防伪方法 |
CN111274946A (zh) * | 2020-01-19 | 2020-06-12 | 杭州涂鸦信息技术有限公司 | 一种人脸识别方法和系统及设备 |
CN111274946B (zh) * | 2020-01-19 | 2023-05-05 | 杭州涂鸦信息技术有限公司 | 一种人脸识别方法和系统及设备 |
CN111339832A (zh) * | 2020-02-03 | 2020-06-26 | 中国人民解放军国防科技大学 | 人脸合成图像的检测方法及装置 |
CN111339832B (zh) * | 2020-02-03 | 2023-09-12 | 中国人民解放军国防科技大学 | 人脸合成图像的检测方法及装置 |
CN111461089A (zh) * | 2020-06-17 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 一种人脸检测的方法、人脸检测模型的训练方法及装置 |
CN111461089B (zh) * | 2020-06-17 | 2020-09-15 | 腾讯科技(深圳)有限公司 | 一种人脸检测的方法、人脸检测模型的训练方法及装置 |
CN111985310A (zh) * | 2020-07-08 | 2020-11-24 | 华南理工大学 | 一种用于人脸识别的深度卷积神经网络的训练方法 |
CN111985310B (zh) * | 2020-07-08 | 2023-06-30 | 华南理工大学 | 一种用于人脸识别的深度卷积神经网络的训练方法 |
CN112149713B (zh) * | 2020-08-21 | 2022-12-16 | 中移雄安信息通信科技有限公司 | 基于绝缘子图像检测模型检测绝缘子图像的方法及装置 |
CN112149713A (zh) * | 2020-08-21 | 2020-12-29 | 中移雄安信息通信科技有限公司 | 基于绝缘子图像检测模型检测绝缘子图像的方法及装置 |
CN112070041A (zh) * | 2020-09-14 | 2020-12-11 | 北京印刷学院 | 一种基于cnn深度学习模型的活体人脸检测方法和装置 |
CN112329612A (zh) * | 2020-11-03 | 2021-02-05 | 北京百度网讯科技有限公司 | 活体检测方法、装置及电子设备 |
CN112529888A (zh) * | 2020-12-18 | 2021-03-19 | 平安科技(深圳)有限公司 | 基于深度学习的人脸图像评估方法、装置、设备及介质 |
CN112529888B (zh) * | 2020-12-18 | 2024-04-30 | 平安科技(深圳)有限公司 | 基于深度学习的人脸图像评估方法、装置、设备及介质 |
CN113076876B (zh) * | 2021-04-02 | 2023-01-31 | 华南理工大学 | 一种基于三维结构监督和置信度加权的人脸欺骗检测方法和系统 |
CN113076876A (zh) * | 2021-04-02 | 2021-07-06 | 华南理工大学 | 一种基于三维结构监督和置信度加权的人脸欺骗检测方法 |
CN113496215A (zh) * | 2021-07-07 | 2021-10-12 | 浙江大华技术股份有限公司 | 一种活体人脸检测的方法、装置及电子设备 |
CN113642639A (zh) * | 2021-08-12 | 2021-11-12 | 云知声智能科技股份有限公司 | 活体检测方法、装置、设备和存储介质 |
CN113642639B (zh) * | 2021-08-12 | 2024-03-01 | 云知声智能科技股份有限公司 | 活体检测方法、装置、设备和存储介质 |
CN113449707A (zh) * | 2021-08-31 | 2021-09-28 | 杭州魔点科技有限公司 | 活体检测方法、电子设备和存储介质 |
CN113449707B (zh) * | 2021-08-31 | 2021-11-30 | 杭州魔点科技有限公司 | 活体检测方法、电子设备和存储介质 |
CN114511644A (zh) * | 2022-01-21 | 2022-05-17 | 电子科技大学 | 一种基于深度学习的自适应数字伪装方法 |
CN114724008B (zh) * | 2022-04-12 | 2024-09-13 | 中国人民解放军国防科技大学 | 一种联合多尺度特征的深度伪造图像检测方法及系统 |
CN114724008A (zh) * | 2022-04-12 | 2022-07-08 | 中国人民解放军国防科技大学 | 一种联合多尺度特征的深度伪造图像检测方法及系统 |
GB2621390A (en) * | 2022-08-11 | 2024-02-14 | Openorigins Ltd | Methods and systems for scene verification |
CN115546858B (zh) * | 2022-08-15 | 2023-08-25 | 荣耀终端有限公司 | 人脸图像处理方法和电子设备 |
CN115546858A (zh) * | 2022-08-15 | 2022-12-30 | 荣耀终端有限公司 | 人脸图像处理方法和电子设备 |
CN115580564B (zh) * | 2022-11-09 | 2023-04-18 | 深圳桥通物联科技有限公司 | 一种物联网通信网关动态调用装置 |
CN115580564A (zh) * | 2022-11-09 | 2023-01-06 | 深圳桥通物联科技有限公司 | 一种物联网通信网关动态调用装置 |
CN115439329A (zh) * | 2022-11-10 | 2022-12-06 | 四川轻化工大学 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
CN117975579A (zh) * | 2024-03-18 | 2024-05-03 | 北京远鉴信息技术有限公司 | 合成人脸图像的鉴别方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110348319B (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
CN101339607B (zh) | 人脸识别方法及系统、人脸识别模型训练方法及系统 | |
CN107463920A (zh) | 一种消除局部遮挡物影响的人脸识别方法 | |
CN106446872A (zh) | 一种低照度下的视频人脸检测识别方法 | |
Tivive et al. | A gender recognition system using shunting inhibitory convolutional neural networks | |
KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
CN104504366A (zh) | 基于光流特征的笑脸识别系统及方法 | |
CN109684922A (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN111126240B (zh) | 一种三通道特征融合人脸识别方法 | |
CN103971106B (zh) | 多视角人脸图像性别识别方法及装置 | |
CN104123543A (zh) | 一种基于人脸识别的眼球运动识别方法 | |
CN104680545B (zh) | 光学图像中存在显著目标的检测方法 | |
CN110008899B (zh) | 一种可见光遥感图像候选目标提取与分类方法 | |
CN112784712B (zh) | 一种基于实时监控的失踪儿童预警实现方法、装置 | |
CN106557740A (zh) | 一种遥感图像中油库目标的识别方法 | |
CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
CN112926652A (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
CN108734200A (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
CN109165551B (zh) | 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 | |
CN107784284A (zh) | 人脸识别方法及系统 | |
Mahapatra | Retinal image quality classification using neurobiological models of the human visual system | |
CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |