CN111914750A - 去除高亮特征和方向梯度直方图的面部活体检测方法 - Google Patents
去除高亮特征和方向梯度直方图的面部活体检测方法 Download PDFInfo
- Publication number
- CN111914750A CN111914750A CN202010761334.6A CN202010761334A CN111914750A CN 111914750 A CN111914750 A CN 111914750A CN 202010761334 A CN202010761334 A CN 202010761334A CN 111914750 A CN111914750 A CN 111914750A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- degrees
- hog
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000001815 facial effect Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 19
- 238000002474 experimental method Methods 0.000 claims description 16
- 238000011160 research Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 40
- 238000004422 calculation algorithm Methods 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 21
- 238000012549 training Methods 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 17
- 238000001574 biopsy Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000001727 in vivo Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 241000208140 Acer Species 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 210000000887 face Anatomy 0.000 description 6
- 230000004886 head movement Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000003331 infrared imaging Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000000554 iris Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010016035 Face presentation Diseases 0.000 description 1
- 238000011387 Li's method Methods 0.000 description 1
- DWDGSKGGUZPXMQ-UHFFFAOYSA-N OPPO Chemical compound OPPO DWDGSKGGUZPXMQ-UHFFFAOYSA-N 0.000 description 1
- 235000003976 Ruta Nutrition 0.000 description 1
- 240000005746 Ruta graveolens Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 235000005806 ruta Nutrition 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本发明属于生物认证技术领域，为提高面部活体检测系统在应对不同攻击方式样本的可靠性；并根据二元信号检测理论调整分类器的参数，提高面部活体检测系统的实用性，提高面部活体检测系统的安全性，建立高效准确的面部活体检测方法，让面部检测系统具有更强的实用性，并推动面部活体检测系统的发展，本发明，去除高亮特征和方向梯度直方图的面部活体检测方法，首先利用高亮去除方法HRM对待测图片进行预处理，然后利用梯度直方图HOG进行纹理特征提取并进行特征处理，并利用纹理特征区分一次采集和二次采集的面部图片，最后通过对分类器进行参数调整，最终实现面部活体准确检测。本发明主要应用于生物认证场合。
Description
技术领域
本发明属于生物认证技术领域，涉及到活体检测算法的改进，以及对改进的面部活体检测系统的可靠性和安全性及其泛化能力的验证。
背景技术
身份认证技术在信息安全中占有举足轻重的地位，是其他安全机制的基础。身份认证主要有三种方式：根据被验证方所掌握的知识来验证，比如日常生活中使用的各种账号密码等；根据被验证方所拥有的东西来验证，比如银行电子支付中使用的U盾等；根据被验证方所具有的唯一特征来验证，如生物特征识别技术等。
生物特征具有唯一性和稳定性，为身份认证技术提供了强有力的保障。近年来，生物特征识别技术逐渐融入到社会生活的各个方面。其中，基于面部、指纹、虹膜等的识别技术得到了广泛应用，增强了识别系统的可靠性[1][2]。常见的生物识别中使用的特征有：脸、虹膜和指纹。但是，现在认证技术存在：伪装隐蔽(指纹膜等)，攻击效果显著等特点；接触设备长期使用清晰度降低，影响识别率；认证时间较长，不适于大人群使用等缺点。
用于身份认证的生物特征需要满足通用性、可分辨性、永久性、可采集性、可靠性、鲁棒性以及用户友好性[3]。面部特征是人体最为显著的特征，可区分度高，特征相对稳定，具有易采集、无需过多交互的特性，受到更多用户的青睐[4]。随着面部识别技术研究的深入发展，面部识别技术已经广泛应用。但是，2018年3.15晚会中暴露出来的人脸识别认证系统的缺陷足以让使用者震撼，人脸识别系统自身存在的安全问题，严重影响到使用者的人身财产安全。
生物识别中的面部活体检测技术是为了防止非法用户持有合法用户的面部图像欺骗人脸识别系统，从而达到攻击的目的。目前已经应用的基于面部识别的认证系统，还没有完全摆脱传统的身份认证技术，对被测用户没有进行活体检测。在安全技术要求较高的应用场景中(特别是在金融安全领域)，需要部分人工参与完成活体检测，然后使用面部识别技术进行认证，通过多因素认证来增强系统的安全性。多因素认证使用多种方案叠加的方法来增强活体检测系统的安全性，增加了系统的开销，延长了认证时间，没有彻底实现人脸认证系统的方便快捷的目标。
面部活体检测技术是对抗面部认证技术中已知的假冒攻击最有效的办法。一个有效的面部认证技术，将极大减少面部识别过程中人工的参与，同时使用单因素认证，可以减少面部识别技术的应用成本。这种具有自动化、无人监督的面部认证系统将会得到广泛的应用。
目前如何建立高效准确的面部活体检测方法，已成为面部识别领域研究的热点。近年来，国内外研究机构的专家学者都将面部活体检测技术作为研究重点，提出了许多详实有效的方法。根据被测对象面部的动、静和其他特征等情况，制定不同的活体检测方案。主要分为三种：基于运动信息的活体检测方案，基于光学信息的活体检测方案，基于面部静态活体特征信息的活体检测方案。
基于运动信息的检测方案又可以称为人机交互的检测方法，主要利用人体头部的三维信息进行活体检测。二维信息(照片)的运动姿态与三维信息(真实人脸)的运动姿态截然不同。一般常见的检测方案有两种：以被测者面部部分器官动作为目标的检测方案和以被检测者头部整体动作为目标的检测方案。以被测者面部部分器官动作为目标的检测方案中，面部动作包括眨眼、唇部动作等，这些检测方案事先需要对图像中面部区域进行粗定位，然后对检测部位进行精确定位，在此技术上识别相关部位的运动来判断是否为活体。邓刚[5]等人提出的眨眼检测，判断视频不同帧中，有无眼睛瞳孔来确定是否为活体。Pan[6]等人对眨眼检测做出了进一步的研究，采用隐马尔科夫模型，HAAR特征和Adaboost算法计算眼睛的开合度，进而判断是否为活体。孙霖[1]等人在低分辨率和一般条件下，通过判断相邻窗口大小的依赖关系和眼睛开合度计算方法来进行面部活体检测。K.Kollreidei[7]等人使用唇部动作来检测是否为活体，要求被测者读出预先规定的数字，判断被测者唇部动作与事先存储的相同读音的唇部动作是否一致来进行活体检测。Choudhury[8]等人利用头部器官的深度信息(鼻子，嘴角，眼睛等)作为跟踪估计的特征，从头部运动中测算器官的三维深度信息来区分活体与非活体面部；头部整体的活体检测方案是以头部整体运动作为检测目标，提取头部运动产生的光流变化或深度变化信息作为活体检测的特征。RW.Frischholz[9]等人使用被测者头部整体运动模式来进行活体检测，检测中系统会要求被测者将头部转向多个方向，通过比较用户头部整体运动姿势和预先要求的方向是否一致进行活体检测。K.Kollreider[10]等人根据面部转动时，不同的突出器官(如鼻子)运动幅度不同，产生的光流效果也不同进行活体检测。真实的面部是三维立体的，使用二维获取设备，会产生二维的运动模式，不同的突出表面产生的运动效果不同。W.Bao[11]等人利用二维平面和三维物体运动产生的光流场差异进行活体检测。虽然此类检测方案可以有效对抗照片面部攻击和部分视频面部攻击，但是由于单次检测时间较长，不适合频繁使用的认证环境，如在公共场所的使用。
基于活体特征信息的研究，是对人体面部具有的温度、立体深度信息进行提取，作为面部活体检测的特征。多光谱活体检测是组合使用可见光成像图片和非可见光图片进行检测，文献中常使用红外光成像技术进行活体。Socolinsky[12]等人使用红外成像图片进行活体检测，并分析了可见光与热红外图像在活体检测方面的性能。文章中将可见光成像与红外成像匹配，克服了单一成像方式活体检测的缺点，分析两者的相关性，根据与阈值的大小关系判别是否为活体。Yeh[13]等人在具有DOF信息的面部图片上，计算鼻子和脸颊之间的模糊度和梯度幅值两个特征作为检测依据，区分活体与非活体。在他们采集的数据库上测试正确率高且单次测试时间短。红外成像需要额外的辅助设备，成本高，易受环境温度、采集距离和遮挡物的干扰。依靠单一的红外成像图片进行活体检测，目前处于试验研究环节，日常生活中此类应用较为少见。
基于面部静态特征的活体检测是对一次采集的面部图片和二次采集的面部图片(或者视频中的帧)进行分类，不需要用户配合做出动作，单次测试时间短，检测效率高，可以对抗来自图片和视频的活体检测攻击。基于面部静态特征的检测方案，有基于面部图片纹理信息的检测方案、基于面部图片模糊程度的检测方案、基于色度变化的检测方案以及基于综合以上方法的检测方案。基于面部图片纹理信息的检测方案是通过与真实一次获取的图片对比，呈现在媒介上的面部图像存在一些差异，其中会丢失部分细节信息，对媒介上的图片二次成像后又会存在差异，再次丢失部分细节信息。J.
[14][15]等人利用LBP、Gabor wavelets和HOG等提取面部图片的纹理信息，使用同一方法不同参数得到的综合特征或者综合不同方法得到的特征进行活体检测。曹瑜[16]等人提出使用基于灰度共生矩阵和小波分析的方法提取面部图片特征。在面部图像的灰度共生矩阵上提取能量、熵、惯性矩、相关性等特征值，以及对面部图像进行二次小波分解提取HH2(高频子带系数)，用来检测活体信息。基于面部图片模糊程度的检测方案有两次重要的采集，一次采集是将真实的三维立体头部转换为二维图片，二次采集是对二维图片进行重新采集，采集到的面部图片会出现边缘模糊、粗糙和局部高光等现象。Li[17]等人使用傅里叶频谱分析的方法来检测活体信息。由于一次采集(三维到二维)产生的高频信息高于二次采集(二维到二维)的高频信息，将面部图片使用二维傅里叶变化转换成频域，使用图片的频域进行活体检测。Tan[18]等人将Li的方法扩展到空域信息上，使用面部图片的空间信息进行活体检测。利用真实的面部是的三维立体的，表面的粗糙程度与二维的平面的表面粗糙程度的区别，使用Lambertian反射模型提取真实一次采集图片的表面信息和二次采集图片表面信息用来区分活体。基于纹理的检测方案在预处理阶段直接丢弃色度信息，只分析面部图片亮度信息。由于不同的采集环境下，光照、镜头都会使图片色度发生变化。Z.Boulkenafet[19][20]等人在面部图像YCbCr色彩空间上分别提取三个通道上的信息，使用LBP计算得到各自纹理信息，作为活体检测的特征。由于检测环境的复杂多样，单一的方法检测效果较差，大部分学者在论文中融合使用多种不同的特征进行活体判别。主要的组合方式为：基于同一方案的不同特征提取方法组合，基于不同方案的组合。文献[15]同时使用LBP、Gabor wavelets、HOG提取面部图片特征。文献[19]同时使用亮度和色度提取特征。X.Luan[21]等人同时使用亮度、色度、模糊度提取特征。但是这些组合方式并没有取得理想的效果。
发明内容
为克服现有技术的不足，本发明旨在利用多种算法叠加提取面部静态特征来提高面部活体检测能力；在面部活体检测系统中采用具有更高灵敏度的测试指标，提高面部活体检测系统在应对不同攻击方式样本的可靠性；并根据二元信号检测理论调整分类器的参数，提高面部活体检测系统的实用性，提高面部活体检测系统的安全性，建立高效准确的面部活体检测方法，解决面部认证系统所存在的安全问题。让面部检测系统具有更强的实用性，并在一定程度上完善面部活体检测系统，并推动面部活体检测系统的发展。为此，本发明采取的技术方案是，去除高亮特征和方向梯度直方图的面部活体检测方法，首先利用高亮去除方法HRM(Highlight Removal Method for HDR Images)对待测图片进行预处理，然后利用梯度直方图HOG进行纹理特征提取并进行特征处理，并利用纹理特征区分一次采集和二次采集的面部图片，最后通过对分类器进行参数调整，最终实现面部活体准确检测。
具体地，首先对面部图片采用P，G的高亮特征去除方法HRM来减少样本中亮度变化对分类器的干扰，然后用基于统计方法的方向梯度直方图HOG提取样本纹理特征，再将得到的特征输入到分类器，得出面部活体检测的结果；其中高亮特征去除方法HRM涉及以下内容：首先对RGB图像进行颜色空间转换到YUV色彩空间，然后对YUV图片进行Y通道提取并进行Y通道归一化，最后将图片进行直方图均衡化且进行多项式变换得到去亮度后的图片；HOG方法涉及的内容有：首先对图片划分局部区域，进行梯度计算，然后进行梯度方向统计并对Block特征标准化，最后得到HOG特征。
HRM具体步骤如下：
1)、RGB彩色空间与YUV色彩空间转换
RGB彩色空间中，R表示图像红色分量；G表示图像的绿色分量，B表示图像的蓝色分分量，YUV彩色空间是指YCbCr彩色空间，Y表示图像的亮度信息，是图像的灰度值，U表示图像的色度，V表示图像的浓度，RGB转YCrBr公式如式(1)：
2)、图像归一化
提取高亮特征需要对图像的亮度通道Y进行处理，使用的归一化公式如式(2)：
其中：x表示面部图像某像素点的像素值；Vmin表示图像中最小的像素值；Vmax表示图像中最大的像素值；
3)、直方图均衡化
直方图均衡化(Histogram Equalization)，是基于图像的直方图，对图像进行非线性拉伸，使一幅图片中不同像素的数量大致相等。均衡化后的图像直方图是一个较为平整的分段直方图，不同的图像间亮度差异较小。直方图均衡化的表达式如式(3)：
其中ri表示第i个灰度级，n是图像中像素的总和，ni是灰度级为ri像素的数量，k表示图像的灰度级；
4)、多项式变换
对每个像素值a替换为通过函数返回的值，进行强度变换，通过多次试验获得的变换点使用4次多项式逼近得到强度变换函数，如式(4)：
f(a)＝p0a4+p1a3+p2a2+p3a+p4 (4)
利用最佳亮度曲线去除图片中的高亮度区域，对研究中的图像取最佳系数得到亮度变换曲线系数，如式(5)：
使用HRM，消除了亮度和色度对分类器的干扰，下一步需要提取用于分类的面部照片特征。
HOG特征提取过程主要步骤如下：
1)、局部区域划分
将图像分为8*8的小块cell，上下左右4个cell组成的正方形区域叫做块block，block之间可以重叠实验中相邻block的比例为0.5，一个cell中统计梯度方向为9bins；
2)、梯度计算
在面部图像中取任意一像素点,梯度计算公式如式(6)～(9)
Gx(x,y)＝H(x+1,y)-H(x-1,y) (6)
Gy(x,y)＝H(x,y+1)-H(x,y-1) (7)
其中Gx(x,y)为像素点(x,y)处的水平方向梯度，Gy(x,y)为像素点(x,y)处的垂直方向梯度，H(x,y)为像素点(x,y)处的像素值，G(x,y)为像素点(x,y)处的梯度幅值a(x,y)为像素点(x,y)处的梯度方向；
3)、梯度方向统计
梯度方向设置为9，将-90°～90°之间的梯度方向平均分为9份，分别为(-90°～-70°)、(-70°～-50°)、(-50°～-30°)、(-30°～-10°)、(-10°～10°)、(10°～30°)、(30°～50°)、(50°～70°)、(70°～90°)，将每个范围内的梯度方向幅值相加，得到每个范围的统计分量；
4)、特征标准化
使用的标准化函数为L2-hys-norm：
v是进行标准化的特征向量，||v||2表示二范数；ε为标准化常量避免分母为0；
5)、HOG特征
OG使用积分图来简便特征统计的计算，具体地，图像中的任意像素(x,y)的9个梯度方向幅值为H(x,y)＝[H(x,y)1,H(x,y)2,H(x,y)9]T，其中只有一个幅值非零，大小为m*n的图像M中列HOG积分和的公式如式(10)：
逐列计算后，暂存得到大小为m*n的矩阵Mcol，对Mcol矩阵计算行方向积分Irow，就得到图像矩阵的HOG积分图Imat，矩阵积分公式如式(11)：
HOG积分图Imat是对图像M扫描两次后得到，通过计算得到图像M中局部cell、block等的HOG特征。
更进一步地，计算得到图像M中局部cell、block等的HOG特征具体步骤如下：图像中某一点的积分就是点的幅值，假设需要得到矩阵中元素(x1,y1)的特征值H(x,y)，计算公式如式(12)：
H(x1,y1)＝Imat(x1,y1)-Imat(x1,y1-1)-Imat(x1-1,y1)+Imat(x1-1,y1-1) (12)
针对cell大小为(8,8)，block大小为(16,16)，则cell、block的HOG特征图计算公式如式(13)、(14)：
Hcell(xr,yd)＝Imat(xr,yd)-Imat(xr,yd-8)-Imat(xr-8,yd)+Imat(xr-8,yd-8) (13)
Hblock(xr,yd)＝Imat(xr,yd)-Imat(xr,yd-16)-Imat(xr-16,yd)+Imat(xr-16,yd-16) (14)
其中：(xr,yd)表示局部区域的右下角坐标。
本发明的特点及有益效果是：
本发明提出的面部活体检测算法考虑到了不同攻击方式的样本对面部活体检测系统的影响，通过采用更加灵敏的测试参数来衡量检测结；并且根据二元信号检测理论调整了分类器参数，最大限度的减小了APCER，这让整个面部活体检测系统的实用性和安全性大大提升，十分接近真实的结果。实验结果说明本算法具有很高的可靠性，并且使用OULU-NPU数据库更能检测算法的泛化能力；在对二分类参数调整后增强了系统安全性。
附图说明：
图1活体检测算法流程图。
图2面部图片高亮度提取去除方法主要步骤。
图3高亮度提取去除方法各部分直方图。
(a)(b)不同亮度图片归一化后的直方图，(c)(d)直方图均衡化后的直方图，(e)(f)高亮度提取后的直方图。
图4试验获得的点的多项式逼近[22]。
(a)试验获得的变换点；(b)点的多项式逼近。
图5 HOG方法主要步骤。
图6面部图片局部区域划分。
图7图片列积分示意图。
图8行积分、矩阵积分示意图。
(a)为矩阵的行积分，(b)为矩阵的积分。
图9二元信号统计检测理论模型。
图10二元信号检测的判决域划分与判决概率。
图11 NUAA数据库活体面部(左)和假冒面部(右)。
图12 OULU-NPU数据库活体面部(a)和假冒面部(b,c,d,e)。
具体实施方式
本发明利用叠加不同特征提取算法的方法，在面部活体检测系统中得到了很好的分类结果和很可靠的检测能力。实验结果表明，本发明提出的面部活体检测算法的检测结果和真实结果具有很好的一致性，不仅能提高提高面部活体检测系统的准确率，还能增强系统的泛化能力。
现在面部活体检测技术作已经成了各专家学者研究的重点方向，而基于面部静态特征的活体检测技术受到了国内外众多研究专家的青睐。基于静态特征的活体检测技术能够进一步保障面部认证系统的安全性，目前大多数研究机构对活体检测技术的研究是针对所使用实验数据库的特征设计检测算法，取得了很好的测试效果，但是还存在一些问题：一是由于目前大部分面部活体检测算法是针对某一数据库中样本的特点设计，而且数据库的样本较单一；二是忽视了错误判别假冒用户对系统安全性带来的影响(特别是在无人值守的应用场景)；三是没有讨论不同种攻击类型对检测系统的影响。
在面部活体检测系统设计时，要考虑检测系统对未知攻击样本(新鲜样本)的检测能力，在保证检测正确率的前提下，最大限度拒绝非法用户通过活体检测系统，从而提升面部活体检测系统的安全性。面部活体检测很重要的性能就是可靠性，准确性和泛化能力。面部活体检测系统的可靠性是指正确区分的样本的能力；安全性是指在可靠性的前提下，降低误判能力；泛化能力指的是对新鲜样本的适应能力。面部活体检测系统的可靠性和安全性的检测实际就是一个二分类问题，本发明使用信号统计检测理论中的二元信号统计检测模型对面部活体检测模型进行分析。泛化能力检测的关键在于数据库的选择，本发明针对不同数据库进行了对比试验。
本发明所提的面部活体检测算法主要涉及如下内容。首先利用高亮去除方法(Highlight Removal Method for HDR Images，HRM)对待测图片进行预处理，然后利用梯度直方图(HOG)进行纹理特征提取并进行特征处理，并利用纹理特征区分一次采集和二次采集的面部图片，最后通过对分类器进行参数调整，在不同数据库上进行性能验证。
本文试验采用NUAA和OULU-NPU面部活体检测数据库进行实验。
NUAA面部活体检测数据库，是南京航空航天大学2010年发布的。NUAA数据库中正样本面部采用的是电脑摄像头采集的真实面部样本，分为15个文件夹；负样本面部利用真实面部样本，经过旋转、侧置等在不同光照强度下翻拍得到的，分为15个文件夹。经过面部检测、眼睛定位、裁切后得到64*64灰度面部照片，如图11所示。NUAA数据库采集时间较早，给出了一种实验组合，样本采集条件部分重合，假冒样本是通过打印伪造得到的。
OULU-NPU数据库是2017年由芬兰奥卢大学和中国西北工业大学联合公布的。OULU-NPU数据库收集了55个被采集人共4950个面部视频样本，真实的面部样本由六个不同的手机前置摄像头(三星Galaxy S6 edge，HTC Desire EYE，MEIZU X5，华硕ZenfoneSelfie，索尼XPERIA C5 Ultra Dual和OPPO N3)在三种不同的场景中采集的，假冒的面部样本采集由两台不同的打印机(编号1,2)打印伪造和两台不同的显示器(编号1,2)伪造的面部，OULU-NPU数据库为每个样本提供了眼睛位置。数据集样本数量如表3所示。
下面结合技术方案详细说明本方法：
本方法首先对面部图片采用P，G的高亮特征去除方法(HRM)来减少样本中亮度变化对分类器的干扰，然后用基于统计方法的方向梯度直方图(HOG)提取样本纹理特征，再将得到的特征输入到分类器，得出面部活体检测的结果。其中高亮特征去除方法(HRM)涉及以下内容：首先对RGB图像进行颜色空间转换到YUV色彩空间，然后对YUV图片进行Y通道提取并进行Y通道归一化，最后将图片进行直方图均衡化且进行多项式变换得到去亮度后的图片。HOG方法涉及的内容有：首先对图片划分局部区域，进行梯度计算，然后进行梯度方向统计并对Block特征标准化，最后得到HOG特征。这样得到的HOG特征会解决多尺度问题。
具体步骤如下：
1高亮特征去除
目前活体检测数据库主要是模拟真实环境而建立的，采集条件变化都会对成像结果带来影响。为了对真实样本和假冒样本正确分类，需要剔除共性特征(环境)变化对分类器的干扰，寻找能够真实反映真假样本的特征作为分类特征，从而增强分类器对部分新鲜样本的适应能力，提高活体检测的正确率。
通过对目前常用面部活体检测数据库的观察，发现面部图片样本的差异主要来自亮度特征的变化。在一次采集中亮度变化体现在光照条件的变化、受测者衣物颜色对光反射产生的变化、不同被测者面部表面油脂不同产生的变化等；在二次采集中不同光照条件的变化、采集距离对光线的影响、不同伪造样本的载体表面对光线反射能力的不同均会导致亮度改变。
因此，本发明提出使用P,G[22]的高亮特征去除方法(HRM)来减少样本中亮度变化对分类器的干扰。高亮特征提取去除方法(HRM)如图2所示，HRM关键步骤的直方图如图3所示。
图2中，经过多项式变换后的面部图片与直方图均衡化后的面部图片相比，整体亮度降低，与Y通道面部图片相比，不同受测者面部图片亮度均匀。以下是HRM各个步骤：
1、RGB彩色空间与YUV色彩空间转换
RGB彩色空间是常见的彩色空间，R表示图像红色分量；G表示图像的绿色分量，B表示图像的蓝色分分量。在通信应用中，一般采用YUV彩色空间，通常所讲的YUV色彩空间是指YCbCr彩色空间，Y表示图像的亮度信息，是图像的灰度值(如图2中Y通道)；U表示图像的色度；V表示图像的浓度。由于人眼对图像细节的分辨率相对较低，所以图像高频部分只需传送亮度信号，相比于RGB信号传输采用YUV信号可以节省带宽，同时可以兼容黑白电视系统，传输中YUV的色差信号受到干扰不会影响图像的亮度。RGB转YCrBr公式如式(1)：
2、图像归一化
提取高亮特征需要对图像的亮度通道Y进行处理，由于面部图片采集的光照条件变化，为了避免图像后续处理产生仿射变换，减少图像几何变换和采集光线不均匀对面部图片特征的影响，需要对图像的亮度通道Y逐像素进行归一化处理，本发明使用的归一化公式如式(2)：
其中：x表示面部图像某像素点的像素值；Vmin表示图像中最小的像素值；Vmax表示图像中最大的像素值。图3-2中Y通道与Y0可以看到，将面部图片不同灰度值的范围调整到[0-1]区间内，使所有面部图片使用同一量纲表示。
从图2中可以看到，面部图片经过归一化处理后，由采集时光线对面部图片造成的明暗影响还未消除，我们采用直方图均衡化方法消除这一差别。
3、直方图均衡化
图像直方图，又称之为质量分布图，统计图像中不同像素值的数量，是一种统计报告图。在二维坐标系中，用横轴表示不同的像素值，用纵轴表示数量。直方图是多种空间域处理技术的基础，可用于图像增强[24]。图2中Y0上下图的直方图如图3(a)(b)所示。
从图3中直方图可以看出，a图像较暗，b图像较亮。暗图像a中直方图的分量集中在灰度级较低的区域，而图像b中直方图的分量集中在灰度级较高的区域，从a,b可直观看出，归一化后的面部图像像素分布不均匀。面部图像活体检测中，不同样本亮度变化的差异会对分类器造成一定干扰，为避免这种干扰，需要对样本的亮度信息进行统一。由图像处理的基本知识知道：若一幅图像的像素均匀的占据了整个可能的灰度级，则图像对比度高、动态范围大、灰度细节丰富，所以对图像灰度等级进行归一化十分必要。
直方图均衡化(Histogram Equalization)，是基于图像的直方图，对图像进行非线性拉伸，使一幅图片中不同像素的数量大致相等。均衡化后的图像直方图是一个较为平整的分段直方图，不同的图像间亮度差异较小。直方图均衡化的表达式如式(3)：
其中ri表示第i个灰度级，n是图像中像素的总和，ni是灰度级为ri像素的数量，k表示图像的灰度级。对归一化后的图像进行直方图均衡变化，变化后的图像直方图如图3(c)(d)所示。
图3中，(c)(d)直方图中图片像素分布均匀，受测者面部图像与(a)(b)中的相比人眼几乎觉察不到图片亮度差异。
4、多项式变换
对上述步骤处理后得到的图片，对每个像素值a替换为通过函数返回的值，进行强度变换。文献[22]通过多次试验获得的变换点使用4次多项式逼近得到强度变换函数，如式(4)：
f(a)＝p0a4+p1a3+p2a2+p3a+p4 (4)
每个图像都存在最佳的亮度变换曲线，可以利用最佳亮度曲线去除图片中的高亮度区域。文献[22]对研究中的图像取最佳系数得到亮度变换曲线系数，如式(5)和图4所示，公式(5)中的P矩阵即为强度变换函数的系数矩阵。
使用HRM，消除了亮度和色度对分类器的干扰，下一步需要提取用于分类的面部照片特征。
2方向梯度直方图(HOG)生成特征
一次采集和二次采集得到的面部图片存在内容细节上的差异，主要表现为清晰度变化和模糊程度变化，面部图片的局部纹理特征存在较大差别。纹理特征通过像素及其周围空间邻域的像素分布来表现，体现了物体表面缓慢变化或周期变化的表面结构组织排列属性，不能完全反映出物体的本质属性。面部活体特征是提取图片的细节特征，并不关心图片的内容。纹理特征的优缺点完美贴合了面部活体检测技术的需求，可以利用此特征区分一次采集和二次采集的面部图片。
图像处理中用于描述区域纹理的主要方法有：统计、结构、频谱。统计方法生成图片的光滑、颗粒等纹理信息；结构方法处理较为规则间距的图像，生成特征；频谱方法基于傅里叶频谱变换，检测图像的全局周期性信息。由于一次和二次采集的图片主要存在局部的细节变化，本发明采用基于统计方法的方向梯度直方图(Histogram of OrientedGradient,HOG)提取样本纹理特征，HOG通过计算图像局部区域的梯度方向，统计构成图像特征，对图像的几何和光学形变都能够保持良好的不变性，被测对象的细微动作不影响检测效果。
HOG方法的基本理论是：一幅图像中，通过局部梯度或边缘方向的分布可以更好地描述局部区域的外表和形状，计算图像局部区域的梯度，并统计得到HOG特征。HOG基本的计算流程如图5所示。
HRM处理后的面部样本是64*64的灰度图片，不存在多尺度检测的问题。下面用HRM处理后的面部样本为例介绍HOG特征提取过程，主要步骤如下：
1、局部区域划分
本发明试验将图像分为8*8的小块(cell)，cell可以是圆形，上下左右4个cell组成的正方形区域叫做块(block)。block之间可以重叠实验中相邻block的比例为0.5，一个cell中统计梯度方向为9(bins)，如图6所示。
2、梯度计算
在面部图像中取任意一像素点,梯度计算公式如式(6)～(9)
Gx(x,y)＝H(x+1,y)-H(x-1,y) (6)
Gy(x,y)＝H(x,y+1)-H(x,y-1) (7)
其中Gx(x,y)为像素点(x,y)处的水平方向梯度，Gy(x,y)为像素点(x,y)处的垂直方向梯度，H(x,y)为像素点(x,y)处的像素值，G(x,y)为像素点(x,y)处的梯度幅值a(x,y)为像素点(x,y)处的梯度方向。
3、梯度方向统计
梯度计算得到每个像素的梯度方向和梯度大小，统计一个cell中每个梯度方向的幅值总和称之为梯度方向统计[25]。本发明试验中梯度方向设置为9，将-90°～90°之间的梯度方向平均分为9份，分别为(-90°～-70°)、(-70°～-50°)、(-50°～-30°)、(-30°～-10°)、(-10°～10°)、(10°～30°)、(30°～50°)、(50°～70°)、(70°～90°)，将每个范围内的梯度方向幅值相加，得到每个范围的统计分量。
4、特征标准化
面部活体检测数据库提供了人脸的位置，经过裁剪后的面部图像，减少了背景的干扰；经过HRM处理后，去除了由于亮度变化产生的大部分面部干扰特征。HOG标准化后，将会进一步减少亮度和背景的干扰。HOG中分别对每个block标准化，本文block之间重叠的比例为0.5，所以每个cell会参与多个block的梯度方向统计。相邻block中cell的组合形式不同，所以单个cell参与不同的block，生成的特征值不同。重复使用cell，生成的冗余特征中增加了不同cell邻接间的特征向量，能够提高分类器的分类效果。
本发明试验使用的标准化函数为L2-hys-norm：
v是进行标准化的特征向量，v最大取值为0.2(将大于0.2的值赋为0.2)；||v||2表示二范数；ε为标准化常量避免分母为0。
5、HOG特征
对特征标准化之后的值统计得到HOG特征。对于整体、block、cell不同大小的局部图片，需要进行多次计算。HOG算法通过调整cell和block的大小也会得到相同尺度的特征值，解决多尺度的问题。
积分图是通过预先计算并存储求和结果，通过邻近区域操作得到局部的统计值，避免了大量重复的求和计算。积分图的主要步骤是：预先计算面部图片的列积分，然后计算矩阵积分，通过对相邻区域的积分加减运算，得到某一区域的积分图。HOG使用积分图来简便特征统计的计算。
图像中的任意像素(x,y)的9个梯度方向幅值为H(x,y)＝[H(x,y)1,H(x,y)2,H(x,y)9]T，其中只有一个幅值非零。大小为m*n的图像M中列HOG积分和的公式如式(10)，图7为列积分示意图。
图7中，每个方格代表一个像素点，逐列计算后，暂存得到大小为m*n的矩阵Mcol，对Mcol矩阵计算行方向积分Irow，就得到图像矩阵的HOG积分图Imat，矩阵积分公式如式(11)，图8位行积分和矩阵积分示意图。
HOG积分图Imat是对图像M扫描两次后得到，使用简单的计算就可以得到图像M中局部cell、block等的HOG特征。下面通过使用图像HOG积分图计算图像中某一点的HOG特征，引申出局部区域的HOG特征。
图像中某一点的积分就是点的幅值，假设需要得到矩阵中元素(x1,y1)的特征值H(x,y)，计算公式如式(12)：
H(x1,y1)＝Imat(x1,y1)-Imat(x1,y1-1)-Imat(x1-1,y1)+Imat(x1-1,y1-1) (12)
本发明中试验的cell大小为(8,8)，block大小为(16,16)，则cell、block的HOG特征图计算公式如式(13)、(14)：
Hcell(xr,yd)＝Imat(xr,yd)-Imat(xr,yd-8)-Imat(xr-8,yd)+Imat(xr-8,yd-8) (13)
Hblock(xr,yd)＝Imat(xr,yd)-Imat(xr,yd-16)-Imat(xr-16,yd)+Imat(xr-16,yd-16) (14)
其中：(xr,yd)表示局部区域的右下角坐标(整幅图像中)。
使用图像的HOG积分图经过很少的计算就能得到局部区域的HOG特征，避免了大量的重复计算。不同大小的图像，局部区域的HOG特征计算时间不变。使用HOG积分图极大的提高了检测速度。
HOG特征提取方法是对图像的局部区域操作，图像的几何和光学形变都能保持较好的不变形，HOG特征提取方法允许被测对象存在细微的动作而不影响检测效果。使用HOG特征提取面部图像特征，算法复杂度低，特征计算时间短，进一步消除了亮度对分类器的干扰。
3面部活体检测系统的性能
3..1面部活体检测算法的泛化能力
面部活体检测系统的泛化能力，是指用于面部活体检测的模型对新鲜面部样本的适应能力，目的是学习到数据背后非显性的特征，本质上是对在完全隔离条件下采集的面部图片能进行正确分类。目前面部活体检测文献中使用的大部分检测数据库主要采集条件包括采集背景、采集设备、采集时间、伪造方式、受测用户等，数据库提供的训练集和测试集划分标准是基于一种或多种采集条件的变化，没有完全隔离训练集和测试集的采集条件。检测算法的泛化能力，选择实验数据库是关键。
3..2面部活体检测算法的可靠性和安全性
面部活体检测系统的可靠性是指系统正确区分真实和假冒样本的能力；面部活体检测算法的安全性是在保证检测可靠性的前提下，尽可能降低系统对假冒样本的误判能力，即在保证真实样本能够最大限度判为真实样本的前提下，可以允许少量真实样本判为假冒样本，但绝不允许假冒样本误判为真实样本。根据二元信号检测理论可知，真实样本判为真实样本的概率越大，假冒样本判为真实样本的概率也就越大。因此，需要寻找一种兼顾系统可靠性和安全性的检测模型。下面根据二元信号检测理论对该问题进行了分析。
面部活体检测是区分活体与非活体，本实质上是二分类的检测问题。使用信号统计检测理论中的二元信号统计检测模型对面部活体检测模型进行分析，基本模型如图9所示。
对于二元信号，信源符号由“0”、“1”组成，用H0表示“0”的输出，用H1表示“1”的输出。信源在某一时间输出两种不同信号中的一种。概率转移机构是指由于系统中存在干扰，信源输出的确知信号并不能映射到某一点，而是以一定的概率映射到整个观测空间。观测空间R是概率转移机构所生成的全部可能观测量的集合。判决规则是为了判决观测空间R中的观测量属于那种状态，判决结果就是假设H0成立还是H1成立，因为事先并不知道输出的是哪种信号，所以使用判决规则确认输出[26]。
判决规则将二元信号观测空间R的判决域分为R0和R1。由于噪声的存在，信源输出信号经概率转移机构以一定的概率映射到整个观测空间R中，生成观测量(x|H0)和(x|H1)，所以二元信号统计检测模型存在四种判决结果(Hi|Hj,(i,j＝0,1))。每一种该判决结果都有判决概率(P(Hi|Hj),(i,j＝0,1))，假设观测量(x|Hi)的概率密度函数为p(x|Hi)，则
二元信号的判决结果和概率如表1。
表1二元信号判决结果及判决概率
假设二元信号的观测信号概率密度函数p(x|H0)和p(x|H1)服从高斯分布，如图10所示。
在正常情况下，我们希望正确判决概率越大越好(即正确的样本判为正确样本，错误的样本判为错误样本)，错误判决概率越小越好(即正确的样本判为错误样本，错误的样本判为正确样本)，这需要解决Ri划分的问题。如图10的观测空间R(-∞，∞)，如果降低x0，则就会出现P(H0|H0)减少，P(H1|H1)增大，P(H0|H1)减少，P(H1|H0)增大的情况。
对应到面部活体检测系统的应用中，H1为正确样本，H0为错误样本。大部分情况下我们希望正确判决概率(P(H0|H0)+P(H1|H1))(即正确的样本判为正确样本，错误的样本判为错误样本)越大越好，通过调整分类器参数，可以达到最佳的判决域，从而提高面部活体检测系统的可靠性。在尽可能保证系统可靠性的前提下，为了提高系统的安全性，需要调整x0使得P(H1|H0)最小。
我们希望可用性和安全性要同时达到最优，但是理论上，在大多数情况下可用性和安全性不会同时达到最优。在本文实验中，我们希望降低P(H1|H0)，而P(H0|H1)是可以允许的。通过调整SVM参数C，在P(H0|H0)+P(H1|H1)波动较小的情况下，降低P(H1|H0)，从而达到增强面部活体检测系统安全性的目标。
4实验结果与分析
在分析面部活体检测系统的结果时，数据库起着至关重要的作用。图12是在同一采集场景下，使用同一手机采集的同一受测对象的面部图片。(a)表示真实的面部图片，(b)(c)分别是两台不同打印机打印的面部图片，(d)(e)分别是不同的显示屏幕伪造的面部图片。
OULU-NPU数据库给出四种不同组合的Train、Dev、Test数据集。本文试验主要针对不同面部活体检测算法的泛化能力研究，采用OULU-NPU数据库Protocol Ⅳ进行实验，如表3。Protocol Ⅳ中实验样本数据集和测试样本数据集的采集环境完全隔离，包括：采集场景不同，采集设备不同，假冒条件不同，被测对象不同。Protocol Ⅳ包含了真实环境中的一些极端情况，对于训练集来说，测试集中的样本完全属于新鲜样本。
Protocol Ⅳ中Train和Test包含六种手机采集的样本，本发明实验中分别使用一种手机采集的样本作为测试集，其余五种作为训练集，共试验六次。试验使用数据库提供的眼睛位置，经过变换裁切后，得到64*64的面部图片进行实验。
从数据库的结构来看，NUAA数据库结构简单，假冒样本伪造方式与训练测试集组合单一；而OULU-NPU数据库结构多样，假冒样本的伪造方式多变，并且存在多种训练测试集的组合方式。表2是NUAA数据库的样本情况，数据库中的假冒样本仅通过打印一种方式进行伪造，而且数据库也仅给定了一种训练测试集组合。表3是OULU-NPU数据库的样本情况，数据库中假冒样本是通过屏幕再现和打印两种方式伪造的，OULU-NPU数据库Protocol Ⅳ给定了六种训练测试集组合。本发明实验环境：CPU i5-8500，Matlab2018a。
表2 NUAA面部活体检测数据库数据集样本数量
表3 OULU-NPU面部活体检测数据库各数据集样本数量
表4 HRM+HOG特征提取算法在NUAA数据库的试验结果
表5 HRM+HOG特征提取算法在OULU-NPU数据库Protocol Ⅳ的试验结果
表4与表5相比，HRM-HOG特征提取算法在NUAA数据库上试验效果较好。由于NUAA数据库的局限性，数据库中的训练样本和测试样本的采集条件不完全独立，训练样本和测试样本差异较小，分类器能够从训练样本学习到更多测试样本的特征(采集条件带来的特征)，所以检测正确率较高；而OULU-NPU数据库Protocol Ⅳ的训练样本和测试样本采集条件完全独立，训练样本和测试样本差异较大，分类器无法从训练样本中学习到测试样本的特征(采集条件带来的特征)，所以检测正确率较低。通过以上分析可以得出：在OULU-NPU数据库Protocol Ⅳ中，与训练数据集相比，测试数据集是完全“新鲜”的样本，适合作为面部活体检测算法的泛化能力检测数据集。
表5与表6相比，使用本发明HRM+HOG特征提取方法，不同训练、测试集组合，试验得到的Video-replay和Print中的APCER、ACER值有大幅度降低。Video-replay中不同的训练测试集ACER值分别降低了7.8、9.7、12.1、27.1、5.5、15.8；Print中ACER分别降低了5.4、8、10、15.2、3.7、33.5，结果总体上优于文献[23]的实验结果，说明HRM+HOG特征提取方法更能有效区分真假面部样本，活体检测算法可靠性高。
综合表4、表5、表6，HRM+HOG面部活体检测算法在测试样本较为复杂的OULU-NPU数据库上不仅取得了较其他方法更高的检测正确率，而且说明HRM+HOG算法具有更好的泛化能力。
为了保证面部活体检测的可用性，进一步增加系统的安全性，结合二元信号检测理论，在SVM训练过程中，通过调整参数，在ACER波动较小的情况下，大幅度降低APCER值，提高面部活体检测系统对假冒样本的识别率。由
可知APCER值降低后，BPCER值会有增加。针对这种情况，在具体的应用环境中可以通多其它检测方式(多因素认证)来降低。
表6文献[23]使用彩色LBP方法试验结果
表7基于本文方法APCER最优的实验结果
表8调整C值后APCER最优时其他指标的差值变化情况(↑表示增长的值，↓表示减少的值,0表示无变化)
表7是APCER最小情况的实验数据。表8表示调整C值后，评价指标的变化情况(表5中对应的值减去表7中对应的值，↑表示增长，↓表示下降)。
从表8中可以看出，通过调整C值，不同训练、测试数据集得到的Video-replay的APCER平均下降了4.17，Print的APCER平均下降了2.67；Video-replay、Print的BPCER值平均上升了9.15；Video-replay、Print的ACER值分别平均上升了2.52和3.33。APCER下降幅度与ACER的增长幅度总体上趋于平衡，实验结果符合二元信号统计检测理论的判决概率。同时说明在ACER波动较小的情况下，通过调整分类器参数降低APCER值是可行的，面部活体检测系统对假冒样本的检测能力得到了提高，增强了系统的安全性。
通过以上结果对比说明使用OULU-NPU数据库更能检测算法的泛化能力；本文设计的面部活体检测算法HRM+HOG检测可靠性强；通过调整分类器参数，可增强面部活体检测系统的安全性。
参考文献
[1]孙霖.人脸识别中的活体检测技术研究[D].杭州：浙江大学,2010.
[2]阮锦新.多姿态人脸检测与表情识别关键技术研究[D].广州：华南理工大学,2010.
[3]Mark Stamp.信息安全原理与实践[M].北京：清华大学出版社,2013：210-211.
[4]盘海玲.人脸认证系统中活体检测技术[J].科技资讯,2015,(10)：226-226.
[5]邓刚,曹波,苗军,高文,赵德斌.基于支持向量机眼动模型的活性判别算法[J].计算机辅助设计与图形学学报,2003(07)：853-857.
[6]Pan G,Sun L,Wu Z,et al.Eyeblink-based Anti-Spoofing in FaceRecognition from a Generic Webcamera[C].International Conference on ComputerVision.New York：IEEE,2007：1-8.
[7]Kollreider K,Fronthaler H,Faraj M I,et al.Real-Time Face Detectionand Motion Analysis With Application in“Liveness”Assessment[J].IEEETransactions on Information Forensics&Security,2007,2(3)：548-558.
[8]Choudhury T.Multimodal person recognition using unconstrainedaudio and video[J].Information Fusion,1999：176--181.
[9]Frischholz R W,Werner A.Avoiding replay-attacks in a facerecognition system using head-pose estimation[J].In IEEE internationalworkshop on analysis and modeling of faces and gestures AMFG’03,2003∶234-235.
[10]Kollreider K,Fronthaler H,Bigun J.Evaluating Liveness by FaceImages and the Structure Tensor[C].Automatic Identification AdvancedTechnologies,New York：Fourth IEEE Workshop on.IEEE,2005∶75-80.
[11]Bao W,Li H,Li N,et al.A liveness detection method for facerecognition based on optical flow field[C].International Conference on ImageAnalysis and Signal Processing.New York：IEEE,2009∶233-236.
[12]Socolinsky D A,Selinger A,Neuheisel J D.Face recognition withvisible and thermal infrared imagery[J].Computer Vision&Image Understanding,2003,91(1)：72-114.
[13]Yeh C H,Chang H H.Face liveness detection with featurediscrimination between sharpness and blurriness[C].Fifteenth IaprInternational Conference on Machine Vision Applications.New York：IEEE,2017∶398-401.
[14]Maatta J,Hadid A,Pietikainen M.Face spoofing detection fromsingle images using micro-texture analysis[C].International Joint Conferenceon Biometrics.New York：IEEE,2011：1-7.
[15]Maatta J,Hadid A,Pietikainen M.Face spoofing detection fromsingle images using texture and local shape analysis[J].Iet Biometrics,2012,1(1)：3-10.
[16]曹瑜,涂玲,毋立芳.身份认证中灰度共生矩阵和小波分析的活体人脸检测算法[J].信号处理,2014,30(07)：830-835.
[17]Li J,Wang Y,Jain AK.Live face detection based on the analysis ofFourier spectra[J].Proc Spie,2004,5404∶296-303.
[18]Tan X,Li Y,Liu J,et al.Face liveness detection from a singleimage with sparse low rank bilinear discriminative model[C].EuropeanConference on Computer Vision.Berlin：Springer-Verlag,2010∶504-517.
[19]Zinelabidine Boulkenafet,Jukka Komulainen,Abdenour Hadid,On thegeneralization of color texture-based face anti-spoofing(J).Image and VisionComputing：2018,77：1-9.
[20]Boulkenafet Z,Komulainen J,Hadid A.face anti-spoofing based oncolor texture analysis[J].2015：2636-2640.
[21]LuanX,Wang HM,Ou WH,Liu LH.Face Liveness Detection withRecaptured Feature Extraction[C].International Conference on Security,PatternAnalysis,and Cybernetics(ICSPAC).New York：IEEE,2017∶429-432.
[22]Gorny P.Highlight removal method for HDR images[C].Szczecin：Central European Seminar on Computer Graphics.2009.
[23]Boulkenafet Z,Komulainen J,Li L,et al.OULU-NPU：A Mobile FacePresentation Attack Database with Real-World Variations[C].IEEE InternationalConference on Automatic Face&Gesture Recognition.New York：IEEE,2017∶612-618.
[24]阮秋琦.数字图像处理学.第3版[M].北京：电子工业出版社,2007：72-88.
[25]慕春雷.基于HOG特征的人脸识别系统研究[D].成都：电子科技大学,2013.
[26]赵树杰.信号检测与估计理论[M].北京：清华大学出版社,2005.65-67。
Claims (4)
1.一种去除高亮特征和方向梯度直方图的面部活体检测方法，其特征是，首先利用高亮去除方法HRM(Highlight Removal Method for HDR Images)对待测图片进行预处理，然后利用梯度直方图HOG进行纹理特征提取并进行特征处理，并利用纹理特征区分一次采集和二次采集的面部图片，最后通过对分类器进行参数调整，最终实现面部活体准确检测。
2.如权利要求1所述的去除高亮特征和方向梯度直方图的面部活体检测方法，其特征是，具体步骤是，首先对面部图片采用P，G的高亮特征去除方法HRM来减少样本中亮度变化对分类器的干扰，然后用基于统计方法的方向梯度直方图HOG提取样本纹理特征，再将得到的特征输入到分类器，得出面部活体检测的结果；其中高亮特征去除方法HRM涉及以下内容：首先对RGB图像进行颜色空间转换到YUV色彩空间，然后对YUV图片进行Y通道提取并进行Y通道归一化，最后将图片进行直方图均衡化且进行多项式变换得到去亮度后的图片；HOG方法涉及的内容有：首先对图片划分局部区域，进行梯度计算，然后进行梯度方向统计并对Block特征标准化，最后得到HOG特征。
3.如权利要求2所述的去除高亮特征和方向梯度直方图的面部活体检测方法，其特征是，HRM具体步骤如下：
1)、RGB彩色空间与YUV色彩空间转换
RGB彩色空间中，R表示图像红色分量；G表示图像的绿色分量，B表示图像的蓝色分分量，YUV彩色空间是指YCbCr彩色空间，Y表示图像的亮度信息，是图像的灰度值，U表示图像的色度，V表示图像的浓度，RGB转YCrBr公式如式(1)：
2)、图像归一化
提取高亮特征需要对图像的亮度通道Y进行处理，使用的归一化公式如式(2)：
其中：x表示面部图像某像素点的像素值；Vmin表示图像中最小的像素值；Vmax表示图像中最大的像素值；
3)、直方图均衡化
直方图均衡化(Histogram Equalization)，是基于图像的直方图，对图像进行非线性拉伸，使一幅图片中不同像素的数量大致相等。均衡化后的图像直方图是一个较为平整的分段直方图，不同的图像间亮度差异较小。直方图均衡化的表达式如式(3)：
其中ri表示第i个灰度级，n是图像中像素的总和，ni是灰度级为ri像素的数量，k表示图像的灰度级；
4)、多项式变换
对每个像素值a替换为通过函数返回的值，进行强度变换，通过多次试验获得的变换点使用4次多项式逼近得到强度变换函数，如式(4)：
f(a)＝p0a4+p1a3+p2a2+p3a+p4 (4)
利用最佳亮度曲线去除图片中的高亮度区域，对研究中的图像取最佳系数得到亮度变换曲线系数，如式(5)：
使用HRM，消除了亮度和色度对分类器的干扰，下一步需要提取用于分类的面部照片特征。
HOG特征提取过程主要步骤如下：
1)、局部区域划分
将图像分为8*8的小块cell，上下左右4个cell组成的正方形区域叫做块block，block之间可以重叠实验中相邻block的比例为0.5，一个cell中统计梯度方向为9bins；
2)、梯度计算
在面部图像中取任意一像素点,梯度计算公式如式(6)～(9)
Gx(x,y)＝H(x+1,y)-H(x-1,y) (6)
Gy(x,y)＝H(x,y+1)-H(x,y-1) (7)
其中Gx(x,y)为像素点(x,y)处的水平方向梯度，Gy(x,y)为像素点(x,y)处的垂直方向梯度，H(x,y)为像素点(x,y)处的像素值，G(x,y)为像素点(x,y)处的梯度幅值a(x,y)为像素点(x,y)处的梯度方向；
3)、梯度方向统计
梯度方向设置为9，将-90°～90°之间的梯度方向平均分为9份，分别为(-90°～-70°)、(-70°～-50°)、(-50°～-30°)、(-30°～-10°)、(-10°～10°)、(10°～30°)、(30°～50°)、(50°～70°)、(70°～90°)，将每个范围内的梯度方向幅值相加，得到每个范围的统计分量；
4)、特征标准化
使用的标准化函数为L2-hys-norm：
v是进行标准化的特征向量，||v||2表示二范数；ε为标准化常量避免分母为0；
5)、HOG特征
OG使用积分图来简便特征统计的计算，具体地，图像中的任意像素(x,y)的9个梯度方向幅值为H(x,y)＝[H(x,y)1,H(x,y)2,…H(x,y)9]T，其中只有一个幅值非零，大小为m*n的图像M中列HOG积分和的公式如式(10)：
逐列计算后，暂存得到大小为m*n的矩阵Mcol，对Mcol矩阵计算行方向积分Irow，就得到图像矩阵的HOG积分图Imat，矩阵积分公式如式(11)：
HOG积分图Imat是对图像M扫描两次后得到，通过计算得到图像M中局部cell、block等的HOG特征。
4.如权利要求2所述的去除高亮特征和方向梯度直方图的面部活体检测方法，其特征是，计算得到图像M中局部cell、block等的HOG特征具体步骤如下：图像中某一点的积分就是点的幅值，假设需要得到矩阵中元素(x1,y1)的特征值H(x,y)，计算公式如式(12)：
H(x1,y1)＝Imat(x1,y1)-Imat(x1,y1-1)-Imat(x1-1,y1)+Imat(x1-1,y1-1) (12)
针对cell大小为(8,8)，block大小为(16,16)，则cell、block的HOG特征图计算公式如式(13)、(14)：
Hcell(xr,yd)＝Imat(xr,yd)-Imat(xr,yd-8)-Imat(xr-8,yd)+Imat(xr-8,yd-8) (13)
Hblock(xr,yd)＝Imat(xr,yd)-Imat(xr,yd-16)-Imat(xr-16,yd)+Imat(xr-16,yd-16) (14)
其中：(xr,yd)表示局部区域的右下角坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761334.6A CN111914750A (zh) | 2020-07-31 | 2020-07-31 | 去除高亮特征和方向梯度直方图的面部活体检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761334.6A CN111914750A (zh) | 2020-07-31 | 2020-07-31 | 去除高亮特征和方向梯度直方图的面部活体检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111914750A true CN111914750A (zh) | 2020-11-10 |
Family
ID=73286988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010761334.6A Pending CN111914750A (zh) | 2020-07-31 | 2020-07-31 | 去除高亮特征和方向梯度直方图的面部活体检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914750A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528969A (zh) * | 2021-02-07 | 2021-03-19 | 中国人民解放军国防科技大学 | 人脸图像的真伪检测方法、系统、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392187A (zh) * | 2017-08-30 | 2017-11-24 | 西安建筑科技大学 | 一种基于梯度方向直方图的人脸活体检测方法 |
| CN108921018A (zh) * | 2018-05-25 | 2018-11-30 | 西北工业大学 | 一种基于运动模糊分析的虚假人脸入侵检测方法 |
| CN108960088A (zh) * | 2018-06-20 | 2018-12-07 | 天津大学 | 特定环境的面部活体特征检测、识别方法 |
-
2020
- 2020-07-31 CN CN202010761334.6A patent/CN111914750A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392187A (zh) * | 2017-08-30 | 2017-11-24 | 西安建筑科技大学 | 一种基于梯度方向直方图的人脸活体检测方法 |
| CN108921018A (zh) * | 2018-05-25 | 2018-11-30 | 西北工业大学 | 一种基于运动模糊分析的虚假人脸入侵检测方法 |
| CN108960088A (zh) * | 2018-06-20 | 2018-12-07 | 天津大学 | 特定环境的面部活体特征检测、识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 秦龙斌: "面部活体检测技术的方法研究", 中国优秀硕士学位论文全文数据库信息科技辑 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528969A (zh) * | 2021-02-07 | 2021-03-19 | 中国人民解放军国防科技大学 | 人脸图像的真伪检测方法、系统、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Peng et al. | Face presentation attack detection using guided scale texture | |
| WO2019134536A1 (zh) | 基于神经网络模型的人脸活体检测 | |
| Schwartz et al. | Face spoofing detection through partial least squares and low-level descriptors | |
| da Silva Pinto et al. | Video-based face spoofing detection through visual rhythm analysis | |
| Kao et al. | Local contrast enhancement and adaptive feature extraction for illumination-invariant face recognition | |
| WO2019137178A1 (zh) | 人脸活体检测 | |
| CN109948566B (zh) | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 | |
| CN105956578A (zh) | 一种基于身份证件信息的人脸验证方法 | |
| CN111582197A (zh) | 一种基于近红外和3d摄像技术的活体以及人脸识别系统 | |
| CN111832405A (zh) | 一种基于hog和深度残差网络的人脸识别方法 | |
| Yeh et al. | Face liveness detection based on perceptual image quality assessment features with multi-scale analysis | |
| Wasnik et al. | Presentation attack detection for smartphone based fingerphoto recognition using second order local structures | |
| Tian et al. | Face anti-spoofing by learning polarization cues in a real-world scenario | |
| Song et al. | Face liveness detection based on joint analysis of rgb and near-infrared image of faces | |
| KR20060058197A (ko) | 눈 검출 방법 및 장치 | |
| Marasco et al. | Fingerphoto presentation attack detection: Generalization in smartphones | |
| Song et al. | Face liveliness detection based on texture and color features | |
| Shu et al. | Face spoofing detection based on multi-scale color inversion dual-stream convolutional neural network | |
| Taha et al. | Iris features extraction and recognition based on the local binary pattern technique | |
| CN202887214U (zh) | 基于人脸识别的人体身份识别装置 | |
| CN111914750A (zh) | 去除高亮特征和方向梯度直方图的面部活体检测方法 | |
| Lin et al. | A gender classification scheme based on multi-region feature extraction and information fusion for unconstrained images | |
| He et al. | Face Spoofing Detection Based on Combining Different Color Space Models | |
| Abaza et al. | Human ear detection in the thermal infrared spectrum | |
| Gangopadhyay et al. | FACE DETECTION AND RECOGNITION USING HAAR CLASSIFIER AND LBP HISTOGRAM. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201110 |
|
| WD01 | Invention patent application deemed withdrawn after publication |