CN111274851A - 一种活体检测方法及装置 - Google Patents

一种活体检测方法及装置 Download PDF

Info

Publication number
CN111274851A
CN111274851A CN201811479502.1A CN201811479502A CN111274851A CN 111274851 A CN111274851 A CN 111274851A CN 201811479502 A CN201811479502 A CN 201811479502A CN 111274851 A CN111274851 A CN 111274851A
Authority
CN
China
Prior art keywords
detected
image
eyes
gradient
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811479502.1A
Other languages
English (en)
Inventor
武勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Middle Shift Information Technology Co Ltd
China Mobile Communications Group Co Ltd
China Mobile Group Shanghai Co Ltd
Original Assignee
Shanghai Middle Shift Information Technology Co Ltd
China Mobile Communications Group Co Ltd
China Mobile Group Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Middle Shift Information Technology Co Ltd, China Mobile Communications Group Co Ltd, China Mobile Group Shanghai Co Ltd filed Critical Shanghai Middle Shift Information Technology Co Ltd
Priority to CN201811479502.1A priority Critical patent/CN111274851A/zh
Publication of CN111274851A publication Critical patent/CN111274851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Abstract

本发明实施例提供一种活体检测方法及装置，包括：获取多张待检测的图像，其中，所述待检测图像中包括待检测的目标；利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型；利用光流场检测方法对所述待检测图像进行检测，得到眼部和嘴部的光流场信息；若所述面部梯度模型符合活体面部梯度特征且所述多张待检测图像中的所述眼部和嘴部的光流场信息不相同，则判断所述待检测目标为活体。利用本发明实施例可以区分出不同类型的假体，并提高了检测的准确度。

Description

一种活体检测方法及装置
技术领域
本发明实施例涉及生物特征识别技术领域，尤其涉及一种活体检测方法及装置。
背景技术
人像伪造的方法有很多，包括手机、电脑照片伪造，纸片伪造，手机、电脑视频伪造，3D面具伪造等。传统的方法要么只能针对特定场景的伪造进行检测，要么需要使用特殊的仪器或者多个摄像头，增加了生产成本。
现有技术中公开了部分活体检测方法，例如，基于眨眼和眼部光流场的活体检测方法，基于梯度的活体检测方法等，其中，采用基于眨眼和眼部光流场的活体检测方法，首先得到光流场数据后，通过计算光流场中数据变化幅值最大的像素在整体中的比例，然后与阈值比较，然后判断眼部是否有动作；采用基于梯度的活体检测方法主要是提取人脸HOG特征进行特征比对。
现有技术中提供的方案检测的比较单一，对有些假体的检测无效，并不能将所有的假体都检测出来。因此，如何提供一种能够多方位检测的方案，提供检测活体的准确性。
发明内容
针对现有技术中存在的技术问题，本发明实施例提供一种活体检测方法及装置。
第一方面，本发明实施例提供一种活体检测方法，包括：
获取多张待检测的图像，其中，所述待检测图像中包括待检测的目标；
利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型；
利用光流场检测方法对所述待检测图像进行检测，得到眼部和嘴部的光流场信息；
若所述面部梯度模型符合活体面部梯度特征且所述多张待检测图像中的所述眼部和嘴部的光流场信息不相同，则判断所述待检测目标为活体。
第二方面，本发明实施例提供一种活体检测装置，包括：获取模块，用于获取多张待检测的图像，其中，所述待检测图像中包括待检测的目标；
第一检测模块，用于利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型；
第二检测模块，用于利用光流场检测方法对所述待检测图像进行检测，得到眼部和嘴部的光流场信息；
判断模块，用于若所述面部梯度模型符合活体面部梯度特征且所述多张待检测图像中的所述眼部和嘴部的光流场信息不相同，则判断所述待检测目标为活体。
本发明实施例提供的活体检测方法及装置，利用面部梯度特征检测方法和光流场检测方法相结合的方式对人脸进行检测，从而检测出是活体人脸还是假体，如照片、纸片、视频伪造、3D模型等，利用本发明实施例解决了现有技术中检测的不足，提高检测的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种活体检测方法的流程示意图；
图2为本发明实施例提供的面部梯度检测模型建立的流程示意图；
图3为本发明实施例提供的sobe算子的卷积因子示意图；
图4为本发明实施例提供的待检测的目标的68个特征点的分布图；
图5为本发明实施例提供的一种活体检测装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在现实生活中的一些场合需要区别是真人活体还是伪造头像，而人像伪造的方法有很多，包括手机、电脑照片伪造，纸片伪造，手机、电脑视频伪造，3D面具伪造等，需要多方面的将不同种类的伪造识别出来。
对于纸片照片，手机、电脑照片或者视频照片来说，经过摄像头二次成像之后，图像中的面部信息相比于原始照片，部分特征发生了改变。
由于人脸表面和照片表面对光线的反射率不同，二次成像图片会将图像的纹理边界平滑化，边界处的像素值不再像实际照片中的边界那么陡峭，因此可以用图像表面梯度的幅值作为判定图像是否为二次成像的依据。
真实的人脸图像与二次成像的图像，梯度差异特征主要集中在人脸五官轮廓的边缘，因为其他区域相对比较平滑，二次成像时变化不大，而人脸五官比较突出，二次成像时，人脸五官的反射率和照片中人脸五官的反射率差异明显。
对于3D面具来说，其成像的效果可能与人脸相近，无法利用梯度信息来捕获差异。但是3D人像的面部表情不会变，而真实人像嘴部、眼睛和面部表情都会有一定幅度的变化，利用这个特性，本发明实施例使用光流场的方法，检测面部幅度变化可能性较大的眼睛和嘴巴区域，从而确定出是否是活体。
连续的真实人脸照片中，人脸的位置以及面部表情会有一些变化，尤其对于眼部和嘴部来说，这些变化的频率会更改高。一旦人像眨眼或者嘴部运动，则一系列眼部和嘴部图片中产生的光流场的方向会出现任意性。但是对于3D人脸面具，眼部和嘴部始终保持不变，即使人为的进行转动，眼部和嘴部的光流场的运动方向也具有一致性。因此通过判断光流场运动的方向，可以判定出是否是3D伪造。
综上所述，图1为本发明实施例提供的一种活体检测方法的流程示意图，如图1所示，所述方法包括：
S101、获取多张待检测的图像，其中，所述待检测图像中包括待检测的目标；
S102、利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型；
S103、利用光流场检测方法对所述待检测图像进行检测，得到眼部和嘴部的光流场信息；
S104、若所述面部梯度模型符合活体面部梯度特征且所述多张待检测图像中的所述眼部和嘴部的光流场信息不相同，则判断所述待检测目标为活体。
具体地，本发明实施例提供了一种活体检测方法，利用面部梯度特征检测方法及光流场检测方法相结合的方法来判断待检测目标是否为活体，具体为：获取多张待检测的图像，其中，所述待检测图像中包括待检测的目标即人脸；对获取的多张待检测的图像采用面部梯度检测方法进行检测，得到所述待检测目标的面部梯度检测模型，再利用光流场检测方法对待检测图像进行检测，得到待检测目标的眼部和嘴部的光流场信息。对得到的待检测目标的面部梯度检测模型和眼部及嘴部的光流场信息进行判断，若所述待检测目标的面部梯度检测模型符合活体面部检测梯度特征，同时前后两张图像中的所述眼部和嘴部的光流场信息不同，即光流场变化的方向不一致，则认为待检测目标为活体，其中，面部梯度检测模型识别不出3D模型和活体，采用光流场检测方法可以将3D模型识别出来，若是3D模型，则待检测目标的眼部和嘴部的光流场方向相同，若是活体，则待检测目标的眼部和嘴部的光流场方向不同。
其中，S102和S103的检测步骤可以同时发生，也可以依次发生，在本发明实施例中不做具体限定。
本发明实施例提供的活体检测方法，利用面部梯度特征检测方法和光流场检测方法相结合的方式对人脸进行检测，从而检测出是活体人脸还是假体，如照片、纸片、视频伪造、3D模型等，利用本发明实施例解决了现有技术中检测的不足，提高检测的精确度。
可选地，所述利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型，具体为：
S201、对所述待检测的图像进行标准化处理并计算标准化处理后图像中的每个像素的梯度；
S202、将所述标准化处理后的图像进行分块；
S203、根据每个像素的梯度，统计分块后的每个小单元的梯度直方图，得到每个小单元的描述符；
S204、将连续的小单元进行合并，得到所述待检测目标的特征向量；
S205、对所述待检测目标的特征向量进行分类训练，得到所述待检测目标的面部梯度检测模型。
在上述实施例的基础上，图2为本发明实施例提供的面部梯度检测模型建立的流程示意图，如图2所示。所述利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型，具体为：
S201、：为了减少图像本身内容或者面部位置差异对梯度计算的影响，首先利用人脸检测，定位出人脸区域，用一个最小矩形分割出包含五官的面部区域。然后对图像进行灰度化并采用Gamma校正法对输入图像进行颜色空间的归一化，目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰。
计算图像每个像素的梯度(包括大小和方向)；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。
S202、：对待检测图像进行n*n切分(例如6*6像素/细胞块cell)；
S203、：每个细胞块分别用水平和垂直的sobe算子与之进行滑动卷积处理，获取每个图像分块的轮廓梯度直方图即边缘轮廓的梯度和梯度方向信息，sobe算子的卷积因子如图3所示，其中，n的值可以根据实际情况自行设定。也就是说，统计每个细胞块cell的梯度直方图(不同梯度的个数)，即可形成每个cell的描述符(descriptor)；
S204、：将每几个细胞块cell组成一个块block(例如3*3个cell/block)，一个block内所有cell的特征descriptor串联起来便得到该块block的HOG特征descriptor。
将图像image内的所有块block的HOG特征descriptor串联起来就可以得到待检测图像中的待检测目标的HOG特征descriptor了，也就是得到待检测目标的特征向量。
S205、：将得到的特征向量进行分类训练，可以得到面部梯度检测模型。
对特征向量进行分类训练可采用二分类法、欧氏距离等，从而将一部分假体识别出来。
本发明实施例使用了多方向的sobel算子对图像边缘进行检测，再结合HOG特征对待检测图像进行分类，从多方向捕获面部梯度特征，提高检测的准确率。
可选地，所述利用光流场检测方法对所述待检测图像进行检测，得到眼部和嘴部的光流场信息，具体为：
获取间隔一定时间的多张图像，其中，所述图像中包括待检测的目标；
对获取的多张图像中的眼部和嘴部区域进行定位和切分；
计算所述眼部和嘴部的光流场信息。
在上述实施例的基础上，采用面部梯度检测模型可以识别出一部分假体，为了提高检测的准确性，采用光流场检测方法对待检测图像做进一步的检测，对待检测目标的眼部和嘴部的光流场信息进行判断。
在抽取待检测图像时，一般摄像头每秒25到30帧，如果使用连续的图像，会造成光流场变化不明显，无法显示出面部特征的变化。因此，本发明实施例中每隔3帧取一张图片，连续取3帧，计算眼部和嘴部的光流场，更具有说服力。
对于真实的人像来说，眼角和嘴部的变化是不定向的，因此产生的光流场可能是任意方向的，但是对于3D面具来说，无法改变面部表情，只能转动头部，因此面部各个部分的光流场在面具转动时，会朝着一个方向运动。基于此原理，本发明实施例首先将待检测图像中的眼部和嘴部区域进行定位和切分出来，然后每隔3帧取1张图像，共取3张，计算眼部和嘴部光流场。隔0.2s后，再每隔3帧取1张图像，计算眼部和嘴部光流场。分别比较眼部和嘴部前后两种光流场，计算光流场变化的方向的一致性。
具体的计算方法如下所示：
第一次每隔3帧取1帧图像，一共取3张图像，首先通过第一张图像和第二张图像对第二张图像进行线光流计算得到光流图OFim，通过第二张图像和第三张图像对第三张图像进行线光流计算得到光流图OFtemp，然后对OFim的每一点利用Schwartz不等式计算OFim与第三张图OFtemp的相似度：
Figure BDA0001893023210000061
可知sim属于[0,1],将max(sim)的位置存储于fcer，在最大相似度相对应的图像位置分别与另外两张图片计算速度估计值simh和simv:
Figure BDA0001893023210000071
Figure BDA0001893023210000072
其中R表示光流图的实部也即水平方向光流图，S表示光流图的虚部也即垂直方向光流图。通过比较simh和simv的值能大致估算出眼部和嘴部的运动趋势。例如，在确定最大相似度是在第2张图像中，则分别计算第1张和第2张的速度和位置的相似值，第2张和第3张的速度和位置的相似值，通过比较两个相似值的大小和方向来估算眼部和嘴部的运动趋势。同理，隔0.2s后，再每隔3帧取一帧，总共取3帧，重复上述的的操作，得到眼部和嘴部的运动趋势，两者进行比较，确定运动方向是否一致，从而判断是否为活体。
本发明实施例在对光流场变化进行度量时，选择了光流场的方向变化情况。3D人脸的转动，眼部光流场具有一致性，而真实人像眨眼或者眼部变化时，光流场的变化是杂乱无章的，因此可以将3D模型识别出来，达到更好的检测效果，提高了检测的准确性。
可选地，还包括：对所述待检测的图像进行眼睛开合度的检测。
在上述实施例的基础上，在进行活体检测时，人在摄像头面前往往会不自觉地眨眼，基于面部梯度检测能过滤掉纸片、视频的造假，此步骤主要针对面部梯度误判的图片，通过用户无意识的眨眼行为来进行活体判定。
可选地，所述对所述待检测的图像进行眼睛开合度的检测，具体为：
获取多张所述待检测的图像，其中，所述待检测图像中包括待检测的目标；
利用人脸检测工具获取所述待检测目标的面部五官特征，并得到眼睛的坐标；
计算眼睛的开合度，并比较前后两张图像的眼睛的开合度；
若所述前后两张图像的眼睛的开合度不相同，则认为所述待检测目标存在眨眼行为；
若所述前后两张图像的眼睛的开合度相同，则进行眼部和嘴部的光流场检测。
可选地，在上述实施例的基础上，本发明实施例首先使用dlib等人脸检测的开源工具对人脸特征进行提取和定位，确定人眼区域以及眼睛的坐标，计算眼睛张开的比例，并且不使用阈值，而是通过前后两帧眼睛张合度的变化来来确定人像是否有眨眼或者其他眼部动作，这样方式具有更好的鲁棒性。
图4为本发明实施例提供的待检测的目标的68个特征点的分布图，如图4所示。在计算眼睛的开合度时，分别计算点37和点41，点38和点40之间的距离，取两者的均值，作为左眼的开合度的测量依据，取点43和点47，点44和点46距离的平均值作为右眼开合度的测量依据。比较两次的眼睛的开合度大小，从而判断是否眨眼。
本发明实施例提供一具体的例子来说明检测流程，如下所示：
步骤一：每隔3帧从摄像头中抽取1张图片，隔0.2s后，再每隔3帧取
1张图像进行活体检测，避免过多重复姿势对资源的浪费。
步骤二：使用同态滤波等对照片进行预处理，消除光照等对检测影响。
步骤三：对图像中人脸进行检测和定位，以包含人脸五官的最小矩形为大小，分割出人脸面部图像，避免图像中其他区域的干扰。
步骤四：对人脸图像进行面部梯度特征计算和分类，确定是否属于伪造。
步骤五：提取前后两张图片中眼部的特征坐标，计算左右眼睛的开合度。
步骤六:计算前后两张图片的光流场，获取眼部和嘴部光流场方向信息。
步骤七：若前后两张图像中眼睛的开合度不同，且眼部和嘴部光流场方向信息的方向变化不同，则认为待检测目标为活体。
本发明实施例使用两种方式对人像面部变化特征进行描述，使用梯度特征对照片和视频图像进行检测，使用眼部和嘴部的光流场变化特征对3D人脸面具进行检测，从而确保了算法的准确性。
利用本发明实施例无需用户配合，提高用户体验。传统的活体检测的方法是基于用户配合的，用户根据系统发送的随机指令执行相应的动作，系统通过摄像头获取一系列照片，检测动作的规范性，从而确定是否是活体。这样需要依靠用户的配合，会降低用户的耐心和体验度。本发明无需用户配合，只要用户面对摄像头，系统就能捕捉面部的细微变化，从而判定是否是活体。
利用本发明实施例对于照片、视频、3D人脸面具都具有很好的抵抗能力，现有技术中的活体检测的手段针对的场景单一，本发明实施例提供的技术方案不仅能识别出照片、视频伪造，还对3D脸伪造具有很好的检测能力。
本发明实施例无须借助多个摄像头或者红外仪器等检测，现有技术的检测方法对采集仪器有一定的要求，为了获取多方位的面部信息，有些方法需要使用多个摄像头对人像进行采集，然后进行人脸三维重建；也有一些方法需要获取人体产生的红外线；还有一些方法是通过人眼虹膜或者瞳孔进行检测的，需要用高清摄像头或者特殊仪器才能满足要求，这往往会增加生产成本。本发明对摄像头要求不高，也不需要引入额外的仪器，能在低成本的情况下，达到可观的识别率。
图5为本发明实施例提供的一种活体检测装置的结构示意图，如图5所示，所述装置包括：获取模块10、第一检测模块20、第二检测模块30及判断模块40，具体为：
获取模块10用于获取多张待检测的图像，其中，所述待检测图像中包括待检测的目标；
第一检测模块20用于利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型；
第二检测模块30用于利用光流场检测方法对所述待检测图像进行检测，得到眼部和嘴部的光流场信息；
判断模块40用于若所述面部梯度模型符合活体面部梯度特征且所述多张待检测图像中的所述眼部和嘴部的光流场信息不相同，则判断所述待检测目标为活体。
在上述实施例的基础上，本发明实施例提供一种活体检测装置，包括：获取模块10、第一检测模块20、第二检测模块30及判断模块40，具体为：获取模块10获取多张待检测的图像，其中，所述待检测图像中包括待检测的目标；第一检测模块20利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型；第二检测模块30利用光流场检测方法对所述待检测图像进行检测，得到眼部和嘴部的光流场信息；判断模块40用于若所述面部梯度模型符合活体面部梯度特征且所述多张待检测图像中的所述眼部和嘴部的光流场信息不相同，则判断所述待检测目标为活体。
本发明实施例提供的活体检测装置，利用面部梯度特征检测方法和光流场检测方法相结合的方式对人脸进行检测，从而检测出是活体人脸还是假体，如照片、纸片、视频伪造、3D模型等，利用本发明实施例解决了现有技术中检测的不足，提高检测的精确度。
可选地，所述第一检测模块具体为：
对所述待检测的图像进行标准化处理并计算标准化处理后图像中的每个像素的梯度；
将所述标准化处理后的图像进行分块；
根据每个像素的梯度，统计分块后的每个小单元的梯度直方图，得到每个小单元的描述符；
将连续的小单元进行合并，得到所述待检测目标的特征向量；
对所述待检测目标的特征向量进行分类训练，得到所述待检测目标的面部梯度检测模型。
在上述实施例的基础上，所述第一检测模块具体为:
步骤一：为了减少图像本身内容或者面部位置差异对梯度计算的影响，首先利用人脸检测，定位出人脸区域，用一个最小矩形分割出包含五官的面部区域。然后对图像进行灰度化并采用Gamma校正法对输入图像进行颜色空间的归一化，目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰。
计算图像每个像素的梯度(包括大小和方向)；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。
步骤二：对待检测图像进行n*n切分(例如6*6像素/细胞块cell)；
步骤三：每个细胞块分别用水平和垂直的sobe算子与之进行滑动卷积处理，获取每个图像分块的轮廓梯度直方图即边缘轮廓的梯度和梯度方向信息，sobe算子的卷积因子如图3所示，其中，n的值可以根据实际情况自行设定。也就是说，统计每个细胞块cell的梯度直方图(不同梯度的个数)，即可形成每个cell的描述符(descriptor)；
步骤四：将每几个细胞块cell组成一个块block(例如3*3个cell/block)，一个block内所有cell的特征descriptor串联起来便得到该块block的HOG特征descriptor。
将图像image内的所有块block的HOG特征descriptor串联起来就可以得到待检测图像中的待检测目标的HOG特征descriptor了，也就是得到待检测目标的特征向量。
步骤五：将得到的特征向量进行分类训练，既可以得到面部梯度检测模型。
对特征向量进行分类训练可采用二分类法、欧氏距离等，从而将一部分假体识别出来。
本发明实施例使用了多方向的sobel算子对图像边缘进行检测，再结合HOG特征对待检测图像进行分类，从多方向捕获面部梯度特征，提高检测的准确率。
可选地，所述第二检测模块具体为：
获取间隔一定时间的多张图像，其中，所述图像中包括待检测的目标；
对获取的多张图像中的眼部和嘴部区域进行定位和切分；
计算所述眼部和嘴部的光流场信息。
在上述实施例的基础上，采用面部梯度检测模型可以识别出一部分假体，为了提高检测的准确性，采用光流场检测方法对待检测图像做进一步的检测，对待检测目标的眼部和嘴部的光流场信息进行判断。
在抽取待检测图像时，一般摄像头每秒25到30帧，如果使用连续的图像，会造成光流场变化不明显，无法显示出面部特征的变化。因此，本发明实施例中每隔3帧取一张图片，连续取3帧，计算眼部和嘴部的光流场，更具有说服力。
对于真实的人像来说，眼角和嘴部的变化是不定向的，因此产生的光流场可能是任意方向的，但是对于3D面具来说，无法改变面部表情，只能转动头部，因此面部各个部分的光流场在面具转动时，会朝着一个方向运动。基于此原理，本发明实施例首先将待检测图像中的眼部和嘴部区域进行定位和切分出来，然后每隔3帧取1张图像，共取3张，计算眼部和嘴部光流场。隔0.2s后，再每隔3帧取1张图像，计算眼部和嘴部光流场。分别比较眼部和嘴部前后两种光流场，计算光流场变化的方向的一致性。
具体的计算方法如下所示：
第一次每隔3帧取1帧图像，一共取3张图像，首先通过第一张图像和第二张图像对第二张图像进行线光流计算得到光流图OFim，通过第二张图像和第三张图像对第三张图像进行线光流计算得到光流图OFtemp，然后对OFim的每一点利用Schwartz不等式计算OFim与第三张图OFtemp的相似度：
Figure BDA0001893023210000121
可知sim属于[0,1],将max(sim)的位置存储于fcer，在最大相似度相对应的图像位置分别与另外两张图片计算速度估计值simh和simv:
Figure BDA0001893023210000122
Figure BDA0001893023210000123
其中R表示光流图的实部也即水平方向光流图，S表示光流图的虚部也即垂直方向光流图。通过比较simh和simv的值能大致估算出眼部和嘴部的运动趋势。例如，在确定最大相似度是在第2张图像中，则分别计算第1张和第2张的速度和位置的相似值，第2张和第3张的速度和位置的相似值，通过比较两个相似值的大小和方向来估算眼部和嘴部的运动趋势。同理，隔0.2s后，再每隔3帧取一帧，总共取3帧，重复上述的的操作，得到眼部和嘴部的运动趋势，两者进行比较，确定运动方向是否一致，从而判断是否为活体。
本发明实施例在对光流场变化进行度量时，选择了光流场的方向变化情况。3D人脸的转动，眼部光流场具有一致性，而真实人像眨眼或者眼部变化时，光流场的变化是杂乱无章的，因此可以将3D模型识别出来，达到更好的检测效果，提高了检测的准确性。
可选地，还包括：对所述待检测的图像进行眼睛开合度的检测。
在上述实施例的基础上，在进行活体检测时，人在摄像头面前往往会不自觉地眨眼，基于面部梯度检测能过滤掉纸片、视频的造假，此步骤主要针对面部梯度误判的图片，通过用户无意识的眨眼行为来进行活体判定。
可选地，所述对所述待检测的图像进行眼睛开合度的检测，具体为：
获取多张所述待检测的图像，其中，所述待检测图像中包括待检测的目标；
利用人脸检测工具获取所述待检测目标的面部五官特征，并得到眼睛的坐标；
计算眼睛的开合度，并比较前后两张图像的眼睛的开合度；
若所述前后两张图像的眼睛的开合度不相同，则认为所述待检测目标存在眨眼行为；
若所述前后两张图像的眼睛的开合度相同，则进行眼部和嘴部的光流场检测。
可选地，在上述实施例的基础上，本发明实施例首先使用dlib等人脸检测的开源工具对人脸特征进行提取和定位，确定人眼区域以及眼睛的坐标，计算眼睛张开的比例，并且不使用阈值，而是通过前后两帧眼睛张合度的变化来来确定人像是否有眨眼或者其他眼部动作，这样方式具有更好的鲁棒性。
图4为本发明实施例提供的待检测的目标的68个特征点的分布图，如图4所示。在计算眼睛的开合度时，分别计算点37和点41，点38和点40之间的距离，取两者的均值，作为左眼的开合度的测量依据，取点43和点47，点44和点46距离的平均值作为右眼开合度的测量依据。比较两次的眼睛的开合度大小，从而判断是否眨眼。
本发明实施例提供的活体检测方法及装置，使用两种方式对人像面部变化特征进行描述，使用梯度特征对照片和视频图像进行检测，使用眼部和嘴部的光流场变化特征对3D人脸面具进行检测，从而确保了算法的准确性。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种活体检测方法，其特征在于，包括：
获取多张待检测的图像，其中，所述待检测图像中包括待检测的目标；
利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型；
利用光流场检测方法对所述待检测图像进行检测，得到眼部和嘴部的光流场信息；
若所述面部梯度模型符合活体面部梯度特征且所述多张待检测图像中的所述眼部和嘴部的光流场信息不相同，则判断所述待检测目标为活体。
2.根据权利要求1所述的方法，其特征在于，所述利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型，具体为：
对所述待检测的图像进行标准化处理并计算标准化处理后图像中的每个像素的梯度；
将所述标准化处理后的图像进行分块；
根据每个像素的梯度，统计分块后的每个小单元的梯度直方图，得到每个小单元的描述符；
将连续的小单元进行合并，得到所述待检测目标的特征向量；
对所述待检测目标的特征向量进行分类训练，得到所述待检测目标的面部梯度检测模型。
3.根据权利要求1所述的方法，其特征在于，所述利用光流场检测方法对所述待检测图像进行检测，得到眼部和嘴部的光流场信息，具体为：
获取间隔一定时间的多张图像，其中，所述图像中包括待检测的目标；
对获取的多张图像中的眼部和嘴部区域进行定位和切分；
计算所述眼部和嘴部的光流场信息。
4.根据权利要求1所述的方法，其特征在于，还包括：对所述待检测的图像进行眼睛开合度的检测。
5.根据权利要求4所述的方法，其特征在于，所述对所述待检测的图像进行眼睛开合度的检测，具体为：
获取多张所述待检测的图像，其中，所述待检测图像中包括待检测的目标；
利用人脸检测工具获取所述待检测目标的面部五官特征，并得到眼睛的坐标；
计算眼睛的开合度，并比较前后两张图像的眼睛的开合度；
若所述前后两张图像的眼睛的开合度不相同，则认为所述待检测目标存在眨眼行为；
若所述前后两张图像的眼睛的开合度相同，则进行眼部和嘴部的光流场检测。
6.一种活体检测装置，其特征在于，包括：
获取模块，用于获取多张待检测的图像，其中，所述待检测图像中包括待检测的目标；
第一检测模块，用于利用面部梯度特征检测方法对所述待检测图像进行检测，得到所述待检测目标的面部梯度检测模型；
第二检测模块，用于利用光流场检测方法对所述待检测图像进行检测，得到眼部和嘴部的光流场信息；
判断模块，用于若所述面部梯度模型符合活体面部梯度特征且所述多张待检测图像中的所述眼部和嘴部的光流场信息不相同，则判断所述待检测目标为活体。
7.根据权利要求6所述的装置，其特征在于，所述第一检测模块具体为：
对所述待检测的图像进行标准化处理并计算标准化处理后图像中的每个像素的梯度；
将所述标准化处理后的图像进行分块；
根据每个像素的梯度，统计分块后的每个小单元的梯度直方图，得到每个小单元的描述符；
将连续的小单元进行合并，得到所述待检测目标的特征向量；
对所述待检测目标的特征向量进行分类训练，得到所述待检测目标的面部梯度检测模型。
8.根据权利要求6所述的装置，其特征在于，所述第二检测模块具体为：
获取间隔一定时间的多张图像，其中，所述图像中包括待检测的目标；
对获取的多张图像中的眼部和嘴部区域进行定位和切分；
计算所述眼部和嘴部的光流场信息。
9.根据权利要求6所述的装置，其特征在于，还包括：对所述待检测的图像进行眼睛开合度的检测。
10.根据权利要求9所述的装置，其特征在于，所述对所述待检测的图像进行眼睛开合度的检测，具体为：
获取多张所述待检测的图像，其中，所述待检测图像中包括待检测的目标；
利用人脸检测工具获取所述待检测目标的面部五官特征，并得到眼睛的坐标；
计算眼睛的开合度，并比较前后两张图像的眼睛的开合度；
若所述前后两张图像的眼睛的开合度不相同，则认为所述待检测目标存在眨眼行为；
若所述前后两张图像的眼睛的开合度相同，则进行眼部和嘴部的光流场检测。
CN201811479502.1A 2018-12-05 2018-12-05 一种活体检测方法及装置 Pending CN111274851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811479502.1A CN111274851A (zh) 2018-12-05 2018-12-05 一种活体检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811479502.1A CN111274851A (zh) 2018-12-05 2018-12-05 一种活体检测方法及装置

Publications (1)

Publication Number Publication Date
CN111274851A true CN111274851A (zh) 2020-06-12

Family

ID=71003125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811479502.1A Pending CN111274851A (zh) 2018-12-05 2018-12-05 一种活体检测方法及装置

Country Status (1)

Country Link
CN (1) CN111274851A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814589A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 部位识别方法以及相关设备、装置
CN111881726A (zh) * 2020-06-15 2020-11-03 马上消费金融股份有限公司 一种活体检测方法、装置及存储介质
CN116798077A (zh) * 2023-08-18 2023-09-22 江苏圣点世纪科技有限公司 一种手掌照片检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243378A (zh) * 2015-11-13 2016-01-13 清华大学 基于眼部信息的活体人脸检测方法及装置
CN105320950A (zh) * 2015-11-23 2016-02-10 天津大学 一种视频人脸活体检测方法
CN105450664A (zh) * 2015-12-29 2016-03-30 腾讯科技（深圳）有限公司 一种信息处理方法及终端
CN106446772A (zh) * 2016-08-11 2017-02-22 天津大学 一种人脸识别系统中的防欺骗方法
CN108805047A (zh) * 2018-05-25 2018-11-13 北京旷视科技有限公司 一种活体检测方法、装置、电子设备和计算机可读介质
CN108875618A (zh) * 2018-06-08 2018-11-23 高新兴科技集团股份有限公司 一种人脸活体检测方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243378A (zh) * 2015-11-13 2016-01-13 清华大学 基于眼部信息的活体人脸检测方法及装置
CN105320950A (zh) * 2015-11-23 2016-02-10 天津大学 一种视频人脸活体检测方法
CN105450664A (zh) * 2015-12-29 2016-03-30 腾讯科技（深圳）有限公司 一种信息处理方法及终端
CN106446772A (zh) * 2016-08-11 2017-02-22 天津大学 一种人脸识别系统中的防欺骗方法
CN108805047A (zh) * 2018-05-25 2018-11-13 北京旷视科技有限公司 一种活体检测方法、装置、电子设备和计算机可读介质
CN108875618A (zh) * 2018-06-08 2018-11-23 高新兴科技集团股份有限公司 一种人脸活体检测方法、系统及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K. KOLLREIDER等: "Evaluating Liveness by Face Images and the Structure Tensor", 《IEEE》, pages 4 *
NAVNEET等: "Histograms of Oriented Gradients for Human Detection", pages 3 - 6 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881726A (zh) * 2020-06-15 2020-11-03 马上消费金融股份有限公司 一种活体检测方法、装置及存储介质
CN111814589A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 部位识别方法以及相关设备、装置
CN116798077A (zh) * 2023-08-18 2023-09-22 江苏圣点世纪科技有限公司 一种手掌照片检测方法
CN116798077B (zh) * 2023-08-18 2023-11-07 江苏圣点世纪科技有限公司 一种手掌照片检测方法

Similar Documents

Publication Publication Date Title
CN109558764B (zh) 人脸识别方法及装置、计算机设备
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
EP1394723A2 (en) Method for detecting red-eye effect in digital images
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN109670430A (zh) 一种基于深度学习的多分类器融合的人脸活体识别方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN110909693A (zh) 3d人脸活体检测方法、装置、计算机设备及存储介质
US20120269443A1 (en) Method, apparatus, and program for detecting facial characteristic points
CN104318603A (zh) 从手机相册调取照片生成3d模型的方法及系统
CN106372629A (zh) 一种活体检测方法和装置
CN109359577B (zh) 一种基于机器学习的复杂背景下人数检测系统
CN109117755A (zh) 一种人脸活体检测方法、系统和设备
CN112052831A (zh) 人脸检测的方法、装置和计算机存储介质
CN110415208A (zh) 一种自适应目标检测方法及其装置、设备、存储介质
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
CN111274851A (zh) 一种活体检测方法及装置
CN112069887B (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN108446642A (zh) 一种快速人脸识别系统
CN112232204A (zh) 基于红外图像的活体检测方法
CN109784215B (zh) 一种基于改进的光流法的活体检测方法及系统
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
Fathy et al. Benchmarking of pre-processing methods employed in facial image analysis
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination