CN111753781A - 一种基于双目红外的实时3d人脸活体判断方法 - Google Patents

一种基于双目红外的实时3d人脸活体判断方法 Download PDF

Info

Publication number
CN111753781A
CN111753781A CN202010614184.6A CN202010614184A CN111753781A CN 111753781 A CN111753781 A CN 111753781A CN 202010614184 A CN202010614184 A CN 202010614184A CN 111753781 A CN111753781 A CN 111753781A
Authority
CN
China
Prior art keywords
roi
landmarks
face
living body
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010614184.6A
Other languages
English (en)
Other versions
CN111753781B (zh
Inventor
袁嘉言
贾宝芝
何一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Ruiwei Information Technology Co ltd
Original Assignee
Xiamen Ruiwei Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Ruiwei Information Technology Co ltd filed Critical Xiamen Ruiwei Information Technology Co ltd
Priority to CN202010614184.6A priority Critical patent/CN111753781B/zh
Publication of CN111753781A publication Critical patent/CN111753781A/zh
Application granted granted Critical
Publication of CN111753781B publication Critical patent/CN111753781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目红外的实时3D人脸活体判断方法，利用双目红外摄像头进行3D人脸活体检测，先通过定位人脸位置中面部关键特征点(landmark)的位置关系定位出人脸的多个感兴趣区域，再对定位出的相同部位的感兴趣区域进行视差匹配，大大减少了视差匹配在处理器上的处理时间，最后再根据匹配好视差的感兴趣区域的深度信息计算出感兴趣区域之间的实际距离，通过实际距离和3D人脸判断逻辑进行3D人脸活体检测，相对于传统的3D人脸活体检测，其具有成本低、使用便利、识别过程时间短以及准确度好的优点。

Description

一种基于双目红外的实时3D人脸活体判断方法
技术领域
本发明涉及实时3D人脸活体判断的技术领域，特别是涉及一种基于双目红外的实时3D人脸活体判断方法。
背景技术
随着计算机技术的迅猛发展，人工智能领域中的大数据技术和深度学习技术进步，人脸识别技术获得突破性的进步，越来越多的安防产品使用上人脸识别技术。在监控抓拍领域、闸机领域和门禁领域应用人脸识别技术可以给人们生活带来极大的便利。
随着人们对于生活便利性追求越来越高，在智慧门锁方面更希望通过刷脸就可以直接开锁。对于智慧门锁领域来说，产品应用处于无人值守，同时如今社交网络上很容易获得户主的人脸图像信息，因此对于智慧门锁领域来说安全性要求非常的高，那么在智慧门锁中进行严格的活体判断是非常有必要的。
现在常用的活体检测方法有以下三种：
(1)配合式活体技术：配合式活体技术在金融领域是常用的活体识别技术。配合式活体具体方法有：系统发出对应的指令转头、张嘴以及闭眼等，通过人脸landmark定位方式判断用户是否做出对应的动作以验证活体的合法性；或者，系统发出对应的数字或者一段话，需要用户讲述一遍，如果嘴型或者声音识别通过则认为是活体；配合式的方法需要用户配合，大大降低产品使用的便利性，并且识别过程时间长。
(2)静默式2D活体技术：静默式2D活体在有安保人员闸机领域是常用的活体识别技术。静默式2D活体技术可分为传统图像统计处理方式和深度学习建模方式，这两种方式都需要收集大量活体和非活体的人脸数据用于算法学习。该方法仅仅有人脸的2D信息，往往模型学习结果对场景存在过拟合情况，对于某些未见过的活体或者非活体场景存在误识别情况，其准确度差。
(3)静默式3D活体技术：静默式3D活体近来在金融小额支付和智慧门锁领域应用越来越多了。静默式3D活体关键点在于通过建模人脸的3D信息，通过3D信息来预测人脸是活体的概率。常用构建人脸3D信息的方法有：结构光以及TOF(Time of Flight)和双目镜头三种方法。但是结构光和TOF设备成本相对较高，而双目设备全图立体匹配时间较长。
以上的技术各有优缺点，市场上亦不存在兼顾成本低、使用便利、识别过程时间短以及准确度好的3D人脸活体判断方法。
有鉴于此，本发明人针对上述3D人脸活体判断方法上未臻完善所导致的诸多缺失及不便，而深入构思，且积极研究改良试做而开发设计出本发明。
发明内容
本发明的目的在于提供一种成本低、使用便利、识别过程时间短以及准确度好的基于双目红外的实时3D人脸活体判断方法。
为了达成上述目的，本发明的解决方案是：
一种基于双目红外的实时3D人脸活体判断方法，其包括以下步骤：步骤A：通过一双目红外摄像头根据标定的内参和外参在图像视场内采集得到检测图片组；步骤B：所述双目红外摄像头对分别由第一摄像头和第二摄像头采集的左检测图片和右检测图片进行基线对齐；步骤C：通过一检测算法检测检测图片组中的人脸位置，并通过定位人脸位置中面部关键特征点(landmark)的位置关系定位出人脸的多个感兴趣区域；步骤D：分别提取步骤C中左检测图片和右检测图片上定位出的相同部位的感兴趣区域，并对其进行视差匹配；步骤E：统计匹配好视差的感兴趣区域的深度信息，并根据深度信息计算出感兴趣区域之间的实际距离，通过实际距离和3D人脸判断逻辑进行3D人脸活体检测。
在步骤A中，所述双目红外摄像头标定内参和外参的方法为：所述双目红外摄像头先通过标定板分多个方向收集多组标定图片组，然后将获得的多组标定图片组利用OpenCV的张正友标定法进行标定双目红外摄像头的内参和外参，并且将其保存在双目红外摄像头内。
所述标定板由12×9(宽×高)的棋盘格组成，所述棋盘格的尺寸为30×30(宽×高)mm；所述标定板在双目红外摄像头镜头中的位置使整个标定板都在图像视场内，并占满整个图像视场。
所述双目红外摄像头通过标定板分5个方向收集5组标定图片组，该5个方向分别为正面、向上30度、向下30度、向左30度和向右30度。
在步骤C中，通过Single Shot MultiBox Detector(简称：SSD)检测算法在海思3516嵌入式带NNIE引擎的硬件平台上检测检测图片组中的人脸位置。
在步骤C中，通过《PFLD：A Practical Facial Landmark Detector》论文的方法，按照精简的网络结构，在海思3516嵌入式带NNIE引擎的硬件平台上检测检测图片组中人脸的106个关键点。
在步骤C中，通过面部关键特征点的位置关系定位出7个人脸的感兴趣区域，其名称和计算公式分别为：
左轮廓：
Roi_x＝(landmarks[0].x+landmarks[1].x+landmarks[2].x+landmarks[3].x+landmarks[4].x)/5；
Roi_y＝(landmarks[0].y+landmarks[1].y+landmarks[2].y+landmarks[3].y+landmarks[4].y)/5；
Roi_h＝landmarks[4].y-landmarks[0].y；
Roi_w＝0.5*Roi_h；
Roi_x＝Roi_x–0.5*Roi_w；
Roi_y＝Roi_y–0.5*Roi_h；
右轮廓：
Roi_x＝(landmarks[32].x+landmarks[31].x+landmarks[30].x+landmarks[29].x+landmarks[28].x)/5；
Roi_y＝(landmarks[32].y+landmarks[31].y+landmarks[30].y+landmarks[29].y+landmarks[28].y)/5；
Roi_h＝landmarks[28].y-landmarks[32].y；
Roi_w＝0.5*Roi_h；
Roi_x＝Roi_x–0.5*Roi_w；
Roi_y＝Roi_y–0.5*Roi_h；
左眼：
Roi_x＝landmarks[66].x；
Roi_y＝landmarks[68].y；
Roi_w＝landmarks[70].x-Roi_x；
Roi_h＝landmarks[72].y-Roi_y；
右眼：
Roi_x＝landmarks[75].x；
Roi_y＝landmarks[77].y；
Roi_w＝landmarks[79].x-Roi_x；
Roi_h＝landmarks[81].y-Roi_y；
鼻根：
Roi_x＝landmarks[55].x；
Roi_y＝landmarks[51].y；
Roi_w＝landmarks[65].x-Roi_x；
Roi_h＝landmarks[52].y-Roi_y；
鼻子：
Roi_x＝landmarks[57].x；
Roi_y＝landmarks[53].y；
Roi_w＝landmarks[63].x-Roi_x；
Roi_h＝landmarks[60].y-Roi_y；
嘴巴：
Roi_x＝landmarks[84].x；
Roi_y＝landmarks[87].y；
Roi_w＝landmarks[90].x-Roi_x；
Roi_h＝landmarks[93].y-Roi_y；
其中：
Roi_x代表感兴趣区域左上角坐标的水平坐标的值；
Roi_y代表感兴趣区域左上角坐标的垂直坐标的值；
Roi_w代表感兴趣区域的宽；
Roi_h代表感兴趣区域的高；
landmarks[].x代表面部关键特征点位置在水平坐标上的数组；
landmarks[].y代表面部关键特征点位置在垂直坐标上的数组。
在步骤D中，使用基于灰度值差的绝对值和(全称：sum absolute intensitydifferences，简称：SAD)的块匹配(全称：BlockMatching，简称：BM)方法进行立体视差匹配，SAD代价是待匹配像素领域内所有像素差的和，其计算公式为：
Figure BDA0002563192960000061
dcorrect＝左检测图片对应的感兴趣区域Roi_x–右检测图片对应的感兴趣区域Roi_x+droi
其中：
Block的尺寸为9；
IL代表左检测图片；
IR代表右检测图片；
p代表左检测图片像素点；
Np代表左检测图片像素p的领域；
q代表像素点p的领域Np内的一个像素点；
d代表感兴趣区域对应点的视差，其取值范围为(-16,16](即需要匹配32个视差值)；
dcorrect代表全图的真实视差值；
droi代表感兴趣区域正确匹配上的视差值；
CSAD(p,d)代表左检测图片像素p具有视差d的代价；
遍历d的取值找到CSAD(p,d)最小值时对应的d的值就是当前左图像素p的视差值。
在步骤E中，先统计成像人脸上感兴趣区域内视差的平均值dave，定义实际人脸上感兴趣区域内的视差值为平均值dave，根据双目视差求深度的公式(distance＝camera_B*camera_F/dave)得到实际人脸上感兴趣区域的深度，根据该深度求出实际人脸感兴趣区域之间的实际距离。
在步骤E中，3D人脸判断逻辑为：左轮廓与鼻子距离大于30mm，右轮廓与鼻子距离大于30mm，左轮廓与左眼距离大于20mm，右轮廓与右眼距离大于20mm，左眼与鼻子距离大于10mm，右眼与鼻子距离大于10mm，鼻根与鼻子距离大于5mm，如果以上条件全部满足，则认为人脸具有3D信息，3D人脸活体通过；否则，认为人脸不一定具有3D信息，3D人脸活体不通过。
采用上述方案后，本发明利用双目红外摄像头进行3D人脸活体检测，先通过定位人脸位置中面部关键特征点(landmark)的位置关系定位出人脸的多个感兴趣区域，再对定位出的相同部位的感兴趣区域进行视差匹配，大大减少了视差匹配在处理器上的处理时间，最后再根据匹配好视差的感兴趣区域的深度信息计算出感兴趣区域之间的实际距离，通过实际距离和3D人脸判断逻辑进行3D人脸活体检测，相对于传统的3D人脸活体检测，其具有成本低、使用便利、识别过程时间短(处于实时检测的状态)以及准确度好的优点。
附图说明
图1为本发明较佳实施例的流程图；
图2为本发明较佳实施例提取人脸上面部关键特征点和感兴趣区域的示意图。
具体实施方式
为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
如图1至图2所示，为本发明一种基于双目红外的实时3D人脸活体判断方法的较佳实施例，其包括以下步骤：
步骤A：通过一双目红外摄像头根据标定的内参和外参在图像视场内采集得到检测图片组；
步骤B：双目红外摄像头对分别由第一摄像头和第二摄像头采集的左检测图片和右检测图片进行基线对齐；由于双目红外摄像头存在成像畸变，双目红外摄像头安装时存在一定的位置和角度偏差，所以需要对双目成像的左检测图片和右检测图片进行基线对齐。基线对齐后，如果双目红外摄像头是左右摆放，世界坐标上同一个点的坐标会在左右视图的同一水平线上；如果双目红外摄像头是上下摆放，世界坐标上同一点的坐标会在上下视图的同一垂直线上。基线对齐后把世界坐标上同一点限制在左右视图的同一水平和同一垂直线上，可以大大缩小立体视差匹配的范围。
步骤C：通过一检测算法检测检测图片组中的人脸位置，并通过定位人脸位置中面部关键特征点20(landmark)的位置关系定位出人脸的多个感兴趣区域10；
步骤D：分别提取步骤C中左检测图片和右检测图片上定位出的相同部位的感兴趣区域10，并对其进行视差匹配；
步骤E：统计匹配好视差的感兴趣区域10的深度信息，并根据深度信息计算出感兴趣区域10之间的实际距离，通过实际距离和3D人脸判断逻辑进行3D人脸活体检测。
本发明的重点在于，本发明利用双目红外摄像头进行3D人脸活体检测，先通过定位人脸位置中面部关键特征点20(landmark)的位置关系定位出人脸的多个感兴趣区域10，再对定位出的相同部位的感兴趣区域10进行视差匹配，大大减少了视差匹配在处理器上的处理时间，最后再根据匹配好视差的感兴趣区域10的深度信息计算出感兴趣区域10之间的实际距离，通过实际距离和3D人脸判断逻辑进行3D人脸活体检测，相对于传统的3D人脸活体检测，其具有成本低、使用便利、识别过程时间短(处于实时检测的状态)以及准确度好的优点。
在步骤A中，双目红外摄像头标定内参和外参的方法为：双目红外摄像头先通过标定板分多个方向收集多组标定图片组，然后将获得的多组标定图片组利用OpenCV的张正友标定法进行标定双目红外摄像头的内参和外参，并且将其保存在双目红外摄像头内。
上述标定板由12×9(宽×高)的棋盘格组成，该棋盘格的尺寸为30×30(宽×高)mm。并且，该标定板在双目红外摄像头镜头中的位置使整个标定板都在图像视场内，并尽量占满整个图像视场。并且，在本实施例中，上述双目红外摄像头通过标定板分5个方向收集5组标定图片组，该5个方向分别为正面、向上30度、向下30度、向左30度和向右30度。
在步骤C中，通过Single Shot MultiBox Detector(简称：SSD)检测算法在海思3516嵌入式带NNIE引擎的硬件平台上检测检测图片组中的人脸位置。在实操过程中，检测检测图片组中左检测图片和右检测图片的人脸位置所需时间分别为10ms，即检测检测图片组中的人脸位置的耗时为20ms。
在步骤C中，通过《PFLD：A Practical Facial Landmark Detector》论文的方法，按照精简的网络结构，在海思3516嵌入式带NNIE引擎的硬件平台上检测检测图片组中人脸的106个关键点。在实操过程中，检测检测图片组中左检测图片和右检测图片中人脸的106个关键点所需时间分布为2.5ms，即检测检测图片组中人脸的106个关键点的耗时为5ms。
在步骤C中，通过面部关键特征点20的位置关系定位出7个人脸的感兴趣区域10，其名称和计算公式分别为：
左轮廓：
Roi_x＝(landmarks[0].x+landmarks[1].x+landmarks[2].x+landmarks[3].x+landmarks[4].x)/5；
Roi_y＝(landmarks[0].y+landmarks[1].y+landmarks[2].y+landmarks[3].y+landmarks[4].y)/5；
Roi_h＝landmarks[4].y-landmarks[0].y；
Roi_w＝0.5*Roi_h；
Roi_x＝Roi_x–0.5*Roi_w；
Roi_y＝Roi_y–0.5*Roi_h；
右轮廓：
Roi_x＝(landmarks[32].x+landmarks[31].x+landmarks[30].x+landmarks[29].x+landmarks[28].x)/5；
Roi_y＝(landmarks[32].y+landmarks[31].y+landmarks[30].y+landmarks[29].y+landmarks[28].y)/5；
Roi_h＝landmarks[28].y-landmarks[32].y；
Roi_w＝0.5*Roi_h；
Roi_x＝Roi_x–0.5*Roi_w；
Roi_y＝Roi_y–0.5*Roi_h；
左眼：
Roi_x＝landmarks[66].x；
Roi_y＝landmarks[68].y；
Roi_w＝landmarks[70].x-Roi_x；
Roi_h＝landmarks[72].y-Roi_y；
右眼：
Roi_x＝landmarks[75].x；
Roi_y＝landmarks[77].y；
Roi_w＝landmarks[79].x-Roi_x；
Roi_h＝landmarks[81].y-Roi_y；
鼻根：
Roi_x＝landmarks[55].x；
Roi_y＝landmarks[51].y；
Roi_w＝landmarks[65].x-Roi_x；
Roi_h＝landmarks[52].y-Roi_y；
鼻子：
Roi_x＝landmarks[57].x；
Roi_y＝landmarks[53].y；
Roi_w＝landmarks[63].x-Roi_x；
Roi_h＝landmarks[60].y-Roi_y；
嘴巴：
Roi_x＝landmarks[84].x；
Roi_y＝landmarks[87].y；
Roi_w＝landmarks[90].x-Roi_x；
Roi_h＝landmarks[93].y-Roi_y；
其中：
Roi_x代表感兴趣区域左上角坐标的水平坐标的值；
Roi_y代表感兴趣区域左上角坐标的垂直坐标的值；
Roi_w代表感兴趣区域的宽；
Roi_h代表感兴趣区域的高；
landmarks[].x代表面部关键特征点位置在水平坐标上的数组；
landmarks[].y代表面部关键特征点位置在垂直坐标上的数组。
在步骤D中，使用基于灰度值差的绝对值和(全称：sumabsolute intensitydifferences，简称：SAD)的块匹配(全称：BlockMatching，简称：BM)方法进行立体视差匹配，SAD代价是待匹配像素领域内所有像素差的和，其计算公式为：
Figure BDA0002563192960000121
dcorrect＝左检测图片对应的感兴趣区域Roi_x–右检测图片对应的感兴趣区域Roi_x+droi
其中：
Block的尺寸为9；
IL代表左检测图片；
IR代表右检测图片；
p代表左检测图片像素点；
Np代表左检测图片像素p的领域；
q代表像素点p的领域Np内的一个像素点；
d代表感兴趣区域对应点的视差，其取值范围为(-16,16](即需要匹配32个视差值)；
dcorrect代表全图的真实视差值；
droi代表感兴趣区域正确匹配上的视差值；
CSAD(p,d)代表左检测图片像素p具有视差d的代价；
遍历d的取值找到CSAD(p,d0最小值时对应的d的值就是当前左图像素p的视差值。
在实操过程中，BM视差匹配200-600pixels大小的人脸，在海思3516的ARM处理器上所需时间20-60ms。
在步骤E中，先统计成像人脸上感兴趣区域10内视差的平均值dave，定义实际人脸上感兴趣区域10内的视差值为平均值dave，根据双目视差求深度的公式(distance＝camera_B*camera_F/dave)得到实际人脸上感兴趣区域10的深度，根据该深度求出实际人脸感兴趣区域10之间的实际距离。
在步骤E中，3D人脸判断逻辑为：左轮廓与鼻子距离大于30mm，右轮廓与鼻子距离大于30mm，左轮廓与左眼距离大于20mm，右轮廓与右眼距离大于20mm，左眼与鼻子距离大于10mm，右眼与鼻子距离大于10mm，鼻根与鼻子距离大于5mm，如果以上条件全部满足，则认为人脸具有3D信息，3D人脸活体通过；否则，认为人脸不一定具有3D信息，3D人脸活体不通过。
本发明在使用过程中，先通过海思nnie深度学习加速引擎快速定位人脸106点；然后再通过提取人脸感兴趣区域10进行视差匹配，最后通过匹配完成感兴趣区域10的视差计算关键的人脸五官距离，根据五官之间的距离判断人脸3D活体，整个过程的耗时根据人脸大小不同在45ms-85ms不等，处于实时检测的状态。此方案通过深度学习和传统图像处理方法配合设计算法，在准确判断人脸3D活体信息的同时在海思3516的平台以接近实时的速度运行，具有成本低、使用便利、识别过程时间短以及准确度好的优点，可以应用在要求启动时间快和安全性高的智慧门锁判断3D活体的领域上，从而产生巨大实际的经济效益。
上述对本发明的具体示例性实施方案的描述是为了说明和例证的目的，这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得所属领域的普通技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。

Claims (10)

1.一种基于双目红外的实时3D人脸活体判断方法，其特征在于：其包括以下步骤：
步骤A：通过一双目红外摄像头根据标定的内参和外参在图像视场内采集得到检测图片组；
步骤B：所述双目红外摄像头对分别由第一摄像头和第二摄像头采集的左检测图片和右检测图片进行基线对齐；
步骤C：通过一检测算法检测检测图片组中的人脸位置，并通过定位人脸位置中面部关键特征点(landmark)的位置关系定位出人脸的多个感兴趣区域；
步骤D：分别提取步骤C中左检测图片和右检测图片上定位出的相同部位的感兴趣区域，并对其进行视差匹配；
步骤E：统计匹配好视差的感兴趣区域的深度信息，并根据深度信息计算出感兴趣区域之间的实际距离，通过实际距离和3D人脸判断逻辑进行3D人脸活体检测。
2.如权利要求1所述的一种基于双目红外的实时3D人脸活体判断方法，其特征在于：在步骤A中，所述双目红外摄像头标定内参和外参的方法为：所述双目红外摄像头先通过标定板分多个方向收集多组标定图片组，然后将获得的多组标定图片组利用OpenCV的张正友标定法进行标定双目红外摄像头的内参和外参，并且将其保存在双目红外摄像头内。
3.如权利要求2所述的一种基于双目红外的实时3D人脸活体判断方法，其特征在于：所述标定板由12×9(宽×高)的棋盘格组成，所述棋盘格的尺寸为30×30(宽×高)mm；所述标定板在双目红外摄像头镜头中的位置使整个标定板都在图像视场内，并占满整个图像视场。
4.如权利要求2所述的一种基于双目红外的实时3D人脸活体判断方法，其特征在于：所述双目红外摄像头通过标定板分5个方向收集5组标定图片组，该5个方向分别为正面、向上30度、向下30度、向左30度和向右30度。
5.如权利要求2所述的一种基于双目红外的实时3D人脸活体判断方法，其特征在于：在步骤C中，通过Single Shot MultiBox Detector(简称：SSD)检测算法在海思3516嵌入式带NNIE引擎的硬件平台上检测检测图片组中的人脸位置。
6.如权利要求5所述的一种基于双目红外的实时3D人脸活体判断方法，其特征在于：在步骤C中，通过《PFLD：A Practical Facial Landmark Detector》论文的方法，按照精简的网络结构，在海思3516嵌入式带NNIE引擎的硬件平台上检测检测图片组中人脸的106个关键点。
7.如权利要求6所述的一种基于双目红外的实时3D人脸活体判断方法，其特征在于：在步骤C中，通过面部关键特征点的位置关系定位出7个人脸的感兴趣区域，其名称和计算公式分别为：
左轮廓：
Roi_x＝
(landmarks[0].x+landmarks[1].x+landmarks[2].x+landmarks[3].x+landmarks[4].x)/5；
Roi_y＝
(landmarks[0].y+landmarks[1].y+landmarks[2].y+landmarks[3].y+landmarks[4].y)/5；
Roi_h＝landmarks[4].y-landmarks[0].y；
Roi_w＝0.5*Roi_h；
Roi_x＝Roi_x–0.5*Roi_w；
Roi_y＝Roi_y–0.5*Roi_h；
右轮廓：
Roi_x＝
(landmarks[32].x+landmarks[31].x+landmarks[30].x+landmarks[29].x+landmarks[28].x)/5；
Roi_y＝
(landmarks[32].y+landmarks[31].y+landmarks[30].y+landmarks[29].y+landmarks[28].y)/5；
Roi_h＝landmarks[28].y-landmarks[32].y；
Roi_w＝0.5*Roi_h；
Roi_x＝Roi_x–0.5*Roi_w；
Roi_y＝Roi_y–0.5*Roi_h；
左眼：
Roi_x＝landmarks[66].x；
Roi_y＝landmarks[68].y；
Roi_w＝landmarks[70].x-Roi_x；
Roi_h＝landmarks[72].y-Roi_y；
右眼：
Roi_x＝landmarks[75].x；
Roi_y＝landmarks[77].y；
Roi_w＝landmarks[79].x-Roi_x；
Roi_h＝landmarks[81].y-Roi_y；
鼻根：
Roi_x＝landmarks[55].x；
Roi_y＝landmarks[51].y；
Roi_w＝landmarks[65].x-Roi_x；
Roi_h＝landmarks[52].y-Roi_y；
鼻子：
Roi_x＝landmarks[57].x；
Roi_y＝landmarks[53].y；
Roi_w＝landmarks[63].x-Roi_x；
Roi_h＝landmarks[60].y-Roi_y；
嘴巴：
Roi_x＝landmarks[84].x；
Roi_y＝landmarks[87].y；
Roi_w＝landmarks[90].x-Roi_x；
Roi_h＝landmarks[93].y-Roi_y；
其中：
Roi_x代表感兴趣区域左上角坐标的水平坐标的值；
Roi_y代表感兴趣区域左上角坐标的垂直坐标的值；
Roi_w代表感兴趣区域的宽；
Roi_h代表感兴趣区域的高；
landmarks[].x代表面部关键特征点位置在水平坐标上的数组；
landmarks[].y代表面部关键特征点位置在垂直坐标上的数组。
8.如权利要求7所述的一种基于双目红外的实时3D人脸活体判断方法，其特征在于：在步骤D中，使用基于灰度值差的绝对值和(全称：sum absolute intensity differences，简称：SAD)的块匹配(全称：BlockMatching，简称：BM)方法进行立体视差匹配，SAD代价是待匹配像素领域内所有像素差的和，其计算公式为：
Figure FDA0002563192950000041
dcorrect＝左检测图片对应的感兴趣区域Roi_x–右检测图片对应的感兴趣区域Roi_x+droi
其中：
Block的尺寸为9；
IL代表左检测图片；
IR代表右检测图片；
p代表左检测图片像素点；
Np代表左检测图片像素p的领域；
q代表像素点p的领域Np内的一个像素点；
d代表感兴趣区域对应点的视差，其取值范围为(-16,16](即需要匹配32个视差值)；
dcorrect代表全图的真实视差值；
droi代表感兴趣区域正确匹配上的视差值；
CSAD(p,d)代表左检测图片像素p具有视差d的代价；
遍历d的取值找到CSAD(p,d)最小值时对应的d的值就是当前左图像素p的视差值。
9.如权利要求8所述的一种基于双目红外的实时3D人脸活体判断方法，其特征在于：在步骤E中，先统计成像人脸上感兴趣区域内视差的平均值dave，定义实际人脸上感兴趣区域内的视差值为平均值dave，根据双目视差求深度的公式(distance＝camera_B*camera_F/dave)得到实际人脸上感兴趣区域的深度，根据该深度求出实际人脸感兴趣区域之间的实际距离。
10.如权利要求9所述的一种基于双目红外的实时3D人脸活体判断方法，其特征在于：在步骤E中，3D人脸判断逻辑为：左轮廓与鼻子距离大于30mm，右轮廓与鼻子距离大于30mm，左轮廓与左眼距离大于20mm，右轮廓与右眼距离大于20mm，左眼与鼻子距离大于10mm，右眼与鼻子距离大于10mm，鼻根与鼻子距离大于5mm，如果以上条件全部满足，则认为人脸具有3D信息，3D人脸活体通过；否则，认为人脸不一定具有3D信息，3D人脸活体不通过。
CN202010614184.6A 2020-06-30 2020-06-30 一种基于双目红外的实时3d人脸活体判断方法 Active CN111753781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010614184.6A CN111753781B (zh) 2020-06-30 2020-06-30 一种基于双目红外的实时3d人脸活体判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010614184.6A CN111753781B (zh) 2020-06-30 2020-06-30 一种基于双目红外的实时3d人脸活体判断方法

Publications (2)

Publication Number Publication Date
CN111753781A true CN111753781A (zh) 2020-10-09
CN111753781B CN111753781B (zh) 2024-03-19

Family

ID=72676714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010614184.6A Active CN111753781B (zh) 2020-06-30 2020-06-30 一种基于双目红外的实时3d人脸活体判断方法

Country Status (1)

Country Link
CN (1) CN111753781B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257538A (zh) * 2020-10-15 2021-01-22 杭州锐颖科技有限公司 基于双目深度信息的活体检测方法、设备及存储介质
CN112926464A (zh) * 2021-03-01 2021-06-08 创新奇智(重庆)科技有限公司 一种人脸活体检测方法以及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050089266A (ko) * 2004-03-04 2005-09-08 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
CN101625761A (zh) * 2009-08-06 2010-01-13 浙江工业大学 一种基于全局和局部算法的计算机双目视觉匹配方法
CN102036094A (zh) * 2010-12-30 2011-04-27 浙江大学 一种基于数字分数延时技术的立体匹配方法
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目系统的活体人脸检测方法
CN112257641A (zh) * 2020-10-30 2021-01-22 中电万维信息技术有限责任公司 一种人脸识别活体检测方法
CN112801038A (zh) * 2021-03-02 2021-05-14 重庆邮电大学 一种多视点的人脸活体检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050089266A (ko) * 2004-03-04 2005-09-08 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
CN101625761A (zh) * 2009-08-06 2010-01-13 浙江工业大学 一种基于全局和局部算法的计算机双目视觉匹配方法
CN102036094A (zh) * 2010-12-30 2011-04-27 浙江大学 一种基于数字分数延时技术的立体匹配方法
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目系统的活体人脸检测方法
CN112257641A (zh) * 2020-10-30 2021-01-22 中电万维信息技术有限责任公司 一种人脸识别活体检测方法
CN112801038A (zh) * 2021-03-02 2021-05-14 重庆邮电大学 一种多视点的人脸活体检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257538A (zh) * 2020-10-15 2021-01-22 杭州锐颖科技有限公司 基于双目深度信息的活体检测方法、设备及存储介质
CN112926464A (zh) * 2021-03-01 2021-06-08 创新奇智(重庆)科技有限公司 一种人脸活体检测方法以及装置
CN112926464B (zh) * 2021-03-01 2023-08-29 创新奇智(重庆)科技有限公司 一种人脸活体检测方法以及装置

Also Published As

Publication number Publication date
CN111753781B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN107403168B (zh) 一种面部识别系统
CN107633165B (zh) 3d人脸身份认证方法与装置
CN107748869B (zh) 3d人脸身份认证方法与装置
CN105405154B (zh) 基于颜色-结构特征的目标对象跟踪方法
CN104008370B (zh) 一种视频人脸识别方法
US7570805B2 (en) Creating 3D images of objects by illuminating with infrared patterns
CN104933389B (zh) 一种基于指静脉的身份识别方法和装置
RU2431190C2 (ru) Способ и устройство распознавания рельефности лица
CN106826815A (zh) 基于彩色图像与深度图像的目标物体识别与定位的方法
WO2019056988A1 (zh) 人脸识别方法及装置、计算机设备
US20040153671A1 (en) Automated physical access control systems and methods
CN106503605A (zh) 基于立体视觉技术的人体目标识别方法
CN109598242A (zh) 一种新型的活体检测方法
KR101821144B1 (ko) 깊이정보 기반의 안면인식 출입통제시스템
CN105930795A (zh) 一种基于人体骨骼关节点间空间向量的行走状态识别方法
CN111753781B (zh) 一种基于双目红外的实时3d人脸活体判断方法
CN109086724A (zh) 一种加速的人脸检测方法及存储介质
CN112365586B (zh) 3d人脸建模与立体判断方法及嵌入式平台的双目3d人脸建模与立体判断方法
CN109948400A (zh) 一种能够进行人脸特征3d识别的智能手机及其识别方法
CN108509857A (zh) 人脸活体检测方法、电子设备和计算机程序产品
CN109711267A (zh) 一种行人重识别、行人运动轨迹生成方法及装置
WO2022127181A1 (zh) 客流的监测方法、装置、电子设备及存储介质
CN105741326A (zh) 一种基于聚类融合的视频序列的目标跟踪方法
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备
CN107093182A (zh) 一种基于特征拐点的人体高度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant