CN108304828B - 一种三维活体人脸识别装置及方法 - Google Patents

一种三维活体人脸识别装置及方法 Download PDF

Info

Publication number
CN108304828B
CN108304828B CN201810191104.3A CN201810191104A CN108304828B CN 108304828 B CN108304828 B CN 108304828B CN 201810191104 A CN201810191104 A CN 201810191104A CN 108304828 B CN108304828 B CN 108304828B
Authority
CN
China
Prior art keywords
human face
dimensional
scanning mirror
face recognition
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810191104.3A
Other languages
English (en)
Other versions
CN108304828A (zh
Inventor
赖志明
乔大勇
夏长锋
杨迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhisensor Technologies Co ltd
Original Assignee
Zhisensor Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhisensor Technologies Co ltd filed Critical Zhisensor Technologies Co ltd
Priority to CN201810191104.3A priority Critical patent/CN108304828B/zh
Publication of CN108304828A publication Critical patent/CN108304828A/zh
Application granted granted Critical
Publication of CN108304828B publication Critical patent/CN108304828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种三维活体人脸识别装置及方法，属于人体脸部识别领域。该装置包括：摄像头、计算单元、控制单元，线光源，MEMS扫描镜等。人体脸部识别及活体检测的方法是通过二维图像算法提取脸部轮廓关键点并排序，由上述装置结合三角测距原理得到脸部轮廓关键点的空间深度信息，由所提取轮廓关键点之间的深度差及分布关系进行活体检测，由编序的脸部轮廓关键点之间的对应关系进行匹配和人体脸部识别。解决普通的二维人体脸部图像只能根据特征点的二维坐标进行人体脸部识别，精度较低且容易被照片视屏等伪装方式破解的问题。

Description

一种三维活体人脸识别装置及方法
技术领域
本发明属于人体脸部识别技术领域，具体涉及一种通过编码条纹结构光进行三维人体脸部活体识别技术辅助单目摄像头进行人体脸部识别的装置及方法。
背景技术
编码条纹结构光作为一种有效可靠的主动测量方法，在计算机视觉领域得到越来越多的关注，已被广泛应用于人机交互、自动化测量、视觉导航、虚拟现实、航空航天以及医疗诊断等具体领域。
人体脸部识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人体脸部的图像或视频流，并自动在图像中检测和跟踪人体脸部，进而对检测到的人体脸部进行识别的一系列相关技术。
传统的人体脸部识别技术主要是基于二维可见光图像的人体脸部识别。但这种方式有着难以克服的缺陷，一些非法用户可能会使用合法用户的脸部照片以及视频等欺骗人体脸部识别设备，从而使得非法用户通过人体脸部识别。
现有活体检测技术分为运动信息分析、纹理信息分析、活体部位分析三种，通常是基于真伪图像存在的非刚性运动、噪声差异、人体脸部背景依赖等特性形成的分类器性能。这些方法大多需要用户主动配合，如眨眼、张嘴、扬眉等，且需要大量的计算时间和空间开销，实时性不好。这种具有强制性的方法对用户很不友好，并且可以适用预先录制的包含指定的动作的视频欺骗人体脸部识别设备，识别准确度低。
发明内容
本发明的目的是提供一种方便有效的，快速的三维人体脸部识别活体判别装置及方法，解决普通的二维人体脸部图像只能根据特征点的二维坐标进行人体脸部识别，精度较低且容易被照片视屏等伪装方式破解的问题，识别过程中，可以得到拍摄人体脸部的深度信息，不需要鉴别人做出相应的面部表情变化来配合识别，在保证精度的同时提高人体脸部识别的实时性。
本发明的技术解决方案是提供一种三维活体人脸识别装置，其特殊之处在于：包括控制单元及与控制单元连接的线光源，MEMS微扫描镜，摄像单元和计算单元；
上述线光源用于发出稳定的线激光；线激光将照射于MEMS微扫描镜的可动镜面中轴线上；
上述MEMS微扫描镜用于将线激光转化为可编码的条纹结构光，并将可编码的条纹结构光投射于人体脸部区域；控制MEMS微扫描镜振动频率经由投射于镜面的线激光产生可编码的条纹光栅，通过不同的振动频率产生不同的宽度的条纹光栅。
上述摄像单元用于采集场景二维图像信息及采集带有编码条纹结构光的人体脸部图像，并传输给计算单元；一旦MEMS微扫描镜开始投射编码条纹结构光，摄像单元将按照与MEMS微扫描镜投影频率相同的频率拍摄带有编码条纹结构光的人体脸部图像并传输给计算单元进行解码；
上述控制单元用于控制线光源开关、摄像单元开关及MEMS微扫描镜按设定的投影参数投影；
上述计算单元用于采集摄像单元输出的场景二维图像信息，根据所采集的二维图像信息判断人体脸部所在的区域，并将人体脸部所在的区域信息发送至控制单元；并用于将带有编码条纹结构光的人体脸部图像进行解码，获取人体脸部相应的深度信息。
优选地，上述摄像单元为单目摄像头。
优选地，MEMS微扫描镜投影参数包括投影频率、投影区域及投影的可编码的条纹结构光图案。
优选地，上述可编码的条纹结构光为时间编码的条纹结构光。
优选地，上述MEMS微扫描镜为单轴静电驱动式MEMS微扫描镜。
优选地，上述线光源为激光发射器。
本发明还提供一种利用上述的三维活体人脸识别装置实现三维人体脸部识别活体检测的方法，包括以下步骤：
步骤一：摄像机采集场景二维图像信息并传输至计算单元；
步骤二：计算单元根据接收的场景二维图像信息通过二维人体脸部识别算法进行人体脸部检测、定位及姿态检测，获取待检验人体脸部的相对位置区域；
步骤三：计算单元将人体脸部所在的位置区域信息发送至控制单元；
步骤四：控制单元控制线光源发射线激光至MEMS微扫描镜，并控制MEMS微扫描镜按照设定的频率将线激光转化为可编码条纹结构光后投影到人体脸部所在的位置区域上；
步骤五：控制单元按照与MEMS微扫描镜投影频率相同的拍摄频率控制摄像机多次采集步骤四中的人体脸部图像并传输至计算单元；
步骤六：计算单元提取人体脸部特征点并进行编序；
步骤七：计算单元通过三角测距原理由已标定的摄像单元和MEMS微扫描镜得到对应特征点的深度信息，计算各特征点的相对位置及深度差进行活体判别；
步骤八：将由步骤七所得的编序特征点的空间位置关系与库内待候选人的特征点空间位置关系进行对比匹配，判断相似度，从而实现人体脸部识别。
优选地，上述特征点包括脸部轮廓点、眼睛轮廓点、鼻子轮廓点、嘴部轮廓点等。
优选地，步骤四中线激光照射于MEMS微扫描镜的可动镜面中轴线上。
本发明的有益效果是：
1、本发明识别过程中，可以得到拍摄人体脸部的深度信息，不需要鉴别人做出相应的面部表情变化来配合识别，在保证精度的同时提高人体脸部识别的实时性，识别过程方便有效。
2、本发明用主动编码结构光的方式获得人脸及轮廓关键点的深度信息，空间分辨率高且精度好，且在昏暗的环境下也能适用。
3、本发明对算力要求不高，处理芯片不需要很高的性能，仅需要在传统单目摄像机的基础上外加部分模组就能实现实时深度数据流的输出，造价低廉。
附图说明
图1为本发明其中一个实施例的结构框图；
图2为MEMS微扫描镜工作原理图；
图3为时间编码的条纹结构光图案；
图4为二维人体脸部检测；
图5为人体脸部检测与轮廓关键点提取编序。
图中附图标记为：1-MEMS微扫描镜，2-线光源。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施例对本发明作进一步详细的说明。
从图1可以看出，本实施例中三维活体人脸识别装置，主要包括激光发射器、MEMS微扫描镜，摄像头，控制单元和计算单元；激光发射器、MEMS微扫描镜，摄像机和计算单元均与控制单元连接。在该实施例中摄像头为单目摄像头；MEMS微扫描镜为单轴静电驱动式MEMS微扫描镜。
其工作原理是：
在工作场景中，先通过控制单元打开摄像头，采集连续场景图像并按一定的频率选取帧传输给计算单元，由计算单元根据二维图像算法判断应用场景里是否有待检测个体。当在当前帧检测到人体脸部时，提示待检测人正面朝向摄像头并连续提取帧对比判断人体脸部朝向的姿态角。当人体脸部的姿态角低于一定的阈值时认为人体脸部已正面朝向摄像头，计算出待检验人体脸部和轮廓关键点的相对位置，编序构成相应序列用以进行人脸识别和匹配。
然后通过控制单元控制线光源工作，并控制MEMS微扫描镜谐振运动，将线光源发出的线激光转化为如图3所示的多幅时间编码的条纹结构光，并将多幅时间编码的条纹结构光投影到人体脸部所在区域上，对人体脸部各像素所对应的空间位置进行编码。
MEMS微扫描镜的工作原理图如图2所示，具体通过下述方法产生多幅时间编码的条纹结构光：将一束线光源打在可以以一定角度旋转振动的MEMS微扫描镜上，通过MEMS微扫描镜快速转动，光线条可以沿着X轴方向快速左右移动，控制线光源在光线移动到每个位置时的亮暗状态，就能使MEMS微扫描镜投影出具有时间编码的条纹结构光。
再通过控制单元控制摄像机按与MEMS微扫描镜投影频率相同的拍摄频率拍得带有被人体脸部所调制的条纹编码条纹结构光图像，并传输给计算单元，计算单元对图像进行解码，并根据解码图像和三角测距原理由已标定的摄像头和MEMS微扫描镜得到相对应特征点的深度信息，进一步得到三维人体脸部点云信息，(其中三角测距原理为：建立一个由MEMS振镜发射的经过特征点P的光平面，和一个由摄像机发射的经过特征点P的射线，通过线面交点可以获得被测点P的空间三维坐标，即可得到特征点的深度信息，参见图3)。
若被检测物体为活体，则脸部轮廓关键点之间的位置关系应呈现为具有深度差的近似立体对称结构，以鼻梁和鼻部轮廓为脸部深度最高点，眉眼及嘴部轮廓次之，下巴轮廓最低的层次排布。由此可由三维人体脸部轮廓关键点提取判断出待检测人是否为活体，从而实现快速被动式的活体检测。
若被鉴别物体表面为平面，如照片，平板电脑屏幕和笔记本电脑屏幕等，由于投影到被鉴别物体上的编码条纹结构光信息未被人体脸部轮廓所调制，条纹结构光未因为照射在脸部结构而产生弯曲，则根据摄像机所拍摄的二维图像信息提取的各个特征点之间的深度差不为具有深度差的层次对称排布，不符合人体脸部轮廓各特征点的深度差，在活体检测上不能通过，从而达到避免被二维伪装方式破解的风险。

Claims (7)

1.一种利用三维活体人脸识别装置实现三维活体人脸识别的方法，其特征在于，所述三维活体人脸识别装置包括控制单元及与控制单元连接的线光源，MEMS微扫描镜，摄像单元和计算单元；
所述线光源用于发出稳定的线激光；
所述MEMS微扫描镜用于将线激光转化为可编码的条纹结构光，并将可编码的条纹结构光投射于人体脸部区域；所述可编码的条纹结构光为时间编码的条纹结构光；
所述摄像单元用于采集场景二维图像信息及采集带有编码条纹结构光的人体脸部图像，并传输给计算单元；
所述控制单元用于控制线光源开关、摄像单元开关及MEMS微扫描镜按设定的投影参数投影；使摄像单元输出带有编码条纹结构光的人体脸部图像至计算单元；
所述计算单元用于采集摄像单元输出的场景二维图像信息，根据所采集的二维图像信息判断人体脸部所在的区域，并将人体脸部所在的区域信息发送至控制单元；并用于将带有编码条纹结构光的人体脸部图像进行解码计算；
包括以下步骤：
步骤一：摄像单元采集场景二维图像信息并传输至计算单元；
步骤二：计算单元根据接收的场景二维图像信息通过二维人体脸部识别算法进行人体脸部检测及定位，获取待检验人体脸部的相对位置区域；
步骤三：计算单元将人体脸部所在的位置区域信息发送至控制单元；
步骤四：控制单元控制线光源发射线激光至MEMS微扫描镜，并控制MEMS扫描镜按照设定的频率将线激光转化为可编码条纹结构光后投影到人体脸部所在的位置区域上；
步骤五：控制单元按照与MEMS微扫描镜投影频率相同的拍摄频率控制摄像单元多次采集步骤四中的人体脸部图像并传输至计算单元；
步骤六：计算单元提取人体脸部特征点并进行编序；
步骤七：计算单元通过三角测距原理由已标定的摄像头和MEMS微扫描镜得到对应特征点的深度信息，计算各特征点的相对位置及深度差进行活体判别；
步骤八：将由步骤七所得的编序特征点的空间位置关系与库内待候选人的特征点空间位置关系进行对比匹配，判断相似度，从而实现人体脸部识别。
2.根据权利要求1所述的实现三维活体人脸识别的方法，其特征在于：所述特征点包括脸部轮廓点、眼睛轮廓点、鼻子轮廓点、嘴部轮廓点。
3.根据权利要求1至2任一所述的实现三维活体人脸识别的方法，其特征在于：步骤四中线激光照射于MEMS微扫描镜的可动镜面中轴线上。
4.根据权利要求3所述的实现三维活体人脸识别的方法，其特征在于：所述摄像单元为单目摄像头。
5.根据权利要求4所述的实现三维活体人脸识别的方法，其特征在于：所述MEMS微扫描镜投影参数包括投影频率、投影区域及投影的可编码的条纹结构光图案。
6.根据权利要求5所述的实现三维活体人脸识别的方法，其特征在于：所述MEMS微扫描镜为单轴静电驱动式MEMS微扫描镜。
7.根据权利要求6所述的实现三维活体人脸识别的方法，其特征在于：所述线光源为激光发射器。
CN201810191104.3A 2018-03-08 2018-03-08 一种三维活体人脸识别装置及方法 Active CN108304828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810191104.3A CN108304828B (zh) 2018-03-08 2018-03-08 一种三维活体人脸识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810191104.3A CN108304828B (zh) 2018-03-08 2018-03-08 一种三维活体人脸识别装置及方法

Publications (2)

Publication Number Publication Date
CN108304828A CN108304828A (zh) 2018-07-20
CN108304828B true CN108304828B (zh) 2021-03-30

Family

ID=62849645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810191104.3A Active CN108304828B (zh) 2018-03-08 2018-03-08 一种三维活体人脸识别装置及方法

Country Status (1)

Country Link
CN (1) CN108304828B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299677A (zh) * 2018-09-07 2019-02-01 西安知微传感技术有限公司 一种人脸识别活体判断方法及系统
CN108875718B (zh) * 2018-09-25 2022-05-20 中国科学院苏州纳米技术与纳米仿生研究所 人脸识别系统及其扫描装置
CN109660785A (zh) * 2018-12-05 2019-04-19 全普光电科技(上海)有限公司 三维图像生成芯片、制备方法、装置及三维图像生成方法
US11403884B2 (en) * 2019-01-16 2022-08-02 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing face ID sensing
CN110312117B (zh) * 2019-06-12 2021-06-18 北京达佳互联信息技术有限公司 数据刷新方法及装置
CN112395963B (zh) * 2020-11-04 2021-11-12 北京嘀嘀无限科技发展有限公司 对象识别方法和装置、电子设备及存储介质
CN113822256B (zh) * 2021-11-24 2022-03-25 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN117894091A (zh) * 2024-02-23 2024-04-16 江西远格科技有限公司 一种铁路行业人脸考勤方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020600A (zh) * 2012-12-12 2013-04-03 紫光股份有限公司 一种用于人脸识别系统的活体人脸鉴别装置
CN202956772U (zh) * 2012-12-12 2013-05-29 紫光股份有限公司 一种用于人脸识别系统的活体人脸鉴别装置
CN105900166A (zh) * 2014-01-07 2016-08-24 三菱电机株式会社 图像投影装置以及图像投影装置的调整方法和控制方法
CN105912986A (zh) * 2016-04-01 2016-08-31 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN106767526A (zh) * 2016-12-07 2017-05-31 西安知象光电科技有限公司 一种基于激光mems振镜投影的彩色多线激光三维测量方法
CN107167093A (zh) * 2017-05-25 2017-09-15 西安知象光电科技有限公司 一种激光线扫描与阴影莫尔的复合式测量系统及测量方法
CN107341481A (zh) * 2017-07-12 2017-11-10 深圳奥比中光科技有限公司 利用结构光图像进行识别

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2600938A1 (en) * 2004-03-24 2005-10-06 Andre Hoffmann Identification, verification, and recognition method and system
US20150347833A1 (en) * 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020600A (zh) * 2012-12-12 2013-04-03 紫光股份有限公司 一种用于人脸识别系统的活体人脸鉴别装置
CN202956772U (zh) * 2012-12-12 2013-05-29 紫光股份有限公司 一种用于人脸识别系统的活体人脸鉴别装置
CN105900166A (zh) * 2014-01-07 2016-08-24 三菱电机株式会社 图像投影装置以及图像投影装置的调整方法和控制方法
CN105912986A (zh) * 2016-04-01 2016-08-31 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN106767526A (zh) * 2016-12-07 2017-05-31 西安知象光电科技有限公司 一种基于激光mems振镜投影的彩色多线激光三维测量方法
CN107167093A (zh) * 2017-05-25 2017-09-15 西安知象光电科技有限公司 一种激光线扫描与阴影莫尔的复合式测量系统及测量方法
CN107341481A (zh) * 2017-07-12 2017-11-10 深圳奥比中光科技有限公司 利用结构光图像进行识别

Also Published As

Publication number Publication date
CN108304828A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN108304828B (zh) 一种三维活体人脸识别装置及方法
CN107466411B (zh) 二维红外深度感测
CN110309782B (zh) 一种基于红外与可见光双目系统的活体人脸检测方法
US8121356B2 (en) Long distance multimodal biometric system and method
US20180005018A1 (en) System and method for face recognition using three dimensions
CN107563304B (zh) 终端设备解锁方法及装置、终端设备
CN109643366A (zh) 用于监控车辆驾驶员的状况的方法和系统
Medioni et al. Identifying noncooperative subjects at a distance using face images and inferred three-dimensional face models
KR101839827B1 (ko) 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템
KR20110080327A (ko) 얼굴 인식 장치 및 그 방법
CN107491744B (zh) 人体身份识别方法、装置、移动终端和存储介质
Bär et al. Driver head pose and gaze estimation based on multi-template icp 3-d point cloud alignment
Hossny et al. Low cost multimodal facial recognition via kinect sensors
JP7113013B2 (ja) 被験者の頭部の追跡
KR20170092533A (ko) 얼굴 포즈 교정 방법 및 장치
EP2198391A1 (en) Long distance multimodal biometric system and method
JP2016532217A (ja) グリントにより眼を検出する方法および装置
JP3732757B2 (ja) 画像認識方法および画像認識装置
RU2004123248A (ru) Система и способ отслеживания объекта
US20230386256A1 (en) Techniques for detecting a three-dimensional face in facial recognition
Sadeghzadehyazdi et al. Glidar3dj: a view-invariant gait identification via flash lidar data correction
Shreve Automatic macro-and micro-facial expression spotting and applications
Kim et al. Accurate 3D face modeling and recognition from RGB-D stream in the presence of large pose changes
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
Bashir et al. Video surveillance for biometrics: long-range multi-biometric system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant