CN109409343A - 一种基于活体检测的人脸识别方法 - Google Patents

一种基于活体检测的人脸识别方法 Download PDF

Info

Publication number
CN109409343A
CN109409343A CN201811513963.6A CN201811513963A CN109409343A CN 109409343 A CN109409343 A CN 109409343A CN 201811513963 A CN201811513963 A CN 201811513963A CN 109409343 A CN109409343 A CN 109409343A
Authority
CN
China
Prior art keywords
heart rate
gesture
face
vivo detection
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811513963.6A
Other languages
English (en)
Inventor
陈志聪
陈巧瑜
吴丽君
吴振辉
孙永辉
程树英
黄秀钦
林培杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201811513963.6A priority Critical patent/CN109409343A/zh
Publication of CN109409343A publication Critical patent/CN109409343A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种基于活体检测的人脸识别方法,首先进行人脸识别;接着通过脸部信息提取心率信息;然后要求被识别人在规定位置做出规定手势;接着通过手势识别来验证手势,并进一步提取手势上的心率信息及波形;最后对人脸及手上的心率信息波形进行相关性检测校验,以获取活体检测结果。本发明可有效应对人脸识别种所遇到的照片攻击和视频攻击问题。

Description

一种基于活体检测的人脸识别方法
技术领域
本发明涉及图像处理领域,特别是一种基于活体检测的人脸识别方法。
背景技术
随着人脸识别技术、人脸检测技术的发展,手机刷脸解锁、刷脸支付、刷脸开门等应用越来越广泛。然而,在这些应用场合中,仅仅使用人脸识别是不足以保障移动设备、金融账户、门禁等的安全性。如今,我们处于一个消息爆炸的时代,社交媒体越来越发达,在人们沟通交流越来越便利的同时,个人的身份信息及隐私也越来越多地暴露在网络世界之中,不法分子可以极其容易地获取个人的照片,并用这些照片冒充真人去破解个人的设备和账号。
活体检测常用的一种方法是,要求被检测人配合做出眨眼、张嘴和转头等动作,这在一定程度上可以缓解照片攻击。尽管如此,不法分子仍然有办法获得包含这些动作的个人视频,个人的隐私安全和金融安全再次受到了威胁。目前,常用于防止针对活体检测的视频攻击的方法有,立体性活体检测,亚表面检测,和红外检测。立体性活体检测利用深度图像判断人脸的3D(Three Dimensions)性,可以防御2D(Two Dimensions)攻击如手机、电脑等显示屏和打印照片;亚表面检测通过亚表面散射性不同判断人脸皮肤,可以防御非(类)人脸材质假体;红外检测则是基于红外摄像头,根据红外波反射的差异进行检测。
发明内容
有鉴于此,本发明的目的是提出一种基于活体检测的人脸识别方法,可以应对照片攻击和视频攻击。
本发明采用以下方案实现:一种基于活体检测的人脸识别方法,包括以下步骤:
步骤S1:进行人脸识别;
步骤S2:通过脸部信息提取心率信息及波形;
步骤S3:要求被识别人在规定位置做出规定手势;
步骤S4:识别验证手势,并提取手势上的心率信息及波形;
步骤S5:对步骤S2与步骤S4中的心率信息及波形进行相关校验,以获取活体检测结果。
较佳地,步骤S1中,通过OpenCV(Open Source Computer Vision Library)中的Viola-Jones算法,实现视频中的人脸识别,并选取人脸中的前额区域为ROI(Region ofInterest)。
进一步地,所述步骤S2具体为:根据RGB通道的值随着心脏的扩张和收缩会进行规律性变化,首先对此RGB信号分别进行去趋势化处理,然后根据包括独立成分分析、滤波和离散傅里叶变换在内的操作能够持续提取其变化规律,获取其心率脉搏信息。
具体的,利用数字图像处理技术。将ROI图像被分成三个颜色通道,然后取每个通道所有像素的灰度平均值作为该帧ROI图像的信号值,视频中所有帧ROI图像的三通道信号值构成3个原始脉搏波信号。利用数字信号处理技术,对原始脉搏波信号进行去趋势化处理,再通过独立成分分析ICA(Independent Component Analysis)操作,滤波和离散傅里叶变换,进一步获得脸部心率信息及波形。
进一步地,步骤S3中,通过人机交互界面要求被识别人在规定位置做出规定手势。
进一步地,所述步骤S4中,识别验证手势具体为:对规定区域进行手势识别,在HSV颜色空间上分割出皮肤区域,用形态学方法得到手的具体位置,然后用HOG描述子对所分割出来的手的区域进行特征描述,并最后通过隐马尔科夫算法对手势进行识别。
具体的,通过OpenCV,将手势图像颜色空间转换到HSV(Hue,Saturation,Value)空间,根据皮肤在HSV空间的分布做出阈值判断,再进一步做形态学处理,找出手的轮廓。利用HOG(Histogram of Oriented Gradient)特征算法计算出手部轮廓图像的特征向量。特征向量做为输入,通过隐马尔科夫算法(HMM)对特征向量进行分类,将分类结果与规定手势进行比较,进一步判断两者是否匹配。
进一步地,所述步骤S4中,提取手势上的心率信息及波形具体为:在识别手势的基础上,对手上的心率脉搏信息进行提取。
具体的,利用数字图像处理技术,对手部区域的R、G、B三颜色通道进行分离后,获得手部原始脉搏波信号。利用数字信号处理技术,对手部原始脉搏波信号进行去趋势化处理,再通过ICA操作,滤波和离散傅里叶变换,进一步获得手部心率信息及波形。
进一步地,步骤S5具体为:对步骤S2与步骤S4中的心率信息进行相关性测试,在相关性高于预设值时通过活体检测。具体的,用Matlab中Corrcoef函数计算脸部ROI心率及波形和手部心率及波形的Pearson相关系数,进行相关性验证,仅在相关度高时通过活体检测。
与现有技术相比,本发明有以下有益效果:
1、本发明的检测完全基于图像。本发明所提出的活体检测方法中,所涉及的心率检测和手势识别完全基于图像实现,无需借助其他传感器。
2、本发明可实时远程检测。本发明所提出的活体检测方法中,所有的操作可在远程计算机端完成。
3、本发明用户体验感好。本发明所提出的活体检测方法,只需配合做出手部动作,相比于传统活体检测中的眨眼、张嘴等动作,较为容易被用户接受。
4、本发明仅需通过摄像头采集即人机交互的方式即可以实现活体检测。
附图说明
图1为本发明实施例的活体检测方法原理图。
图2为本发明实施例人脸检测和人脸前额ROI提取示意图。
图3为本发明实施例人脸前额ROI区域图像R、G、B三通道原始信号,即原始脉搏波信号。
图4为本发明实施例预处理后的三个脉搏波信号。
图5为本发明实施例对脉搏波信号进行ICA操作后,得到的三个解混信号。
图6为本发明实施例经独立成分分析后得到的潜在独立源信号。
图7为本发明实施例脉搏源信号的功率谱。
图8为本发明实施例手部轮廓检测结果图。
图9为本发明实施例手部轮廓图像的特征向量
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种基于活体检测的人脸识别方法,包括以下步骤:
步骤S1:进行人脸识别;
步骤S2:通过脸部信息提取心率信息及波形;
步骤S3:要求被识别人在规定位置做出规定手势;
步骤S4:识别验证手势,并提取手势上的心率信息及波形;
步骤S5:对步骤S2与步骤S4中的心率信息进行相关校验,以获取活体检测结果。
较佳地,步骤S1中,通过OpenCV(Open Source Computer Vision Library)中的Viola-Jones算法,实现视频中的人脸识别,并选取人脸中的前额区域为ROI(Region ofInterest)。
在本实施例中,所述步骤S2具体为:根据RGB通道的值随着心脏的扩张和收缩会进行规律性变化,首先对此RGB信号分别进行去趋势化处理,然后根据包括独立成分分析、滤波和离散傅里叶变换在内的操作能够持续提取其变化规律,获取其心率脉搏信息。
具体的,在本实施例中,利用数字图像处理技术。将ROI图像被分成三个颜色通道,然后取每个通道所有像素的灰度平均值作为该帧ROI图像的信号值,视频中所有帧ROI图像的三通道信号值构成3个原始脉搏波信号。利用数字信号处理技术,对原始脉搏波信号进行去趋势化处理,再通过独立成分分析ICA(Independent Component Analysis)操作,滤波和离散傅里叶变换,进一步获得脸部心率信息。
在本实施例中,步骤S3中,通过人机交互界面要求被识别人在规定位置做出规定手势。
在本实施例中,所述步骤S4中,识别验证手势具体为:对规定区域进行手势识别,在HSV颜色空间上分割出皮肤区域,用形态学方法得到手的具体位置,然后用HOG描述子对所分割出来的手的区域进行特征描述,并最后通过隐马尔科夫算法对手势进行识别。
具体的,在本实施例中,通过OpenCV,将手势图像颜色空间转换到HSV(Hue,Saturation,Value)空间,根据皮肤在HSV空间的分布做出阈值判断,再进一步做形态学处理,找出手的轮廓。利用HOG(Histogram of Oriented Gradient)特征算法计算出手部轮廓图像的特征向量。特征向量做为输入,通过隐马尔科夫算法(HMM)对特征向量进行分类,将分类结果与规定手势进行比较,进一步判断两者是否匹配。
在本实施例中,所述步骤S4中,提取手势上的心率信息及波形具体为:在识别手势的基础上,对手上的心率脉搏信息进行提取。
具体的,在本实施例中,利用数字图像处理技术,对手部区域的R、G、B三颜色通道进行分离后,获得手部原始脉搏波信号。利用数字信号处理技术,对手部原始脉搏波信号进行去趋势化处理,再通过ICA操作,滤波和离散傅里叶变换,进一步获得手部心率信息及波形。
在本实施例中,步骤S5具体为:对步骤S2与步骤S4中的心率信息进行相关性测试,在相关性高于预设值时通过活体检测。具体的,用Matlab中Corrcoef函数计算脸部ROI心率及波形和手部心率及波形的Pearson相关系数,进行相关性验证,仅在相关度高时通过活体检测。
接下来本实施例具体提供几个实施例。
脸部心率信息提取实施例:首先,摄像机采集完人脸图像后,计算机端利用OpenCV中的Viola-Jones算法,识别出人脸区域,如图2中的大边框所示;其次,通过一定的比例,提取出人脸中的前额区域作为ROI,如图2中的小边框所示;进一步地,利用数字图像处理技术,将ROI区域的图像分解成R、G、B三个通道,R、G、B三通道信号即为原始脉搏波信号,如图3所示;接着,对原始脉搏波信号进行一些预处理,包括去趋势化和标准化,去趋势化是为了消除线性缓慢趋势或其他更复杂的趋势对脉搏波信号的影响,以便更容易观察到波形的固有特性,而标准化是为了确保信号的幅度统一在小区间内,以便于去趋势化后的信号处理。本发明采用Matlab自带的detrend函数进行去趋势化操作,对去趋势化后的三个信号分别用以下方式进行标准化:
其中μ是信号x(t)的均值,是信号x(t)的标准差。预处理后的脉搏波信号如图4所示;然后,对预处理后的三个脉搏波信号进行ICA处理,从三个混合信号分离出三个独立源信号,ICA操作结果如图5所示;之后,用Matlab中Corrcoef函数计算Person相关系数,寻找与绿色通道原始信号具有最高线性相关性的潜在独立源信号,得到的相关性最高的信号如图6所示;最后,对相关性最高的信号进行频谱分析,包括移动平均滤波器滤波处理和离散傅里叶变换,得到的脉搏源信号的功率谱如图7所示。
手势识别实施例:首先,待测人根据人机交互界面的提示,在指定的位置做出规定的手势;其次,摄像机进行手势图像采集;进一步地,计算机端通过OpenCV,将手势图像颜色空间转换到HSV空间,根据皮肤在HSV空间的分布做出阈值判断,再进一步做形态学处理,找出手的轮廓,手部轮廓检测结果如图8所示;接着,利用HOG特征算法计算出手部轮廓图像的特征向量,结果如图9所示;最后,通过HMM(Hidden Markov Model)算法对特征向量进行分类,将分类结果与规定手势进行比较,判断两者是否匹配,若匹配则进行之后的手部心率信息提取等操作,若不匹配则不进行。
手部心率信息提取实施例:手部心率信息提取过程与脸部ROI心率信息提取过程相同,最后得到手部脉搏源信号的功率谱图。
最后,用Matlab中Corrcoef函数计算Pearson相关系数,观测脸部ROI心率功率谱和手部心率功率谱之间的相关性,当且仅当相关性较高时通过活体检测。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (6)

1.一种基于活体检测的人脸识别方法,其特征在于:包括以下步骤:
步骤S1:进行人脸识别;
步骤S2:通过脸部信息提取心率信息及波形;
步骤S3:要求被识别人在规定位置做出规定手势;
步骤S4:识别验证手势,并提取手势上的心率信息及波形;
步骤S5:对步骤S2与步骤S4中所获取的心率信息及波形进行相关校验,以获取活体检测结果。
2.根据权利要求1所述的一种基于活体检测的人脸识别方法,其特征在于:所述步骤S2具体为:根据RGB通道的值随着心脏的扩张和收缩会进行规律性变化,首先对此RGB信号分别进行去趋势化处理,然后根据包括独立成分分析、滤波和离散傅里叶变换在内的操作能够持续提取其变化规律,获取其心率脉搏信息。
3.根据权利要求1所述的一种基于活体检测的人脸识别方法,其特征在于:所述步骤S3中,通过人机交互界面要求被识别人在规定位置做出规定手势。
4.根据权利要求1所述的一种基于活体检测的人脸识别方法,其特征在于:所述步骤S4中,识别验证手势具体为:对规定区域进行手势识别,在HSV颜色空间上分割出皮肤区域,用形态学方法得到手的具体位置,然后用HOG描述子对所分割出来的手的区域进行特征描述,并最后通过隐马尔科夫算法对手势进行识别。
5.根据权利要求1所述的一种基于活体检测的人脸识别方法,其特征在于:所述步骤S4中,提取手势上的心率信息及波形具体为:在识别手势的基础上,对手上的心率脉搏信息进行提取。
6.根据权利要求1所述的一种基于活体检测的人脸识别方法,其特征在于:步骤S5具体为:对步骤S2与步骤S4中的心率信息进行相关性测试,在相关性高于预设值时通过活体检测。
CN201811513963.6A 2018-12-11 2018-12-11 一种基于活体检测的人脸识别方法 Pending CN109409343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811513963.6A CN109409343A (zh) 2018-12-11 2018-12-11 一种基于活体检测的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811513963.6A CN109409343A (zh) 2018-12-11 2018-12-11 一种基于活体检测的人脸识别方法

Publications (1)

Publication Number Publication Date
CN109409343A true CN109409343A (zh) 2019-03-01

Family

ID=65458611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811513963.6A Pending CN109409343A (zh) 2018-12-11 2018-12-11 一种基于活体检测的人脸识别方法

Country Status (1)

Country Link
CN (1) CN109409343A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147754A (zh) * 2019-05-17 2019-08-20 金陵科技学院 一种基于vr技术的动态手势识别方法
CN110163126A (zh) * 2019-05-06 2019-08-23 北京华捷艾米科技有限公司 一种基于人脸的活体检测方法、装置及设备
CN111046804A (zh) * 2019-12-13 2020-04-21 北京旷视科技有限公司 活体检测方法、装置、电子设备及可读存储介质
CN111259787A (zh) * 2020-01-15 2020-06-09 杭州市第一人民医院 开锁方法、装置、计算机设备和存储介质
CN112199654A (zh) * 2020-09-30 2021-01-08 辽宁便利电科技有限公司 一种基于活体识别和分布式记账验证交付真伪的系统及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205475A (zh) * 2015-10-20 2015-12-30 北京工业大学 一种动态手势识别方法
US20170132786A1 (en) * 2014-10-20 2017-05-11 Microsoft Technology Licensing, Llc Facial Skin Mask Generation for Heart Rate Detection
CN107392177A (zh) * 2017-08-05 2017-11-24 江西中医药大学 一种人体身份识别验证方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170132786A1 (en) * 2014-10-20 2017-05-11 Microsoft Technology Licensing, Llc Facial Skin Mask Generation for Heart Rate Detection
CN105205475A (zh) * 2015-10-20 2015-12-30 北京工业大学 一种动态手势识别方法
CN107392177A (zh) * 2017-08-05 2017-11-24 江西中医药大学 一种人体身份识别验证方法及其装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163126A (zh) * 2019-05-06 2019-08-23 北京华捷艾米科技有限公司 一种基于人脸的活体检测方法、装置及设备
CN110147754A (zh) * 2019-05-17 2019-08-20 金陵科技学院 一种基于vr技术的动态手势识别方法
CN111046804A (zh) * 2019-12-13 2020-04-21 北京旷视科技有限公司 活体检测方法、装置、电子设备及可读存储介质
CN111259787A (zh) * 2020-01-15 2020-06-09 杭州市第一人民医院 开锁方法、装置、计算机设备和存储介质
CN111259787B (zh) * 2020-01-15 2022-09-06 杭州市第一人民医院 开锁方法、装置、计算机设备和存储介质
CN112199654A (zh) * 2020-09-30 2021-01-08 辽宁便利电科技有限公司 一种基于活体识别和分布式记账验证交付真伪的系统及其方法

Similar Documents

Publication Publication Date Title
CN109409343A (zh) 一种基于活体检测的人脸识别方法
Steiner et al. Reliable face anti-spoofing using multispectral SWIR imaging
US9785823B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
Gu et al. Feature points extraction from faces
CN109101871A (zh) 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
CN110516576A (zh) 基于深度神经网络的近红外活体人脸识别方法
CN107392187B (zh) 一种基于梯度方向直方图的人脸活体检测方法
Ross et al. Human ear recognition
CN103632132A (zh) 一种基于肤色分割和模板匹配的人脸检测与识别方法
CN104361276A (zh) 一种多模态生物特征身份认证方法及系统
CN108446690B (zh) 一种基于多视角动态特征的人脸活体检测方法
CN109101949A (zh) 一种基于彩色视频信号频域分析的人脸活体检测方法
CN106845328A (zh) 一种基于双摄像头的智能人脸识别方法及系统
Singh et al. Face detection and eyes extraction using sobel edge detection and morphological operations
CN111582197A (zh) 一种基于近红外和3d摄像技术的活体以及人脸识别系统
CN110929680B (zh) 一种基于特征融合的人脸活体检测方法
KR101174103B1 (ko) 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법
Jie et al. A face detection and recognition system in color image series
Pilania et al. Exploring face detection and recognition in steganography
Abaza et al. Human ear detection in the thermal infrared spectrum
CN111368803A (zh) 一种人脸识别方法及系统
CN116612542A (zh) 基于多模态生物特征一致性的音视频人物识别方法及系统
Zhong et al. VeinDeep: Smartphone unlock using vein patterns
Parashar Representation and interpretation of manual and non-manual information for automated American Sign Language recognition
Chai et al. Towards contactless palm region extraction in complex environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301