CN111339958B - 一种基于单目视觉的人脸活体检测方法及系统 - Google Patents

一种基于单目视觉的人脸活体检测方法及系统 Download PDF

Info

Publication number
CN111339958B
CN111339958B CN202010127982.6A CN202010127982A CN111339958B CN 111339958 B CN111339958 B CN 111339958B CN 202010127982 A CN202010127982 A CN 202010127982A CN 111339958 B CN111339958 B CN 111339958B
Authority
CN
China
Prior art keywords
face
living body
plane
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010127982.6A
Other languages
English (en)
Other versions
CN111339958A (zh
Inventor
祝朝政
王彩娥
彭守恒
杨烨镕
黎冯成
何采凡
孙桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinzhipai Intelligent Technology Co ltd
Original Assignee
Nanjing Xinzhipai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinzhipai Intelligent Technology Co ltd filed Critical Nanjing Xinzhipai Intelligent Technology Co ltd
Priority to CN202010127982.6A priority Critical patent/CN111339958B/zh
Publication of CN111339958A publication Critical patent/CN111339958A/zh
Application granted granted Critical
Publication of CN111339958B publication Critical patent/CN111339958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于单目视觉的人脸活体检测方法及系统，包括获取摄像头视频流数据，将视频流数据转换为一帧一帧图像，利用opencv将每帧图像转换为RGB图像；对于RGB图像，采用HOG方向梯度直方图方法检测该RGB图像上的人脸轮廓，并将人脸轮廓提取出来；采用人脸特征点提取模型对人脸轮廓进行特征提取，得到128*128个特征向量；从128*128个特征向量中随机抽选3个特征向量，构成人脸平面，采用随机采样一致性算法计算人脸平面与摄像头平面之间的单应矩阵；进行多次迭代，从而得到人脸平面与摄像头平面之间的角度关系，根据角度关系判断人脸轮廓是否是活体，即当前人脸是否是活体。本发明实现了低成本高效率检测，且不受光照等外界影响。

Description

一种基于单目视觉的人脸活体检测方法及系统
技术领域
本发明涉及一种基于单目视觉的人脸活体检测方法及系统，属于计算机视觉技术领域。
背景技术
和指纹、虹膜等生物特征相比，人脸特征提取技术发展最快，技术成熟度较高。人脸识别系统随着识别率的提升，在铁路客运、银行办理业务、手机开锁以及刷脸支付等方面得到了商用，并渗透到学校、楼宇、安防等领域，并且人脸识别后的授权有向无人监督化发展的趋势。
然而仅有人脸识别技术，人脸生物特征并不能作为安全秘钥使用，因为人脸生物特征特别容易被采集后用来攻击，机场安检、上班考勤、公司门禁、银行开户以及网上支付等各个场合，如果人脸识别系统被攻击，会给个人和社会造成极大损失，所以活体检测对于人脸识别系统来说非常重要。
活体检测是一种判断捕捉到的人脸是真是人脸，还是伪造的人脸攻击(如彩色纸张打印人脸图、电子设备屏幕中的人脸数字图像以及面具等)的技术。活体检测分为单目静默检测、双目静默检测、附加红外摄像头静默检测以及单目并需要用户动作配合等种类。目前应用广泛而成本较低的活体检测方法是基于客户配合，可通过随机指令要求用户眨眼、张嘴、念文字以及左右摇头等动作，但此种方法需要用户配合，交互时间长，易受外界环境影响，用户体验不好。
因此，针对人脸识别活体检测，需要提出一种新的方案，实现低成本高效检测，不受光照等外界影响。
发明内容
本发明所要解决的技术问题是：提供一种基于单目视觉的人脸活体检测方法及系统，使用单目摄像头以及活体检测算法，估计人脸特征点深度值，判断是否是活体，实现低成本高效率检测，不受光照等外界影响。
本发明为解决上述技术问题采用以下技术方案：
一种基于单目视觉的人脸活体检测方法，包括如下步骤：
步骤1，获取摄像头视频流数据，将视频流数据转换为一帧一帧的图像，利用opencv工具将每帧图像转换为一幅RGB图像；
步骤2，对于每帧图像对应的RGB图像，采用HOG方向梯度直方图方法检测该RGB图像上的人脸轮廓，并将人脸轮廓提取出来；
步骤3，采用人脸特征点提取模型对人脸轮廓进行特征提取，得到128*128个特征向量；
步骤4，从128*128个特征向量中随机抽选3个特征向量，构成人脸平面，采用随机采样一致性算法计算人脸平面与摄像头平面之间的单应矩阵；
步骤5，对步骤4进行多次迭代，从而得到人脸平面与摄像头平面之间的角度关系，根据角度关系判断人脸轮廓是否是活体，即当前人脸是否是活体。
作为本发明方法的一种优选方案，步骤2所述采用HOG方向梯度直方图方法检测该RGB图像上的人脸轮廓，具体过程如下：
对该RGB图像进行颜色空间归一化，即图像灰度化，得到灰度图像；将灰度图像划分为多个大小相同的单元格，计算每个单元格的梯度直方图，将所有单元格对应的梯度直方图组合起来，并进行归一化，从而得到该图像上的人脸轮廓。
作为本发明方法的一种优选方案，步骤5所述根据角度关系判断人脸轮廓是否是活体，即当前人脸是否是活体，具体过程如下：
判断人脸平面与摄像头平面之间是否垂直，若垂直则表示当前人脸不是活体，否则即为活体。
一种基于单目视觉的人脸活体检测系统，包括人脸检测模块、特征点提取模块、活体检测模块；
所述人脸检测模块用于提取摄像头视频流中的人脸轮廓，具体为：获取摄像头视频流数据，将视频流数据转换为一帧一帧的图像，利用opencv工具将每帧图像转换为一幅RGB图像，对于每帧图像对应的RGB图像，采用HOG方向梯度直方图方法检测该RGB图像上的人脸轮廓，并将人脸轮廓提取出来；
所述特征点提取模块用于对人脸轮廓进行特征提取，具体为：采用人脸特征点提取模型对人脸轮廓进行特征提取，得到128*128个特征向量；
所述活体检测模块用于检测人脸轮廓是否是活体，具体为：从128*128个特征向量中随机抽选3个特征向量，构成人脸平面，采用随机采样一致性算法计算人脸平面与摄像头平面之间的单应矩阵，对上述过程进行多次迭代，从而得到人脸平面与摄像头平面之间的角度关系，根据角度关系判断人脸轮廓是否是活体，即当前人脸是否是活体。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明使用单目摄像头以及活体检测算法，估计人脸特征点深度值，判断是否是活体，实现低成本高效率检测，不受光照等外界影响。
附图说明
图1是本发明一种基于单目视觉的人脸活体检测方法的流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明由视觉slam原理出发，提出一种新思路，通过单目摄像头检测在运动中的人脸，不必进行数据量计算庞大的三维重建，而是通过随机提取人脸图像的面部特征点，使用随机采样一致性算法，计算两幅图像之间的关系，判断当前人脸特征点构成的平面与摄像头平面是否垂直，垂直则说明是平面，不是活体，反之则是活体。
如图1所示，为本发明一种基于单目视觉的人脸活体检测方法的流程图，结合一种基于单目视觉的人脸活体检测系统，说明本发明的具体过程为：
一种基于单目视觉的人脸活体检测系统，包括人脸检测模块、特征点提取模块、活体检测模块；
其中，人脸检测模块，从摄像头传回来的视频流中检测并识别出人脸。通过摄像头采集数据，识别视频流中的人脸。提取一帧画面，利用opencv形成一幅RGB图像。通过HOG方向梯度直方图方法，检测物体轮廓，提取图像中的人脸轮廓。首先进行颜色空间归一化，即图片灰度化，减少光照以及背景等因素的影响，进而划分检测窗口成大小相同的单元格，分别提取相应的梯度信息，进行梯度计算，即计算单元格的梯度直方图，之后对组合成块的梯度直方图作归一化，从而进一步减少背景颜色及噪声的影响，最后将整个窗口中的所有单元格的HOG特征收集起来，并使用特征向量来表示其特征，即表示出图像中的人脸轮廓。
特征点提取模块，通过人脸特征点提取模型对上述人脸轮廓进行计算，每张人脸图像皆生成128*128个特征向量。
活体检测模块，使用单应矩阵。单应矩阵反映的是两幅图像之间的对应关系。计算单应矩阵的方法很多，考虑到本发明精度要求，本发明采用随机采样一致性(RANSAC)算法，通过随机抽选人脸128*128个特征向量中的三个特征向量，构成人脸平面1，然后计算人脸平面1与摄像机平面2之间的关系，使用单应矩阵，通matlab进行多次迭代，最终得出人脸平面1与摄像机平面2之间的角度关系，如果人脸平面1与摄像头平面2呈垂直关系，则表示当前人脸不是活体，反之则是活体。
本发明摒弃计算量巨大的三维重建，聚焦在深度估计上，无需进行人脸建模。通过随机采样一致性算法计算两幅图像的单应矩阵，判断当前物体与摄像头的角度关系。当角度呈垂直关系时，则表明当前物体不是活体，反之则相反。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (3)

1.一种基于单目视觉的人脸活体检测方法，其特征在于，包括如下步骤：
步骤1，获取摄像头视频流数据，将视频流数据转换为一帧一帧的图像，利用opencv工具将每帧图像转换为一幅RGB图像；
步骤2，对于每帧图像对应的RGB图像，采用HOG方向梯度直方图方法检测该RGB图像上的人脸轮廓，并将人脸轮廓提取出来；
步骤3，采用人脸特征点提取模型对人脸轮廓进行特征提取，得到128*128个特征向量；
步骤4，从128*128个特征向量中随机抽选3个特征向量，构成人脸平面，采用随机采样一致性算法计算人脸平面与摄像头平面之间的单应矩阵；
步骤5，对步骤4进行多次迭代，从而得到人脸平面与摄像头平面之间的角度关系，根据角度关系判断人脸轮廓是否是活体，即当前人脸是否是活体；
所述根据角度关系判断人脸轮廓是否是活体，即当前人脸是否是活体，具体过程如下：判断人脸平面与摄像头平面之间是否垂直，若垂直则表示当前人脸不是活体，否则即为活体。
2.根据权利要求1所述基于单目视觉的人脸活体检测方法，其特征在于，步骤2所述采用HOG方向梯度直方图方法检测该RGB图像上的人脸轮廓，具体过程如下：
对该RGB图像进行颜色空间归一化，即图像灰度化，得到灰度图像；将灰度图像划分为多个大小相同的单元格，计算每个单元格的梯度直方图，将所有单元格对应的梯度直方图组合起来，并进行归一化，从而得到该图像上的人脸轮廓。
3.一种基于单目视觉的人脸活体检测系统，其特征在于，包括人脸检测模块、特征点提取模块、活体检测模块；
所述人脸检测模块用于提取摄像头视频流中的人脸轮廓，具体为：获取摄像头视频流数据，将视频流数据转换为一帧一帧的图像，利用opencv工具将每帧图像转换为一幅RGB图像，对于每帧图像对应的RGB图像，采用HOG方向梯度直方图方法检测该RGB图像上的人脸轮廓，并将人脸轮廓提取出来；
所述特征点提取模块用于对人脸轮廓进行特征提取，具体为：采用人脸特征点提取模型对人脸轮廓进行特征提取，得到128*128个特征向量；
所述活体检测模块用于检测人脸轮廓是否是活体，具体为：从128*128个特征向量中随机抽选3个特征向量，构成人脸平面，采用随机采样一致性算法计算人脸平面与摄像头平面之间的单应矩阵，对上述过程进行多次迭代，从而得到人脸平面与摄像头平面之间的角度关系，判断人脸平面与摄像头平面之间是否垂直，若垂直则表示人脸轮廓不是活体，即当前人脸不是活体；若不垂直则表示人脸轮廓是活体，即当前人脸是活体。
CN202010127982.6A 2020-02-28 2020-02-28 一种基于单目视觉的人脸活体检测方法及系统 Active CN111339958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010127982.6A CN111339958B (zh) 2020-02-28 2020-02-28 一种基于单目视觉的人脸活体检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010127982.6A CN111339958B (zh) 2020-02-28 2020-02-28 一种基于单目视觉的人脸活体检测方法及系统

Publications (2)

Publication Number Publication Date
CN111339958A CN111339958A (zh) 2020-06-26
CN111339958B true CN111339958B (zh) 2023-08-29

Family

ID=71185511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010127982.6A Active CN111339958B (zh) 2020-02-28 2020-02-28 一种基于单目视觉的人脸活体检测方法及系统

Country Status (1)

Country Link
CN (1) CN111339958B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923641A (zh) * 2010-09-09 2010-12-22 北京交通大学 一种改进的人脸识别方法
JP2012069133A (ja) * 2011-10-24 2012-04-05 Nec Corp 立体性認証方法、立体性認証装置および立体性認証プログラム
WO2013131407A1 (zh) * 2012-03-08 2013-09-12 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
CN104077804A (zh) * 2014-06-09 2014-10-01 广州嘉崎智能科技有限公司 一种基于多帧视频图像构建三维人脸模型的方法
CN105205458A (zh) * 2015-09-16 2015-12-30 北京邮电大学 人脸活体检测方法、装置及系统
CN105868733A (zh) * 2016-04-21 2016-08-17 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
CN106937532A (zh) * 2014-11-07 2017-07-07 北京市商汤科技开发有限公司 用于检测真正用户的系统和方法
DE102016009619A1 (de) * 2016-07-29 2018-02-01 LÜTH & DÜMCHEN Automatisierungsprojekt GmbH Verfahren zum Nachweis der räumlichen Ausdehnung eines Kameraobjektes als Bestandteil einer Lebenderkennung für Vorrichtungen zur Erfassung personenspezifischer Daten
CN108319901A (zh) * 2018-01-17 2018-07-24 百度在线网络技术（北京）有限公司 人脸的活体检测方法、装置、计算机设备及可读介质
CN109508702A (zh) * 2018-12-29 2019-03-22 安徽云森物联网科技有限公司 一种基于单一图像采集设备的三维人脸活体检测方法
WO2020000908A1 (zh) * 2018-06-29 2020-01-02 汉王科技股份有限公司 一种人脸活体检测方法及装置
CN110647782A (zh) * 2018-06-08 2020-01-03 北京信息科技大学 三维人脸重建与多姿态人脸识别方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923641A (zh) * 2010-09-09 2010-12-22 北京交通大学 一种改进的人脸识别方法
JP2012069133A (ja) * 2011-10-24 2012-04-05 Nec Corp 立体性認証方法、立体性認証装置および立体性認証プログラム
WO2013131407A1 (zh) * 2012-03-08 2013-09-12 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
CN104077804A (zh) * 2014-06-09 2014-10-01 广州嘉崎智能科技有限公司 一种基于多帧视频图像构建三维人脸模型的方法
CN106937532A (zh) * 2014-11-07 2017-07-07 北京市商汤科技开发有限公司 用于检测真正用户的系统和方法
CN105205458A (zh) * 2015-09-16 2015-12-30 北京邮电大学 人脸活体检测方法、装置及系统
CN105868733A (zh) * 2016-04-21 2016-08-17 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
DE102016009619A1 (de) * 2016-07-29 2018-02-01 LÜTH & DÜMCHEN Automatisierungsprojekt GmbH Verfahren zum Nachweis der räumlichen Ausdehnung eines Kameraobjektes als Bestandteil einer Lebenderkennung für Vorrichtungen zur Erfassung personenspezifischer Daten
CN108319901A (zh) * 2018-01-17 2018-07-24 百度在线网络技术（北京）有限公司 人脸的活体检测方法、装置、计算机设备及可读介质
CN110647782A (zh) * 2018-06-08 2020-01-03 北京信息科技大学 三维人脸重建与多姿态人脸识别方法及装置
WO2020000908A1 (zh) * 2018-06-29 2020-01-02 汉王科技股份有限公司 一种人脸活体检测方法及装置
CN109508702A (zh) * 2018-12-29 2019-03-22 安徽云森物联网科技有限公司 一种基于单一图像采集设备的三维人脸活体检测方法

Also Published As

Publication number Publication date
CN111339958A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN106874871B (zh) 一种活体人脸双摄像头识别方法及识别装置
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
CN104915649B (zh) 一种应用于人脸识别的活体检测方法
CN108182409B (zh) 活体检测方法、装置、设备及存储介质
CN109376608B (zh) 一种人脸活体检测方法
CN104933414B (zh) 一种基于wld-top的活体人脸检测方法
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN107590430A (zh) 活体检测方法、装置、设备及存储介质
CN109598242B (zh) 一种活体检测方法
CN109117755B (zh) 一种人脸活体检测方法、系统和设备
CN105205455A (zh) 一种移动平台上人脸识别的活体检测方法及系统
CN110472519B (zh) 一种基于多模型的人脸活体检测方法
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN110175528B (zh) 人体跟踪方法及装置、计算机设备及可读介质
CN108446690B (zh) 一种基于多视角动态特征的人脸活体检测方法
CN108846343B (zh) 基于三维视频的多任务协同分析方法
CN106650617A (zh) 一种基于概率潜在语义分析的行人异常识别方法
CN111783629A (zh) 一种面向对抗样本攻击的人脸活体检测方法及装置
Alksasbeh et al. Smart hand gestures recognition using K-NN based algorithm for video annotation purposes
Nikitin et al. Face anti-spoofing with joint spoofing medium detection and eye blinking analysis
CN109325472B (zh) 一种基于深度信息的人脸活体检测方法
CN114842524A (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN111339958B (zh) 一种基于单目视觉的人脸活体检测方法及系统
Nasrollahi et al. Summarization of surveillance video sequences using face quality assessment
CN104615985B (zh) 一种人脸相似度的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210608

Address after: Room 314, block C, Yingying building, 99 Tuanjie Road, R & D Park, Nanjing area, China (Jiangsu) pilot Free Trade Zone, Nanjing, Jiangsu 210000

Applicant after: Nanjing xinzhipai Intelligent Technology Co.,Ltd.

Address before: 265200 No.36, jingsan Road, hi tech Zone, Yantai City, Shandong Province

Applicant before: SHANDONG DIKAER INTELLIGENT TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant