CN108647576A - 一种基于视频序列人脸识别的活体身份认证方法 - Google Patents

一种基于视频序列人脸识别的活体身份认证方法 Download PDF

Info

Publication number
CN108647576A
CN108647576A CN201810317932.7A CN201810317932A CN108647576A CN 108647576 A CN108647576 A CN 108647576A CN 201810317932 A CN201810317932 A CN 201810317932A CN 108647576 A CN108647576 A CN 108647576A
Authority
CN
China
Prior art keywords
face
authentication
sampled point
angle variation
facial angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810317932.7A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunshine Warm Fruit (beijing) Technology Development Co Ltd
Original Assignee
Sunshine Warm Fruit (beijing) Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunshine Warm Fruit (beijing) Technology Development Co Ltd filed Critical Sunshine Warm Fruit (beijing) Technology Development Co Ltd
Priority to CN201810317932.7A priority Critical patent/CN108647576A/zh
Publication of CN108647576A publication Critical patent/CN108647576A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本发明提供了一种基于视频序列人脸识别的活体身份认证方法，包括人脸特征库及以下步骤：通过随机选择人脸旋转方向，转动过程中随机采样视频帧，通过分析视频序列人脸角度变化是否连续，同时随机选取的不同角度的序列人脸匹配进行活体身份认证。本发明可避免以照片及预先录制视频的方式伪造活体人脸身份认证，可用于社保资格认证、无人售货人脸支付资格认证、门禁人脸认证等需要活体人脸身份认证的应用中。

Description

一种基于视频序列人脸识别的活体身份认证方法
技术领域
本发明涉及一种基于视频序列人脸识别的活体身份认证方法，通过随机选择人脸旋转方向，转动过程中随机采样视频帧，通过分析视频序列人脸角度变化是否连续，同时对随机选取的不同角度的序列人脸匹配进行活体身份认证，可避免以照片及预先录制视频的方式伪造活体人脸身份认证，可用于社保资格认证、无人售货人脸支付资格认证、门禁人脸认证等需要活体人脸身份认证的应用中。
背景技术
人脸识别已经在支付、门禁等各种应用中作为身份认证的技术手段，但是单帧图片的人脸身份认证，很容易通过盗取照片伪造身份认证。为此，我们提出一种基于视频序列人脸识别的活体身份认证方法，由于视频通常是每秒25-30帧的流数据，随机选择人脸转动方向，转动过程中随机采样视频帧的图像，由于转动方向、顺序及采样点都是随机的，用照片无法做到每秒25-30帧不同角度的旋转序列，用预先录制的视频无法预知随机的转动方向及顺序；同时，人脸转动过程中，每秒至少分析10帧图像中人脸转动角度是否连续，用照片伪造无法达到每秒10帧的速率。因此，本发明可以有效地避免以照片及预先录制视频的方式伪造身份认证。
人脸活体身份认证的方法中，有采用让用户眨眼、遮眼、摸鼻子等动作进行防伪的方法，目前，眨眼、遮眼、摸鼻子等动作的识别率没有人脸识别率高，而且此类识别仅仅识别动作，并不同时识别做动作的人的身份，此类方法中，可以用照片做正脸的识别，通过正脸识别身份后，换人按照指令做动作。而本发明中，三维人脸旋转采集到的不同角度的人脸检测与识别率可高达98%以上，针对每一个采样图像不仅仅识别人脸角度，而且需要以至少每秒10帧的频率判断人脸旋转的角度变化是否连续，并且同时要识别每一个采样图像中人脸的身份。因此，本发明利用了视频序列的动态特性及三维空间中不同角度人脸身份识别技术，有效实现了活体身份认证。
发明内容
本发明采用的技术方案为：首先根据预设的m个人脸转动方向及每个方向预设的n个采样点建立人脸特征库F T ；然后随机选择人脸转动方向，用户按照指示转动人脸，系统以至少每秒10帧的频率判断人脸角度变化是否连续，同时，在人脸转动过程中系统随机抽取k个采样点的图像I r ，r=1, 2, …, k，提取采样点图像的人脸特征与人脸特征库中的对应特征进行比对，最后判断身份是否匹配。本发明的技术方案总流程图如图1所示。
本发明包括人脸特征库F T 以及以下步骤：
（1）初始化：预设m个人脸转动方向，每个方向选取n个采样点;
（2）系统随机选择人脸转动方向，用户按照指示转动人脸；
（3）所述用户转动人脸过程中，系统分析视频序列中的人脸角度变化是否连续；
（4）所述用户转动人脸过程中随机抽取k个采样点的图像I r ，r=1, 2, …, k;
（5）提取所述图像I r 中的人脸特征F r ，r=1, 2, …, k；
（6）将所述人脸特征F r 与所述人脸特征库F T 中的对应人脸特征进行比对，r=1, 2, …,k；
（7）判断人脸角度变化是否连续且有R%的采样点匹配正确；
（8）如果人脸角度变化连续且有R%的采样点匹配正确，则身份认证通过；
（9）如果人脸角度变化不连续或匹配正确的采样点不足R%，则身份认证未通过。
所述人脸特征库F T 是所管理人员的所有采样点模板人脸特征的集合。
所述系统随机选择人脸转动方向是从预设的m个人脸转动方向中随机选取一组方向，任意组合先后顺序；所述用户按照要求转动人脸，是按照系统给出的方案及速度提示转动人脸。
所述随机选取一组方向，任意组合先后顺序，并要求用户按照指示转动人脸，转动过程中系统随机抽取k个采样点的图像I r ，r=1, 2, …, k，是为了保证抽样数据来自活体而非照片。
所述用户转动人脸过程中，系统分析视频序列中的人脸角度变化是否连续，人脸角度变化不是正脸的平移，而是三维的旋转，即分析视频中的人脸是否是角度连续变化的侧脸，每秒至少需要处理10帧视频图像的人脸角度变化分析。
所述将所述人脸特征F r 与所述人脸特征库F T 中的对应人脸特征进行比对，r=1, 2,…, k，如果人脸角度变化连续且有R%的采样点匹配正确，则身份认证通过。为了保证用于认证的图像来自活体而非照片，在不影响效率的情况下k应尽可能大。
所述如果人脸角度变化不连续或匹配正确的采样点不足R%，则身份认证未通过，是指人脸角度变化不连续与匹配正确的采样点不足R%只要一项不满足，则身份认证就不通过。
本发明具有以下优点：
（1）人脸特征库中的人脸特征不仅仅是正脸的特征，还有不同角度的人脸特征；
（2）通过分析被测对象人脸角度变化连续判断被测对象是活体的同时，进行不同角度人脸的身份认证，即活体检测与身份认证始终同时进行；因此，可以有效地避免以照片及预先录制视频的方式伪造身份认证；也可以避免用照片进行身份认证，用非本人做动作进行活体检测；
（3）可以在远程、无人值守场景下，通过视频进行活体人脸身份认证。
附图说明
图 1是一种基于视频序列人脸识别的活体身份认证方法的总流程图。
具体实施方式
下面结合附图，通过一个具体实施例来进一步阐述本发明。具体实施例仅用于说明本发明而不用于限制本发明要求保护的范围。
有m个人脸转动方向，每个方向选取n个采样点，因此人脸特征库中每个人共有m×n个人脸特征M l ，l=1, 2, …, L，人脸特征库中有L个人的信息。
其中，ij为M ij 的标识，i=1,2,…,n，j=1,2,…,m。人脸特征库F T =[M 1, M 2, …, M L ]。
参照图1，在步骤1中，系统进行初始化，为m和n赋值，m包括水平方向左转0-45°、水平方向右转0-45°、向上转0-15°、向下转0-15°，n设为每个方向均匀选取10个采样点；
步骤2中，系统随机选择两个方向、随机组合顺序，用户按照要求的方向与速度转动人脸；
步骤3中，转动人脸过程中，通过提取鼻尖、面部轮廓特征点，计算每帧图像中人脸的转动角度，分析视频序列中的人脸角度变化是否连续；
步骤4中，转动过程中，每个方向随机抽取3个采样点的图像I r ，r=1, 2, 3;
步骤5中，提取I r 中的人脸特征F r ，r=1, 2, 3；
步骤6中，将F r 与人脸特征库F T 中对应的采样点的人脸特征进行比对，r=1, 2, 3；
步骤7中，判断人脸角度变化是否连续且有80%的采样点匹配正确；
步骤8中，如果人脸角度变化连续且超过80%的采样点匹配正确，则身份认证通过；
步骤9中，如果人脸角度变化不连续或匹配正确的采样点不足80%，则身份认证未通过。
尽管已经参照本发明的特定示例性实施例详细阐述了本发明，但是本领域技术人员应理解，在不脱离由权利要求及其等同物定义的本发明的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims (7)

1.一种基于视频序列人脸识别的活体身份认证方法，其特征在于包括人脸特征库F T ，且包含以下步骤：
（1）初始化：预设m个人脸转动方向，每个方向选取n个采样点；
（2）系统随机选择人脸转动方向，用户按照指示转动人脸；
（3）所述用户转动人脸过程中，系统分析视频序列中的人脸角度变化是否连续；
（4）所述用户转动人脸过程中，随机抽取k个采样点的图像I r ，r=1, 2, …, k；
（5）提取所述图像I r 中的人脸特征F r ，r=1, 2, …, k；
（6）将所述人脸特征F r 与所述人脸特征库F T 中的对应人脸特征进行比对，r=1, 2, …,k；
（7）判断人脸角度变化是否连续且有R%的采样点匹配正确；
（8）如果人脸角度变化连续且有R%的采样点匹配正确，则身份认证通过；
（9）如果人脸角度变化不连续或匹配正确的采样点不足R%，则身份认证未通过。
2.根据权利要求1所述方法，其特征在于：所述人脸特征库F T 是所管理人员的所有采样点模板人脸特征的集合。
3.根据权利要求1所述方法，其特征在于步骤（2）中：所述系统随机选择人脸转动方向是从预设的m个人脸转动方向中随机选取一组方向，任意组合先后顺序；所述用户按照要求转动人脸，是按照系统给出的方向及速度提示转动人脸。
4.根据权利要求1和权利要求3所述方法，其特征在于：所述随机选取一组方向，任意组合先后顺序，并要求用户按照指示转动人脸，转动过程中系统随机抽取k个采样点的图像I r ，r=1, 2, …, k，是为了保证抽样数据来自活体而非照片。
5.根据权利要求1所述方法，其特征在于步骤（3）中：所述用户转动人脸过程中，系统分析视频序列中的人脸角度变化是否连续，人脸角度变化不是正脸的平移，而是三维的旋转，即分析视频中的人脸是否是角度连续变化的侧脸，每秒至少需要处理10帧视频图像的人脸角度变化分析。
6.根据权利要求1所述方法，其特征在于步骤（6）中：所述将所述人脸特征F r 与所述人脸特征库F T 中的对应人脸特征进行比对，r=1, 2, …, k，如果人脸角度变化连续且有R%的采样点匹配正确，则身份认证通过；为了保证用于认证的图像来自活体而非照片，在不影响效率的情况下k应尽可能大。
7.根据权利要求1所述方法，其特征在于：所述如果人脸角度变化不连续或匹配正确的采样点不足R%，则身份认证未通过，是指人脸角度变化不连续与匹配正确的采样点不足R%只要一项不满足，则身份认证就不通过。
CN201810317932.7A 2018-04-10 2018-04-10 一种基于视频序列人脸识别的活体身份认证方法 Pending CN108647576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810317932.7A CN108647576A (zh) 2018-04-10 2018-04-10 一种基于视频序列人脸识别的活体身份认证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810317932.7A CN108647576A (zh) 2018-04-10 2018-04-10 一种基于视频序列人脸识别的活体身份认证方法

Publications (1)

Publication Number Publication Date
CN108647576A true CN108647576A (zh) 2018-10-12

Family

ID=63745819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810317932.7A Pending CN108647576A (zh) 2018-04-10 2018-04-10 一种基于视频序列人脸识别的活体身份认证方法

Country Status (1)

Country Link
CN (1) CN108647576A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178233A (zh) * 2019-12-26 2020-05-19 北京天元创新科技有限公司 基于活体认证的身份认证方法及装置
CN112507889A (zh) * 2019-04-29 2021-03-16 众安信息技术服务有限公司 一种校验证件与持证人的方法及系统
CN112714339A (zh) * 2019-10-24 2021-04-27 上海哔哩哔哩科技有限公司 无序的视频采样方法、可读存储介质及计算机设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
CN103678984A (zh) * 2013-12-20 2014-03-26 湖北微模式科技发展有限公司 一种利用摄像头实现用户身份验证的方法
US20140341445A1 (en) * 2012-05-04 2014-11-20 Tencent Technology (Shenzhen) Company Limited System and method for identity authentication based on face recognition, and computer storage medium
CN104935438A (zh) * 2015-05-28 2015-09-23 北京旷视科技有限公司 用于身份验证的方法和装置
CN105205455A (zh) * 2015-08-31 2015-12-30 李岩 一种移动平台上人脸识别的活体检测方法及系统
CN105227307A (zh) * 2014-06-03 2016-01-06 阿里巴巴集团控股有限公司 身份验证方法与系统以及服务器数据处理方法和服务器
CN105426815A (zh) * 2015-10-29 2016-03-23 北京汉王智远科技有限公司 活体检测方法及装置
CN105556917A (zh) * 2013-05-13 2016-05-04 俄亥俄州立大学 使用通信设备的基于运动的个人身份认证
CN106557726A (zh) * 2015-09-25 2017-04-05 北京市商汤科技开发有限公司 一种带静默式活体检测的人脸身份认证系统及其方法
CN106778454A (zh) * 2015-11-25 2017-05-31 腾讯科技（深圳）有限公司 人脸识别的方法和装置
CN106845345A (zh) * 2016-12-15 2017-06-13 重庆凯泽科技股份有限公司 活体检测方法及装置
CN106897658A (zh) * 2015-12-18 2017-06-27 腾讯科技（深圳）有限公司 人脸活体的鉴别方法和装置
CN107622188A (zh) * 2016-07-15 2018-01-23 阿里巴巴集团控股有限公司 基于生物特征的验证方法、装置、系统和设备
CN107644191A (zh) * 2016-07-21 2018-01-30 中兴通讯股份有限公司 一种人脸识别方法及系统、终端及服务器

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140341445A1 (en) * 2012-05-04 2014-11-20 Tencent Technology (Shenzhen) Company Limited System and method for identity authentication based on face recognition, and computer storage medium
CN105556917A (zh) * 2013-05-13 2016-05-04 俄亥俄州立大学 使用通信设备的基于运动的个人身份认证
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
CN103678984A (zh) * 2013-12-20 2014-03-26 湖北微模式科技发展有限公司 一种利用摄像头实现用户身份验证的方法
CN105227307A (zh) * 2014-06-03 2016-01-06 阿里巴巴集团控股有限公司 身份验证方法与系统以及服务器数据处理方法和服务器
CN104935438A (zh) * 2015-05-28 2015-09-23 北京旷视科技有限公司 用于身份验证的方法和装置
CN105205455A (zh) * 2015-08-31 2015-12-30 李岩 一种移动平台上人脸识别的活体检测方法及系统
CN106557726A (zh) * 2015-09-25 2017-04-05 北京市商汤科技开发有限公司 一种带静默式活体检测的人脸身份认证系统及其方法
CN105426815A (zh) * 2015-10-29 2016-03-23 北京汉王智远科技有限公司 活体检测方法及装置
CN106778454A (zh) * 2015-11-25 2017-05-31 腾讯科技（深圳）有限公司 人脸识别的方法和装置
CN106897658A (zh) * 2015-12-18 2017-06-27 腾讯科技（深圳）有限公司 人脸活体的鉴别方法和装置
CN107622188A (zh) * 2016-07-15 2018-01-23 阿里巴巴集团控股有限公司 基于生物特征的验证方法、装置、系统和设备
CN107644191A (zh) * 2016-07-21 2018-01-30 中兴通讯股份有限公司 一种人脸识别方法及系统、终端及服务器
CN106845345A (zh) * 2016-12-15 2017-06-13 重庆凯泽科技股份有限公司 活体检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANIEL F. SMITH等: "Face Recognition on Consumer Devices: Reflections on Replay Attacks", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》, vol. 10, no. 4, pages 736 - 745, XP011575421, DOI: 10.1109/TIFS.2015.2398819 *
刘逸飞: "基于光谱分析与深度信息的人脸活体检测", 《中国优秀硕士学位论文全文数据 库信息科技辑》, no. 06, pages 138 - 1315 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507889A (zh) * 2019-04-29 2021-03-16 众安信息技术服务有限公司 一种校验证件与持证人的方法及系统
CN112714339A (zh) * 2019-10-24 2021-04-27 上海哔哩哔哩科技有限公司 无序的视频采样方法、可读存储介质及计算机设备
CN112714339B (zh) * 2019-10-24 2023-04-28 上海哔哩哔哩科技有限公司 无序的视频采样方法、可读存储介质及计算机设备
CN111178233A (zh) * 2019-12-26 2020-05-19 北京天元创新科技有限公司 基于活体认证的身份认证方法及装置

Similar Documents

Publication Publication Date Title
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
WO2020207189A1 (zh) 身份验证方法、装置、存储介质和计算机设备
CN108985134B (zh) 基于双目摄像机的人脸活体检测及刷脸交易方法及系统
CN106529468B (zh) 一种基于卷积神经网络的手指静脉识别方法及系统
Tang et al. Face flashing: a secure liveness detection protocol based on light reflections
CN105740779B (zh) 人脸活体检测的方法和装置
CN105740781B (zh) 一种三维人脸活体检测的方法和装置
Shen et al. Effective and robust physical-world attacks on deep learning face recognition systems
CN108647576A (zh) 一种基于视频序列人脸识别的活体身份认证方法
CN104281836B (zh) 一种生物特征识别系统及方法
CN107977559A (zh) 一种身份认证方法、装置、设备和计算机可读存储介质
CN107480586B (zh) 基于人脸特征点位移的生物识别照片仿冒攻击检测方法
CN111666835A (zh) 一种人脸活体检测方法和装置
CN108875559B (zh) 基于证件照与现场照的人脸识别方法及系统
CN114218543A (zh) 一种基于多场景表情识别的加密解锁系统及方法
CN100365645C (zh) 基于眉毛识别的身份鉴别方法
CN111767877A (zh) 一种基于红外特征的活体检测方法
CN111598051A (zh) 一种脸部验证方法、装置、设备及可读存储介质
CN109981525A (zh) 身份信息认证方法、终端、服务器与系统
CN113591603A (zh) 证件的验证方法、装置、电子设备及存储介质
WO2022222957A1 (zh) 一种目标识别的方法和系统
CN116383791A (zh) 一种客户身份认证方法、装置、电子设备及介质
CN110135362A (zh) 一种基于红外摄像头下的人脸快速识别方法
CN114299569A (zh) 一种基于眼球运动的安全人脸认证方法
CN113221606B (zh) 一种基于ims视频会议登录的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination