CN112163539A - 一种轻量级活体检测方法 - Google Patents
一种轻量级活体检测方法 Download PDFInfo
- Publication number
- CN112163539A CN112163539A CN202011071719.6A CN202011071719A CN112163539A CN 112163539 A CN112163539 A CN 112163539A CN 202011071719 A CN202011071719 A CN 202011071719A CN 112163539 A CN112163539 A CN 112163539A
- Authority
- CN
- China
- Prior art keywords
- face
- sample
- rectangular
- face area
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 210000000887 face Anatomy 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000001727 in vivo Methods 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种人脸活体检测方法,它包括如下步骤:实时采集视频图像;获取人脸区域的位置信息;截取矩形人脸区域A,并在矩形人脸区域A上进行关键点标注;去除人脸周围的细微背景区域获得人脸区域B;将人脸区域B的RGB颜色空间转换为HSV颜色空间,同时将HSV颜色空间并入到RGB颜色通道形成6通道图像;将6通道图像作为输入通过深度学习技术提取出高维特征;将提取出的高维特征基于度量学习的思想进行分类,从而识别活体。本发明对高清视频翻录、打印照片、面具等攻击情况有很好的适应能力,而且识别精度高、速度快、模型占用内存小。
Description
技术领域
本发明属于计算机视觉领域,具体来说,涉及一种基于机器学习技术的人脸活体检测方法。
背景技术
活体检测是在一些身份验证场景确定对象真实生理特征的方法,在人脸识别应用中,一般先进行活体检测确保用户为真实活体本人,因此需要能有效抵御打印照片、面具、遮挡以及屏幕翻拍等常见的攻击手段,然后再决定是否进行后续的验证工作。常见的交互式活体,需要用户能通过眨眼、张嘴、摇头、点头等组合动作来配合算法,用户体验性不好。静默活体检测则全程无需任何指令动作配合,用户只需对准摄像头即可完成检测。
近些年来,随着人工智能的不断发展,活体检测技术开始越来越多地应用到工业生产、社会安防和生活消费等各个方面,如刷脸支付、远程身份验证、刷脸闸机通行。与传统的“个人主机+固定摄像头”框架相比,嵌入式平台或者移动端的计算性能较弱,存储空间限制,因此除了对模型的识别准确性有要求,还对模型所占内存空间以及运行速度有较高要求。另外虽然多模态数据对于活体检测有更好的帮助,比如结合红外、深度数据,但这需要配套有相应的红外和深度相机,提高了成本。因此有必要研究和提出更加轻量级,且仅依靠RGB数据的活体检测方法。
发明内容
本发明旨在提供一种高精度、高安全性、高效的基于RGB的活体检测方法,该方法可以方便部署在嵌入式或者移动端平台,且不需要额外的红外、深度相机,仅依靠RGB图像数据,即可实现高精度的活体检测。
为实现上述技术目的,本发明采用的技术方案如下:
一种人脸活体检测方法,包括如下步骤:
实时采集视频图像,生成视频序列图像;
对视频序列图像进行人脸检测,获取人脸区域的位置信息;
根据人脸区域的位置信息在视频序列图像中截取矩形人脸区域A,然后在矩形人脸区域A上进行关键点标注;
扣除矩形人脸区域A周围的背景区域,得到新的矩形人脸区域B;
将处理后的矩形区域B缩放到统一尺寸,然后将缩放后的图片的RGB颜色空间转换为HSV颜色空间,并将HSV颜色空间并入到RGB颜色通道形成6通道图像,再进行归一化处理;
对归一化处理后的图像进行特征提取,从而提取出高维特征;
将提取出的高维特征通过度量学习进行分类,从而识别活体。
进一步限定,所述去除矩形人脸区域A周围的背景区域,得到新的矩形人脸区域B具体包括:
构造一个H×W的全零二维数组mask,其中,H、W分别是矩形人脸区域A的长度和宽度,将人脸的轮廓和眉毛处的关键点顺序进行调整,使得关键点坐标在数组mask上按逆时针顺序构成一个闭环,将数组mask上的关键点和闭环内区域的元素设置为1,然后将数组mask与矩形人脸区域A的对应坐标分别相乘得到新的矩形区域B。
进一步限定,所述对归一化处理后的图像进行特征提取,从而提取出高维特征具体包括:
通过深度可分离结构、逆残差结构和线性瓶颈层的轻量级网络结构进行训练,从而提取出高位特征。
进一步限定,所述将提取出的高维特征通过度量学习进行分类为:
定义提取特征的过程:
采用Triplet Loss损失函数来区分出活体和攻击样本:
Triplet Loss损失函数保证任意两个活体样本之间的特征距离都要尽可能大于其中一个活体样本和任意一个攻击样本之间的特征距离。
本发明相比现有技术,具有如下特点:
1、基于单摄像头完成采集工作,对高清视频翻录、打印照片、面具等攻击情况有很好的适应能力。
2、精度高,拒绝率>99%(代表在N次假体攻击时,会有超过99%的请求被拒绝),误拒率<1%(代表在N次真人活体请求时,仅有低于1%的请求会因为活体分数低于阈值而被拒绝)。
3、速度快,单张图片推理时间小于10毫秒,而人脸检测+关键点标注+预处理+活体检测全流程耗时小于60毫秒。
4、模型占用内存小,模型大小可控制在8MB左右。
附图说明
图1为本发明人脸活体检测方法的流程图;
图2为人脸检测、关键点标注的流程图;
图3为将RGB颜色空间生成6通道图像用于训练网络的流程图;
图4为高维特征降维后的特征图。
具体实施方式
为了便于本领域技术人员的理解,下面结合实施例与附图对本发明作进一步的说明,实施方式提及的内容并非对本发明的限定。
如图1所示,一种人脸活体检测方法,包括如下步骤:
S10:通过摄像头实时采集视频图像,生成视频序列图像以待处理。
具体地,摄像头在采集用户人像时,需要确保用户是正对摄像头,同时要求周围有较为均匀的光照,避免人脸区域有过多范围的阴影,同时要求用户根据画面引导,调整距离摄像头距离,使得人脸位于画面指定区域,这些都是为了过滤掉因外界条件导致采集的低质量人脸,可以更好的起到安全保护的作用。
S20:对视频序列图像进行人脸检测,获取人脸区域的位置信息。
S30:根据人脸区域的位置信息在视频序列图像中截取出矩形人脸区域A,然后在矩形人脸区域A上进行关键点标注。
人脸检测和面部关键点标注是实现活体检测的前提和基础。当前人脸检测技术日趋成熟,OpenCV、dlib等机器视觉库都提供了高效的人脸检测算法,同时也提供了高效的人脸面部关键点标注算法;iOS和Android移动平台自身也集成了人脸检测和面部关键点标注算法。
本申请在步骤S20和S30实施过程中采用了dilb机器视觉库中的算法,具体地,人脸检测采用了人脸检测模块来对每张图片上的人脸进行定位,获得人脸区域的位置信息。
人脸检测(Face Detector)是检测出图片中包含的正面人脸,在dilb机器视觉库中有如下人脸检测模块,比如基于HOG(Histogram of Oriented Gradients) 特征结合线性分类器、图像金字塔(image pyramid)及滑窗检测机制(sliding window detectionscheme)实现的人脸检测器,基于预训练的CNN 模型的人脸检测器。
基于CNN 模型比基于 HOG 特征模型的人脸检测准确度更高。但是需要更多的计算资源,即在GPU上运行才可有较好的运行速率。
关键点标注则采用了人脸关键点检测模块,通过该模块能够在矩形人脸区域A上估计人脸的关键点姿态(pose),分别是人脸各部位的点,如嘴角(corners of the mouth),眼睛边(corners of the mouth)等,共68对关键点。
S40:构造一个H×W的全零二维数组mask,其中,H、W分别是矩形人脸区域A的长度和宽度,将人脸的轮廓和眉毛处的27对关键点顺序进行调整,使得关键点坐标在数组mask上按逆时针顺序构成一个闭环,对于数组mask上的27对关键点和闭环内区域的元素,将填充值设置为1,然后将数组mask与矩形人脸区域A的对应坐标分别相乘得到新的矩形区域B,通过上述手段,矩形区域B能够去除人脸周围的细微背景区域。
S50:人脸预处理
如图2所示,将步骤S40中处理后的矩形区域B缩放到统一尺寸,再将缩放后的图片的RGB颜色空间转换为HSV颜色空间,并将HSV颜色空间并入到RGB颜色通道形成6通道图像,再进行归一化处理。
上述转换可以提取某些在RGB颜色空间不够显示的特征,能够明显提高最终的识别精度。
6通道图像作为步骤S60特征提取的输入,用于训练。为了适应实际场景下各种可能的非活体攻击方式,如手机高清视频翻录、打印照片、面具等情况,同时收集了不同光照、不同分辨率下的非活体样本,另外针对存在明显反光、模糊、人脸偏转角度过大的活体样本,在训练时将其视为非活体样本进行训练,这样做可以更好的提供安全。
S60:对归一化处理后的6通道图像进行特征提取,从而提取出1280维的高维特征。
S70:针对步骤S60中的高维特征,基于度量学习的思想,将高维特征进行分类,从而识别活体。
在步骤S60中,特征提取采用设计新颖的轻量级网络结构,其结合了深度可分离结构、逆残差结构和线性瓶颈层,通过深度可分离结构减少了参数量,提高了训练和推理速度,通过逆残差结构和线性瓶颈层则减少了训练过程中的信息丢失,缓解了特征退化情况,提高了特征提取能力。
度量学习具体步骤为:
首先定义提取特征的过程:
同时为了使活体样本和攻击样本在特征空间中具有更好的区分性,我们采用损失函数Triplet Loss来辅助目标函数(2)式,使得学习到的特征能明显区分出活体和攻击样本。其中损失函数为:
Triplet Loss损失函数保证任意两个活体样本之间的特征距离都要尽可能大于其中一个活体样本和任意一个攻击样本之间的特征距离。
如图4所示,本申请通过对于高维特征进行PCA(主成分分析)降维操作,将1280维的高维特征降到2维,从而明显区分出活体样本和攻击样本的特征。
本发明通过正对用户的单目摄像头采集用户的照片,而后运用深度学习技术从图片中检测到人脸区域,再通过本发明提供的方案判别照片中的人脸是否为真实活体。该方法充分考虑了应用场景中可能存在的面具、手机视频翻录、手机照片、打印高清照片等情况,实现了一种高性能的RGB活体检测方法。
Claims (5)
1.一种人脸活体检测方法,其特征在于,包括如下步骤:
实时采集视频图像,生成视频序列图像;
对视频序列图像进行人脸检测,获取人脸区域的位置信息;
根据人脸区域的位置信息在视频序列图像中截取矩形人脸区域A,然后在矩形人脸区域A上进行关键点标注;
扣除矩形人脸区域A周围的背景区域,得到新的矩形人脸区域B;
将处理后的矩形区域B缩放到统一尺寸,然后将缩放后的图片的RGB颜色空间转换为HSV颜色空间,并将HSV颜色空间并入到RGB颜色通道形成6通道图像,再进行归一化处理;
对归一化处理后的图像进行特征提取,从而提取出高维特征;
将提取出的高维特征通过度量学习进行分类,从而识别活体。
2.根据权利要求1所述的一种人脸活体检测方法,其特征在于,所述人脸检测采用dilb机器视觉库中的人脸检测模块,所述关键点标注采用dilb机器视觉库中的人脸关键点检测模块。
3.根据权利要求1所述的一种人脸活体检测方法,其特征在于,所述去除矩形人脸区域A周围的背景区域,得到新的矩形人脸区域B具体包括:
构造一个H×W的全零二维数组mask,其中,H、W分别是矩形人脸区域A的长度和宽度,将人脸的轮廓和眉毛处的关键点顺序进行调整,使得关键点坐标在数组mask上按逆时针顺序构成一个闭环,将数组mask上的关键点和闭环内区域的元素设置为1,然后将数组mask与矩形人脸区域A的对应坐标分别相乘得到新的矩形区域B。
4.根据权利要求1所述的一种人脸活体检测方法,其特征在于,所述对归一化处理后的图像进行特征提取,从而提取出高维特征具体包括:
通过深度可分离结构、逆残差结构和线性瓶颈层的轻量级网络结构进行训练,从而提取出高位特征。
5.根据权利要求4所述的一种人脸活体检测方法,其特征在于,所述将提取出的高维特征通过度量学习进行分类为:
定义提取特征的过程:
采用Triplet Loss损失函数来区分出活体和攻击样本:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011071719.6A CN112163539A (zh) | 2020-10-09 | 2020-10-09 | 一种轻量级活体检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011071719.6A CN112163539A (zh) | 2020-10-09 | 2020-10-09 | 一种轻量级活体检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112163539A true CN112163539A (zh) | 2021-01-01 |
Family
ID=73866344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011071719.6A Pending CN112163539A (zh) | 2020-10-09 | 2020-10-09 | 一种轻量级活体检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112163539A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845421A (zh) * | 2017-01-22 | 2017-06-13 | 北京飞搜科技有限公司 | 基于多区域特征与度量学习的人脸特征识别方法及系统 |
US20190034702A1 (en) * | 2017-07-26 | 2019-01-31 | Baidu Online Network Technology (Beijing) Co., Ltd. | Living body detecting method and apparatus, device and storage medium |
CN109977865A (zh) * | 2019-03-26 | 2019-07-05 | 江南大学 | 一种基于人脸颜色空间和度量分析的欺诈检测方法 |
CN111191616A (zh) * | 2020-01-02 | 2020-05-22 | 广州织点智能科技有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
-
2020
- 2020-10-09 CN CN202011071719.6A patent/CN112163539A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845421A (zh) * | 2017-01-22 | 2017-06-13 | 北京飞搜科技有限公司 | 基于多区域特征与度量学习的人脸特征识别方法及系统 |
US20190034702A1 (en) * | 2017-07-26 | 2019-01-31 | Baidu Online Network Technology (Beijing) Co., Ltd. | Living body detecting method and apparatus, device and storage medium |
CN109977865A (zh) * | 2019-03-26 | 2019-07-05 | 江南大学 | 一种基于人脸颜色空间和度量分析的欺诈检测方法 |
CN111191616A (zh) * | 2020-01-02 | 2020-05-22 | 广州织点智能科技有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102147052B1 (ko) | 얼굴 영상 기반의 감정 인식 시스템 및 방법 | |
Shao et al. | Deep convolutional dynamic texture learning with adaptive channel-discriminability for 3D mask face anti-spoofing | |
CN109472198B (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
CN109284738B (zh) | 不规则人脸矫正方法和系统 | |
EP1650711B1 (en) | Image processing device, imaging device, image processing method | |
KR101216123B1 (ko) | 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치 | |
US10943095B2 (en) | Methods and systems for matching extracted feature descriptors for enhanced face recognition | |
US9292733B2 (en) | Information processing device, information processing method, and program | |
JP2008186303A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
Baby et al. | Dynamic vision sensors for human activity recognition | |
CN111967319B (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
CN112232204B (zh) | 基于红外图像的活体检测方法 | |
CN109325472B (zh) | 一种基于深度信息的人脸活体检测方法 | |
CN108197593B (zh) | 基于三点定位方法的多尺寸人脸表情识别方法及装置 | |
CN112163539A (zh) | 一种轻量级活体检测方法 | |
CN116453230A (zh) | 活体检测方法、装置、终端设备以及存储介质 | |
CN115512417A (zh) | 面部参数确定方法、装置、电子设备及存储介质 | |
KR20040042500A (ko) | 얼굴 검출방법 및 그 장치 | |
CN112580395A (zh) | 基于深度信息的3d人脸活体识别方法、系统、设备及介质 | |
Ribeiro et al. | Access control in the wild using face verification | |
CN112016410B (zh) | 一种微表情识别方法、存储介质及系统 | |
CN109961025B (zh) | 一种基于图像偏斜度的真假脸部识别检测方法和检测系统 | |
CN107147845A (zh) | 对焦方法、装置和终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Li Xuan Inventor before: Yang Heng Inventor before: Li Xuan |
|
CB03 | Change of inventor or designer information |