CN111523344A - 人体活体检测系统及方法 - Google Patents

Abstract

本发明揭示了一种人体活体检测系统及方法，所述人体活体检测系统包括视频帧图像获取模块、人脸检测模块、人脸特征点检测模块、皮肤区域检测模块、颜色规律统计模块、频谱曲线分析模块、判断模块；人脸特征点检测模块用以对检测到的每个人脸检测其设定部位的特征点；皮肤区域检测模块用以从人脸区域中排除人脸的设定部位，得到皮肤所在区域；颜色规律统计模块用以统计皮肤区域的颜色规律；频谱曲线分析模块用以对一段时间内的多帧图像中肤色区域的特征值，这些特征构成频谱曲线；判断模块用以根据频谱曲线的特征来判断人体是否活体。本发明可有效判断视频中的人脸是否为活体，有效防御盗取他人照片、屏幕二次翻拍、佩戴面具等作弊攻击。

Description

人体活体检测系统及方法

技术领域

本发明属于人脸检测技术领域，尤其涉及一种人体活体检测系统。

背景技术

现有人脸活体检测技术准确率较低，难以克服各种攻击手段。

活体检测是远程人脸认证的关键技术，是保证人脸认证结果安全可信的重要手段。活体检测目的即正确区分真实人脸和攻击人脸，其中攻击人脸包括人脸照片攻击、人脸视屏回放攻击、3D人脸面具攻击等多种攻击手段。一些专利列举如下：

(1)根据真人图像是一次成像的原理，其比照片包含更多的中频细节信息，专利[1](李冀，石燕，谭晓阳.一种应用于人脸识别的活体检测方法及系统:中国,101999900.2013-04-17.)首先采用DoG滤波器获取图像信息中的中频带信息，然后通过傅里叶变换提取关键特征，最后通过logistic回归分类器对提取和处理后的特征信息辨析和分类，已达到所识别的图像为真实人脸还是照片人脸的目的。优点：不添加额外的复制设备、不需要用户的主动配合、实现简单、计算量小且功能独立；缺点：采集的正反样本要全面，只针对照片。

(2)专利[2](秦华标，钟启标.基于亮瞳效应的人脸活体检测方法：中国,103106397.2013-05-15.)是通过检测人脸的眼睛区域是否存在亮瞳效应来区分真实人脸和照片视频中的人脸。亮瞳效应的判断是利用亮暗瞳差分图像的眼睛区域是否存在圆形亮斑而定。另外，采集亮瞳图像所涉及的设备包括红外摄像头和由LED灯做成的红外光源。优点：照片和视频都可以，使可靠性增加；缺点：需额外的设备。

(3)专利[3](毋立芳，曹瑜，叶澄灿等.一种基于灰度共生矩阵和小波分析的活体人脸检测方法：中国,103605958.2014-02-26.)利用共生矩阵和小波分析进行活体人脸检测。该方案将人脸区域的灰度图像首先进行16级灰度压缩，之后分别计算4个灰度共生矩阵(取矩阵为1，角度分别为0°、45°、90°、135°)，然后在灰度共生矩阵的基础上再提取能量、熵、惯性矩和相关性四个纹理特征量，再次分别对四个灰度共生矩阵的4个纹理特征量求均值和方差；同时对原始图像利用Haar小波基进行二级分解，提取子带HH1，HH2的系数矩阵后求均值和方差；最后将所有的特征值作为待检测样本送入训练后的支持向量机中进行检测，分类识别真实和假冒人脸图像。优点：不需添加额外的辅助设备、不需要用户降低了计算复杂度，提高了检测准确率；缺点：只针对照片欺骗。

(4)专利[4](严迪群，王让定，刘华成等.一种基于HSV颜色空间特征的活体人脸检测方法：中国,103116763.2013-05-22.)是一种基于HSV颜色空间统计特征的人脸活体检测方法，该方案将人脸图像从RGB颜色空间转换到YCrCb；然后进行预处理(肤色分割处理、去噪处理、数学形态学处理和标定连通区域边界处理)后获取人脸矩形区域的坐标；再对待检测的人脸图像分图像块，并获取待检测的人脸图像中的左右图像块的三个颜色分量的特征值；最后将归一化的特征值作为待检测样本送入训练好的支持向量中进行检测，确定包含人脸的图像是否为活体真实人脸图像。优点：不需添加额外的辅助设备和用户的主动配合，降低了人脸认证系统延时和计算复杂度，提高了检测准确率；缺点：只针对照片欺骗，阈值的设置为经验值。

(5)专利[5](傅常顺，杨文涛，徐明亮等.一种判别活体人脸的方法：中国,104361326.2014-02-18.)使用的活体识别方法为通过摄像头在一定时间内拍摄多张人脸照片，预处理后提取每张照片的面部本特征信息，将先后得到的面部特征信息进行对比分析获取特征相似度，设置合理阈值，若相似度在阈值范围内，则认为有微表情产生，识别为活体，否则为非活体。优点：不需要人脸部做大量的表情配合动作；缺点：只针对照片欺骗。

(6)专利[6](陈远浩.一种基于姿态信息的活体检测方法：中国,104794465.2015-07-22.)主要基于人脸3D模型对所述人脸形状进行归一化处理，并获得所述人脸形状相对于人脸3D模型的旋转角度，将连续多帧图像的旋转角度连成一条曲线，判断该曲线是否满足设定要求，若满足，判断角度最大的一帧图像中人脸肤色区域面积比例是否大于K，若是，则判断为真实人脸，否则为虚假人脸。优点：误报率降低，速度快，用户体验好；缺点：需较大的计算时间和空间开销。

(7)专利[7](潘纲，吴朝晖，孙霖.基于背景比对的视频和活体人脸的鉴别方法：中国,101702198.2011-11-23.)公开一种基于背景比对的视频和活体人脸的鉴别方法。首先对输入视频的每一帧图像进行人脸位置检测，很据检测出的人脸位置确定背景比对区域；然后选取输入视频中和背景比对区域在尺度空间上的极致点作为背景比对区域的特征点，得到背景特征点集Pt；再用Gabor小波变换描述图像I在背景特征点集Pt的特征，根据此结果定义活体度量L；如果活体度量L大于阈值θ，判断为活体，否则视为假冒视频。优点：解决仅通过单个摄像头进行视频人脸和活体人脸的计算机自动鉴别问题，不需用户配合，实时性较好；缺点：只针对视频欺骗。

(8)专利[8](徐勇，文嘉俊，徐佳杰等.一种活体检测功能的双模态人脸认证方法和系统：中国,101964056.2012-06-27.)提供了一种具有活体检测功能的双模态人脸认证方法。首先建立存储有已知身份人脸的可见光训练图像和近红外外训练图像的数据库；然后通过图像采集模块同时采集待认证人头部的可见光图像和近红外图像；采用人的脸部的人脸近红外图像与人脸可见光图像双模态特征的联合识别。优点：提高了识别认证精度，有效避免人脸存在较大变化情况下识别失败的问题，避免照片或者模型欺骗；缺点：需红外设备。

(9)为更好地防止活体检测中的照片和视频剪辑方式等欺诈行为，专利[9](王先基，陈友斌.一种活体人脸检测方法与系统：中国,103440479.2013-12-11.)不同之处在于，用户并不知道系统发出何种指令，要求用户做出何种动作，而且用户实现也并不知晓系统要求的动作完成次数。原因在于，预先定义了一个动作集(包括眨眼、扬眉、闭眼、瞪眼、微笑等)，用户在进行活体检测时，系统每次都从动作集中选择一种或若干种动作，随机指定完成动作的次数，要求用户在规定的时间内完成它们。优点：更好地防止活体检测中的照片和视频剪辑方式等欺骗行为，活性检测的可靠性和安全性更高；缺点：需用户主动配合，容易受外部环境影响。

(10)专利[10](丁晓青，王丽婷，方驰等.一种基于人脸生理性运动的活体检测方法及系统：中国,101159016.2008-04-09.)主要利用人脸面部运动和生理性运动来判断是照片还是真实人脸。人脸检测结果框内的人脸面部运动是在眼睛和嘴附近进行判断，依据运动区域中心坐标和人脸的眼睛的位置坐标之间，以及和嘴的位置坐标之间的欧式距离是否小于预定阈值。确定人脸生理性运动是根据运动区域内的运动方向为垂直方向的原理。优点：可靠性提高；缺点：只针对照片欺骗。

(11)专利[11](马争鸣，李静，刘金葵等.一种在人脸识别中应用的活体检测方法：中国,101908140.2010-12-08.)根据光流场对物体运动比较敏感，而真实人脸的眼部在姿势校正和眨眼过程中又比照片产生更大的光流，利用LK算法计算输入视频序列中相邻两帧的光流场，求得光流幅值，得到幅值较大的像素点数所占的比重，若比例足够大则标定为眼部发生了运动，从而判定为真实人脸。优点：系统的隐蔽性和安全性增强。缺点：只针对照片欺骗。

(12)专利[12](黄磊，任智杰.一种人脸活体检测方法及系统：中国,103679118.2014-03-26.)也是定位眼睛和嘴巴区域。根据采集的图片帧数(包含面部中眼睛和嘴巴等关键点)和特征平均差异值(由采集的两帧图片对应的特征值的加权欧式距离获得)的计算次数与预设值的比较，以及平均差异值与阈值的比较来判定是否为真实人脸。优点：解决了采用三维深度信息进行人脸活体检测时，计算量大的问题，以及应用场景约束的情况。

(13)专利[13](彭飞.一种活体人脸的快速识别方法：中国,103400122.2013-11-20.)公开一种活体人脸的快速识别方法，其方案为：首先输入连续的人脸图像(若相邻两幅人脸图像不为同一状态则予以丢弃，重新多幅连续的人脸图像)，对每幅人脸图像确定瞳孔位置并裁出人眼区域；然后通过支持向量机训练方法和AdaBoost训练方法对睁眼和闭眼样本进行训练，最后判断眼珠睁闭状态，若存在眨眼过程则通过活体判别。优点：有效拒绝非真实人脸欺骗识别，计算速度提高，不受应用场景的约束；缺点：需用户主动配合。

(14)专利[14](陈元浩.一种基于相对属性的活体检测方法：中国,104794464.2015-07-22.)通过判断连续多帧图像中所获的眼睛或嘴巴区域的属性变化值(上眼皮的距离变化值或上下嘴唇间的距离变化值)的规律是否符合真实人脸的变化规律，若是，则判断为真实人脸，否则为虚假人脸。所采用的技术核心：将当前帧与前t帧的眼睛或嘴巴区域合并成一张图，采用基于深度学习的回归方法输出两帧图像中属性变化值，重复该步骤直至获得每帧图像的属性变化值；将所有属性变化值按帧时间顺序组成一向量，对各向量的长度进行设定，然后利用SVM分类器对所述向量进行分类，再判断分类结果是否满足设定动作下的真实人脸的变化规律。优点：检测精度高、速度快，针对照片和视频欺骗；缺点：需用户主动配合。

(15)专利[15](吴朝晖，潘纲，孙霖.照片人脸与活体人脸的计算机自动鉴别方法：中国,100592322.2010-02-24.)是通过眨眼动作进行活体检测。首先对人脸检测与眼睛定位；然后眼部区域截取，从归一化处理后的图像中图像中计算眼睛的开合程度；运用条件随机场理论建立用于判断眨眼动作的模型。优点：可仅通过单个摄像头进行鉴别；缺点：需用户主动配合，只针对照片欺骗。

有鉴于此，如今迫切需要设计一种人体活体检测方式，以便克服现有检测方式存在的上述缺陷。

发明内容

本发明提供一种人体活体检测系统及方法，可有效判断视频中的人脸是否为活体，有效防御盗取他人照片、屏幕二次翻拍、佩戴面具等作弊攻击。

为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：

一种人体活体检测系统，所述人体活体检测系统包括：

视频帧图像获取模块，用以获取视频的每一帧图像；

人脸检测模块，用以检测所述视频帧图像获取模块获取图像中的人脸区域；

所述人脸检测模块调用至少一种人脸检测模型，遍历所述视频帧图像获取模块获取图像的每个区域；针对各个人脸检测模型计算每个人脸区域的置信度；针对各个人脸检测模型检测的人脸区域置信度，进行多个置信度的加权平均，如置信度的加权平均值超过设定阈值0.95，则判定该区域为人脸；记录所有的人脸位置；

人脸特征点检测模块，用以对每个人脸检测其特征点，包括眼睛部位、嘴唇部位、眉毛部位；

所述人脸特征点检测模块综合调用随机森林回归等人脸特征点检测模型，遍历每个人脸；所述人脸特征点检测模型会计算每个人脸的68个特征点，并返回置信度；每个特征点的置信度加权平均，如超过设定阈值0.95，则该点为正确的特征点；

皮肤区域检测模块，用以根据所述人脸检测单元获取的人脸区域，以及人脸特征点检测单元检测到的人脸特征点，从人脸区域中排除眼睛部位、嘴唇部位、眉毛部位，得到皮肤所在区域；

颜色规律统计模块，用以统计皮肤区域的颜色规律；

设肤色区域所有的像素点为N,所有的灰度级为L，像素(x,y)处的颜色值是I(x,y)；

所述颜色规律统计模块包括均值滤波单元、直方图均衡化单元、皮肤区域像素点遍历单元；

所述值滤波单元用以对图像进行均值滤波，消去图像的噪声：

即像素(x,y)处的颜色值是其相邻9个位置颜色值的中间值median value；

所述直方图均衡化单元用以对图像进行直方图均衡化；统计原始图像各灰度级的像素数目n_i,0≤i<L,L是图像中所有的灰度数；图像中灰度为i的像素的出现概率是:p_i＝p(x＝i)＝n_i/N,p_i实际上是像素值为i的图像的直方图；计算p_i的累积分布函数

均衡化处理,设cdf_min为累积分布函数最小值，则：

其中，h(x,y)为变换后每个像素的颜色值；

所述皮肤区域像素点遍历单元用以遍历皮肤区域的每个像素点，统计其颜色规律，并求其加权平均，得到肤色的特征值，即每一帧的特征ρ定义如下：ρ＝∑_(x,y)h(x,y)ω(x,y)；其中，ω(x,y)是加权系数，不同的加权系数得到不同的特征；

频谱曲线分析模块，用以对一段时间内的多帧图像得到肤色区域的特征值，这些特征值随时间变化，构成一条曲线x(t)＝{x₁,x₂,…}；将对应的曲线进行降噪处理、平滑处理，进行快速傅里叶变换，得到频谱曲线X(k)；

其中，

k的取值范围为{0,1,…,N-1}；

遍历曲线中的每个点X(k)，如曲线中的某点的值要高于两侧相邻的点，则该点为波峰，peak＝{X_i|X_i>X_i-1；X_i>X_i+1}；遍历曲线中的每个点X(k)，如曲线中的某点的值要低于两侧相邻的点，则该点为波谷，valley＝{X_i|X_i<X_i-1；X_i<X_i+1}；

判断模块，用以根据频谱曲线的特征来判断人体是否活体；计算设定时间内频谱曲线中的波峰数量N_peak或波谷数量N_valley；其中，N_peak即频谱曲线X(k)中peak的数量，N_valley即频谱曲线X(k)中peak的数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断为非活体。

一种人体活体检测系统，所述人体活体检测系统包括：

视频帧图像获取模块，用以获取视频的每一帧图像；

人脸检测模块，用以检测所述视频帧图像获取模块获取图像中的人脸区域；

人脸特征点检测模块，用以对所述人脸检测模块检测到的每个人脸检测其设定部位的特征点；

皮肤区域检测模块，用以根据所述人脸检测模块获取的人脸区域，以及人脸特征点检测模块检测到的人脸特征点，从人脸区域中排除人脸的设定部位，得到皮肤所在区域；

颜色规律统计模块，用以统计所述皮肤区域检测模块得到的皮肤区域的颜色规律；

频谱曲线分析模块，用以对一段时间内的多帧图像中肤色区域的特征值，这些特征构成频谱曲线；获取频谱曲线中的波峰或/和波谷；

判断模块，用以根据频谱曲线的特征来判断人体是否活体；计算设定时间内频谱曲线中的波峰数量或波谷数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断视频里的人为非活体。

作为本发明的一种实施方式，所述人脸检测模块调用至少一种人脸检测模型，遍历所述视频帧图像获取模块获取图像的每个区域；针对各个人脸检测模型计算每个人脸区域的置信度；针对各个人脸检测模型检测的人脸区域置信度，进行多个置信度的加权平均，如置信度的加权平均值超过设定阈值，则判定该区域为人脸；记录所有的人脸位置；

所述人脸特征点检测模块综合调用人脸特征点检测模型，遍历每个人脸；所述人脸特征点检测模型会计算每个人脸的设定个数的特征点，并返回置信度；每个特征点的置信度加权平均，如超过设定阈值，则该点为正确的特征点。

作为本发明的一种实施方式，设肤色区域所有的像素点为N,所有的灰度级为L，像素(x,y)处的颜色值是I(x,y)；

所述颜色规律统计模块包括均值滤波单元、直方图均衡化单元、皮肤区域像素点遍历单元；

所述值滤波单元用以对图像进行均值滤波，消去图像的噪声：

即像素(x,y)处的颜色值是其相邻9个位置颜色值的中间值median value；

所述直方图均衡化单元用以对图像进行直方图均衡化；统计原始图像各灰度级的像素数目n_i,0≤i<L,L是图像中所有的灰度数；图像中灰度为i的像素的出现概率是:p_i＝p(x＝i)＝n_i/N,p_i实际上是像素值为i的图像的直方图；计算p_i的累积分布函数

均衡化处理,设cdf_min为累积分布函数最小值，则：

其中，h(x,y)为变换后每个像素的颜色值；

所述皮肤区域像素点遍历单元用以遍历皮肤区域的每个像素点，统计其颜色规律，并求其加权平均，得到肤色的特征值，即每一帧的特征ρ定义如下：ρ＝∑_(x,y)h(x,y)ω(x,y)；其中，ω(x,y)是加权系数，不同的加权系数得到不同的特征。

作为本发明的一种实施方式，所述频谱曲线分析模块用以对一段时间内的多帧图像得到肤色区域的特征值，这些特征值随时间变化，构成一条曲线x(t)＝{x₁,x₂,…}；将对应的曲线进行降噪处理、平滑处理，进行快速傅里叶变换，得到频谱曲线X(k)；

其中，

k的取值范围为{0,1,…,N-1}；

遍历曲线中的每个点X(k)，如曲线中的某点的值要高于两侧相邻的点，则该点为波峰，peak＝{X_i|X_i>X_i-1；X_i>X_i+1}；遍历曲线中的每个点X(k)，如曲线中的某点的值要低于两侧相邻的点，则该点为波谷，valley＝{X_i|X_i<X_i-1；X_i<X_i+1}；

作为本发明的一种实施方式，所述判断模块用以计算设定时间内频谱曲线中的波峰数量N_peak或波谷数量N_valley；其中，N_peak即频谱曲线X(k)中peak的数量，N_valley即频谱曲线X(k)中peak的数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断为非活体。

一种人体活体检测方法，所述人体活体检测方法包括：

视频帧图像获取步骤，获取视频的每一帧图像；

人脸检测模块步骤，检测所述视频帧图像获取步骤获取图像中的人脸区域；

人脸特征点检测步骤，对所述人脸检测步骤检测到的每个人脸检测其设定部位的特征点；

皮肤区域检测步骤，根据所述人脸检测单元步骤的人脸区域，以及人脸特征点检测步骤检测到的人脸特征点，从人脸区域中排除人脸的设定部位，得到皮肤所在区域；

颜色规律统计步骤，统计所述皮肤区域检测步骤得到的皮肤区域的颜色规律；

频谱曲线分析步骤，对一段时间内的多帧图像中肤色区域的特征值，这些特征构成频谱曲线；获取频谱曲线中的波峰或/和波谷；

判断步骤，根据频谱曲线的特征来判断人体是否活体；计算设定时间内频谱曲线中的波峰数量或波谷数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断视频里的人为非活体。

作为本发明的一种实施方式，所述人脸检测步骤中，调用至少一种人脸检测模型，遍历所述视频帧图像获取模块获取图像的每个区域；针对各个人脸检测模型计算每个人脸区域的置信度；针对各个人脸检测模型检测的人脸区域置信度，进行多个置信度的加权平均，如置信度的加权平均值超过设定阈值，则判定该区域为人脸；记录所有的人脸位置；

所述人脸特征点检测步骤中，综合调用人脸特征点检测模型，遍历每个人脸；所述人脸特征点检测模型会计算每个人脸的设定个数的特征点，并返回置信度；每个特征点的置信度加权平均，如超过设定阈值，则该点为正确的特征点。

作为本发明的一种实施方式，设肤色区域所有的像素点为N,所有的灰度级为L，像素(x,y)处的颜色值是I(x,y)；

所述颜色规律统计步骤包括均值滤波步骤、直方图均衡化步骤、皮肤区域像素点遍历步骤；

所述值滤波步骤中，对图像进行均值滤波，消去图像的噪声：

即像素(x,y)处的颜色值是其相邻9个位置颜色值的中间值median value；

所述直方图均衡化步骤中，对图像进行直方图均衡化；统计原始图像各灰度级的像素数目n_i,0≤i<L,L是图像中所有的灰度数；图像中灰度为i的像素的出现概率是:p_i＝p(x＝i)＝n_i/N,p_i实际上是像素值为i的图像的直方图；计算p_i的累积分布函数

均衡化处理,设cdf_min为累积分布函数最小值，则：

其中，h(x,y)为变换后每个像素的颜色值；

所述皮肤区域像素点遍历步骤中，遍历皮肤区域的每个像素点，统计其颜色规律，并求其加权平均，得到肤色的特征值，即每一帧的特征ρ定义如下：ρ＝∑_(x,y)h(x,y)ω(x,y)；其中，ω(x,y)是加权系数，不同的加权系数得到不同的特征。

作为本发明的一种实施方式，所述频谱曲线分析步骤中，对一段时间内的多帧图像得到肤色区域的特征值，这些特征值随时间变化，构成一条曲线x(t)＝{x₁,x₂,…}；将对应的曲线进行降噪处理、平滑处理，进行快速傅里叶变换，得到频谱曲线X(k)；

其中，

k的取值范围为{0,1,…,N-1}；

遍历曲线中的每个点X(k)，如曲线中的某点的值要高于两侧相邻的点，则该点为波峰，peak＝{X_i|X_i>X_i-1；X_i>X_i+1}；遍历曲线中的每个点X(k)，如曲线中的某点的值要低于两侧相邻的点，则该点为波谷，valley＝{X_i|X_i<X_i-1；X_i<X_i+1}；

本发明的有益效果在于：本发明提出的人体活体检测系统及方法，可有效判断视频中的人脸是否为活体，有效防御盗取他人照片、屏幕二次翻拍、佩戴面具等作弊攻击。本发明无需用户配合，适应性好；本发明无需额外设备，使用成本低。

附图说明

图1为本发明一实施例中人体活体检测系统的组成示意图。

图2为本发明一实施例中人体活体检测方法的流程图。

图3为本发明一实施例中视频中的4帧图像的示意图。

图4为本发明一实施例中利用本发明检测方法变换后的4帧图像的示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。

本发明揭示了一种人体活体检测系统，图1为本发明一实施例中人体活体检测系统的组成示意图，请参阅图1，在本发明的一实施例中，所述人体活体检测系统包括：视频帧图像获取模块1、人脸检测模块2、人脸特征点检测模块3、皮肤区域检测模块4、颜色规律统计模块5、频谱曲线分析模块6、判断模块7。视频帧图像获取模块1、人脸检测模块2、人脸特征点检测模块3、皮肤区域检测模块4、颜色规律统计模块5、频谱曲线分析模块6、判断模块7依次连接，人脸检测模块2还连接皮肤区域检测模块4。

视频帧图像获取模块1用以获取视频的每一帧图像；人脸检测模块2用以检测所述视频帧图像获取模块获取图像中的人脸区域；人脸特征点检测模块3用以对所述人脸检测模块检测到的每个人脸检测其设定部位的特征点。

皮肤区域检测模块4用以根据所述人脸检测模块获取的人脸区域，以及人脸特征点检测模块检测到的人脸特征点，从人脸区域中排除人脸的设定部位，得到皮肤所在区域。

颜色规律统计模块5用以统计所述皮肤区域检测模块得到的皮肤区域的颜色规律。频谱曲线分析模块6用以对一段时间内的多帧图像中肤色区域的特征值，这些特征构成频谱曲线；获取频谱曲线中的波峰或/和波谷。

判断模块7用以根据频谱曲线的特征来判断人体是否活体；计算设定时间内频谱曲线中的波峰数量或波谷数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断视频里的人为非活体。

在本发明的一实施例中，所述人脸检测模块2调用至少一种人脸检测模型(如MTCNN,YOLOv3等模型)，遍历所述视频帧图像获取模块获取图像的每个区域；针对各个人脸检测模型计算每个人脸区域的置信度；针对各个人脸检测模型检测的人脸区域置信度，进行多个置信度的加权平均，如置信度的加权平均值超过设定阈值，则判定该区域为人脸；记录所有的人脸位置。

所述人脸特征点检测模块综合调用人脸特征点检测模型(如随机森林回归等模型)，遍历每个人脸；所述人脸特征点检测模型会计算每个人脸的设定个数的特征点，并返回置信度；每个特征点的置信度加权平均，如超过设定阈值，则该点为正确的特征点。

在本发明的一实施例中，所述颜色规律统计模块包括均值滤波单元、直方图均衡化单元、皮肤区域像素点遍历单元。设肤色区域所有的像素点为N,所有的灰度级为L，像素(x,y)处的颜色值是I(x,y)。

所述值滤波单元用以对图像进行均值滤波，消去图像的噪声：

即像素(x,y)处的颜色值是其相邻9个位置颜色值的中间值median value；

所述直方图均衡化单元用以对图像进行直方图均衡化；统计原始图像各灰度级的像素数目n_i,0≤i<L,L是图像中所有的灰度数；图像中灰度为i的像素的出现概率是:p_i＝p(x＝i)＝n_i/N,p_i实际上是像素值为i的图像的直方图；计算p_i的累积分布函数

均衡化处理,设cdf_min为累积分布函数最小值，则：

其中，h(x,y)为变换后每个像素的颜色值。

所述皮肤区域像素点遍历单元用以遍历皮肤区域的每个像素点，统计其颜色规律，并求其加权平均，得到肤色的特征值，即每一帧的特征ρ定义如下：ρ＝∑_(x,y)h(x,y)ω(x,y)；其中，ω(x,y)是加权系数，不同的加权系数得到不同的特征。

在本发明的一实施例中，所述频谱曲线分析模块用以对一段时间内的多帧图像得到肤色区域的特征值，这些特征值随时间变化，构成一条曲线x(t)＝{x₁,x₂,…}；将对应的曲线进行降噪处理、平滑处理，进行快速傅里叶变换，得到频谱曲线X(k)；

其中，

k的取值范围为{0,1,…,N-1}；

遍历曲线中的每个点X(k)，如曲线中的某点的值要高于两侧相邻的点，则该点为波峰，peak＝{X_i|X_i>X_i-1；X_i>X_i+1}；遍历曲线中的每个点X(k)，如曲线中的某点的值要低于两侧相邻的点，则该点为波谷，valley＝{X_i|X_i<X_i-1；X_i<X_i+1}；

在本发明的一实施例中，所述判断模块用以计算设定时间内频谱曲线中的波峰数量N_peak或波谷数量N_valley；其中，N_peak即频谱曲线X(k)中peak的数量，N_valley即频谱曲线X(k)中peak的数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断为非活体。

本发明揭示一种人体活体检测方法，所述人体活体检测方法包括：

【步骤S1】视频帧图像获取步骤，获取视频的每一帧图像；

【步骤S2】人脸检测模块步骤，检测所述视频帧图像获取步骤获取图像中的人脸区域；

【步骤S3】人脸特征点检测步骤，对所述人脸检测步骤检测到的每个人脸检测其设定部位的特征点；

【步骤S4】皮肤区域检测步骤，根据所述人脸检测单元步骤的人脸区域，以及人脸特征点检测步骤检测到的人脸特征点，从人脸区域中排除人脸的设定部位，得到皮肤所在区域；

【步骤S5】颜色规律统计步骤，统计所述皮肤区域检测步骤得到的皮肤区域的颜色规律；

【步骤S6】频谱曲线分析步骤，对一段时间内的多帧图像中肤色区域的特征值，这些特征构成频谱曲线；获取频谱曲线中的波峰或/和波谷；

【步骤S7】判断步骤，根据频谱曲线的特征来判断人体是否活体；计算设定时间内频谱曲线中的波峰数量或波谷数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断视频里的人为非活体。

在本发明的一实施例中，所述人脸检测步骤中，调用至少一种人脸检测模型，遍历所述视频帧图像获取模块获取图像的每个区域；针对各个人脸检测模型计算每个人脸区域的置信度；针对各个人脸检测模型检测的人脸区域置信度，进行多个置信度的加权平均，如置信度的加权平均值超过设定阈值，则判定该区域为人脸；记录所有的人脸位置；

所述人脸特征点检测步骤中，综合调用人脸特征点检测模型，遍历每个人脸；所述人脸特征点检测模型会计算每个人脸的设定个数的特征点，并返回置信度；每个特征点的置信度加权平均，如超过设定阈值，则该点为正确的特征点。

在本发明的一实施例中，设肤色区域所有的像素点为N,所有的灰度级为L，像素(x,y)处的颜色值是I(x,y)；对皮肤所在区域进行如下处理：

所述颜色规律统计步骤包括均值滤波步骤、直方图均衡化步骤、皮肤区域像素点遍历步骤；

所述值滤波步骤中，对图像进行均值滤波，消去图像的噪声：

即像素(x,y)处的颜色值是其相邻9个位置颜色值的中间值median value；

所述直方图均衡化步骤中，对图像进行直方图均衡化；统计原始图像各灰度级的像素数目n_i,0≤i<L,L是图像中所有的灰度数；图像中灰度为i的像素的出现概率是:p_i＝p(x＝i)＝n_i/N,p_i实际上是像素值为i的图像的直方图；计算p_i的累积分布函数

均衡化处理,设cdf_min为累积分布函数最小值，则：

其中，h(x,y)为变换后每个像素的颜色值。

所述皮肤区域像素点遍历步骤中，遍历皮肤区域的每个像素点，统计其颜色规律，并求其加权平均，得到肤色的特征值，即每一帧的特征ρ定义如下：ρ＝∑_(x,y)h(x,y)ω(x,y)；其中，ω(x,y)是加权系数，不同的加权系数得到不同的特征。

在本发明的一实施例中，所述频谱曲线分析步骤中，对一段时间内的多帧图像得到肤色区域的特征值，这些特征值随时间变化，构成一条曲线x(t)＝{x₁,x₂,…}；将对应的曲线进行降噪处理、平滑处理，进行快速傅里叶变换，得到频谱曲线X(k)；

其中，

k的取值范围为{0,1,…,N-1}；

遍历曲线中的每个点X(k)，如曲线中的某点的值要高于两侧相邻的点，则该点为波峰，peak＝{X_i|X_i>X_i-1；X_i>X_i+1}；遍历曲线中的每个点X(k)，如曲线中的某点的值要低于两侧相邻的点，则该点为波谷，valley＝{X_i|X_i<X_i-1；X_i<X_i+1}；

在本发明的一实施例中，所述判断步骤中，计算设定时间内频谱曲线中的波峰数量N_peak或波谷数量N_valley；其中，N_peak即频谱曲线X(k)中peak的数量，N_valley即频谱曲线X(k)中peak的数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断为非活体。

图3为本发明一实施例中视频中的4帧图像的示意图，图4为本发明一实施例中利用本发明检测方法变换后的4帧图像的示意图；请参阅图3、图4，图3显示了视频中的4帧图像，这四张图片经过特定检测算法变换后，结果见图4。可发现人脸的肤色有周期性的规律变化，这种变化实际上对应于心跳。心脏跳动时血液会通过血管，通过血管的血液量越大，被血液吸收的光线也越多，人皮肤表面反射的光线就越少。因此，人脸皮肤的肤色会有交替的明暗变化，而且这种变化是和心跳一致的，只有真实的心跳才能导致这种现象。而采用盗取他人照片、屏幕二次翻拍、佩戴面具等拍摄视频，其中人脸的肤色始终是不变的。因此本发明方法是一种有效的活体检测方法。

综上所述，本发明提出的人体活体检测系统及方法，可有效判断视频中的人脸是否为活体，有效防御盗取他人照片、屏幕二次翻拍、佩戴面具等作弊攻击。本发明无需用户配合，适应性好；本发明无需额外设备，使用成本低。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (10)

1.一种人体活体检测系统，其特征在于，所述人体活体检测系统包括：

视频帧图像获取模块，用以获取视频的每一帧图像；

人脸检测模块，用以检测所述视频帧图像获取模块获取图像中的人脸区域；所述人脸检测模块调用至少一种人脸检测模型，遍历所述视频帧图像获取模块获取图像的每个区域；针对各个人脸检测模型计算每个人脸区域的置信度；针对各个人脸检测模型检测的人脸区域置信度，进行多个置信度的加权平均，如置信度的加权平均值超过设定阈值0.95，则判定该区域为人脸；记录所有的人脸位置；

人脸特征点检测模块，用以对每个人脸检测其特征点，包括眼睛部位、嘴唇部位、眉毛部位；所述人脸特征点检测模块综合调用至少一个人脸特征点检测模型，遍历每个人脸；所述人脸特征点检测模型会计算每个人脸的68个特征点，并返回置信度；每个特征点的置信度加权平均，如超过设定阈值0.95，则该点为正确的特征点；

皮肤区域检测模块，用以根据所述人脸检测单元获取的人脸区域，以及人脸特征点检测单元检测到的人脸特征点，从人脸区域中排除眼睛部位、嘴唇部位、眉毛部位，得到皮肤所在区域；

颜色规律统计模块，用以统计皮肤区域的颜色规律；

所述颜色规律统计模块包括均值滤波单元、直方图均衡化单元、皮肤区域像素点遍历单元；设肤色区域所有的像素点为N,所有的灰度级为L，像素(x,y)处的颜色值是I(x,y)；

所述值滤波单元用以对图像进行均值滤波，消去图像的噪声：

即像素(x,y)处的颜色值是其相邻9个位置颜色值的中间值median value；

所述直方图均衡化单元用以对图像进行直方图均衡化；统计原始图像各灰度级的像素数目n_i,0≤i<L,L是图像中所有的灰度数；图像中灰度为i的像素的出现概率是:p_i＝p(x＝i)＝n_i/N,p_i实际上是像素值为i的图像的直方图；计算p_i的累积分布函数

均衡化处理,设cdf_min为累积分布函数最小值，则：

其中，h(x,y)为变换后每个像素的颜色值；

所述皮肤区域像素点遍历单元用以遍历皮肤区域的每个像素点，统计其颜色规律，并求其加权平均，得到肤色的特征值，即每一帧的特征ρ定义如下：ρ＝∑_(x,y)h(x,y)ω(x,y)；

其中，ω(x,y)是加权系数，不同的加权系数得到不同的特征；

频谱曲线分析模块，用以对一段时间内的多帧图像得到肤色区域的特征值，这些特征值随时间变化，构成一条曲线x(t)＝{x₁,x₂,…}；其中的采样点数量为N；

将对应的曲线进行降噪处理、平滑处理，进行快速傅里叶变换，得到频谱曲线X(k)：

其中，

k的取值范围为{0,1,…,N-1}；

遍历曲线中的每个点X(k)，如曲线中的某点的值要高于两侧相邻的点，则该点为波峰，peak＝{X_i|X_i>X_i-1；X_i>X_i+1}；遍历曲线中的每个点X(k)，如曲线中的某点的值要低于两侧相邻的点，则该点为波谷，valley＝{X_i|X_i<X_i-1；X_i<X_i+1}；

判断模块，用以根据频谱曲线的特征来判断人体是否活体；计算设定时间内频谱曲线中的波峰数量N_peak或波谷数量N_valley；其中，N_peak即频谱曲线X(k)中peak的数量，N_valley即频谱曲线X(k)中peak的数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断为非活体。

2.一种人体活体检测系统，其特征在于，所述人体活体检测系统包括：

视频帧图像获取模块，用以获取视频的每一帧图像；

人脸检测模块，用以检测所述视频帧图像获取模块获取图像中的人脸区域；

人脸特征点检测模块，用以对所述人脸检测模块检测到的每个人脸检测其设定部位的特征点；

皮肤区域检测模块，用以根据所述人脸检测模块获取的人脸区域，以及人脸特征点检测模块检测到的人脸特征点，从人脸区域中排除人脸的设定部位，得到皮肤所在区域；

颜色规律统计模块，用以统计所述皮肤区域检测模块得到的皮肤区域的颜色规律；

频谱曲线分析模块，用以对一段时间内的多帧图像中肤色区域的特征值，这些特征构成频谱曲线；获取频谱曲线中的波峰或/和波谷；

判断模块，用以根据频谱曲线的特征来判断人体是否活体；计算设定时间内频谱曲线中的波峰数量或波谷数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断视频里的人为非活体。

3.根据权利要求2所述的人体活体检测系统，其特征在于：

所述人脸检测模块调用至少一种人脸检测模型，遍历所述视频帧图像获取模块获取图像的每个区域；针对各个人脸检测模型计算每个人脸区域的置信度；针对各个人脸检测模型检测的人脸区域置信度，进行多个置信度的加权平均，如置信度的加权平均值超过设定阈值，则判定该区域为人脸；记录所有的人脸位置；

所述人脸特征点检测模块综合调用人脸特征点检测模型，遍历每个人脸；所述人脸特征点检测模型会计算每个人脸的设定个数的特征点，并返回置信度；每个特征点的置信度加权平均，如超过设定阈值，则该点为正确的特征点。

4.根据权利要求2所述的人体活体检测系统，其特征在于：

所述颜色规律统计模块包括均值滤波单元、直方图均衡化单元、皮肤区域像素点遍历单元；

设肤色区域所有的像素点为N,所有的灰度级为L，像素(x,y)处的颜色值是I(x,y)；

所述值滤波单元用以对图像进行均值滤波，消去图像的噪声：

即像素(x,y)处的颜色值是其相邻9个位置颜色值的中间值median value；

所述直方图均衡化单元用以对图像进行直方图均衡化；统计原始图像各灰度级的像素数目n_i,0≤i<L,L是图像中所有的灰度数；图像中灰度为i的像素的出现概率是:p_i＝p(x＝i)＝n_i/N,p_i实际上是像素值为i的图像的直方图；计算p_i的累积分布函数

均衡化处理,设cdf_min为累积分布函数最小值，则：

其中，h(x,y)为变换后每个像素的颜色值；

所述皮肤区域像素点遍历单元用以遍历皮肤区域的每个像素点，统计其颜色规律，并求其加权平均，得到肤色的特征值，即每一帧的特征ρ定义如下：ρ＝∑_(x,y)h(x,y)ω(x,y)；其中，ω(x,y)是加权系数，不同的加权系数得到不同的特征。

5.根据权利要求2所述的人体活体检测系统，其特征在于：

所述频谱曲线分析模块用以对一段时间内的多帧图像得到肤色区域的特征值，这些特征值随时间变化，构成一条曲线x(t)＝{x₁,x₂,…}；将对应的曲线进行降噪处理、平滑处理，进行快速傅里叶变换，得到频谱曲线X(k)；

其中，

k的取值范围为{0,1,…,N-1}；

遍历曲线中的每个点X(k)，如曲线中的某点的值要高于两侧相邻的点，则该点为波峰，peak＝{X_i|X_i>X_i-1；X_i>X_i+1}；遍历曲线中的每个点X(k)，如曲线中的某点的值要低于两侧相邻的点，则该点为波谷，valley＝{X_i|X_i<X_i-1；X_i<X_i+1}。

6.根据权利要求2所述的人体活体检测系统，其特征在于：

所述判断模块用以计算设定时间内频谱曲线中的波峰数量N_peak或波谷数量N_valley；其中，N_peak即频谱曲线X(k)中peak的数量，N_valley即频谱曲线X(k)中peak的数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断为非活体。

7.一种人体活体检测方法，其特征在于，所述人体活体检测方法包括：

视频帧图像获取步骤，获取视频的每一帧图像；

人脸检测模块步骤，检测所述视频帧图像获取步骤获取图像中的人脸区域；

人脸特征点检测步骤，对所述人脸检测步骤检测到的每个人脸检测其设定部位的特征点；

皮肤区域检测步骤，根据所述人脸检测单元步骤的人脸区域，以及人脸特征点检测步骤检测到的人脸特征点，从人脸区域中排除人脸的设定部位，得到皮肤所在区域；

颜色规律统计步骤，统计所述皮肤区域检测步骤得到的皮肤区域的颜色规律；

频谱曲线分析步骤，对一段时间内的多帧图像中肤色区域的特征值，这些特征构成频谱曲线；获取频谱曲线中的波峰或/和波谷；

判断步骤，根据频谱曲线的特征来判断人体是否活体；计算设定时间内频谱曲线中的波峰数量或波谷数量；若波峰数量或波谷数量在设定阈值区间，则判断视频里的人为活体，否则判断视频里的人为非活体。

8.根据权利要求7所述的人体活体检测方法，其特征在于：

所述人脸检测步骤中，调用至少一种人脸检测模型，遍历所述视频帧图像获取模块获取图像的每个区域；针对各个人脸检测模型计算每个人脸区域的置信度；针对各个人脸检测模型检测的人脸区域置信度，进行多个置信度的加权平均，如置信度的加权平均值超过设定阈值，则判定该区域为人脸；记录所有的人脸位置；

所述人脸特征点检测步骤中，综合调用人脸特征点检测模型，遍历每个人脸；所述人脸特征点检测模型会计算每个人脸的设定个数的特征点，并返回置信度；每个特征点的置信度加权平均，如超过设定阈值，则该点为正确的特征点。

9.根据权利要求7所述的人体活体检测方法，其特征在于：

所述颜色规律统计步骤包括均值滤波步骤、直方图均衡化步骤、皮肤区域像素点遍历步骤；

设肤色区域所有的像素点为N,所有的灰度级为L，像素(x,y)处的颜色值是I(x,y)；

所述值滤波步骤中，对图像进行均值滤波，消去图像的噪声：

即像素(x,y)处的颜色值是其相邻9个位置颜色值的中间值median value；

所述直方图均衡化步骤中，对图像进行直方图均衡化；统计原始图像各灰度级的像素数目n_i,0≤i<L,L是图像中所有的灰度数；图像中灰度为i的像素的出现概率是:p_i＝p(x＝i)＝n_i/N,p_i实际上是像素值为i的图像的直方图；计算p_i的累积分布函数

均衡化处理,设cdf_min为累积分布函数最小值，则：

其中，h(x,y)为变换后每个像素的颜色值；

所述皮肤区域像素点遍历步骤中，遍历皮肤区域的每个像素点，统计其颜色规律，并求其加权平均，得到肤色的特征值，即每一帧的特征ρ定义如下：ρ＝∑_(x,y)h(x,y)ω(x,y)；其中，ω(x,y)是加权系数，不同的加权系数得到不同的特征。

10.根据权利要求7所述的人体活体检测方法，其特征在于：

所述频谱曲线分析步骤中，对一段时间内的多帧图像得到肤色区域的特征值，这些特征值随时间变化，构成一条曲线x(t)＝{x₁,x₂,…}；将对应的曲线进行降噪处理、平滑处理，进行快速傅里叶变换，得到频谱曲线X(k)；

其中，

k的取值范围为{0,1,…,N-1}；

遍历曲线中的每个点X(k)，如曲线中的某点的值要高于两侧相邻的点，则该点为波峰，peak＝{X_i|X_i>X_i-1；X_i>X_i+1}；遍历曲线中的每个点X(k)，如曲线中的某点的值要低于两侧相邻的点，则该点为波谷，valley＝{X_i|X_i<X_i-1；X_i<X_i+1}。

Images