CN108021892A - 一种基于极短视频的人脸活体检测方法 - Google Patents

一种基于极短视频的人脸活体检测方法 Download PDF

Info

Publication number
CN108021892A
CN108021892A CN201711275569.9A CN201711275569A CN108021892A CN 108021892 A CN108021892 A CN 108021892A CN 201711275569 A CN201711275569 A CN 201711275569A CN 108021892 A CN108021892 A CN 108021892A
Authority
CN
China
Prior art keywords
video
training
frame
face
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711275569.9A
Other languages
English (en)
Other versions
CN108021892B (zh
Inventor
马燕
赵伟
李顺宝
张玉萍
黄慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Normal University
University of Shanghai for Science and Technology
Original Assignee
Shanghai Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Normal University filed Critical Shanghai Normal University
Priority to CN201711275569.9A priority Critical patent/CN108021892B/zh
Publication of CN108021892A publication Critical patent/CN108021892A/zh
Application granted granted Critical
Publication of CN108021892B publication Critical patent/CN108021892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于极短视频人脸活体检测方法。首先，采集包括真人脸部和该真人脸部照片的训练集视频。接着，利用欧拉放大技术对真假人脸视频进行时‑空滤波处理，得到欧拉放大视频。然后，通过SIFT算法提取训练视频中各帧图像之间的SIFT特征匹配点对，再将特征匹配点对的坐标用于其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图。在测试时，采集时长1秒的待检测人脸视频并生成特征直方图。最后，将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM分类器进行真假判断。该方法只需要1秒钟的极短人脸视频，就可以进行真假判断，并不需要用户人脸部的任何动作，可以达到95％的正确识别率。

Description

一种基于极短视频的人脸活体检测方法
技术领域
本发明涉及机器学习和模式识别领域，尤其涉及一种基于极短视频的人脸活体检测方法。
背景技术
近年来，生物特征识别技术取得飞速发展，指纹识别、人脸识别、虹膜识别等身份识别技术得到非常广泛的应用。生物识别技术是根据人体的生理或生理特征来识别一个人。为确保身份验证的正确性，生物识别系统必须能够检测和识别出使用的是生物特征的副本，还是活体本身生物特征，这个通常称为“活性检测”。例如，传统的人脸识别系统在实际应用中能被轻易攻击，N.M Duc等人用一张打印的人脸照片就能通过系统认证。因此，人脸活体检测对于人脸识别系统的安全性尤其重要。
人脸识别系统主要面临着三种常见的欺骗手段：照片欺骗、视频欺骗和三维模型欺骗。国内外许多研究学者都致力于活体检测研究问题。K.Kollreider提出利用光流学方法检测人脸动态变化从而进行活体检测。这种方法所需的特征难以获取，需要用户的主动配合，而且假冒者刻意将照片弯曲变形时，估计的深度坐标会有较大的变化，同时这种判断易受到噪声和光照条件的影响，所以，该方法可靠性不强。A.K.Jain等人提出利用傅里叶频谱分析方法，定义频率动态描述子来区分活体脸和照片人脸。Jukka Maatta等人提出利用LBP特征、Gabor wavelet和HOG三种特征融合的方法来进行活体检测的判别。Diego A等人将拍摄到可见光人脸和热红外人脸进行匹配，根据两者相关性进行活体判断。Hyung-KeunJee等人在输入的连续图片序列中检测眼睛并且计算眼睛区域的运动，以判断输入人脸是活体还是翻拍照片。这些方法需要额外的设备，在普通设备上无法大力推广。
因此，本领域的技术人员致力于开发一种基于极短视频人脸活体检测方法。首先，采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒。接着，利用欧拉放大技术对真假人脸视频进行时-空滤波处理，得到欧拉放大视频。然后，通过SIFT算法提取训练视频中各帧图像之间的SIFT特征匹配点对，再将特征匹配点对的坐标用于其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图。在测试时，采集时长1秒的待检测人脸视频并生成特征直方图。最后，将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM分类器进行真假判断。实验结果表明，该方法只需要1秒钟的极短人脸视频，就可以进行真假判断，并不需要用户人脸部的任何动作，可以达到95％的正确识别率。本发明的优势在于，传统的真假人脸识别需要用户主动配合，即要求用户在一段时间下完成脸部的表情或姿态的变化才能进行真假人脸的判定，而本发明只需1秒时间且不需用户任何脸部的动作就可以进行真假人脸的识别。同时，本发明只需要一台图像拍摄装置，不需要其它额外的设备，即可完成真假人脸识别，操作过程比传统方法更为简捷方便，并能达到较高的识别率。
发明内容
由于光流学方法检测人脸的特征难以获取，需要用户的主动配合，同时容易受到噪声和光照条件的影响，可靠性不强；将可见光人脸和热红外人脸匹配的方法需要额外的设备，在普通设备上无法大力推广。为解决上述问题，本发明提出一种基于极短视频的人脸活体检测方法。包括以下步骤：
S1：采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒；
S2：对训练视频进行欧拉视频放大处理，得到欧拉放大视频；
S3：提取训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配；
S4：将训练视频帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图；
S5：采集时长1秒的待检测人脸视频并生成待检测人脸视频的特征直方图；
S6：将训练集中所有训练视频所对应训练视频的特征直方图和待检测人脸视频的特征直方图输入到SVM，输出检测结果。
进一步地，步骤S1采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒，其具体步骤为：利用视频采集装置采集真人脸部的训练视频，以及该真人脸部照片的训练视频，训练视频时长1秒，所有的训练视频构成训练集视频。
进一步地，步骤S2对训练视频进行欧拉视频放大处理，得到欧拉放大视频，其具体步骤为：对于训练集中各段训练视频，首先，用拉普拉斯金字塔对训练视频进行空间域分解；然后，经高斯滤波器对空间域分解结果进行时域滤波处理；最后，将得到的信号进行放大，得到欧拉放大视频。
进一步地，步骤S3提取训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配，其具体步骤为：利用SIFT算法提取训练视频中各帧图像的SIFT特征点，并进行SIFT特征点匹配。匹配方法是第1帧与第2帧，第3帧，…，第n帧图像分别进行特征点匹配，得到帧间匹配点对，再将第2帧和第3帧，第4帧，…，第n帧图像分别进行特征点匹配，以此类推，直到第n-1帧和第n帧进行特征点匹配。
进一步地，步骤S4将训练视频帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图，其具体步骤为：(1)假定训练视频中第1帧与第2帧共提取k对SIFT匹配点对，第1帧的k个SIFT特征点记作{s11,s12,…,s1k}，第2帧的k个SIFT特征点记作{s21,s22,…,s2k}；(2)对于经欧拉视频放大处理后的第1帧图像的红色分量I1，分别以{s11,s12,…,s1k}中的k个坐标点为中心，计算其3*3邻域的均值，从而得到k个均值{r11,r12,…,r1k}，对于经欧拉视频放大处理后的第2帧图像的红色分量I2也进行同样运算，得到k个均值{r21,r22,…,r2k}，计算第1帧与第2帧间所有匹配点对的对应均值间差值的绝对值，得到|r21-r11|，|r22-r12|，…，|r2k-r1k|，同理，计算第1帧与第3帧间所有匹配点对的对应均值间差值的绝对值，…，计算第1帧与第n帧间所有匹配点对的对应均值间差值的绝对值，…，计算将第2帧和第3帧，第4帧，…，第n帧间所有匹配点对的对应均值间差值的绝对值，以此类推，直到计算第n-1帧和第n帧间所有匹配点对的对应均值间差值的绝对值；(3)对于所有的均值差值的绝对值，按[0,0.5]，[0.5,1]，[1,1.5]，[1.5,2]，[2,4]，[4,6]，[6,8]，[8,10]，[10,12]，[12,14]，[14,16]等构成的11个区间，统计该段视频中所有的均值差值的绝对值落入这11个区间的数目，并构建归一化特征直方图。
进一步地，步骤S5采集时长1秒的待检测人脸视频并生成检测人脸视频的特征直方图，其具体步骤为：采集待检测人脸视频，视频时长1秒，按训练视频生成特征直方图的方法，生成待检测人脸视频的特征直方图。
进一步地，步骤S6将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM，输出检测结果，其具体步骤为：计算训练集中所有训练视频的特征直方图和待检测人脸视频的特征直方图，将所有的特征直方图输入到SVM，输出检测结果。
技术效果：
首先，利用欧拉放大技术对真假人脸视频进行时-空滤波处理，得到欧拉放大视频，从而增加了真假人脸视频的差别，保证了后续判断真假工作的顺利进行；其次，本发明提取各帧图像之间SIFT特征匹配点对，从而避免了因拍摄时真假人脸部晃动带来的误判；另外，传统的真假人脸判别需要用户主动配合，比如，要求用户在一段时间内有一定的脸部表情和姿态的变化，而本发明不需要用户任何脸部的动作配合就可以完成真假人脸的识别；再者，本发明只需1秒时间，也就是在一瞬间即可进行真假人脸的识别；同时，本发明只需要一台图像拍摄装置，不需要其它额外设备，即可完成真假人脸识别，操作过程简捷方便，并能达到较高的识别率。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1为本发明的一较佳实施的一种基于极短视频的人脸活体检测方法的流程图；
图2为本发明的一较佳实施的一种基于极短视频的人脸活体检测方法的欧拉视频放大算法流程图；
图3为本发明的一较佳实施的第一位试验者脸部前5帧训练视频；
图4为本发明的一较佳实施的第一位试验者脸部照片前5帧训练视频；
图5为本发明的一较佳实施的经欧拉视频放大处理后的第一位试验者脸部前5帧视频；
图6为本发明的一较佳实施的经欧拉视频放大处理后的第一位试验者脸部照片前5帧视频；
图7位为本发明的一较佳实施的第一位试验者脸部训练视频对应的特征直方图；
图8位为本发明的一较佳实施的第一位试验者脸部照片训练视频对应的特征直方图；
图9为本发明的一较佳实施的10组真人脸部训练直方图；
图10为本发明的一较佳实施的10组真人脸部照片训练直方图；
图11为本发明的一较佳实施的10组真人脸部测试直方图；
图12为本发明的一较佳实施的10组真人脸部照片测试直方图。
具体实施方式：
由于光流学方法检测人脸的特征难以获取，需要用户的主动配合，同时容易受到噪声和光照条件的影响，可靠性不强；将可见光人脸和热红外人脸匹配的方法需要额外的设备，在普通设备上无法大力推广。为解决上述问题，本发明提出一种基于极短视频的人脸活体检测方法。
本发明提供了一种基于极短视频的人脸活体检测方法，具体的实施可以遵从如下处理过程：
首先，采集包括真人脸部和该真人脸部照片的1秒内训练集视频，利用欧拉放大算法对训练视频进行时-空滤波处理，得到欧拉放大视频；然后，通过SIFT算法提取原始训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配，再将特征匹配点的坐标用于欧拉放大视频并进行相关计算，从而得到特征直方图；接着，采集时长1秒的待检测人脸视频并生成特征直方图；最后，将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM分类器，输入检测结果。实验结果表明，该方法只需要1秒钟的极短人脸视频，就可以进行活体检测，并且不需要用户人脸部的任何动作，可以达到95％的正确识别率。
如图1所示，本发明一较佳实施例的一种基于极短视频的人脸活体检测方法具体包括以下步骤：
S1：采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒；
S2：对训练视频进行欧拉视频放大处理，得到欧拉放大视频；
S3：提取训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配；
S4：将训练视频帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图；
S5：采集时长1秒的待检测人脸视频并生成特征直方图；
S6：将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM，输出检测结果。
进一步地，步骤S1采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒，其具体步骤为：利用视频采集装置采集真人脸部的训练视频，以及该真人脸部照片的训练视频，训练视频时长1秒，所有的训练视频构成训练集视频。
进一步地，步骤S2对训练视频进行欧拉视频放大处理，得到欧拉放大视频，图2为欧拉视频放大算法流程图。其具体步骤为：对于训练集中各段训练视频，首先，用拉普拉斯金字塔对训练视频进行空间域分解；然后，经高斯滤波器对空间域分解结果进行时域滤波处理；最后，将得到的信号进行放大，得到欧拉放大视频。
进一步地，步骤S3提取训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配，其具体步骤为：利用SIFT算法提取训练视频中各帧图像的SIFT特征点，并进行SIFT特征点匹配。匹配方法是第1帧与第2帧，第3帧，…，第n帧图像分别进行特征点匹配，得到帧间匹配点对，再将第2帧和第3帧，第4帧，…，第n帧图像分别进行特征点匹配，以此类推，直到第n-1帧和第n帧进行特征点匹配。
进一步地，步骤S4将训练视频帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图，其具体步骤为：第一步：假定训练视频中第1帧与第2帧共提取k对SIFT匹配点对，第1帧的k个SIFT特征点记作{s11,s12,…,s1k}，第2帧的k个SIFT特征点记作{s21,s22,…,s2k}；第二步：对于经欧拉视频放大处理后的第1帧图像的红色分量I1，分别以{s11,s12,…,s1k}中的k个坐标点为中心，计算其3*3邻域的均值，从而得到k个均值{r11,r12,…,r1k}，对于经欧拉视频放大处理后的第2帧图像的红色分量I2也进行同样运算，得到k个均值{r21,r22,…,r2k}，计算第1帧与第2帧间所有匹配点对的对应均值间差值的绝对值，得到|r21-r11|，|r22-r12|，…，|r2k-r1k|，同理，计算第1帧与第3帧间所有匹配点对的对应均值间差值的绝对值，…，计算第1帧与第n帧间所有匹配点对的对应均值间差值的绝对值，…，计算将第2帧和第3帧，第4帧，…，第n帧间所有匹配点对的对应均值间差值的绝对值，以此类推，直到计算第n-1帧和第n帧间所有匹配点对的对应均值间差值的绝对值。第三步：对于所有的均值差值的绝对值，按[0,0.5]，[0.5,1]，[1,1.5]，[1.5,2]，[2,4]，[4,6]，[6,8]，[8,10]，[10,12]，[12,14]，[14,16]等构成的11个区间，统计该段视频中所有的均值差值的绝对值落入这11个区间的数目，并构建归一化特征直方图。
进一步地，步骤S5采集时长1秒的待检测人脸视频并生成特征直方图，其具体步骤为：采集待检测人脸视频，视频时长1秒，按训练视频生成特征直方图的方法，生成待检测人脸视频的特征直方图。
进一步地，步骤S6将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM，输出检测结果，其具体步骤为：计算训练集中所有训练视频的特征直方图和待检测人脸视频的特征直方图，将所有的特征直方图输入到SVM，输出检测结果。
实施例
(1)采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒，本实验采集10名志愿者视频作为训练集视频，照片各帧分辨率为1334*750，1秒视频包括30帧图像。图3所示为取第一位试验者脸部训练视频30帧中前5帧，图4所示为取第一位试验者脸部照片训练视频30帧中前5帧。
(2)对采集到的训练视频进行欧拉视频放大处理，输出放大后的视频，欧拉视频放大算法的整个流程如图2所示。假设I(x,t)表示图像序列在t时刻时x位置的值。当图像序列发生微小平移运动δ(t)时，在t时刻观测到的图像序列x位置上的值就可以表示为I(x,t)＝f(x+δ(t))，则图像序列满足I(x,0)＝f(x)。欧拉视频放大算法的目标就是合成以下形式的输出图像信号：
其中，α是放大倍数。
假如图像序列可以用一阶泰勒级数展开式表示，则I(x,t)可以近似的表示为：
当对图像信号I(x,t)中的所有位置x进行带通滤波处理时，B(x,t)表示滤波后的信号，假设平移运动δ(t)在带通滤波器的频带内，则有：
然后对滤波后的信号进行放大，放大倍数为α，并将原始信号I(x,t)和放大后的信号相加，则有：
将公式(2)，(3)和(4)合并相加得到
假设放大后的运动(1+α)δ(t)也满足一阶泰勒级数展开式，于是将时域的带通滤波和运动放大相联系起来。处理后的输出可以写成：
由上式可以看出，原来微小的平移运动δ(t)经时域带通滤波后放大到(1+α)δ(t)，即信号幅度被放大到了(1+α)倍。
图5为经欧拉视频放大处理后的第一位试验者脸部前5帧视频，图6为经欧拉视频放大处理后的第一位试验者脸部照片前5帧视频。从图5可见，由于真人脸部分布着毛细血管，随着血压起伏，真人脸部颜色会发生人眼无法察觉的变化，经欧拉视频放大技术处理后，可以将这些细微变化放大，而假人其脸部不会具有这些细微的变化。从图6可见，即使对真人脸部照片视频进行欧拉视频放大，也不会发生较为明显的变化。
(3)提取训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配。视频经欧拉视频放大处理以后，真人视频的帧间差值比假人大，可以利用该特点进行活体检测，但由于存在这样的可能性，即，假人在1秒的视频拍摄瞬间作了某种运动，其经欧拉视频放大处理后的帧间差值也较大，从而导致误判。本发明选用SIFT算法进行图像匹配的优点在于SIFT算法对旋转、尺度缩放、亮度变化具有保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。因此，本发明利用SIFT特征匹配点对来提取经欧拉视频放大处理后的帧间差值，并构成特征直方图来进行人脸活体检测。
SIFT算法的实质可归为在不同尺度空间上查找特征点，通过高斯差分算子在高斯尺度空间上找出图像的局部极值点，然后分别利用曲线拟合和Hessian矩阵除去初始特征点中的不稳定极值点和边缘响应点，最后根据关键点邻域像素的梯度方向分布特性为每个关键点指定方向，提取对图像旋转具有不变性的特征点后，采用梯度直方图统计法确定关键点的方向，生成128维特征向量，即SIFT描述子。
在利用SIFT特征进行图像匹配时，首先分别提取两幅图像中SIFT关键点的128维描述子，再将一幅图像的128维描述子逐个取出，计算其与另一幅图像的所有128维描述子之间的欧几里德距离，从而找到最匹配的关键点对。例如，从待匹配图像1中取出关键点J1，并找出其与另一幅图像2中距离最近的关键点J2和次近的关键点J3。如果最近的距离除以次近的距离小于比例阈值(本发明取阈值为0.6)，则认为J1与J2匹配，否则两者不匹配。
本发明是利用SIFT算法提取训练视频中各帧图像的SIFT特征点，并进行SIFT特征点匹配。匹配方法是第1帧与第2帧，第3帧，…，第n帧图像分别进行特征点匹配，得到帧间匹配点对，再将第2帧和第3帧，第4帧，…，第n帧图像分别进行特征点匹配，以此类推，直到第n-1帧和第n帧进行特征点匹配。
以图3前5帧真人图像为例，首先利用SIFT算法分别得到第1帧和第2帧图像的匹配点对坐标。第1帧图像匹配点坐标：(62,476),(443,455),(443,455),(288,379),(385,428),(421,350),(463,85),(463,85),(464,213),(469,202),(465,98),(467,105),(470,130),(27,270),(49,348),(253,286),(253,286),(336,170),(336,170),(336,170),(391,460),(391,460),(427,454),(432,464),(432,464),(434,452),(440,457),(420,348),(73,378),(251,282),(300,375),(313,185),(345,185)；第2帧图像匹配点坐标：(55,476),(437,453),(437,453),(281,379),(378,427),(414,349),(449,55),(455,79),(457,211),(457,211),(459,98),(460,104),(465,145),(24,278),(43,348),(245,285),(245,285),(328,169),(328,169),(334,171),(385,458),(385,458),(423,451),(426,462),(426,462),(428,451),(435,455),(414,347),(63,373),(243,282),(294,375),(305,184),(338,184)。
在上面第1帧与第2帧的匹配点坐标中，第1帧的第1个匹配点坐标(62,476)与第2帧的第1个匹配点坐标(55,476)对应，即，第1帧的第n个匹配点坐标与第2帧的第n个匹配点坐标对应。
然后，利用SIFT算法分别得到第1帧和第3帧图像的匹配点对坐标，这里，第1帧的第n个匹配点坐标与第3帧的第n个匹配点坐标对应。第1帧图像匹配点坐标：(62,476),(443,455),(67,367),(287,379),(420,350),(462,246),(467,106),(470,130),(470,130),(472,174),(453,255),(453,255),(27,271),(27,271),(78,472),(78,472),(122,466),(122,466),(252,286),(252,286),(336,170),(336,170),(336,170),(336,170),(391,460),(391,460),(391,460),(432,465),(432,465),(441,457),(64,364),(64,364),(349,186),(349,186),(383,427),(383,427),(444,260),(444,260),(286,373),(312,185),(345,185),(307,189),(307,189),(307,189)；第3帧图像匹配点坐标：(437,453),(61,367),(281,379),(414,349),(455,244),(460,104),(465,145),(466,157),(466,173),(447,254),(447,254),(21,270),(24,278),(71,471),(71,471),(117,465),(117,465),(245,285),(245,285),(328,169),(328,169),(334,171),(334,171),(385,458),(385,458),(393,456),(426,462),(426,462),(435,455),(59,364),(59,364),(342,184),(342,184),(376,426),(376,426),(437,261),(437,261),(294,375),(305,184),(338,184),(299,188),(299,188),(299,188)。
接着，利用SIFT算法分别得到第1帧和第4帧图像的匹配点对坐标，这里，第1帧的第n个匹配点坐标与第4帧的第n个匹配点坐标对应。第1帧图像匹配点坐标：(62,476),(442,455),(442,455),(67,367),(384,428),(420,350),(464,98),(461,245),(464,98),(466,105),(469,130),(469,130),(469,130),(469,130),(453,256),(453,256),(54,477),(54,477),(252,286),(252,286),(335,170),(335,170),(335,170),(390,460),(390,460),(434,453),(432,464),(432,464),(434,453),(440,457),(64,364),(64,364),(349,186),(349,186),(443,260),(452,56),(452,56),(261,292),(261,292),(45,346),(45,346),(250,283),(250,283),(393,457),(137,194),(299,375),(312,185),(344,185),(306,189),(306,189)；第4帧图像匹配点坐标：(55,476),(437,453),(437,453),(61,367),(378,427),(414,349),(455,79),(455,244),(459,98),(460,104),(465,145),(465,145),(466,157),(466,157),(447,254),(447,254),(47,477),(47,477),(245,285),(245,285),(328,169),(328,169),(334,171),(385,458),(385,458),(423,451),(426,462),(426,462),(428,451),(435,455),(59,364),(59,364),(342,184),(342,184),(437,261),(446,54),(454,84),(255,291),(255,291),(39,346),(39,346),(243,282),(243,282),(391,454),(130,194),(294,375),(305,184),(338,184),(299,188),(299,188)。
然后，利用SIFT算法分别得到第1帧和第5帧图像的匹配点对坐标，这里，第1帧的第n个匹配点坐标与第5帧的第n个匹配点坐标对应。第1帧图像匹配点坐标：(61,477),(442,455),(383,429),(461,84),(461,84),(461,246),(462,213),(466,105),(469,130),(469,130),(469,130),(452,256),(452,256),(26,270),(26,270),(53,477),(53,477),(121,467),(121,467),(251,286),(251,286),(335,170),(335,170),(335,170),(428,454),(428,454),(431,465),(431,465),(440,457),(64,364),(64,364),(348,186),(348,186),(381,427),(381,427),(418,348),(418,348),(418,348),(443,261),(443,261),(393,457),(136,194),(261,295),(298,376),(311,185),(343,185),(239,205)；第5帧图像匹配点坐标：(55,476),(437,453),(378,427),(449,55),(455,79),(455,244),(457,211),(460,104),(465,145),(465,145),(466,157),(447,254),(447,254),(21,270),(24,278),(47,477),(47,477),(117,465),(117,465),(245,285),(245,285),(328,169),(328,169),(334,171),(423,451),(423,451),(426,462),(426,462),(435,455),(59,364),(59,364),(342,184),(342,184),(376,426),(376,426),(414,347),(414,347),(414,347),(437,261),(437,261),(391,454),(130,194),(255,294),(294,375),(305,184),(338,184),(233,202)。
以此类推，直到第n-1帧和第n帧进行特征点匹配。
(4)将训练视频帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图，其具体步骤为：
以图3第一位试验者前5帧图像为例：
第一步：通过第(2)步，我们已经得到了图3的前5帧SIFT特征点匹配后的坐标，分别对第1帧和第2帧共提取33对SIFT匹配点对，第1帧的33个SIFT特征点记作{s1,1,s1,2,...,s1,33}，第2帧的33个SIFT特征点记作{s2,1,s2,2,...,s2,33}。
第二步：对于经欧拉视频放大处理后的第1帧图像(如图5所示)的红色分量I1，其中，第1帧图像的像素值分别以{s1,1,s1,2,...,s1,33}中的33个坐标点为中心，计算其3*3邻域的均值，从而得到33个均值{r1,1,r1,2,...,r1,33}。例如，计算以s1,1坐标点为中心的3*3邻域均值，已知图1中s1,1的坐标为(62,476)，可得到如下计算公式：
同理，可以得到剩余32个均值，从而得到33个均值{r1,1,r1,2,...,r1,33}。对于经欧拉视频放大处理后的第2帧图像的红色分量I2也进行同样运算，得到33个均值{r2,1,r2,2,...,r2,33}，计算第1帧与第2帧间所有匹配点对的对应均值间差值的绝对值，得到|r2,1-r1,1|，|r2,2-r1,2|，…，|r2,33-r1,33|共33个差值绝对值，同理，计算第1帧与第3帧间所有匹配点对的对应均值间差值的绝对值，…，计算第1帧与第n帧间所有匹配点对的对应均值间差值的绝对值，…，计算将第2帧和第3帧，第4帧，…，第n帧间所有匹配点对的对应均值间差值的绝对值，以此类推，直到计算第n-1帧和第n帧间所有匹配点对的对应均值间差值的绝对值。
第三步：对于所有的均值差值的绝对值，按[0,0.5]，[0.5,1]，[1,1.5]，[1.5,2]，[2,4]，[4,6]，[6,8]，[8,10]，[10,12]，[12,14]，[14,16]等构成的11个区间，统计该段视频中所有的均值差值的绝对值落入这11个区间的数目，并构建归一化特征直方图，如图7所示。
(5)采集时长1秒的待检测人脸视频并生成特征直方图。其具体步骤为：采集待检测人脸视频，视频时长1秒，按训练视频生成特征直方图的方法，生成待检测人脸视频的特征直方图。例如，采集第一位试验者对应的脸部照片时长1秒视频，并将该视频作为待检测人脸视频，按照训练视频生成特征直方图的方法，生成该名试验者的特征直方图，如图8所示。
(6)将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM，输出检测结果，其具体步骤为：计算训练集中所有训练视频的特征直方图和待检测人脸视频的特征直方图，将所有的特征直方图输入到SVM，输出检测结果。
为进一步验证本发明方法的有效性，本实验共采集20名志愿者视频，各帧分辨率为1334*750，1秒视频包括30帧图像。每个人对应真假视频各2个，因此，我们共得到40个真假视频，由此得到40个特征直方图，其中随机选取10组真人和10组假人作为训练特征直方图，10组真人和10组假人作为测试特征直方图，如图图9-12所示。从图9-12中可以看出，真人的差值绝对值分散在不同区间，而假人的差值绝对值主要集中在[0,0.5]区间。
将40组训练与测试特征直方图输入到SVM中进行判别，最终得出实验结果，如表1所示。从表1可以看出，检测准确率达到95％。
表1检测结果
以上对本发明的具体实施进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。

Claims (8)

1.一种基于极短视频的人脸活体检测方法，其特征在于，包括以下步骤：
S1：采集包括真人脸部和该所述真人脸部照片的训练集视频，所述训练集视频中的各段训练视频时长被设置为1秒；
S2：对所述训练视频进行欧拉视频放大处理，得到欧拉放大视频；
S3：提取所述训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配；
S4：将所述训练视频的所述帧间SIFT特征匹配点对的坐标，应用到其对应的所述欧拉放大视频，并结合帧间红色分量的差值生成该段所述训练视频的特征直方图；
S5：采集时长1秒的待检测人脸视频并生成待检测人脸视频的特征直方图；
S6：将所述训练集视频中的所有训练视频所对应的所述训练视频的特征直方图和所述待检测人脸视频的特征直方图输入到SVM，输出检测结果。
2.如权利要求1所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述的采集包括真人脸部和该所述真人脸部照片的训练集视频，训练集中各段训练视频时长1秒，其具体步骤为：利用视频采集装置采集所述真人脸部的训练视频，以及该所述真人脸部照片的训练视频，所述训练视频时长被设置为1秒，所有的训练视频构成所述训练集视频。
3.如权利要求1所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述的对所述训练视频进行欧拉视频放大处理，得到欧拉放大视频，其具体步骤为：对于所述训练集中各段训练视频，首先，用拉普拉斯金字塔对训练视频进行空间域分解；然后，经高斯滤波器对所述空间域分解结果进行时域滤波处理；最后，将得到的信号进行放大，得到欧拉放大视频。
4.如权利要求1所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述的提取所述训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配，其具体步骤为：利用SIFT算法提取所述训练视频中各帧图像的SIFT特征点，并进行所述SIFT特征点匹配。
5.如权利要求4所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述SIFT特征点匹配的匹配方法具体是第1帧与第2帧，第3帧，…，第n帧图像分别进行特征点匹配，得到帧间匹配点对，再将第2帧和第3帧，第4帧，…，第n帧图像分别进行特征点匹配，以此类推，直到第n-1帧和第n帧进行特征点匹配。
6.如权利要求1所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述的将所述训练视频的所述帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图，其具体步骤为：
(1)假定训练视频中第1帧与第2帧共提取k对SIFT匹配点对，第1帧的k个SIFT特征点记作{s11,s12,…,s1k}，第2帧的k个SIFT特征点记作{s21,s22,…,s2k}；
(2)对于经欧拉视频放大处理后的第1帧图像的红色分量I1，分别以{s11,s12,…,s1k}中的k个坐标点为中心，计算其3*3邻域的均值，从而得到k个均值{r11,r12,…,r1k}，对于经欧拉视频放大处理后的第2帧图像的红色分量I2也进行同样运算，得到k个均值{r21,r22,…,r2k}，计算第1帧与第2帧间所有匹配点对的对应均值间差值的绝对值，得到|r21-r11|，|r22-r12|，…，|r2k-r1k|，同理，计算第1帧与第3帧间所有匹配点对的对应均值间差值的绝对值，…，计算第1帧与第n帧间所有匹配点对的对应均值间差值的绝对值，…，计算将第2帧和第3帧，第4帧，…，第n帧间所有匹配点对的对应均值间差值的绝对值，以此类推，直到计算第n-1帧和第n帧间所有匹配点对的对应均值间差值的绝对值；
(3)对于所有的均值差值的绝对值，按[0,0.5]，[0.5,1]，[1,1.5]，[1.5,2]，[2,4]，[4,6]，[6,8]，[8,10]，[10,12]，[12,14]，[14,16]等构成的11个区间，统计该段视频中所有的均值差值的绝对值落入这11个区间的数目，并构建归一化所述训练视频的特征直方图。
7.如权利要求1所述的一种基于极短视频的人脸活体检测方法，，其特征在于，所述的采集时长1秒的待检测人脸视频并生成待检测人脸视频的特征直方图，其具体步骤为：采集待检测人脸视频，视频时长1秒，按训练视频生成特征直方图的方法，生成所述待检测人脸视频的特征直方图。
8.如权利要求1所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述的将所述训练集中所有训练视频所对应的所述训练视频的特征直方图和所述待检测人脸视频的特征直方图输入到SVM，输出检测结果，其具体步骤为：计算所述训练集中所有的所述训练视频的特征直方图和所述待检测人脸视频的特征直方图，将所有的所述训练视频的特征直方图和所述待检测人脸视频的特征直方图输入到SVM，输出检测结果。
CN201711275569.9A 2017-12-06 2017-12-06 一种基于极短视频的人脸活体检测方法 Active CN108021892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711275569.9A CN108021892B (zh) 2017-12-06 2017-12-06 一种基于极短视频的人脸活体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711275569.9A CN108021892B (zh) 2017-12-06 2017-12-06 一种基于极短视频的人脸活体检测方法

Publications (2)

Publication Number Publication Date
CN108021892A true CN108021892A (zh) 2018-05-11
CN108021892B CN108021892B (zh) 2021-11-19

Family

ID=62078663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711275569.9A Active CN108021892B (zh) 2017-12-06 2017-12-06 一种基于极短视频的人脸活体检测方法

Country Status (1)

Country Link
CN (1) CN108021892B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815835A (zh) * 2018-12-29 2019-05-28 联动优势科技有限公司 一种交互式活体检测方法
CN109815960A (zh) * 2018-12-21 2019-05-28 深圳壹账通智能科技有限公司 基于深度学习的翻拍图像识别方法、装置、设备及介质
CN110247898A (zh) * 2019-05-23 2019-09-17 平安普惠企业管理有限公司 身份验证方法、装置、介质及电子设备
CN110674675A (zh) * 2019-08-02 2020-01-10 杭州电子科技大学 一种行人面部反欺诈方法
CN111767829A (zh) * 2020-06-28 2020-10-13 京东数字科技控股有限公司 一种活体检测方法、装置、系统及存储介质
CN112364832A (zh) * 2020-12-02 2021-02-12 华戎信息产业有限公司 一种基于欧拉影像放大的人脸识别方法和系统
CN113469085A (zh) * 2021-07-08 2021-10-01 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113842128A (zh) * 2021-09-29 2021-12-28 北京清智图灵科技有限公司 一种基于多重滤波与混合放大的非接触心率检测装置
US11443559B2 (en) 2019-08-29 2022-09-13 PXL Vision AG Facial liveness detection with a mobile device
CN117061708A (zh) * 2023-09-15 2023-11-14 威海嘉瑞光电科技股份有限公司 一种智能家居摄像头控制方法、系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593598A (zh) * 2013-11-25 2014-02-19 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
CN104933414A (zh) * 2015-06-23 2015-09-23 中山大学 一种基于wld-top的活体人脸检测方法
CN105426815A (zh) * 2015-10-29 2016-03-23 北京汉王智远科技有限公司 活体检测方法及装置
CN107194367A (zh) * 2017-06-07 2017-09-22 重庆科技学院 手指静脉识别过程中的活体检测方法
CN107316029A (zh) * 2017-07-03 2017-11-03 腾讯科技（深圳）有限公司 一种活体验证方法及设备
CN107392187A (zh) * 2017-08-30 2017-11-24 西安建筑科技大学 一种基于梯度方向直方图的人脸活体检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593598A (zh) * 2013-11-25 2014-02-19 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
CN104933414A (zh) * 2015-06-23 2015-09-23 中山大学 一种基于wld-top的活体人脸检测方法
CN105426815A (zh) * 2015-10-29 2016-03-23 北京汉王智远科技有限公司 活体检测方法及装置
CN107194367A (zh) * 2017-06-07 2017-09-22 重庆科技学院 手指静脉识别过程中的活体检测方法
CN107316029A (zh) * 2017-07-03 2017-11-03 腾讯科技（深圳）有限公司 一种活体验证方法及设备
CN107392187A (zh) * 2017-08-30 2017-11-24 西安建筑科技大学 一种基于梯度方向直方图的人脸活体检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAO-YU WU 等: "Eulerian Video Magnification for Revealing Subtle Changes in the World", 《ACM TRANSACTIONS ON GRAPHICS》 *
孔月萍 等: "基于梯度方向直方图的人脸活体检测方法", 《CNKI》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815960A (zh) * 2018-12-21 2019-05-28 深圳壹账通智能科技有限公司 基于深度学习的翻拍图像识别方法、装置、设备及介质
CN109815835A (zh) * 2018-12-29 2019-05-28 联动优势科技有限公司 一种交互式活体检测方法
CN110247898B (zh) * 2019-05-23 2021-11-19 平安普惠企业管理有限公司 身份验证方法、装置、介质及电子设备
CN110247898A (zh) * 2019-05-23 2019-09-17 平安普惠企业管理有限公司 身份验证方法、装置、介质及电子设备
CN110674675A (zh) * 2019-08-02 2020-01-10 杭州电子科技大学 一种行人面部反欺诈方法
US11443559B2 (en) 2019-08-29 2022-09-13 PXL Vision AG Facial liveness detection with a mobile device
US11669607B2 (en) 2019-08-29 2023-06-06 PXL Vision AG ID verification with a mobile device
CN111767829A (zh) * 2020-06-28 2020-10-13 京东数字科技控股有限公司 一种活体检测方法、装置、系统及存储介质
CN111767829B (zh) * 2020-06-28 2023-11-07 京东科技控股股份有限公司 一种活体检测方法、装置、系统及存储介质
CN112364832A (zh) * 2020-12-02 2021-02-12 华戎信息产业有限公司 一种基于欧拉影像放大的人脸识别方法和系统
CN113469085A (zh) * 2021-07-08 2021-10-01 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113469085B (zh) * 2021-07-08 2023-08-04 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113842128A (zh) * 2021-09-29 2021-12-28 北京清智图灵科技有限公司 一种基于多重滤波与混合放大的非接触心率检测装置
CN113842128B (zh) * 2021-09-29 2023-09-26 北京清智图灵科技有限公司 一种基于多重滤波与混合放大的非接触心率检测装置
CN117061708A (zh) * 2023-09-15 2023-11-14 威海嘉瑞光电科技股份有限公司 一种智能家居摄像头控制方法、系统

Also Published As

Publication number Publication date
CN108021892B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN108021892A (zh) 一种基于极短视频的人脸活体检测方法
Liu et al. Learning deep models for face anti-spoofing: Binary or auxiliary supervision
Li et al. Generalized face anti-spoofing by detecting pulse from face videos
Lin et al. Face liveness detection by rppg features and contextual patch-based cnn
Shao et al. Deep convolutional dynamic texture learning with adaptive channel-discriminability for 3D mask face anti-spoofing
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
Huang et al. Hand-dorsa vein recognition by matching local features of multisource keypoints
CN107392187B (zh) 一种基于梯度方向直方图的人脸活体检测方法
CN104361326A (zh) 一种判别活体人脸的方法
CN108446690B (zh) 一种基于多视角动态特征的人脸活体检测方法
CN111931758A (zh) 一种结合面部静脉的人脸识别方法及装置
CN109255319A (zh) 针对静态照片的人脸识别支付信息防伪方法
Reddy et al. Ocularnet: deep patch-based ocular biometric recognition
CN105574509A (zh) 一种基于光照的人脸识别系统回放攻击检测方法及应用
Raghavendra et al. Hand dorsal vein recognition: Sensor, algorithms and evaluation
CN112396011A (zh) 一种基于视频图像心率检测及活体检测的人脸识别系统
Das et al. A framework for liveness detection for direct attacks in the visible spectrum for multimodal ocular biometrics
Nikitin et al. Face anti-spoofing with joint spoofing medium detection and eye blinking analysis
Jingade et al. DOG-ADTCP: A new feature descriptor for protection of face identification system
Taha et al. Iris features extraction and recognition based on the local binary pattern technique
CN107153807A (zh) 一种二维主成分分析的非贪婪人脸识别方法
Wasnik et al. Improved fingerphoto verification system using multi-scale second order local structures
CN112861588A (zh) 一种活体检测的方法、装置
Chugh et al. Fingerprint spoof detection: Temporal analysis of image sequence
CN115953822A (zh) 一种基于rPPG生理信号的人脸视频鉴伪方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant