CN106650670A - 活体人脸视频的检测方法及装置 - Google Patents

活体人脸视频的检测方法及装置 Download PDF

Info

Publication number
CN106650670A
CN106650670A CN201611227688.2A CN201611227688A CN106650670A CN 106650670 A CN106650670 A CN 106650670A CN 201611227688 A CN201611227688 A CN 201611227688A CN 106650670 A CN106650670 A CN 106650670A
Authority
CN
China
Prior art keywords
video
light stream
face
stream vectors
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611227688.2A
Other languages
English (en)
Inventor
明悦
孙娟娟
尹文泽
任振
洪明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201611227688.2A priority Critical patent/CN106650670A/zh
Publication of CN106650670A publication Critical patent/CN106650670A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种活体人脸视频的检测方法及装置。本发明的活体人脸视频的检测方法包括:获取待检测人脸视频;获取待检测人脸视频对应的第一光流向量;获取第一光流向量和各第二光流向量之间的欧式距离;其中,每个训练视频对应一个第二光流向量,第二光流向量具有标签,标签用于指示第二光流向量对应的训练视频的视频类型;根据欧式距离及第二光流向量的标签,确定待检测人脸视频的视频类型,根据待检测人脸视频的视频类型,判断待检测人脸视频中的人脸是否为活体人脸。本发明提供的活体人脸视频的检测方法及装置,不需要用户的高度配合,对用户友好,检测速度快,且对人脸视频的类型检测准确,大大减少了人脸识别系统中存在的安全隐患。

Description

活体人脸视频的检测方法及装置
技术领域
本发明涉及生物识别技术,尤其涉及一种活体人脸视频的检测方法及装置。
背景技术
随着人脸识别技术的日益成熟,越来越多的场合开始使用检测人脸完成身份的识别,例如机密场合下的门禁系统、笔记本电脑的登陆系统和移动终端的解锁系统,主要过程为,采用人脸识别系统中的视频录制设备对出现在视频录制设备下的人脸进行视频录制,然后人脸识别系统的数据处理设备根据录制的视频判断是否为符合要求的人脸。
传统的人脸识别技术存在巨大的安全隐患,它并未考虑到目标人脸的真伪,因而容易受到各种虚假人脸的攻击。攻击方式主要包括照片攻击(攻击者拿着被攻击者的照片攻击),此时人脸识别系统中的视频录制设备录制的视频为固定的人脸照片的视频;视频攻击(攻击者拿着被攻击者的一段人脸视频攻击),此时人脸识别系统中的视频录制设备录制的视频为人脸视频的视频;面具攻击(攻击者带着和被攻击者很像的面具),此时人脸识别系统中的视频录制设备录制的视频为人脸面具的视频。为了防止上述攻击方式对应的视频类型被人脸识别系统的数据处理设备判定为真实人脸的视频(也就是符合要求的人脸),现有技术中提出了采用生命迹象分析、纹理信息分析和动作信息分析等方法进行人脸识别,以达到身份识别的目的。其中,基于生命迹象分析的方法,主要是根据只有真实人脸才可以按照特定的要求产生脸部的表情和动作,比如首先让用户完成一些睁开(闭上)眼睛和张开(闭上)嘴巴的动作,这些动作的顺序是随机产生的,视频录制设备录制完上述动作视频后,数据处理设备判断动作视频是否和要求的一致,从而判断出是否是真实人脸;但是该方法对用户不友好,需要用户高度的配合,而且比较耗时。基于纹理信息分析的方法,主要是利用假人脸在纹理细节上与真人脸之间的差异进行判断,常用的纹理特征有颜色纹理、LBP纹理等,该方法只对包含大量纹理信息的情况下(如打印的照片)适用。
发明内容
本发明提供一种活体人脸视频的检测方法及装置,以克服现有就是中人脸检测方法需要用户高度配合和检测速度较慢的技术问题。
本发明提供一种活体人脸视频的检测方法,包括:
获取待检测人脸视频;
获取所述待检测人脸视频对应的第一光流向量,所述第一光流向量是由所述待检测人脸视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置处像素点的灰度值的差值总和组成的I维向量,其中,i=1,2……I;
获取所述第一光流向量和各第二光流向量之间的欧式距离;其中,第二光流向量是由训练样本集中的训练视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置的像素点的灰度值的差值总和组成的I维向量,每个训练视频对应一个第二光流向量,所述第二光流向量具有标签,所述标签用于指示所述第二光流向量对应的训练视频的视频类型;
根据所述欧式距离及所述第二光流向量的标签,确定所述待检测人脸视频的视频类型;
根据所述待检测人脸视频的视频类型,判断待检测人脸视频中的人脸是否为活体人脸。
如上所述的方法,获取所述待检测人脸视频对应的第一光流向量包括:
将所述待检测人脸视频的前I帧图像转换成I帧灰度图像;
取i=1,获取第2帧灰度图像的各像素点的灰度值与第1帧灰度图像相同位置处像素点的第一差值,根据各第一差值,得到第一差值总和;
取i=2,获取第3帧灰度图像的各像素点的灰度值与第2帧灰度图像相同位置处像素点的第二差值,根据各第二差值,得到第二差值总和;
重复执行获取灰度值的差值总和的过程,直至i=I;
根据I个差值总和,得到所述第一光流向量,其中,第i差值总和为所述第一光流向量中的第i维分量。
如上所述的方法,在所述获取所述第一光流向量和各第二光流向量之间的欧式距离之前,所述方法还包括:
获取训练样本集,所述训练样本集中包括多种类型的训练视频,训练视频的个数为多个;
获取各所述训练视频对应的所述第二光流向量;
根据训练视频的视频类型对各所述第二光流向量进行标签的标注。
如上所述的方法,所述根据所述欧式距离及所述第二光流向量的标签,确定所述待检测人脸视频的视频类型,包括:
按照与所述第一光流向量的欧式距离从小到大的顺序对所述第二光流向量排序;
选取排序位于前M的M个所述第二光流向量;
获取M个所述第二光流向量各自的标签;
根据M个所述第二光流向量各自的标签对应的视频类型,确定所述待检测人脸视频的视频类型;其中,M为正整数。
如上所述的方法,所述训练样本集中包含N种类型的训练视频;
所述根据M个所述第二光流向量各自的标签对应的视频类型,确定所述待检测人脸视频的视频类型包括:
若M>N,将出现次数最多的标签对应的视频类型确定为所述待检测人脸视频的视频类型;
若M≤N,且M个所述第二光流向量的标签对应J种视频类型,J<M,将出现次数最多的标签对应的视频类型确定为所述待检测人脸视频的视频类型;
若M≤N,且M个所述第二光流向量的标签对应M种视频类型,则将排序第一的第二光流向量的标签对应的视频类型确定为所述待检测人脸视频的视频类型。
如上所述的方法,所述训练样本集中的训练视频的类型包括:对真实人脸录制的视频、对固定的人脸照片录制的视频、对固定的人脸视频录制的视频和对移动的人脸视频录制的视频。
本发明还提供一种活体人脸视频的检测装置,包括:
第一获取模块,所述第一获取模块用于获取待检测人脸视频;
第二获取模块,所述第二获取模块用于获取所述待检测人脸视频对应的第一光流向量,所述第一光流向量是由所述待检测人脸视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置处像素点的灰度值的差值总和组成的I维向量,其中,i=1,2……I;
第三获取模块,所述第三获取模块用于获取所述第一光流向量和各第二光流向量之间的欧式距离;其中,第二光流向量是由训练样本集中的训练视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置的像素点的灰度值的差值总和组成的I维向量,每个训练视频对应一个第二光流向量,所述第二光流向量具有标签,所述标签用于指示所述第二光流向量对应的训练视频的视频类型;
第一确定模块,所述第一确定模块用于根据所述欧式距离及所述第二光流向量的标签,确定所述待检测人脸视频的视频类型;
第二确定模块,所述第二确定模块用于根据所述待检测人脸视频的视频类型,判断待检测人脸视频中的人脸是否为活体人脸。
如上所述的装置,所述第二获取模块具体用于:
将所述待检测人脸视频的前I帧图像转换成I帧灰度图像;
取i=1,获取第2帧灰度图像的各像素点的灰度值与第1帧灰度图像相同位置处像素点的第一差值,根据各第一差值,得到第一差值总和;
取i=2,获取第3帧灰度图像的各像素点的灰度值与第2帧灰度图像相同位置处像素点的第二差值,根据各第二差值,得到第二差值总和;
重复执行获取灰度值的差值总和的过程,直至i=I;
根据I个差值总和,得到所述第一光流向量,其中,第i差值总和为所述第一光流向量中的第i维分量。
如上所述的装置,所述装置还包括:
第四获取模块,所述第四获取模块用于获取训练样本集,所述训练样本集中包括多种类型的训练视频,训练视频的个数为多个;
第五获取模块,所述第五获取模块用于获取各所述训练视频对应的所述第二光流向量;
标签标注模块,所述标签标注模块用于根据训练视频的视频类型对各所述第二光流向量进行标签的标注。
如上所述的装置,所述第一确定模块具体用于:
按照与所述第一光流向量的欧式距离从小到大的顺序对所述第二光流向量排序;
选取排序位于前M的M个所述第二光流向量;
获取M个所述第二光流向量各自的标签;
根据M个所述第二光流向量各自的标签对应的视频类型,确定所述待检测人脸视频的视频类型;其中,M为正整数。
本发明提供一种活体人脸视频的检测方法及装置。本发明的人脸视频的检测方法包括:获取待检测人脸视频;获取待检测人脸视频对应的第一光流向量,第一光流向量是由待检测人脸视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置处像素点的灰度值的差值总和组成的I维向量,其中,i=1,2……I;获取第一光流向量和各第二光流向量之间的欧式距离;其中,第二光流向量是由训练样本集中的训练视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置的像素点的灰度值的差值总和组成的I维向量,每个训练视频对应一个第二光流向量,第二光流向量具有标签,标签用于指示第二光流向量对应的训练视频的视频类型;根据欧式距离及第二光流向量的标签,确定待检测人脸视频的视频类型,根据待检测人脸视频的视频类型,判断待检测人脸视频中的人脸是否为活体人脸。本发明提供的活体人脸视频的检测方法及装置,不需要用户的高度配合,对用户友好,检测速度快,且对人脸视频的类型检测准确,大大减少了人脸识别系统中存在的安全隐患。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的活体人脸视频的检测方法的流程图一;
图2为待检测人脸视频第1帧灰度图像的像素点划分示意图;
图3为待检测人脸视频第2帧灰度图像的像素点划分示意图;
图4为本发明提供的活体人脸视频的检测方法的流程图二;
图5为本发明提供的活体人脸视频的检测装置实施例一的结构示意图;
图6为本发明提供的活体人脸视频的检测装置实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在人脸识别系统中,当有目标出现在人脸识别系统的范围内时,人脸识别系统的视频录制设备对目标进行视频录制,录制完成后采用数据处理设备判断录制的视频中出现的目标是否为符合要求的人脸,该种方法往往会将符合要求的虚假人脸(照片、面具等)也识别为符合要求的人脸,造成了安全隐患。若数据处理设备先判断录制的视频中出现的人脸是否为活体人脸,当判断结果为是后再进行判断录制的视频中出现的目标是否为符合要求的人脸,便可以大大减少安全隐患。为了实现上述目的,本发明提出一种活体人脸视频的检测方法,该方法可以判断录制的视频的类型。下面对本发明提供的活体人脸视频的检测方法进行详细说明。
图1为本发明提供的活体人脸视频的检测方法的流程图一,如图1所示,本实施例的方法可以通过人脸视频的检测装置来实现,人脸视频的检测装置可以基于硬件和/或软件实现,本实施例的方法可以包括:
步骤S101、获取待检测人脸视频;
步骤S102、获取待检测人脸视频对应的第一光流向量,第一光流向量是由待检测人脸视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置处像素点的灰度值的差值总和组成的I维向量,其中,i=1,2……I;
步骤S103、获取第一光流向量和各第二光流向量之间的欧式距离;其中,第二光流向量是由训练样本集中的训练视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置的像素点的灰度值的差值总和组成的I维向量,每个训练视频对应一个第二光流向量,第二光流向量具有标签,标签用于指示第二光流向量对应的训练视频的视频类型;
步骤S104、根据欧式距离及第二光流向量的标签,确定待检测人脸视频的视频类型。
步骤S105、用于根据待检测人脸视频的视频类型,判断待检测人脸视频中的人脸是否为活体人脸。
具体地,在人脸识别系统,视频录制设备对出现的目标进行视频录制,录制的视频即为待检测人脸视频。
获取到待检测人脸视频后,便获取待检测人脸视频对应的第一光流向量;其中,第一光流向量的获取方法具体为:将待检测人脸视频的前I帧图像转换成I帧灰度图像;取i=1,获取第2帧灰度图像的各像素点的灰度值与第1帧灰度图像相同位置处像素点的第一差值,根据各第一差值,得到第一差值总和;取i=2,获取第3帧灰度图像的各像素点的灰度值与第2帧灰度图像相同位置处像素点的第二差值,根据各第二差值,得到第二差值总和;重复执行获取灰度值的差值总和的过程,直至i=I;根据I个差值总和,得到所述第一光流向量,其中,第i差值总和为所述第一光流向量中的第i维分量。
举例来说,若I=50,则第一光流向量为50维向量。将检测人脸视频的前50帧图像转换成50帧灰度图像,从i=1开始,依次计算待检测人脸视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置处像素点的灰度值的差值总和,i连续取值,直至i=50。下面以具体实例来说明第一光流向量的获取过程;
图2为待检测人脸视频第1帧灰度图像的像素点划分示意图,图3为待检测人脸视频第2帧灰度图像的像素点划分示意图。
参见图2和图3,若第2帧灰度图像被划分为64个像素点,第1帧灰度图像也被划分为64个像素点。当i=1时,将第2帧灰度图像的像素点A2的灰度值减去第1帧灰度图像的像素点A1的灰度值得到第一个第一差值,其中像素点A2在第2帧灰度图像上的位置与像素点A1在第1帧灰度图像上的位置相同,同理,将第2帧灰度图像的像素点B2的灰度值减去第1帧灰度图像的像素点B1的灰度值得到第二个第一差值,像素点B2在第2帧灰度图像上的位置与像素点B1在第1帧灰度图像上的位置相同;按照同样的方法及预设的顺序,直至获取到第64个第一差值,将这64个第一差值相加得到第一差值总和,作为第一光流向量的第一维分量。然后按照同样的方法,变化i的取值,使得i从1开始连续取整数值一致取到50,相继得到第二差值总和、第三差值总和至第五十差值总和;比如,i=3时,对应处理的第4帧灰度图像各第3帧灰度图像,对应得到第三差值总和,第三差值总和为第一光流向量的第三维分量。
第一光流向量获取后,利用K最近邻分类器对待检测人脸视频进行分类,下面对具体分类方法进行详细的说明。
获取第一光流向量和各第二光流向量之间的欧式距离;其中,第二光流向量的获取方法与第一光流向量的获取方法相同,第二光流向量是训练样本集中的训练视频对应的光流向量,每个训练视频对应一个第二光流向量,第二光流向量具有标签,标签用于指示第二光流向量对应的训练视频的视频类型;其中,第二光流向量是事先对选取的训练视频进行训练得到的,存储在人脸识别系统的数据处理设备中,供人脸识别时调用。
优选地,训练样本集中的训练视频的类型包括:对真实人脸录制的视频、对固定的人脸照片录制的视频、对固定的人脸视频录制的视频和对移动的人脸视频录制的视频。
在获取第一光流向量和各第二光流向量之间的欧式距离后,比较各欧式距离,根据欧式距离及第二光流向量的标签,确定待检测人脸视频的视频类型,具体为:按照与第一光流向量的欧式距离从小到大的顺序对第二光流向量排序;选取排序位于前M的M个第二光流向量;获取M个第二光流向量各自的标签;根据M个第二光流向量各自的标签对应的视频类型,确定待检测人脸视频的视频类型;其中,M为正整数。
其中,根据M个第二光流向量各自的标签对应的视频类型,确定待检测人脸视频的视频类型包括:训练样本集中包含N种类型的训练视频;若M>N,将出现次数最多的标签对应的视频类型确定为待检测人脸视频的视频类型;若M≤N,且M个第二光流向量的标签对应J种视频类型,J<M,将出现次数最多的标签对应的视频类型确定为待检测人脸视频的视频类型;若M≤N,且M个第二光流向量的标签对应M种视频类型,则将排序第一的第二光流向量的标签对应的视频类型确定为待检测人脸视频的视频类型。
举例来说,若M=2,N=4,排序第一的第二光流向量的标签对应的视频类型为对真实人脸录制的视频,排序第二的第二光流向量的标签对应的视频类型为对固定的人脸照片录制的视频,也就是2个第二光流向量的标签对应2种视频类型,此时将排序第一的第二光流向量的标签对应的视频类型—对真实人脸录制的视频,确定为待检测人脸视频的视频类型。
若M=4,N=4,排序第一的第二光流向量的标签对应的视频类型为对真实人脸录制的视频,排序第二的第二光流向量的标签对应的视频类型为对固定的人脸照片录制的视频,排序第三的第二光流向量的标签对应的视频类型为对固定的人脸照片录制的视频,排序第三的第二光流向量的标签对应的视频类型为对固定的人脸视频录制的视频,也就是4个第二光流向量的标签对应3种视频类型,此时出现次数最多的第二光流向量的标签对应的视频类型—对固定的人脸照片录制的视频,确定为待检测人脸视频的视频类型,若M=5,N=4,则排序前5的5个第二光流向量的标签对应的视频类型肯定至少有一个重复,直接将出现次数最多的第二光流向量的标签对应的视频类型,确定为待检测人脸视频的视频类型。
根据待检测人脸视频的视频类型,判断待检测人脸视频中的人脸是否为活体人脸包括:若待检测人脸视频的视频类型为对真实人脸录制的视频,那么确定待检测人脸视频中的人脸为活体人脸,若待检测人脸视频的视频类型为对固定的人脸照片录制的视频,那么确定待检测人脸视频中的人脸为非活体人脸(为假人脸),若待检测人脸视频的视频类型为对固定的人脸视频录制的视频,那么确定待检测人脸视频中的人脸为非活体人脸(为假人脸),若待检测人脸视频的视频类型为对移动的人脸视频录制的视频,那么确定待检测人脸视频中的人脸为非活体人脸(为假人脸)。若待检测人脸视频中的人脸为假人脸,此时人脸识别系统的数据处理设备无需继续判断视频中的人脸是否为符合要求的人脸,该人脸不能通过人脸识别系统的识别,比如使用该人脸不能登录计算机,大大减少了人脸识别系统的安全隐患。若待检测人脸视频中的人脸为真人脸,此时人脸识别系统的数据处理设备需继续判断视频中的人脸是否为符合要求的人脸,若为符合要求的人脸,该人脸能通过人脸识别系统的识别,比如使用该人脸可登录计算机。
本实施例的活体人脸视频的检测方法包括:获取待检测人脸视频;获取待检测人脸视频对应的第一光流向量,第一光流向量是由待检测人脸视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置处像素点的灰度值的差值总和组成的I维向量,其中,i=1,2……I;获取第一光流向量和各第二光流向量之间的欧式距离;其中,第二光流向量是由训练样本集中的训练视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置的像素点的灰度值的差值总和组成的I维向量,每个训练视频对应一个第二光流向量,第二光流向量具有标签,标签用于指示第二光流向量对应的训练视频的视频类型;根据欧式距离及第二光流向量的标签,确定待检测人脸视频的视频类型,根据视频类型,判断待检测人脸视频中的人脸是否为活体人脸。本实施例的活体人脸视频的检测方法不需要用户的高度配合,对用户友好,检测速度快,且对人脸视频的检测准确,大大减少了人脸识别系统中存在的安全隐患。
图4为本发明提供的活体人脸视频的检测方法的流程图二,如图4所示,本实施例的方法是在步骤“获取第一光流向量和各第二光流向量之间的欧式距离”之前进行的,本实施例的方法可以包括:
步骤S201、获取训练样本集,训练样本集中包括多种类型的训练视频,训练视频的个数为多个;
步骤S202、获取各训练视频对应的第二光流向量;
步骤S203、根据训练视频的视频类型对各第二光流向量进行标签的标注。
具体地,以训练样本集中的训练视频的类型需要包括:对真实人脸录制的视频、对固定的人脸照片录制的视频、对固定的人脸视频录制的视频和对移动的人脸视频录制的视频为例来说明获取训练样本集。分别选取上述4种类型的训练视频,每种类型选取多个训练视频,优选为每种类型的训练视频的个数相同。其中,对真实人脸录制的视频是指直接对真人的人脸进行录制视频;对固定的人脸照片录制的视频是指,将人脸的照片固定在一个位置,采用视频设备对人脸的照片进行录制视频得到的视频;对固定的人脸视频录制的视频是指,将人脸的视频固定在一个位置(比如,该人脸的视频在手机上,将手机固定不动),采用视频设备对人脸的视频进行录制视频得到的视频;对移动的人脸视频录制的视频是指,移动人脸的视频(比如,该人脸的视频在手机上,移动手机),采用视频设备对移动的人脸视频进行录制得到的视频。
训练样本集选取后,获取各训练视频对应的第二光流向量,得到多个第二光流向量。
对各第二光流向量进行标签标注,比如将类型为对真实人脸录制的视频对应的第二光流向量标记为1,将类型为对固定的人脸照片录制的视频对应的第二光流向量标记为2,将类型为对固定的人脸视频录制的视频对应的第二光流向量标记为3,将类型为对移动的人脸视频录制的视频对应的第二光流向量标记为4。
在后续计算完第一光流向量和各第二光流向量后,按照与第一光流向量的欧式距离从小到大的顺序对第二光流向量排序,选取排序位于前M的第二光流向量,对于上一实施例中的实例:若M=5,N=4(训练样本集中训练视频的种类数),则排序前5的5个第二光流向量的标签对应的视频类型肯定至少有一个重复,比如,排序第一的第二光流向量的标签为1,排序第二的第二光流向量的标签为1,排序第三的第二光流向量的标签为2,排序第四的第二光流向量的标签为4,排序第五的第二光流向量的标签为1;标签1出现的次数最多,则将标签1对应的视频类型—对真实人脸录制的视频,确定为待检测人脸视频的视频类型。
本实施例通过训练训练样本中的训练视频得到多个第二光流向量,实现了对待检测人脸视频的视频类型的确定。
图5为本发明提供的活体人脸视频的检测装置实施例一的结构示意图,如图5所示,本实施例的装置可以包括:第一获取模块51、第二获取模块52、第三获取模块53、第一确定模块54和第二确定模块55;其中,第一获取模块51用于获取待检测人脸视频;第二获取模块52用于获取所述待检测人脸视频对应的第一光流向量,所述第一光流向量是由所述待检测人脸视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置处像素点的灰度值的差值总和组成的I维向量,其中,i=1,2……I;第三获取模块53用于获取所述第一光流向量和各第二光流向量之间的欧式距离;其中,第二光流向量是由训练样本集中的训练视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置的像素点的灰度值的差值总和组成的I维向量,每个训练视频对应一个第二光流向量,所述第二光流向量具有标签,所述标签用于指示所述第二光流向量对应的训练视频的视频类型;第一确定模块用于根据欧式距离及所述第二光流向量的标签,确定待检测人脸视频的视频类型;第二确定模块用于根据待检测人脸视频的视频类型,判断待检测人脸视频中的人脸是否为活体人脸。
其中,第二获取模块52具体用于:将所述待检测人脸视频的前I帧图像转换成I帧灰度图像;取i=1,获取第2帧灰度图像的各像素点的灰度值与第1帧灰度图像相同位置处像素点的第一差值,根据各第一差值,得到第一差值总和;取i=2,获取第3帧灰度图像的各像素点的灰度值与第2帧灰度图像相同位置处像素点的第二差值,根据各第二差值,得到第二差值总和;重复执行获取灰度值的差值总和的过程,直至i=I;根据I个差值总和,得到所述第一光流向量,其中,第i差值总和为所述第一光流向量中的第i维分量。
第一确定模块54具体用于:按照与所述第一光流向量的欧式距离从小到大的顺序对所述第二光流向量排序;选取排序位于前M的M个所述第二光流向量;获取M个所述第二光流向量各自的标签;根据M个所述第二光流向量各自的标签对应的视频类型,确定所述待检测人脸视频的视频类型;其中,M为正整数。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图6为本发明提供的活体人脸视频的检测装置实施例二的结构示意图,如图6所示,本实施例的装置在图5所示装置结构的基础上,进一步地,还可以包括:第四获取模块56、第五获取模块57和标签标注模块58;第四获取模块56用于获取训练样本集,训练样本集中包括多种类型的训练视频,训练视频的个数为多个;第五获取模块57用于获取各训练视频对应的第二光流向量;标签标注模块58用于根据训练视频的视频类型对各第二光流向量进行标签的标注。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种活体人脸视频的检测方法,其特征在于,包括:
获取待检测人脸视频;
获取所述待检测人脸视频对应的第一光流向量,所述第一光流向量是由所述待检测人脸视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置处像素点的灰度值的差值总和组成的I维向量,其中,i=1,2……I;
获取所述第一光流向量和各第二光流向量之间的欧式距离;其中,第二光流向量是由训练样本集中的训练视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置的像素点的灰度值的差值总和组成的I维向量,每个训练视频对应一个第二光流向量,所述第二光流向量具有标签,所述标签用于指示所述第二光流向量对应的训练视频的视频类型;
根据所述欧式距离及所述第二光流向量的标签,确定所述待检测人脸视频的视频类型;
根据所述待检测人脸视频的视频类型,判断待检测人脸视频中的人脸是否为活体人脸。
2.根据权利要求1所述的方法,其特征在于,获取所述待检测人脸视频对应的第一光流向量包括:
将所述待检测人脸视频的前I帧图像转换成I帧灰度图像;
取i=1,获取第2帧灰度图像的各像素点的灰度值与第1帧灰度图像相同位置处像素点的第一差值,根据各第一差值,得到第一差值总和;
取i=2,获取第3帧灰度图像的各像素点的灰度值与第2帧灰度图像相同位置处像素点的第二差值,根据各第二差值,得到第二差值总和;
重复执行获取灰度值的差值总和的过程,直至i=I;
根据I个差值总和,得到所述第二光流向量,其中,第i差值总和为所述第二光流向量中的第i维分量。
3.根据权利要求2所述的方法,其特征在于,在所述获取所述第一光流向量和各第二光流向量之间的欧式距离之前,所述方法还包括:
获取训练样本集,所述训练样本集中包括多种类型的训练视频,训练视频的个数为多个;
获取各所述训练视频对应的所述第二光流向量;
根据训练视频的视频类型对各所述第二光流向量进行标签的标注。
4.根据权利要求3所述的方法,其特征在于,所述根据所述欧式距离及所述第二光流向量的标签,确定所述待检测人脸视频的视频类型,包括:
按照与所述第一光流向量的欧式距离从小到大的顺序对所述第二光流向量排序;
选取排序位于前M的M个所述第二光流向量;
获取M个所述第二光流向量各自的标签;
根据M个所述第二光流向量各自的标签对应的视频类型,确定所述待检测人脸视频的视频类型;其中,M为正整数。
5.根据权利要求4所述的方法,其特征在于,所述训练样本集中包含N种类型的训练视频;
所述根据M个所述第二光流向量各自的标签对应的视频类型,确定所述待检测人脸视频的视频类型包括:
若M>N,将出现次数最多的标签对应的视频类型确定为所述待检测人脸视频的视频类型;
若M≤N,且M个所述第二光流向量的标签对应J种视频类型,J<M,将出现次数最多的标签对应的视频类型确定为所述待检测人脸视频的视频类型;
若M≤N,且M个所述第二光流向量的标签对应M种视频类型,则将排序第一的第二光流向量的标签对应的视频类型确定为所述待检测人脸视频的视频类型。
6.根据权利要求1~5任一项所述的方法,其特征在于,所述训练样本集中的训练视频的类型包括:对真实人脸录制的视频、对固定的人脸照片录制的视频、对固定的人脸视频录制的视频和对移动的人脸视频录制的视频。
7.一种人脸视频的检测装置,其特征在于,包括:
第一获取模块,所述第一获取模块用于获取待检测人脸视频;
第二获取模块,所述第二获取模块用于获取所述待检测人脸视频对应的第一光流向量,所述第一光流向量是由所述待检测人脸视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置处像素点的灰度值的差值总和组成的I维向量,其中,i=1,2……I;
第三获取模块,所述第三获取模块用于获取所述第一光流向量和各第二光流向量之间的欧式距离;其中,第二光流向量是由训练样本集中的训练视频的第i+1帧灰度图像的各像素点的灰度值与第i帧灰度图像相同位置的像素点的灰度值的差值总和组成的I维向量,每个训练视频对应一个第二光流向量,所述第二光流向量具有标签,所述标签用于指示所述第二光流向量对应的训练视频的视频类型;
第一确定模块,所述第一确定模块用于根据所述欧式距离及所述第二光流向量的标签,确定所述待检测人脸视频的视频类型;
第二确定模块,所述第二确定模块用于根据所述待检测人脸视频的视频类型,判断待检测人脸视频中的人脸是否为活体人脸。
8.根据权利要求7所述的装置,其特征在于,所述第二获取模块具体用于:
将所述待检测人脸视频的前I帧图像转换成I帧灰度图像;
取i=1,获取第2帧灰度图像的各像素点的灰度值与第1帧灰度图像相同位置处像素点的第一差值,根据各第一差值,得到第一差值总和;
取i=2,获取第3帧灰度图像的各像素点的灰度值与第2帧灰度图像相同位置处像素点的第二差值,根据各第二差值,得到第二差值总和;
重复执行获取灰度值的差值总和的过程,直至i=I;
根据I个差值总和,得到所述第一光流向量,其中,第i差值总和为所述第一光流向量中的第i维分量。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第四获取模块,所述第四获取模块用于获取训练样本集,所述训练样本集中包括多种类型的训练视频,训练视频的个数为多个;
第五获取模块,所述第五获取模块用于获取各所述训练视频对应的所述第二光流向量;
标签标注模块,所述标签标注模块用于根据训练视频的视频类型对各所述第二光流向量进行标签的标注。
10.根据权利要求7所述的装置,其特征在于,所述第一确定模块具体用于:
按照与所述第一光流向量的欧式距离从小到大的顺序对所述第二光流向量排序;
选取排序位于前M的M个所述第二光流向量;
获取M个所述第二光流向量各自的标签;
根据M个所述第二光流向量各自的标签对应的视频类型,确定所述待检测人脸视频的视频类型;其中,M为正整数。
CN201611227688.2A 2016-12-27 2016-12-27 活体人脸视频的检测方法及装置 Pending CN106650670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611227688.2A CN106650670A (zh) 2016-12-27 2016-12-27 活体人脸视频的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611227688.2A CN106650670A (zh) 2016-12-27 2016-12-27 活体人脸视频的检测方法及装置

Publications (1)

Publication Number Publication Date
CN106650670A true CN106650670A (zh) 2017-05-10

Family

ID=58831826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611227688.2A Pending CN106650670A (zh) 2016-12-27 2016-12-27 活体人脸视频的检测方法及装置

Country Status (1)

Country Link
CN (1) CN106650670A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545241A (zh) * 2017-07-19 2018-01-05 百度在线网络技术(北京)有限公司 神经网络模型训练及活体检测方法、装置及存储介质
CN107688781A (zh) * 2017-08-22 2018-02-13 北京小米移动软件有限公司 人脸识别方法及装置
CN107895155A (zh) * 2017-11-29 2018-04-10 五八有限公司 一种人脸识别方法及装置
CN108596041A (zh) * 2018-03-28 2018-09-28 中科博宏(北京)科技有限公司 一种基于视频的人脸活体检测方法
CN108875331A (zh) * 2017-08-01 2018-11-23 北京旷视科技有限公司 人脸解锁方法、装置和系统及存储介质
CN109063534A (zh) * 2018-05-25 2018-12-21 隆正信息科技有限公司 一种基于图像的购物识别和表意方法
CN109635712A (zh) * 2018-12-07 2019-04-16 杭州电子科技大学 基于同构网络的自发微表情种类判别方法
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN110223322A (zh) * 2019-05-31 2019-09-10 腾讯科技(深圳)有限公司 图像识别方法、装置、计算机设备和存储介质
CN113158818A (zh) * 2021-03-29 2021-07-23 青岛海尔科技有限公司 用于识别伪造视频的方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877051A (zh) * 2009-10-30 2010-11-03 江苏大学 驾驶人注意力状态监测方法和装置
CN102750527A (zh) * 2012-06-26 2012-10-24 浙江捷尚视觉科技有限公司 一种银行场景中长期稳定的人脸检测与跟踪方法及装置
CN104504366A (zh) * 2014-11-24 2015-04-08 上海闻泰电子科技有限公司 基于光流特征的笑脸识别系统及方法
CN106228129A (zh) * 2016-07-18 2016-12-14 中山大学 一种基于matv特征的人脸活体检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877051A (zh) * 2009-10-30 2010-11-03 江苏大学 驾驶人注意力状态监测方法和装置
CN102750527A (zh) * 2012-06-26 2012-10-24 浙江捷尚视觉科技有限公司 一种银行场景中长期稳定的人脸检测与跟踪方法及装置
CN104504366A (zh) * 2014-11-24 2015-04-08 上海闻泰电子科技有限公司 基于光流特征的笑脸识别系统及方法
CN106228129A (zh) * 2016-07-18 2016-12-14 中山大学 一种基于matv特征的人脸活体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENZE YIN ET AL: "A Face Anti-Spoofing Method Based on Optical Flow Field", 《2016 IEEE 13TH INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING(ICSP)》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545241A (zh) * 2017-07-19 2018-01-05 百度在线网络技术(北京)有限公司 神经网络模型训练及活体检测方法、装置及存储介质
US11610394B2 (en) 2017-07-19 2023-03-21 Baidu Online Network Technology (Beijing) Co., Ltd. Neural network model training method and apparatus, living body detecting method and apparatus, device and storage medium
CN108875331A (zh) * 2017-08-01 2018-11-23 北京旷视科技有限公司 人脸解锁方法、装置和系统及存储介质
CN108875331B (zh) * 2017-08-01 2022-08-19 北京旷视科技有限公司 人脸解锁方法、装置和系统及存储介质
CN107688781A (zh) * 2017-08-22 2018-02-13 北京小米移动软件有限公司 人脸识别方法及装置
CN107895155A (zh) * 2017-11-29 2018-04-10 五八有限公司 一种人脸识别方法及装置
CN108596041B (zh) * 2018-03-28 2019-05-14 中科博宏(北京)科技有限公司 一种基于视频的人脸活体检测方法
CN108596041A (zh) * 2018-03-28 2018-09-28 中科博宏(北京)科技有限公司 一种基于视频的人脸活体检测方法
CN109063534B (zh) * 2018-05-25 2022-07-22 隆正信息科技有限公司 一种基于图像的购物识别和表意方法
CN109063534A (zh) * 2018-05-25 2018-12-21 隆正信息科技有限公司 一种基于图像的购物识别和表意方法
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN109711243B (zh) * 2018-11-01 2021-02-09 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN109635712A (zh) * 2018-12-07 2019-04-16 杭州电子科技大学 基于同构网络的自发微表情种类判别方法
CN109635712B (zh) * 2018-12-07 2021-02-05 杭州电子科技大学 基于同构网络的自发微表情种类判别方法
CN110223322A (zh) * 2019-05-31 2019-09-10 腾讯科技(深圳)有限公司 图像识别方法、装置、计算机设备和存储介质
CN113158818A (zh) * 2021-03-29 2021-07-23 青岛海尔科技有限公司 用于识别伪造视频的方法、装置和设备

Similar Documents

Publication Publication Date Title
CN106650670A (zh) 活体人脸视频的检测方法及装置
CN109934293A (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
CN106407911A (zh) 基于图像的眼镜识别方法及装置
CN112016464A (zh) 检测人脸遮挡的方法、装置、电子设备及存储介质
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN111696080B (zh) 一种基于静态纹理的人脸欺诈检测方法、系统及存储介质
CN112419327A (zh) 一种基于生成对抗网络的图像分割方法、系统和装置
CN109522883A (zh) 一种人脸检测方法、系统、装置及存储介质
CN111401192B (zh) 基于人工智能的模型训练方法和相关装置
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN111209818A (zh) 视频个体识别方法、系统、设备及可读存储介质
CN110532855A (zh) 基于深度学习的自然场景证件图像文字识别方法
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
CN107316029A (zh) 一种活体验证方法及设备
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN111027526A (zh) 一种提高车辆目标检测识别检测效率的方法
CN115830449A (zh) 显式轮廓引导和空间变化上下文增强的遥感目标检测方法
CN114842524B (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN114639152A (zh) 基于人脸识别的多模态语音交互方法、装置、设备及介质
CN106355066A (zh) 人脸验证方法及人脸验证装置
CN111626197B (zh) 一种基于人体行为识别网络模型的识别方法
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN111242114A (zh) 文字识别方法及装置
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication