CN112307817B - 人脸活体检测方法、装置、计算设备及计算机存储介质 - Google Patents

人脸活体检测方法、装置、计算设备及计算机存储介质 Download PDF

Info

Publication number
CN112307817B
CN112307817B CN201910688392.8A CN201910688392A CN112307817B CN 112307817 B CN112307817 B CN 112307817B CN 201910688392 A CN201910688392 A CN 201910688392A CN 112307817 B CN112307817 B CN 112307817B
Authority
CN
China
Prior art keywords
frame
images
continuous
image
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910688392.8A
Other languages
English (en)
Other versions
CN112307817A (zh
Inventor
陈青青
李伟
李海传
严昱超
陈宁华
戚靓亮
杨巧节
范胡磊
陈爽月
穆铁马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Zhejiang Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910688392.8A priority Critical patent/CN112307817B/zh
Publication of CN112307817A publication Critical patent/CN112307817A/zh
Application granted granted Critical
Publication of CN112307817B publication Critical patent/CN112307817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Abstract

本发明实施例涉及图像处理技术领域,公开了一种人脸活体检测方法、装置、计算设备及计算机存储介质,该方法包括:采集用于用户人脸识别的视频图像;根据所述视频图像截取用于人脸识别的连续各帧图像;对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理。通过上述方式,本发明实施例通过前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性。

Description

人脸活体检测方法、装置、计算设备及计算机存储介质
技术领域
本发明实施例涉及图像处理技术领域,具体涉及一种人脸活体检测方法、装置、计算设备及计算机存储介质。
背景技术
人脸识别已经在金融、安防、电子商务等领域广泛使用。人脸识别是生物识别的一种,相较于指纹识别易受汗液等异物影响,虹膜识别的设备要求太高,人脸识别有着巨大的优势。然而人脸极易用照片、视频、面具等方式进行复制,由此给人脸认证系统带来了巨大的安全隐患。由此,出现了活体检测技术。活体检测技术能够基于人体头部运动、眨眼、热红外与人脸可见光结构等信息识别图像或者视频中的人像是否为真人,从而保证人脸认证系统的安全。
现有的已商用的活体检测技术根据技术特点可以划分为四类:动作活体检测,视频语音活体检测,在线图片结合双目摄像头的活体检测,3D光结构活体检测。动作活体检测是给用户一系列动作指令,用户需按指令完成动作,通过动作判断进行活体检测。这类方法简洁易用,但在安全性上稍弱。基于视频语音的活体检测则是录制用户视频语音,配合语音识别,唇语识别,声话同步检测等技术,技术难度较大,且会精确度容易受方言外语等影响。在线图片结合双目摄像头的活体检测和3D光结构活体检测都需要结合特殊的双目或深度摄像头,精度及安全性更优但对硬件依赖也更高。
在实现本发明实施例的过程中,发明人发现:对于需要额外硬件的活体检测方法,其缺点在于成本较高且使用不便。动作活体检测方法虽然不需依赖普通摄像头外的其他硬件,但主要缺点在于:主流方法有前端式和后端式。前端式将核心算法部署在客户端,导致应用程序容易被篡改,或者可以通过事先录制的人脸动作视频或照片进行作假,存在较大的安全隐患。后端式将核心算法部署在服务器端,但需要传输整段视频,网络开销大,实时性较差。
发明内容
鉴于上述问题,本发明实施例提供了一种人脸活体检测方法、装置、计算设备及计算机存储介质,克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面,提供了一种人脸活体检测方法,所述方法包括:采集用于用户人脸识别的视频图像;根据所述视频图像截取用于人脸识别的连续各帧图像;对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理。
在一种可选的方式中,所述采集用于用户人脸活体检测的视频图像,包括:获取所述服务端发送的动作指令;根据所述动作指令应用图像采集装置采集所述视频图像。
根据本发明实施例的另一个方面,提供了一种人脸活体检测方法,所述方法包括:接收客户端发送的根据采集的视频图像处理后得到的压缩的图片流;对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置;根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度;根据所述连续各帧图像的所述旋转角度识别用户的动作。
在一种可选的方式中,所述接收客户端发送的根据采集的视频图像处理后得到的压缩的图片流之前,包括:随机生成动作指令;将所述动作指令发送至客户端以采集所述视频图像。
在一种可选的方式中,所述根据所述连续各帧图像的所述旋转角度识别用户的动作,包括:在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧;如果能够定位到所述三个关键帧,则识别成功;如果不能够定位到所述三个关键帧,则识别失败。
在一种可选的方式中,所述在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧,包括:定位所述连续各帧图像中第二关键帧前所述旋转角度最小的帧为第一关键帧;定位所述连续各帧图像中与第一关键帧的所述旋转角度差值超过预设阈值的帧为第二关键帧;定位所述连续各帧图像中第二关键帧之后所述旋转角度小于所述第二关键帧的第一帧为第三关键帧。
根据本发明实施例的另一个方面,提供了一种人脸活体检测装置,所述装置包括:视频采集单元,用于采集用于用户人脸活体检测的视频图像;图像截取单元,用于根据所述视频图像截取用于人脸活体检测的连续各帧图像;图像输出单元,用于对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理。
根据本发明实施例的另一个方面,提供了一种人脸活体检测装置,所述装置包括:图片接收单元,用于接收客户端发送的基于用户人脸活体检测的压缩的图片流;人脸定位单元,用于对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置;角度获取单元,用于根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度;动作识别单元,用于根据所述连续各帧图像的所述旋转角度识别用户的动作。
根据本发明实施例的另一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述人脸活体检测方法的步骤。
根据本发明实施例的又一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使所述处理器执行上述人脸活体检测方法的步骤。
本发明实施例通过采集用于用户人脸识别的视频图像;根据所述视频图像截取用于人脸识别的连续各帧图像;对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理,通过前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的人脸活体检测系统的结构示意图;
图2示出了本发明实施例提供的人脸活体检测方法的流程示意图;
图3示出了本发明实施例提供的另一人脸活体检测方法的流程示意图;
图4示出了本发明实施例提供的另一人脸活体检测方法的动作模型示意图;
图5示出了本发明实施例提供的人脸活体检测装置的结构示意图;
图6示出了本发明实施例提供的另一人脸活体检测装置的结构示意图;
图7示出了本发明实施例提供的计算设备的结构示意图;
图8示出了本发明实施例提供的另一计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的人脸活体检测系统的结构示意图。如图1所示,人脸活体检测系统包括:交互层11、服务层12以及资源层13,交互层应用为客户端,作为人脸活体检测系统的前端,主要负责引导用户执行规定的动作,打开图像采集装置,如摄像头,进行图像视频录制,并并对图像视频进行视频截帧和图片压缩处理。服务层应用为服务端,作为人脸活体检测系统的后端,随机生成动作指令并进行图像序列的动作模型分析计算,完成对交互层传送的视频截帧图像序列的分析,实现活体检测功能。资源层13为数据中心操作系统(Data Center Operating System,DCOS)平台,具备高可用、弹性扩缩能力。本发明实施例通过前后端分离,由后端随机生成动作指令并进行视频图像序列动作分析,前端负责接收和发布指令并进行视频截帧和压缩,从而实现一种更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性。
图2示出了本发明实施例提供的人脸活体检测方法的流程示意图。如图2所示,人脸活体检测方法包括:
步骤S11:采集用于用户人脸识别的视频图像。
在步骤S11中,应用图像采集装置采集视频图像。在本发明实施例中,还获取所述服务端发送的动作指令;根据所述动作指令应用图像采集装置采集所述视频图像。具体地,显示所述动作指令以与用户进行交互;应用图像采集装置采集与用户交互的所述视频图像。在显示装置上显示接收的动作指令,使用户能够执行与该动作指令对应的动作,同时应用图像采集装置采集视频图像。
步骤S12:根据所述视频图像截取用于人脸活体检测的连续各帧图像。
具体地从视频图像看截取连续的包括人脸的多帧图像。
步骤S13:对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理。
采用对象类别扩充组件(Object Linking and Embedding Control Extension,OCX)或软件开发工具包(Software Development Kit,SDK)对所述连续各帧图像进行图片压缩并传输至服务端。在本发明实施例中,采用OCX控件支持WEB客户端,采用SDK控件支持APP端,在步骤S11和步骤S12中也是分别采用对应的OCX控件或SDK控件来支持对应的客户端。
本发明实施例通过采集用于用户人脸识别的视频图像;根据所述视频图像截取用于人脸识别的连续各帧图像;对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理,通过前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性。
图3示出了本发明实施例提供的人脸活体检测方法的流程示意图。如图3所示,人脸活体检测方法包括:
步骤S31:接收客户端发送的根据采集的视频图像处理后得到的压缩的图片流。
在步骤S31之前,随机生成动作指令;将所述动作指令发送至客户端以采集所述视频图像。客户端接收到动作指令后进行显示,使用户能够根据该动作指令执行对应的动作,客户端同时采集用户执行该动作的视频图像,并进行视频图像处理形成图片流并进行压缩。在步骤S31中,接收该压缩后的图片流。
步骤S32:对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置。
在步骤S32之前,对所述图片流进行预处理。具体地,对图片流中的图片进行降噪、归一化处理,筛选保留有效图片。
在步骤S32中,对所述连续各帧图像进行特征提取,矢量化所述连续各帧图像;应用模型训练对所述连续各帧图像的区域图像特征进行分类筛选出人脸位置;根据所述人脸位置选取局部二值特征进行全局线性回归得到所述连续各帧图像的特征点的位置。具体地,使用归一化的像素差异(Normalized Pixel Difference,NPD)特征,进行特征提取,实现图片矢量化。然后利用模型训练的深度二叉树级联分类器对连续各帧图像的人脸区域图像特征进行分类筛选出人脸位置。再选取局部二值特征(Local Binary Features,LBF)并用级联随机森林分类回归器进行全局线性回归得到图像的特征点的位置。
步骤S33:根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度。
具体地,通过二维-三维(2D-3D)点对映射solvePNP算法,把定位得到的二维人脸特征点的位置与事先准备的三维人脸模型进行匹配变换,从而估计人脸的旋转角度。
步骤S34:根据所述连续各帧图像的所述旋转角度识别用户的动作。
在步骤S34中,在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧;如果能够定位到所述三个关键帧,则识别成功;如果不能够定位到所述三个关键帧,则识别失败。如果能够定位到所述三个关键帧,说明动作判断成功,人脸活体检测通过。如果不能够定位到所述三个关键帧,则动作判断失败或超时,识别失败,人脸活体检测未通过,需要重新进行检测。
在本发明实施例中,定位所述连续各帧图像中第二关键帧前所述旋转角度最小的帧为第一关键帧;定位所述连续各帧图像中与第一关键帧的所述旋转角度差值超过预设阈值的帧为第二关键帧;定位所述连续各帧图像中第二关键帧之后所述旋转角度小于所述第二关键帧的第一帧为第三关键帧。实际操作时,记录当前最小旋转角度;计算当前帧的所述旋转角度与所述最小旋转角度的差值;如果所述差值大于所述预设阈值,则所述最小旋转角度对应的帧为第一关键帧,当前帧为第二关键帧。如果所述差值小于所述预设阈值,且当前帧的所述旋转角度大于所述最小旋转角度,则继续查找下一帧。如果所述差值小于所述预设阈值,且当前帧的所述旋转角度小于所述最小旋转角度,则将最小旋转角度定义为当前帧的旋转角度,并继续查找下一帧。查找到第一关键帧和第二关键帧后,随后找到的比第二关键帧的旋转角度小的第一帧为第三关键帧。参见图4,以左转头为例,在截取的8个连续帧中,
T=1时,第一关键帧为图a,此时的最小旋转角度为5。
T=2时,第一关键帧为图b,此时最小旋转角度更新为3。
T=3,T=4时,由于图c和图d的旋转角度大于图b且旋转角度差值未超过阈值,因此第一关键帧仍为图b,尚未发现第二关键帧。
T=5时,图e与第一关键帧图b的旋转角度差值为18大于阈值15,因此确定第二关键帧为图e,第一关键帧仍为图b。
T=6时,图f的旋转角度大于第二关键帧图e,尚未发现第三关键帧。
T=7时,图g的旋转角度小于第二关键帧图e,因此确定第三关键帧为图g。
至此,三个关键帧均检测到,判断转头动作成功,人脸活体检测结束,将检测结果返回客户端。
本发明实施例通过将前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性,同时提出了一种新的动作模型分析方法,通过对三个关键帧的定位来确定头部运动趋势,优化了动作趋势判断的准确性。
图5示出了本发明实施例的人脸活体检测装置的结构示意图。如图5所示,该人脸活体检测装置包括:视频采集单元501、图像截取单元502以及图像输出单元503。其中:
视频采集单元501用于采集用于用户人脸活体检测的视频图像;图像截取单元502用于根据所述视频图像截取用于人脸活体检测的连续各帧图像;图像输出单元503用于对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理。
在一种可选的方式中,视频采集单元501用于:获取所述服务端发送的动作指令;根据所述动作指令应用图像采集装置采集所述视频图像。
本发明实施例通过采集用于用户人脸识别的视频图像;根据所述视频图像截取用于人脸识别的连续各帧图像;对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理,通过前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性。
图6示出了本发明实施例的另一人脸活体检测装置的结构示意图。如图6所示,该人脸活体检测装置包括:图片接收单元601、人脸定位单元602、角度获取单元603以及动作识别单元604。其中:
图片接收单元601用于接收客户端发送的基于用户人脸活体检测的压缩的图片流;人脸定位单元602用于对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置;角度获取单元603用于根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度;动作识别单元604用于根据所述连续各帧图像的所述旋转角度识别用户的动作。
在一种可选的方式中,人脸活体检测装置还包括指令生成单元605,用于:随机生成动作指令;将所述动作指令发送至客户端以采集所述视频图像。
在一种可选的方式中,动作识别单元604用于:在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧;如果能够定位到所述三个关键帧,则识别成功;如果不能够定位到所述三个关键帧,则识别失败。
在一种可选的方式中,动作识别单元604用于:定位所述连续各帧图像中第二关键帧前所述旋转角度最小的帧为第一关键帧;定位所述连续各帧图像中与第一关键帧的所述旋转角度差值超过预设阈值的帧为第二关键帧;定位所述连续各帧图像中第二关键帧之后所述旋转角度小于所述第二关键帧的第一帧为第三关键帧。
本发明实施例通过将前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性,同时提出了一种新的动作模型分析方法,通过对三个关键帧的定位来确定头部运动趋势,优化了动作趋势判断的准确性。
本发明实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的人脸活体检测方法。
可执行指令具体可以用于使得处理器执行以下操作:
采集用于用户人脸活体检测的视频图像;
根据所述视频图像截取用于人脸活体检测的连续各帧图像;
对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
获取所述服务端发送的动作指令;
根据所述动作指令应用图像采集装置采集所述视频图像。
本发明实施例通过采集用于用户人脸识别的视频图像;根据所述视频图像截取用于人脸识别的连续各帧图像;对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理,通过将前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性,同时提出了一种新的动作模型分析方法,通过对三个关键帧的定位来确定头部运动趋势,优化了动作趋势判断的准确性。
本发明实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的人脸活体检测方法。
可执行指令使所述处理器执行以下操作:
接收客户端发送的根据采集的视频图像处理后得到的压缩的图片流;
对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置;
根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度;
根据所述连续各帧图像的所述旋转角度识别用户的动作。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
随机生成动作指令;
将所述动作指令发送至客户端以采集所述视频图像。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧;
如果能够定位到所述三个关键帧,则识别成功;
如果不能够定位到所述三个关键帧,则识别失败。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
定位所述连续各帧图像中第二关键帧前所述旋转角度最小的帧为第一关键帧;
定位所述连续各帧图像中与第一关键帧的所述旋转角度差值超过预设阈值的帧为第二关键帧;
定位所述连续各帧图像中第二关键帧之后所述旋转角度小于所述第二关键帧的第一帧为第三关键帧。
本发明实施例通过将前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性,同时提出了一种新的动作模型分析方法,通过对三个关键帧的定位来确定头部运动趋势,优化了动作趋势判断的准确性。
本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任意方法实施例中的人脸活体检测方法。
可执行指令具体可以用于使得处理器执行以下操作:
采集用于用户人脸活体检测的视频图像;
根据所述视频图像截取用于人脸活体检测的连续各帧图像;
对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
获取所述服务端发送的动作指令;
根据所述动作指令应用图像采集装置采集所述视频图像。
本发明实施例通过采集用于用户人脸识别的视频图像;根据所述视频图像截取用于人脸识别的连续各帧图像;对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理,通过将前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性,同时提出了一种新的动作模型分析方法,通过对三个关键帧的定位来确定头部运动趋势,优化了动作趋势判断的准确性。
本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任意方法实施例中的人脸活体检测方法。
可执行指令使所述处理器执行以下操作:
接收客户端发送的根据采集的视频图像处理后得到的压缩的图片流;
对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置;
根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度;
根据所述连续各帧图像的所述旋转角度识别用户的动作。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
随机生成动作指令;
将所述动作指令发送至客户端以采集所述视频图像。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧;
如果能够定位到所述三个关键帧,则识别成功;
如果不能够定位到所述三个关键帧,则识别失败。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
定位所述连续各帧图像中第二关键帧前所述旋转角度最小的帧为第一关键帧;
定位所述连续各帧图像中与第一关键帧的所述旋转角度差值超过预设阈值的帧为第二关键帧;
定位所述连续各帧图像中第二关键帧之后所述旋转角度小于所述第二关键帧的第一帧为第三关键帧。
本发明实施例通过将前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性,同时提出了一种新的动作模型分析方法,通过对三个关键帧的定位来确定头部运动趋势,优化了动作趋势判断的准确性。
图7示出了本发明实施例提供的计算设备的结构示意图,本发明具体实施例并不对设备的具体实现做限定。
如图7所示,该计算设备可以包括:处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中:处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。通信接口704,用于与其它设备比如客户端或其它服务器等的网元通信。处理器702,用于执行程序710,具体可以执行上述人脸活体检测方法实施例中的相关步骤。
具体地,程序710可以包括程序代码,该程序代码包括计算机操作指令。
处理器702可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或各个集成电路。设备包括的一个或各个处理器,可以是同一类型的处理器,如一个或各个CPU;也可以是不同类型的处理器,如一个或各个CPU以及一个或各个ASIC。
存储器706,用于存放程序710。存储器706可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序710具体可以用于使得处理器702执行以下操作:
采集用于用户人脸活体检测的视频图像;
根据所述视频图像截取用于人脸活体检测的连续各帧图像;
对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理。
在一种可选的方式中,所述程序710使所述处理器执行以下操作:
获取所述服务端发送的动作指令;
根据所述动作指令应用图像采集装置采集所述视频图像。
本发明实施例通过采集用于用户人脸识别的视频图像;根据所述视频图像截取用于人脸识别的连续各帧图像;对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理,通过将前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性,同时提出了一种新的动作模型分析方法,通过对三个关键帧的定位来确定头部运动趋势,优化了动作趋势判断的准确性。
图8示出了本发明实施例提供的计算设备的结构示意图,本发明具体实施例并不对设备的具体实现做限定。
如图8所示,该计算设备可以包括:处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。
其中:处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。通信接口804,用于与其它设备比如客户端或其它服务器等的网元通信。处理器802,用于执行程序810,具体可以执行上述人脸活体检测方法实施例中的相关步骤。
具体地,程序810可以包括程序代码,该程序代码包括计算机操作指令。
处理器802可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或各个集成电路。设备包括的一个或各个处理器,可以是同一类型的处理器,如一个或各个CPU;也可以是不同类型的处理器,如一个或各个CPU以及一个或各个ASIC。
存储器806,用于存放程序810。存储器806可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序810具体可以用于使得处理器802执行以下操作:
接收客户端发送的根据采集的视频图像处理后得到的压缩的图片流;
对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置;
根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度;
根据所述连续各帧图像的所述旋转角度识别用户的动作。
在一种可选的方式中,所述程序810使所述处理器执行以下操作:
随机生成动作指令;
将所述动作指令发送至客户端以采集所述视频图像。
在一种可选的方式中,所述程序810使所述处理器执行以下操作:
在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧;
如果能够定位到所述三个关键帧,则识别成功;
如果不能够定位到所述三个关键帧,则识别失败。
在一种可选的方式中,所述程序810使所述处理器执行以下操作:
定位所述连续各帧图像中第二关键帧前所述旋转角度最小的帧为第一关键帧;
定位所述连续各帧图像中与第一关键帧的所述旋转角度差值超过预设阈值的帧为第二关键帧;
定位所述连续各帧图像中第二关键帧之后所述旋转角度小于所述第二关键帧的第一帧为第三关键帧。
本发明实施例通过将前后端分离,实现了更可靠的动作指令决定方式,提高了活体检测应用的安全性和实时性,同时提出了一种新的动作模型分析方法,通过对三个关键帧的定位来确定头部运动趋势,优化了动作趋势判断的准确性。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

Claims (8)

1.一种人脸活体检测方法,其特征在于,所述方法包括:
客户端采集用于用户人脸活体检测的视频图像;根据所述视频图像截取用于人脸活体检测的连续各帧图像;对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理;
所述服务端接收客户端发送的根据采集的视频图像处理后得到的压缩的图片流;对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置;根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度;根据所述连续各帧图像的所述旋转角度识别用户的动作;
其中,所述根据所述连续各帧图像的所述旋转角度识别用户的动作,包括:在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧;如果能够定位到所述三个关键帧,则识别成功;如果不能够定位到所述三个关键帧,则识别失败;
所述在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧,包括:定位所述连续各帧图像中第二关键帧前所述旋转角度最小的帧为第一关键帧;定位所述连续各帧图像中与第一关键帧的所述旋转角度差值超过预设阈值的帧为第二关键帧;定位所述连续各帧图像中第二关键帧之后所述旋转角度小于所述第二关键帧的第一帧为第三关键帧。
2.根据权利要求1所述的方法,其特征在于,所述采集用于用户人脸活体检测的视频图像,包括:
获取所述服务端发送的动作指令;
根据所述动作指令应用图像采集装置采集所述视频图像。
3.一种人脸活体检测方法,其特征在于,所述方法包括:
接收客户端发送的根据采集的视频图像处理后得到的压缩的图片流;
对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置;
根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度;
根据所述连续各帧图像的所述旋转角度识别用户的动作,包括:在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧;如果能够定位到所述三个关键帧,则识别成功;如果不能够定位到所述三个关键帧,则识别失败;
所述在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧,包括:定位所述连续各帧图像中第二关键帧前所述旋转角度最小的帧为第一关键帧;定位所述连续各帧图像中与第一关键帧的所述旋转角度差值超过预设阈值的帧为第二关键帧;定位所述连续各帧图像中第二关键帧之后所述旋转角度小于所述第二关键帧的第一帧为第三关键帧。
4.根据权利要求3所述的方法,其特征在于,所述接收客户端发送的根据采集的视频图像处理后得到的压缩的图片流之前,包括:
随机生成动作指令;
将所述动作指令发送至客户端以采集所述视频图像。
5.一种人脸活体检测装置,其特征在于,所述装置包括:
视频采集单元,用于采集用于用户人脸活体检测的视频图像;
图像截取单元,用于根据所述视频图像截取用于人脸活体检测的连续各帧图像;
图像输出单元,用于对所述连续各帧图像进行图片压缩形成图片流并传输至服务端进行识别处理;
图片接收单元,用于接收客户端发送的基于用户人脸活体检测的压缩的图片流;
人脸定位单元,用于对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置;
角度获取单元,用于根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度;
动作识别单元,用于根据所述连续各帧图像的所述旋转角度识别用户的动作。
6.一种人脸活体检测装置,其特征在于,所述装置包括:
图片接收单元,用于接收客户端发送的基于用户人脸活体检测的压缩的图片流;
人脸定位单元,用于对所述图片流上连续各帧图像进行人脸定位,并获取特征点的位置;
角度获取单元,用于根据所述特征点的位置应用算法与预存的三维人脸模型进行匹配,获取所述连续各帧图像的旋转角度;
动作识别单元,用于根据所述连续各帧图像的所述旋转角度识别用户的动作,包括:在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧;如果能够定位到所述三个关键帧,则识别成功;如果不能够定位到所述三个关键帧,则识别失败;
所述在所述连续各帧图像中定位所述旋转角度满足预设条件的三个关键帧,包括:定位所述连续各帧图像中第二关键帧前所述旋转角度最小的帧为第一关键帧;定位所述连续各帧图像中与第一关键帧的所述旋转角度差值超过预设阈值的帧为第二关键帧;定位所述连续各帧图像中第二关键帧之后所述旋转角度小于所述第二关键帧的第一帧为第三关键帧。
7.一种计算设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行根据权利要求1-4中任一项所述的人脸活体检测方法的步骤。
8.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行根据权利要求1-4中任一项所述的人脸活体检测方法的步骤。
CN201910688392.8A 2019-07-29 2019-07-29 人脸活体检测方法、装置、计算设备及计算机存储介质 Active CN112307817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910688392.8A CN112307817B (zh) 2019-07-29 2019-07-29 人脸活体检测方法、装置、计算设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910688392.8A CN112307817B (zh) 2019-07-29 2019-07-29 人脸活体检测方法、装置、计算设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112307817A CN112307817A (zh) 2021-02-02
CN112307817B true CN112307817B (zh) 2024-03-19

Family

ID=74329392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910688392.8A Active CN112307817B (zh) 2019-07-29 2019-07-29 人脸活体检测方法、装置、计算设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112307817B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329137B (zh) * 2021-05-31 2023-08-04 口碑(上海)信息技术有限公司 图片传输方法、装置、计算机设备及计算机可读存储介质
CN113743196A (zh) * 2021-07-23 2021-12-03 北京眼神智能科技有限公司 活体检测方法、装置及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360421A (zh) * 2011-10-19 2012-02-22 苏州大学 一种基于视频流的人脸识别方法及系统
CN103593598A (zh) * 2013-11-25 2014-02-19 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
CN106960177A (zh) * 2015-02-15 2017-07-18 北京旷视科技有限公司 活体人脸验证方法及系统、活体人脸验证装置
CN107368783A (zh) * 2017-06-14 2017-11-21 广东欧珀移动通信有限公司 活体虹膜检测方法、电子装置和计算机可读存储介质
CN107564062A (zh) * 2017-08-16 2018-01-09 清华大学 位姿异常检测方法及装置
CN107679446A (zh) * 2017-08-17 2018-02-09 平安科技(深圳)有限公司 人脸姿态检测方法、装置及存储介质
CN108062791A (zh) * 2018-01-12 2018-05-22 北京奇虎科技有限公司 一种重建人脸三维模型的方法和装置
WO2018192406A1 (zh) * 2017-04-20 2018-10-25 腾讯科技(深圳)有限公司 身份验证方法及装置、存储介质
CN109034013A (zh) * 2018-07-10 2018-12-18 腾讯科技(深圳)有限公司 一种人脸图像识别方法、装置及存储介质
CN109472208A (zh) * 2018-10-12 2019-03-15 平安科技(深圳)有限公司 基于人脸识别的办证方法、装置、计算机设备及存储介质
CN109800643A (zh) * 2018-12-14 2019-05-24 天津大学 一种活体人脸多角度的身份识别方法
CN109840453A (zh) * 2017-11-28 2019-06-04 中国移动通信集团浙江有限公司 一种人脸匹配方法及装置
CN109886080A (zh) * 2018-12-29 2019-06-14 深圳云天励飞技术有限公司 人脸活体检测方法、装置、电子设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10331942B2 (en) * 2017-05-31 2019-06-25 Facebook, Inc. Face liveness detection

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360421A (zh) * 2011-10-19 2012-02-22 苏州大学 一种基于视频流的人脸识别方法及系统
CN103593598A (zh) * 2013-11-25 2014-02-19 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
CN106960177A (zh) * 2015-02-15 2017-07-18 北京旷视科技有限公司 活体人脸验证方法及系统、活体人脸验证装置
WO2018192406A1 (zh) * 2017-04-20 2018-10-25 腾讯科技(深圳)有限公司 身份验证方法及装置、存储介质
CN107368783A (zh) * 2017-06-14 2017-11-21 广东欧珀移动通信有限公司 活体虹膜检测方法、电子装置和计算机可读存储介质
CN107564062A (zh) * 2017-08-16 2018-01-09 清华大学 位姿异常检测方法及装置
CN107679446A (zh) * 2017-08-17 2018-02-09 平安科技(深圳)有限公司 人脸姿态检测方法、装置及存储介质
CN109840453A (zh) * 2017-11-28 2019-06-04 中国移动通信集团浙江有限公司 一种人脸匹配方法及装置
CN108062791A (zh) * 2018-01-12 2018-05-22 北京奇虎科技有限公司 一种重建人脸三维模型的方法和装置
CN109034013A (zh) * 2018-07-10 2018-12-18 腾讯科技(深圳)有限公司 一种人脸图像识别方法、装置及存储介质
CN109472208A (zh) * 2018-10-12 2019-03-15 平安科技(深圳)有限公司 基于人脸识别的办证方法、装置、计算机设备及存储介质
CN109800643A (zh) * 2018-12-14 2019-05-24 天津大学 一种活体人脸多角度的身份识别方法
CN109886080A (zh) * 2018-12-29 2019-06-14 深圳云天励飞技术有限公司 人脸活体检测方法、装置、电子设备及可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Estimating in-plane rotation angle for face images from multi-poses;Seyed Mohammad Hassan Anvar et al;《2013 IEEE Symposium on Computational Intelligence in Biometrics and Identity Management》;52-57 *
Face liveness detection using 3D structure recovered from a single camera;Tao Wang et al;《2013 International Conference on Biometrics》;1-6 *
人体检测及特征点定位技术研究;张金焕;《中国优秀硕士学位论文全文数据库(信息科技辑)》(第2期);I138-1495 *
基于运动信息的人脸活体检测系统的设计与实现;刘平;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第6期);I138-544 *

Also Published As

Publication number Publication date
CN112307817A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN106599772B (zh) 活体验证方法和装置及身份认证方法和装置
US10943095B2 (en) Methods and systems for matching extracted feature descriptors for enhanced face recognition
EP3236391B1 (en) Object detection and recognition under out of focus conditions
CN109117714A (zh) 一种同行人员识别方法、装置、系统及计算机存储介质
Yi et al. EagleEye: Wearable camera-based person identification in crowded urban spaces
TW201911130A (zh) 一種翻拍影像識別方法及裝置
US20170124394A1 (en) Iris liveness detection for mobile devices
JP4642128B2 (ja) 画像処理方法、画像処理装置及びシステム
CN110287776B (zh) 一种人脸识别的方法、装置以及计算机可读存储介质
US11042725B2 (en) Method for selecting frames used in face processing
US11036998B2 (en) CCTV video smart surveillance system and method thereof
CN108875478B (zh) 人证合一核验方法、装置和系统及存储介质
JP2012088787A (ja) 画像処理装置、画像処理方法
KR20170015639A (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN112307817B (zh) 人脸活体检测方法、装置、计算设备及计算机存储介质
CN110728188A (zh) 图像处理方法、装置、系统和存储介质
JP5423740B2 (ja) 映像提供装置、映像利用装置、映像提供システム、映像提供方法、および、コンピュータ・プログラム
CN110991231B (zh) 活体检测方法、装置、服务器和人脸识别设备
KR101350882B1 (ko) 영상 분석 서버
CN108875472B (zh) 图像采集装置及基于该图像采集装置的人脸身份验证方法
Mukherjee et al. Energy efficient face recognition in mobile-fog environment
WO2020115910A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN116152908A (zh) 动作识别、活体检测和模型训练方法及装置、电子设备
JP2018137639A (ja) 動画像処理システム、並びに、符号化装置及びプログラム、並びに、復号装置及びプログラム
CN113762156B (zh) 观影数据处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant