CN110688950B - 基于深度信息的人脸活体检测方法、装置 - Google Patents

基于深度信息的人脸活体检测方法、装置 Download PDF

Info

Publication number
CN110688950B
CN110688950B CN201910919092.6A CN201910919092A CN110688950B CN 110688950 B CN110688950 B CN 110688950B CN 201910919092 A CN201910919092 A CN 201910919092A CN 110688950 B CN110688950 B CN 110688950B
Authority
CN
China
Prior art keywords
image
face
dimensional
curved surface
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910919092.6A
Other languages
English (en)
Other versions
CN110688950A (zh
Inventor
方利红
程恭亮
侯方超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Aixin Intelligent Technology Co ltd
Original Assignee
Hangzhou Aixin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Aixin Intelligent Technology Co ltd filed Critical Hangzhou Aixin Intelligent Technology Co ltd
Priority to CN201910919092.6A priority Critical patent/CN110688950B/zh
Publication of CN110688950A publication Critical patent/CN110688950A/zh
Application granted granted Critical
Publication of CN110688950B publication Critical patent/CN110688950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于深度信息的人脸活体检测方法、装置、计算机设备和存储介质。所述方法包括：从包含人脸的深度图像中获取人脸所在区域的面部深度图像；对获取到的面部深度图像进行归一化处理，得到灰度图像；建立三维坐标系，将灰度图像还原成三维空间中的三维曲面；提取三维曲面中的三维信息，并将提取到的三维信息压缩到二维空间，生成特征图像；将特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果。采用本方法能够有效防范照片、电子视频回放等二维假体攻击，提升检测准确率和运行效率，降低训练成本。

Description

基于深度信息的人脸活体检测方法、装置
技术领域
本申请涉及人脸识别技术领域，特别是涉及一种基于深度信息的人脸活体检测方法、装置、计算机设备和存储介质。
背景技术
在目前的活体检测技术中，为了更有效的防范照片、电子视频回放等二维攻击，引入了深度相机。深度相机用于收集被检测物体的三维信息。现有的人脸活体检测技术是将人脸深度信息经过深度归一化之后，转换为灰度图，然后送入深度卷积神经网络进行判断，以区分被检测人脸是否为活体。
由于深度信息转换为灰度图像后，会丢失大量的人脸三维信息，所以导致活体检侧的准确率较低。而且上述方法需要复杂的网络加上大量的数据来提取被隐含的特征，从而造成训练成本高和运行效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种基于深度信息的人脸活体检测方法、装置、计算机设备和存储介质，能够大幅度提升人脸活体检测的准确率和运算效率，同时降低训练时间和成本。
一种基于深度信息的人脸活体检测方法，包括以下步骤：
从包含人脸的深度图像中获取人脸所在区域的面部深度图像；
对获取到的所述面部深度图像进行归一化处理，得到灰度图像；
建立三维坐标系，将所述灰度图像还原成三维空间中的三维曲面；
提取所述三维曲面中的三维信息，并将提取到的所述三维信息压缩到二维空间，生成特征图像；
将所述特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果。
在其中一个实施例中，所述对获取到的所述面部深度图像进行归一化处理，得到灰度图像，包括以下步骤：
统计所述面部深度图像中心1/4区域大小内的非零像素的平均值，记为人脸深度均值；
以所述人脸深度均值为基准，前后100mm距离为极值，进行归一化处理，得到所述灰度图像：
face_new(x,y)＝(face_old(x,y)-ave-100)/(200)；
其中，face_new(x,y)为归一化后得到的灰度图像的人脸区域像素值；(face_old(x,y)为面部深度图像的人脸区域像素值；ave为人脸深度均值，其单位为mm。
在其中一个实施例中，所述建立三维坐标系，将所述灰度图像还原成三维空间中的三维曲面，包括以下步骤：
建立笛卡尔空间直角坐标系；
在所述笛卡尔空间直角坐标系中，对所述灰度图像中的像素点进行坐标标注；
根据坐标标注结果生成所述三维曲面。
在其中一个实施例中，所述建立笛卡尔空间直角坐标系包括以下步骤：
以所述灰度图像的左上角为坐标原点，宽度方向为x轴，高度方向为y轴，垂直于x、y轴的方向为z轴，建立笛卡尔坐标系；其中，x轴和y轴以所述灰度图像的一个像素位置为单位1，z轴以归一化后得到的所述灰度图像的人脸区域像素值为实际坐标值。
在其中一个实施例中，所述提取所述三维曲面中的三维信息，并将提取到的所述三维信息压缩到二维空间，生成特征图像，包括以下步骤：
选中所述三维曲面中的任意一点，以该点为中心，取x、y方向窗口大小为N*N的曲面，N>1；
使用最小二乘法，对该曲面进行拟合，得到一个平面；
根据拟合得到的平面，计算出与该平面垂直的法向量；
将所述法向量进行归一化处理，得到三个单位向量；
将得到的三个单位向量作为图像R、G、B的三个通道，合并生成一个彩色图像；
当得到所述三维曲面中所有的点对应生成若干彩色图像后，对所有的彩色图像进行合并，生成所述特征图像。
在其中一个实施例中，将所述法向量进行归一化处理，得到三个单位向量，具体计算公式如下：
X’＝(X/(X*X+Y*Y+Z*Z)+1)/2*255；
Y’＝(Y/(X*X+Y*Y+Z*Z)+1)/2*255；
Z’＝(Z/(X*X+Y*Y+Z*Z)+1)/2*255；
其中，X、Y、Z为三个法向量，X’、Y’、Z’为三个单位向量。
在其中一个实施例中，该方法还包括以下步骤：
基于特征图像，训练得到所述深度卷积神经网络。
一种基于深度信息的人脸活体检测装置，包括面部深度图像获取模块、灰度图像计算模块、三维转换模块、特征图像生成模块、以及二分类检测模块；
所述面部深度图像获取模块，用于从包含人脸的深度图像中获取人脸所在区域的面部深度图像；
所述灰度图像计算模块，用于对获取到的所述面部深度图像进行归一化处理，得到灰度图像；
所述三维转换模块，用于建立三维坐标系，将所述灰度图像还原成三维空间中的三维曲面；
所述特征图像生成模块，用于提取所述三维曲面中的三维信息，并将提取到的所述三维信息压缩到二维空间，生成特征图像；
所述二分类检测模块，用于将所述特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从包含人脸的深度图像中获取人脸所在区域的面部深度图像；
对获取到的所述面部深度图像进行归一化处理，得到灰度图像；
建立三维坐标系，将所述灰度图像还原成三维空间中的三维曲面；
提取所述三维曲面中的三维信息，并将提取到的所述三维信息压缩到二维空间，生成特征图像；
将所述特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
从包含人脸的深度图像中获取人脸所在区域的面部深度图像；
对获取到的所述面部深度图像进行归一化处理，得到灰度图像；
建立三维坐标系，将所述灰度图像还原成三维空间中的三维曲面；
提取所述三维曲面中的三维信息，并将提取到的所述三维信息压缩到二维空间，生成特征图像；
将所述特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果。
上述基于深度信息的人脸活体检测方法、装置、计算机设备和存储介质，通过对人脸所在区域的面部深度图像进行归一化处理，得到灰度图像，然后建立三维坐标系，将人脸近似还原到三维空间中，再提取三维信息压缩到二维空间，生成特征图像，能够较大程度的保留人脸表面的三维信息。最后，将特征图像送入提前训练好的深度神经网络进行二分类检测，有效防范照片、电子视频回放等二维假体攻击。
由于最后检测的特征图像对三维信息的良好信息保留和特征表现，可以有效的提升检测准确率。并且分类器容易快速的进行收敛，可以大大缩减深度神经网络的复杂度，缩减样本数量和训练耗时，降低训练成本。同时，对于简单的深度神经网络分类器运行效率也能够得以较大提升。
附图说明
图1为一个实施例中基于深度信息的人脸活体检测方法的应用环境图；
图2为一个实施例中基于深度信息的人脸活体检测方法的流程示意图；
图3为一个实施例中归一化处理后的灰度图像；
图4为一个实施例中生成的特征图像；
图5为一个实施例中基于深度信息的人脸活体检测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于深度信息的人脸活体检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。用户可以通过终端102采集或者输入包含人脸的深度图像，然后通过网络传输至服务器104中进行人脸活体检测。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器104可以根据终端102采集或输入的包含人脸的深度图像进行检测，输出人脸活体检测结果。服务器104用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于深度信息的人脸活体检测方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S100、从包含人脸的深度图像中获取人脸所在区域的面部深度图像。
终端设备采集或者获取用户输入的包含人脸的深度图像，通过有线或无线网络传输至处理器，处理器采用现有的人脸检测算法即可从中获取人脸所在区域的面部深度图像，并执行以下检测步骤。
S200、对获取到的面部深度图像进行归一化处理，得到灰度图像。
对获取到的面部深度图像进行归一化处理，得到灰度图像，为本申请中的数据预处理步骤，为接下来的数据处理做准备。
S300、建立三维坐标系，将灰度图像还原成三维空间中的三维曲面。
通过建立三维坐标系，例如，笛卡尔空间直角坐标系、圆柱坐标系、球面坐标系等，将灰度图像还原成三维空间中的三维曲面，能够较好地保留人脸的三维信息。这样就弥补了将面部深度图像转换位灰度图像后，所造成的人脸三维信息的丢失。
S400、提取三维曲面中的三维信息，并将提取到的三维信息压缩到二维空间，生成特征图像。
在将灰度图送入神经网络前，本实施例引入了一种深度人脸特征提取的方法，用来对被检测人脸的深度图像进行特征提取预处理，以便在将面部深度图像转换为二维图像时保留更多的人脸三维信息，大幅度提升检测的准确率和运算效率。
S500、将特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果。
为了提升活体检测的准确率，解决成本高和效率低的问题，本实施例通过对人脸所在区域的面部深度图像进行归一化处理，然后建立三维坐标系，将人脸近似还原到三维空间中，再提取三维信息压缩到二维空间，生成特征图像，能够较大程度的保留人脸表面的三维信息。最后，将特征图像送入提前训练好的深度神经网络进行二分类检测，有效防范照片、电子视频回放等二维假体攻击。
由于最后检测的特征图像对三维信息的良好信息保留和特征表现，可以有效的提升检测准确率。并且分类器容易快速的进行收敛，可以大大缩减深度神经网络的复杂度，缩减样本数量和训练耗时，减少训练成本。同时，对于简单的深度神经网络分类器运行效率也能够得以较大提升。
在其中一个实施例中，步骤S200中，对获取到的面部深度图像进行归一化处理，得到灰度图像，具体可通过以下步骤实现：
S210、统计面部深度图像中心1/4区域大小内的非零像素的平均值，记为人脸深度均值。
统计非零像素的平均值，目的是去除一些情况下像素值可能为零时的干扰。
本实施例中，是通过统计面部深度图像中心1/4区域大小内的非零像素的平均值作为人脸深度均值，但不限于此种统计方法。实际使用中可根据处理精度的需求，调整人脸深度均值的统计方法。例如，可以统计面部深度图像中心1/2、1/3、或者1/6区域大小内的非零像素的平均值作为人脸深度均值，统计面积越大，计算量越大，但是得到的人脸深度均值越精确；反之，统计面积越小，计算量越小，但是得到的人脸深度均值越不精确。
S220、以人脸深度均值为基准，前后100mm距离为极值，进行归一化处理，得到灰度图像；
face_new(x,y)＝(face_old(x,y)-ave-100)/(200)；
其中，face_new(x,y)为归一化后得到的灰度图像的人脸区域像素值；(face_old(x,y)为面部深度图像的人脸区域像素值；ave为人脸深度均值，其单位为mm，面部深度图像中的像素点归一化处理后得到的归一化后的灰度图像记为face_new，如图3所示。
同理，上述灰度图像的计算过程也是基于前述人脸深度均值的统计区域的选取，以前后100mm距离为极值进行计算的。本申请中，人脸深度均值的统计和极值的选取并不限于此实施例。
在其中一个实施例中，步骤S300中，建立三维坐标系，将灰度图像还原成三维空间中的三维曲面，具体可以通过以下步骤实现：
S310、建立笛卡尔空间直角坐标系；
具体地，以灰度图像的左上角为坐标原点，宽度方向为x轴，高度方向为y轴，垂直于x、y轴的方向为z轴，建立笛卡尔坐标系；其中，x轴和y轴以灰度图像的一个像素位置为单位1，z轴以归一化后得到的灰度图像的人脸区域像素值为实际坐标值。
例如：灰度图像的左上角像素为(0.0)，其像素值为face_new(0,0)，则该点的坐标为：face_new_3d(0,0,0)＝(0，0，face_new(0,0))；同理，灰度图像中的点的坐标为face_new_3d(x,y,z)＝(x，y，face_new(x,y))。
S320、在笛卡尔空间直角坐标系中，对灰度图像中的像素点进行坐标标注。
S330、根据坐标标注结果生成三维曲面。
当灰度图像的所有像素标注完后，即可生成三维曲面face_new_3d。
在其中一个实施例中，步骤S400中提取三维曲面中的三维信息，并将提取到的三维信息压缩到二维空间，生成特征图像，具体可以通过以下步骤实现：
接下来，对于三维曲面face_new_3d中的每一个点执行以下S410-S450：
S410、选中三维曲面中的任意一点face_new_3d(x,y,z)，以该点为中心，取x、y方向窗口大小为N*N的曲面(记为face_new_3d_surf(x,y,z))，N>1；
S420、使用最小二乘法，对该曲面进行拟合，得到一个平面(记为face_new_3d_plane(x,y,z))；
S430、根据拟合得到的平面，计算出与该平面垂直的法向量(记为face_vector(x,y,z)＝X，Y，Z)；
S440、将法向量进行归一化处理，得到三个单位向量；
将法向量进行归一化处理，得到三个单位向量，具体计算公式如下：
X’＝(X/(X*X+Y*Y+Z*Z)+1)/2*255；
Y’＝(Y/(X*X+Y*Y+Z*Z)+1)/2*255；
Z’＝(Z/(X*X+Y*Y+Z*Z)+1)/2*255；
其中，X、Y、Z为三个法向量，X’、Y’、Z’为三个单位向量。
S450、将得到的三个单位向量X’、Y’、Z’作为图像R、G、B的三个通道，合并生成一个彩色图像；
S460、当得到三维曲面中所有的点对应生成若干彩色图像后，对所有的彩色图像进行合并，生成特征图像(face_v)，如图4所示。
最后，将特征图像(face_v)送入训练好的深度卷积神经网络(NET_DERTH)进行二分类检测，生成活体检测结果。
在其中一个实施例中，本申请还包括以下步骤：在对被测图像进行二分类检测前，基于训练集中的特征图像，训练得到深度卷积神经网络。将待检测的特征图像送入由特征图像训练的深度卷积神经网络进行二分类检测，即可得到活体检测结果。
为了提升人脸活体检测的准确率，解决训练成本高和运行效率低的问题，本申请在将灰度图像送入深度卷积神经网络前，引入了一种深度人脸特征提取方法，通过对被检测人脸深度图像进行特征提取预处理，以便在将面部深度图像转换为二维图像时保留更多的人脸表面的三维信息，最后送入提前训练好的深度卷积神经网络进行二分类，能够有效的防范照片、电子视频回放等二维假体攻击。同时，使得在相同的深度卷积神经网络下，能够大幅度提升检测的准确率和运算效率，同时降低训练时间和成本。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于深度信息的人脸活体检测装置，包括面部深度图像获取模块100、灰度图像计算模块200、三维转换模块300、特征图像生成模块400、以及二分类检测模块500。
其中，面部深度图像获取模块100用于从包含人脸的深度图像中获取人脸所在区域的面部深度图像；灰度图像计算模块200用于对获取到的面部深度图像进行归一化处理，得到灰度图像；三维转换模块300用于建立三维坐标系，将灰度图像还原成三维空间中的三维曲面；特征图像生成模块400用于提取三维曲面中的三维信息，并将提取到的三维信息压缩到二维空间，生成特征图像；二分类检测模块500用于将特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果。
在其中一个实施例中，灰度图像计算模块200包括统计单元和图像归一化单元。
其中，统计单元用于统计面部深度图像中心1/4区域大小内的非零像素的平均值，记为人脸深度均值；图像归一化单元用于以人脸深度均值为基准，前后100mm距离为极值，进行归一化处理，得到灰度图像：
face_new(x,y)＝(face_old(x,y)-ave-100)/(200)；
其中，face_new(x,y)为归一化后得到的灰度图像的人脸区域像素值；(face_old(x,y)为面部深度图像的人脸区域像素值；ave为人脸深度均值，其单位为mm。
在其中一个实施例中，三维转换模块300包括坐标系建立单元、标注单元、以及三维曲面生成单元。
其中，坐标系建立单元用于建立笛卡尔空间直角坐标系；标注单元用于在笛卡尔空间直角坐标系中，对灰度图像中的像素点进行坐标标注；三维曲面生成单元用于根据坐标标注结果生成三维曲面。
进一步地，坐标系建立单元以灰度图像的左上角为坐标原点，宽度方向为x轴，高度方向为y轴，垂直于x、y轴的方向为z轴，建立笛卡尔坐标系；其中，x轴和y轴以灰度图像的一个像素位置为单位1，z轴以归一化后得到的灰度图像的人脸区域像素值为实际坐标值。
在其中一个实施例中，特征图像生成模块400包括选取单元、拟合单元、计算单元、法向量归一化单元、第一合并单元、以及第二合并单元。
选取单元用于选中三维曲面中的任意一点，以该点为中心，取x、y方向窗口大小为N*N的曲面，N>1；拟合单元用于使用最小二乘法，对该曲面进行拟合，得到一个平面；计算单元用于根据拟合得到的平面，计算出与该平面垂直的法向量；法向量归一化单元用于将法向量进行归一化处理，得到三个单位向量；第一合并单元用于将得到的三个单位向量作为图像R、G、B的三个通道，合并生成一个彩色图像；第二合并单元用于在得到三维曲面中所有的点对应生成若干彩色图像后，对所有的彩色图像进行合并，生成特征图像。
进一步地，法向量归一化单元将法向量进行归一化处理，得到三个单位向量，具体计算公式如下：
X’＝(X/(X*X+Y*Y+Z*Z)+1)/2*255；
Y’＝(Y/(X*X+Y*Y+Z*Z)+1)/2*255；
Z’＝(Z/(X*X+Y*Y+Z*Z)+1)/2*255；
其中，X、Y、Z为三个法向量，X’、Y’、Z’为三个单位向量。
在其中一个实施例中，该装置还包括训练模块(图中未示出)，该训练模块用于基于特征图像，训练得到深度卷积神经网络。
关于基于深度信息的人脸活体检测装置的具体限定可以参见上文中对于基于深度信息的人脸活体检测方法的限定，在此不再赘述。上述基于深度信息的人脸活体检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度信息的人脸活体检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
从包含人脸的深度图像中获取人脸所在区域的面部深度图像；
对获取到的面部深度图像进行归一化处理，得到灰度图像；
建立三维坐标系，将灰度图像还原成三维空间中的三维曲面；
提取三维曲面中的三维信息，并将提取到的三维信息压缩到二维空间，生成特征图像；
将特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
统计面部深度图像中心1/4区域大小内的非零像素的平均值，记为人脸深度均值；
以人脸深度均值为基准，前后100mm距离为极值，进行归一化处理，得到灰度图像：
face_new(x,y)＝(face_old(x,y)-ave-100)/(200)；
其中，face_new(x,y)为归一化后得到的灰度图像的人脸区域像素值；(face_old(x,y)为面部深度图像的人脸区域像素值；ave为人脸深度均值，其单位为mm。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
建立笛卡尔空间直角坐标系；
在笛卡尔空间直角坐标系中，对灰度图像中的像素点进行坐标标注；
根据坐标标注结果生成三维曲面。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
以灰度图像的左上角为坐标原点，宽度方向为x轴，高度方向为y轴，垂直于x、y轴的方向为z轴，建立笛卡尔坐标系；其中，x轴和y轴以灰度图像的一个像素位置为单位1，z轴以归一化后得到的灰度图像的人脸区域像素值为实际坐标值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
提取三维曲面中的三维信息，并将提取到的三维信息压缩到二维空间，生成特征图像，包括以下步骤：
选中三维曲面中的任意一点，以该点为中心，取x、y方向窗口大小为N*N的曲面，N>1；
使用最小二乘法，对该曲面进行拟合，得到一个平面；
根据拟合得到的平面，计算出与该平面垂直的法向量；
将法向量进行归一化处理，得到三个单位向量；
将得到的三个单位向量作为图像R、G、B的三个通道，合并生成一个彩色图像；
当得到三维曲面中所有的点对应生成若干彩色图像后，对所有的彩色图像进行合并，生成特征图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将法向量进行归一化处理，得到三个单位向量，具体计算公式如下：
X’＝(X/(X*X+Y*Y+Z*Z)+1)/2*255；
Y’＝(Y/(X*X+Y*Y+Z*Z)+1)/2*255；
Z’＝(Z/(X*X+Y*Y+Z*Z)+1)/2*255；
其中，X、Y、Z为三个法向量，X’、Y’、Z’为三个单位向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于特征图像，训练得到深度卷积神经网络。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
从包含人脸的深度图像中获取人脸所在区域的面部深度图像；
对获取到的面部深度图像进行归一化处理，得到灰度图像；
建立三维坐标系，将灰度图像还原成三维空间中的三维曲面；
提取三维曲面中的三维信息，并将提取到的三维信息压缩到二维空间，生成特征图像；
将特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
统计面部深度图像中心1/4区域大小内的非零像素的平均值，记为人脸深度均值；
以人脸深度均值为基准，前后100mm距离为极值，进行归一化处理，得到灰度图像：
face_new(x,y)＝(face_old(x,y)-ave-100)/(200)；
其中，face_new(x,y)为归一化后得到的灰度图像的人脸区域像素值；(face_old(x,y)为面部深度图像的人脸区域像素值；ave为人脸深度均值，其单位为mm。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
建立笛卡尔空间直角坐标系；
在笛卡尔空间直角坐标系中，对灰度图像中的像素点进行坐标标注；
根据坐标标注结果生成三维曲面。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
以灰度图像的左上角为坐标原点，宽度方向为x轴，高度方向为y轴，垂直于x、y轴的方向为z轴，建立笛卡尔坐标系；其中，x轴和y轴以灰度图像的一个像素位置为单位1，z轴以归一化后得到的灰度图像的人脸区域像素值为实际坐标值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
选中三维曲面中的任意一点，以该点为中心，取x、y方向窗口大小为N*N的曲面，N>1；
使用最小二乘法，对该曲面进行拟合，得到一个平面；
根据拟合得到的平面，计算出与该平面垂直的法向量；
将法向量进行归一化处理，得到三个单位向量；
将得到的三个单位向量作为图像R、G、B的三个通道，合并生成一个彩色图像；
当得到三维曲面中所有的点对应生成若干彩色图像后，对所有的彩色图像进行合并，生成特征图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将法向量进行归一化处理，得到三个单位向量，具体计算公式如下：
X’＝(X/(X*X+Y*Y+Z*Z)+1)/2*255；
Y’＝(Y/(X*X+Y*Y+Z*Z)+1)/2*255；
Z’＝(Z/(X*X+Y*Y+Z*Z)+1)/2*255；
其中，X、Y、Z为三个法向量，X’、Y’、Z’为三个单位向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于特征图像，训练得到深度卷积神经网络。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于深度信息的人脸活体检测方法，其特征在于，包括以下步骤：
从包含人脸的深度图像中获取人脸所在区域的面部深度图像；
对获取到的所述面部深度图像进行归一化处理，得到灰度图像；
建立三维坐标系，将所述灰度图像还原成三维空间中的三维曲面；
提取所述三维曲面中的三维信息，并将提取到的所述三维信息压缩到二维空间，生成特征图像；
将所述特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果；
其中，所述提取所述三维曲面中的三维信息，并将提取到的所述三维信息压缩到二维空间，生成特征图像，包括以下步骤：
选中所述三维曲面中的任意一点，以该点为中心，取x、y方向窗口大小为N*N的曲面，N>1；
使用最小二乘法，对该曲面进行拟合，得到一个平面；
根据拟合得到的平面，计算出与该平面垂直的法向量；
将所述法向量进行归一化处理，得到三个单位向量；
将得到的三个单位向量作为图像R、G、B的三个通道，合并生成一个彩色图像；
当得到所述三维曲面中所有的点对应生成若干彩色图像后，对所有的彩色图像进行合并，生成所述特征图像。
2.根据权利要求1所述的基于深度信息的人脸活体检测方法，其特征在于，所述对获取到的所述面部深度图像进行归一化处理，得到灰度图像，包括以下步骤：
统计所述面部深度图像中心1/4区域大小内的非零像素的平均值，记为人脸深度均值；
以所述人脸深度均值为基准，前后100mm距离为极值，进行归一化处理，得到所述灰度图像：
face_new(x,y)＝(face_old(x,y)-ave-100)/(200)；
其中，face_new(x,y)为归一化后得到的灰度图像的人脸区域像素值；face_old(x,y)为面部深度图像的人脸区域像素值；ave为人脸深度均值，其单位为mm。
3.根据权利要求1所述的基于深度信息的人脸活体检测方法，其特征在于，所述建立三维坐标系，将所述灰度图像还原成三维空间中的三维曲面，包括以下步骤：
建立笛卡尔空间直角坐标系；
在所述笛卡尔空间直角坐标系中，对所述灰度图像中的像素点进行坐标标注；
根据坐标标注结果生成所述三维曲面。
4.根据权利要求3所述的基于深度信息的人脸活体检测方法，其特征在于，所述建立笛卡尔空间直角坐标系包括以下步骤：
以所述灰度图像的左上角为坐标原点，宽度方向为x轴，高度方向为y轴，垂直于x、y轴的方向为z轴，建立笛卡尔坐标系；其中，x轴和y轴以所述灰度图像的一个像素位置为单位1，z轴以归一化后得到的所述灰度图像的人脸区域像素值为实际坐标值。
5.根据权利要求1所述的基于深度信息的人脸活体检测方法，其特征在于，将所述法向量进行归一化处理，得到三个单位向量，具体计算公式如下：
X’＝(X/(X*X+Y*Y+Z*Z)+1)/2*255；
Y’＝(Y/(X*X+Y*Y+Z*Z)+1)/2*255；
Z’＝(Z/(X*X+Y*Y+Z*Z)+1)/2*255；
其中，X、Y、Z为三个法向量，X’、Y’、Z’为三个单位向量。
6.根据权利要求1至4任意一项所述的基于深度信息的人脸活体检测方法，其特征在于，还包括以下步骤：
基于特征图像，训练得到所述深度卷积神经网络。
7.一种基于深度信息的人脸活体检测装置，其特征在于，包括面部深度图像获取模块、灰度图像计算模块、三维转换模块、特征图像生成模块、以及二分类检测模块；
所述面部深度图像获取模块，用于从包含人脸的深度图像中获取人脸所在区域的面部深度图像；
所述灰度图像计算模块，用于对获取到的所述面部深度图像进行归一化处理，得到灰度图像；
所述三维转换模块，用于建立三维坐标系，将所述灰度图像还原成三维空间中的三维曲面；
所述特征图像生成模块，用于提取所述三维曲面中的三维信息，并将提取到的所述三维信息压缩到二维空间，生成特征图像；
所述二分类检测模块，用于将所述特征图像送入训练好的深度卷积神经网络进行二分类检测，得到活体检测结果；
其中，所述特征图像生成模块，包括选取单元、拟合单元、计算单元、法向量归一化单元、第一合并单元、以及第二合并单元；所述选取单元用于选中所述三维曲面中的任意一点，以该点为中心，取x、y方向窗口大小为N*N的曲面，N>1；所述拟合单元用于使用最小二乘法，对该曲面进行拟合，得到一个平面；所述计算单元用于根据拟合得到的平面，计算出与该平面垂直的法向量；所述法向量归一化单元用于将所述法向量进行归一化处理，得到三个单位向量；所述第一合并单元用于将得到的三个单位向量作为图像R、G、B的三个通道，合并生成一个彩色图像；所述第二合并单元用于在得到三维曲面中所有的点对应生成若干彩色图像后，对所有的彩色图像进行合并，生成所述特征图像。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201910919092.6A 2019-09-26 2019-09-26 基于深度信息的人脸活体检测方法、装置 Active CN110688950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910919092.6A CN110688950B (zh) 2019-09-26 2019-09-26 基于深度信息的人脸活体检测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910919092.6A CN110688950B (zh) 2019-09-26 2019-09-26 基于深度信息的人脸活体检测方法、装置

Publications (2)

Publication Number Publication Date
CN110688950A CN110688950A (zh) 2020-01-14
CN110688950B true CN110688950B (zh) 2022-02-11

Family

ID=69110436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910919092.6A Active CN110688950B (zh) 2019-09-26 2019-09-26 基于深度信息的人脸活体检测方法、装置

Country Status (1)

Country Link
CN (1) CN110688950B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507266A (zh) * 2020-04-17 2020-08-07 四川长虹电器股份有限公司 一种基于深度图像的人体检测方法和装置
CN111507262B (zh) * 2020-04-17 2023-12-08 北京百度网讯科技有限公司 用于检测活体的方法和装置
CN111882660A (zh) * 2020-07-23 2020-11-03 广联达科技股份有限公司 基于cad图纸的三维显示方法和三维显示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740779A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 人脸活体检测的方法和装置
CN105740775A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 一种三维人脸活体识别方法及其装置
CN109063678A (zh) * 2018-08-24 2018-12-21 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN109086691A (zh) * 2018-07-16 2018-12-25 阿里巴巴集团控股有限公司 一种三维脸部活体检测方法、脸部认证识别方法及装置
CN109684925A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 一种基于深度图像的人脸活体检测方法及设备
CN110147721A (zh) * 2019-04-11 2019-08-20 阿里巴巴集团控股有限公司 一种三维人脸识别方法、模型训练方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898674B2 (en) * 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
CN107451510B (zh) * 2016-05-30 2023-07-21 北京旷视科技有限公司 活体检测方法和活体检测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740779A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 人脸活体检测的方法和装置
CN105740775A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 一种三维人脸活体识别方法及其装置
CN109086691A (zh) * 2018-07-16 2018-12-25 阿里巴巴集团控股有限公司 一种三维脸部活体检测方法、脸部认证识别方法及装置
CN109063678A (zh) * 2018-08-24 2018-12-21 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN109684925A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 一种基于深度图像的人脸活体检测方法及设备
CN110147721A (zh) * 2019-04-11 2019-08-20 阿里巴巴集团控股有限公司 一种三维人脸识别方法、模型训练方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Optimizing Deep CNN Architectures for Face Liveness Detection;Ranjana Koshy et al.;《entropy》;20190420;第1-16页 *

Also Published As

Publication number Publication date
CN110688950A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN110490076B (zh) 活体检测方法、装置、计算机设备和存储介质
CN110688950B (zh) 基于深度信息的人脸活体检测方法、装置
WO2018228218A1 (zh) 身份识别方法、计算设备及存储介质
CN113239874B (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
CN109448007B (zh) 图像处理方法、图像处理装置及存储介质
CN111062263B (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN111680675B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN109886223B (zh) 人脸识别方法、底库录入方法、装置及电子设备
CN111339897B (zh) 活体识别方法、装置、计算机设备和存储介质
CN110287764B (zh) 姿势预测方法、装置、计算机设备和存储介质
CN112001932A (zh) 人脸识别方法、装置、计算机设备和存储介质
CN109002776B (zh) 人脸识别方法、系统、计算机设备和计算机可读存储介质
CN111178187A (zh) 一种基于卷积神经网络的人脸识别方法及装置
CN111274965A (zh) 人脸识别方法、装置、计算机设备和存储介质
WO2021217542A1 (zh) 步态识别方法、装置、终端及存储介质
CN113158974A (zh) 姿态估计方法、装置、计算机设备和存储介质
CN113065553A (zh) 数据处理方法、装置、三维扫描系统和电子装置
CN111145152B (zh) 图像检测方法、计算机设备和存储介质
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN110728172B (zh) 基于点云的人脸关键点检测方法、装置、系统及存储介质
CN109241942B (zh) 图像处理方法、装置、人脸识别设备及存储介质
CN109063601B (zh) 唇纹检测方法、装置、计算机设备和存储介质
CN110992426A (zh) 姿势识别方法和装置、电子设备及存储介质
CN115424001A (zh) 场景相似度估计方法、装置、计算机设备和存储介质
CN112613457B (zh) 图像采集方式检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant