CN105335722A - 一种基于深度图像信息的检测系统及方法 - Google Patents

Abstract

本发明实施例公开了一种基于深度图像信息的检测系统及方法，该系统包括：摄像装置，所述摄像装置用于获取待测对象的深度图像，提取装置，所述提取装置基于所述深度图像提取待测对象的目标区域，并获取所述目标区域的特征点信息；以及检测装置，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。应用本发明实施例提供的方案进行人脸识别，能够避免他人用照片、视频等非活体对象冒充本人通过成人脸识别。

Description

一种基于深度图像信息的检测系统及方法

技术领域

本发明涉及图像识别技术领域，特别涉及一种基于深度图像信息的检测系统及方法。

背景技术

人脸识别技术广泛应用于身份验证系统中。目前基于图像的人脸识别能够较为准确的从图像中识别出人脸，通过结合人脸数据库进行匹配查询，从而确定人脸身份。由于缺乏对图像来源的判定，此类系统无法判定被检测的对象是否为本人。当图像输入为包含人脸的静止图片，或者连续视频时，系统确定的是图片或视频中的人脸身份，而非现实中真实的身份，因此会存在冒充和欺骗等潜在危险。这类系统主要的问题在于缺少活体检测环节，无法判定当前图像是否来自真实的人还是预先制作的人脸素材。

目前存在一些系统，通过引入活体检测环节，从而避免了上述问题。这些系统的活体检测主要分为被动式和交互式两种。通常的被动式方法通过连续发射高频闪光脉冲，激发人脸局部的光照反射，例如闪疃和皮肤光泽变化。由于图片或胶片的反光比较均匀，而真实的人脸反光则呈现不均匀分布。通过比较闪光前后的人脸反光变化，从而确定当前人脸是来自真实的人，还是来自预先制作的素材。交互式方法则通过要求被检测对象执行指定动作，如转头、眨眼等，或者与系统进行简单对话，来完成活体的检测。无论是被动式还是交互式方法，都存在用户体验不够友好的问题。被动式闪光可能会造成用户眼睛不适，并且在不同的光照条件，例如强烈的日光下，可能会造成闪光效果对比不明显甚至失效的情况。而交互式方法增加了额外的用户操作，导致系统使用起来比较复杂。对于一些频繁出入的门禁检测系统，大量的重复性操作也会降低用户体验的友好性。

发明内容

本发明实施例公开了一种基于深度图像信息的检测系统及方法，以提高人脸识别的准确性，简化识别过程。

为达到上述目的，本发明实施例公开了一种基于深度图像信息的检测系统，所述系统包括：

摄像装置，所述摄像装置用于获取待测对象的深度图像；

提取装置，所述提取装置基于所述深度图像提取待测对象的目标区域，并获取所述目标区域的特征点信息；以及

检测装置，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。

可选的，所述摄像装置按照预设采样频率采集待测对象的采样点信息，基于所述采样点信息形成所述深度图像。

可选的，所述采样点信息包括采样点位置索引信息及采样点深度信息。

可选的，所述系统还包括：

预处理装置，用于对所述摄像装置获取的深度图像进行图像预处理。

可选的，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体，包括：

对所述目标区域进行二维归一化处理，将其转换到统一尺寸描述空间；以及

通过计算变换矩阵，将所述特征点映射到统一的标准位置。

可选的，所述对所述目标区域进行二维归一化处理，包括：

分别应用一维的离散的梯度模板[-1，0，1]^T和[-1，0，1]于水平及垂直方向对所述深度图像进行卷积计算，计算梯度向量G_x(x，y)及G_y(x，y)：

$G_x=\frac{1}{2}\[-1,0,1\]*I$

$G_y=\frac{1}{2}{\[-1,0,1\]}^T*I$

且计算幅度G(x，y)及方向α(x，y)：

$G\left(x,y\right)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2},$

α(x，y)＝arctan(G_y(x，y)/G_x(x，y))。

可选的，所述对所述目标区域进行二维归一化处理，还包括：

将图像分成若干分块，在每个分块内建立9个方向的分块直方图，块内每个象素以梯度幅度作为权重对直方图进行投票，得到该分块的HoG特征描述子，把所有直方图串联成一个特征向量。

可选的，所述对所述目标区域进行二维归一化处理，包括：

定义F(x，y)＝d为标准三维模型函数，其中x及y为垂直平面座标，d为深度值；

对二十一个关键点用拉朗格日插值法得到该帧的三维函数G(x，y)＝d；

计算F与G的距离||F-G||₂：

$\left|\right|F-G|{|}_2=\underset{x_0}{\overset{x_1}{\∫}}\underset{y_0}{\overset{y_1}{\∫}}{|F(x,y)-G(x,y)|}^2{\mathrm{dxdy}}^{1/2}$

其中{(x，y)：x₀≤x≤x₁，y₀≤y≤y₁}为归一化后的区域。

可选的，所述检测所述待测对象是否为活体，包括：

判断F与G的距离||F-G||₂是否低于预设阀值，若是，则判断所述待测对象为活体，否则所述待测对象为非活体。

为达到上述目的，本发明实施例还公开了一种基于深度图像信息的检测系统，所述系统包括：

摄像装置，所述摄像装置用于获取待测对象的深度图像及辅助图像；

提取装置，所述提取装置基于所述深度图像及所述辅助图像提取待测对象的目标区域，并获取所述目标区域的特征点信息；以及

检测装置，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。

可选的，所述摄像装置按照预设采样频率采集待测对象的采样点信息，基于所述采样点信息形成所述深度图像。

可选的，所述采样点信息包括采样点位置索引信息及采样点深度信息。

可选的，所述系统还包括：

预处理装置，用于对所述摄像装置获取的深度图像及辅助图像进行图像预处理。

可选的，所述系统还包括：

校准装置，用于对所述摄像装置获取的深度图像及辅助图像进行图像校准，形成一致的空间几何坐标。

可选的，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体，包括：

对所述目标区域进行二维归一化处理，将其转换到统一尺寸描述空间；以及

通过计算变换矩阵，将所述特征点映射到统一的标准位置。

为达到上述目的，本发明实施例还公开了一种基于深度图像信息的检测方法，所述方法包括：

获取待测对象的深度图像；

基于所述深度图像提取待测对象的目标区域，并获取所述目标区域的特征点信息；以及

基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。

可选的，所述摄像装置按照预设采样频率采集待测对象的采样点信息，基于所述采样点信息形成所述深度图像。

可选的，所述采样点信息包括采样点位置索引信息及采样点深度信息。

可选的，对所述摄像装置获取的深度图像进行图像预处理。

可选的，所述基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体，包括：

对所述目标区域进行二维归一化处理，将其转换到统一尺寸描述空间；以及

通过计算变换矩阵，将所述特征点映射到统一的标准位置。

可选的，所述对所述目标区域进行二维归一化处理，包括：

分别应用一维的离散的梯度模板[-1，0，1]^T和[-1，0，1]于水平及垂直方向对所述深度图像进行卷积计算，计算梯度向量G_x(x，y)及G_y(x，y)：

$G_x=\frac{1}{2}\[-1,0,1\]*I$

$G_y=\frac{1}{2}{\[-1,0,1\]}^T*I$

且计算幅度G(x，y)及方向α(x，y)：

$G\left(x,y\right)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2},$

α(x，y)＝arctan(G_y(x，y)/G_x(x，y))。

可选的，所述对所述目标区域进行二维归一化处理，还包括：

将图像分成若干分块，在每个分块内建立9个方向的分块直方图，块内每个象素以梯度幅度作为权重对直方图进行投票，得到该分块的HoG特征描述子，把所有直方图串联成一个特征向量。

可选的，所述对所述目标区域进行二维归一化处理，包括：

定义F(x，y)＝d为标准三维模型函数，其中x及y为垂直平面座标，d为深度值；

对二十一个关键点用拉朗格日插值法得到该帧的三维函数G(x，y)＝d；

计算F与G的距离||F-G||₂：

$\left|\right|F-G|{|}_2=\underset{x_0}{\overset{x_1}{\∫}}\underset{y_0}{\overset{y_1}{\∫}}{|F(x,y)-G(x,y)|}^2{\mathrm{dxdy}}^{1/2}$

其中{(x，y)：x₀≤x≤x₁，y₀≤y≤y₁}为归一化后的区域。

可选的，所述检测所述待测对象是否为活体，包括：

判断F与G的距离||F-G||₂是否低于预设阀值，若是，则判断所述待测对象为活体，否则所述待测对象为非活体。

为达到上述目的，本发明实施例还公开了一种基于深度图像信息的检测方法，所述方法包括：

获取待测对象的深度图像及辅助图像；

基于所述深度图像及所述辅助图像提取待测对象的目标区域，并获取所述目标区域的特征点信息；以及

基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。

可选的，所述摄像装置按照预设采样频率采集待测对象的采样点信息，基于所述采样点信息形成所述深度图像。

可选的，所述采样点信息包括采样点位置索引信息及采样点深度信息。

可选的，所述方法还包括：

对所述摄像装置获取的深度图像及辅助图像进行图像预处理。

可选的，所述方法还包括：

对所述摄像装置获取的深度图像及辅助图像进行图像校准，形成一致的空间几何坐标。

可选的，所述基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体，包括：

对所述目标区域进行二维归一化处理，将其转换到统一尺寸描述空间；以及

通过计算变换矩阵，将所述特征点映射到统一的标准位置。

由以上可见，本发明实施例提供的方案中，获取当前人脸在三维空间中的深度信息，提取人脸的深度特征。通过与机器学习获得的人脸深度模型进行匹配比较，确定当前提取的深度特征是否符合真实的人脸深度，从而判定当前人脸图像是否来自真实的人。由于人脸深度特征包含多个维度的信息，即使是进行折叠或者变形处理的人脸图片，本专利也能准确的判定其为非活体。由于深度信息不依赖于光照，不受环境光照的影响，系统鲁棒性好。此外，深度信息的获取并不需要用户任何操作或是交互，保证了系统的静默和无侵入式优点，能够提供友好的用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于深度图像信息的检测系统结构示意图；

图2为本发明实施例提供的另一种基于深度图像信息的检测系统结构示意图；

图3为本发明实施例提供的另一种基于深度图像信息的检测系统结构示意图；

图4为本发明实施例提供的另一种基于深度图像信息的检测系统结构示意图；

图5为本发明实施例提供的另一种基于深度图像信息的检测系统结构示意图；

图6为本发明实施例提供的一种基于深度图像信息的检测方法流程图；

图7为本发明实施例提供的另一种基于深度图像信息的检测方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的基于深度图像信息的检测系统结构示意图，该系统10包括：

摄像装置101，所述摄像装置用于获取待测对象的深度图像。

具体的，系统获取深度图像信息，描述了人脸在三维空间，按照一定空间采样率描述的人脸深度信息。深度信息通常描述为一组三维空间的点云，其中的两维描述了采样点位置索引，另外一维则描述了采样点位置的深度值。深度图像信息可以采用多种方法和设备来获取。在一种实施例中，通过深度摄像机获取深度信息。深度摄像机可以是基于时间飞逝时间TOF计算--通过计算光线发射与反射光线的时间差，获得深度信息，也可以是基于结构光的方式计算--向空间中发射一定结构分布的光图，例如均匀光斑，通过比较结构光图的变形，获得空间的深度信息。在另外一种实施例中，通过双目光学摄像头同时拍摄，计算由于摄像头空间位置差而产生的图像位差，从而得到深度信息。

提取装置102，所述提取装置基于所述深度图像提取待测对象的目标区域，并获取所述目标区域的特征点信息。

人脸检测及关键点检测，在深度信息上，利用简单方法判断人面出现区域，并从人脸区域中，提取描述人脸的关键点信息。

检测装置103，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。

采用深度空间人脸归一化模块。对提取装置102提取的二维人脸区域进行二维归一化处理，将其转换到统一尺寸描述空间。正规化方法通过计算变换矩阵，把人脸关键点映射到同一的标准位置，从而把人脸图像变换到标准大小。

作为一种实施方式，在归一化的深度人脸图像上(I)提取方向梯度直方图特征。分别应用一维的离散的梯度模板[-1，0，1]^T和[-1，0，1]于水平及垂直方向对图像进行卷积计算，计算梯度向量G_x(x，y)及G_y(x，y)：

$G_x=\frac{1}{2}\[-1,0,1\]*I$

$G_y=\frac{1}{2}{\[-1,0,1\]}^T*I$

且计算幅度G(x，y)及方向α(x，y)：

$G\left(x,y\right)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2},$

α(x，y)＝arctan(G_y(x，y)/G_x(x，y))

将图像分成若于分块，在每个分块内建立9个方向的分块直方图，块内每个象素以梯度幅度作为权重对直方图进行投票，得到该分块的HoG特征描述子。最后把所有直方图串联成一个特征向量。在本发明中设定相邻分块的重叠面积1/2。其他适用的特征包括但不限于：对整张脸或在某些关键点附近提取像素值、LBP、Gabor、傅里叶变换、SIFT、SURF等。

利用机器学习的模型建立活体和非活体的支持向量机分类器。本系统的模型利用大量人脸和非人脸(如人脸的打印照片、手机或平板电脑屏幕上的人脸)数据(一百万张)进行训练。其他合适的机器学习算法包含，但不限于人工神经网络、决策树、随机森林、卷积神经网络等。

作为另外一种实施方式，进行深度模型对比。定义F(x，y)＝d为标准人脸三维模型函数，其中x及y为垂直平面座标，d为深度值。对二十一个关键点用拉朗格日插值法(LagrangeInterpolation)得到该帧的人脸三维函数G(x，y)＝d。计算F与G的距离||F-G||₂：

$\left|\right|F-G|{|}_2=\underset{x_0}{\overset{x_1}{\∫}}\underset{y_0}{\overset{y_1}{\∫}}{|F(x,y)-G(x,y)|}^2{\mathrm{dxdy}}^{1/2}$

其中{(x，y)：x₀≤x≤x₁，y₀≤y≤y₁}为归一化后的区域。

若距离低于阀值则判断为活体，否则为非活体。为了降低计算复杂度，上述距离可用如下的离散公式求得近似值：

$\begin{array}{c}\left|\right|F-G|{{|}_2}^2=\frac{1}{4}hk\{D(x_0,y_0)+D(x_1,y_0)+D(x_0,y_1)+D(x_1,y_1)+2\underset{i=1}{\overset{m-1}{\Σ}}D(x_i,y_0)+2\underset{i=1}{\overset{m-1}{\Σ}}D(x_i,y_1)\\ +2\underset{j=1}{\overset{n-1}{\Σ}}D\left(x_0,y_j\right)+2\underset{j=1}{\overset{n-1}{\Σ}}D\left(x_1,y_j\right)+4\underset{j=1}{\overset{n-1}{\Σ}}\underset{i=1}{\overset{m-1}{\Σ}}D\left(x_i,y_j\right)\}\end{array}$

其中D＝|F-G|²，[x₀，x₀]及[y₀，y₁]均分为m及n个区间，长度分别为h及k。基于可并行性，上述公式可利用多线程进行加速。

多帧分数整合及判决。若加权平均得分大于阀值，则判断为真人，否则为假。

作为另外一种实施方式，参见图2，系统10还包括：

预处理装置104，用于对所述摄像装置获取的深度图像进行图像预处理。

所述预处理装置104对从摄像装置101操作中获取的深度信息，进行包括但不限于去噪声、模糊化、插值等图像预处理操作。此一操作能大大提高最后判断的准确度。

图3为本发明实施例提供的另一种基于深度图像信息的检测系统结构示意图，该系统20包括：

摄像装置201，所述摄像装置用于获取待测对象的深度图像及辅助图像。

具体的，系统获取深度图像信息，描述了人脸在三维空间，按照一定空间采样率描述的人脸深度信息。深度信息通常描述为一组三维空间的点云，其中的两维描述了采样点位置索引，另外一维则描述了采样点位置的深度值。深度图像信息可以采用多种方法和设备来获取。在一种实施例中，通过深度摄像机获取深度信息。深度摄像机可以是基于时间飞逝时间TOF计算--通过计算光线发射与反射光线的时间差，获得深度信息，也可以是基于结构光的方式计算--向空间中发射一定结构分布的光图，例如均匀光斑，通过比较结构光图的变形，获得空间的深度信息。在另外一种实施例中，通过双目光学摄像头同时拍摄，计算由于摄像头空间位置差而产生的图像位差，从而得到深度信息。

提取装置202，所述提取装置基于所述深度图像及所述辅助图像提取待测对象的目标区域，并获取所述目标区域的特征点信息。

人脸检测及关键点检测，在深度信息上，利用简单方法判断人面出现区域，并从人脸区域中，提取描述人脸的关键点信息。

检测装置203，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。

采用深度空间人脸归一化模块。对提取装置202提取的二维人脸区域进行二维归一化处理，将其转换到统一尺寸描述空间。正规化方法通过计算变换矩阵，把人脸关键点映射到同一的标准位置，从而把人脸图像变换到标准大小。

作为一种实施方式，在归一化的深度人脸图像上(I)提取方向梯度直方图特征。分别应用一维的离散的梯度模板[-1，0，1]^T和[-1，0，1]于水平及垂直方向对图像进行卷积计算，计算梯度向量G_x(x，y)及G_y(x，y)：

$G_x=\frac{1}{2}\[-1,0,1\]*I$

$G_y=\frac{1}{2}{\[-1,0,1\]}^T*I$

且计算幅度G(x，y)及方向α(x，y)：

$G\left(x,y\right)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2},$

α(x，y)＝arctan(G_y(x，y)/G_x(x，y))

将图像分成若于分块，在每个分块内建立9个方向的分块直方图，块内每个象素以梯度幅度作为权重对直方图进行投票，得到该分块的HoG特征描述子。最后把所有直方图串联成一个特征向量。在本发明中设定相邻分块的重叠面积1/2。其他适用的特征包括但不限于：对整张脸或在某些关键点附近提取像素值、LBP、Gabor、傅里叶变换、SIFT、SURF等。

利用机器学习的模型建立活体和非活体的支持向量机分类器。本系统的模型利用大量人脸和非人脸(如人脸的打印照片、手机或平板电脑屏幕上的人脸)数据(一百万张)进行训练。其他合适的机器学习算法包含，但不限于人工神经网络、决策树、随机森林、卷积神经网络等。

作为另外一种实施方式，进行深度模型对比。定义F(x，y)＝d为标准人脸三维模型函数，其中x及y为垂直平面座标，d为深度值。对二十一个关键点用拉朗格日插值法(LagrangeInterpolation)得到该帧的人脸三维函数G(x，y)＝d。计算F与G的距离||F-G||₂：

$\left|\right|F-G|{|}_2=\underset{x_0}{\overset{x_1}{\∫}}\underset{y_0}{\overset{y_1}{\∫}}{|F(x,y)-G(x,y)|}^2{\mathrm{dxdy}}^{1/2}$

其中{(x，y)：x₀≤x≤x₁，y₀≤y≤y₁}为归一化后的区域。

若距离低于阀值则判断为活体，否则为非活体。为了降低计算复杂度，上述距离可用如下的离散公式求得近似值：

$\begin{array}{c}\left|\right|F-G|{{|}_2}^2=\frac{1}{4}hk\{D(x_0,y_0)+D(x_1,y_0)+D(x_0,y_1)+D(x_1,y_1)+2\underset{i=1}{\overset{m-1}{\Σ}}D(x_i,y_0)+2\underset{i=1}{\overset{m-1}{\Σ}}D(x_i,y_1)\\ +2\underset{j=1}{\overset{n-1}{\Σ}}D\left(x_0,y_j\right)+2\underset{j=1}{\overset{n-1}{\Σ}}D\left(x_1,y_j\right)+4\underset{j=1}{\overset{n-1}{\Σ}}\underset{i=1}{\overset{m-1}{\Σ}}D\left(x_i,y_j\right)\}\end{array}$

其中D＝|F-G|²，[x₀，x₀]及[y₀，y₁]均分为m及n个区间，长度分别为h及k。基于可并行性，上述公式可利用多线程进行加速。

多帧分数整合及判决。若加权平均得分大于阀值，则判断为真人，否则为假。

作为另外一种实施方式，参见图4，系统20还包括：

预处理装置204，用于对所述摄像装置获取的深度图像进行图像预处理。

所述预处理装置204对从摄像装置201操作中获取的深度信息，进行包括但不限于去噪声、模糊化、插值等图像预处理操作。此一操作能大大提高最后判断的准确度。

作为另外一种实施方式，参见图5，系统20还包括：

校准装置205，用于对所述摄像装置获取的深度图像及辅助图像进行图像校准，形成一致的空间几何坐标。

经过校准装置处理后，几何一致性能确保在普通图像上的操作皆可应用到深度空间座标。

图6为本发明实施例提供的一种基于深度图像信息的检测方法流程示意图，该方法包括：

S101：系统获取深度图像信息，描述了人脸在三维空间，按照一定空间采样率描述的人脸深度信息。深度信息通常描述为一组三维空间的点云，其中的两维描述了采样点位置索引，另外一维则描述了采样点位置的深度值。深度图像信息可以采用多种方法和设备来获取。在一种实施例中，通过深度摄像机获取深度信息。深度摄像机可以是基于时间飞逝时间TOF计算一通过计算光线发射与反射光线的时间差，获得深度信息，也可以是基于结构光的方式计算一向空间中发射一定结构分布的光图，例如均匀光斑，通过比较结构光图的变形，获得空间的深度信息。在另外一种实施例中，通过双目光学摄像头同时拍摄，计算由于摄像头空间位置差而产生的图像位差，从而得到深度信息。

S102：对从S101操作中获取的深度信息，进行包括但不限于去噪声、模糊化、插值等图像预处理操作，此一操作能大大提高最后判断的准确度。

S103：人脸检测及关键点检测。在深度信息上，利用简单方法判断人面出现区域，并从人脸区域中，提取描述人脸的关键点信息。

S104：深度空间人脸归一化模块。对S103提取的二维人脸区域进行进行二维归一化处理，将其转换到统一尺寸描述空间。正规化方法通过计算变换矩阵，把人脸关键点映射到同一的标准位置，从而把人脸图像变换到标准大小。

S105：进行活体判断。

作为一个实施例，在归一化的深度人脸图像上(I)提取方向梯度直方图特征。分别应用一维的离散的梯度模板[-1，0，1]T和[-1，0，1]于水平及垂直方向对图像度向量Gx(x，y)及Gy(x，y)：

$G_y=\frac{1}{2}{\[-1,0,1\]}^T*I$

α(x，y)＝arctan(G_y(x，y)/G_x(x，y))

将图像分成若于分块，在每个分块内建立9个方向的分块直方图，块内每个象素以梯度幅度作为权重对直方图进行投票，得到该分块的HoG特征描述子。最后把所有直方图串联成一个特征向量。在本发明中设定相邻分块的重叠面积1/2。其他适用的特征包括但不限于：对整张脸或在某些关键点附近提取像素值、LBP、Gabor、傅里叶变换、SIFT、SURF等。

利用机器学习的模型建立活体和非活体的支持向量机分类器。本系统的模型利用大量人脸和非人脸(如人脸的打印照片、手机或平板电脑屏幕上的人脸)数据(一百万张)进行训练。其他合适的机器学习算法包含，但不限于人工神经网络、决策树、随机森林、卷积神经网络等。

作为另外一个实施例，进行深度模型对比。定义F(x，y)＝d为标准人脸三维模型函数，其中x及y为垂直平面座标，d为深度值。对二十一个关键点用拉朗格日插值法(LagrangeInterpolation)得到该帧的人脸三维函数G(x，y)＝d。计算F与G的距离||F-G||2：

$\left|\right|F-G|{|}_2=\underset{x_0}{\overset{x_1}{\∫}}\underset{y_0}{\overset{y_1}{\∫}}{|F(x,y)-G(x,y)|}^2{\mathrm{dxdy}}^{1/2}$

其中{(x，y)：x0≤x≤x1，y0≤y≤y1}为归一化后的区域。

若距离低于阀值则判断为活体，否则为非活体。为了降低计算复杂度，上述距离可用如下的离散公式求得近似值：

$\begin{array}{c}\left|\right|F-G|{{|}_2}^2=\frac{1}{4}hk\{D(x_0,y_0)+D(x_1,y_0)+D(x_0,y_1)+D(x_1,y_1)+2\underset{i=1}{\overset{m-1}{\Σ}}D(x_i,y_0)+2\underset{i=1}{\overset{m-1}{\Σ}}D(x_i,y_1)\\ +2\underset{j=1}{\overset{n-1}{\Σ}}D\left(x_0,y_j\right)+2\underset{j=1}{\overset{n-1}{\Σ}}D\left(x_1,y_j\right)+4\underset{j=1}{\overset{n-1}{\Σ}}\underset{i=1}{\overset{m-1}{\Σ}}D\left(x_i,y_j\right)\}\end{array}$

其中D＝|F-G|2，[x0，x0]及[y0，y1]均分为m及n个区间，长度分别为h及k。基于可并行性，上述公式可利用多线程进行加速。

S106：多帧分数整合及判决。若加权平均得分大于阀值，则判断为真人，否则为假。

图7为本发明实施例提供的另一种基于深度图像信息的检测方法流程示意图，除了包含图6实施方式中的步骤外，该方法还包括：

S201：输入与深度图像对应的普通图像(102)。普通图像可以包含但不限于灰度图像、彩色图像或红外图像，来源包含但不限于网络摄像头、监控摄像头。

S202：在进行人脸检测前，对普通图像进行包括但不限于缩放、裁剪、去噪声、模糊化等。

S203：人脸检测及关键点检测模块。对于处理后的普通图像进行人脸检测，定位人脸出现的二维座标区域，然后对区域进行人脸关键点提取。此模块提取的关键点将与S103步骤的关键点计算区氏距离，若大于阈值则使用此模块的结果，否则使用S103的结果。

S204：人脸归一化模块。S108提取的二维人脸区域大小尺寸并非固定，所以对其进行二维归一化，转换至一个固定尺寸。归一化方法通过计算变换矩阵，讲人脸关键点映射到标准位置，并把人脸图像变换到标准大小。

S205：特征提取模块。在普通图人像上提取人脸特征。本申请试用DeephiddenIDentityfeatures。其他适用特征包括但不限于HoG、LBP、SIFT及HAAR等。提取的特征会串联至S105方法中的深度特征，供机器学习算法的训练模型。

S206：采用图像校准模块，对深度图像与普通图像进行几何校准，达至一致的空间几何座标。几何一致性能确保步骤S203、S204、S205在普通图像上的操作皆可应用到深度空间座标。

本申请方案中的深度摄像头用于直接输出深度信息，该深度摄像图可以是多种形式的深度摄像头(如kinect，realsense等品牌的摄像头)。双目摄像头则可以使任何能够利用双摄像头重建深度信息的摄像设备，在此不作具体限定。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (30)

1.一种基于深度图像信息的检测系统，其特征在于，所述系统包括：

摄像装置，所述摄像装置用于获取待测对象的深度图像；

提取装置，所述提取装置基于所述深度图像提取待测对象的目标区域，并获取所述目标区域的特征点信息；以及

检测装置，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。

2.根据权利要求1所述的系统，其特征在于：

优选的，所述摄像装置按照预设采样频率采集待测对象的采样点信息，基于所述采样点信息形成所述深度图像。

3.根据权利要求2所述的系统，其特征在于：

所述采样点信息包括采样点位置索引信息及采样点深度信息。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括：

预处理装置，用于对所述摄像装置获取的深度图像进行图像预处理。

5.根据权利要求1所述的系统，其特征在于，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体，包括：

对所述目标区域进行二维归一化处理，将其转换到统一尺寸描述空间；以及

通过计算变换矩阵，将所述特征点映射到统一的标准位置。

6.根据权利要求5所述的系统，其特征在于，所述对所述目标区域进行二维归一化处理，包括：

分别应用一维的离散的梯度模板[-1，0，1]^T和[-1，0，1]于水平及垂直方向对所述深度图像进行卷积计算，计算梯度向量G_x(x，y)及G_y(x，y)：

$G_x=\frac{1}{2}\[-1,0,1\]*I$

$G_y=\frac{1}{2}{\[-1,0,1\]}^T*I$

且计算幅度G(x，y)及方向α(x，y)：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2},$

α(x，y)＝arctan(G_y(x，y)/G_x(x，y))。

7.根据权利要求6所述的系统，其特征在，所述对所述目标区域进行二维归一化处理，还包括：

将图像分成若干分块，在每个分块内建立9个方向的分块直方图，块内每个象素以梯度幅度作为权重对直方图进行投票，得到该分块的HoG特征描述子，把所有直方图串联成一个特征向量。

8.根据权利要求5所述的系统，其特征在于，所述对所述目标区域进行二维归一化处理，包括：

定义F(x，y)＝d为标准三维模型函数，其中x及y为垂直平面座标，d为深度值；

对二十一个关键点用拉朗格日插值法得到该帧的三维函数G(x，y)＝d；

计算F与G的距离||F-G||₂：

$\left|\right|F-G|{|}_2=\underset{x_0}{\overset{x_1}{\∫}}\underset{y_0}{\overset{y_1}{\∫}}|F(x,y)-G(x,y){|}^2{\mathrm{dxdy}}^{1/2}$

其中{(x，y)：x₀≤x≤x₁，y₀≤y≤y₁}为归一化后的区域。

9.根据权利要求8所述的系统，其特征在于，所述检测所述待测对象是否为活体，包括：

判断F与G的距离||F-G||₂是否低于预设阀值，若是，则判断所述待测对象为活体，否则所述待测对象为非活体。

10.一种基于深度图像信息的检测系统，其特征在于，所述系统包括：

摄像装置，所述摄像装置用于获取待测对象的深度图像及辅助图像；

提取装置，所述提取装置基于所述深度图像及所述辅助图像提取待测对象的目标区域，并获取所述目标区域的特征点信息；以及

检测装置，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。

11.根据权利要求10所述的系统，其特征在于：

所述摄像装置按照预设采样频率采集待测对象的采样点信息，基于所述采样点信息形成所述深度图像。

12.根据权利要求11所述的系统，其特征在于：

所述采样点信息包括采样点位置索引信息及采样点深度信息。

13.根据权利要求10所述的系统，其特征在于，所述系统还包括：

预处理装置，用于对所述摄像装置获取的深度图像及辅助图像进行图像预处理。

14.根据权利要求10所述的系统，其特征在于，所述系统还包括：

校准装置，用于对所述摄像装置获取的深度图像及辅助图像进行图像校准，形成一致的空间几何坐标。

15.根据权利要求10所述的系统，其特征在于，所述检测装置基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体，包括：

对所述目标区域进行二维归一化处理，将其转换到统一尺寸描述空间；以及

通过计算变换矩阵，将所述特征点映射到统一的标准位置。

16.一种基于深度图像信息的检测方法，其特征在于，所述方法包括：

获取待测对象的深度图像；

基于所述深度图像提取待测对象的目标区域，并获取所述目标区域的特征点信息；以及

基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。

17.根据权利要求16所述的方法，其特征在于：

所述摄像装置按照预设采样频率采集待测对象的采样点信息，基于所述采样点信息形成所述深度图像。

18.根据权利要求17所述的方法，其特征在于：

所述采样点信息包括采样点位置索引信息及采样点深度信息。

19.根据权利要求16所述的方法，其特征在于，所述方法还包括：

对所述摄像装置获取的深度图像进行图像预处理。

20.根据权利要求16所述的方法，其特征在于，所述基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体，包括：

对所述目标区域进行二维归一化处理，将其转换到统一尺寸描述空间；以及

通过计算变换矩阵，将所述特征点映射到统一的标准位置。

21.根据权利要求20所述的方法，其特征在于，所述对所述目标区域进行二维归一化处理，包括：

分别应用一维的离散的梯度模板[-1，0，1]^T和[-1，0，1]于水平及垂直方向对所述深度图像进行卷积计算，计算梯度向量G_x(x，y)及G_y(x，y)：

$G_x=\frac{1}{2}\[-1,0,1\]*I$

$G_y=\frac{1}{2}{\[-1,0,1\]}^T*I$

且计算幅度G(x，y)及方向α(x，y)：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2},$

α(x，y)＝arctan(G_y(x，y)/G_x(x，y))。

22.根据权利要求21所述的方法，其特征在，所述对所述目标区域进行二维归一化处理，还包括：

将图像分成若干分块，在每个分块内建立9个方向的分块直方图，块内每个象素以梯度幅度作为权重对直方图进行投票，得到该分块的HoG特征描述子，把所有直方图串联成一个特征向量。

23.根据权利要求20所述的方法，其特征在于，所述对所述目标区域进行二维归一化处理，包括：

定义F(x，y)＝d为标准三维模型函数，其中x及y为垂直平面座标，d为深度值；

对二十一个关键点用拉朗格日插值法得到该帧的三维函数G(x，y)＝d；

计算F与G的距离||F-G||₂：

$\left|\right|F-G|{|}_2=\underset{x_0}{\overset{x_1}{\∫}}\underset{y_0}{\overset{y_1}{\∫}}|F(x,y)-G(x,y){|}^2{\mathrm{dxdy}}^{1/2}$

其中{(x，y)：x₀≤x≤x₁，y₀≤y≤y₁}为归一化后的区域。

24.根据权利要求23所述的方法，其特征在于，所述检测所述待测对象是否为活体，包括：

判断F与G的距离||F-G||₂是否低于预设阀值，若是，则判断所述待测对象为活体，否则所述待测对象为非活体。

25.一种基于深度图像信息的检测方法，其特征在于，所述方法包括：

获取待测对象的深度图像及辅助图像；

基于所述深度图像及所述辅助图像提取待测对象的目标区域，并获取所述目标区域的特征点信息；以及

基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体。

26.根据权利要求25所述的方法，其特征在于：

所述摄像装置按照预设采样频率采集待测对象的采样点信息，基于所述采样点信息形成所述深度图像。

27.根据权利要求26所述的方法，其特征在于：

所述采样点信息包括采样点位置索引信息及采样点深度信息。

28.根据权利要求25所述的方法，其特征在于，所述方法还包括：

对所述摄像装置获取的深度图像及辅助图像进行图像预处理。

29.根据权利要求25所述的方法，其特征在于，所述方法还包括：

对所述摄像装置获取的深度图像及辅助图像进行图像校准，形成一致的空间几何坐标。

30.根据权利要求25所述的方法，其特征在于，所述基于所述目标区域及所述特征点信息，检测所述待测对象是否为活体，包括：

对所述目标区域进行二维归一化处理，将其转换到统一尺寸描述空间；以及

通过计算变换矩阵，将所述特征点映射到统一的标准位置。