CN100592322C - 照片人脸与活体人脸的计算机自动鉴别方法 - Google Patents

Abstract

本发明公开了一种照片人脸与活体人脸的计算机自动鉴别方法，其步骤如下：(1)人脸检测与眼睛定位；(2)眼部区域截取；(3)从归一化处理后的图像中计算眼睛的开合程度；(4)运用条件随机场理论建立用于判断眨眼动作的模型；(5)将待鉴别的视频中每一帧图像按照步骤(1)～(3)的过程进行处理，运用步骤(4)中的模型和条件随机场理论的推理方法，判断出待鉴别的视频中是否存在眨眼动作，完成对照片人脸与活体人脸进行自动鉴别。本发明实现了通过单个摄像头进行照片人脸和活体人脸的计算机自动鉴别。

Description

照片人脸与活体人脸的计算机自动鉴别方法

技术领域

本发明涉及一种照片人脸与活体人脸的鉴别方法。

背景技术

活体人脸检测是计算机人脸识别系统的安全性的重要保证。对于二维人脸识别系统而言，使用合法用户的照片在摄像头前假冒用户是一种常用的攻击手段，并且通过照片的折叠、平移、旋转等运动来攻击人脸识别系统中的活体检测方法，从而对识别系统的安全性构成很大威胁。

迄今为止对于活体人脸检测技术的研究不多，主要有三维深度估计、脸部表情变化、光流、频谱等分析手段。但这些方法中有的需要用户头部或者脸部的运动配合，有的则受外部环境条件影响很大。

发明内容

本发明提供一种基于眨眼识别的照片人脸和活体人脸的鉴别方法，可以仅通过单个摄像头进行照片人脸和活体人脸的鉴别问题。

一种照片人脸与活体人脸的计算机自动鉴别方法，其步骤如下：

(1)人脸检测与眼睛定位：使用Haar类似特征与级联Adaboost方法对输入视频的每一帧图像进行人脸位置检测，并截取人脸图片，然后用同样的方法在截取的人脸图片中定位出眼睛中心。

(2)眼部区域截取：以眼睛中心为中心，选取一合适宽度作一正方形，正方形的宽度与两眼瞳孔之间的距离成正比，截取该正方形眼部图像。然后对该图像作归一化处理，以减少光线对识别方法的影响，得到归一化处理后的图像。

(3)从归一化处理后的图像中计算眼睛的开合程度：

眼睛开合程度x(I)的计算公式：

$x\left(I\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\log \left(\frac{1}{{\mathrm{\β}}_i}\right)*h_i\left(I\right))-\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\log \frac{1}{{\mathrm{\β}}_i}$

I是截取的眼部样本图像。h_i(I)是二值弱分类器，定义为

$h\left(I\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{pf}\left(I\right)<\mathrm{p\&theta;}\\ 0& & \mathrm{otherwise}\end{array}\right.$

其中f(I)是Haar类似特征函数，θ是阈值，p表示不等号的方向。

弱分类器的加权值β和阈值θ通过Adaboost算法对正样本和负样本训练得到。

(4)运用条件随机场理论对眨眼图片序列建模(即建立用于判断眨眼动作的模型)

模型中的条件概率分布函数如下，

$P_{\mathrm{\&theta;}}\left(Y\right|X)=\frac{1}{Z_{\mathrm{\&theta;}}\left(X\right)}\exp \left(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}(\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_i{f}_i(y_t,y_{t-1},X)+\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&mu;}}_j{g}_j(y_t,X))\right)$

$Z_{\mathrm{\&theta;}}\left(X\right)=\underset{Y}{\mathrm{\&Sigma;}}\exp \left(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}(\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_i{f}_i(y_t,y_{t-1},X)+\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&mu;}}_j{g}_j(y_t,X))\right)$

X＝{x₁，..，x_T}，Y＝{y₁，...，y_T}，X是一观察序列，x_i是根据步骤(3)的眼睛开合程度x(I)的计算公式得到的眼睛的开合程度值，Y是一状态序列，y_i∈{α，β，γ}，α表示睁开状态，β表示睁开与闭住之间的过渡状态，γ表示闭住状态，f_i，，g_i分别是状态的特征函数和观察-状态特征函数，定义如下

            f_i(y_t，y_t-1，X)＝[y_t＝l][y_t-1＝l′]

                g_j(y_t，X)＝[y_t＝l]x_t-w

w∈[-W，+W]，W表示观察值之间存在前后依赖关系的窗口大小。

(5)将待鉴别的视频中每一帧图像按照步骤(1)～(3)进行处理，运用条件随机场理论并利用步骤(4)中的模型进行推理，判断出待鉴别的视频中是否存在眨眼动作，即找出活体人脸视频中照片人脸所不具备的重要生理特征即“眨眼”，这样就可以对照片人脸与活体人脸进行自动鉴别。

步骤(5)判断待鉴别的视频中是否存在眨眼动作的条件是状态序列Y中包含

子序列，其中表示1个或者多个γ。

本发明方法的步骤(1)～(3)的视频处理过程，既是建立初始模型的方法，也是实际鉴别照片人脸和活体人脸时的视频处理过程。

本发明实现了通过单个摄像头进行照片人脸和活体人脸的计算机自动鉴别。

附图说明

图1是本发明照片人脸与活体人脸的计算机自动鉴别方法的流程图；

图2眼部区域截取方法示意图；

图3闭住眼睛的样本示意图；

图4睁开眼睛的样本示意图；

图5条件随机场眨眼图片序列模型结构图。

具体实施方式

本发明照片人脸与活体人脸的计算机自动鉴别方法，其步骤如下(如图1所示)：

1、人脸检测与眼睛定位：

对于输入视频的每一帧图像，先要进行眼睛中心定位。采用先检测人脸位置，然后对截取的脸部图片进一步定位眼睛中心的方法。

用Haar类似特征与级联Adaboost方法结合，对输入视频的每一帧图像进行人脸位置的检测。级联Adaboost方法是把若干Adaboost分类器级联起来，即把前一级分类器分类的结果作为下一级分类器分类的内容，以提高分类性能。Adaboost分类器是以人脸图像和非人脸图像为样本来训练参数。对于样本中提取的特征是Haar类似特征，因为Haar类似特征能有效地表达人脸中眼部、鼻梁和嘴部等重要特征，并且能快速地计算。

相关理论Paul Viola，Michael J.Jones在文章“Robust Real-TimeFace Detection”(《International Journal of Computer Vision》57(2)，137-154，2004)中有所描述。

对于眼睛定位，仍用Haar类似特征与级联Adaboost方法在每一帧已经检测到的人脸区域中分别定位两只眼睛的中心位置。训练级联Adaboost的样本是眼睛图像(如图3、4所示)和不包含眼睛的人脸图像。用该级联Adaboost检测出的图像中心即是眼睛的中心。

2、眼部区域截取：

在分析眼睛状态之前，需要获取眼部区域信息，以眼睛的中心为中心截取一个正方形图像，在这个正方形中仅包含一个完整眼睛。正方形的宽度以像素为单位，由于在拍下的人脸照片中，人脸有大小差异，眼睛的大小也不同，所以很难用一个统一的宽度来定义正方形的宽度。采用自适应的方法(如图2所示)，即左右眼瞳孔之间的距离h来计算正方形的宽度d：

                        d＝a×h

式中a为比例关系系数，一般可取0.3～0.4；

为了能适合在不同的环境下检测眨眼，将正方形眼部图像归一化处理，以减少光线对识别性能的影响。图像归一化方法如下：

$p_{\mathrm{ij}}=(p_{\mathrm{ij}}-m)\&times;\frac{v_0}{v}+m_0---\left(1\right)$

$m=\left(\underset{i=1}{\overset{d}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{d}{\mathrm{\&Sigma;}}}{p}_{\mathrm{ij}}\right)/\left(d^2\right)---\left(2\right)$

$v=\left(\underset{i=1}{\overset{d}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{d}{\mathrm{\&Sigma;}}}{(p_{\mathrm{ij}}-m)}^2\right)/\left(d^2\right)---\left(3\right)$

p_ij表示眼部图像中坐标是(i，j)的灰度值，m表示眼部图像中所有像素的灰度平均值，v表示所有像素灰度值的方差，v₀，m₀是归一化后图像的灰度方差和灰度平均值。

3、从截取的眼部图像中计算眼睛的开合程度：

眨眼动作是一个由睁开到闭住，再由闭住到睁开的过程，其间眼睛的状态主要包含睁开、半睁开和闭住，所以眼睛的开合程度是眨眼动作中的重要特征信息。本发明提出了一种计算眼睛开合程度的有效方法。

眼睛开合程度x(I)的计算公式如下：

$x\left(I\right)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(\log \left(\frac{1}{{\mathrm{\&beta;}}_i}\right)*h_i\left(I\right))-\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\log \frac{1}{{\mathrm{\&beta;}}_i}$

I是一个眼部图像样本，它是将人脸中截取的眼部图像，作归一化处理并缩小到分辨率为24×24。眼部图像样本有正样本和负样本两种，正样本是睁开眼睛的图像(如图4所示)，负样本是闭住眼睛的图像(如图3所示)。

h_i(I)是二值弱分类器，定义为

$h_i\left(I\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& p{f}_i\left(I\right)<p{\mathrm{\&theta;}}_i\\ 0& & \mathrm{otherwise}\end{array}\right.$

f_i(I)是类似Haar特征函数，θ_i是阈值，p表示不等号的方向。

β_i是分类器h_i(I)的加权值。我们用Adaboost算法对正样本和负样本进行训练，得到弱分类器的加权值β_i和阈值θ_i。

4、利用条件随机场理论对眨眼图像序列进行建模并推理：

眨眼行为的视频是由睁开、半睁开和闭住等状态的图像序列的规律性组合而成，因此考虑到眼睛各状态的前后依赖关系更有助于提高眨眼的识别率和准确率。条件随机场考虑到状态和前后观察值之间的依赖关系，这与HMM模型中状态和前后观察值之间相互独立不同，在后面的性能说明中会有比较。同时条件随机场可以通过适当的调整前后依赖窗口的大小来改善模型的性能。条件随机场眨眼模型结构图如图5所示。

1)条件随机场眨眼模型中的条件概率分布函数

$P_{\mathrm{\&theta;}}\left(Y\right|X)=\frac{1}{Z_{\mathrm{\&theta;}}\left(X\right)}\exp \left(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}(\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_i{f}_i(y_t,y_{t-1},X)+\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&mu;}}_j{g}_j(y_t,X))\right)$

$Z_{\mathrm{\&theta;}}\left(X\right)=\underset{Y}{\mathrm{\&Sigma;}}\exp \left(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}(\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_i{f}_i(y_t,y_{t-1},X)+\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&mu;}}_j{g}_j(y_t,X))\right)$

X＝{x₁，..，x_T}，Y＝{y₁，...，y_T}，X是一观察序列，x_i是眼睛的开合程度值，Y是一状态序列，y_i∈{α，β，γ}，α表示睁开状态，β表示睁开与闭住之间的过渡状态，γ表示闭住状态，f_i，，g_i分别是状态的特征函数和观察-状态特征函数。

                f_i(y_t，y_t-1，X)＝[y_t＝l][y_t-1＝l′]

                    g_j(y_t，X)＝[y_t＝l]x_t-w

w∈[-W，+W]，W表示观察值之间存在前后依赖关系的窗口大小。

2)眨眼模型参数训练

对训练集{X⁽ⁱ⁾，Y⁽ⁱ⁾}_i＝1...N，估计参数θ＝{λ_i，μ_j}，使得似然函数L_θ取得最大值，

$L_{\mathrm{\&theta;}}=\underset{i=I}{\overset{N}{\mathrm{\&Sigma;}}}\log \left(p_{\mathrm{\&theta;}}\left(Y^{\left(i\right)}\right|X^{\left(i\right)})\right)$

采用L-BFGS优化方法估计L_θ取得最大值时的参数θ。

3)眼睛状态估计

给定一观察序列X，找到使得p_θ取得最大值时的眼睛状态序列Y，这里我们使用向前-向后算法推理状态序列Y。

眨眼过程中的状态变迁如下：

                α->β->γ->β->α

所以推理出的状态序列中包含

子序列时，其中

表示1个或者多个γ，

子序列即可判断为眨眼动作。

照片人脸与活体人脸自动鉴别试验

采集20个人的眨眼视频库和照片运动视频库。眨眼视频库中每一段持续时间5秒，每个视频包含1-6个眨眼动作。为了检测眼睛和观测角度对方法性能的影响，每一个被采集人有4种样式：平视不戴眼镜，平视细边眼镜，平视黑框眼镜，仰视不带眼镜。照片运动库中的视频主要是拍摄被采集人照片在摄像机前的各种运动，如上下平移，左右平移，向前弯曲，向后弯曲等，持续时间10-15秒。

在不同的前后依赖窗口大小(W＝0，1，2，3，4)下测试了CRF眨眼模型的性能，同时还测试了Cascaded Adaboost和HMM这两个典型方法的性能。

1)采用留一法来对眨眼视频库进行测试。测试了条件随机场眨眼模型在不同的窗口大小下的双眼眨眼检测率，同时也与Cascaded Adaboost和HMM方法做了比较，以证明此方法能有效的检测出活体人脸中的眨眼动作：

	Cas-Adaboost	HMM	Ours(W＝0)	Ours(W＝1)	Ours(W＝2)	Ours(W＝3)	Ours(W＝4)
								平视不带眼镜	98.2％	80.4％	98.2％	98.2％	98.2％	98.2％	98.2％
平视细框眼镜	80％	60.6％	93.9％	93.9％	93.9％	93.9％	93.9％
								平视黑框眼镜	71.9％	55.2％	94％	92.5％	89.6％	91％	91.4％
仰视不戴眼镜	62.3％	59.1％	87.9％	89.4％	92.4％	95.5％	95.5％
								全部	78.1％	63.4％	93.3％	93.3％	93.7％	95.7％	95.7％

2)使用照片人脸视频库测试条件随机场眨眼模型，照片人脸视频库中包含了照片的各种运动，如平移、旋转和弯曲等。当窗口大小W＝3时，照片人脸检测率为98.3％，达到了较高的照片人脸鉴别能力。

可以看出本发明在照片人脸和活体人脸的鉴别方面都取得了比较理想的结果，优于Cascaded Adaboost分类器方法和HMM方法。前后依赖关系窗口大小W＝3、4时，性能已接近最好，这和一个眨眼过程一般包含6-8帧的实际情况是吻合的。同时本发明有很好的实时性，也可以用于疲劳测试、医学检测、人机交互等方面的应用。

Claims (2)

1、一种照片人脸与活体人脸的计算机自动鉴别方法，其步骤如下：

(1)人脸检测与眼睛定位

使用Haar类似特征与级联Adaboost方法对输入视频的每一帧图像进行人脸位置检测，截取人脸图片并定位出眼睛中心；

(2)眼部区域截取

以眼睛中心为中心，截取眼部图像，将该眼部图像作归一化处理，得到归一化处理后的图像；

(3)从归一化处理后的图像中计算眼睛的开合程度

眼睛开合程度x(I)的计算公式：

$x\left(I\right)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(\log \left(\frac{1}{{\mathrm{\&beta;}}_i}\right)*h_i\left(I\right))-\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\log \frac{1}{{\mathrm{\&beta;}}_i}$

I是截取的眼部样本图像；

h_i(I)是二值弱分类器，定义为

$h\left(I\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{pf}\left(I\right)<\mathrm{p\&theta;}\\ 0& & \mathrm{otherwise}\end{array}\right.$

其中f(I)是Haar类似特征函数，θ是阈值，p表示不等号的方向；

弱分类器的加权值β和阈值θ通过Adaboost算法对正样本和负样本训练得到；

N表示二值弱分类器h_i的个数；

(4)运用条件随机场理论建立用于判断眨眼动作的模型

模型中的条件概率分布函数如下，

$P_{\mathrm{\&theta;}}\left(Y\right|X)=\frac{1}{Z_{\mathrm{\&theta;}}\left(X\right)}\exp \left(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}(\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_i{f}_i(y_t,y_{t-1},X)+\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&mu;}}_j{g}_j(y_t,X))\right)$

$Z_{\mathrm{\&theta;}}\left(X\right)=\underset{Y}{\mathrm{\&Sigma;}}\exp \left(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}(\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_i{f}_i(y_t,y_{t-1},X)+\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&mu;}}_j{g}_j(y_t,X))\right)$

X＝{x₁，...，x_T}，Y＝{y₁，...，y_T}，X是一观察序列，x_i是根据步骤(3)的眼睛开合程度x(I)的计算公式得到的眼睛的开合程度值，Y是一状态序列，y_i∈{α，β，γ}，α表示睁开状态，β表示睁开与闭住之间的过渡状态，γ表示闭住状态，λ和μ表示各特征函数在概率估计中的权重；

f_i，，g_i分别是状态的特征函数和观察-状态特征函数，定义如下：

f_i(y_t，y_t-1，X)＝[y_t＝l][y_t-1＝l′]

g_j(y_t，X)＝[y_t＝l]x_t-w

w∈[-W，+W]，W表示观察值之间存在前后依赖关系的窗口大小；

(5)将待鉴别的视频中每一帧图像按照步骤(1)～(3)的过程进行处理，运用步骤(4)中的模型和条件随机场理论的推理方法，判断出待鉴别的视频中是否存在眨眼动作，完成对照片人脸与活体人脸进行自动鉴别；

其中判断待鉴别的视频中是否存在眨眼动作的条件是状态序列Y中包含

子序列，其中

表示1个或者多个γ，这里的Y是使用向前-向后算法推理出的使得p_θ取得最大值时的眼睛状态序列。

2、根据权利要求1所述的计算机自动鉴别方法，其特征是：步骤(2)中所述的眼部图像为正方形图像，正方形图像的宽度与两眼瞳孔之间的距离成正比。

Images