CN103116763A - 一种基于hsv 颜色空间统计特征的活体人脸检测方法 - Google Patents

Abstract

本发明公开了一种基于HSV颜色空间统计特征的人脸活体检测方法，其首先将从摄像头获取的包含人脸的图像从RGB颜色空间转换到YCrCb颜色空间，之后对包含人脸的图像依次进行肤色分割处理、去噪处理、数学形态学处理和标定连通区域边界处理，获取人脸矩形区域的坐标；然后根据人脸矩形区域的坐标，从包含人脸的图像中获取待检测的人脸图像；再对待检测的人脸图像分图像块，并获取待检测的人脸图像中的所有图像块的三个颜色分量的特征值；最后将归一化后的特征值作为待检测样本送入训练后的支持向量机中进行检测，确定包含人脸的图像是否为活体真实人脸图像，优点是降低了人脸认证系统延时，降低了计算复杂度，提高了检测准确率。

Description

一种基于HSV 颜色空间统计特征的活体人脸检测方法

技术领域

本发明涉及一种应用于人脸识别的活体真实人脸判别技术，尤其是涉及一种基于HSV颜色空间统计特征的活体人脸检测方法。 

背景技术

随着生物特征识别技术的快速发展，人脸识别、指纹识别、虹膜识别技术等在身份验证中扮演着重要的角色，其中人脸识别技术是最方便、最适合人们习惯的一种识别技术，得到了广泛地应用。人脸识别可以取代传统的密码，并比传统的密码拥有更多的便捷，不用担心某一天密码被遗忘或被别有用心的人破译，因此其已经在最近几十年取得了飞速的发展。目前，人脸识别技术已广泛应用于刑侦破案、银行系统、社会福利、海关检查、民政部门、电话系统、作息考勤等领域。人脸识别技术作为当今有效的身份认证方法，其应用范围势必扩大，并且会给人们带来更多的方便，但一些问题也随之发生了，一些不法分子利用一些技术仿冒人的生物特征去欺骗识别系统，给合法用户带来了经济财产损失，造成了社会纷扰。为了更安全地进行身份认证和检测身份来源的真实性，检测被识别的对象是否是活体真人显得尤为重要。对人脸认证系统进行欺骗的对象一般是真实身份人的照片，因此检测图像源自真人还是欺骗的照片非常重要。 

在人类生活环境中，人脸认证系统中主要有以下几种欺骗方法：(1)窃取用户的照片进行欺骗；(2)用公众场合、网络上录制的视频进行欺骗；(3)通过计算机建模的用户三维模型进行欺骗。其中，照片欺骗是代价最小、最简单的欺骗方法，并随着信息技术的不断发展，对于大多数人而言，一个人的脸部图像通常是非常容易获取的，比如：通过互联网下载、通过摄像头在合法用户不知情的情况下抓拍等，而别有用心的非法用户可以通过脸部图像在图像采集设备前做各种各样翻转变化。而对于用户三维模型，不仅构造三维模型非常困难，以现有的技术还难以实施，而且人脸是活体的柔性面部，塑造的三维模型是僵硬的，并没有局部运动，因此它要和人脸具有一模一样的特征是不可能的，所以欺骗代价很大。 

从人脸认证系统走向应用的阶段，验证一张输入的人脸图像是来自活体真实人脸还是经过翻拍或打印的照片人脸是非常具有现实意义的。现有的应用于人脸识别中的活体 检测方法主要有两种，第一种检测方法通过判断人脸是否具有生理活动（如眨眼、唇动等）实现检测；第二种检测方法通过分析图像傅里叶频谱成分实现检测，这些检测方法都需要采集多幅照片，并对低分辨率的照片检测效果差；另一方面，还会增加人脸认证系统延时和计算复杂度，从而会造成系统资源消耗，因此这些检测方法在普通小型设备上应用不太理想。目前，还存在热红外成像分析方法，但这种方法需要增加昂贵的附加设备，而且该方法本身存在不稳定因素，因此在普通设备上也无法大范围推广应用。 

发明内容

本发明所要解决的技术问题是提供一种只需采集单张人脸图像，且成本低、计算复杂度低、检测准确率高的基于HSV颜色空间统计特征的活体人脸检测方法。 

本发明解决上述技术问题所采用的技术方案为：一种基于HSV颜色空间统计特征的人脸活体检测方法，其特征在于包括以下步骤： 

①在不同场景对不同的人采集活体真实人脸图像，之后将采集的活体真实人脸图像显示于液晶显示器上，并对液晶显示器上显示的活体真实人脸图像进行翻拍，得到多幅翻拍人脸照片，然后将采集的每幅活体真实人脸图像作为一个正样本，将每幅翻拍人脸照片图像作为一个负样本，接着提取每个正样本和每个负样本的所有特征值，再将每个正样本的标签记为+1，将每个负样本的标签记为-1，最后将所有正样本和所有负样本的特征值送入支持向量机中，利用支持向量机进行训练； 

②从摄像头获取RGB颜色空间的包含人脸的图像； 

③将包含人脸的图像从RGB颜色空间转换到YCrCb颜色空间，接着对YCrCb颜色空间的包含人脸的图像依次进行肤色分割处理、去噪处理、数学形态学处理和标定连通区域边界处理，得到多个最小外接矩形，然后对多个最小外接矩形进行筛选，再对筛选后得到的多个最小外接矩形进行归并处理，得到候选的人脸矩形区域，最后通过模板匹配方法获得最终的人脸矩形区域的坐标； 

④利用步骤③中获取的人脸矩形区域的坐标，将步骤②中获取的包含人脸的图像的人脸部分截取出，然后采用双线性插值法将截取出的人脸部分缩放为尺寸大小为240×320的人脸图像，再将缩放形成的人脸图像从RGB颜色空间转换到HSV颜色空间，并将HSV颜色空间的人脸图像作为要提取特征的待检测的人脸图像； 

⑤将步骤④获得的待检测的人脸图像分割成多个图像块，然后对每个图像块中的每个像素点的每个颜色分量的颜色值进行归一化和量化处理，得到每个图像块的每个颜色分量的三个特征值，最后对待检测的人脸图像中的所有图像块的三个颜色分量的特征值进行归一化处理； 

⑥将步骤⑤归一化处理后的共81个特征值作为待检测样本送入步骤①中得到的训练后的支持向量机中进行检测，训练后的支持向量机在检测过程中判断 

的值是否为1，如果是，则确定检测结果为正样本，表示步骤②获取的包含人脸的图像为活体真实人脸图像，否则，确定检测结果为负样本，表示步骤②获取的包含人脸的图像为照片攻击或视频攻击的假冒人脸图像，其中，sgn()为符号判别函数，当

的值大于0时，则  $\mathrm{sgn}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a_i}^{*}\×y_i\×K(X,X_i)+b^{*})$ 的值为1，当 $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a_i}^{*}\×y_i\×K(X,X_i)+b^{*}$ 的值小于0时，则 

的值为-1，n表示用于支持向量机训练的正样本和负样本的总样本数，a_i ^*表示拉格朗日乘子，y_i表示用于支持向量机训练的第i个样本的标签，y_i=+1表示用于支持向量机训练的第i个样本为正样本，y_i=-1表示用于支持向量机训练的第i个样本为负样本，X表示待检测样本的特征向量，X_i表示用于支持向量机训练的第i个样本的特征向量，K(X,X_i)为核函数，其将X从低维空间映射到高维空间，同时计算X和X_i在高维空间的内积，使计算量回归到X×X_i的量级，b^*表示最优超平面的偏移量。 

所述的步骤①中将每个正样本和每个负样本作为待提取特征的人脸样本图像，对提取特征的人脸样本图像进行特征值提取的具体过程为： 

①-a、将待提取特征的人脸样本图像从RGB颜色空间转换到YCrCb颜色空间，接着对YCrCb颜色空间的提取特征的人脸样本图像依次进行肤色分割处理、去噪处理、数学形态学处理和标定连通区域边界处理，得到多个最小外接矩形，然后对多个最小外接矩形进行筛选，再对筛选后得到的多个最小外接矩形进行归并处理，得到候选的人脸矩形区域，最后通过模板匹配方法获得最终的人脸矩形区域的坐标； 

①-b、利用步骤①-a中获取的人脸样本矩形区域的坐标，将提取特征的人脸样本图像的人脸部分截取出，然后采用双线性插值法将截取出的人脸部分缩放为尺寸大小为240×320的人脸图像，再将缩放形成的人脸图像从RGB颜色空间转换到HSV颜色空间，并将HSV颜色空间的人脸图像作为待提取特征的人脸样本图像； 

①-c、将步骤①-b获得的待提取特征的人脸样本图像分割成多个图像块，然后对每个图像块中的每个像素点的每个颜色分量的颜色值进行归一化和量化处理，得到每个图像块的每个颜色分量的三个特征值，最后对待提取特征的人脸样本图像中的所有图像块的三个颜色分量的特征值进行归一化处理，得到提取特征的人脸样本图像对应的所有特征值，具体过程为： 

①-c-1、将待提取特征的人脸样本图像除第一行和最后一行像素点外的区域分割成9个互不重叠的尺寸大小为80×106的图像块；①-c-2、将待提取特征的人脸样本图像中当前正在处理的图像块作为当前图像块；①-c-3、对当前图像块中的每个像素点的H、S、V三个颜色分量的颜色值进行归一化处理；然后对当前图像块中的每个像素点的归一化处理后的H、S、V三个颜色分量的颜色值进行量化处理，如果归一化处理后的颜色值在区间[0,0.333]内，则将该颜色值重新赋值为0，如果归一化处理后的颜色值在区间（0.333,0.667]内，则将该颜色值重新赋值为1，如果归一化处理后的颜色值在区间（0.667,1]内，则将该颜色值重新赋值为2；接着分别统计当前图像块中量化后的H颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_H ^*、n_H ^*、p_H ^*，并分别统计当前图像块中量化后的S颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_S ^*、n_S ^*、p_S ^*，分别统计当前图像块中量化后的V颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_V ^*、n_V ^*、p_V ^*；①-c-4、分别计算m_H ^*、n_H ^*、p_H ^*占当前图像块中的像素点的总个数的比例，分别对应记为m_H ^*′、n_H ^*′、p_H ^*′，

分别计算m_S ^*、n_S ^*、p_S ^*占当前图像块中的像素点的总个数的比例，分别对应记为m_S ^*′、n_S ^*′、p_S ^*′，

分别计算m_V ^*、n_V ^*、p_V ^*占当前图像块中的像素点的总个数的比例，分别对应记为m_V ^*′、n_V ^*′、p_V ^*′，

其中，m_H ^*′、n_H ^*′、p_H ^*′、m_S ^*′、n_S ^*′、p_S ^*′、m_V ^*′、n_V ^*′、p_V ^*′的初始值均为0，SUM表示当前图像块中的像素点的总个数；①-c-5、将m_H ^*′、n_H ^*′、p_H ^*′分别作为当前图像块的H颜色分量的特征值，将m_S ^*′、 n_S ^*′、p_S ^*′分别作为当前图像块的S颜色分量的特征值，将m_V ^*′、n_V ^*′、p_V ^*′分别作为当前图像块的V颜色分量的特征值；①-c-6、将待提取特征的人脸样本图像中下一个待处理的图像块作为当前图像块，然后返回步骤①-c-3继续执行，直至待提取特征的人脸样本图像中的所有图像块处理完毕，得到待提取特征的人脸样本图像中的每个图像块的每个颜色分量的三个特征值，再由待提取特征的人脸样本图像中的所有图像块的三个颜色分量的特征值构成一个特征值序列；①-c-7、对特征值序列中的每个特征值进行归一化处理，得到待提取特征的人脸样本对应的所有特征值。 

所述的步骤⑤的具体过程为： 

⑤-1、将步骤④获得的待检测的人脸图像除第一行和最后一行像素点外的区域分割成9个互不重叠的尺寸大小为80×106的图像块； 

⑤-2、将待检测的人脸图像中当前正在处理的图像块作为当前图像块； 

⑤-3、对当前图像块中的每个像素点的H、S、V三个颜色分量的颜色值进行归一化处理；然后对当前图像块中的每个像素点的归一化处理后的H、S、V三个颜色分量的颜色值进行量化处理，如果归一化处理后的颜色值在区间[0,0.333]内，则将该颜色值重新赋值为0，如果归一化处理后的颜色值在区间（0.333,0.667]内，则将该颜色值重新赋值为1，如果归一化处理后的颜色值在区间（0.667,1]内，则将该颜色值重新赋值为2；接着分别统计当前图像块中量化后的H颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_H、n_H、p_H，并分别统计当前图像块中量化后的S颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_S、n_S、p_S，分别统计当前图像块中量化后的V颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_V、n_V、p_V； 

⑤-4、分别计算m_H、n_H、p_H占当前图像块中的像素点的总个数的比例，分别对应记为m_H'、p_H'、n_H'，

分别计算m_S、n_S、p_S占当前图像块中的像素点的总个数的比例，分别对应记为m_S'、p_S'、n_S'，

分别计算m_V、n_V、p_V占当前图像块中的像素点的总个数的比例，分别对应记为m_V'、p_V'、n_V'，

其中，m_H'、n_H'、p_H'、m_S'、n_S'、p_S'、m_V'、n_V'、p_V'的初始值均为0，sum表示当前图像块中的像素点的总个数； 

⑤-5、将m_H'、n_H'、p_H'分别作为当前图像块的H颜色分量的特征值，将m_S'、n_S'、p_S'分别作为当前图像块的S颜色分量的特征值，将m_V'、n_V'、p_V'分别作为当前图像块的V颜色分量的特征值； 

⑤-6、将待检测的人脸图像中下一个待处理的图像块作为当前图像块，然后返回步骤⑤-3继续执行，直至待检测的人脸图像中的所有图像块处理完毕，得到待检测的人脸图像中的每个图像块的每个颜色分量的三个特征值，再由待检测的人脸图像中的所有图像块的三个颜色分量的特征值构成一个特征值序列； 

⑤-7、对特征值序列中的每个特征值进行归一化处理。 

所述的步骤⑤-7的具体过程为： 

A、计算特征值序列中的所有特征值的均值，记为mean，其中，feature(k)表示特征值序列中的第k个特征值，1≤k≤81； 

B、根据特征值序列中的所有特征值的均值mean，计算特征值序列中的所有特征值的标准方差，记为var， $\mathrm{var}=\sqrt{\frac{\underset{k=1}{\overset{81}{\mathrm{\Σ}}}[\mathrm{feature}\left(k\right)-\mathrm{mean}{]}^2}{81-1}};$

C、根据mean和var，计算归一化处理后的特征值，将特征值序列中归一化处理后的第k个特征值记为data(k)， $\mathrm{data}\left(k\right)=\frac{\mathrm{feature}\left(k\right)-\mathrm{mean}}{\mathrm{var}}.$

与现有技术相比，本发明的优点在于： 

1）本发明方法检测人脸时只需采集单幅人脸图像，而不需要采集多幅人脸图像，并且不需要用户主动配合，因此有效地降低了人脸认证系统延时，同时有效地降低了计算复杂度。 

2）本发明方法检测人脸时只需要从普通的摄像头采集一幅包含人脸的待检测图像即可进行检测，因此检测时不需要增加额外设备，就能实时判断采集的包含人脸的待检测图像是否是活体真实人脸，从而有效地降低了成本。 

3）本发明方法利用活体真实人脸图像与假冒照片图像在HSV颜色空间统计特征的差异，兼顾全局特点和局部特点合理地对人脸图像分块提高了检测正确率，并考虑到图像特征维数对检测时间的影响，对HSV颜色空间的颜色值分三级重新量化，从而降低了特征维数，减少了活体检测所用的时间。 

4）本发明方法能在普通手持设备上实现，拓宽了应用范围。 

附图说明

图1为本发明方法的总体实现框图； 

图2为本发明方法的检测过程示意图。 

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。 

本发明提出的一种基于HSV颜色空间统计特征的人脸活体检测方法，其流程框图如图1和图2所示，其包括以下步骤： 

①在不同场景对不同的人采集活体真实人脸图像，之后将采集的活体真实人脸图像显示于液晶显示器上，并对液晶显示器上显示的活体真实人脸图像进行翻拍，得到多幅翻拍人脸照片，然后将采集的每幅活体真实人脸图像作为一个正样本，将每幅翻拍人脸照片图像作为一个负样本，接着提取每个正样本和每个负样本的所有特征值，再将每个正样本的标签记为+1，将每个负样本的标签记为-1，最后将所有正样本和所有负样本的特征值送入支持向量机中，利用支持向量机进行训练。 

在本实施例中，一般情况下，采集的活体真实人脸图像越多越好，即采集的活体真实人脸图像越多，则训练后的支持向量机中的参数的精度越高，从而可有效地提高本发明方法的检测准确度，但同时会增加本发明方法的检测时间，因此可根据实际情况，采集几十幅到几千幅的活体真实人脸图像，翻拍人脸照片的幅数也可为几十幅到几千幅。 

在此具体实施例中，步骤①中将每个正样本和每个负样本作为用于训练的样本，对用于训练的样本进行特征值提取的具体过程为： 

①-a、将用于的训练的样本从RGB颜色空间转换到YCrCb颜色空间，接着对YCrCb颜色空间的用于训练的样本依次进行肤色分割处理、去噪处理、数学形态学处理和标定连通区域边界处理，得到多个最小外接矩形，然后对多个最小外接矩形进行筛选，再对筛选后得到的多个最小外接矩形进行归并处理，得到候选的人脸矩形区域，最后通过模板匹配方法获得最终的人脸矩形区域的坐标。 

①-b、利用步骤①-a中获取的人脸样本矩形区域的坐标，将用于训练的样本的人脸部分截取出，然后采用双线性插值法将截取出的人脸部分缩放为尺寸大小为240×320的人脸图像，再将缩放形成的人脸图像从RGB颜色空间转换到HSV颜色空间，并将HSV颜色空间的人脸图像作为待提取特征的人脸样本图像。 

在此，采用现有的双线性插值法对截取出的人脸部分进行缩放，并对缩放形成的人 脸图像从RGB颜色空间转换到HSV颜色空间的具体过程为： 

①-b-1、采用现有的双线性插值法，将RGB颜色空间的截取出的人脸部分缩放为分辨率为240×320的图像，在利用现有的双线性插值法对截取出的人脸部分进行缩放处理时，会用到RGB颜色空间的每幅截取出的人脸部分中的四个相邻的坐标位置。假设四个相邻的像素点的像素值为f(0，0)、f(1，0)、f(1，0)、f(1，1)，假设双线性插值法的公式为f(x，y)＝ax+by+cxy+d，则在f(x，y)＝ax+by+cxy+d中代入f(0，0)、f(1，0)、f(1，0)、f(1，1)，得到 $\left\{\begin{array}{c}f\left(\mathrm{0,0}\right)=d\\ f\left(\mathrm{1,0}\right)=a+d\\ f\left(\mathrm{0,1}\right)=b+d\\ f\left(\mathrm{1,1}\right)=a+b+c+d\end{array}\right.,$ 然后计算RGB颜色空间的每幅截取的人脸部分中坐标位置为(x，y)的像素点的像素值为f(x，y)，则 再假设RGB颜色空间的每幅待提取特征的人脸样本图像的分辨率为M×N，则当RGB颜色空间的每幅截取出的人脸部分缩放到240×320的缩放因子为t时，RGB颜色空间的每幅截取出的人脸部分中坐标位置为(x，y)的像素点变为坐标位置为(x₁，y₁)的像素点，x₁＝x/t，y₁＝y/t，最后再通过  $\left\{\begin{array}{c}f\left(\mathrm{0,0}\right)=d\\ f\left(\mathrm{1,0}\right)=a+d\\ f\left(\mathrm{0,1}\right)=b+d\\ f\left(\mathrm{1,1}\right)=a+b+c+d\end{array}\right.$ 和 $\begin{array}{c}f(x_1,y_1)=[f\left(\mathrm{1,0}\right)-f\left(\mathrm{0,0}\right)]x_1+[f\left(\mathrm{0,1}\right)-f\left(\mathrm{0,0}\right)]y_1\\ +[f\left(\mathrm{1,1}\right)+f\left(\mathrm{0,0}\right)-f\left(\mathrm{1,0}\right)-f\left(\mathrm{0,1}\right)]{x_1{y}_1}_{}+f\left(\mathrm{0,0}\right)\end{array},$ 获得分辨率为240×320的图像中的坐标位置为(x₁，y₁)的像素点的像素值。 

①-b-2、将步骤①-b-1中得到的分辨率为240×320的人脸图像从RGB颜色空间转换到HSV颜色空间，颜色空间的具体转换过程为：1)令r，g，b，h，s，v分别对应表示R、G、B、H、S、V颜色分量的颜色值；2)计算r，g，b的最大值和最小值，分别记为c_max，c_min，c_max＝max(r，g，b)，c_min＝min(r，g，b)，其中，max()为取最大值函数，min()为取最小值函数；3)根据c_max和c_min，确定h，s，v的值， 

如果h×60小于0，则h=h+360，s=(c_max-c_min)/c_max，v=c_max，其中，h=h+360中的“=”为赋值符号。 

①-c、将步骤①-b获得的待提取特征的人脸样本图像分割成多个图像块，然后对每个图像块中的每个像素点的每个颜色分量的颜色值进行归一化和量化处理，得到每个图像块的每个颜色分量的三个特征值，最后对待提取特征的人脸样本图像中的所有图像块的三个颜色分量的特征值进行归一化处理，得到用于训练的样本对应的所有特征值，具体过程为： 

①-c-1、将待提取特征的人脸样本图像除第一行和最后一行像素点外的区域分割成9个互不重叠的尺寸大小为80×106的图像块；①-c-2、将待提取特征的人脸样本图像中当前正在处理的图像块作为当前图像块；①-c-3、对当前图像块中的每个像素点的H、S、V三个颜色分量的颜色值进行归一化处理；然后对当前图像块中的每个像素点的归一化处理后的H、S、V三个颜色分量的颜色值进行量化处理，如果归一化处理后的颜色值在区间[0,0.333]内，则将该颜色值重新赋值为0，如果归一化处理后的颜色值在区间（0.333,0.667]内，则将该颜色值重新赋值为1，如果归一化处理后的颜色值在区间（0.667,1]内，则将该颜色值重新赋值为2；接着分别统计当前图像块中量化后的H颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_H ^*、n_H ^*、p_H ^*，并分别统计当前图像块中量化后的S颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_S ^*、n_S ^*、p_S ^*，分别统计当前图像块中量化后的V颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_V ^*、n_V ^*、p_V ^*；①-c-4、分别计算m_H ^*、n_H ^*、p_H ^*占当前图像块中的像素点的总个数的比例，分别对应记为m_H ^*′、n_H ^*′、p_H ^*′，

分别计算m_S ^*、n_S ^*、p_S ^*占当前图像块中的像素点的总个数的比例，分别对应记为m_S ^*′、n_S ^*′、p_S ^*′，

分别计算m_V ^*、n_V ^*、p_V ^*占当前图像块中的像素点的总个数的比例，分别对应记为m_V ^*′、 n_V ^*′、p_V ^*′，其中，m_H ^*′、n_H ^*′、p_H ^*′、m_S ^*′、n_S ^*′、p_S ^*′、m_V ^*′、n_V ^*′、p_V ^*′的初始值均为0，SUM表示当前图像块中的像素点的总个数；①-c-5、将m_H ^*′、n_H ^*′、p_H ^*′分别作为当前图像块的H颜色分量的特征值，将m_S ^*′、n_S ^*′、p_S ^*′分别作为当前图像块的S颜色分量的特征值，将m_V ^*′、n_V ^*′、p_V ^*′分别作为当前图像块的V颜色分量的特征值；①-c-6、将待提取特征的人脸样本图像中下一个待处理的图像块作为当前图像块，然后返回步骤①-c-3继续执行，直至待提取特征的人脸样本图像中的所有图像块处理完毕，得到待提取特征的人脸样本图像中的每个图像块的每个颜色分量的三个特征值，再由待提取特征的人脸样本图像中的所有图像块的三个颜色分量的特征值构成一个特征值序列；①-c-7、对特征值序列中的每个特征值进行归一化处理，得到用于训练的样本对应的所有特征值。在此，对特征值序列中的每个特征值进行归一化处理的过程为：首先，计算特征值序列中的所有特征值的均值，记为mean'， 其中，feature'(k)表示特征值序列中的第k个特征值，1≤k≤81；其次，根据特征值序列中的所有特征值的均值mean'，计算特征值序列中的所有特征值的标准方差，记为var'，

再根据mean'和var'，计算归一化处理后的特征值，将特征值序列中归一化处理后的第k个特征值记为data'(k)， ${\mathrm{data}}^{\′}\left(k\right)=\frac{{\mathrm{feature}}^{\′}\left(k\right)-{\mathrm{mean}}^{\′}}{{\mathrm{var}}^{\′}}.$

②从摄像头获取包含人脸的待检测图像。 

③将包含人脸的图像从RGB颜色空间转换到YCrCb颜色空间，接着对YCrCb颜色空间的包含人脸的图像依次进行肤色分割处理、去噪处理、数学形态学处理和标定连通区域边界处理，得到多个最小外接矩形，然后对多个最小外接矩形进行筛选，再对筛选后得到的多个最小外接矩形进行归并处理，得到候选的人脸矩形区域，最后通过模板匹配方法获得最终的人脸矩形区域的坐标。 

在本实施例中，肤色分割处理、去噪处理、数学形态学处理（1次开运算1次闭运算）和标定连通区域边界处理采用论文“基于改进YCrCb色彩空间的人脸检测算法”中公开的方法。 

在本实施例中，对多个最小外接矩形进行筛选采用论文“基于改进YCrCb色彩空间 的人脸检测算法”中公开的方法，即消除外接矩形尺寸大小小于5×5的连通区域，并排除长宽比例不在区间[1.1，1.6]内的外接矩形；对多个最小外接矩形进行归并处理的方法为：如果一个外接矩形中包含另外的外接矩形，则将此外接矩形内部的外接矩形全都去除，同时将这个外接矩形作为候选的人脸矩形区域。 

在本实施例中，采用模板匹配方法对候选的人脸矩形区域进行筛选的具体过程为：先手工裁剪样任意一张YCrCb空间的人脸图像，得到人脸模板，假设它的大小为W×H，且Cr颜色分量的矩阵为M，Cr颜色分量的均值为AVE(M)，在此将待确认的候选的人脸矩形区域中的Cr颜色分量的均值记为AVE(R)，然后将待确认的候选的人脸矩形区域中的所有像素点的像素值乘以系数

再采用双线性插值法将待确认的候选的人脸矩形区域缩放到W×H大小，将缩放后的候选的人脸矩形区域中的Ｃr颜色分量的矩阵记为R，并通过

计算待确认的候选的人脸矩形区域与人脸模板的相似率rate(R)，如果rate(R)小于0.09，则可确定该待确认的候选的人脸区域为最终的人脸矩形区域，否则，重复上述过程对下一个候选的人脸矩形区域进行判断，直到遍历完所有候选的人脸矩形区域，找到最终的人脸矩形区域，其中，R(x,y)表示R中坐标位置为(x,y)处的颜色值，M(x,y)表示M中坐标位置为(x,y)处的颜色值。 

④利用步骤③中获取的人脸矩形区域的坐标，将步骤②中获取的包含人脸的图像的人脸部分截取出，然后采用双线性插值法将截取出的人脸部分缩放为尺寸大小为240×320的人脸图像，再将缩放形成的人脸图像从RGB颜色空间转换到HSV颜色空间，并将HSV颜色空间的人脸图像作为要提取特征的待检测的人脸图像。 

⑤将步骤④获得的待检测的人脸图像分割成多个图像块，然后对每个图像块中的每个像素点的每个颜色分量的颜色值进行归一化和量化处理，得到每个图像块的每个颜色分量的三个特征值，最后对待检测的人脸图像中的所有图像块的三个颜色分量的特征值进行归一化处理。 

在此具体实施例中，步骤⑤的具体过程为： 

⑤-1、将步骤④获得的待检测的人脸图像除第一行和最后一行像素点外的区域分割成9个互不重叠的尺寸大小为80×106的图像块，即9个图像块的起始像素点的坐标位 置分别为（1，2）、（81，2）、（161，2）、（1，107）、（81，107）、（161，107）、（214，2）、（1，214）、（81，214）、（161，214）。 

⑤-2、将待检测的人脸图像中当前正在处理的图像块作为当前图像块。 

⑤-3、对当前图像块中的每个像素点的H、S、V三个颜色分量的颜色值进行归一化处理；然后对当前图像块中的每个像素点的归一化处理后的H、S、V三个颜色分量的颜色值进行量化处理，如果归一化处理后的颜色值在区间[0,0.333]内，则将该颜色值重新赋值为0，如果归一化处理后的颜色值在区间（0.333,0.667]内，则将该颜色值重新赋值为1，如果归一化处理后的颜色值在区间（0.667,1]内，则将该颜色值重新赋值为2；接着分别统计当前图像块中量化后的H颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_H、n_H、p_H，并分别统计当前图像块中量化后的S颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_S、n_S、p_S，分别统计当前图像块中量化后的V颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_V、n_V、p_V； 

⑤-4、分别计算m_H、n_H、p_H占当前图像块中的像素点的总个数的比例，分别对应记为m_H'、p_H'、n_H'，

分别计算m_S、n_S、p_S占当前图像块中的像素点的总个数的比例，分别对应记为m_S'、p_S'、n_S'，

分别计算m_V、n_V、p_V占当前图像块中的像素点的总个数的比例，分别对应记为m_V'、p_V'、n_V'，

其中，m_H'、n_H'、p_H'、m_S'、n_S'、p_S'、m_V'、n_V'、p_V'的初始值均为0，sum表示当前图像块中的像素点的总个数； 

⑤-5、将m_H'、n_H'、p_H'分别作为当前图像块的H颜色分量的特征值，将m_S'、n_S'、p_S'分别作为当前图像块的S颜色分量的特征值，将m_V'、n_V'、p_V'分别作为当前图像块的V颜色分量的特征值； 

⑤-6、将待检测的人脸图像中下一个待处理的图像块作为当前图像块，然后返回步骤⑤-3继续执行，直至待检测的人脸图像中的所有图像块处理完毕，得到待检测的人脸图像中的每个图像块的每个颜色分量的三个特征值，再由待检测的人脸图像中的所有图像块的三个颜色分量的特征值构成一个特征值序列。 

⑤-7、对特征值序列中的每个特征值进行归一化处理，具体过程为： 

A、计算特征值序列中的所有特征值的均值，记为mean，

其中，feature(k)表示特征值序列中的第k个特征值，1≤k≤81； 

B、根据特征值序列中的所有特征值的均值mean，计算特征值序列中的所有特征值的标准方差，记为var， $\mathrm{var}=\sqrt{\frac{\underset{k=1}{\overset{81}{\mathrm{\Σ}}}[\mathrm{feature}\left(k\right)-\mathrm{mean}{]}^2}{81-1}};$

C、根据mean和var，计算归一化处理后的特征值，将特征值序列中归一化处理后的第k个特征值记为data(k)， $\mathrm{data}\left(k\right)=\frac{\mathrm{feature}\left(k\right)-\mathrm{mean}}{\mathrm{var}}.$

⑥将步骤⑤归一化处理后的共81个特征值作为待检测样本送入步骤①中得到的训练后的支持向量机中进行检测，训练后的支持向量机在检测过程中判断 

的值是否为1，如果是，则确定检测结果为正样本，表示步骤②获取的包含人脸的图像为活体真实人脸图像，否则，确定检测结果为负样本，表示步骤②获取的包含人脸的图像为照片攻击或视频攻击的假冒人脸图像，其中，sgn()为符号判别函数，当

的值大于0时，则  $\mathrm{sgn}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a_i}^{*}\×y_i\×K(X,X_i)+b^{*})$ 的值为1，当 $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a_i}^{*}\×y_i\×K(X,X_i)+b^{*}$ 的值小于0时，则 的值为-1，n表示用于支持向量机训练的正样本和负样本的总样本数，a_i ^*表示拉格朗日乘子，y_i表示用于支持向量机训练的第i个样本的标签，y_i=+1表示用于支持向量机训练的第i个样本为正样本，y_i=-1表示用于支持向量机训练的第i个样本为负样本，X表示待检测样本的特征向量，X_i表示用于支持向量机训练的第i个样本的特征向量，K(X,X_i)为核函数，其将X从低维空间映射到高维空间，同时计算X和X_i在高维空间的内积，使计算量回归到X×X_i的量级，b^*表示最优超平面的偏移量。 

为更有力地说明本发明方法的有效性和可行性，对不同特征提取方法及不同分块方案进行性能测试和对比实验，具体如下： 

图像库采用三星手机Galaxy Nexus GT-I9250、苹果手机IPhone4A1332等后置摄像头在不同室内外环境中拍摄了活体真实人脸像261张，然后将照片显示在液晶器上，用手机后置摄像头翻拍获取一次，形成261张翻拍图像，一次拍摄照片与翻拍照片共计522张，再对每张照片裁剪出人脸范围。第一次拍摄的是活体真实人脸图像，翻拍的是来自假冒人脸，也就是照片欺骗人脸。对不同训练、测试比例进行测试对比，结果如表1所列。TP代表正样本检测正确率，TN代表负样本检测正确率，可以看出训练样本比例越大准确率越好。因此，增加用于训练的样本量对于提升检测正确率是有效的。为了验证HSV颜色空间统计特征比其它特征有更好的区分能力，对人脸几何特征和本发明方法提取的特征在相同训练测试比例、相同核函数的支持向量机中进行实验。表2为几何特征与本发明方法提取出的HSV颜色空间统计特征对比，它们训练测试比例都为4：1。几何特征维数为131，平均准确率为检测正确率88.85%，而本发明方法平均检测正确率可达97.02%，并且特征维数更低。 

表1不同比例下训练检测正确率 

训练测试比例	TP	TN	检测正确率	特征值的数目
					1：1	94.84%	94.62%	94.73%	81
4：1	97.69%	96.34%	97.02%	81

表2HSV颜色空间统计特征与几何特征对比 

表3不同分块方案检测正确率对比 

样本	TP	TN	检测正确率	特征值的数目
					2×2	93.65%	92.31%	92.98%	36
3×3	97.69%	96.34%	97.02%	81
					4×4	96.53%	95.58%	95.06%	144

[0076] 将图像分图像块计算HSV颜色空间统计特征存在许多优点，可以兼顾全局特点和局部特点，但如果分块太细，则无法描述出图像表面全局特征，而且会增加特征维数，加大系统开销；如果分块太大，则无法表征局部特征，因此图像在分块过程中需考虑分块方式和图像块的大小。在上述图像库上对2×2个图像块，3×3个图像块，4×4个图像块都作了对应的测试比较，实验数据如表3所列。 

从表3中可以看出，2×2个图像块的特征维数较低，但是识别效果不如3×3和4×4个图像块的好，而4×4个图像块的识别效果比2×2个图像块的识别效果要好，但特征维数很高，并且在识别正确率方面没有3×3个图像块的好，因此将图像分成3×3个图像块是最优的选择。 

从上述各表中可以看出特征值只有81个，而且没有小波变换等其它特征提取方法的复杂计算，比几何特征减少了检测所用的时间，减少了特征维数，提高了检测正确率，因此本发明方法是有效的且可行的。 

Claims (4)

1.一种基于HSV颜色空间统计特征的人脸活体检测方法，其特征在于包括以下步骤：

①在不同场景对不同的人采集活体真实人脸图像，之后将采集的活体真实人脸图像显示于液晶显示器上，并对液晶显示器上显示的活体真实人脸图像进行翻拍，得到多幅翻拍人脸照片，然后将采集的每幅活体真实人脸图像作为一个正样本，将每幅翻拍人脸照片图像作为一个负样本，接着提取每个正样本和每个负样本的所有特征值，再将每个正样本的标签记为+1，将每个负样本的标签记为-1，最后将所有正样本和所有负样本的特征值送入支持向量机中，利用支持向量机进行训练；

②从摄像头获取RGB颜色空间的包含人脸的图像；

③将包含人脸的图像从RGB颜色空间转换到YCrCb颜色空间，接着对YCrCb颜色空间的包含人脸的图像依次进行肤色分割处理、去噪处理、数学形态学处理和标定连通区域边界处理，得到多个最小外接矩形，然后对多个最小外接矩形进行筛选，再对筛选后得到的多个最小外接矩形进行归并处理，得到候选的人脸矩形区域，最后通过模板匹配方法获得最终的人脸矩形区域的坐标；

④利用步骤③中获取的人脸矩形区域的坐标，将步骤②中获取的包含人脸的图像的人脸部分截取出，然后采用双线性插值法将截取出的人脸部分缩放为尺寸大小为240×320的人脸图像，再将缩放形成的人脸图像从RGB颜色空间转换到HSV颜色空间，并将HSV颜色空间的人脸图像作为要提取特征的待检测的人脸图像；

⑤将步骤④获得的待检测的人脸图像分割成多个图像块，然后对每个图像块中的每个像素点的每个颜色分量的颜色值进行归一化和量化处理，得到每个图像块的每个颜色分量的三个特征值，最后对待检测的人脸图像中的所有图像块的三个颜色分量的特征值进行归一化处理；

⑥将步骤⑤归一化处理后的共81个特征值作为待检测样本送入步骤①中得到的训练后的支持向量机中进行检测，训练后的支持向量机在检测过程中判断

的值是否为1，如果是，则确定检测结果为正样本，表示步骤②获取的包含人脸的图像为活体真实人脸图像，否则，确定检测结果为负样本，表示步骤②获取的包含人脸的图像为照片攻击或视频攻击的假冒人脸图像，其中，sgn()为符号判别函数，当

的值大于0时，则 $\mathrm{sgn}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a_i}^{*}\×y_i\×K(X,X_i)+b^{*})$ 的值为1，当 $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a_i}^{*}\×y_i\×K(X,X_i)+b^{*}$ 的值小于0时，则

的值为-1，n表示用于支持向量机训练的正样本和负样本的总样本数，a_i ^*表示拉格朗日乘子，y_i表示用于支持向量机训练的第i个样本的标签，y_i=+1表示用于支持向量机训练的第i个样本为正样本，y_i=-1表示用于支持向量机训练的第i个样本为负样本，X表示待检测样本的特征向量，X_i表示用于支持向量机训练的第i个样本的特征向量，K(X,X_i)为核函数，其将X从低维空间映射到高维空间，同时计算X和X_i在高维空间的内积，使计算量回归到X×X_i的量级，b^*表示最优超平面的偏移量。

2.根据权利要求1所述的一种基于HSV颜色空间统计特征的人脸活体检测方法，其特征在于所述的步骤①中将每个正样本和每个负样本作为待提取特征的人脸样本图像，对提取特征的人脸样本图像进行特征值提取的具体过程为：

①-a、将待提取特征的人脸样本图像从RGB颜色空间转换到YCrCb颜色空间，接着对YCrCb颜色空间的提取特征的人脸样本图像依次进行肤色分割处理、去噪处理、数学形态学处理和标定连通区域边界处理，得到多个最小外接矩形，然后对多个最小外接矩形进行筛选，再对筛选后得到的多个最小外接矩形进行归并处理，得到候选的人脸矩形区域，最后通过模板匹配方法获得最终的人脸矩形区域的坐标；

①-b、利用步骤①-a中获取的人脸样本矩形区域的坐标，将提取特征的人脸样本图像的人脸部分截取出，然后采用双线性插值法将截取出的人脸部分缩放为尺寸大小为240×320的人脸图像，再将缩放形成的人脸图像从RGB颜色空间转换到HSV颜色空间，并将HSV颜色空间的人脸图像作为待提取特征的人脸样本图像；

①-c、将步骤①-b获得的待提取特征的人脸样本图像分割成多个图像块，然后对每个图像块中的每个像素点的每个颜色分量的颜色值进行归一化和量化处理，得到每个图像块的每个颜色分量的三个特征值，最后对待提取特征的人脸样本图像中的所有图像块的三个颜色分量的特征值进行归一化处理，得到提取特征的人脸样本图像对应的所有特征值，具体过程为：

①-c-1、将待提取特征的人脸样本图像除第一行和最后一行像素点外的区域分割成9个互不重叠的尺寸大小为80×106的图像块；①-c-2、将待提取特征的人脸样本图像中当前正在处理的图像块作为当前图像块；①-c-3、对当前图像块中的每个像素点的H、S、V三个颜色分量的颜色值进行归一化处理；然后对当前图像块中的每个像素点的归一化处理后的H、S、V三个颜色分量的颜色值进行量化处理，如果归一化处理后的颜色值在区间[0,0.333]内，则将该颜色值重新赋值为0，如果归一化处理后的颜色值在区间（0.333,0.667]内，则将该颜色值重新赋值为1，如果归一化处理后的颜色值在区间（0.667,1]内，则将该颜色值重新赋值为2；接着分别统计当前图像块中量化后的H颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_H ^*、n_H ^*、p_H ^*，并分别统计当前图像块中量化后的S颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_S ^*、n_S ^*、p_S ^*，分别统计当前图像块中量化后的V颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_V ^*、n_V ^*、p_V ^*；①-c-4、分别计算m_H ^*、n_H ^*、p_H ^*占当前图像块中的像素点的总个数的比例，分别对应记为m_H ^*′、n_H ^*′、p_H ^*′，

分别计算m_S ^*、n_S ^*、p_S ^*占当前图像块中的像素点的总个数的比例，分别对应记为m_S ^*′、n_S ^*′、p_S ^*′，

分别计算m_V ^*、n_V ^*、p_V ^*占当前图像块中的像素点的总个数的比例，分别对应记为m_V ^*′、n_V ^*′、p_V ^*′，

其中，m_H ^*′、n_H ^*′、p_H ^*′、m_S ^*′、n_S ^*′、p_S ^*′、m_V ^*′、n_V ^*′、p_V ^*′的初始值均为0，SUM表示当前图像块中的像素点的总个数；①-c-5、将m_H ^*′、n_H ^*′、p_H ^*′分别作为当前图像块的H颜色分量的特征值，将m_S ^*′、n_S ^*′、p_S ^*′分别作为当前图像块的S颜色分量的特征值，将m_V ^*′、n_V ^*′、p_V ^*′分别作为当前图像块的V颜色分量的特征值；①-c-6、将待提取特征的人脸样本图像中下一个待处理的图像块作为当前图像块，然后返回步骤①-c-3继续执行，直至待提取特征的人脸样本图像中的所有图像块处理完毕，得到待提取特征的人脸样本图像中的每个图像块的每个颜色分量的三个特征值，再由待提取特征的人脸样本图像中的所有图像块的三个颜色分量的特征值构成一个特征值序列；①-c-7、对特征值序列中的每个特征值进行归一化处理，得到待提取特征的人脸样本对应的所有特征值。

3.根据权利要求1或2所述的一种基于HSV颜色空间统计特征的人脸活体检测方法，其特征在于所述的步骤⑤的具体过程为：

⑤-1、将步骤④获得的待检测的人脸图像除第一行和最后一行像素点外的区域分割成9个互不重叠的尺寸大小为80×106的图像块；

⑤-2、将待检测的人脸图像中当前正在处理的图像块作为当前图像块；

⑤-3、对当前图像块中的每个像素点的H、S、V三个颜色分量的颜色值进行归一化处理；然后对当前图像块中的每个像素点的归一化处理后的H、S、V三个颜色分量的颜色值进行量化处理，如果归一化处理后的颜色值在区间[0,0.333]内，则将该颜色值重新赋值为0，如果归一化处理后的颜色值在区间（0.333,0.667]内，则将该颜色值重新赋值为1，如果归一化处理后的颜色值在区间（0.667,1]内，则将该颜色值重新赋值为2；接着分别统计当前图像块中量化后的H颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_H、n_H、p_H，并分别统计当前图像块中量化后的S颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_S、n_S、p_S，分别统计当前图像块中量化后的V颜色分量的颜色值为0、1、2的像素点的个数，分别对应记为m_V、n_V、p_V；

⑤-4、分别计算m_H、n_H、p_H占当前图像块中的像素点的总个数的比例，分别对应记为m_H'、p_H'、n_H'，

分别计算m_S、n_S、p_S占当前图像块中的像素点的总个数的比例，分别对应记为m_S'、p_S'、n_S'，

分别计算m_V、n_V、p_V占当前图像块中的像素点的总个数的比例，分别对应记为m_V'、p_V'、n_V'，

其中，m_H'、n_H'、p_H'、m_S'、n_S'、p_S'、m_V'、n_V'、p_V'的初始值均为0，sum表示当前图像块中的像素点的总个数；

⑤-5、将m_H'、n_H'、p_H'分别作为当前图像块的H颜色分量的特征值，将m_S'、n_S'、p_S'分别作为当前图像块的S颜色分量的特征值，将m_V'、n_V'、p_V'分别作为当前图像块的V颜色分量的特征值；

⑤-6、将待检测的人脸图像中下一个待处理的图像块作为当前图像块，然后返回步骤⑤-3继续执行，直至待检测的人脸图像中的所有图像块处理完毕，得到待检测的人脸图像中的每个图像块的每个颜色分量的三个特征值，再由待检测的人脸图像中的所有图像块的三个颜色分量的特征值构成一个特征值序列；

⑤-7、对特征值序列中的每个特征值进行归一化处理。

4.根据权利要求3所述的一种基于HSV颜色空间统计特征的人脸活体检测方法，其特征在于所述的步骤⑤-7的具体过程为：

A、计算特征值序列中的所有特征值的均值，记为mean，

其中，feature(k)表示特征值序列中的第k个特征值，1≤k≤81；

B、根据特征值序列中的所有特征值的均值mean，计算特征值序列中的所有特征值的标准方差，记为var， $\mathrm{var}=\sqrt{\frac{\underset{k=1}{\overset{81}{\mathrm{\Σ}}}[\mathrm{feature}\left(k\right)-\mathrm{mean}{]}^2}{81-1}};$

C、根据mean和var，计算归一化处理后的特征值，将特征值序列中归一化处理后的第k个特征值记为data(k)， $\mathrm{data}\left(k\right)=\frac{\mathrm{feature}\left(k\right)-\mathrm{mean}}{\mathrm{var}}.$

Images