CN104200146A - 一种结合视频人脸和数字唇动密码的身份验证方法 - Google Patents

Abstract

本发明涉及视频图像处理与模式识别技术领域，提供了一种结合视频人脸和数字唇动密码的身份验证方法，主要步骤如下：1)进行人脸区域检测和唇部区域定位预处理；2)利用Gabor滤波进行人脸特征提取并进行视频人脸身份验证；3)唇部区域特征提取并利用隐形马尔科夫模型进行整体唇动特性建模和唇动身份验证；4)对数字唇动密码进行密码子单元划分并进行密码内容识别匹配。本发明利用人的生物特征和行为特征进行身份验证，要求对身份认证匹配同时囊括视频人脸信息、唇动行为特性以及特定密码内容信息，起到了对身份验证的多重保护作用，可加强系统稳定性和安全性，具有良好的应用前景。

Description

一种结合视频人脸和数字唇动密码的身份验证方法

技术领域

本发明涉及视频图像处理与模式识别技术领域，特别是一种结合视频人脸和数字唇动密码的身份验证方法。

背景技术

随着信息化建设的飞速发展，人类不断扩大的物理与虚拟活动空间愈来愈多地面临身份确认问题，如私人办公室、个人智能保险箱、计算机用户登录和授权交易系统等等。一种安全、可靠和便捷的身份认证方式不仅能有效的保障个人财产和信息的安全，而且可为人们日常生活带来更多的便利和效益。然而，如何准确的鉴别个人身份，仍然是当今信息时代社会亟待解决的一个关键问题。

基于生物特征的身份鉴别技术以其特有的普遍性和稳定性给人们提供了一种更为安全、方便以及高效的个人身份鉴别方式，并已逐渐成为替代钥匙、证件和智能卡等传统身份认证技术的最好选择。然而，在一些对准确率和可靠性有严格要求的应用场合，使用者对身份验证系统安全性的要求也逐渐提高。例如：高科技保密部门、政府机要部门、机场、银行、油库和核电站等关系到国家和社会安全的特定场所，此时仅靠单一生物特征往往无法满足实际安全保障的需要。鉴于入侵者很难同时伪造出多种生物特征，多生物特征相结合的技术利用多个可鉴别的身份信息，在一定程度上能弥补单一生物特征识别的不足，具有更高的稳定性和防伪能力，从而达到降低误识率和实现高精度鉴别系统的要求。然而，基于多生物特征融合的身份验证技术需要多种不同数据捕获设备进行数据源获取，验证系统设备装置造价高，不易普及。

随着生物特征识别技术的不断完善与发展，研究者发现常用的生物特征并不具有保密性。例如人脸、指纹、掌纹和声音等生物特征很容易被套取或模仿，导致基于这些生物特征的身份验证系统不能有效的识别冒名顶替者，从而缺乏一定安全保障。

个人密码信息作为私人信息安全保护的核心和基础，不仅具有保护信息的机密性，而且有数字签名和身份验证等安全性功能，被广泛应用于各项社会和经济活动当中。然而，传统的个人密码信息和用户之间缺乏必然的联系，系统无法确认密码使用者的身份。据文献查证，同时利用生物特性和个人密码信息来增强身份验证系统安全性的方法通常是将手动输入密码与生物特性分开进行认证匹配，此种方法一般需多种传感器设备来分别获取生物信息和密码信息，应用起来较为不便。

针对个人密码信息与生物特征直接融合方式，在当前的生物特征识别系统中，采用静态数据输入的人脸、指纹、掌纹、虹膜等模式无法动态的植入个人安全密码信息，语音信号虽然易于嵌入个人密码信息，但读出的私人密码很容易被旁人察觉和窃取，从而缺乏隐私性和安全性。

近年来，研究者发现唇部区域的动态视觉信息不仅包含说话者自身嘴唇固有的生理特点(如嘴唇形状、颜色、纹理等)，而且具有丰富的运动视觉行为特点(包括口腔中牙齿舌头的出现、唇动变化差异性等)，可为身份验证提供非常有用的信息。依此特性，在唇动数据获取过程中，作为个人隐私和安全性保障的个人密码可以伴随着唇动特性一起(即唇动密码)构成身份验证的双重砝码。同时，在唇动数据获取过程中，说话时的视频人脸信息同样能为身份验证提供非常丰富的视觉信息。

发明内容

本发明的主要目的在于提出了融合生物特征和个人密码信息的方案，在仅需单一视频传感器设备的情况下，提供了一种结合视频人脸和数字唇动密码的身份验证方法。

本发明采用如下技术方案：

一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，预先设置有身份信息模型数据库，该数据库存储有每个注册人的视频人脸模型、唇动身份模型和唇动密码模型，以供测试时的验证匹配使用，具体验证步骤如下：

1)对输入的测试视频进行人脸区域和唇部区域提取；

2)对提取到的人脸区域进行下采样，然后采用Gabor小波变换提取人脸特征向量，再利用PCA方法对经过Gabor小波变换后的特征向量的系数进行降维，最后将降维后的特征向量与身份信息模型数据库中存储的视频人脸模型进行相似度度量来判断是否匹配，若匹配，则人脸身份信息验证通过，进入步骤3)，若否，则验证失败；

3)对提取到的唇部区域进行DCT特征提取获得部分代表性系数作为特征，并与身份信息模型数据库中存储的唇动身份模型进行最大似然估计来进一步判断是否匹配，若匹配，则唇动身份信息验证通过，进入步骤4)，若否，则验证失败；

4)提取到的唇部区域采用PCA特征提取和几何特征提取，然后进行数字唇动密码序列划分，将划分后的唇动密码子单元序列与身份信息模型数据库中存储的唇动密码模型进行匹配，若匹配，则唇动密码信息验证通过，若否，则验证失败。

优选的，在步骤2)中，所述Gabor小波变换是指，对于给定的像素点(x，y)，其变换形式如下：

$g_{v,u}(x,y)=\frac{{\left|\right|k\left|\right|}^2}{{\mathrm{\σ}}^2}\exp (-\frac{{\left|\right|k\left|\right|}^2(x^2+y^2)}{{2\mathrm{\σ}}^2})\·\left(\exp (\mathrm{ik}\·\left(\begin{array}{c}x\\ y\end{array}\right)\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2}));$

其中，u和v分别决定了Gabor小波的方向系数和频域尺度因子，k为总方向数，||·||为范式操作。

优选的，对于灰度变换后测试视频中一帧人脸图像I的Gabor小波变换特征可以表示为：在给定像素点(x,y)处，该像素在方向系数u和频域尺度v下的特征向量可以表示为：G_v,u(x,y)＝M_v,u(x,y)·exp(iθv,_u(x,y))，其中M_v,u(x,y)为幅度，θ_v,u(x,y)为相位角度，该M_v,u(x,y)即为需要进行降维的特征向量的系数。

优选的，在步骤2)中，所述的相似度度量是采用两个特征向量之间的余弦距离来进行相似度度量。

优选的，在步骤3)中，所述DCT特征提取是指：在步骤3)中，所述DCT特征提取是指：对提取的M×N尺度大小的唇部区域进行DCT变换，M为图像的长度，N为图像的宽度,变换形式如下：

$F(\mathrm{\α},\mathrm{\β})=C\left(\mathrm{\α}\right)C\left(\mathrm{\β}\right)\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}f(m,n)\cos \left[\frac{(2m+1)\mathrm{\α\π}}{2M}\right]\cos \left[\frac{(2n+1)\mathrm{\β\π}}{2M}\right];$

其中，α＝0,1,…,M-1，β＝0,1,…,N-1；当α＝0，β＝0时，其他情况，F(α,β)为变换后的系数矩阵，对变换后系数矩阵的区域左上角数据进行zigzag扫描，取得前r个代表性系数F_r(1,2,…,r)作为DCT特征向量，0<r≤M·N。

优选的，在步骤3)中，通过特征提取后的观测集与身份信息模型数据库中存储的唇动身份模型之间的最大似然估计值来匹配，若最大似然估计值大于预先设定的阈值，则唇动身份信息验证通过。

优选的，在步骤4)中，所述的PCA特征提取包括：提取P个图像序列作为训练样本，每一个构成一个特征向量x_i，即x_i的维数为D＝M×N，i＝1,2,…,P其中，M为图像的长度，N为图像的宽度，由P个特征向量构成的一个样本向量集：{x₁,…,x_P}，，其余操作如下：

4.1求样本向量集的平均向量：

4.2求样本向量集的偏差矩阵Y＝{y₁,y₂,…,y_p}，其中

4.3求样本协方差矩阵：

4.4求该协方差矩阵的特征值γ_i和特征向量e_i，选取保留前m个较大特征值所对应的特征向量作为主成分的正交基，并用做提取的特征向量。

优选的，在步骤4)中，所述几何特征提取获取的几何参数特征包括模型宽度参数、模型高度参数和区域面积参数。

优选的，所述身份信息模型数据库是预先通过输入的注册人的训练视频，进行人脸区域和唇部区域特征提取后，分别建立的视频人脸模型、唇动身份模型和唇动密码模型的数据库，以供身份验证使用。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1、视频人脸和数字唇动密码序列信息的获取仅需要单一传感器，采集成本较低，并对噪声环境的影响和距离的远近具有良好的鲁棒性。

2、采用本方法的系统具有活体监测功能：视频人脸中的眼睛闭合、表情变化以及唇动动态特性可以较好的判断给定生物特征是否来自某一个活体，可以有效防止特征信息被窃取。

3、本发明能够克服单一生物特征在身份验证中安全性较低以及生物特征缺乏保密性等不利影响，安全性较高；此外，唇动密码可以在无声下进行，在一定程度上有较强的隐蔽性优势。

4、本发明中的身份验证方法具有主动性、易操作性和用户友好等许多优点，应用起来较为方便。该发明方法不仅能够丰富多模态生物特征识别及其应用，而且在扩大系统的应用范围以及提供更丰富、更人性化的人机交互方式等方面可发挥重要作用。例如，该系统不仅可适用于发音有困难的人，也可用于智能手机的主人认证、智能家居生活的开锁钥匙以及重要安全场所的进入控制。

附图说明

图1是本发明方法的流程图；

图2是人脸检测区域样本图；

图3是唇部区域定位样本图；

图4是5个方向，8个尺度的Gabor小波滤波器示意图；

图5是视频人脸身份验证方式的流程图；

图6是唇动密码序列特征提取及验证方式流程图。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

参照图1，为本发明方法的流程图，具体实现过程如下：

一种结合视频人脸和数字唇动密码的身份验证方法，预先设置有身份信息模型数据库，该数据库存储有每个注册人的视频人脸模型、唇动身份模型和唇动密码模型。该注册人的视频人脸模型、唇动身份模型和唇动密码模型，是预先通过输入的注册人的训练视频序列图像，进行人脸检测和唇部区域定位提取后建立的模型。其余验证步骤如下：

1)对输入的测试视频序列图像，如附图2-3所示，进行人脸区域检测和唇部区域定位，本发明采用标准的“P.Viola and M.Jones，“Robust real-timeface detection，International Journal of Computer Vision，vol.57，no.2，pp.137–154，2004.”(中文译文：保罗.维奥拉,迈克尔.琼斯,鲁棒性的人脸实时监测，国际计算机视觉杂志，2004,57(2):137-154)方法进行人脸检测，唇部区域定位采用“R.Lienhart，L.Luhong，and A.Kuranov，“Adetector tree of boosted class ifiers for real-time object detection andtracking”，inProc.IEEE International Conference on Multimedia and Expo，vol.2，2003，pp.277–280.”(中文译文：雷内.利恩哈特,梁露红，亚历山大.库拉诺夫，基于集成检测树方法的实时目标检测和追踪，多媒体世博会，2003,2：277-280)提出的方法进行检测和标定。

2)针对视频人脸身份信息验证部分，由于Gabor小波在提取目标的局部空间和频率域信息等方面具有良好的特性，且对于光照变化不敏感，因此采用Gabor小波提取人脸特征信息，对提取到的人脸区域进行下采样，然后采用Gabor小波变换提取人脸特征向量，给定像素点(x,y)，其变换形式如下：

$g_{v,u}(x,y)=\frac{{\left|\right|k\left|\right|}^2}{{\mathrm{\&sigma;}}^2}\exp (-\frac{{\left|\right|k\left|\right|}^2(x^2+y^2)}{{2\mathrm{\&sigma;}}^2})\&CenterDot;\left(\exp (\mathrm{ik}\&CenterDot;\left(\begin{array}{c}x\\ y\end{array}\right)\right)-\exp (-\frac{{\mathrm{\&sigma;}}^2}{2}));$

其中，u和v分别决定了Gabor小波的方向系数和频域尺度因子，k为总方向数，||·||为范式操作。如附图4所示，对于人脸纹理特征提取，通常选取5个尺度，8个方向，即k＝8，u＝{0,1,…,7}，v＝{0,1,…,4}。

对于灰度变换后视频中一帧人脸图像I的Gabor小波变换特征可以表示为：，在给定像素点(x,y)处，该像素在方向u和尺度v下的特征形式可以表示为：G_v,u(x,y)＝I(x,y)*g_v,u(x,y)，其中*为卷积操作。基于Gabor滤波后的特征系数是一个复数形式，一般可转化为G_v,u(x,y)＝M_v,u(x,y)·exp(iθ_v,u(x,y))形式，其中M_v,u(x,y)为幅度，θ_v,u(x,y)为相位角度，该M_v,u(x,y)即为需要进行降维的特征向量的系数。

基于Gabor变换后的特征系数，幅度M_v,u(x,y)代表着图像中的局部能量变化情况，能够较好揭示人脸细节信息特征。由于Gabor小波变换提取得到的纹理特征维数较高，本发明进一步利用主分量分析(Principal Component Analysis，PCA)方法对提取的Gabor特征进行特征降维，以便减少后续计算复杂度和节约运算时间。

人脸图像进行Gabor小波特征提取和PCA方法特征降维之后，本发明采用两个样本特征向量之间的余弦距离来进行相似度度量。设v₁和v₂为提取的两个样本特征向量，则相似度距离形式为：其中j＝1,2,…,D，D为降维后的特征向量维度。

在视频人脸的身份信息验证过程中，本发明采用多数投票法进行身份判定，其基本思想是通过成员分类对单帧视频人脸进行判别决策，然后统计所有测试帧对人脸模型的投票通过数，如果投票通过数较多时，则验证通过，否则，验证失败。

假定O_t为观测人脸帧提取的特征向量，f_i为L个视频人脸训练集合中(即身份信息模型数据库中)第i个帧样本的特征向量，τ₁为判定是否为注册视频人脸样本的阈值，本发明采用观测人脸帧与所有训练集合中视频人脸模型进行比较，取最小相似度量为判定准则：

${\mathrm{\&Delta;}}_t=\left\{\begin{array}{c}1,\mathrm{if}\min \left(S(O_t,f_i)\right)\&GreaterEqual;{\mathrm{\&tau;}}_1,i=1,...,L\\ 0\end{array}\right.$

本发明将单帧观测人脸帧逐一与训练集合中的注册人脸进行验证，判断是否匹，然后统计所有帧对人脸模型的投票通过数，投票通过结果数占总测试针数的大多数时，则验证通过并进入下一步身份信息验证过程，否则，验证失败。

3)针对唇动身份信息验证部分，由于唇动序列含有说话人自身的嘴唇生理特点和运动行为特点，可为身份验证提供非常有用的信息。本发明对提取的M×N大小唇部区域进行二维离散余炫变换(2D-DCT)，M为图像的长度，N为图像的宽度,提取主要系数作为身份信息，变换形式如下：

$F(\mathrm{\&alpha;},\mathrm{\&beta;})=C\left(\mathrm{\&alpha;}\right)C\left(\mathrm{\&beta;}\right)\underset{m=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}f(m,n)\cos \left[\frac{(2m+1)\mathrm{\&alpha;\&pi;}}{2M}\right]\cos \left[\frac{(2n+1)\mathrm{\&beta;\&pi;}}{2M}\right];$

其中：α＝0,1,…,M-1，β＝0,1,…,N-1；当α＝0，β＝0时，其他情况，F(α,β)为变换后的系数矩阵，对变换后系数矩阵的区域左上角数据进行zigzag扫描，取得前r个代表性系数F_r(1,2,…,r)作为DCT特征向量，0<r≤M·N。

根据2D-DCT的性质，本发明对变换后系数矩阵区域左上角数据进行斜向折线(zigzag)扫描，取得部分代表性系数作为特征，唇动身份模型采取隐形马尔科夫模型(HMM)进行建模。

HMM模型可以表示为λ＝(A,B,π₀)，其中，λ为样本时间序列的观测模型，A表示状态转移概率矩阵，B表示观察概率分布，π₀为初始状态分布，具体描述如下：

(1)模型状态数Q，一般情况Q是预设固定的；

(2)状态概率转移矩阵A＝{a_ij}为Q×Q维，其中，a_ij＝p(q_j|q_i)，其中，i＝1,2,…,Q，j＝1,2,…,Q；

(3)观察概率分布B_i＝G(o,μ_j,Σ_j)表示在第j个状态下，均值为μ_j，方差为Σ_j的高斯分布，j＝1,2,…,Q；

(4)初始状态分布π₀，π_i＝p(q_i)，i＝1,2,…,Q；

假定λ为整体数字唇动HMM模型，O＝(o₁,…,o_F)为观测序列，F为序列帧数，定义观测序列与整体数字唇动身份模型λ之间的最大似然估计为：如果P(O|λ)值大于预先设定的阈值τ₂，则唇动身份信息验证通过；否则，验证失败。

4)针对数字唇动密码信息验证部分，由于数字组合的唇动密码序列当中常常包含若干个数字密码原子(密码元素)序列，而这些子序列对密码内容信息的分析起着非常重要的作用。因此，本发明进一步对这些数字原子密码子序列进行分析验证。

对唇部区域分别进行的主成分(PCA)特征提取和几何特征提取。

PCA特征提取方式：提取P个图像序列作为训练样本，每一个构成一个向量x_i，即x_i的维数为D＝M×N，其中，M为图像的长度，N为图像的宽度，由P个向量构成的一个样本向量集：{x₁,…,x_P}：

4.1)求次样本向量集的平均向量：

4.2)求样本向量集的偏差矩阵Y＝{y₁,y₂,…,y_p}，其中

4.3)求样本协方差矩阵：

4.4)求该协方差矩阵的特征值γ_i和特征向量e_i，一般情况下，选取保留前m个较大特征值所对应的特征向量作为主成分的正交基，并用做提取的特征向量。

几何特征采取“S.L.Wang，W..H.Lau，and S.H.Leung，Automatic lipcontour extraction from color images，Pattern Recognition，vol.37，no.12，pp.2375–2387，2004.”(中文译文：王士林，刘永鸿，梁舒洪，基于彩色图像的唇轮廓自动提取方法,模式识别国际杂志，2004，37(12)：2375-2387))中提出的唇部区域几何模型，获取9个几何参数特征(1个模型宽度参数，7个模型高度参数和1个区域面积参数)。

进一步的，利用“X.LiuandY.M.Cheung，A multi-boosted HMM approachto lip password based speaker verification，in Proc.37th IEEEInternational Conference on Acoustics，Speech and Signal Processing，pp.2197-2200，2012.”(中文译文：柳欣，张晓明，一个多重集成隐形马尔科夫模型的唇动密码身份鉴定方法，第37届声学、语言和信号处理国际会议，2012，页码：2197-2200)文中提出的数字唇动序列分割方法进行数字密码子单元划分。

针对划分后的唇动密码字单元序列，利用隐形马尔科夫模型建模(HMM)并进行数字密码内容信息识别。具体如下：假定θ_i,i＝0,…,9.为英文数字0-9经过HMM训练的数字唇动模型，给定密码子单元划分后的唇动观测序列Ζ＝(z₁,…,z_E)，E为子单元序列帧数，，则进行密码信息的判断过程可归纳话为找最大似然估计P(Z|θ_i)的过程，即 ${\mathrm{\&theta;}}_{*}=\underset{{\mathrm{\&theta;}}_0,...,{\mathrm{\&theta;}}_9}{\arg \max }P\left(Z\right|{\mathrm{\&theta;}}_i),$ 其中 $P\left(Z\right|{\mathrm{\&theta;}}_i)=\underset{t=1}{\overset{F}{\mathrm{\&Pi;}}}P\left(z_t\right|{\mathrm{\&theta;}}_i).$

针对每一个划分密码子单元序列，进行子密码单元信息识别。如果所有子单元密码信息识别并匹配成功，则整个密码序列匹配正确并获得通过，如过存在子单元密码序列匹配错误情况，则整个密码序列信息验证失败。

在一个结合视频人脸和数字唇动密码进行身份验证的实施例中采取以下方案：

收集数据集如下：20位测试人说出20次固定英文数字密码序列“3175”，说出其他覆盖数字“0-9”不同于固定密码序列的4位数字密码10次，实验中，分别选取一位测试人作为当前注册用户，其他测试人作为欺骗用户，进行交替实验。训练中，选取10组固定密码序列和5组位覆盖数字“0-9”的不同于固定密码序列的集合作为训练集。

输入测试视频数据，如附图2-3所示，进行人脸区域检测和唇部区域定位，获得人脸区域尺度大小为228×308，唇部定位区域大小为128×88。

读取测试视频中人脸检测的样本图像序列，将其进行灰度归一化和人脸图像下采样处理。这里，本实例采取把原始图像分成57×77个4×4的像素模块，并在每个像素模块最左上角取一个像素，实现了人脸降维，得到了低维的人脸图像。

对每一幅人脸图像进行Gabor小波变换，如附图4所示，这里我们采用的是5个方向，8个尺度的滤波器，共获取到40个Gabor小波特征图像集。

如附图5所示，对上述刚得到的40个特征进行重组，将每一张特征图像按照首尾连接成一个列向量，这40个特征图像对应的列向量组成一个特征矩阵，大小为4389×40。

针对Gabor小波变换提取得到的纹理特征维数太高，会出现计算量大、实时性差的问题，进一步对4389×40大小的特征矩阵采用PCA方法进行降维，获得前5个主要特征向量并组合得到最终的特征向量系数为21945×1。

在视频人脸身份信息训练部分，随机选取训练集中80帧人脸信息进行模型建立(相当于存储于身份信息模型数据库中的视频人脸模型)，验证时取测试视频的每一帧与训练集合中的所有80帧人脸模型进行相似度计算，然后根据阈值判定法，判断是否匹配原始注册用户人脸信息，本实例阈值为0.9.实验中，统计所有测试帧对人脸模型的投票，投票通过结果超过总测试帧数的90％时，则验证通过并进入下一步验证过程，否则，验证失败。

读取视频中唇部定位区域的唇动密码序列图像作为样本图像，尺度为128×88，如附图6所示，将样本图像进行灰度归一化和二维离散余炫变换(2D-DCT)，采用变换区域左上角数据进行zigzag(斜向折线)扫描，依次获取91维特征向量，并采用6个隐状态和2个高斯混合模型输出的离散HMM方法进行唇动身份建模和唇动身份验证。

在唇动序列身份信息训练部分，利用训练集中10组固定唇动密码序列进行建模(相当于存储于身份信息模型数据库中的唇动身份模型)，验证时计算观测集与建立的唇动身份模型之间的最大似然估计，然后根据阈值判定法，判断是否匹配原始唇动模型，本实例采用阈值为0.65。大于该值，则验证通过，否则，验证失败。

进一步的，提取唇部区域主成分(PCA)特征和几何特征，进行唇动密码子序列划分。针对训练集中的密码子序列单元，通过矩阵线性插值法，将序列进行对齐操作，统一为30帧每一个密码子单元。

在数字唇动密码信息训练部分，提取2组分别含有所有数字“0-9”的密码子单元序列，本实例组合50维PCA特征和9维几何特征，采用3个隐状态和2个高斯混合模型输出的离散HMM方法进行唇动密码子单元建模(相当于存储于身份信息模型数据库中的唇动密码模型)。密码信息识别过程，计算测试序列与数字密码模型的最大似然估计，分别进行识别验证。每一个对应时序位置的密码信息识子单元别匹配成功，则验证通过并确定为注册用户身份，否则，验证失败。

实验采取误拒率(错误拒绝)和误识率(错误接受)作为评价标准，并采取两种欺骗样本实验形式：实验1的欺骗样本为欺骗用户说对了正确密码序列和说错了密码序列；实验2的欺骗样本为注册用户自身说错了密码序列，结果如表1：

表1：结合视频人脸和数字唇动密码的身份验证效果

从实验结果可以看出，在误拒率相近的情况下，结合视频人脸和唇动密码进行身份验证的方法能够获得更低的误识率，比单独使用视频人脸或者唇动特性进行身份验证的安全保障性更好。此外，本发明方法能够有效检测注册用户说错密码情况，可以加强验证系统的保密性。因此，本发明方法对应的身份验证系统安全性更高，实验结果表明了本发明的有效性。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (9)

1.一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，预先设置有身份信息模型数据库，该数据库存储有每个注册人的视频人脸模型、唇动身份模型和唇动密码模型，以供测试时的验证匹配使用，具体验证步骤如下：

1)对输入的测试视频进行人脸区域和唇部区域提取；

2)对提取到的人脸区域进行下采样，然后采用Gabor小波变换提取人脸特征向量，再利用PCA方法对经过Gabor小波变换后的特征向量的系数进行降维，最后将降维后的特征向量与身份信息模型数据库中存储的视频人脸模型进行相似度度量来判断是否匹配，若匹配，则人脸身份信息验证通过，进入步骤3)，若否，则验证失败；

3)对提取到的唇部区域进行DCT特征提取获得部分代表性系数作为特征，并与身份信息模型数据库中存储的唇动身份模型进行最大似然估计来进一步判断是否匹配，若匹配，则唇动身份信息验证通过，进入步骤4)，若否，则验证失败；

4)提取到的唇部区域采用PCA特征提取和几何特征提取，然后进行数字唇动密码序列划分，将划分后的唇动密码子单元序列与身份信息模型数据库中存储的唇动密码模型进行匹配，若匹配，则唇动密码信息验证通过，若否，则验证失败。

2.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于,在步骤2)中，所述Gabor小波变换是指，对于给定的像素点(x，y)，其变换形式如下：

$g_{v,u}(x,y)=\frac{{\left|\right|k\left|\right|}^2}{{\mathrm{\&sigma;}}^2}\exp (-\frac{{\left|\right|k\left|\right|}^2(x^2+y^2)}{{2\mathrm{\&sigma;}}^2})\&CenterDot;\left(\exp (\mathrm{ik}\&CenterDot;\left(\begin{array}{c}x\\ y\end{array}\right)\right)-\exp (-\frac{{\mathrm{\&sigma;}}^2}{2}));$

其中，u和v分别决定了Gabor小波的方向系数和频域尺度因子，k为总方向数，||·||为范式操作。

3.如权利要求2所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于,对于灰度变换后测试视频中一帧人脸图像I的Gabor小波变换特征可以表示为：在给定像素点(x,y)处，该像素在方向系数u和频域尺度v下的特征向量可以表示为：G_v,u(x,y)＝M_v,u(x,y)·exp(iθ_v,u(x,y))，其中M_v,u(x,y)为幅度，θ_v,u(x,y)为相位角度，该M_v,u(x,y)即为需要进行降维的特征向量的系数。

4.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于,在步骤2)中，所述的相似度度量是采用两个特征向量之间的余弦距离来进行相似度度量。

5.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于,在步骤3)中，所述DCT特征提取是指：对提取的M×N尺度大小的唇部区域进行DCT变换，M为图像的长度，N为图像的宽度,变换形式如下：

$F(\mathrm{\&alpha;},\mathrm{\&beta;})=C\left(\mathrm{\&alpha;}\right)C\left(\mathrm{\&beta;}\right)\underset{m=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}f(m,n)\cos \left[\frac{(2m+1)\mathrm{\&alpha;\&pi;}}{2M}\right]\cos \left[\frac{(2n+1)\mathrm{\&beta;\&pi;}}{2M}\right];$

其中，α＝0,1,…,M-1，β＝0,1,…,N-1；当α＝0，β＝0时，其他情况，F(α,β)为变换后的系数矩阵，对变换后系数矩阵的区域左上角数据进行zigzag扫描，取得前r个代表性系数F_r(1,2,…,r)作为DCT特征向量，0<r≤M·N。

6.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于,在步骤3)中，通过特征提取后的观测集与身份信息模型数据库中存储的唇动身份模型之间的最大似然估计值来匹配，若最大似然估计值大于预先设定的阈值，则唇动身份信息验证通过。

7.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于,在步骤4)中，所述的PCA特征提取包括：提取P个图像序列作为训练样本，每一个构成一个特征向量x_i，即x_i的维数为D＝M×N，i＝1,2,…,P；其中，M为图像的长度，N为图像的宽度，由P个特征向量构成的一个样本向量集：{x₁,…,x_P}，，其余操作如下：

4.1求样本向量集的平均向量：

4.2求样本向量集的偏差矩阵Y＝{y₁,y₂,…,y_p}，其中

4.3求样本协方差矩阵：

4.4求该协方差矩阵的特征值γ_i和特征向量e_i，选取保留前m个较大特征值所对应的特征向量作为主成分的正交基，并用做提取的特征向量。

8.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于,在步骤4)中，所述几何特征提取获取的几何参数特征包括模型宽度参数、模型高度参数和区域面积参数。

9.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，所述身份信息模型数据库是预先通过输入的注册人的训练视频，进行人脸区域和唇部区域特征提取后，分别建立的视频人脸模型、唇动身份模型和唇动密码模型的数据库，以供身份验证使用。