CN103324918A - 一种人脸识别与唇形识别相配合的身份认证方法 - Google Patents

Abstract

本发明公开了一种人脸识别与唇形识别相配合的身份认证方法，通过人脸采集装置向认证服务器发起认证请求；认证服务器向人脸采集装置提出唇形挑战，并要求人脸采集装置在T1时间内作出应答；人脸采集装置在用户朗读字符串的同时以T2的时间间隔采集人脸图像序列，并将人脸图像序列上传至认证服务器，认证服务器通过唇形识别算法和人脸识别算法计算得出认证结果，输出给人脸采集装置。本发明可以实时检测参与验证者是否为待验证者本人，攻击者成功实施仿冒的可能性很低。

Description

一种人脸识别与唇形识别相配合的身份认证方法

技术领域

本发明属于生物特征识别领域，是一种身份认证方法，尤其涉及一种人脸识别与唇形识别相配合的身份认证方法。

背景技术

基于人脸识别的身份认证技术是目前生物特征认证领域的热点技术。现有的人脸识别技术一般是基于人脸图像的，通过人脸信息采集设备采集人脸图像，然后进行人脸检测、人眼定位和特征提取；然后再与模板库中的模板图像进行比对，做出识别判别。

公布号为CN102567706A的中国发明专利公开了一种人脸识别装置和方法，该装置包括：调制光源、至少一个摄像头、及处理单元；在所述调制光源发射的不同波段的光线下，摄像头分别采集人脸图像信息，由处理单元对所述摄像头采集的人脸图像信息进行图像处理，并得到人脸识别结果。采用该人脸识别的方法和装置能够增强人脸识别装置对光线、人脸姿态和表情的适应能力，准确采集有效的图像信息，降低光干扰对人脸识别的影响。专利号为ZL200820109477.3的中国专利公开了一种人脸识别装置，包括人脸识别处理单元、显示单元、与所述人脸识别处理单元连接的第一摄像头、与所述显示单元连接的第二摄像头；通过第一摄像头与第二摄像头采集的人脸图像选取相似度高度符合规则的候选图像作为最终识别结果。上述两个专利公开能增加人脸识别的精度。

由于基于人脸识别的身份认证过程灵活、便捷。人脸信息采集设备可以是人脸采集的专门装置，也可以是用户随身携带的智能手机等各种移动终端，只要能实时采集人脸图像或影像，上传至认证服务器，便可实施身份认证。但是，由于人脸采集装置未必是认证服务器的可控装置，在实施身份认证的过程中，移动终端上传的人脸图像或影像未必是待验证者本人，认证服务器只能判断上传的人脸图像是否与数据库中的某位人像匹配，却不能判断移动终端的真正持有人是否是待验证者本人。正如上面所述两个专利，它们都无法判断采集到的人脸是否是待验证者本人。因此，这是目前基于人脸识别的身份认证系统存在的一个安全隐患。

发明内容

本发明提供了一种人脸识别与唇形识别相配合的身份认证方法，可以实时检测参与验证者是否为待验证者本人，攻击者成功实施仿冒的可能性很低。

一种人脸识别和唇形识别相配合的身份认证方法，包括以下步骤：

（1）人脸采集装置向认证服务器发起认证请求；

（2）认证服务器从字符库中随机抽取字符，组成挑战字符串，发送给人脸采集装置，并要求人脸采集装置在T1时间内作出应答；

（3）人脸采集装置将收到的字符串显示给用户，并要求用户以正常语速朗读该挑战字符串；

（4）人脸采集装置在用户朗读挑战字符串的同时以T2的时间间隔采集人脸图像序列，并将采集到的人脸图像序列上传至认证服务器；

（5）认证服务器接收人脸图像序列，用人脸识别算法验证接收的人脸图像与预存在认证服务器中的待验证者本人的人脸图像是否一致；不一致，则验证失败；一致，则继续步骤（6）；

（6）认证服务器用唇形识别算法检验人脸图像序列中的唇形是否与挑战字符串的内容一致；不一致，则验证失败；一致，则验证通过。

步骤（2）中，所述的挑战字符串长度为2～10个字。

挑战字符串的内容可以为汉字、词、或句。

所述时间T1的阈值按如下公式计算：

T1=挑战字符串长度×（60/120）×N秒，N=3。

计算时按平均语速120字/分钟计算，乘以N表示预留了人机交互的时间耗费。超过时间阈值T1仍未作出响应，则认为此次认证失败。应答时间阈值T1可根据用户实际使用习惯做相应调整。

步骤（3）中，正常语速是指平均语速为每分钟朗读120个字。

步骤（4）中，所述时间T2按如下公式计算：

T2=（60/120）×M×1000ms，M=0.2。

计算时按平均语速120字/分钟计算，乘以M表示为了捕捉唇形的变化，将每个字的说话过程分成若干等份，每一等份取一帧，组成的序列可以大致刻画说话人唇形的变化。

步骤（5）中，所述人脸识别算法具体为：

1）彩色图像灰度化；

2）将步骤1）的图像进行高斯金字塔分解；

3）将人脸图像序列的图像叠加、求平均，得待识别人脸矩阵X；

4）将待验证者本人的人脸图像库的图像叠加、求平均，得人脸特征矩阵

5）对人脸特征矩阵进行SVD分解

$\stackrel{\‾}{A}={\mathrm{USV}}^T,$

A为实数矩阵；U、V为酉矩阵，S为对角矩阵，并满足：

UU^T＝I；VV^T＝I，I为单位矩阵，

计算U^T·X·V＝X'；

6）取X'对角线从上至下的4～8个数组成的向量A和人脸特征矩阵A进行SVD分解后得到的对角矩阵S对角线从上至下4～8个数组成的向量B，计算向量A和向量B的向量余弦值；若算得的向量余弦值大于或等于阈值T3，则判定为同一张人脸；若算得的向量余弦值小于阈值T3，则判定为不是同一张人脸。

其中，所述阈值T3为0.8～0.9。

步骤（6）中，所述唇形识别算法具体为：

1）认证服务器中预存针对各个字的话者唇形数据库；

2）话者唇形数据库中，每个字有一个唇形图像序列，对所述唇形图像序列中的每一幅图像计算HAAR特征值；HAAR特征选取常用的矩形特征；

3）以每一个字的话者唇形图像为正样本，非该字的话者唇形图像为负样本，用AdaBoost特征选择算法选取K个最能代表该字的HAAR特征值组合；

4）按挑战字符串内容从唇形数据库中选取该挑战字符串对应的K×L个HAAR特征值，并合成一维向量C1，其中K为每幅唇形图像的HAAR特征值个数，L为唇形图像序列的长度；

5）根据步骤2）-4）的算法，对待验证的人脸图像序列的唇形图像序列计算K×L个HAAR特征值，合成一维向量C2；

6）对第4）、第5）步得到的一维向量C1和一维向量C2计算向量余弦值，若算得的向量余弦值大于或等于阈值T4，则判定为唇形一致；若算得的向量余弦值小于阈值T4，则判定为唇形不一致。

其中，所述阈值T4为0.8～0.9。

本发明的人脸识别与唇形识别相配合的身份认证方法，可预防以下两种情况：

攻击者企图通过提供仿冒的人脸图像，欺骗认证服务器，通过认证；

攻击者企图在短时间内修改仿冒的人脸图像，以满足挑战字符串的唇形要求。

本发明将人脸识别和唇形识别结合在一起，并通过向待验证者发起挑战字符串的请求，依据唇形图像判断用户是否为待验证者本人，以此防止攻击者入侵。本发明可以实时检测参与验证者是否为待验证者本人，降低攻击者成功实施仿冒的可能性。

附图说明

图1为本发明的流程简图；

图2为本发明的身份认证方法的具体流程图；

图3为常用的5类HAAR矩形特征。

具体实施方式

实施例1

参照图1，图1为一种人脸识别和唇形识别相配合的身份认证方法的流程简图，其中人脸采集装置向认证服务器发起认证请求，认证服务器向人脸采集装置提出唇形挑战，人脸采集装置将采集的人脸图像序列（含唇形变化）传递给认证服务器，认证服务器通过计算得出认证结果，输出给人脸采集装置。其中，人脸采集装置可以固定在认证服务器上或可移动。

参照图2，图2为一种人脸识别和唇形识别相配合的身份认证方法的具体流程图，包括以下步骤：

（1）人脸采集装置向认证服务器发起认证请求；

（2）认证服务器接收认证请求，并从字符库中随机抽取字符，生成挑战字符串，发送给人脸采集装置，并要求人脸采集装置在T1时间内作出应答；

所述的挑战字符串长度为2～10个字，一般为汉字、词、或句。

所述时间T1的阈值按如下公式计算：

T1=挑战字符串长度×（60/120）×N秒，N=3。

计算时按平均语速120字/分钟计算，乘以N表示预留了人机交互的时间耗费。超过时间阈值T1仍未作出响应，则认为此次认证失败。应答时间阈值T1可根据用户实际使用习惯做相应调整。

（3）人脸采集装置接收挑战字符串，并将收到的挑战字符串显示给用户，同时要求用户以正常语速朗读该挑战字符串；其中，正常语速一般指平均语速为120字/分钟。

（4）人脸采集装置在用户朗读挑战字符串的同时以T2的时间间隔采集人脸图像序列，并将采集到的人脸图像序列上传至认证服务器；

所述时间T2按如下公式计算：

T2=（60/120）×M×1000ms，M=0.2。

计算时按平均语速120字/分钟计算，乘以M表示为了捕捉唇形的变化，将每个字的说话过程分成若干等份，每一等份取一帧，组成的序列可以大致刻画说话人唇形的变化。

（5）认证服务器接收含唇形变化的人脸图像序列，用人脸识别算法验证接收的人脸图像与待验证者本人的人脸图像是否一致；不一致，则验证失败；一致，则继续步骤（6）；其中，人脸识别算法具体为：

1）彩色图像灰度化；

2）将步骤1）的图像进行高斯金字塔分解；

3）将人脸图像序列的图像叠加、求平均，得待识别人脸矩阵X；

4）将待验证者本人的人脸图像库的图像叠加、求平均，得人脸特征矩阵

5）对人脸特征矩阵进行SVD分解

$\stackrel{\‾}{A}={\mathrm{USV}}^T,$

为实数矩阵；U、V为酉矩阵，S为对角矩阵，并满足：

UU^T＝I；VV^T＝I，I为单位矩阵，

计算U^T·X·V＝X'；

6）取X'对角线从上至下的4～8个数组成的向量A和人脸特征矩阵

进行SVD分解后得到的对角矩阵S对角线从上至下4～8个数组成的向量B，计算向量A和向量B的向量余弦值；若两个向量算得的向量余弦值大于或等于阈值T3，则判定为同一张人脸；若两个向量算得的向量余弦值小于阈值T3，则判定为不是同一张人脸。其中，T3取值范围为0.8～0.9。

（6）认证服务器用唇形识别算法检验人脸图像序列中的唇形图像序列是否与挑战字符串的内容一致；不一致，则验证失败；一致，则验证通过。其中，唇形识别算法具体为：

1）认证服务器中预存针对各个字的话者唇形数据库。

2）话者唇形数据库中，每个字有一个唇形图像序列，对所述唇形图像序列中的每一幅图像计算HAAR特征值；HAAR特征选取图3所示5类HAAR特征，图3a-3e为5类常用的矩形特征，3a和3b是两矩形特征，3c和3d是三矩形特征，3e是四矩形特征；HAAR特征值的计算为本领域的标准算法，具体算法如Robust Real-time Object Detection,Paul Viola,Michael Jones中所述。

3）以每一个字的话者唇形图像为正样本，非该字的话者唇形图像为负样本，用AdaBoost特征选择算法选取K个最能代表该字的HAAR特征值组合；AdaBoost特征选择算法为本领域标准算法，具体算法如RobustReal-time Object Detection,Paul Viola,Michael Jones中所述。

4）按挑战字符串内容从唇形数据库中选取该挑战字符串对应的K×L个HAAR特征值，并合成一维向量C1，其中K为每幅唇形图像的HAAR特征值个数，L为唇形图像序列的长度。

5）根据步骤2）-4）的算法，对待验证的人脸图像序列的唇形图像序列计算K×L个HAAR特征值，合成一维向量C2。

6）对第4）、第5）步得到的一维向量C1和一维向量C2计算向量余弦值，若两个向量算得的向量余弦值大于或等于阈值T4，则判定为唇形一致；若两个向量算得的向量余弦值小于阈值T4，则判定为唇形不一致。其中，T4取值范围为0.8～0.9。

Claims (8)

1.一种人脸识别和唇形识别相配合的身份认证方法，其特征在于，包括以下步骤：

（1）人脸采集装置向认证服务器发起认证请求；

（2）认证服务器从字符库中随机抽取字符，组成挑战字符串，发送给人脸采集装置，并要求人脸采集装置在T1时间内作出应答；

（3）人脸采集装置将收到的挑战字符串显示给用户，并要求用户以正常语速朗读该挑战字符串；

（4）人脸采集装置在用户朗读挑战字符串的同时以T2的时间间隔采集人脸图像序列，并将采集到的人脸图像序列上传至认证服务器；

（5）认证服务器接收人脸图像序列，用人脸识别算法验证接收的人脸图像与预存在认证服务器中的待验证者本人的人脸图像是否一致；不一致，则验证失败；一致，则继续步骤（6）；

（6）认证服务器用唇形识别算法检验人脸图像序列中的唇形是否与挑战字符串的内容一致；不一致，则验证失败；一致，则验证通过。

2.根据权利要求1所述的人脸识别和唇形识别相配合的身份认证方法，其特征在于，步骤（2）中，所述的挑战字符串长度为2～10个字。

3.根据权利要求1所述的人脸识别和唇形识别相配合的身份认证方法，其特征在于，步骤（2）中，所述时间T1的阈值按如下公式计算：

T1=挑战字符串长度×（60/120）×N秒，N=3。

4.根据权利要求1所述的人脸识别和唇形识别相配合的身份认证方法，其特征在于，步骤（4）中，所述时间T2按如下公式计算：

T2=（60/120）×M×1000ms，M=0.2。

5.根据权利要求1所述的人脸识别和唇形识别相配合的身份认证方法，其特征在于，步骤（5）中，所述人脸识别算法具体为：

1）彩色图像灰度化；

2）将步骤1）的图像进行高斯金字塔分解；

3）将人脸图像序列的图像叠加、求平均，得待识别人脸矩阵X；

4）将待验证者本人的人脸图像库的图像叠加、求平均，得人脸特征矩阵

5）对人脸特征矩阵进行SVD分解

$\stackrel{\‾}{A}={\mathrm{USV}}^T,$

为实数矩阵；U、V为酉矩阵，S为对角矩阵，并满足：

UU^T＝I；VV^T＝I，I为单位矩阵，

计算U^T·X·V＝X'；

6）取X'对角线从上至下的4～8个数组成的向量A和人脸特征矩阵

进行SVD分解后得到的对角矩阵S对角线从上至下4～8个数组成的向量B，计算向量A和向量B的向量余弦值；若算得的向量余弦值大于或等于阈值T3，则判定为同一张人脸；若算得的向量余弦值小于阈值T3，则判定为不是同一张人脸。

6.根据权利要求5所述的人脸识别和唇形识别相配合的身份认证方法，其特征在于，所述阈值T3为0.8-0.9。

7.根据权利要求1所述的人脸识别和唇形识别相配合的身份认证方法，其特征在于，步骤（6）中，所述唇形识别算法具体为：

1）认证服务器中预存针对各个字的话者唇形数据库；

2）话者唇形数据库中，每个字有一个唇形图像序列，对所述唇形图像序列中的每一幅图像计算HAAR特征值；

3）以每一个字的话者唇形图像为正样本，非该字的话者唇形图像为负样本，用AdaBoost特征选择算法选取K个最能代表该字的HAAR特征值组合；

4）按挑战字符串内容从唇形数据库中选取该挑战字符串对应的K×L个HAAR特征值，并合成一维向量C1，其中K为每幅唇形图像的HAAR特征值个数，L为唇形图像序列的长度；

5）根据步骤2）-4）的算法，对待验证的人脸图像序列的唇形图像序列计算K×L个HAAR特征值，合成一维向量C2；

6）对第4）、第5）步得到的一维向量C1和一维向量C2计算向量余弦值，若算得的向量余弦值大于或等于阈值T4，则判定为唇形一致；若算得的向量余弦值小于阈值T4，则判定为唇形不一致。

8.根据权利要求7所述的人脸识别和唇形识别相配合的身份认证方法，其特征在于，所述阈值T4为0.8-0.9。

Images