CN102254154B - 一种基于三维模型重建的人脸身份认证方法 - Google Patents

Abstract

本发明公开了一种基于三维模型重建的人脸身份认证方法，本方法分别从身份证照片和实时视频中重建三维人脸模型并进行三维几何特征匹配的策略来实现实时人脸身份认证。包括(1)采用基于三维形变基的非线性优化算法从身份证照片中重建三维人脸模型。(2)采用从运动中恢复非刚体三维形状方法从实时视频中重建三维人脸模型。(3)采用几何特征的三维人脸匹配认证。本发明可以支持用户用第二代身份证和人脸的一段视频来进行身份认证，大大提高了比对的精确性和效率，使得使用计算机进行人像比对成为一种可行的技术。

Description

一种基于三维模型重建的人脸身份认证方法

技术领域

本发明涉及一种计算机图形图像学技术领域的人脸模型建立及特征匹配的处理方法，具体地说是一种基于三维模型重建的人脸身份认证的方法。

背景技术

随着计算机技术和生物医学工程技术突飞猛进的发展，利用人体生物特征来鉴别个人身份的生物识别技术成为验证的首选方式。利用人脸对身份进行认证是人们日常生活中最常用的身份确认手段，也是当前最热门的模式识别研究课题之一。虽然人脸识别的准确性要低于虹膜识别和指纹识别，但是由于它是非接触的、具有非侵犯性，因而人们对这种技术没有任何的排斥心理，所以利用人脸进行身份认证是一种最友好的生物特征识别技术。

现有的人脸身份认证技术主要包括利用人脸二维特征和人脸三维特征进行人脸身份认证。其中利用人脸二维特征进行人脸身份认证主要包括单张人脸图像与单张人脸图片身份认证，视频序列图像与单张人脸图像身份认证以及视频序列图像与视频序列图像身份认证三类。其中单张人脸图像与单张人脸图像身份认证主要是指通过提取两张人脸图像的二维特征进行特征相似度匹配从而进行人脸身份认证。具有代表性的方法有中国专利《基于部件主分量分析的多模式人脸识别方法》，公开号：CN1341401，该专利将人脸分为多个部件对每个部件利用特征脸的识别方法对人脸身份进行认证；中国专利《基于切信息的人脸识别方法》，公开号：CN101079104，该专利通过提取人脸图像的切信息对人脸身份进行认证；陈亮，公开号：CN101329724，一种优化的人脸识别方法和装置，该专利通过将主成分分析和线性判别分析结合起来对人脸身份进行认证。

利用视频图像序列与单张人脸图像进行人脸身份认证的主要有中国专利《数字视频人脸自动识别系统》，公开号：CN1403997，该专利通过隐马尔可夫模型的识别方法，实现对人脸进行身份认证；中国专利《一种人脸识别系统》，公开号：CN101140620，该专利将人脸身份认证分为视频采集模块、预识别模块、触发模块、存储模块以及中心控制模块，其中中心控制模块分别与视频采集模块、预识别模块、触发模块和存储模块相连。

利用视频图像序列与视频图像序列进行人脸身份认证的主要问题是对视频中人脸信息的描述方法，传统的方法主要包括：利用一幅代表性图像得到的特征；利用所有图像得到的特征，如特征空间、示例等；利用概率密度函数刻画视频中的人脸分布，如高斯模型；利用动态模型刻画视频中人脸随时间的动态变化，如隐马尔科夫模型；利用流行刻画视频中的人脸分布，如分段线性PCA子空间等。

以上是利用人脸二维特征来进行人脸身份认证的代表性方法，其主要缺点包括两方面一方面，由于二维人脸图像在获取时受到光照、噪声、表情以及人脸姿态等的影响较大，而只利用人脸二维特征又不能很好的消除这些影响，所以在人脸识别精度上受到了一定的影响。另一方面，这些方法进行人脸身份认证，需要事先采集认证对象的人脸图像库或者视频库，从而不利于技术的推广，在某些不具备采集条件的场合中不能运用。

利用人脸三维特征对人脸身份进行认证主要包括文献，Kwang Ho An and MyungJin Chung,Member,IEEE,Pose-Robust Face Recognition Based on TextureMapping,Proceedings of the 17th IEEE International Symposium on Robot and HumanInteractive Communication,Technische Univercity Munchen,Germany，August 1-3,2008中所述二维人脸图像与三维人脸之间的匹配，主要是通过将三维人脸经过适当的投影变换到二维空间中再与人脸图像进行匹配，这种方法的局限性在于在对三维人脸进行投影时丢失了大量的信息，同时由于三维人脸没有纹理信息，所以在于二维图像的匹配过程中匹配精度也并不是很高。还有文献，Hyoungchul Shin,Kwanghoon Sohn,3D FaceRecognition with Geometrically Localized Surface Shape Indexes,Control,Automation,Robotics and Vision,2006.ICARCV′06.9th International Conference on主要通过先获取三维人脸，然后再根据三维人脸的空间中的各种几何信息（如长度、面积、曲率、体积、测地距等）特征对人脸进行匹配。有关专利主要包括中国专利《一种基于网格的三维人脸识别方法》，公开号CN1932842，，该专利利用三维人脸的网格特征进行人脸身份认证，此外还中国专利《一种基于密集点对应的快速三维人脸识别方法》，公开号CN101650777，该专利利用三维人脸稀疏模型的点集距离进行人脸身份认证。而这些方法都需要先获取三维人脸，但是由于三维人脸的获取需要激光扫描仪，结构光等较为昂贵的设备，并且采集的时间比较长，所以并不适合与推广和运用。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于三维模型重建的人脸身份认证的方法，用于将图像中的人脸与视频中的人脸进行比对，从而达到认证的目的。

为了解决上述技术问题，本发明公开了一种基于三维模型重建的实时人脸身份认证技术，其特征在于，包括以下步骤：

步骤一，基于三维形变基的非线性优化算法由身份证照片重建三维人脸，包括以下步骤：

步骤11：主动形状模型(Active Shape Model，简称ASM)方法从身份证照片中定位人脸特征点：从身份证照片中定位人脸区域，并在定位人脸区域的基础上定位特征点，得到身份证照片中人脸的二维形状特征点集s_ID；

步骤12：非刚体形状和运动估计方法构建三维形变基：利用人脸图像库中的每一幅图像分别采用步骤11中所示的方法定位人脸特征点，在此基础上建立图像库的二维跟踪矩阵W，然后最小二乘法和加入正交旋转约束求解矫正矩阵G，最后采用奇异值分解的方法构建三维形变基B；

步骤12中所述的非刚体形状和运动估计方法构建三维形变基具体包括以下步骤：

步骤121，对人脸图像库中选取的F幅人脸图像定位人脸特征点，得到每一幅人脸图像对应的二维形状特征点集s_train；

步骤122，将人脸图像库中的F幅人脸图像上所有的二维形状特征点集s_train进行拼接，得到人脸图像库的二维跟踪矩阵W；

步骤123，对二维跟踪矩阵W利用奇异值分解的方法得到一个姿态矩阵M及三维形状基矩阵

步骤124，根据正交旋转约束利用最小二乘法求出矫正矩阵G；

步骤125，根据矫正矩阵G利用

求出三维形变基B。

步骤13：非线性优化算法求解三维形变基参数：利用步骤12中得到的三维形变基对步骤11中定位的人脸特征点集进行三维人脸重建，通过采用麦夸特二乘法(Levenberg-Marquardt)最小化重建出的三维人脸与步骤11中定位的人脸特征点集之间的欧氏距离从而求解三维形变基参数。

步骤13中非线性优化算法求解三维形变基参数过程具体包括以下步骤：

步骤131，通过摄像机定标获得摄像机内部矩阵A；

步骤132，非线性优化求解旋转矩阵R、平移矩阵T和形变基系数p；

所述步骤132包括以下步骤：

步骤1321，对旋转矩阵R，平移矩阵T和形变基系数p进行初始赋值；

步骤1322，根据旋转矩阵R，平移矩阵T和形变基系数p计算身份证照片中人脸三维模型，并将其投影到二维平面，得到身份证照片人脸二维形状特征点集s′；

步骤1323，计算二维平面投影点与步骤11从身份证照片中获取的特征点集s_ID之间的欧氏距离，如果距离小于阈值σ，则非线性优化迭代算法终止输出三维形变基参数，否则转步骤1324；

步骤1324，计算雅克比矩阵 $J=\left[\begin{array}{c}\frac{{\mathrm{\δs}}^{\′}}{\mathrm{\δR}},\frac{{\mathrm{\δs}}^{\′}}{\mathrm{\δT}},\frac{{\mathrm{\δs}}^{\′}}{\mathrm{\δp}}\end{array}\right],$ 更新模型参数 $[R,T,p]=[R,T,p]-\frac{J^T{s}^{\′}}{J^{T}J},$ 转步骤1322。

步骤二，采用Non-Rigid 3D Shape from Motion(从运动恢复非刚性物体三维形状，简称NSfM)方法由视频重建三维人脸，包括以下步骤：

步骤21：结合卢卡斯光流跟踪算法的主动形状模型（简称LK-ASM模型）跟踪定位视频中人脸特征点：对视频中的每一帧进行人脸区域定位，并在定位的基础上对视频中的每一帧图像跟踪定位人脸特征点，得到每一帧人脸图像对应的二维形状特征点集s_video；

步骤21采用结合卢卡斯光流跟踪算法的主动形状模型跟踪定位视频中人脸特征点，具体包括以下步骤：

步骤211，如果是视频的第一帧，利用主动形状模型特征点定位方法定位该帧人脸图像的二维形状特征点集，转下一帧；

步骤212，根据上一帧定位的二维形状特征点集s_before，利用帧差法在视频中的人脸区域内寻找适合光流跟踪的特征点，得到点集s_op；

步骤213，在当前帧中，用特征点跟踪算法，计算跟踪成功的特征点s_op；

步骤214，除去光流跟踪失败的点，由点集s_op和特征点s_op拟合出仿射变换参数aff和变换参数b；

步骤215，由上一帧的定位的二维形状特征点集s_before，得到当前帧在仿射变换(aff，b)作用下的对应二维形状特征点集s₁；

步骤216，将s₁作为当前帧的初始形状，根据ASM特征点定位算法得到当前帧的最后二维形状特征点集s_video；

步骤217，判断当前帧是否为视频的最后一帧，如果是最后一帧则算法结束，否则令二维形状特征点集s_video作为下一帧输入即s_before＝s_video，转步骤212。

步骤22：人脸模型向量化：将多帧人脸视频中得到的特征点用向量的方式表示，对视频中人脸进行建模；

步骤23：EM算法求解三维人脸模型参数：通过EM算法循环迭代计算步骤2.2中所建立的三维人脸模型参数。

步骤三，采用几何特征的三维人脸匹配认证，包括以下步骤：

步骤31：基于特征点的人脸几何特征提取：对步骤一和步骤二中重建的三维人脸模型根据三维人脸模型上的特征点分别计算两个三维人脸的几何特征；

步骤32：计算两个三维人脸几何特征的相似度Sim；

步骤33：比较相似度与阈值α的大小关系，如果Sim大于阈值则认为两者是不同人脸，否则认为两者是相同的人脸。

有益效果：本发明通过采用从二维人脸样本库利用稀疏的关键特征点模型建立三维人脸形变基并在此基础上利用身份证照片建立三维人脸，同时本发明采用Non-Rigid3D Shape from Motion(NSfM)技术从人脸视频中获取某人的中性三维人脸，再通过两个三维人脸提取出相应的几何特征对两个人脸进行相似度比较从而对身份进行认证。这样既避免了人脸二维特征受人脸姿态、表情、光照、噪音影响较大的情况又避免采集三维人脸的所需要的昂贵的器材和设备达到了较好的效果。用于支持用户用第二代身份证和人脸的一段视频来进行身份认证的方式。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明的流程图。

图2为本发明的身份证特征点集定位结果。

图3为本发明的视频特征点集定位结果。

具体实施方式

如图1所示，本发明公开一种基于三维模型重建的人脸身份认证方法，具体包括以下步骤：

步骤一，基于三维形变基的非线性优化算法由身份证照片重建三维人脸，包括以下步骤：

步骤11，采用主动形状模型(ASM)方法从身份证照片中定位人脸特征点：从身份证照片中定位人脸区域，并在定位身份证人脸区域的基础上定位如图2（剑桥大学AT&T实验室创建的ORL人脸数据库，共包含s1~s40组人脸图像，本人脸图像出自s1分组第一幅）所示的人脸特征点；

步骤12，采用非刚体形状和运动估计方法构建三维形变基：利用人脸图像库(本发明采用ORL人脸数据库，由剑桥大学AT&T实验室创建，包含40人共400张面部图像，部分志愿者的图像包括了姿态，表情和面部饰物的变化)中选取的人脸图像分别采用步骤11中所示的方法定位人脸特征点，在此基础上建立图像库的二维跟踪矩阵W，然后最小二乘法和加入正交旋转约束求解矫正矩阵G，最后采用奇异值分解的方法构建三维形变基B；

步骤13，非线性优化算法求解人脸姿态和三维形变基参数：利用步骤12中得到的三维形变基对步骤11中定位的人脸特征点进行三维人脸重建，通过采用麦夸特二乘法(Levenberg-Marquardt)最小化重建出的三维人脸与步骤11中定位的人脸特征点之间的欧氏距离从而求解三维形变基参数。

步骤二，采用Non-Rigid 3D Shape from Motion(NSfM)方法由视频重建三维人脸，包括以下步骤：

步骤21，采用Lucas-Kanade Active Shape Model(LK-ASM)模型跟踪定位视频中人脸特征点：对视频中的每一帧进行人脸区域定位，并在定位的基础上采用添加光流跟踪方法优化ASM方法对视频中的每一帧图像跟踪定位如图3（人脸图像出自发明人杨克微由电脑摄像头拍摄的视频）所示的人脸特征点集；

步骤22，人脸模型向量化：将多帧人脸视频中得到的特征点用向量的方式表示，对视频中人脸进行建模；

步骤23，EM算法求解三维人脸模型参数：通过文献Z.Ghahramani and G.E.Hinton.The EM Algorithm for Mixtures of Factor Analyzers.Technical Report CRG-TR-96-1,University of Toronto,1996提出的EM算法循环迭代计算步骤22中所建立的三维人脸模型参数。

采用几何特征的三维人脸匹配认证，包括以下步骤：

步骤31，基于特征点的人脸几何特征提取：对步骤一和步骤二中重建的三维人脸根据三维人脸模型上的特征点分别计算两个三维人脸的几何特征；

步骤32，计算两个三维人脸几何特征的相似度Sim；

步骤33，比较相似度与阈值α的大小关系，阈值α一般在12~16之间，优选地为15，如果Sim大于阈值则认为两者是不同人脸，否则认为两者是相同的人脸。

如图1所示，下面具体介绍各个步骤的主要流程：

1.基于三维形变基的非线性优化算法由身份证照片重建三维人脸

1.1主动形状模型从身份证照片中定位人脸特征点

输入：身份证照片；

输出：图2所示的人脸特征点坐标；

具体包括以下步骤：

步骤1：利用AdaBoost人脸检测器（可以参见：章毓晋等，《基于子空间的人脸识别》，2009年10月第1版，pp.33~45）对身份证照片进行人脸区域提取，得到70*70像素的人脸区域。

步骤2：以步骤1中得到的身份证照片的人脸区域作为输入，利用ASM匹配算法(可以参见：T.F.Cootes,D.Cooper,C.J.Taylor,et al.Active shape models-Their trainingand application.Computer Vision and Image Understanding.1995,Vol.61,No.1,pp.38-59)定位人脸特征点，得到身份证照片中人脸的二维形状特征点集s_ID，定位结果如图2所示。

1.2非刚体形状和运动估计方法构建三维形变基

输入：人脸图像库；

输出：三维形变基B；

具体包括以下步骤：

步骤1：利用ASM匹配算法获得人脸图像库中的人脸图像的二维形状特征点集s_train： $S_{\mathrm{train}}^{\′}=\left(\begin{array}{cccc}{u}_1^t& u_2^t& \·\·\·& u_n^t\\ v_1^t& v_2^t& \·\·\·& v_n^t\end{array}\right),$ 此处n为特征点的个数，这里n＝68，u表示特征点的横坐标，v表示特征点的纵坐标，s_train表示由68个横纵坐标表示的第t幅人脸图像的二维形状特征点集。

步骤2：将人脸图像库中的F幅人脸图像上所有的二维形状特征点集s_train进行拼接，得到图像库的二维跟踪矩阵W：

$W=\left[\begin{array}{cccc}{u}_1^1& u_2^1& \·\·\·& u_n^1\\ v_1^1& v_2^1& \·\·\·& v_n^1\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ u_1^F& u_2^F& \·\·\·& u_n^F\\ v_1^F& v_2^F& \·\·\·& v_n^F\end{array}\right]---\left(1\right)$

其中本发明采用ORL人脸数据库(由剑桥大学AT&T实验室创建)中随机选取的291幅图像人脸图像，所以F＝291，n为特征点个数，n＝68。

步骤3：对人脸图像库的二维跟踪矩阵W利用奇异值分解的方法得到一个大小为2F*3(m+1)的姿态矩阵M及大小为3(m+1)*n的三维形状基矩阵

这里F表示本发明所采用的ORL人脸数据库中的人脸图像数F＝291，m为形变基基底数，m越大则表明由三维形变基生成的身份证三维人脸模型精度越高，但同时计算也较为复杂，这里本发明采用m＝20。

步骤4：根据正交旋转约束利用最小二乘法求出矫正矩阵G。

步骤5：根据矫正矩阵利用

求出三维形变基B，并将其存储在文件中，以便以后使用。

1.3非线性优化算法求解人脸姿态和三维形变基参数

输入：三维形变基B，身份证照片中人脸的二维形状特征点集s_ID；

输出：三维形变基参数包括旋转矩阵R、平移矩阵T和形变基系数p，由身份证照片重建的照片三维人脸模型；

具体包括以下步骤：

步骤1：载入三维形变基B，B＝[B₀,B₁，...,B₂₀]^T，其中B₀,…,B₂₀都为3*68的矩阵，每一行分别记为B_i.x，B_i.y，B_i.z。

步骤2：定义雅克比（Jacobian）矩阵，雅克比矩阵的定义为：

$J=\left[\begin{array}{c}\frac{{\mathrm{\δs}}^{\′}}{\mathrm{\δR}},\frac{{\mathrm{\δs}}^{\′}}{\mathrm{\δT}},\frac{{\mathrm{\δs}}^{\′}}{\mathrm{\δp}}\end{array}\right]---\left(2\right)$

其中s表示由三维形变基得出的三维人脸模型投影到二维平面的人脸二维形状特征点集，s的计算公式为

R、T、p为三维形变基参数，R为表示人脸绕x，y，z  轴旋转角度的旋转矩阵其计算为 $R=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]*\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& -\sin \mathrm{\β}\\ 0& 1& 0\\ \sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]*\left[\begin{array}{ccc}\cos \mathrm{\γ}& -\sin \mathrm{\γ}& 0\\ \sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right],$ α为人脸绕x轴旋转的角度，β为人脸绕y轴旋转的角度，γ为人脸绕z轴旋转的角度， $T=\left[\begin{array}{c}\mathrm{tx}\\ \mathrm{ty}\\ \mathrm{tz}\end{array}\right]$ 它表示了人脸相对于坐标原点在x，y，z三个方向上的位移，p_i为形变基系数。

步骤21：计算设 $s^{\′}=\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right],$ $A*(B_0+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_i*B_i)=\left[\begin{array}{c}x\\ y\\ z\end{array}\right],$ 则x＝(cos α*cosγ-sinα*sinβ*sinγ)*x-sinα*cosβ*y+(cosα*sinγ+sinα*sinβ*cosγ)*z+tx    ，y＝(sinα*cosγ+cosα*sinβ*sinγ)*x+cosα*cosβ*y+(sinα*sinγ-cosα*sinβ*cosγ)*z+ty    ，z′＝-cosβ*sinγ*x+sinβ*y+cosβ*cosγ*z+tz，则对R求导即为s′分别对α、β、γ求导，记为 $\left[\begin{array}{ccc}\frac{{\mathrm{\δx}}^{\′}}{\mathrm{\δ\α}}& \frac{{\mathrm{\δx}}^{\′}}{\mathrm{\δ\β}}& \frac{{\mathrm{\δx}}^{\′}}{\mathrm{\δ\γ}}\\ \frac{{\mathrm{\δy}}^{\′}}{\mathrm{\δ\α}}& \frac{{\mathrm{\δy}}^{\′}}{\mathrm{\δ\β}}& \frac{{\mathrm{\δy}}^{\′}}{\mathrm{\δ\γ}}\\ \frac{{\mathrm{\δz}}^{\′}}{\mathrm{\δ\α}}& \frac{{\mathrm{\δz}}^{\′}}{\mathrm{\δ\β}}& \frac{{\mathrm{\δz}}^{\′}}{\mathrm{\δ\γ}}\end{array}\right].$

步骤22：计算

由s′的定义可得 $\frac{{\mathrm{\δs}}^{\′}}{\mathrm{\δT}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right].$

步骤23：计算

由s′的定义可知

其中 $\frac{{\mathrm{\δx}}^{\′}}{{\mathrm{\δp}}_i}=(\cos \mathrm{\α}*\cos \mathrm{\γ}-\sin \mathrm{\α}*\sin \mathrm{\β}*\sin \mathrm{\γ})*S_{i.x}-\sin \mathrm{\α}*\cos \mathrm{\β}*S_{i.z}+(\cos \mathrm{\α}*\sin \mathrm{\γ}+\sin \mathrm{\α}*\sin \mathrm{\β}*\cos \mathrm{\γ})*S_{i.z},$ 其它同理，B_ix为B_i的第一行，B_ix为B_i的第二行，B_ix为B_i的第三行。

步骤3：通过摄像机定标得到摄像机内部矩阵A（参见文献，Z.Y Zhang.A flexible newtechnique for camera calibration.IEEE Transactions on Pattern Analysis and MachineIntelligence,2000,V0l.22,No.11,pp.1330-1334），初始化三维形变基参数α、β、γ、tx、ty、tz、p₁、…、p₂₀均为0，利用麦夸特二乘法(参见：Kenneth Levenberg(1944)."AMethod for the Solution of Certain Non-Linear Problems in Least Squares".The Quarterlyof Applied Mathematics 2:164-168.t)递归求解这些系数。

步骤31：利用ASM匹配算法对身份证照片进行特征点进行定位，并将定位结果记为s_ID。

步骤32：取s′的前两行既 $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right],$ 求其与s_ID的欧式距离||s_ID-s′||。

步骤33：如果s_ID-s′||＜100，则结束迭代输出最终的参数值转步骤35，否则转步骤34。

步骤34：由公式(2)中定义的雅克比矩阵J，并根据麦夸特二乘法逐步更新初始化的参数，

其中J为雅克比矩阵，J^T为雅克比矩阵的转置，并用更新后的参数计算 $s^{\′}=R*(B_0+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_i*B_i)+T,$ 转步骤33。

步骤35：根据计算得到的参数值根据公式

计算最终得到的从照片中重建的三维人脸模型。

2.Non-Rigid 3D Shape from Motion(NSfM)方法由视频重建三维人脸

2.1卢卡斯光流跟踪算法的主动形状模型（简称LK-ASM）模型跟踪定位视频中人脸特征点

为了既能充分利用视频的帧间相似性提高跟踪的速度，同时又能适应较大的帧间运动变化范围，本发明引入Lucas-Kanade特征点跟踪算法(参见文献：B.D.Lucas,T.Kanade.An iterative image registration technique with an application to stereo vision.In:Proceedings of Imaging Understanding Workshop,1981,pp 121-130)来提高人脸形状初始位置的准确程度。但是，直接使用该算法跟踪人脸特征点的结果是非常不可靠的，为此需要使用ASM模型对跟踪结果做全局形状约束和局部的纹理约束，以纠正局部匹配的误差，这样既充分利用了帧间的相似信息，又提高了算法的鲁棒性。

输入：一段人脸视频；

输出：视频中每一帧的人脸特征点跟踪定位结果；

具体包括以下步骤。

步骤1：如果是视频的第一帧，利用ASM特征点定位方法定位该帧人脸图像的二维形状特征点集，转下一帧。

步骤2：根据上一帧定位的二维形状特征点集s_before利用帧差法在视频中的人脸区域内寻找适合光流跟踪的特征点，得到点集s_op。

步骤3：在当前帧中，用Lucas-Kanade算法，计算跟踪成功的特征点s_op。

步骤4：除去光流跟踪失败的点，由s_op和s_op运用最小二乘法拟合出仿射变换参数aff和b，其中aff为3*3的旋转矩阵，b为2*1的平移矩阵。

步骤5：由上一帧ASM的定位的二维形状特征点集s_before，根据公式s₁＝aff*s_before+b得到当前帧在仿射变换(aff，b)作用下的对应二维形状特征点集s₁。

步骤6：将s₁作为当前帧的ASM匹配算法初始形状，迭代得到当前帧的最后二维形状特征点集s_video。

步骤7：判断当前帧是否为视频的最后一帧，如果是最后一帧则算法结束，否则令形状点集s_video作为下一帧输入即s_before＝s_video，转步骤2。

2.2人脸模型向量化

为了从视频中建立三维人脸，首先要进行建模。本发明采用NSfM方法，包括以下步骤：

假设一段视频中的一个特征点对应的三维点为S_j，t，其中j表示特征点序号，t表示帧序号。S_j，t所对应的二维投影点为S_p，t，即为从视频中跟踪到的人脸特征点。两者的关系可以用下式表示：

p_j，t＝R_t(s_j，t+d_t)+n                                             (3)

其中d_r是一个2×1的平移矩阵，R_t是大小为2×3的旋转矩阵，n为满足期望为0，方差为σ²高斯分布的噪音。将每幅图像的J个特征点综合起来，则特征点可以被聚集为2×J的矩阵P_t＝[p_1，t，...,p_J，t]，则S_t[s_1，t，...,s_J，t]可以表示为下式：

P_f＝R_t(S_t+D_t)+N                                                      (4)

而从视频建立三维人脸的目标就是要从p_t中估计s_t以及运动参数(R_t，D_t)。而对以一般的人脸视频，人脸会有不同的表情或脸部的其他变化，所以不能将人脸看为一个刚体，而应当将人脸看做一个非刚体。为了表述非刚体的形变一般方法是假设形状是通过在一个平均形状

的基础上加上形变得到的：

$S_t=\stackrel{\‾}{S}+\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{V}_k{z}_{k,t}---\left(5\right)$

其中V_k称为形状基，而z_k，t则表示了每一帧所对应的形状的形变大小。NSFM方法就是在已知P_t的前提下，求R_t、D_t、

V、σ²，但是在本次的实验中本发明只需要求得一段视频中的人脸平均形状的三维模型即可解决问题既求得

即可。

为了后面计算的方便，需要将以上的人脸模型改写为向量形式。

输入：人脸视频中每一帧的人脸特征点跟踪定位结果[x_1，t,y_1，t,..，x_68，t，y_68,t]，假设视频共有J帧，x_i，t、y_i，t分别表示第t帧第i个特征点的横纵坐标；

输出：向量化后的人脸模型表示；

具体包括以下步骤：

步骤一：定义f_t为视频中人脸特征点跟踪结果

f_t＝vec(P_t)＝[x_1t,y_1t，...,x _Jt,y_Jt]^T                                              (6)

注意到，f_t和P_t在含义上是一样的，但是从矩阵形式被重写成为了向量形式。

步骤二：将f_t展开可得到下式：

$f_t=\mathrm{vec}\left(P_t\right)=\mathrm{vec}(R_t{S}_t+R_t{D}_t+N_t)$

$=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{vec}\left(R_k{V}_k\right)z_{k,t}+\mathrm{vec}\left(R_t\stackrel{\‾}{S}\right)+\mathrm{vec}\left(R_t{D}_t\right)+\mathrm{vec}\left(N_t\right)$

$=M_t{z}_t+\stackrel{\‾}{f_t}+T_t+\mathrm{vec}\left(N_t\right)---\left(7\right)$

其中M_t＝[vec(R_tV₁)，...,vec(R_tV_K)]，z_t＝[z_1，t，...,z _Kt]^T  ，

$T_t=\mathrm{vec}\left(R_t{D}_t\right)={[{\left(R_t{d}_t\right)}^T,...,{\left(R_t{d}_t\right)}^T]}^T={[t_t^T,...,t_t^T]}^T.$ 至此完成了对人脸的建模过程。

2.3EM算法求解三维人脸模型参数

在对人脸模型进行向量化以后，采用EM算法来估计人脸模型的运动和形变。

输入：向量化后的分刚性人脸模型表示；

输出：从视频中建立的三维人脸模型；

具体包括以下步骤：

步骤1：计算形变系数z_t的条件期望：

q(z_t)＝p(z_t|f_t,Ψ)                                              (8)

$=N\left(z_t\right|\mathrm{\β}(f_t-\stackrel{\‾}{f_t}-T_t);I-\mathrm{\β}{M}_t)---\left(9\right)$

$\mathrm{\β}=M_t^T{(M_t{M}_t^T+{\mathrm{\σ}}^{2}I)}^{-1}---\left(10\right)$

其中ψ概括了R_t、D_t、

V、σ²这些模型参数，符号N(a|b)在这里表示期望为a方差为b的高斯高率分布，其中D_t是一个2×1的平移矩阵，R_t是大小为2×3的旋转矩阵，V表示形状基，σ²表示高斯分布噪音的方差，

表示视频中人脸平均形状的三维模型。

步骤2：计算使形变系数z_t的条件期望达到最大时的模型参数值。

步骤21：对q(z_t)求导。

步骤22：令导数等于零求出形变系数z_t的条件期望达到最大值时的参数值。得出形状基的更新策略如下：

$\mathrm{vec}\left(\tilde{H}\right)={\left(\underset{t}{\mathrm{\Σ}}({\widetilde{\mathrm{\Φ}}}_t\⊗(I\⊗R_t^T{R}_t))\right)}^{-1}\mathrm{vec}\left(\underset{t}{\mathrm{\Σ}}{(I\⊗R_t)}^T(f_t-T_t){\widetilde{\mathrm{\μ}}}_t^T\right)---\left(11\right)$

其中

表示两个矩阵的张量积，I表示单位矩阵， ${\mathrm{\μ}}_t=\mathrm{\β}(f_t-\stackrel{\‾}{f_t}-T_t),$ ${\mathrm{\Φ}}_t=I-\mathrm{\β}{M}_t+{\mathrm{\μ}}_t{\mathrm{\μ}}_t^T,$ ${\widetilde{\mathrm{\μ}}}_t={[1,{\mathrm{\μ}}_t^T]}^T,$ $\widetilde{\mathrm{\Φ}}=\left[\begin{array}{cc}1& {\mathrm{\μ}}_t^T\\ {\mathrm{\μ}}_t& {\mathrm{\Φ}}_t\end{array}\right].$

步骤3：判定是第50次迭代，如果是输出结果

如果不是则返回步骤1。

3．采用几何特征的三维人脸匹配认证

最终的身份认证过程是指对于给定由照片中重建的和视频中重建的两个三维人脸，需要判定他们是否属于同一张人脸，即身份是否一致。这就要求在计算出两张人脸的相似度后还要给定一个阈值，如果相似度小于这个阈值则认为两者的身份匹配。

输入：由三维人脸几何特征定义及计算得到的照片和视频中重建出的三维人脸模型；

输出：身份证照片是否与视频中是相同的人脸；

具体步骤如下：

步骤1：用基于特征点的人脸几何特征提取方法计算人脸几何特征得到两个几何特征向量V₁＝{a₁,a₂，...,a₃₅},V₂＝{b₁,b₂，...,b₃₅}，其中V₁和V₂表示这两个向量，a_i和b_i分别表示第i维几何特征值，具体定义见表1；

步骤2：计算两个几何特征向量每一维特征之间的欧式距离，得到向量D＝{a₁-b₁,a₂-b₂，...,a₃₅-b₃₅},a_i-b_i0表示第i维特征之间的欧氏距离；

步骤3：按

计算特征向量的相似度，其中D_j为V₁，V₂第j维特征之间的欧氏距离，A_j为第j维特征的权重，具体定义见3.2；

步骤4：比较Sim与阈值α(一般在12~16之间，这里选择15)的大小关系，如果S大于阈值则认为两者是不同人脸，否则认为两者是相同的人脸。

3.1基于特征点的人脸几何特征提取

3.1.1基于特征点的人脸几何特征定义

得到人脸的特征点以后，要抽取可以表征人脸的特征，特征包括4个整体特征，10个五官分布特征，12个鼻子特征，6个眼部特征以及3个嘴部特征共35个特征。特征的具体定义表1所示：

表1

3.1.2特征计算方法

特征按照计算方法基本分为长度特征，比值特征，角度特征，面积特征以及体积特征，其计算方法如下所示：

(1)长度特征：

长度特征的计算采用欧式距离的计算方法，如脸宽的计算||(19)-(20)||，表示特征点19和特征点20之间的欧氏距离。计算公式如下：

$L=\sqrt{{(x1-x2)}^2+{(y2-y2)}^2+{(z2-z2)}^2}---\left(12\right)$

其中(x1,y1,z1)和(x2,y2,z2)分别表示长度线段两端的两个点，对于脸宽即为19号和20号特征点。

(2)比值特征：

比值特征的计算采用两个特征的比值进行计算，下面以脸部长宽比|(3)-(21)||/||(19)-(20)|为例计算比值特征：

||(3)-(21)||/||(19)-(20)||＝L(3)(21)/L(19)(20)                                (13)

其中|(3)-(21)|、|(19)-(20)|分别表示特征点3和特征点21、特征点19以及特征点20之间的距离（简写为L(3)(21)、L(19)(20)）计算方法如公式(12)所示。

(3)角度特征:

角度特征的计算采用余弦定理进行计算，下面以表中鼻子宽度角度∠(5)(2)(6)为例计算角度特征，∠(5)(2)(6)表示以(2)为顶点L(2)(5)和L(2)(6)为边的角：

∠(5)(2)(6)＝(L(2)(5)²+L(2)(6)²-L(5)(6)²)/(2*L(2)(5)*L(2)(6))     (14)

其中L(2)(5)、L(2)(6)、L(5)(6)分别表示特征点2和特征点5、特征点6以及特征点5、6之间的距离，计算方法如公式(12)所示。

(4)面积特征

面积特征计算利用海伦公式计算，具体如下所示：P₂(x₂,y₂,z₂)

设空间三点的坐标分别为P₁(x₁,y₁,z₁)，P₂(x₂,y₂,z₂)，P₃(x₃,y₃,z₃)，首先求出三点间两两之间的距离P₁P₂，P₁P₃，P₂P₃和三角形周长的一半P，则三角形围成的面积可表示为:

$P=\frac{P_1{P}_2+P_1{P}_3+P_2{P}_3}{2},$

(5)体积特征：

体积特征利用三棱锥的体积公式进行计算，具体如下所示：

空间四点所围成的三棱锥的体积计算基于三棱锥的体积公式，其中最重要的为计算点到平面的距离，设空间四点分别为v₁,v₂,v₃,v₄，先计算，

a＝(v₂y-v₁y)*(v₃z-v₁z)-(v₂z-v₁z)*(v₃y-v₁y)                             (16)

b＝(v₂z-v₁z)*(v₃x-v₁x)-(v₂x-v₁x)*(v₃z-v₁z)                             (17)

c＝(v₂x-v₁x)*(v₃y-v₁y)-(v₂y-v₁y)*(v₃x-v₁x)                             (18)

d＝0-(a*v₁x+b*v₁y+c*v₁z)                                               (19)

则点V₄到平面（方程为ax+by+cz+d＝0）的距离为，

$D=\frac{|a*v_{4}x+b{*v}_{4}y+c*v_{4}z+d}{\sqrt{(a^2+b^2+c^2)}}---\left(20\right)$

则三棱锥的体积为：

$\frac{1}{3}*S_{v_1{v}_2{v}_3}*D---\left(21\right)$

其中

表示v₁v₂v₃为顶点的三角形面积。

3.2权重设置

根据文献：3D Face Recognition with Geometrically Localized Surface Shape Indexe，Hyoungchul Shin,Kwanghoon Sohn中所述的人脸的不同几何特征在计算人脸相似度中所占的权重是不同的，所以本发明通过实验的方法定义了上述35个特征的权重，如下表所示：

特征名称	权重	特征名称	权重
				脸宽	3.51	鼻侧鼻根距2	0.66
脸长	3.37	鼻侧鼻尖距1	0.65
				脸长宽比	0.64	鼻侧鼻尖距2	0.65
脸部周长	3.6	鼻子高度1	0.83
				眼距1	1.46	鼻子高度2	0.56
眼距2	1.46	鼻子周长	1.39
				鼻眼距1	1.38	鼻子面积	0.47
鼻眼距2	1.38	鼻子体积	0.05
				鼻眉距	1.06	眼宽1	0.55
眼鼻距比	0.56	眼宽2	0.55
				眼鼻角1	0.71	眼长1	0.54
眼鼻角2	0.71	眼长2	0.54
				鼻嘴距	0.93	眼部长宽比1	0.73
嘴眉距	0.88	眼部长宽比2	0.73
				鼻梁长度	0.83	嘴宽	0.60
鼻子宽度1	0.81	嘴长	0.60
				鼻子宽度2	0.81	嘴长宽比	0.49
鼻侧鼻根距1	0.66

3.3阈值设定

为了设定阈值，本发明利用了事先采集的100段人脸视频和100张视频所对应的第二代身份张照片作为阈值设定的实验样本库，阈值设定的具体过程如下：

输入：事先采集的100段人脸视频和100段视频所对应的第二代身份张照片，其中每类人脸包括10段视频和所对应的10段视频所对应的第二代身份证。

输出：针对每一类三维人脸的阈值α。

具体步骤如下：

步骤1：用10张照片中重建的三维人脸分别和视频中重建的三维人脸做匹配，按

计算两者的相似度，D_j为V₁，V₂第j维特征之间的欧氏距离。这样可以得到100个相似度值。

步骤2：求出100个相似度值的最大值和最小值，分别记为α_max，α_min，并且按照均匀采样的方式得到10个不同的阈值。

步骤3：分别求出不同的阈值下，身份认证的错误接受率和错误拒绝率，得到10组数据。

步骤4,：画出ROC曲线，并找出其置信区间，完成最后的阈值设定。

本发明提供了一种基于三维模型重建的人脸身份认证方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (2)

1.一种基于三维模型重建的人脸身份认证方法，其特征在于，包括以下步骤：

步骤一，基于三维形变基的非线性优化法由身份证照片重建三维人脸模型；

步骤二，采用从运动恢复非刚性物体三维形状NSfM方法由视频重建三维人脸模型；

步骤三，采用几何特征匹配进行三维人脸身份认证；

步骤一包括以下步骤：

步骤（11），从身份证照片中定位人脸区域，并在定位人脸区域的基础上定位人脸特征点，得到身份证照片中人脸的二维形状特征点集s_ID；

步骤（12），采用非刚体形状和运动估计方法构建三维形变基B；

步骤（13），使用非线性优化算法求解三维形变基B的参数；

步骤（12）中所述的非刚体形状和运动估计方法构建三维形变基具体包括以下步骤：

步骤（121），对人脸图像库中选取的F幅人脸图像定位人脸特征点，得到每一幅人脸图像对应的二维形状特征点集s_train；

步骤（122），将人脸图像库中的F幅人脸图像上所有的二维形状特征点集s_train进行拼接，得到人脸图像库的二维跟踪矩阵W；

步骤（123），对二维跟踪矩阵W利用奇异值分解的方法得到一个姿态矩阵M及三维形状基矩阵

步骤（124），根据正交旋转约束利用最小二乘法求出矫正矩阵G；

步骤（125），根据矫正矩阵G利用

求出三维形变基B；

步骤（13）中非线性优化算法求解三维形变基参数过程具体包括以下步骤：

步骤（131），通过摄像机定标获得摄像机内部矩阵A；

步骤（132），非线性优化求解旋转矩阵R、平移矩阵T和形变基系数p；

所述步骤（132）包括以下步骤：

步骤（1321），对旋转矩阵R，平移矩阵T和形变基系数p进行初始赋值；

步骤（1322），根据内部矩阵A、旋转矩阵R，平移矩阵T和形变基系数p计算身份证照片中人脸三维模型，并将其投影到二维平面，得到身份证照片人脸二维形状特征点集s′；

步骤（1323），计算二维平面投影点与步骤（11）从身份证照片中获取的特征点集s_ID之间的欧氏距离，如果距离小于阈值σ，则非线性优化迭代算法终止输出三维形变基参数，否则转步骤（1324）；

步骤（1324），计算雅克比矩阵 $J=\left[\begin{array}{c}\frac{{\mathrm{\δs}}^{\′}}{\mathrm{\δR}},\frac{{\mathrm{\δs}}^{\′}}{\mathrm{\δT}},\frac{{\mathrm{\δs}}^{\′}}{\mathrm{\δp}}\end{array}\right],$ 更新模型参数 $[R,T,p]=[R,T,p]-\frac{J^T{s}^{\′}}{J^{T}J},$ 转步骤（1322）；

步骤二包括以下步骤：

步骤（21），跟踪定位视频中的人脸特征点：对视频中的每一帧进行人脸区域定位，并在定位的基础上对视频中的每一帧图像跟踪定位人脸特征点，得到每一帧人脸图像对应的二维形状特征点集s_video；

步骤（22），人脸模型向量化：将多帧人脸视频中得到的人脸特征点用向量的方式表示，对视频中人脸进行三维人脸模型建模；

步骤（23），求解三维人脸模型参数：循环迭代计算所述三维人脸模型参数；

步骤（21）采用结合卢卡斯光流跟踪算法的主动形状模型跟踪定位视频中人脸特征点，具体包括以下步骤：

步骤（211），如果是视频的第一帧，利用主动形状模型特征点定位方法定位该帧人脸图像的二维形状特征点集，转下一帧；

步骤（212），根据上一帧定位的二维形状特征点集s_before，利用帧差法在视频中的人脸区域内寻找适合光流跟踪的特征点，得到点集s_op；

步骤（213），在当前帧中，用特征点跟踪算法，计算跟踪成功的特征点s_op；

步骤（214），除去光流跟踪失败的点，由点集s_op和特征点s_op拟合出仿射变换参数aff和变换参数b；其中仿射变换参数aff为3*3的旋转矩阵，变换参数b为2*1的平移矩阵；

步骤（215），由上一帧的定位的二维形状特征点集s_before，得到当前帧在仿射变换(aff，b)作用下的对应二维形状特征点集s₁；

步骤（216），将s₁作为当前帧的初始形状，根据ASM特征点定位算法得到当前帧的最后二维形状特征s_video；

步骤（217），判断当前帧是否为视频的最后一帧，如果是最后一帧则算法结束，否则令二维形状特征点集s_video作为下一帧输入即s_before＝s_video，转步骤（212）；

步骤三包括以下步骤：

步骤（31），基于特征点的人脸几何特征提取：对步骤一和步骤二中重建的三维人脸模型根据三维人脸模型上的特征点分别计算两个三维人脸的几何特征；

步骤（32），计算两个三维人脸几何特征的相似度Sim；

步骤（33），比较相似度Sim与预设定阈值α的大小关系，如果相似度Sim大于阈值α则认为两者是不同人脸，否则认为两者是相同的人脸。

2.根据权利要求1所述的一种基于三维模型重建的人脸身份认证方法，其特征在于，步骤（31）中基于特征点的人脸几何特征提取将人脸几何特征分为整体特征，五官分布特征，鼻子特征，眼部特征，嘴部特征五个部分。

Images