CN107729806A - 基于三维人脸重建的单视图多姿态人脸识别方法 - Google Patents
基于三维人脸重建的单视图多姿态人脸识别方法 Download PDFInfo
- Publication number
- CN107729806A CN107729806A CN201710791920.3A CN201710791920A CN107729806A CN 107729806 A CN107729806 A CN 107729806A CN 201710791920 A CN201710791920 A CN 201710791920A CN 107729806 A CN107729806 A CN 107729806A
- Authority
- CN
- China
- Prior art keywords
- face
- mrow
- msub
- dimensional
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了基于三维人脸重建的单视图多姿态人脸识别方法，该方法首先基于几何信息构建平面模板，在此过程中通过三维人脸的几何信息确定特征点位置，分割出人脸部分，由于去除了无用的信息而减少了三维人脸数据；进而采用水平和垂直重采样方法实现三维人脸数据的自动稠密对应，避免了人工交互；然后采用稀疏形变模型重建三维人脸；最后采用纹理映射、旋转、投影等方式获取多姿态虚拟视图，实现基于单视图多姿态人脸识别，本发明基于三维人脸重建的单视图多姿态人脸识别方法丰富了训练样本库，能提高人脸识别性能。
Description
技术领域
本发明属于计算机视觉识别方法技术领域，具体涉及一种基于三维人脸重建的单视图多姿态人脸识别方法。
背景技术
人脸识别技术是通过计算机提取人脸特征，并根据这些特征进行身份识别的一种技术，具有操作简单、结果直观以及隐蔽性好等优点，在信息安全、刑事侦破及出入口控制等领域具有广泛的应用前景。
然而，人脸识别技术经过半个世纪的发展，仍然面临着巨大的挑战。大部分人脸识别方法都是在基于训练样本充分多的情况下，只有当人脸数据资料足够充分时，才能取得较好的识别效果，而当训练样本是单视图时，识别性能会急剧下降。此外，基于单视图的人脸识别具有人脸数据易采集、存储空间小等优势，这将人脸识别技术推广到大范围的实际应用成为可能。因此，以单视图为训练样本，多姿态人脸图像为测试样本的人脸识别研究具有极高的研究价值。
Ho等提出一种基于Markov随机域和信念传播算法重构虚拟正面人脸的方法，该方法不需要手动选取面部标记点和对姿态角的估计，提高了效率。基于姿态校正的方法，能避免三维建模，并且由于是单视图情况下，训练样本少，因此人脸识别效率往往很高；但是，该方法存在一定的局限性，当人脸姿态偏转较大时，往往达不到姿态校正的效果，并且当水平偏转与上下偏转情况同时存在时，姿态往往无法进行校正。赵雅英等提出了样本扩充和改进的2DPCA算法，该算法结合多种样本扩充方法来生成虚拟多视图，然后采用改进的 2DPCA方法对生成的虚拟多视图进行特征提出，并对训练样本进行分块，用类内平均值规范后的分块来构造总体散布矩阵，作者在ORL 和Yale人脸库上证明了该方法在识别性能上优于普通的2DPCA方法，并且优于单一的样本扩充方法。但是在提取特征时，这些生成的虚拟多视图样本具有很高的相关性，并不能看作为独立的样本，因此可能会导致判别特征子空间中信息的冗余。
发明内容
本发明的目的是提供一种基于三维人脸重建的单视图多姿态人脸识别方法，解决了多姿态人脸识别率低的问题。
本发明所采用的技术方案是，基于三维人脸重建的单视图多姿态人脸识别方法，具体按照以下步骤实施：
步骤1、基于几何信息的平面模板建立，定义对三维人脸重采样的数目和拓扑结构；
步骤2，基于步骤1建立的平面模板，对其分别进行垂直与水平重采样重新生成新的人脸，根据模板的拓扑结构对这些生成人脸的顶点进行网格重建，将三维人脸数据实现规格化；
步骤3，基于步骤1获得的平面模板和步骤2得到的规格化三维人脸数据，进行基于稀疏形变模型的三维人脸重建，并通过纹理映射、旋转、投影生成虚拟多视图，实现多姿态人脸识别。
本发明的特点在于：
步骤1具体按照以下方法实施：
基于几何信息的平面模板建立包括基于几何信息的人脸分割和平面模板建立两个部分；
每个三维人脸数据都是采用柱面坐标的方式记录几何信息，故能通过对这些数据进行柱面展开并结合纹理信息得到对应的纹理图像；然后对柱面展开后的人脸进行分割，提取出关键部位区域；
由于三维人脸的形状数据都已经过校正，Y轴与人脸平面垂直且过两眼的连线水平，利用几何信息直接定位鼻尖，即选取Y坐标值最大的顶点作为鼻子尖；
依据鼻尖的坐标，能得到过鼻尖的垂直和水平的两条等值线，由于三维人脸模型上的顶点和二维纹理图上的像素点是一一对应的，则能得到三维人脸上相应的等值线；通过观察水平、垂直等值线上的曲率变化能确定人脸矩形区域，并以该矩形的四条边确定外接椭圆，分割出该椭圆区域；
将分割后二维人脸纹理图以鼻尖位置对齐，进行人脸重叠，选取出现次数超过一半的像素点构成平面模板元素；
实际上，选取的像素点对应的顶点是散乱的，要通过建立网格来对这些顶点进行组织生成规格化的三维人脸模型。
步骤1中通过建立网格来对顶点进行组织生成规格化的三维人脸模型，其构建拓扑结构的步骤如下：
步骤a、根据水平等值线与垂直等值线上顶点的连接关系将顶点顺序连接；
步骤b、经步骤a后，连接左下角到右上角的对角线将每一个小矩形划分成两个三角片，并采用从左到右、从上到下的方式将顶点和小三角形进行编号，即生成规格化的三维人脸模型。
步骤2具体按照以下方法实施：
垂直采样，具体方法如下：
对于任意一个三维人脸fi，1≤i≤m，通过插值的方法能计算其第k行上的顶点；
令pre＝floor(ratio*k)表示前一行序号，f＝ceil(ratio*k)表示下一行序号，其中ratio＝fi(h)/Tmpt(h)是该三维人脸模型fi分割之后的二维纹理图像的高度与平面模板的高度的比值，而floor和ceil 分别表示向下取整和向上取整函数；在原始人脸中第pre行vpre(ori) 顶点和第fol行vfol(ori)顶点之间进行插值操作，获得重采样操作后第k行上所有顶点vk(vert)的数据，其中包括每个顶点的形状数据和纹理数据；
式(1)中：Δr＝ratio*k-pre；
水平采样，具体方法如下：
垂直采样后的人脸还要进行水平采样才能生成最终的标准人脸，采用插值方法计算人脸第k行上的第l个顶点的数据；
令pre＝floor(ratio*l)，flo＝ceil(ratio*l)；
其中，ratio＝fi(w)/Tmpt(w)是该人脸模型fi的宽度与模板的宽度的比值；
令Δr＝ratio*l-pre，在第pre列上的顶点vk，pre(vert)和第flo列上的顶点vk，fol(vert)之间进行插值，则得到重新采样后第k行第l 个顶点vk，l(final)的数据，具体算法如下：
对采样后的数据按照模板拓扑结构，所有三维人脸能统一表示为如下两个向量：
其中：si是表示数据库中第i个人脸上的顶点的三维坐标组成的几何形状向量，ti是对应于形状向量中点的RGB值组成的纹理向量，N是人脸个数，n是人脸的点数，而且不同人脸向量中相同下标的点对应于相同的人脸特征点。
步骤3具体按照以下方法实施：
将规格化之后的三维人脸数据库看作为一个线性空间，在此空间内，任意一个元素都能由其余元素线性表示；
根据规范化结果，三维人脸形状可以表示为如下形式：
si＝(x1,y1,z1,...,xk,yk,zk,...,xn,yn,zn)T∈R3n,i＝1,...,m (4)；
式(4)中：(xk，yk，zk)是第k个顶点vk的坐标值，n是顶点数目；
把人脸当成一个线性类，m个人脸形状是一个线性子空间，用矩阵S＝(s1，s2……，sm)∈R3n×m表示；对于任意一个新的人脸形状 Snew都能由下式表示：
Snew＝S·a (5)；
式(5)中：a＝(a1,...,ai,...,am)且ai∈[0,1]，
为了消除原始人脸数据之间的相关性并降低数据量，使用主成分分析法对原始数据进行变换，并取前m′(≤m-1)个最大特征值(其中)所对应的特征向量构成形状特征矩阵Q＝(q1,...,qm')；
以特征矩阵Q为基底，则式(5)能改写为如下形式：
式(6)中：β＝(β1,...,βi,...,βm')T∈Rm'是组合参数，满足高斯分布；对平均人脸进行大小为Δs的变形可以生成特定人脸；
基于稀疏形变模型的人脸形状重建能描述为根据已知的k个特征点的形变量Δsf来计算全局形变量Δs；
特定人脸上的特征点坐标用向量sf∈Rl，对于二维特征点l＝2k，三维点l＝3k表示，则：sf＝Ls,L:R3n→Rl (7)；
式(7)中：L是一个投影操作，这里表示选择特征点；
由式(6)和式(7)能得到如下算法：
为了抑制对特征点的过拟合现象，同时提高对其他顶点的预测准确性，将问题转化为计算目标函数的最优解，通过贝叶斯方法建立目标函数：
E(β)＝||Qf·β-Δsf||2+η·||β||2 (9)；
式(9)中第1项为重建误差，第2项描述了随机波动，用于增强模型对噪音的鲁棒性，η≥0是调整参数；
根据奇异值分解：
Qf＝UΛVT，Λ＝diag(λi)∈Rl×m′；
将目标函数对β求导得到：
式(10)中：U∈Rl×l，V∈Rm′×m′；
将式(10)结果带入式(11)，能将特定人脸的三维重建表示为如下形式：
进而，通过纹理映射、旋转、投影方法，能获取输入人脸的多姿态人脸图像，实现基于单视图的多姿态人脸识别。
本发明的有益效果是：
基于单张的三维人脸重建是本发明方法中的难点，也是关键点，首先对于模型构建，提出基于几何信息的平面模板重采样方法，生成新的人脸，实现三维人脸数据的自动稠密对应；然后采用稀疏形变模型算法，重建三维人脸；相比于现有的三维人脸重建算法，在模型构建方面，实现了自动的三维人脸稠密对应，避免了人工交互；在算法效率方面，本发明方法通过三维人脸的几何信息确定特征点位置，分割出人脸部分，去除无用信息，能大大减少三维人脸重建的时间。
附图说明
图1是本发明基于三维人脸重建的单视图多姿态人脸识别方法的流程图；
图2是坐标系中的三维人脸模型；
图3是垂直、水平等值线：图3(a)二维纹理图上的等值线；图3(b)三维模型上的等值线；图3(c)垂直等值线的深度剖面图；图3(d)水平等值线的深度剖面图；
图4是人脸分割结果；
图5是模板示例：图5(a)散乱点及编号；图5(b)拓扑结构图；
图6是人脸三维点云数据重采样前后：图6(a)采样前；图6 (b)采样后；
图7是三维人脸重建结果：图7(a)输入图像；图7(b)重建结果；图7(c)纹理映射；图7(d)～图7(n)三维人脸形成的多姿态人脸图像。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于三维人脸重建的单视图多姿态人脸识别方法分为三个部分：第一部分是基于几何信息的平面模板建立；第二部分进行垂直与水平重采样重新生成新的人脸，根据模板的拓扑结构对这些生成人脸的顶点进行网格重建，将三维人脸数据实现规格化；第三部分是基于稀疏形变模型的三维人脸重建；本发明方法能减少了三维人脸重建的时间，提升人脸识别效率。
本发明基于三维人脸重建的单视图多姿态人脸识别方法，其流程如图1所示，具体按照以下步骤实施：
步骤1、基于几何信息的平面模板建立，定义对三维人脸重采样的数目和拓扑结构，具体按照以下方法实施：
基于几何信息的平面模板建立包括基于几何信息的人脸分割和平面模板建立两个部分；
每个三维人脸数据都是采用柱面坐标的方式记录几何信息，故能通过对这些数据进行柱面展开并结合纹理信息得到对应的纹理图像；然后对柱面展开后的人脸进行分割，提取出关键部位区域；
由于三维人脸的形状数据都已经过校正，如图2所示(原图为彩色图，但基于审查指南中指出说明书附图不能有色彩，所以将其转化成黑白图)，从图2中能看出：Y轴与人脸平面垂直且过两眼的连线水平，利用几何信息直接定位鼻尖，即选取Y坐标值最大的顶点作为鼻子尖；
依据鼻尖的坐标，能得到过鼻尖的垂直和水平的两条等值线，如图3中的图3(a)(原图为彩色图，但基于审查指南中指出说明书附图不能有色彩，所以将其转化成黑白图)所示；由于三维人脸模型上的顶点和二维纹理图上的像素点是一一对应的，则能得到三维人脸上相应的等值线，如图3中的图3(b)(原图为彩色图，但基于审查指南中指出说明书附图不能有色彩，所以将其转化成黑白图)所示；通过观察水平、垂直等值线上的曲率变化(如图3中的图3(c)、图3 (d)所示)能确定人脸矩形区域，并以该矩形的四条边确定外接椭圆，分割出该椭圆区域，结果如图4中图4(a)～图4(e)所示(原图为彩色图，但基于审查指南中指出说明书附图不能有色彩，所以将其转化成黑白图)，这些图是使用本发明中的人脸分割方法对北京工业大学三维人脸数据库中的5个人脸进行分割的结果，可以看出，本发明方法能够有效进行人脸分割。
将分割后二维人脸纹理图以鼻尖位置对齐，进行人脸重叠，选取出现次数超过一半的像素点构成平面模板元素，如图5中图5(a) 所示；实际上，选取的像素点对应的顶点是散乱的，要通过建立网格来对这些顶点进行组织生成规格化的三维人脸模型，具体按照如下步骤构建拓扑结构：
步骤a、根据水平等值线与垂直等值线上顶点的连接关系将顶点顺序连接；
步骤b、经步骤a后，连接左下角到右上角的对角线将每一个小矩形划分成两个三角片，并采用从左到右、从上到下的方式将顶点和小三角形进行编号，如图5中的图5(b)所示，即生成规格化的三维人脸模型。
步骤2，基于步骤1建立的平面模板，对其分别进行垂直与水平重采样重新生成新的人脸，根据模板的拓扑结构对这些生成人脸的顶点进行网格重建，将三维人脸数据实现规格化，具体按照以下方法实施：
垂直采样，具体方法如下：
对于任意一个三维人脸fi，1≤i≤m，通过插值的方法能计算其第k行上的顶点；
令pre＝floor(ratio*k)表示前一行序号，f＝ceil(ratio*k)表示下一行序号，其中ratio＝fi(h)/Tmpt(h)是该三维人脸模型fi分割之后的二维纹理图像的高度与平面模板的高度的比值，而floor和ceil 分别表示向下取整和向上取整函数；在原始人脸中第pre行vpre(ori) 顶点和第fol行vfol(ori)顶点之间进行插值操作，获得重采样操作后第k行上所有顶点vk(vert)的数据(其中包括每个顶点的形状数据和纹理数据)；
式(1)中：Δr＝ratio*k-pre；
水平采样，具体方法如下：
垂直采样后的人脸还要进行水平采样才能生成最终的标准人脸，采用插值方法计算人脸第k行上的第l个顶点的数据；
令pre＝floor(ratio*l)，flo＝ceil(ratio*l)；
其中，ratio＝fi(w)/Tmpt(w)是该人脸模型fi的宽度与模板的宽度的比值；
令Δr＝ratio*l-pre，在第pre列上的顶点vk，pre(vert)和第flo列上的顶点vk，fol(vert)之间进行插值，则得到重新采样后第k行第l 个顶点vk，l(final)的数据，具体算法如下：
对采样后的数据按照模板拓扑结构，所有三维人脸能统一表示为如下两个向量：
其中：si是表示数据库中第i个人脸上的顶点的三维坐标组成的几何形状向量，ti是对应于形状向量中点的RGB值组成的纹理向量， N是人脸个数，n是人脸的点数，而且不同人脸向量中相同下标的点对应于相同的人脸特征点；三维人脸数据稠密对应前后对比，如图6 中的图6(a)～图6(d)所示：图6(a)和图6(c)是北京工业大学三维人脸数据库中两个人脸的原始三维数据，图6(b)和图6(d) 是分别对图6(a)和图6(c)进行重采样之后的结果；可以看出本发明能够有效标准化三维人脸。
步骤3，基于步骤1获得的平面模板和步骤2得到的规格化三维人脸数据，进行基于稀疏形变模型的三维人脸重建，并通过纹理映射、旋转、投影生成虚拟多视图，实现多姿态人脸识别，具体按照以下方法实施：
将规格化之后的三维人脸数据库看作为一个线性空间，在此空间内，任意一个元素都能由其余元素线性表示；
根据规范化结果，三维人脸形状可以表示为如下形式：
si＝(x1,y1,z1,...,xk,yk,zk,...,xn,yn,zn)T∈R3n,i＝1,...,m (4)；
式(4)中：(xk，yk，zk)是第k个顶点vk的坐标值，n是顶点数目；
把人脸当成一个线性类，m个人脸形状是一个线性子空间，用矩阵S＝(s1，s2……，sm)∈R3n×m表示；对于任意一个新的人脸形状 Snew都能由下式表示：
Snew＝S·a (5)；
式(5)中：a＝(a1,...,ai,...,am)且ai∈[0,1]，
为了消除原始人脸数据之间的相关性并降低数据量，使用主成分分析法对原始数据进行变换，并取前m′(≤m-1)个最大特征值(其中)所对应的特征向量构成形状特征矩阵Q＝(q1,...,qm')；
以特征矩阵Q为基底，则公式(5)能改写为如下形式：
式(6)中：β＝(β1,...,βi,...,βm')T∈Rm'是组合参数，满足高斯分布；对平均人脸进行大小为Δs的变形可以生成特定人脸；
基于稀疏形变模型的人脸形状重建能描述为根据已知的k个特征点的形变量Δsf来计算全局形变量Δs；
特定人脸上的特征点坐标用向量sf∈Rl(对于二维特征点l＝2k，三维点l＝3k)表示，则：sf＝Ls,L:R3n→Rl (7)；
式(7)中：L是一个投影操作，这里表示选择特征点；
由式(6)和式(7)能得到如下算法：
为了抑制对特征点的过拟合现象，同时提高对其他顶点的预测准确性，将问题转化为计算目标函数的最优解，通过贝叶斯方法建立目标函数：
E(β)＝||Qf·β-Δsf||2+η·||β||2 (9)；
式(9)中第1项为重建误差，第2项描述了随机波动，用于增强模型对噪音的鲁棒性，η≥0是调整参数；
根据奇异值分解：
Qf＝UΛVT，Λ＝diag(λi)∈Rl×m′；
将目标函数对β求导得到：
式(10)中：U∈Rl×l，V∈Rm′×m′；
将式(10)结果带入式(11)，能将特定人脸的三维重建表示为式(11)所示，其中输入人脸的重建结果如图7中的图7(b)所示；
进而，通过纹理映射、旋转、投影方法，能获取输入人脸的多姿态人脸图像(如图7中的图(d)～图7(n)所示)，实现基于单视图的多姿态人脸识别；图7(a)是CAS-PEAL人脸数据库中的两个正面人脸图像；图7(b)为使用本发明方法对两个人脸图像进行三维重建之后的结果；图7(c)是纹理映射之后的结果；图7(d)～(f) 为人脸在平视情况下，分别不旋转和旋转15°、30°和45°得到的多姿态人脸；图7(g)～图7(j)为人脸在俯视情况下，分别不旋转和旋转15°、30°和45°得到的多姿态人脸；图7(k)～图7(n) 为人脸在仰视情况下，分别不旋转和旋转15°、30°和45°得到的多姿态人脸；可以看出：本发明能有效重建三维人脸，生成多姿态的人脸图像。
本发明基于三维人脸重建的单视图多姿态人脸识别方法，首先是基于几何信息建立平面模板，其次对其重采样生成新的人脸，建立三维人脸数据的稠密对应关系。最后采用稀疏形变算法完成三维人脸的重建，能减少三维人脸重建的时间，提升人脸识别效率。
Claims (5)
1.基于三维人脸重建的单视图多姿态人脸识别方法，其特征在于，按照以下步骤实施：
步骤1、基于几何信息的平面模板建立，定义对三维人脸重采样的数目和拓扑结构；
步骤2，基于步骤1建立的平面模板，对其分别进行垂直与水平重采样重新生成新的人脸，根据模板的拓扑结构对这些生成人脸的顶点进行网格重建，将三维人脸数据实现规格化；
步骤3，基于步骤1获得的平面模板和步骤2得到的规格化三维人脸数据，进行基于稀疏形变模型的三维人脸重建，并通过纹理映射、旋转、投影生成虚拟多视图，实现多姿态人脸识别。
2.根据权利要求1所述的基于三维人脸重建的单视图多姿态人脸识别方法，其特征在于，所述步骤1具体按照以下方法实施：
基于几何信息的平面模板建立包括基于几何信息的人脸分割和平面模板建立两个部分；
每个三维人脸数据都是采用柱面坐标的方式记录几何信息，故能通过对这些数据进行柱面展开并结合纹理信息得到对应的纹理图像；然后对柱面展开后的人脸进行分割，提取出关键部位区域；
由于三维人脸的形状数据都已经过校正，Y轴与人脸平面垂直且过两眼的连线水平，利用几何信息直接定位鼻尖，即选取Y坐标值最大的顶点作为鼻子尖；
依据鼻尖的坐标，能得到过鼻尖的垂直和水平的两条等值线，由于三维人脸模型上的顶点和二维纹理图上的像素点是一一对应的，则能得到三维人脸上相应的等值线；通过观察水平、垂直等值线上的曲率变化能确定人脸矩形区域，并以该矩形的四条边确定外接椭圆，分割出该椭圆区域；
将分割后二维人脸纹理图以鼻尖位置对齐，进行人脸重叠，选取出现次数超过一半的像素点构成平面模板元素；
实际上，选取的像素点对应的顶点是散乱的，要通过建立网格来对这些顶点进行组织生成规格化的三维人脸模型。
3.根据权利要求2所述的基于三维人脸重建的单视图多姿态人脸识别方法，其特征在于，所述步骤1中通过建立网格来对顶点进行组织生成规格化的三维人脸模型，其构建拓扑结构的步骤如下：
步骤a、根据水平等值线与垂直等值线上顶点的连接关系将顶点顺序连接；
步骤b、经步骤a后，连接左下角到右上角的对角线将每一个小矩形划分成两个三角片，并采用从左到右、从上到下的方式将顶点和小三角形进行编号，即生成规格化的三维人脸模型。
4.根据权利要求1所述的基于三维人脸重建的单视图多姿态人脸识别方法，其特征在于，所述步骤2具体按照以下方法实施：
垂直采样，具体方法如下：
对于任意一个三维人脸fi，1≤i≤m，通过插值的方法能计算其第k行上的顶点；
令pre＝floor(ratio*k)表示前一行序号，f＝ceil(ratio*k)表示下一行序号，其中ratio＝fi(h)/Tmpt(h)是该三维人脸模型fi分割之后的二维纹理图像的高度与平面模板的高度的比值，而floor和ceil分别表示向下取整和向上取整函数；在原始人脸中第pre行vpre(ori)顶点和第fol行vfol(ori)顶点之间进行插值操作，获得重采样操作后第k行上所有顶点vk(vert)的数据，其中包括每个顶点的形状数据和纹理数据；
式(1)中：Δr＝ratio*k-pre；
水平采样，具体方法如下：
垂直采样后的人脸还要进行水平采样才能生成最终的标准人脸，采用插值方法计算人脸第k行上的第l个顶点的数据；
令pre＝floor(ratio*l)，flo＝ceil(ratio*l)；
其中，ratio＝fi(w)/Tmpt(w)是该人脸模型fi的宽度与模板的宽度的比值；
令Δr＝ratio*l-pre，在第pre列上的顶点vk，pre(vert)和第flo列上的顶点vk，fol(vert)之间进行插值，则得到重新采样后第k行第l个顶点vk，l(final)的数据，具体算法如下：
对采样后的数据按照模板拓扑结构，所有三维人脸能统一表示为如下两个向量：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>n</mi>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mrow>
<mn>3</mn>
<mi>n</mi>
</mrow>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>g</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>b</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>g</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>b</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>n</mi>
</msub>
<mo>,</mo>
<msub>
<mi>g</mi>
<mi>n</mi>
</msub>
<mo>,</mo>
<msub>
<mi>b</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mrow>
<mn>3</mn>
<mi>n</mi>
</mrow>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mn>1</mn>
<mo>&le;</mo>
<mi>i</mi>
<mo>&le;</mo>
<mi>N</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中：si是表示数据库中第i个人脸上的顶点的三维坐标组成的几何形状向量，ti是对应于形状向量中点的RGB值组成的纹理向量，N是人脸个数，n是人脸的点数，而且不同人脸向量中相同下标的点对应于相同的人脸特征点。
5.根据权利要求1所述的基于三维人脸重建的单视图多姿态人脸识别方法，其特征在于，所述步骤3具体按照以下方法实施：
将规格化之后的三维人脸数据库看作为一个线性空间，在此空间内，任意一个元素都能由其余元素线性表示；
根据规范化结果，三维人脸形状表示为如下形式：
si＝(x1,y1,z1,...,xk,yk,zk,...,xn,yn,zn)T∈R3n,i＝1,...,m (4)；
式(4)中：(xk，yk，zk)是第k个顶点vk的坐标值，n是顶点数目；
把人脸当成一个线性类，m个人脸形状是一个线性子空间，用矩阵S＝(s1，s2……，sm)∈R3n×m表示；对于任意一个新的人脸形状Snew都能由下式表示：
Snew＝S·a (5)；
式(5)中：a＝(a1,...,ai,...,am)且ai∈[0,1]，
为了消除原始人脸数据之间的相关性并降低数据量，使用主成分分析法对原始数据进行变换，并取前m′(≤m-1)个最大特征值(其中)所对应的特征向量构成形状特征矩阵Q＝(q1,...,qm')；
以特征矩阵Q为基底，则式(5)能改写为如下形式：
<mrow>
<msub>
<mi>s</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mi>Q</mi>
<mo>&CenterDot;</mo>
<mi>&beta;</mi>
<mo>=</mo>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mi>&Delta;</mi>
<mi>s</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式(6)中：β＝(β1,...,βi,...,βm')T∈Rm'是组合参数，满足高斯分布；对平均人脸进行大小为Δs的变形可以生成特定人脸；
基于稀疏形变模型的人脸形状重建能描述为根据已知的k个特征点的形变量Δsf来计算全局形变量Δs；
特定人脸上的特征点坐标用向量sf∈Rl，对于二维特征点l＝2k，三维点l＝3k表示，则：sf＝Ls,L:R3n→Rl (7)；
式(7)中：L是一个投影操作，这里表示选择特征点；
由式(6)和式(7)能得到如下算法：
<mrow>
<msup>
<mi>&Delta;s</mi>
<mi>f</mi>
</msup>
<mo>=</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mo>-</mo>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>Q</mi>
<mo>&CenterDot;</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>Q</mi>
<mi>f</mi>
</msup>
<mo>&CenterDot;</mo>
<mi>&beta;</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
为了抑制对特征点的过拟合现象，同时提高对其他顶点的预测准确性，将问题转化为计算目标函数的最优解，通过贝叶斯方法建立目标函数：
E(β)＝||Qf·β-Δsf||2+η·||β||2 (9)；
式(9)中第1项为重建误差，第2项描述了随机波动，用于增强模型对噪音的鲁棒性，η≥0是调整参数；
根据奇异值分解：
Qf＝UΛVT，Λ＝diag(λi)∈Rl×m′；
将目标函数对β求导得到：
<mrow>
<mi>arg</mi>
<mi> </mi>
<mi>min</mi>
<mo>|</mo>
<mo>|</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
<mo>=</mo>
<mi>V</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
<mrow>
<msubsup>
<mi>&lambda;</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&eta;</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<msup>
<mi>U</mi>
<mi>T</mi>
</msup>
<mo>&CenterDot;</mo>
<msup>
<mi>&Delta;s</mi>
<mi>L</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式(10)中：U∈Rl×l，V∈Rm′×m′；
将式(10)结果带入式(11)，能将特定人脸的三维重建表示为如下形式：
<mrow>
<msub>
<mi>s</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mi>Q</mi>
<mo>&CenterDot;</mo>
<mi>V</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
<mrow>
<msubsup>
<mi>&lambda;</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&eta;</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<msup>
<mi>U</mi>
<mi>T</mi>
</msup>
<mo>&CenterDot;</mo>
<msup>
<mi>&Delta;s</mi>
<mi>L</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
进而，通过纹理映射、旋转、投影方法，能获取输入人脸的多姿态人脸图像，实现基于单视图的多姿态人脸识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710791920.3A CN107729806A (zh) | 2017-09-05 | 2017-09-05 | 基于三维人脸重建的单视图多姿态人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710791920.3A CN107729806A (zh) | 2017-09-05 | 2017-09-05 | 基于三维人脸重建的单视图多姿态人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107729806A true CN107729806A (zh) | 2018-02-23 |
Family
ID=61204909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710791920.3A Pending CN107729806A (zh) | 2017-09-05 | 2017-09-05 | 基于三维人脸重建的单视图多姿态人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107729806A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191584A (zh) * | 2018-08-16 | 2019-01-11 | Oppo广东移动通信有限公司 | 三维模型处理方法、装置、电子设备及可读存储介质 |
| CN109299643A (zh) * | 2018-07-17 | 2019-02-01 | 深圳职业技术学院 | 一种基于大姿态对准的人脸识别方法及系统 |
| CN111079587A (zh) * | 2019-12-03 | 2020-04-28 | 北京迈格威科技有限公司 | 人脸的识别方法、装置、计算机设备及可读存储介质 |
| CN111292415A (zh) * | 2020-02-25 | 2020-06-16 | 华南理工大学 | 一种基于球坐标位置图的单视图三维人脸重建方法 |
| CN113947799A (zh) * | 2021-11-11 | 2022-01-18 | 石家庄学院 | 三维人脸数据预处理方法及设备 |
| CN114373056A (zh) * | 2021-12-17 | 2022-04-19 | 云南联合视觉科技有限公司 | 一种三维重建方法、装置、终端设备及存储介质 |
| WO2023019699A1 (zh) * | 2021-08-16 | 2023-02-23 | 武汉大学 | 一种基于3d人脸模型的俯角人脸识别方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090310828A1 (en) * | 2007-10-12 | 2009-12-17 | The University Of Houston System | An automated method for human face modeling and relighting with application to face recognition |
| CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| CN103093498A (zh) * | 2013-01-25 | 2013-05-08 | 西南交通大学 | 一种基于平面三角网格模板的三维人脸自动标准化方法 |
| CN106022228A (zh) * | 2016-05-11 | 2016-10-12 | 东南大学 | 一种基于网格纵横局部二值模式的三维人脸识别方法 |
-
2017
- 2017-09-05 CN CN201710791920.3A patent/CN107729806A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090310828A1 (en) * | 2007-10-12 | 2009-12-17 | The University Of Houston System | An automated method for human face modeling and relighting with application to face recognition |
| CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| CN103093498A (zh) * | 2013-01-25 | 2013-05-08 | 西南交通大学 | 一种基于平面三角网格模板的三维人脸自动标准化方法 |
| CN106022228A (zh) * | 2016-05-11 | 2016-10-12 | 东南大学 | 一种基于网格纵横局部二值模式的三维人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| MINGHUA ZHAO等: "An Efficient Three-Dimensional Reconstruction Approach for Pose-Invariant Face Recognition Based on a Single View", 《10TH INTERNATIONAL CONFERENCE ON KNOWLEDGE SCIENCE, ENGINEERING AND MANAGEMENT(KSEM)》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109299643A (zh) * | 2018-07-17 | 2019-02-01 | 深圳职业技术学院 | 一种基于大姿态对准的人脸识别方法及系统 |
| CN109299643B (zh) * | 2018-07-17 | 2020-04-14 | 深圳职业技术学院 | 一种基于大姿态对准的人脸识别方法及系统 |
| CN109191584A (zh) * | 2018-08-16 | 2019-01-11 | Oppo广东移动通信有限公司 | 三维模型处理方法、装置、电子设备及可读存储介质 |
| US11403819B2 (en) | 2018-08-16 | 2022-08-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Three-dimensional model processing method, electronic device, and readable storage medium |
| CN111079587A (zh) * | 2019-12-03 | 2020-04-28 | 北京迈格威科技有限公司 | 人脸的识别方法、装置、计算机设备及可读存储介质 |
| CN111079587B (zh) * | 2019-12-03 | 2023-09-22 | 北京迈格威科技有限公司 | 人脸的识别方法、装置、计算机设备及可读存储介质 |
| CN111292415A (zh) * | 2020-02-25 | 2020-06-16 | 华南理工大学 | 一种基于球坐标位置图的单视图三维人脸重建方法 |
| WO2023019699A1 (zh) * | 2021-08-16 | 2023-02-23 | 武汉大学 | 一种基于3d人脸模型的俯角人脸识别方法及系统 |
| CN113947799A (zh) * | 2021-11-11 | 2022-01-18 | 石家庄学院 | 三维人脸数据预处理方法及设备 |
| CN113947799B (zh) * | 2021-11-11 | 2023-03-14 | 石家庄学院 | 三维人脸数据预处理方法及设备 |
| CN114373056A (zh) * | 2021-12-17 | 2022-04-19 | 云南联合视觉科技有限公司 | 一种三维重建方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107729806A (zh) | 基于三维人脸重建的单视图多姿态人脸识别方法 | |
| CN107154023B (zh) | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 | |
| CN102592136B (zh) | 基于几何图像中中频信息的三维人脸识别方法 | |
| CN106327532A (zh) | 一种单幅图像的三维配准方法 | |
| CN106651926A (zh) | 一种基于区域配准的深度点云三维重建方法 | |
| CN110348330A (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| CN107092859A (zh) | 一种三维模型的深度特征提取方法 | |
| CN107093205A (zh) | 一种基于无人机图像的三维空间建筑物窗户检测重建方法 | |
| CN102999942A (zh) | 三维人脸重建方法 | |
| CN111368673A (zh) | 一种基于神经网络的人体关键点快速提取方法 | |
| CN109658444A (zh) | 一种基于多模态特征的规则三维彩色点云配准方法 | |
| CN111612906B (zh) | 一种三维地质模型的生成方法、系统及计算机存储介质 | |
| CN111583408B (zh) | 基于手绘草图的人体三维建模系统 | |
| CN110223370A (zh) | 一种从单视点图片生成完整人体纹理贴图的方法 | |
| CN103093498A (zh) | 一种基于平面三角网格模板的三维人脸自动标准化方法 | |
| CN102930602A (zh) | 一种基于断层图像的面皮三维表面模型重建方法 | |
| CN108665530A (zh) | 基于单张图片的三维建模实现方法 | |
| CN110176079A (zh) | 一种基于准共形映射的三维模型变形算法 | |
| CN110379003A (zh) | 基于单张图像的三维头部重建方法 | |
| Yuan et al. | Interactive nerf geometry editing with shape priors | |
| CN102592309B (zh) | 一种非线性三维人脸的建模方法 | |
| CN113822825A (zh) | 基于3d-r2n2的光学建筑目标三维重建方法 | |
| CN104599325B (zh) | 一种三维人脸重采样方法 | |
| CN101996415A (zh) | 眼球的三维建模方法 | |
| Li et al. | Saliency guided subdivision for single-view mesh reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180223 |
|
| RJ01 | Rejection of invention patent application after publication |