CN106067190B - 一种基于单幅图像的快速人脸三维模型生成和变换方法 - Google Patents

一种基于单幅图像的快速人脸三维模型生成和变换方法 Download PDF

Info

Publication number
CN106067190B
CN106067190B CN201610370462.1A CN201610370462A CN106067190B CN 106067190 B CN106067190 B CN 106067190B CN 201610370462 A CN201610370462 A CN 201610370462A CN 106067190 B CN106067190 B CN 106067190B
Authority
CN
China
Prior art keywords
dimensional
face
default
vertex
threedimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610370462.1A
Other languages
English (en)
Other versions
CN106067190A (zh
Inventor
俞怡斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610370462.1A priority Critical patent/CN106067190B/zh
Publication of CN106067190A publication Critical patent/CN106067190A/zh
Application granted granted Critical
Publication of CN106067190B publication Critical patent/CN106067190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于单幅图像的快速人脸三维模型生成和变换方法，该方法只用单幅正面人脸图像就能实时生成三维人脸模型，从而使该三维模型可以用于实时人机交互的应用中，比如多角度人脸识别，3D打印和变脸。在此基础上本发明还实现了人脸和其它面孔之间的实时变换。本发明操作简单、生成速度快又具有足够精度。

Description

一种基于单幅图像的快速人脸三维模型生成和变换方法
技术领域
本发明涉及人脸三维模型生成和变换方法，特别地，涉及基于人脸图像实时生成三维人脸模型，以及人脸模型和其它三维待处理模型之间的变换方法。
背景技术
三维建模具有广泛的使用范围和极高的实用价值。它是正在蓬勃发展的虚拟现实，3D打印等计算机领域的基础性技术。它也同时在图像识别中起到有效的增进作用。比如对同一个物体的多角度照片的识别和关联。有了三维模型就可以进行同一个人不同角度照片的比对，从而识别不同的照片中出现的是否是同一个人。
现有的根据三维照片建模的常用方法都需要多个特定角度多幅照片，所使用的多个照相机位置之间的相互关系是需要矫正的。这个门槛就将普通用户排除在外，而只能被专业用户所用。而且现有的三维建模方法需要的时间会长达几分钟，这样的等待是交互式应用所无法接受的，因为已经习惯于网络实时交互的用户不可能等那么久。而现有的基于单幅照片进行三维建模的方法精度太差，获得的人脸模型只有面部特征的轮廓线比较精确，其余位置缺乏细节，所以根本没有实用价值。
发明内容
本发明的目的是克服现有技术的不足，提供一种基于单幅图像的快速人脸三维模型生成和变换方法，本发明操作简单、生成速度快又具有足够精度。
本发明的目的是通过以下技术方案来实现的：一种基于单幅图像的快速人脸三维模型生成方法，包括如下步骤：
(1)输入正面人脸图像。
(2)输入图像面部特征的提取：所提取的面部特征包括面部轮廓线上的点，以及双眼、鼻子，嘴唇轮廓线上的点。
(3)输入图像面部特征的微调：首先取双眼的外侧眼角之间连线的中点，把通过这个中点且与连线垂直的直线作为面部中线；根据该中线对鼻子上面的特征点以及面部轮廓线上的特征点进行微调，使他们对于该面部中线是对称的。同样将嘴唇的中点调整至面部中线上。
(4)输入图像面部特征和默认三维人脸模型的全局对准处理：取默认三维人脸模型的二维XY坐标，和输入图像面部特征做二维的全局对准。
(5)通过对默认三维人脸模型的多层二维自由变形进行局部对准：经过步骤4把默认三维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过对默认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动。
(6)变形后默认三维人脸模型深度值的矫正：将输入图像上所有面部像素的颜色和检测到的所有特征点的位置变换成两套主元素系数。串联这两套主元素系数。预先通过一个数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。最后将所有顶点的深度差加至步骤5处理后的默认三维人脸模型的深度，得到步骤1输入正面人脸图像的三维模型。
一种基于单幅图像的快速人脸三维模型变换方法，包括如下步骤：
(1)输入正面人脸图像。
(2)输入图像面部特征的提取：所提取的面部特征包括面部轮廓线上的点，以及双眼、鼻子，嘴唇轮廓线上的点。
(3)输入图像面部特征的微调：首先取双眼的外侧眼角之间连线的中点，把通过这个中点且与连线垂直的直线作为面部中线；根据该中线对鼻子上面的特征点以及面部轮廓线上的特征点进行微调，使他们对于该面部中线是对称的。同样将嘴唇的中点调整至面部中线上。
(4)输入图像面部特征和默认三维人脸模型的全局对准处理：取默认三维人脸模型的二维XY坐标，和输入图像面部特征做二维的全局对准。
(5)通过对默认三维人脸模型的多层二维自由变形进行局部对准：经过步骤4把默认三维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过对默认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动。
(6)变形后默认三维人脸模型深度值的矫正：将输入图像上所有面部像素的颜色和检测到的所有特征点的位置变换成两套主元素系数。串联这两套主元素系数。预先通过一个数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。最后将所有顶点的深度差加至步骤5处理后的默认三维人脸模型的深度，得到步骤1输入正面人脸图像的三维模型。
(7)输入待变换的三维模型。
(8)待变换的三维模型与默认三维人脸模型的全局对准处理。
(9)待变换的三维模型与默认三维人脸模型的点对点密集对应关系的获取。
(10)计算待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数。
(11)待变换的三维模型的比例调整。
(12)：根据步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系和步骤10中得到的待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数，对步骤11调整后待变换的三维模型和步骤6获得的输入正面人脸图像的三维模型进行混合，得到的混合模型上的顶点由如下计算得到：
v*(i)＝(w(i)-w(i)2)vF(i)+w(i)2vD(LUT[i])+(1-w(i))vT(i)，
其中，vF(i)为vF的第i个顶点，vT(i)为vT的第i个顶点，vD为步骤6获得的输入正面人脸图像的三维模型上的顶点，LUT是步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系，LUT[i]为待变换的三维模型第i个顶点所对应的默认三维人脸模型上的顶点的标号。
(13)对变形后得到的混合模型进行纹理映射。
本发明的有益效果是，本发明提供一种操作简单、生成速度快又具有足够精度的基于单幅图像的三维人脸建模方法，在此基础上实现了人脸和其它面孔之间的实时变脸。本发明特别适用于需要实时反应的人机交互式应用。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图详细描述本发明，本发明的目的和效果将变得更加明显。
如图1所示，本发明基于单幅图像的快速人脸三维模型生成方法，包括如下步骤：
步骤1：输入正面人脸图像。
步骤2：输入图像面部特征的提取
采用Xudong Cao,Yichen Wei,Fang Wen and Jian Sun,“Face AlignmentbyExplicit Shape Regression,”International Journal of Computer Vision论文中阐述的方法提取输入图像的面部特征。所述面部特征包括面部轮廓线上的点，以及双眼，鼻子，嘴唇轮廓线上的点。
步骤3：输入图像面部特征的微调
因为输入图像通常不是绝对的正面照，导致检测到的面部特征的位置存在不对称性，为弥补这个偏差，需要对检测到的面部特征进行微调。
首先取双眼的外侧眼角之间连线的中点，把通过这个中点且与连线垂直的直线作为面部中线。根据该中线对鼻子上面的特征点以及面部轮廓线上的特征点进行微调，使他们对于该面部中线是对称的。同样将上嘴唇的中点调整至面部中线上。
步骤4：输入图像微调过的面部特征和默认三维人脸模型的全局对准处理
所述默认三维人脸模型指的是一个具有平均脸型的固定的三维网格人脸模型。取默认三维人脸模型上的特征点的二维XY坐标，通过计算一个包括二维旋转、二维平移的全局变换矩阵T2D，将默认三维人脸模型上的特征点的二维XY坐标和输入图像的微调过的面部特征做二维的全局对准。
矩阵形式如下：
该矩阵是通过解以下的优化问题得到的：
其中，T2D是全局变换矩阵，r0、r1、tx和ty是全局变换矩阵T2D的元素，且r0、r1表示二维旋转，tx和ty表示二维平移；pf(i)＝[xf(i) yf(i) 1]T为第i个面部特征点的二维齐次坐标，xf(i)和yf(i)为二维齐次坐标的横坐标和纵坐标；vG(i)是默认三维人脸模型上第i个特征点的XY坐标，G表示默认三维人脸模型，f表示输入图像的面部特征点。
步骤5：通过默认三维人脸模型的多层二维自由变形进行局部对准
经过步骤4把默认三维人脸模型的特征点的二维XY坐标全局对准到输入图像的微调过的面部特征点后，通过对默认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动。上述二维XY坐标的多层自由变形可以采用Seung-Yong Lee,Kyung-Yong Chwa andSung Yong Shin,“Image metamorphosis using snakes and free-form deformations,”Proceeding of ACM SIGGRAPH 1995论文中阐述的方法来处理。
步骤6：变形后默认三维人脸模型深度值的矫正
将输入图像上所有面部像素的颜色和提取的所有面部特征点的位置变换成两套主元素系数。串联这两套主元素系数。预先通过一个数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。最后将所有顶点的深度差加至步骤5处理后的默认三维人脸模型的深度，得到步骤1输入正面人脸图像的三维模型。
所述非线性回归模型是由人脸数据库训练得到的，其训练过程如下：
6.1、对数据库中每幅图像上所有面部特征点的位置进行主元素分析(PCA)，得到一个图像面部特征点位置的主元素降维模型PCAf以及数据库中每幅图像上所有面部特征点的位置的主元素系数。同时对数据库中每幅图像上所有面部像素的颜色进行主元素分析，得到一个图像面部像素颜色的主元素降维模型PCAI以及数据库中每幅图像上所有面部像素的颜色的主元素系数。
6.2、计算数据库中每个三维人脸模型和默认三维人脸模型之间所有顶点的深度差，并对该深度差也进行主元素分析，得到一个面部顶点深度差的主元素降维模型PCAZ以及数据库中每个三维人脸模型所有顶点的深度差的主元素系数。
6.3、把步骤6.1中计算得到的数据库中每幅图像的两套主元素系数串联作为一个四层人工神经网络的输入，把步骤6.2中计算得到的数据库中每个三维人脸模型所有顶点深度差的主元素系数作为人工神经网络的预期的输出，用随机梯度下降法对神经网络内部的权重进行优化。由此得到的人工神经网络就是我们所需要的非线性回归模型。
所述“将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。”的过程具体如下所述：
定义Cf为输入图像上所有面部特征点的位置Vf的主元素系数，CI为输入图像上所有面部像素的颜色VI的主元素系数。那么：
Cf＝PCAf(Vf)，
CI＝PCAI(VI)，
其中，I表示输入图像上的面部像素，PCAf(Vf)表示用图像面部特征点位置的主元素降维模型对Vf做主元素投影，PCAf表示图像面部特征点位置的主元素降维模型，PCAI(VI)表示用图像面部像素颜色的主元素降维模型对VI做主元素投影，PCAI表示图像面部像素颜色的主元素降维模型。
定义CZ为输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差ΔZ的主元素系数。那么：
CZ＝PCAZ(ΔZ)，
其中，Z表示输入正面人脸图像的三维模型的顶点深度，PCAZ(ΔZ)表示用面部顶点深度差的主元素降维模型对ΔZ做主元素投影，PCAZ表示面部顶点深度差的主元素降维模型。
输入正面人脸图像的三维模型的所有顶点的深度值是由以下公式计算得出：
其中，为CZ的估计值，为Z的估计值，R(Cf,CI)表示把非线性回归模型用到Cf和CI的串联上，表示用从数据库学习得到的面部顶点深度差的主元素降维模型重建输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差，表示默认三维人脸模型的顶点深度。
如图1所示，本发明基于单幅图像的快速人脸三维模型变换方法，包括如下步骤：
步骤1-6与基于单幅图像的快速人脸三维模型生成方法的步骤1-6一致。
步骤7：输入待变换的三维模型。
步骤8：待变换的三维模型与默认三维人脸模型的全局对准处理
首先将待变换的三维模型和默认三维人脸模型的均值位置移到坐标系的原点。通过计算一个包括三维旋转、三维平移和各向异性缩放的全局变换矩阵T3D，对待变换的三维模型和默认三维人脸模型进行全局对准处理。
全局变换矩阵T3D的定义如下：
计算该矩阵需要解以下这个优化问题：
其中，sx、sy、sz、rx、ry、rz、tx、ty、tz为全局变换矩阵T3D的元素，sx、sy、sz表示各向异性缩放、rx、ry、rz表示三维旋转、tx、ty、tz表示三维平移。vA(i)表示待变换的三维模型上第i个特征点的三维齐次坐标；vG(i)表示默认三维人脸模型上第i个特征点的三维齐次坐标，A表示待变换的三维模型的特征点。
步骤9：待变换的三维模型与默认三维人脸模型的点对点密集对应关系的获取
待变换的三维模型和默认三维人脸模型之间点对点密集对应关系可以采用Robert W.Sumner and Jovan Popovic,“Deformation transfer for triangle meshes,”Proceeding of ACM SIGGRAPH 2004这篇论文中的算法来获取。
步骤10：计算待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数。
该加权系数的计算属于一次性预处理。所有顶点的加权系数w＝[w(1),…,w(n)]是通过解以下优化问题得到的：
minwE(w)＝minw(EC(w)+αES(w)+βEO(w))，
其中，EC(w)表示特征点约束的满足程度，定义如下：
EC(w)＝∑i∈H||w(i)-w0(i)||2，
C表示特征点约束，w(i)表示w的第i个元素，w0(i)是待变换的三维模型的特征点集H里第i个顶点的初始权重；
ES(w)表示待变换的三维模型的相邻顶点之间加权系数的光滑程度，定义为：
ES(w)＝∑j∈adj(i)||w(i)-w(j)||2，
其中，adj(i)代表待变换的三维模型上与第i个顶点相邻的顶点集合，w(j)表示待变换的三维模型上与第i个顶点相邻的第j个顶点的加权系数；S表示光滑性约束。
EO(w)代表零权重能量，它使得在待变换的三维模型的非特征点顶点处的权重接近于零，EO(w)定义如下：
其中，O表示零权重约束。
步骤11：待变换的三维模型的比例调整
比例调整是为了让待变换的三维模型尽量接近步骤6获得的输入正面人脸图像的三维模型的大小。为了得到更高质量的混合模型，需要对之根据不同比例进行二次放缩。其中第一个放缩比例参考步骤6获得的输入正面人脸图像的三维模型的面部轮廓线的大小，其具体定义如下：在输入正面人脸图像的三维模型的面部轮廓线上选取位于左右耳附近的两个端点和位于下颚处的中点，这三个顶点形成一个三角形，在待变换的三维模型的面部轮廓线上以同样方式形成一个三角形，这两个三角形的平均边长之间的比例即为所述第一个放缩比例。缩放后待变换的三维模型上的顶点标记为vT，其中，T表示面部轮廓线。第二个放缩比例参考步骤6获得的输入正面人脸图像的三维模型的面部除轮廓线以外的特征点之间的距离，其具体定义如下：在输入正面人脸图像的三维模型上取双眼的外侧眼角和上嘴唇的中点，这三个特征点形成一个三角形，在待变换的三维模型上以同样方式形成一个三角形，这两个三角形的平均边长之间的比例即为所述第二个放缩比例。缩放后待变换的三维模型上的顶点标记为vF，其中，F表示面部除轮廓线以外的特征点。
步骤12：从步骤11调整后待变换的三维模型到步骤6获得的输入正面人脸图像的三维模型的变形
变形的结果是二者之间的一个混合模型。根据步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系和步骤10中得到的待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数，对步骤11调整后待变换的三维模型和步骤6获得的输入正面人脸图像的三维模型进行混合，得到的混合模型上的顶点由如下计算得到：
v*(i)＝(w(i)-w(i)2)vF(i)+w(i)2vD(LUT[i])+(1-w(i))vT(i)，
其中，vF(i)为vF的第i个顶点，vT(i)为vT的第i个顶点，vD为步骤6获得的输入正面人脸图像的三维模型上的顶点，LUT是步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系，LUT[i]为待变换的三维模型第i个顶点所对应的默认三维人脸模型上的顶点的标号。
步骤13：变形后得到的混合模型的纹理映射
这一步从输入的正面人脸图像得到纹理。因为图片是正面人像，用正交投影作为近似把步骤6获得的输入正面人脸图像的三维模型上的顶点反向投影到输入的正面人脸图像上得到相应的纹理坐标。

Claims (7)

1.一种基于单幅图像的快速人脸三维模型生成方法，其特征在于，包括如下步骤：
(1)输入正面人脸图像；
(2)输入图像面部特征的提取：所提取的面部特征包括面部轮廓线上的点，以及双眼、鼻子，嘴唇轮廓线上的点；
(3)输入图像面部特征的微调：首先取双眼的外侧眼角之间连线的中点，把通过这个中点且与连线垂直的直线作为面部中线；根据该中线对鼻子上面的特征点以及面部轮廓线上的特征点进行微调，使他们对于该面部中线是对称的；同样将嘴唇的中点调整至面部中线上；
(4)输入图像面部特征和默认三维人脸模型的全局对准处理：取默认三维人脸模型的二维XY坐标，和输入图像面部特征做二维的全局对准；
(5)通过对默认三维人脸模型的多层二维自由变形进行局部对准：经过步骤(4)把默认三维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过对默认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动；
(6)变形后默认三维人脸模型深度值的矫正：将输入图像上所有面部像素的颜色和检测到的所有特征点的位置变换成两套主元素系数；串联这两套主元素系数；预先通过一个数据库学习得到一个基于人工神经网络的非线性回归模型；将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差；最后将所有顶点的深度差加至步骤(5)处理后的默认三维人脸模型的深度，得到步骤(1)输入正面人脸图像的三维模型；
所述非线性回归模型是由人脸数据库训练得到的，其训练过程如下：
(6.1)、对数据库中每幅图像上所有面部特征点的位置进行主元素分析PCA，得到一个图像面部特征点位置的主元素降维模型PCAf以及数据库中每幅图像上所有面部特征点的位置的主元素系数；同时对数据库中每幅图像上所有面部像素的颜色进行主元素分析，得到一个图像面部像素颜色的主元素降维模型PCAI以及数据库中每幅图像上所有面部像素的颜色的主元素系数；
(6.2)、计算数据库中每个三维人脸模型和默认三维人脸模型之间所有顶点的深度差，并对该深度差也进行主元素分析，得到一个面部顶点深度差的主元素降维模型PCAZ以及数据库中每个三维人脸模型所有顶点的深度差的主元素系数；
(6.3)、把步骤(6.1)中计算得到的数据库中每幅图像的两套主元素系数串联作为一个四层人工神经网络的输入，把步骤(6.2)中计算得到的数据库中每个三维人脸模型所有顶点深度差的主元素系数作为人工神经网络的预期的输出，用随机梯度下降法对神经网络内部的权重进行优化，由此得到的人工神经网络就是所需要的非线性回归模型。
2.根据权利要求1所述基于单幅图像的快速人脸三维模型生成方法，其特征在于，所述步骤(4)中，所述默认三维人脸模型指的是一个具有平均脸型的固定的三维网格人脸模型；取默认三维人脸模型上的特征点的二维XY坐标，通过计算一个包括二维旋转、二维平移的全局变换矩阵T2D，将默认三维人脸模型上的特征点的二维XY坐标和输入图像的微调过的面部特征做二维的全局对准；
矩阵形式如下：
该矩阵是通过解以下的优化问题得到的：
其中，T2D是全局变换矩阵，r0、r1、tx和ty是全局变换矩阵T2D的元素，且r0、r1表示二维旋转，tx和ty表示二维平移；pf(i)＝[xf(i) yf(i) 1]T为第i个面部特征点的二维齐次坐标，xf(i)和yf(i)为二维齐次坐标的横坐标和纵坐标；vG(i)是默认三维人脸模型上第i个特征点的XY坐标，G表示默认三维人脸模型，f表示输入图像的面部特征点。
3.根据权利要求1所述基于单幅图像的快速人脸三维模型生成方法，其特征在于，所述步骤(6)中，所述“将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差”的过程具体如下所述：
定义Cf为输入图像上所有面部特征点的位置Vf的主元素系数，CI为输入图像上所有面部像素的颜色VI的主元素系数，那么：
Cf＝PCAf(Vf)，
CI＝PCAI(VI)，
其中，I表示输入图像上的面部像素，PCAf(Vf)表示用图像面部特征点位置的主元素降维模型对Vf做主元素投影，PCAf表示图像面部特征点位置的主元素降维模型，PCAI(VI)表示用图像面部像素颜色的主元素降维模型对VI做主元素投影，PCAI表示图像面部像素颜色的主元素降维模型；
定义CZ为输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差ΔZ的主元素系数，那么：
CZ＝PCAZ(ΔZ)，
其中，Z表示输入正面人脸图像的三维模型的顶点深度，PCAZ(ΔZ)表示用面部顶点深度差的主元素降维模型对ΔZ做主元素投影，PCAZ表示面部顶点深度差的主元素降维模型；输入正面人脸图像的三维模型的所有顶点的深度值是由以下公式计算得出：
其中，为CZ的估计值，为Z的估计值，R(Cf,CI)表示把非线性回归模型用到Cf和CI的串联上，表示用从数据库学习得到的面部顶点深度差的主元素降维模型重建输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差，表示默认三维人脸模型的顶点深度。
4.一种基于单幅图像的快速人脸三维模型变换方法，其特征在于，包括如下步骤：
(1)输入正面人脸图像；
(2)输入图像面部特征的提取：所提取的面部特征包括面部轮廓线上的点，以及双眼、鼻子，嘴唇轮廓线上的点；
(3)输入图像面部特征的微调：首先取双眼的外侧眼角之间连线的中点，把通过这个中点且与连线垂直的直线作为面部中线；根据该中线对鼻子上面的特征点以及面部轮廓线上的特征点进行微调，使他们对于该面部中线是对称的，同样将嘴唇的中点调整至面部中线上；
(4)输入图像面部特征和默认三维人脸模型的全局对准处理：取默认三维人脸模型的二维XY坐标，和输入图像面部特征做二维的全局对准；
(5)通过对默认三维人脸模型的多层二维自由变形进行局部对准：经过步骤(4)把默认三维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过对默认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动；
(6)变形后默认三维人脸模型深度值的矫正：将输入图像上所有面部像素的颜色和检测到的所有特征点的位置变换成两套主元素系数；串联这两套主元素系数；预先通过一个数据库学习得到一个基于人工神经网络的非线性回归模型；将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数重建所有顶点的深度差；最后将所有顶点的深度差加至步骤(5)处理后的默认三维人脸模型的深度，得到步骤(1)输入正面人脸图像的三维模型；
(7)输入待变换的三维模型；
(8)待变换的三维模型与默认三维人脸模型的全局对准处理；
(9)待变换的三维模型与默认三维人脸模型的点对点密集对应关系的获取；
(10)计算待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数；
(11)待变换的三维模型的比例调整；
(12)：根据步骤(9)得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系和步骤(10)中得到的待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数，对步骤(11)调整后待变换的三维模型和步骤(6)获得的输入正面人脸图像的三维模型进行混合，得到的混合模型上的顶点由如下计算得到：
v*(i)＝(w(i)-w(i)2)vF(i)+w(i)2vD(LUT[i])+(1-w(i))vT(i)，
其中，vF(i)为vF的第i个顶点，vT(i)为vT的第i个顶点，vD为步骤(6)获得的输入正面人脸图像的三维模型上的顶点，LUT是步骤(9)得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系，LUT[i]为待变换的三维模型第i个顶点所对应的默认三维人脸模型上的顶点的标号；
(13)对变形后得到的混合模型进行纹理映射。
5.根据权利要求4所述基于单幅图像的快速人脸三维模型变换方法，其特征在于，所述步骤(8)具体为：首先将待变换的三维模型和默认三维人脸模型的均值位置移到坐标系的原点；通过计算一个包括三维旋转、三维平移和各向异性缩放的全局变换矩阵T3D，对待变换的三维模型和默认三维人脸模型进行全局对准处理；
全局变换矩阵T3D的定义如下：
计算该矩阵需要解以下这个优化问题：
其中，sx、sy、sz、rx、ry、rz、tx、ty、tz为全局变换矩阵T3D的元素，sx、sy、sz表示各向异性缩放、rx、ry、rz表示三维旋转、tx、ty、tz表示三维平移；vA(i)表示待变换的三维模型上第i个特征点的三维齐次坐标；vG(i)表示默认三维人脸模型上第i个特征点的三维齐次坐标，A表示待变换的三维模型的特征点。
6.根据权利要求4所述基于单幅图像的快速人脸三维模型变换方法，其特征在于，所述步骤(10)具体为：
所有顶点的加权系数w＝[w(1),...,w(n)]是通过解以下优化问题得到的：
minwE(w)＝minw(EC(w)+αES(w)+βEO(w))，
其中，EC(w)表示特征点约束的满足程度，定义如下：
EC(w)＝∑i∈H||w(i)-w0(i)||2，
C表示特征点约束，w(i)表示w的第i个元素，w0(i)是待变换的三维模型的特征点集H里第i个顶点的初始权重；
ES(w)表示待变换的三维模型的相邻顶点之间加权系数的光滑程度，定义为：
ES(w)＝∑j∈adj(i)||w(i)-w(j)||2，
其中，adj(i)代表待变换的三维模型上与第i个顶点相邻的顶点集合，w(j)表示待变换的三维模型上与第i个顶点相邻的第j个顶点的加权系数；S表示光滑性约束；
EO(w)代表零权重能量，它使得在待变换的三维模型的非特征点顶点处的权重接近于零，EO(w)定义如下：
其中，O表示零权重约束。
7.根据权利要求4所述基于单幅图像的快速人脸三维模型变换方法，其特征在于，所述步骤(11)中，所述比例调整通过二次缩放来实现，其中，第一个放缩比例参考步骤(6)获得的输入正面人脸图像的三维模型的面部轮廓线的大小，其具体定义如下：在输入正面人脸图像的三维模型的面部轮廓线上选取位于左右耳附近的两个端点和位于下颚处的中点，这三个顶点形成一个三角形，在待变换的三维模型的面部轮廓线上以同样方式形成一个三角形，这两个三角形的平均边长之间的比例即为所述第一个放缩比例，缩放后待变换的三维模型上的顶点标记为vT，T表示面部轮廓线；第二个放缩比例参考步骤(6)获得的输入正面人脸图像的三维模型的面部除轮廓线以外的特征点之间的距离，其具体定义如下：在输入正面人脸图像的三维模型上取双眼的外侧眼角和上嘴唇的中点，这三个特征点形成一个三角形，在待变换的三维模型上以同样方式形成一个三角形，这两个三角形的平均边长之间的比例即为所述第二个放缩比例，缩放后待变换的三维模型上的顶点标记为vF，F表示面部除轮廓线以外的特征点。
CN201610370462.1A 2016-05-27 2016-05-27 一种基于单幅图像的快速人脸三维模型生成和变换方法 Active CN106067190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610370462.1A CN106067190B (zh) 2016-05-27 2016-05-27 一种基于单幅图像的快速人脸三维模型生成和变换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610370462.1A CN106067190B (zh) 2016-05-27 2016-05-27 一种基于单幅图像的快速人脸三维模型生成和变换方法

Publications (2)

Publication Number Publication Date
CN106067190A CN106067190A (zh) 2016-11-02
CN106067190B true CN106067190B (zh) 2019-04-30

Family

ID=57421387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610370462.1A Active CN106067190B (zh) 2016-05-27 2016-05-27 一种基于单幅图像的快速人脸三维模型生成和变换方法

Country Status (1)

Country Link
CN (1) CN106067190B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683182B (zh) * 2017-01-12 2019-09-20 南京大学 一种权衡立体匹配和视觉外形的三维重建方法
CN106910247B (zh) * 2017-03-20 2020-10-02 厦门黑镜科技有限公司 用于生成三维头像模型的方法和装置
CN108734057A (zh) * 2017-04-18 2018-11-02 北京旷视科技有限公司 活体检测的方法、装置及计算机存储介质
CN108932459B (zh) * 2017-05-26 2021-12-10 富士通株式会社 脸部识别模型训练方法和装置及脸部识别方法
CN109389682A (zh) * 2017-08-09 2019-02-26 上海影子智能科技有限公司 一种三维人脸模型自动调整方法
CN107895145A (zh) * 2017-10-31 2018-04-10 南京信息工程大学 基于卷积神经网络结合超高斯去噪估测手指受力的方法
CN108537199A (zh) * 2018-04-18 2018-09-14 西安第六镜网络科技有限公司 基于3d重建的人脸图像矫正增益装置及方法
CN108665555A (zh) * 2018-05-15 2018-10-16 华中师范大学 一种融入真实人物形象的孤独症干预系统
CN108921795A (zh) * 2018-06-04 2018-11-30 腾讯科技（深圳）有限公司 一种图像融合方法、装置及存储介质
CN108921926B (zh) * 2018-07-02 2020-10-09 云从科技集团股份有限公司 一种基于单张图像的端到端三维人脸重建方法
WO2020037676A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 三维人脸图像生成方法、装置及电子设备
WO2020037680A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 基于光线的三维人脸优化方法、装置及电子设备
CN109409274B (zh) * 2018-10-18 2020-09-04 四川云从天府人工智能科技有限公司 一种基于人脸三维重建和人脸对齐的人脸图像变换方法
CN110533777B (zh) * 2019-08-01 2020-09-15 北京达佳互联信息技术有限公司 三维人脸图像修正方法、装置、电子设备和存储介质
CN110569768B (zh) * 2019-08-29 2022-09-02 四川大学 人脸模型的构建方法、人脸识别方法、装置及设备
CN110751665B (zh) * 2019-10-23 2021-06-01 齐鲁工业大学 一种由人像浮雕重建3d人像模型的方法及系统
CN111047538B (zh) * 2019-12-27 2023-05-09 三星电子（中国）研发中心 一种人脸照片的修复方法
CN111881744A (zh) * 2020-06-23 2020-11-03 安徽清新互联信息科技有限公司 一种基于空间位置信息的人脸特征点定位方法及系统
CN112802198A (zh) * 2020-12-25 2021-05-14 佛山欧神诺云商科技有限公司 二维图像立体交互设计方法、终端以及存储装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818977A (zh) * 2006-03-16 2006-08-16 上海交通大学 由一幅正面图像实现快速人脸模型重建的方法
CN101739719A (zh) * 2009-12-24 2010-06-16 四川大学 二维正面人脸图像的三维网格化方法
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339900B1 (ko) * 2012-03-09 2014-01-08 한국과학기술연구원 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818977A (zh) * 2006-03-16 2006-08-16 上海交通大学 由一幅正面图像实现快速人脸模型重建的方法
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
CN101739719A (zh) * 2009-12-24 2010-06-16 四川大学 二维正面人脸图像的三维网格化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Morphable Model For The Synthesis Of 3D Faces;Volker Blanz 等;《SIGGRAPH 99》;19991231;第187-194页
基于单张照片的三维人脸重建优化算法;熊平，卢烨;《计算机应用》;20130801;第33卷(第8期);第2359-2361页
面部表情自动分类的方法与系统研究;章品正;《中国博士学位论文全文数据库信息科技辑》;20070115(第1期);第I138-9页

Also Published As

Publication number Publication date
CN106067190A (zh) 2016-11-02

Similar Documents

Publication Publication Date Title
CN106067190B (zh) 一种基于单幅图像的快速人脸三维模型生成和变换方法
CN109035388B (zh) 三维人脸模型重建方法及装置
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN109978930A (zh) 一种基于单幅图像的风格化人脸三维模型自动生成方法
CN101739719B (zh) 二维正面人脸图像的三维网格化方法
CN107408315A (zh) 用于实时、物理准确且逼真的眼镜试戴的流程和方法
CN107358648A (zh) 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN102222363A (zh) 从人脸图像快速构建高精度个性化人脸模型的方法
CN108564619B (zh) 一种基于两张照片的真实感三维人脸重建方法
CN106780713A (zh) 一种基于单幅照片的三维人脸建模方法及系统
CN103745209B (zh) 一种人脸识别方法及系统
CN106447763A (zh) 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法
CN114842136A (zh) 一种基于可微分渲染器的单图三维人脸重建方法
CN107358645A (zh) 产品三维模型重建方法及其系统
CN100487732C (zh) 一种基于人脸照片的卡通肖像生成方法
Hong et al. A 3D model-based approach for fitting masks to faces in the wild
CN107564097A (zh) 一种基于正面图像的遗容三维重建方法
CN111127642A (zh) 一种人脸三维重建方法
CN108022308A (zh) 一种基于三维人脸模型拟合的面部对齐方法
Shui et al. 3D craniofacial reconstruction using reference skull-face database
Mena-Chalco et al. 3D human face reconstruction using principal components spaces
CN111611997B (zh) 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN113468923B (zh) 基于细粒度多模态共同表征的人-物体交互行为检测方法
Ng et al. Surface-from-gradients with incomplete data for single view modeling
CN113379890A (zh) 一种基于单张照片的人物浅浮雕模型生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant