CN109685873B - 一种人脸重建方法、装置、设备和存储介质 - Google Patents

一种人脸重建方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109685873B
CN109685873B CN201811536103.4A CN201811536103A CN109685873B CN 109685873 B CN109685873 B CN 109685873B CN 201811536103 A CN201811536103 A CN 201811536103A CN 109685873 B CN109685873 B CN 109685873B
Authority
CN
China
Prior art keywords
principal component
component analysis
face
coefficient
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811536103.4A
Other languages
English (en)
Other versions
CN109685873A (zh
Inventor
刘更代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baiguoyuan Information Technology Co Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201811536103.4A priority Critical patent/CN109685873B/zh
Publication of CN109685873A publication Critical patent/CN109685873A/zh
Application granted granted Critical
Publication of CN109685873B publication Critical patent/CN109685873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种人脸重建方法、装置、设备和存储介质。该方法包括：对接收到的多帧人脸图像数据进行人脸关键点的提取；对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数；基于所述第二主成分分析系数构建目标三维人脸模型。通过该方法实现了基于数据驱动的方法，快速有效的将接收到的多帧人脸图像数据处理为三维人脸模型的有益效果。而且多幅图像的分别重建是可以并行计算的，因此本方法在多核CPU上更容易取得更快的速度。

Description

一种人脸重建方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种人脸重建方法、装置、设备和存储介质。
背景技术
人脸重建是三维重建的重要研究方向之一，在影视、游戏、三维人脸识别等领域有着广泛的应用前景，受到计算机图形学、计算机视觉、机器视觉、计算机辅助设计等领域研究者的重视。从数据采集的角度出发，三维人脸重建主要分为主动测距设备和被动成像设备。主动测距设备如激光扫描仪，能够扫描得到静态物体精确的三维信息，然而其价格昂贵、扫描时间长、扫描范围有限，很难用于实时性要求较高的应用；相对的，深度摄像机能够实时采集动态物体，然而其对应生成的深度图分辨率低、精度低、噪声大。被动成像设备使用最普遍的是摄像机，由于设备简单价格低廉，且目前已存在大量二维人脸图像。因此，通过图像创建逼真的三维人脸模型是亟待解决的问题。
但从图像创建逼真的三维人脸模型是一个非常困难的工作，目前的主流方法是使用三维可形变模型(3DMM)，从主成分分析(PCA)的参数空间根据图像提供的约束信息来建立三维人脸模型。为了得到逼真人脸，大多数方法采用了“合成-分析”的方法，通过“渲染-匹配”重建再渲染的循环来建模。但是这种方式是比较慢的，特别是在应用场景并不考虑人脸的细节，而是集中在中等尺度的面部几何形状的重建的情况下。现有技术无法在设备性能一般，同时时效要求高的情况下提供很好的三维人脸模型。尤其是在用于各类图像、视频中的人脸特效的使用场景中，现有技术不能满足用户对于时效和准确性的要求。
发明内容
本发明提供一种人脸重建方法、装置、设备和存储介质，以实现快速的得到准确的三维人脸模型。
第一方面，本发明实施例提供了一种人脸重建方法，包括：
对接收到的多帧人脸图像数据进行人脸关键点的提取；
对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；
根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数；
基于所述第二主成分分析系数构建目标三维人脸模型。
第二方面，本发明实施例还提供了一种人脸重建装置，包括：
关键点提取模块，用于对接收到的多帧人脸图像数据进行人脸关键点的提取；
第一系数获得模块，用于对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；
第二系数获取模块，用于根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数；
人脸模型构建模块，用于基于所述第二主成分分析系数构建目标三维人脸模型。
第三方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任一实施例所述的人脸重建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如任一实施例所述的一种人脸重建方法。
本发明通过首先对每一帧图分别重建人脸参数，然后再将所有图像放在一起做第二次优化，改进重建结果，解决了现有技术无法在设备性能一般，同时时效要求高的情况下提供很好的三维人脸模型的问题。本发明采用的方法是首先单图建模再多图优化，相比于现有技术中采用的先“合成-分析”再“渲染-匹配”最后重建再渲染的循环来建模，具有数据量小、速度快的优势。同时，单图建模是可以并行计算的，因此本方法在多核中央处理器(CPU)上可以取得更快的处理速度。
附图说明
图1为本发明实施例一提供的一种人脸重建方法的流程图；
图2A为本发明实施例二提供的一种人脸重建方法的流程图；
图2B为本发明实施例二提供的设置第一目标函数的第一点约束项的流程图；
图2C为本发明实施例二提供的设置第二目标函数的第二点约束项的流程图；
图3为本发明实施例三提供的一种人脸重建装置的结构图；
图4为本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种人脸重建方法的流程图。人脸表情动画技术多是数据驱动的，需要建立该面部的三维模型，三维模型可以大大增加表情动画的表现力。现阶段所有的人脸表情效果都离不开该三维模型。因此本实施例中的技术方案，可选的是适用于各类图像、视频中的人脸特效。可以理解的是，本方案也适用于其他应用场景中，只要存在通过对多帧人脸二维图像数据的处理，构建三维人脸模型的场景。该方法由一种人脸重建装置来执行，该装置可以由软件和/或软件的方式实现，通常配置于电子设备中，该电子设备需要具备能采集图像信息的摄像设备，以及能够支持本发明运算量的中央处理器。该电子设备可选的是手机、平板或者计算机设备。
参考图1，该方法包括：
S101、对接收到的多帧人脸图像数据进行人脸关键点的提取。
在具体实现中，对每帧人脸图像数据进行人脸关键点的提取，在每帧人脸图像数据上均获得预设个数的人脸关键点。人脸关键点是人脸图像数据中能够代表人脸特征的人脸关键点。其中，人脸图像数据的来源包括用户输入的同一个人的多帧图像，也包括从视频流中截取的同一个的人脸图像数据。
具体的，将多帧人脸图像输入至训练好的卷积神经网络，以提取每帧人脸图像数据上的人脸关键点。
可选的，可以从每帧人脸图像数据中均提取106个人脸关键点。
S102、对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数。
在具体实现中，可以通过主成分分析(PCA)模型来构建原始三维人脸模型。主成分分析可以理解为x＝m+p×α这样一个线性模型，x是重建后的三维人脸模型，m是主成分分析参考系数，p是主成分分析矩阵，α是主成分分析系数。所以主成分分析模型可以简单地描述为：一个人脸，是在平均大众脸的基础上进行改变，改变的方式以通过主成分分析系数α来描述。其中，主成分分析参考系数通常被设置为平均大众脸的数据。主成分分析矩阵通常被设置为缩放后的人脸关键点向量构成的矩阵。
其中，主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标(即主成分)，其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复。这种方法在引进多方面变量的同时将复杂因素归结为几个主成分，使问题简单化，同时得到的结果更加科学有效的数据信息。由此确定的系数为主成分分析系数。应当知道的是，第一主成分分析系数与后续提到的第二主成分分析系数实际上都是主成分分析系数，只是为了便于区别而取的不同名字。当然，后续的第一主成分分析参考系数和第二主成分分析参考系数实际上都是主成分分析参考系数。
人脸重建装置根据每帧人脸图像数据(尤其是部分人脸关键点)，将二维图像重建为三维人脸模型。当然，此时重建出来的原始三维人脸模型与真实的三维人脸并不一定一致，还需要在原始三维人脸模型的基础上进行修正，以使最终重建的目标三维人脸模型逼近于真实的三维人脸。
S103、根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数。
其中，第二主成分分析系数描述了在主成分分析参考系数的基础上进行改变的方式。
根据全部人脸关键点缩放后的向量以及定义每个第一主成分分析系数的权重的方式对第一主成分分析系数进行修正。
在具体实现中，第二主成分分析系数可以理解为多帧第一主成分分析系数构成的矩阵与第一主成分分析系数的加权平均权重的乘积。其中，加权平均权重的作用是对第一主成分分析系数进行修正。第一主成分分析系数可以通过步骤S102获得，是一个已知量，加权平均权重需要通过对整个函数的优化获得。即在此步骤后，加权平均权重也是一个已知量。
S104、基于所述第二主成分分析系数构建目标三维人脸模型。
在具体实现中，通过已有的多帧人脸关键点数据后，经过两次步骤可以获得加权平均权重。当有新的一帧人脸图像数据时，可以针对该人脸图像数据获取其人脸关键点，再与步骤S103获得的第二主成分分析系数进行计算，最终获得目标三维人脸模型。本发明实施例通过首先对每一帧图分别重建人脸参数，然后再将所有图像放在一起做第二次优化，改进重建结果，解决了现有技术无法在设备性能一般，同时时效要求高的情况下提供很好的三维人脸模型的问题。本发明采用的方法是首先单图建模再多图优化，相比于现有技术中采用的先“合成-分析”再“渲染-匹配”最后重建再渲染的循环来建模，具有数据量小、速度快的优势。同时，单图建模是可以并行计算的，因此本方法在多核中央处理器(CPU)上可以取得更快的处理速度。
实施例二
图2A为本发明实施例二提供的一种人脸重建方法的流程图。本实施例是在实施例一基础上进行的细化，主要是描述了获得第一主成分分析系数和获得第二主成分分析系数的具体方法。参考图2A，本实施例包括如下步骤：
S201、对接收到的多帧人脸图像数据进行人脸关键点的提取。
S202、基于部分所述人脸关键点与第一主成分分析系数设置第一目标函数的第一点约束项。
S203、基于所述第一主成分分析系数设置第一目标函数的第一正则化项。
在具体实现中，步骤S202与S203共同描述了如何构造第一目标函数。第一目标函数用于描述通过部分人脸特征点从每帧人脸图像数据分别建立原始三维人脸模型的过程。第一目标函数设置有第一点约束项和第一正则化项，通过对第一目标函数求解可以获得第一主成分分析系数。
第一点约束项为似然函数，第一点约束项建立了原始三维人脸模型在每帧人脸图像数据上的投影点与每帧人脸图像数据上的人脸关键点的距离关系。
设置第一目标函数的第一点约束项的步骤S202可以细化为如图2B的步骤，图2B为本发明实施例二提供的设置第一目标函数的第一点约束项的流程图，其中：
S2021、对第一主成分分析参考系数、缩放后的部分所述人脸关键点与第一主成分分析系数进行主成分分析运算，获得第一特征值。
通过第一主成分分析参考系数(m)、缩放后的部分人脸关键点(U)与第一主成分分析系数(x)可以表现三维空间里的任意一个点(m+Ux)，为了便于后续说明，将(m+Ux)定义为第一特征值。
在具体实现中，获取第一主成分分析参考系数(m)；对部分人脸关键点进行缩放(U)；计算缩放后的部分人脸关键点与第一主成分分析系数之间的第一乘积(Ux)；将第一主成分分析参考系数(m)与第一乘积(Ux)之间的和值设置为第一特征值(m+Ux)。
其中，第一主成分分析参考系数可以是通过对当前输入的多帧人脸图像数据进行计算获得，也可以是从数据库中提取预先存储的主成分分析参考系数。U需要在确定部分人脸关键点后运算获得。
S2022、将所述第一特征值投影到二维空间，获得第二特征值。
在具体实现中，将第一特征值(m+Ux)投影到二维空间，将投影后的结果记为第二特征值。函数Π(·)定义了空间变换和投影变换，因此可以将第二特征值记为Π(m+Ux)。
S2023、计算所述第二特征值与部分所述人脸关键点之间的第一距离。
在具体实现中，第二特征值Π(m+Ux)被投影到二维空间后，可能和部分人脸关键点重合，也可能相去甚远。用||Π(m+Ux)-p||2可以表示第二特征值与部分人脸关键点(p)之间的第一距离，第一距离越小表示第二特征值与部分人脸关键点的重合度越高。
S2024、采用所述第一距离设置第一目标函数的第一点约束项
在具体实现中，基于第一距离构建公式||Π(m+Ux)-p||2作为第一点约束项。
第一正则化项为先验函数，即要求第一主成分分析系数在被投射到的二维空间时，尽可能满足输入的人脸图像数据的原始分布。
在具体实现中，第一主成分分析系数(x)与常量(λ)的乘积是用来约束x尽量不要偏离训练数据，简单说，就是在第一主成分分析参考系数(m)的周围变动，不要引入太大的方差。因此可以通过λ||x||2表示第一正则化项。
S204、在所述第一点约束项与所述第一正则化项的约束下，对所述第一目标函数求解，获得所述第一主成分分析系数的值。
在具体实现中，第一目标函数用于表示原始三维人脸模型与接收到的人脸图像数据在二维平面上的点与点之间的差距。将点与点之间的差距最小，作为求解第一目标函数目标，获得第一主成分分析系数的值。
具体的，可以通过函数E(x)＝||Π(m+Ux)-p||2+λ||x||2表示第一目标函数，该函数可以定义为一个后验问题，即基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。将点与点之间的差距最小作为优化目标，对第一目标函数通过梯度下降法、最小二乘法等算法进行迭代求解，获得第一主成分分析系数的值。
由于一帧人脸图像数据就对应一个第一主成分分析系数，如果给定n帧人脸图像数据，则可以得到n组第一主成分分析系数xi，i＝1，...，n。
S205、组合所述多帧人脸图像对应的第一主成分分析系数并配置权重，作为第二主成分分析系数。
在具体实现中，基于n组第一主成分分析系数xi，构建矩阵(X)。将第一主成分分析系数xi作为矩阵的一列。设置一组未知向量(c)，该向量用于为矩阵配置权重。即第二主成分分析系数可以表示为Xc。在此步骤中，Xc为一个未知量。
S206、基于全部所述人脸关键点与第二主成分分析系数设置第二目标函数的第二点约束项。
S207、基于全部所述人脸关键点与所述第二主成分分析系数设置第二目标函数的第二点约束项。
在具体实现中，步骤S206与S207共同描述了如何构造第二目标函数。第二目标函数设置有第二点约束项和第二正则化项，通过对第一目标函数求解可以获得第一主成分分析系数。第二目标函数用于描述通过全部人脸特征点和计算得出的第一主成分分析系数建立目标三维人脸模型的过程。通过对第二目标函数求解可以获得为第一主成分分析系数阵配置权重的未知向量(c)
第二点约束项为似然函数，第二点约束项建立了目标三维人脸模型在每帧人脸图像数据上的投影点与每帧人脸图像数据上的人脸关键点之间的距离。
设置第二目标函数的第二点约束项的步骤S206可以细化为如图2C，图2C为本发明实施例二提供的设置第二目标函数的第二点约束项的流程图，其中：
S2061、对第一主成分分析参考系数、缩放后的全部所述人脸关键点与所述第二主成分分析系数进行主成分分析运算，获得第三特征值。
在具体实现中，通过第二主成分分析参考系数(m)、缩放后的部全部人脸关键点(U)与第二主成分分析系数(Xc)可以表现三维空间里的任意一个点(m+UXc)，为了便于后续说明，将(m+UXc)定义为第三特征值。
具体的，获取第二主成分分析参考系数(m)；对全部人脸关键点进行缩放(U)；计算缩放后的全部人脸关键点与第二主成分分析系数之间的第二乘积(UXc)；将所述第二主成分分析参考系数(m)与所述第二乘积(UXc)之间的和值设置为第三特征值(m+UXc)。
其中，第二主成分分析参考系数可以是通过对当前输入的多帧人脸图像数据进行计算获得，也可以是从数据库中提取预先存储的主成分分析参考系数，第二主成分分析参考系数与第一主成分分析参考系数可以一致，也可以不一致，但是优选为一致。U需要在确定全部人脸关键点后运算获得。
S2062、将所述第三特征值投影到二维空间，获得第四特征值。
在具体实现中，将第三特征值(m+UXc)投影到二维空间，将投影后的结果记为第四特征值。函数Π(·)定义了空间变换和投影变换，因此可以将第四特征值记为Πi(m+UXc)。
S2063、计算所述第四特征值与全部所述人脸关键点之间的第二距离。
在具体实现中，第四特征值Πi(m+UXc)。被投影到二维空间后，可能和部分人脸关键点重合，也可能相去甚远。用||Πi(m+UXc)-pi||2可以表示第四特征值与全部人脸关键点(pi)之间的第二距离，第二距离越小表示第四特征值与全部人脸关键点的重合度越高。
S2064、采用所述第二距离设置第二目标函数的第二点约束项。
在具体实现中，基于第二距离构建公式||Πi(m+UXc)-pi||2作为第二点约束项。
S206在具体实现中，第二正则化项为先验函数，即要求第二主成分分析系数在被投射到的二维空间时，尽可能满足输入的人脸图像数据的原始分布。
在具体实现中，为了区别每帧图像对优化的贡献度设定了wi，wi是一个已知量，是通过单图重建的误差计算(并且设定)出来的，误差越小，w值越大。误差是指计算第二特征值与部分人脸关键点之间的距离。
可以通过λ||Xc||2表示第二正则化项。其中，第二主成分分析系数(Xc)与常量(λ)的乘积是用来约束Xc尽量不要偏离训练数据，简单说，就是在第一主成分分析参考系数(m)的周围变动，不要引入太大的方差。
S208、在所述第二点约束项与所述第二正则化项的约束下，对所述第二目标函数求解，获得所述第二主成分分析系数的值。
第二目标函数用于表示三维人脸模型与接收到的人脸图像数据在二维平面上的点与点之间的差距。将点与点之间的差距最小，作为求解第二目标函数目标，获得第二主成分分析系数的值。
在具体实现中，可以通过函数
表示第二目标函数，该函数可以定义为一个后验问题，即基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。将点与点之间的差距最小作为优化目标，对第二目标函数通过梯度下降法、最小二乘法等算法进行迭代求解，获得所述第二主成分分析系数的值。
S209、基于所述第二主成分分析系数构建目标三维人脸模型。
本发明实施例通过首先对每一帧图分别重建人脸参数，然后再将所有图像放在一起做第二次优化，改进重建结果，解决了现有技术无法在设备性能一般，同时时效要求高的情况下提供很好的三维人脸模型的问题。本发明采用的方法是首先单图建模再多图优化，相比于现有技术中采用的先“合成-分析”再“渲染-匹配”最后重建再渲染的循环来建模，具有数据量小、速度快的优势。同时，单图建模是可以并行计算的，因此本方法在多核中央处理器(CPU)上可以取得更快的处理速度。
实施例三
图3为本发明实施例三提供的一种人脸重建装置的结构图。该装置包括：关键点提取模块31、第一系数获得模块32、第二系数获取模块33和人脸模型构建模块34。其中：
关键点提取模块31，用于对接收到的多帧人脸图像数据进行人脸关键点的提取；
第一系数获得模块32，用于对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；
第二系数获取模块33，用于根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数；
人脸模型构建模块34，用于基于所述第二主成分分析系数构建目标三维人脸模型。
本发明实施例通过首先对每一帧图分别重建人脸参数，然后再将所有图像放在一起做第二次优化，改进重建结果，解决了现有技术无法在设备性能一般，同时时效要求高的情况下提供很好的三维人脸模型的问题。本发明采用的方法是首先单图建模再多图优化，相比于现有技术中采用的先“合成-分析”再“渲染-匹配”最后重建再渲染的循环来建模，具有数据量小、速度快的优势。同时，单图建模是可以并行计算的，因此本方法在多核中央处理器(CPU)上可以取得更快的处理速度。在上述实施例的基础上，第一系数获得模块32还用于：
基于部分所述人脸关键点与第一主成分分析系数设置第一目标函数的第一点约束项；
基于所述第一主成分分析系数设置第一目标函数的第一正则化项；
在所述第一点约束项与所述第一正则化项的约束下，对所述第一目标函数求解，获得所述第一主成分分析系数的值。在上述实施例的基础上，
所述基于部分所述人脸关键点与第一主成分分析系数设置第一目标函数的第一点约束项，包括：
对第一主成分分析参考系数、缩放后的部分所述人脸关键点与第一主成分分析系数进行主成分分析运算，获得第一特征值；
将所述第一特征值投影到二维空间，获得第二特征值；
计算所述第二特征值与部分所述人脸关键点之间的第一距离；
采用所述第一距离设置第一目标函数的第一点约束项。在上述实施例的基础上，
所述对第一主成分分析参考系数与第一主成分分析系数进行主成分分析运算，获得第一特征值，包括：
获取第一主成分分析参考系数；
对部分所述人脸关键点进行缩放；
计算缩放后的部分所述人脸关键点与第一主成分分析系数之间的第一乘积；
将所述第一主成分分析参考系数与所述第一乘积之间的和值设置为第一特征值。
在上述实施例的基础上，
所述在所述第一点约束项与所述第一正则化项的约束下，对所述第一目标函数求解，获得所述第一主成分分析系数的值，包括：
对所述第一目标函数迭代，计算所述第一主成分分析系数的值，使得所述第一距离最小、且所述第一主成分分析系数满足高斯分布。
在上述实施例的基础上，第二系数获取模块33还用于：
组合所述多帧人脸图像对应的第一主成分分析系数并配置权重，作为第二主成分分析系数；
基于全部所述人脸关键点与所述第二主成分分析系数设置第二目标函数的第二点约束项；
基于所述第二主成分分析系数设置第二目标函数的第二正则化项；
在所述第二点约束项与所述第二正则化项的约束下，对所述第二目标函数求解，获得所述第二主成分分析系数的值。
在上述实施例的基础上，所述基于第一主成分分析参考系数与所述第二主成分分析系数设置第二目标函数的第二点约束项，包括：
对第一主成分分析参考系数、缩放后的全部所述人脸关键点与所述第二主成分分析系数进行主成分分析运算，获得第三特征值；
将所述第三特征值投影到二维空间，获得第四特征值；
计算所述第四特征值与全部所述人脸关键点之间的第二距离；
采用所述第二距离设置第二目标函数的第二点约束项。
在上上述实施例的基础上，所述对全部所述人脸关键点与所述第二主成分分析系数进行主成分分析运算，获得第三特征值，包括：
获取第二主成分分析参考系数；
对全部所述人脸关键点进行缩放；
计算缩放后的全部所述人脸关键点与所述第二主成分分析系数之间的第二乘积；
将所述第二主成分分析参考系数与所述第二乘积之间的和值设置为第三特征值。
在上述实施例的基础上，所述在所述第二点约束项与所述第二正则化项的约束下，对所述第二目标函数求解，获得所述第二主成分分析系数的值，包括：
对所述第二目标函数迭代，计算所述第二主成分分析系数的值，使得所述第二距离最小、且所述第二主成分分析系数满足高斯分布。
本实施例提供的一种人脸重建装置可用于执行上述任一实施例提供的一种人脸重建方法，具有相应的功能和有益效果。
实施例四
图4为本发明实施例四提供的一种电子设备的结构示意图。如图4所示，该电子设备包括处理器40、存储器41、通信模块42、输入装置43和输出装置44；电子设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；电子设备中的处理器40、存储器41、通信模块42、输入装置43和输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的一种人脸重建方法对应的模块(例如，一种人脸重建装置中的关键点提取模块31、第一系数获得模块32、第二系数获取模块33和人脸模型构建模块34)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的一种人脸重建方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块42，用于与显示屏建立连接，并实现与显示屏的数据交互。输入装置43可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种电子设备，可执行本发明任一实施例提供的人脸重建方法，具体相应的功能和有益效果。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种人脸重建方法，该方法包括：
对接收到的多帧人脸图像数据进行人脸关键点的提取；
对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；
根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数；
基于所述第二主成分分析系数构建目标三维人脸模型。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任一实施例所提供的人脸重建方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机电子设备(可以是个人计算机，服务器，或者网络电子设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述人脸重建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种人脸重建方法，其特征在于，包括：
对接收到的多帧人脸图像数据进行人脸关键点的提取，其中，所述人脸图像数据的来源包括用户输入的同一个人的多帧图像，和/或从视频流中截取的同一个的人脸图像数据；
对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；
根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数，包括：组合所述多帧人脸图像对应的第一主成分分析系数并配置权重，作为第二主成分分析系数；
基于所述第二主成分分析系数构建目标三维人脸模型。
2.根据权利要求1所述的方法，其特征在于，所述对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数，包括：
基于部分所述人脸关键点与第一主成分分析系数设置第一目标函数的第一点约束项；
基于所述第一主成分分析系数设置第一目标函数的第一正则化项；
在所述第一点约束项与所述第一正则化项的约束下，对所述第一目标函数求解，获得所述第一主成分分析系数的值。
3.根据权利要求2所述的方法，其特征在于，所述基于部分所述人脸关键点与第一主成分分析系数设置第一目标函数的第一点约束项，包括：
对第一主成分分析参考系数、缩放后的部分所述人脸关键点与第一主成分分析系数进行主成分分析运算，获得第一特征值；
将所述第一特征值投影到二维空间，获得第二特征值；
计算所述第二特征值与部分所述人脸关键点之间的第一距离；
采用所述第一距离设置第一目标函数的第一点约束项。
4.根据权利要求3所述的方法，其特征在于，所述对第一主成分分析参考系数、缩放后的部分所述人脸关键点与第一主成分分析系数进行主成分分析运算，获得第一特征值，包括：
获取第一主成分分析参考系数；
对部分所述人脸关键点进行缩放；
计算缩放后的部分所述人脸关键点与第一主成分分析系数之间的第一乘积；
将所述第一主成分分析参考系数与所述第一乘积之间的和值设置为第一特征值。
5.根据权利要求2所述的方法，其特征在于，所述在所述第一点约束项与所述第一正则化项的约束下，对所述第一目标函数求解，获得所述第一主成分分析系数的值，包括：
对所述第一目标函数迭代，计算所述第一主成分分析系数的值，使得第一距离最小、且所述第一主成分分析系数满足高斯分布。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数，包括：
基于全部所述人脸关键点与第二主成分分析系数设置第二目标函数的第二点约束项；
基于所述第二主成分分析系数设置第二目标函数的第二正则化项；
在所述第二点约束项与所述第二正则化项的约束下，对所述第二目标函数求解，获得所述第二主成分分析系数的值。
7.根据权利要求6所述的方法，其特征在于，所述基于全部所述人脸关键点与第二主成分分析系数设置第二目标函数的第二点约束项，包括：
对第一主成分分析参考系数、缩放后的全部所述人脸关键点与所述第二主成分分析系数进行主成分分析运算，获得第三特征值；
将所述第三特征值投影到二维空间，获得第四特征值；
计算所述第四特征值与全部所述人脸关键点之间的第二距离；
采用所述第二距离设置第二目标函数的第二点约束项。
8.根据权利要求7所述的方法，其特征在于，所述对第一主成分分析参考系数、缩放后的全部所述人脸关键点与所述第二主成分分析系数进行主成分分析运算，获得第三特征值，包括：
获取第二主成分分析参考系数；
对全部所述人脸关键点进行缩放；
计算缩放后的全部所述人脸关键点与所述第二主成分分析系数之间的第二乘积；
将所述第二主成分分析参考系数与所述第二乘积之间的和值设置为第三特征值。
9.根据权利要求6所述的方法，其特征在于，所述在所述第二点约束项与所述第二正则化项的约束下，对所述第二目标函数求解，获得所述第二主成分分析系数的值，包括：
对所述第二目标函数迭代，计算所述第二主成分分析系数的值，使得第二距离最小、且所述第二主成分分析系数满足高斯分布。
10.一种人脸重建装置，其特征在于，包括：
关键点提取模块，用于对接收到的多帧人脸图像数据进行人脸关键点的提取，其中，所述人脸图像数据的来源包括用户输入的同一个人的多帧图像，和/或从视频流中截取的同一个的人脸图像数据；
第一系数获得模块，用于对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；
第二系数获取模块，用于根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数，包括：组合所述多帧人脸图像对应的第一主成分分析系数并配置权重，作为第二主成分分析系数；
人脸模型构建模块，用于基于所述第二主成分分析系数构建目标三维人脸模型。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9任一所述的一种人脸重建方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9任一所述的一种人脸重建方法。
CN201811536103.4A 2018-12-14 2018-12-14 一种人脸重建方法、装置、设备和存储介质 Active CN109685873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811536103.4A CN109685873B (zh) 2018-12-14 2018-12-14 一种人脸重建方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811536103.4A CN109685873B (zh) 2018-12-14 2018-12-14 一种人脸重建方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109685873A CN109685873A (zh) 2019-04-26
CN109685873B true CN109685873B (zh) 2023-09-05

Family

ID=66187692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811536103.4A Active CN109685873B (zh) 2018-12-14 2018-12-14 一种人脸重建方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109685873B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102146B (zh) * 2019-06-18 2023-11-03 北京陌陌信息技术有限公司 脸部图像处理方法、装置、设备及计算机存储介质
CN111651033B (zh) * 2019-06-26 2024-03-05 广州虎牙科技有限公司 一种人脸的驱动显示方法、装置、电子设备和存储介质
CN111161397B (zh) * 2019-12-02 2022-08-12 支付宝(杭州)信息技术有限公司 人脸三维重建方法、装置、电子设备及可读存储介质
CN111028343B (zh) * 2019-12-16 2020-12-11 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质
CN113362231B (zh) * 2021-07-23 2024-06-25 百果园技术(新加坡)有限公司 人脸关键点的插值方法、装置、计算机设备和存储介质
CN114549501A (zh) * 2022-02-28 2022-05-27 佛山虎牙虎信科技有限公司 人脸遮挡的识别、三维人脸处理方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040001319A (ko) * 2002-06-27 2004-01-07 주식회사 케이티 얼굴 정보 추출 방법 및 그를 이용한 얼굴 인식 방법
CN101789078A (zh) * 2010-03-01 2010-07-28 江西财经大学 鲁棒红外人脸识别技术
CN102999942A (zh) * 2012-12-13 2013-03-27 清华大学 三维人脸重建方法
CN104077804A (zh) * 2014-06-09 2014-10-01 广州嘉崎智能科技有限公司 一种基于多帧视频图像构建三维人脸模型的方法
CN104157010A (zh) * 2014-08-29 2014-11-19 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
CN105138993A (zh) * 2015-08-31 2015-12-09 小米科技有限责任公司 建立人脸识别模型的方法及装置
WO2018080702A1 (en) * 2016-10-31 2018-05-03 Google Llc Face reconstruction from a learned embedding
CN108876896A (zh) * 2018-04-16 2018-11-23 北京旷视科技有限公司 参数化人脸模型生成方法、装置、系统和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201023092A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua 3D face model construction method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040001319A (ko) * 2002-06-27 2004-01-07 주식회사 케이티 얼굴 정보 추출 방법 및 그를 이용한 얼굴 인식 방법
CN101789078A (zh) * 2010-03-01 2010-07-28 江西财经大学 鲁棒红外人脸识别技术
CN102999942A (zh) * 2012-12-13 2013-03-27 清华大学 三维人脸重建方法
CN104077804A (zh) * 2014-06-09 2014-10-01 广州嘉崎智能科技有限公司 一种基于多帧视频图像构建三维人脸模型的方法
CN104157010A (zh) * 2014-08-29 2014-11-19 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
CN105138993A (zh) * 2015-08-31 2015-12-09 小米科技有限责任公司 建立人脸识别模型的方法及装置
WO2018080702A1 (en) * 2016-10-31 2018-05-03 Google Llc Face reconstruction from a learned embedding
CN108876896A (zh) * 2018-04-16 2018-11-23 北京旷视科技有限公司 参数化人脸模型生成方法、装置、系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于关键点逐层重建的人脸图像超分辨率方法;傅天宇等;《信号处理》;20160731;第32卷(第7期);全文 *

Also Published As

Publication number Publication date
CN109685873A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109685873B (zh) 一种人脸重建方法、装置、设备和存储介质
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Wu et al. Deep portrait image completion and extrapolation
Wang et al. High-fidelity view synthesis for light field imaging with extended pseudo 4DCNN
JP6207210B2 (ja) 情報処理装置およびその方法
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN111127309B (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN116363261B (zh) 图像编辑模型的训练方法、图像编辑方法和装置
CN111192312B (zh) 基于深度学习的深度图像获取方法、装置、设备及介质
Galteri et al. Deep 3d morphable model refinement via progressive growing of conditional generative adversarial networks
CN114339409A (zh) 视频处理方法、装置、计算机设备及存储介质
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
WO2024198747A1 (zh) 动作捕捉数据的处理方法、装置、设备及存储介质
CN116309983B (zh) 虚拟人物模型的训练方法、生成方法、装置和电子设备
CN112818904A (zh) 一种基于注意力机制的人群密度估计方法及装置
Chernov et al. Application of dynamic saliency maps to the video stream recognition systems with image quality assessment
CN114266693A (zh) 图像处理方法、模型生成方法及设备
Zhang et al. Image motion deblurring via attention generative adversarial network
US20210104096A1 (en) Surface geometry object model training and inference
CN116363320A (zh) 重建模型的训练和三维模型重建方法、装置、设备及介质
CN116977547A (zh) 一种三维人脸重建方法、装置、电子设备和存储介质
CN113240802B (zh) 三维重建的全屋虚拟装维方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant