CN107818578A - 一种基于注册方法的快速人脸模型重建算法及系统 - Google Patents
一种基于注册方法的快速人脸模型重建算法及系统 Download PDFInfo
- Publication number
- CN107818578A CN107818578A CN201710989693.5A CN201710989693A CN107818578A CN 107818578 A CN107818578 A CN 107818578A CN 201710989693 A CN201710989693 A CN 201710989693A CN 107818578 A CN107818578 A CN 107818578A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- point
- mtr
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Abstract
本发明公开了一种基于注册方法的快速人脸模型重建算法，包括如下步骤：S1、稀疏特征点注册：在模板和扫描模型上设置一定数量的对应点对，从这些点对中随机选择4‑5对执行一次刚性注册算法，使两个模型初步对齐；若两个模型的尺度不同，则需根据尺度(scale)参数的值对模板进行适当地缩放；然后以这些对应点为控制点执行一次拉普拉斯(Laplacian)网格变形，将模板与扫描模型初步匹配；S2、稠密特征点注册：通过寻找沿法线方向的最近点来寻找稠密特征点，并采用一个改进的拉普拉斯网格变形算法完成最终的注册。对于一个设计好的模板，本发明的算法可以在十分之一的时间内获得精度更高的重建效果。
Description
技术领域
本发明涉及人脸模型重建领域，具体涉及一种基于注册方法的快速人脸模型重建算法及系统。
背景技术
从三维扫描数据快速且精确地重建三维人脸模型是一个相当困难的工作。首先，扫描数据通常会有缺损，并且会有噪声，通用的3D重建算法并不适用于人脸模型重建。其次，在实际应用中，重建出来的人脸一般需要通过绑定技术(rigging)来实现参数化，从而合成丰富的人脸表情动画。这就对重建的人脸模型质量有很高的要求。最后，在基于数据驱动方法的应用中(如从单幅图像生成人脸模型)，需要以相同的拓扑结构批量重建大量的人脸模型，用一般的3D重建算法是很难实现的。因此，人们会采用注册方法来实现人脸模型重建，即将一个通用3D人脸模型(或称为模板)逐步变形以匹配扫描数据，最终得到与扫描数据形状一致的3D模型。近年来研究者们提出了很多方法，其中比较新且效果较好的方法是采用基于变形图(Deformation Graph)的三维网格变形算法来实现人脸模型与三维扫描数据的注册。变形图是一种比较通用的空间变形算法，能够较好地保留原始模板的结构，但是对细节的重建并不好，而且算法较复杂，实现难度大，速度较慢。其他基于模板的注册算法也有同样的问题。
发明内容
为解决上述问题，本发明提供了一种基于注册方法的快速人脸模型重建算法及系统。
为实现上述目的，本发明采取的技术方案为：
一种基于注册方法的快速人脸模型重建算法，包括如下步骤：
S1、稀疏特征点注册
在模板和扫描模型上设置一定数量的对应点对，从这些点中随机选择4-5对点执行一次刚性注册算法，使得两个模型初步对齐；若两个模型的尺度不同，则需根据尺度(scale)参数的值对模板进行适当地缩放；然后以这些点为控制点执行一次拉普拉斯(Laplacian)网格变形，将模板与扫描模型初步匹配；
S2、稠密特征点注册
通过寻找沿法线方向的最近点来寻找稠密特征点，并采用一个改进的拉普拉斯网格变形算法完成最终的注册。
其中，所述步骤S1中模板上的稀疏特征点可以手动添加也可以通过2D人脸对齐算法(face alignment)来实现，而扫描模型上的稀疏特征点则必须手动添加。
其中，所述步骤S1中的拉普拉斯(Laplacian)网格变形通过以下步骤执行：
拉普拉斯网格变形中一个网格x的变形能量可以表示如下：
其中，xi和δi分别表示网格上的第i个顶点以及它的拉普拉斯坐标，而xj和cj则分别表示模板和扫描模型上的第j个对应点的位置；
最小化能量E(x)可以规约为求解如下线性方程组的最小二乘解：
其中，L、Δ和C分别是网格的拉普拉斯矩阵，拉普拉斯坐标矩阵和控制点目标位置矩阵；
使用稀疏Cholesky分解法来求解上式的法方程即可求得变形后的全部网格顶点x。
其中，所述步骤S2中具体包括如下步骤：
S21、沿模板上的每个点的法向量的正反两个方向发出射线并与扫描模型求交，得到新的稠密特征点，并从所得的稠密特征点集中剔除距离太远的点或者法向量不匹配的点；
S22、以稠密特征点为控制点，在式(2)中，将所有的控制点赋予相同的权重λ，允许为每个控制点设置不同的权重，从而得到如下线性方程：
其中，矩阵Λ是一个对角矩阵，对角线上的元素是每一个稠密特征点的权重，表示如下：
其中，λj，j＝1...l，l＞m为所有稠密特征点的权重；我们为原来在第一步注册中使用的稀疏特征点赋予较大的权重，而为最近点算法求得到新特征点赋予较小的权重。
S23、使用稀疏Cholesky分解法来求解式(3)的法方程。
本发明还提供了一种基于注册方法的快速人脸模型重建系统，包括
稀疏特征点设置模块，用于手动添加或通过2D人脸对齐算法(face alignment)在模板上进行对应点对的添加；
扫描模型特征点设置模块，用于通过手动在扫描模型上进行对应点对的添加；
稀疏特征点注册模块，用于在稀疏特征点设置模块和扫描模型特征点设置模块所设置的对应点对中随机选择4-5个点执行一次刚性注册算法，使得两个模型初步对齐；若两个模型的尺度不同，则需根据尺度(scale)参数的值对模板进行适当地缩放；然后以这些点为控制点执行一次拉普拉斯(Laplacian)网格变形，将模板与扫描模型初步匹配；
稠密特征点寻找模块，用于沿模板上的每个点的法向量的正反两个方向发出射线并与扫描模型求交，得到新的稠密特征点，并从所得的稠密特征点集中剔除距离太远的点或者法向量不匹配的点；
稠密特征点注册模块，用于以稠密特征点为控制点，采用一个改进的拉普拉斯网格变形算法完成最终的注册。
优选地，所述稀疏特征点注册模块通过以下步骤完成拉普拉斯(Laplacian)网格变形：
拉普拉斯网格变形中一个网格x的变形能量可以表示如下：
其中，xi和δi分别表示网格上的第i个顶点以及它的拉普拉斯坐标，而xj和cj则分别表示模板和扫描模型上的第j个对应点的位置；
最小化能量E(x)可以规约为求解如下线性方程组的最小二乘解：
其中，L、Δ和C分别是网格的拉普拉斯矩阵，拉普拉斯坐标矩阵和控制点目标位置矩阵；
使用稀疏Cholesky分解法来求解上式的法方程即可求得变形后的全部网格顶点x。
优选地，所述稠密特征点注册模块通过以下步骤完成拉普拉斯(Laplacian)网格变形：
以稠密特征点为控制点，在式(2)中，将所有的控制点赋予相同的权重λ，允许为每个控制点设置不同的权重，从而得到如下线性方程：
其中，矩阵Λ是一个对角矩阵，对角线上的元素是每一个稠密特征点的权重，表示如下：
其中，λj，j＝1...l，l＞m为所有稠密特征点的权重；我们为原来在第一步注册中使用的稀疏特征点赋予较大的权重，而为最近点算法求得到新特征点赋予较小的权重。
S23、使用稀疏Cholesky分解法来求解式(3)的法方程。
对于一个设计好的模板，本发明的算法可以在十分之一的时间内获得精度更高的重建效果。
附图说明
图1为本发明实施例中稀疏特征点对，用黄色的小点表示。在本例中，我们使用了33个特征点对。
图2为本发明实施例中沿法线方向的最近点算法示意图；
图中：六边形表示模板，十二边形为扫描模型，n1…4是其中四个顶点的法线，n1因为与扫描模型上的相交点处的法线相差较大而被剔除，n2则因为距离扫描模型太远而被剔除，n3和n4分别与扫描模型在其正反两个方向相交并且距离和方向得当而被选取为稠密特征点。
图3为本发明实施例中稀疏特征点和稠密特征点注册的结果。
图中：(a)扫描模型 (b)第一步注册 (c)第二步注册。
图4为本发明实施例中的结果对比图；
图中：基于变形图的方法得到的结果保留了较多原始模板的特征(中)，而本方案的结果则重建出了更多的细节(右)。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于注册方法的快速人脸模型重建算法，包括如下步骤：
S1、稀疏特征点注册
在模板和扫描模型上设置一定数量的对应点对，从这些点中随机选择4-5个点执行一次刚性注册算法，使得两个模型初步对齐；若两个模型的尺度不同，则需根据尺度(scale)参数的值对模板进行适当地缩放；然后以这些点为控制点执行一次拉普拉斯(Laplacian)网格变形，将模板与扫描模型初步匹配；
S2、稠密特征点注册
通过寻找沿法线方向的最近点来寻找稠密特征点，并采用一个改进的拉普拉斯网格变形算法完成最终的注册。
所述模板上的稀疏特征点可以手动添加也可以通过2D人脸对齐算法(facealignment)来实现，而扫描模型上的稀疏特征点则必须手动添加，如图1所示。如果使用2D人脸对齐算法，则需要首先为模板制作纹理贴图然后渲染成2D图像，使用文献(Kazemi，Vahid，and Josephine Sullivan.2014.“One Millisecond Face Alignment with anEnsemble of Regression Trees.”In CVPR)中的算法寻找特征点，并投影回3D模型。
假设我们选取了m个特征点，以这m个稀疏特征点为控制点执行一次拉普拉斯网格变形，可以将模板与扫描模型大致匹配，实现初步注册。拉普拉斯网格变形是一个广泛使用的线性平滑网格变形算法，简单快速，能够保持变形前网格的细节特征。一个网格x的变形能量可以表示如下：
其中，xi和δi分别表示网格上的第i个顶点以及它的拉普拉斯坐标，而xj和cj则分别表示模板和扫描模型上的第j个对应点的位置。这个能量函数的物理意义是，在满足拉普拉斯坐标不变的情况下同时满足控制点的位置约束，而系数λ则用来确定位置约束的权重。最小化能量E(x)可以规约为求解如下线性方程组的最小二乘解：
其中，L、Δ和C分别是网格的拉普拉斯矩阵，拉普拉斯坐标矩阵和控制点目标位置矩阵。最左边的矩阵是一个稀疏矩阵，因此使用稀疏Cholesky分解法来求解上式的法方程即可求得变形后的全部网格顶点x。
稠密特征点注册
我们沿模板上的每个点的法向量的正反两个方向发出射线并与扫描模型求交，得到新的稠密特征点。但是对于距离太远的点或者法向量不匹配的点，应该将它们从稠密特征点集中剔除，如图2所示。我们将第一步注册中的稀疏特征点也添加进这个集合，得到拥有l个特征点对的新的稠密特征点集，其中l＞m。
我们以稠密特征点为控制点，再进行一次拉普拉斯网格变形即可完成注册，但这一次我们对拉普拉斯网格变形算法进行了改进。注意，在式(2)中，所有的控制点被赋予了相同的权重λ，我们修改该式，允许为每个控制点设置不同的权重，从而得到如下线性方程：
其中，矩阵Λ是一个对角矩阵，对角线上的元素是每一个稠密特征点的权重，表示如下：
其中，λj，j＝1...l，l＞m为所有稠密特征点的权重。在本方案中，我们为原来在第一步注册中使用的稀疏特征点赋予较大的权重，而为最近点算法求得到新特征点赋予较小的权重。如果后者权重较大会破坏模型的平滑性，而太小则会损失细节。我们采用与求解式(2)相同的方法来求解式(3)。
结果与性能对比
图3给出了第一步和第二步注册的结果，可以看出，第一步注册只是获取了大致的面部形状，而第二步注册之后，我们重建出了更多的面部特征。与文献(Li，Hao，BartAdams，Leonidas J.Guibas，and Mark Pauly.2009.“Robust Single-View Geometry andMotion Reconstruction.”ACM Transactions on Graphics(Proceedings SIGGRAPH Asia2009)28(5))中的方法相比，我们的算法可以重建出更多细节(见图4)。在时间性能方面，由于我们只是求解了两个稀疏线性系统，因此速度较之要快得多，在我们的例子中，文献(Li，Hao，Bart Adams，Leonidas J.Guibas，and Mark Pauly.2009.“Robust Single-ViewGeometry and Motion Reconstruction.”ACM Transactions on Graphics(ProceedingsSIGGRAPH Asia 2009)28(5))中的算法大约需要8秒，而我们的算法可以在0.8秒内结束。
综上所述，对于一个设计好的模板，本具体实施的算法可以在十分之一的时间内获得精度更高的重建效果。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于注册方法的快速人脸模型重建算法，其特征在于，包括如下步骤：
S1、稀疏特征点注册
在模板和扫描模型上设置一定数量的对应点对，从这些点中随机选择4-5对点执行一次刚性注册算法，使得两个模型初步对齐；若两个模型的尺度不同，则需根据尺度(scale)参数的值对模板进行适当地缩放；然后以这些点为控制点执行一次拉普拉斯(Laplacian)网格变形，将模板与扫描模型初步匹配；
S2、稠密特征点注册
通过寻找沿法线方向的最近点来寻找稠密特征点，并采用一种改进的拉普拉斯网格变形算法完成最终的注册。
2.如权利要求1所述的一种基于注册方法的快速人脸模型重建算法，其特征在于，所述步骤S1中模板上的稀疏特征点可以手动添加也可以通过2D人脸对齐算法(facealignment)来实现，而扫描模型上的稀疏特征点则必须手动添加。
3.如权利要求1所述的一种基于注册方法的快速人脸模型重建算法，其特征在于，所述步骤S1中的拉普拉斯(Laplacian)网格变形通过以下步骤执行：
拉普拉斯网格变形中一个网格x的变形能量可以表示如下：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mi>i</mi>
<mi>n</mi>
</msubsup>
<mo>/</mo>
<mo>/</mo>
<msup>
<mo>&dtri;</mo>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&delta;</mi>
<mi>i</mi>
</msub>
<mo>/</mo>
<msup>
<mo>/</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>&CenterDot;</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</msubsup>
<mo>/</mo>
<mo>/</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>j</mi>
</msub>
<mo>/</mo>
<msup>
<mo>/</mo>
<mn>2</mn>
</msup>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，xi和δi分别表示网格上的第i个顶点以及它的拉普拉斯坐标，而xj和cj则分别表示模板和扫描模型上的第j个对应点的位置；
最小化能量E(x)可以规约为求解如下线性方程组的最小二乘解：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mi>L</mi>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>&lambda;I</mi>
<mi>k</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>x</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>&Delta;</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>&lambda;</mi>
<mi>C</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，L、Δ和C分别是网格的拉普拉斯矩阵，拉普拉斯坐标矩阵和控制点目标位置矩阵；
使用稀疏Cholesky分解法来求解上式的法方程即可求得变形后的全部网格顶点x。
4.如权利要求1所述的一种基于注册方法的快速人脸模型重建算法，其特征在于，所述步骤S2中具体包括如下步骤：
S21、沿模板上的每个点的法向量的正反两个方向发出射线并与扫描模型求交，得到新的稠密特征点，并从所得的稠密特征点集中剔除距离太远的点或者法向量不匹配的点；本系统允许用户手动设置需要被剔除的点，比如图3中扫描模型的眼球上的点是应该被剔除从而不参与注册过程的。
S22、以稠密特征点为控制点，在式(2)中，将所有的控制点赋予相同的权重λ，允许为每个控制点设置不同的权重，从而得到如下线性方程：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mi>L</mi>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mi>&Lambda;</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>x</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>&Delta;</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>&Lambda;</mi>
<mi>C</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，矩阵Λ是一个对角矩阵，对角线上的元素是每一个稠密特征点的权重，表示如下：
其中，λj，j＝1...l，l＞m为所有稠密特征点的权重；我们为原来在第一步注册中使用的稀疏特征点赋予较大的权重，而为最近点算法求得到新特征点赋予较小的权重。
S23、使用稀疏Cholesky分解法来求解式(3)的法方程。
5.一种基于注册方法的快速人脸模型重建系统，其特征在于，包括
稀疏特征点设置模块，用于手动添加或通过2D人脸对齐算法(face alignment)在模板上进行对应点对的添加；
扫描模型特征点设置模块，用于通过手动在扫描模型上进行对应点对的添加；
稀疏特征点注册模块，用于在稀疏特征点设置模块和扫描模型特征点设置模块所设置的对应点对中随机选择4-5个点执行一次刚性注册算法，使得两个模型初步对齐；若两个模型的尺度不同，则需根据尺度(scale)参数的值对模板进行适当地缩放；然后以这些点为控制点执行一次拉普拉斯(Laplacian)网格变形，将模板与扫描模型初步匹配；
稠密特征点寻找模块，用于沿模板上的每个点的法向量的正反两个方向发出射线并与扫描模型求交，得到新的稠密特征点，并从所得的稠密特征点集中剔除距离太远的点或者法向量不匹配的点；
稠密特征点注册模块，用于以稠密特征点为控制点，采用一个改进的拉普拉斯网格变形算法完成最终的注册。
6.如权利要求5所述的一种基于注册方法的快速人脸模型重建系统，其特征在于，所述稀疏特征点注册模块通过以下步骤完成拉普拉斯(Laplacian)网格变形：
拉普拉斯网格变形中一个网格x的变形能量可以表示如下：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mi>i</mi>
<mi>n</mi>
</msubsup>
<mo>/</mo>
<mo>/</mo>
<msup>
<mo>&dtri;</mo>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&delta;</mi>
<mi>i</mi>
</msub>
<mo>/</mo>
<msup>
<mo>/</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>&CenterDot;</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</msubsup>
<mo>/</mo>
<mo>/</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>j</mi>
</msub>
<mo>/</mo>
<msup>
<mo>/</mo>
<mn>2</mn>
</msup>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，xi和δi分别表示网格上的第i个顶点以及它的拉普拉斯坐标，而xj和cj则分别表示模板和扫描模型上的第j个对应点的位置；
最小化能量E(x)可以规约为求解如下线性方程组的最小二乘解：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mi>L</mi>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>&lambda;I</mi>
<mi>k</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>x</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>&Delta;</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>&lambda;</mi>
<mi>C</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，L、Δ和C分别是网格的拉普拉斯矩阵、拉普拉斯坐标矩阵和控制点的目标位置矩阵；
使用稀疏Cholesky分解法来求解上式的法方程即可求得变形后的全部网格顶点x。
7.如权利要求5所述的一种基于注册方法的快速人脸模型重建系统，其特征在于，所述稠密特征点注册模块通过以下步骤完成拉普拉斯(Laplacian)网格变形：
以稠密特征点为控制点，在式(2)中，将所有的控制点赋予相同的权重λ，允许为每个控制点设置不同的权重，从而得到如下线性方程：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mi>L</mi>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mi>&Lambda;</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>x</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>&Delta;</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>&Lambda;</mi>
<mi>C</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，矩阵Λ是一个对角矩阵，对角线上的元素是每一个稠密特征点的权重，表示如下：
其中，λj，j＝1...l，l＞m为所有稠密特征点的权重；
S23、使用稀疏Cholesky分解法来求解式(3)的法方程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710989693.5A CN107818578B (zh) | 2017-10-11 | 2017-10-11 | 一种基于注册方法的快速人脸模型重建算法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710989693.5A CN107818578B (zh) | 2017-10-11 | 2017-10-11 | 一种基于注册方法的快速人脸模型重建算法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107818578A true CN107818578A (zh) | 2018-03-20 |
| CN107818578B CN107818578B (zh) | 2020-09-18 |
Family
ID=61608612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710989693.5A Active CN107818578B (zh) | 2017-10-11 | 2017-10-11 | 一种基于注册方法的快速人脸模型重建算法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107818578B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377563A (zh) * | 2018-11-29 | 2019-02-22 | 广州市百果园信息技术有限公司 | 一种人脸网格模型的重建方法、装置、设备和存储介质 |
| CN111105864A (zh) * | 2019-12-27 | 2020-05-05 | 华南理工大学 | 一种动态传输3d模型的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101625768A (zh) * | 2009-07-23 | 2010-01-13 | 东南大学 | 一种基于立体视觉的三维人脸重建方法 |
| CN102034275A (zh) * | 2010-12-10 | 2011-04-27 | 中国人民解放军国防科学技术大学 | 面向大尺度变形的非刚性注册方法 |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN103279980A (zh) * | 2013-05-08 | 2013-09-04 | 西安理工大学 | 基于点云数据的树叶建模方法 |
| CN104835153A (zh) * | 2015-04-30 | 2015-08-12 | 天津大学 | 基于稀疏表示的非刚性表面对齐方法 |
-
2017
- 2017-10-11 CN CN201710989693.5A patent/CN107818578B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101625768A (zh) * | 2009-07-23 | 2010-01-13 | 东南大学 | 一种基于立体视觉的三维人脸重建方法 |
| CN102034275A (zh) * | 2010-12-10 | 2011-04-27 | 中国人民解放军国防科学技术大学 | 面向大尺度变形的非刚性注册方法 |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN103279980A (zh) * | 2013-05-08 | 2013-09-04 | 西安理工大学 | 基于点云数据的树叶建模方法 |
| CN104835153A (zh) * | 2015-04-30 | 2015-08-12 | 天津大学 | 基于稀疏表示的非刚性表面对齐方法 |
Non-Patent Citations (3)
| Title |
|---|
| JINGYU YANG等: "Sparse Non-rigid Registration of 3D Shapes", 《EUROGRAPHICS SYMPOSIUM ON GEOMETRY PROCESSING 2015》 * |
| JOSEPH ROTH等: "Unconstrained 3D Face Reconstruction", 《CVPR2015》 * |
| 余权: "基于多视图立体视觉和迭代网格变形的个性化人手三维建模", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377563A (zh) * | 2018-11-29 | 2019-02-22 | 广州市百果园信息技术有限公司 | 一种人脸网格模型的重建方法、装置、设备和存储介质 |
| US11972527B2 (en) | 2018-11-29 | 2024-04-30 | Bigo Technology Pte. Ltd. | Method and apparatus for reconstructing face mesh model, and storage medium |
| CN111105864A (zh) * | 2019-12-27 | 2020-05-05 | 华南理工大学 | 一种动态传输3d模型的方法 |
| CN111105864B (zh) * | 2019-12-27 | 2023-06-16 | 华南理工大学 | 一种动态传输3d模型的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107818578B (zh) | 2020-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458957B (zh) | 一种基于神经网络的图像三维模型构建方法及装置 | |
| CN109147048B (zh) | 一种利用单张彩色图的三维网格重建方法 | |
| US11715258B2 (en) | Method for reconstructing a 3D object based on dynamic graph network | |
| CN106553195B (zh) | 工业机器人抓取过程中的物体6自由度定位方法及系统 | |
| CN106462724B (zh) | 基于规范化图像校验面部图像的方法和系统 | |
| CN108960020A (zh) | 信息处理方法和信息处理设备 | |
| CN107680158A (zh) | 一种基于卷积神经网络模型的三维人脸重建方法 | |
| CN107818580A (zh) | 根据深度图对真实对象进行3d重建 | |
| CN106652015B (zh) | 一种虚拟人物头像生成方法及装置 | |
| CN110852941A (zh) | 一种基于神经网络的二维虚拟试衣方法 | |
| CN104346824A (zh) | 基于单张人脸图像自动合成三维表情的方法及装置 | |
| CN104299250A (zh) | 基于先验模型的正面人脸图像合成方法及系统 | |
| CN102096934A (zh) | 一种基于机器学习的人脸卡通画生成方法 | |
| CN106803094A (zh) | 基于多特征融合的三维模型形状相似性分析方法 | |
| CN109146937A (zh) | 一种基于深度学习的电力巡检影像密集匹配方法 | |
| CN110009745B (zh) | 根据平面基元和模型驱动对点云提取平面的方法 | |
| CN103337085A (zh) | 一种高效的人像面部变形方法 | |
| CN106952335A (zh) | 建立人体模型库的方法及其系统 | |
| CN110097035A (zh) | 一种基于3d人脸重建的人脸特征点检测方法 | |
| CN107818578A (zh) | 一种基于注册方法的快速人脸模型重建算法及系统 | |
| CN106127818A (zh) | 一种基于单幅图像的材质外观获取系统及方法 | |
| CN103544733B (zh) | 基于统计形状分析的三维人体头部三角网格模型建立方法 | |
| CN106952334A (zh) | 人体净模型的创建方法与三维试衣系统 | |
| CN106683169A (zh) | 一种关节运动感知的稀疏局部分解及重构算法 | |
| TW201123074A (en) | Facial animation system and production method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |