CN111145225B - 三维人脸的非刚性配准方法及装置 - Google Patents

三维人脸的非刚性配准方法及装置 Download PDF

Info

Publication number
CN111145225B
CN111145225B CN201911114894.6A CN201911114894A CN111145225B CN 111145225 B CN111145225 B CN 111145225B CN 201911114894 A CN201911114894 A CN 201911114894A CN 111145225 B CN111145225 B CN 111145225B
Authority
CN
China
Prior art keywords
target model
template
result
vertex
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911114894.6A
Other languages
English (en)
Other versions
CN111145225A (zh
Inventor
徐枫
冯铖锃
王至博
杨东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911114894.6A priority Critical patent/CN111145225B/zh
Publication of CN111145225A publication Critical patent/CN111145225A/zh
Application granted granted Critical
Publication of CN111145225B publication Critical patent/CN111145225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种三维人脸的非刚性配准方法及装置,其中,方法包括以下步骤:通过结点驱动的网格变形方式,对输入的三维人脸模板进行非刚性形变,得到结点驱动的结果;为目标扫描建立一颗八叉树,并用于结点驱动的结果上的顶点沿着法向和目标模型求交;在迭代过程中,为模板上每个顶点沿着法向寻找在目标模型上的对应点,接以对应点作为约束,对模板网格进行拉普拉斯变形,直至满足预设迭代条件,获得与目标模型表面贴近的中间结果;根据中间结果,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终非刚性配准结果。该方法可以使得配准的结果不仅较好地维持了模板的拓扑结构,同时能够捕捉目标模型的几何细节。

Description

三维人脸的非刚性配准方法及装置
技术领域
本发明涉及数字几何处理技术领域,特别涉及一种三维人脸的非刚性配准方法及装置。
背景技术
随着人脸三维重建技术的发展,人们可以通过多视角相机阵列采集高精度的人脸三维扫描数据,与一般人脸三维模型相比,这些三维扫描通常具特别多数量的三角面片,从而可以捕捉人脸皱纹、眉毛等部位的几何细节。
但是这些三维扫描各自具有不同的拓扑,所以无法在这些数据上进行参数化表征建模与分析,必须通过对一个三维人脸模板对每个人脸扫描数据进行非刚性配准,从而获得一个三维人脸模型的数据集,使得数据集中包含大量不同身份和表情的,带有几何细节的三维人脸模型数据,并且这些模型都具有相同的拓扑,以便在这个数据集上对其进行表征分析。其中,三维人脸非刚性配准是指输入两个人脸三维模型,其中一个模型作为模板,另外一个作为目标模型,对模板加以非刚性形变,输出一个新的人脸三维模型,使得输出的人脸模型和目标模型具有相同的几何形状,同时和模板具有相同的网格拓扑。
然而,传统的方法大多只能获取和目标模型形状基本相同的变形结果,无法捕捉目标模型上的几何细节,亟待解决。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种三维人脸的非刚性配准方法,该方法基于结点驱动的网格变形技术、拉普拉斯网格变形技术和顶点位移技术,使得配准的结果不仅较好地维持了模板的拓扑结构,同时能够捕捉目标模型的几何细节,有效解决传统三维人脸配准方法无法获取目标模型几何细节的问题。
本发明的另一个目的在于提出一种三维人脸的非刚性配准装置。
为达到上述目的,本发明一方面实施例提出了一种三维人脸的非刚性配准方法,包括以下步骤:通过结点驱动的网格变形方式,对输入的三维人脸模板进行非刚性形变,得到结点驱动的结果;为目标扫描建立一颗八叉树,并用于所述结点驱动的结果上的顶点沿着法向和目标模型求交;在迭代过程中,为模板上每个顶点沿着法向寻找在所述目标模型上的对应点,接以所述对应点作为约束,对模板网格进行拉普拉斯变形,直至满足预设迭代条件,获得与所述目标模型表面贴近的中间结果;根据所述中间结果,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终非刚性配准结果。
本发明实施例的三维人脸的非刚性配准方法,通过对目标模型的多视角渲染,自动获取目标模型人脸特征点的三维位置,避免手动标记的繁琐工作与人为误差;通过为目标模型建立八叉树,极大地提高了直线和三角面片的几何求交运算速度;在和目标模型几何形状基本接近的中间变形结果基础之上,通过顶点位移技术,捕捉目标模型的几何细节,从而基于结点驱动的网格变形技术、拉普拉斯网格变形技术和顶点位移技术,使得配准的结果不仅较好地维持了模板的拓扑结构,同时能够捕捉目标模型的几何细节,有效解决传统三维人脸配准方法无法获取目标模型几何细节的问题。
另外,根据本发明上述实施例的三维人脸的非刚性配准方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,还包括:通过对所述目标模型进行多视角渲染,检测出人脸特征点三维位置,以进行目标模型的人脸姿态估计。
进一步地,在本发明的一个实施例中,所述为目标扫描建立一颗八叉树,并用于所述结点驱动的结果上的顶点沿着法向和目标模型求交,包括:确定所述目标模型的包围盒,所述包围盒包含所述目标模型的所有三角面片;对所述包围盒进行递归切分,每次将一个大立方体分成八个小立方体,使得每个小立方体各自含有多个三角面片,如果当前的小立方体所包含的面片数量低于预设阈值,则停止切分,否则继续切成八个更小的立方体,直到立方体所含面片的数量低于所述预设阈值。
进一步地,在本发明的一个实施例中,在构造所述八叉树之后,还包括:检测每个立方体是否和直线相交;如果和所述直线不相交,则结束计算。
为达到上述目的,本发明另一方面实施例提出了一种三维人脸的非刚性配准装置,包括:形变模块,用于通过结点驱动的网格变形方式,对输入的三维人脸模板进行非刚性形变,得到结点驱动的结果;求交模块,用于为目标扫描建立一颗八叉树,并用于所述结点驱动的结果上的顶点沿着法向和目标模型求交;寻找模块,用于在迭代过程中,为模板上每个顶点沿着法向寻找在所述目标模型上的对应点,接以所述对应点作为约束,对模板网格进行拉普拉斯变形,直至满足预设迭代条件,获得与所述目标模型表面贴近的中间结果;位移模块,用于根据所述中间结果,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终非刚性配准结果。
本发明实施例的三维人脸的非刚性配准装置,通过对目标模型的多视角渲染,自动获取目标模型人脸特征点的三维位置,避免手动标记的繁琐工作与人为误差;通过为目标模型建立八叉树,极大地提高了直线和三角面片的几何求交运算速度;在和目标模型几何形状基本接近的中间变形结果基础之上,通过顶点位移技术,捕捉目标模型的几何细节,从而基于结点驱动的网格变形技术、拉普拉斯网格变形技术和顶点位移技术,使得配准的结果不仅较好地维持了模板的拓扑结构,同时能够捕捉目标模型的几何细节,有效解决传统三维人脸配准方法无法获取目标模型几何细节的问题。
另外,根据本发明上述实施例的三维人脸的非刚性配准装置还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,还包括:渲染模块,用于通过对所述目标模型进行多视角渲染,检测出人脸特征点三维位置,以进行目标模型的人脸姿态估计。
进一步地,在本发明的一个实施例中,所述求交模块进一步用于确定所述目标模型的包围盒,所述包围盒包含所述目标模型的所有三角面片;对所述包围盒进行递归切分,每次将一个大立方体分成八个小立方体,使得每个小立方体各自含有多个三角面片,如果当前的小立方体所包含的面片数量低于预设阈值,则停止切分,否则继续切成八个更小的立方体,直到立方体所含面片的数量低于所述预设阈值。
进一步地,在本发明的一个实施例中,还包括:检测模块,用于在构造所述八叉树之后,检测每个立方体是否和直线相交,如果和所述直线不相交,则结束计算。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的三维人脸的非刚性配准方法的流程图;
图2为根据本发明一个实施例的三维人脸的非刚性配准方法的流程图;
图3为根据本发明实施例的目标模型的多视角渲染示意图;
图4为根据本发明实施例的模板表面不断向模板模型贴近示意图;
图5为根据本发明实施例的目标模型、中间结果和最终结果对比示意图;
图6为根据本发明实施例的三维人脸的非刚性配准装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的三维人脸的非刚性配准方法及装置,首先将参照附图描述根据本发明实施例提出的三维人脸的非刚性配准方法。
图1是本发明一个实施例的三维人脸的非刚性配准方法的流程图。
如图1所示,该三维人脸的非刚性配准方法包括以下步骤:
在步骤S101中,通过结点驱动的网格变形方式,对输入的三维人脸模板进行非刚性形变,得到结点驱动的结果。
可以理解的是,如图2所示,本发明实施例可以通过基于结点驱动的网格变形技术,对输入三维人脸模板进行非刚性形变,得到结点驱动的结果。
在步骤S102中,为目标扫描建立一颗八叉树,并用于结点驱动的结果上的顶点沿着法向和目标模型求交。
可以理解的是,如图2所示,本发明实施例为目标扫描建立一颗八叉树,用于加速结点驱动的结果上的顶点沿着法向和目标模型求交。
进一步地,在本发明的一个实施例中,本发明实施例的方法还包括:通过对目标模型进行多视角渲染,检测出人脸特征点三维位置,以进行目标模型的人脸姿态估计。
可以理解的是,本发明实施例通过对目标模型进行多视角渲染,自动检测出人脸特征点三维位置,进行目标模型的人脸姿态估计。
具体而言,为了确定目标模型的位置,如图3所示,本发明实施例对目标模型从25个不同的视角渲染,在渲染图像上检测人脸特征点,选择特征点分布最分散的那个视角,利用对应的渲染出的深度图像,通过反投影方法获取人脸特征点的三维位置,为模板对目标模型的人脸姿态估计提供目标位置。
进一步地,在本发明的一个实施例中,为目标扫描建立一颗八叉树,并用于结点驱动的结果上的顶点沿着法向和目标模型求交,包括:确定目标模型的包围盒,包围盒包含目标模型的所有三角面片;对包围盒进行递归切分,每次将一个大立方体分成八个小立方体,使得每个小立方体各自含有多个三角面片,如果当前的小立方体所包含的面片数量低于预设阈值,则停止切分,否则继续切成八个更小的立方体,直到立方体所含面片的数量低于预设阈值。
具体而言,计算模板上的顶点沿着法线方向和目标模型表面的交点,并利用八叉树加速几何求交的运算,具体包括:无论是迭代最近邻寻找对应点的过程,还是计算模板顶点位移的过程,都需要计算模板上每个顶点沿着法线方向和模板模型的交点,模板上每个顶点及其法线方向构成了空间的一条直线,如果和目标模型上的每个三角面片进行求交检测,算法将非常耗时,于是本发明实施例提出一种利用八叉树加速几何求交运算的方法。
一个立方体如果在三个维度上各分两半,可以得到八个子立方体,八叉树构造的过程就是不断将一个大的立方体切分为许多小立方体。本发明实施例首先找到目标模型的包围盒,这个包围盒包含了目标模型的所有三角面片,接下来我们递归地切分这个包围盒,每次将一个大立方体分成八个小立方体,这样每个小立方体各自含有一定数量的三角面片,如果当前的小立方体所包含的面片数量低于某个阈值,则停止对这个小立方体进行切分,否则继续将这个小立方体切成八个更小的立方体,直到立方体所含面片的数量低于指定的阈值。
进一步地,在本发明的一个实施例中,在构造八叉树之后,还包括:检测每个立方体是否和直线相交;如果和直线不相交,则结束计算。
具体而言,按照上述构造过程,八叉树构造完成之后,会得到许多大小不一的立方体,在判断直线和目标模型上哪一个面片相交时,先检测和直线相交的立方体,如果立方体和直线不相交,则立方体所含的面片不可能与直线相交,从而大大减少计算量。
在步骤S103中,在迭代过程中,为模板上每个顶点沿着法向寻找在目标模型上的对应点,接以对应点作为约束,对模板网格进行拉普拉斯变形,直至满足预设迭代条件,获得与目标模型表面贴近的中间结果。
可以理解的是,如图2所示,在迭代过程中,每次迭代首先为模板上每个顶点沿着法向寻找在目标模型上的对应点,即法线和目标模型的交点;接下来以找到的对应点作为约束对模板网格进行拉普拉斯变形;经过若干次迭代后,获得和目标模型表面贴近的中间结果。
具体而言,通过基于结点驱动的网格变形技术和多次拉普拉斯网格变形,获取具有和目标模型几何形状基本接近的中间变形结果;并通过对中间变形结果计算每个顶点的位移,捕捉目标模型上的几何细节。
本发明通过基于结点驱动的网格变形技术和拉普拉斯网格变形技术,使得模板的表面朝着目标模型表面不断逼近。如图4所示,带纹理的是目标模型,不带纹理的是模板,通过对模板加以非刚性变形,可以使模板表面不断贴近目标模型的表面,为最终计算模板上每个顶点的位移提供良好的中间结果。
在步骤S104中,根据中间结果,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终非刚性配准结果。
可以理解的是,如图2所示,在中间结果的基础上,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终结果。
具体而言,中间结果仅仅在总体几何形状上和目标模型比较接近,但是还缺乏几何细节,本方法在中间结果的基础上,为中间结果上的每个顶点计算沿着法线方向的位移,把位移的位置作为非刚性配准的最终结果。如图5所示,和中间结果相比,最终结果可以捕捉眉毛,皱纹等目标模型体现出的几何特征。
综上,本发明实施例提出的三维人脸的非刚性配准方法,通过对目标模型的多视角渲染,自动获取目标模型人脸特征点的三维位置,避免手动标记的繁琐工作与人为误差;通过为目标模型建立八叉树,极大地提高了直线和三角面片的几何求交运算速度;在和目标模型几何形状基本接近的中间变形结果基础之上,通过顶点位移技术,捕捉目标模型的几何细节,从而基于结点驱动的网格变形技术、拉普拉斯网格变形技术和顶点位移技术,使得配准的结果不仅较好地维持了模板的拓扑结构,同时能够捕捉目标模型的几何细节,有效解决传统三维人脸配准方法无法获取目标模型几何细节的问题。
其次参照附图描述根据本发明实施例提出的三维人脸的非刚性配准装置。
图6是本发明一个实施例的三维人脸的非刚性配准装置的结构示意图。
如图6所示,该三维人脸的非刚性配准装置10包括:形变模块100、求交模块200、寻找模块300和位移模块400。
其中,形变模块100用于通过结点驱动的网格变形方式,对输入的三维人脸模板进行非刚性形变,得到结点驱动的结果。求交模块200用于为目标扫描建立一颗八叉树,并用于结点驱动的结果上的顶点沿着法向和目标模型求交。寻找模块300用于在迭代过程中,为模板上每个顶点沿着法向寻找在目标模型上的对应点,接以对应点作为约束,对模板网格进行拉普拉斯变形,直至满足预设迭代条件,获得与目标模型表面贴近的中间结果。位移模块400用于根据中间结果,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终非刚性配准结果。本发明实施例的装置10基于结点驱动的网格变形技术、拉普拉斯网格变形技术和顶点位移技术,使得配准的结果不仅较好地维持了模板的拓扑结构,同时能够捕捉目标模型的几何细节,有效解决传统三维人脸配准方法无法获取目标模型几何细节的问题。
进一步地,在本发明的一个实施例中,本发明实施例的装置10还包括:渲染模块。其中,渲染模块用于通过对目标模型进行多视角渲染,检测出人脸特征点三维位置,以进行目标模型的人脸姿态估计。
进一步地,在本发明的一个实施例中,求交模块200进一步用于确定目标模型的包围盒,包围盒包含目标模型的所有三角面片;对包围盒进行递归切分,每次将一个大立方体分成八个小立方体,使得每个小立方体各自含有多个三角面片,如果当前的小立方体所包含的面片数量低于预设阈值,则停止切分,否则继续切成八个更小的立方体,直到立方体所含面片的数量低于预设阈值。
进一步地,在本发明的一个实施例中,本发明实施例的装置10还包括:检测模块。其中,检测模块用于在构造八叉树之后,检测每个立方体是否和直线相交,如果和直线不相交,则结束计算。
需要说明的是,前述对三维人脸的非刚性配准方法实施例的解释说明也适用于该实施例的三维人脸的非刚性配准装置,此处不再赘述。
根据本发明实施例提出的三维人脸的非刚性配准装置,通过对目标模型的多视角渲染,自动获取目标模型人脸特征点的三维位置,避免手动标记的繁琐工作与人为误差;通过为目标模型建立八叉树,极大地提高了直线和三角面片的几何求交运算速度;在和目标模型几何形状基本接近的中间变形结果基础之上,通过顶点位移技术,捕捉目标模型的几何细节,从而基于结点驱动的网格变形技术、拉普拉斯网格变形技术和顶点位移技术,使得配准的结果不仅较好地维持了模板的拓扑结构,同时能够捕捉目标模型的几何细节,有效解决传统三维人脸配准方法无法获取目标模型几何细节的问题。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种三维人脸的非刚性配准方法,其特征在于,包括以下步骤:
通过结点驱动的网格变形方式,对输入的三维人脸模板进行非刚性形变,得到结点驱动的结果;
为目标扫描建立一颗八叉树,并用于所述结点驱动的结果上的顶点沿着法向和目标模型求交;
在迭代过程中,为模板上每个顶点沿着法向寻找在所述目标模型上的对应点,接以所述对应点作为约束,对模板网格进行拉普拉斯变形,直至满足预设迭代条件,获得与所述目标模型表面贴近的中间结果;以及
根据所述中间结果,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终非刚性配准结果;
所述为目标扫描建立一颗八叉树,并用于所述结点驱动的结果上的顶点沿着法向和目标模型求交,包括:
确定所述目标模型的包围盒,所述包围盒包含所述目标模型的所有三角面片;
对所述包围盒进行递归切分,每次将一个大立方体分成八个小立方体,使得每个小立方体各自含有多个三角面片,如果当前的小立方体所包含的面片数量低于预设阈值,则停止切分,否则继续切成八个更小的立方体,直到立方体所含面片的数量低于所述预设阈值;
在构造所述八叉树之后,还包括:
检测每个立方体是否和直线相交;
如果和所述直线不相交,则结束计算;
在八叉树构造完成后,得到多个不同尺寸的立方体,在判断直线和目标模型上某一个面片相交时,先检测和直线相交的立方体,如果立方体和直线不相交,则判断得到立方体所含的面片与直线不相交结果。
2.根据权利要求1所述的方法,其特征在于,还包括:
通过对所述目标模型进行多视角渲染,检测出人脸特征点三维位置,以进行目标模型的人脸姿态估计。
3.一种三维人脸的非刚性配准装置,其特征在于,包括:
形变模块,用于通过结点驱动的网格变形方式,对输入的三维人脸模板进行非刚性形变,得到结点驱动的结果;
求交模块,用于为目标扫描建立一颗八叉树,并用于所述结点驱动的结果上的顶点沿着法向和目标模型求交;
寻找模块,用于在迭代过程中,为模板上每个顶点沿着法向寻找在所述目标模型上的对应点,接以所述对应点作为约束,对模板网格进行拉普拉斯变形,直至满足预设迭代条件,获得与所述目标模型表面贴近的中间结果;以及
位移模块,用于根据所述中间结果,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终非刚性配准结果;
所述求交模块进一步用于确定所述目标模型的包围盒,所述包围盒包含所述目标模型的所有三角面片;对所述包围盒进行递归切分,每次将一个大立方体分成八个小立方体,使得每个小立方体各自含有多个三角面片,如果当前的小立方体所包含的面片数量低于预设阈值,则停止切分,否则继续切成八个更小的立方体,直到立方体所含面片的数量低于所述预设阈值;
还包括:
检测模块,用于在构造所述八叉树之后,检测每个立方体是否和直线相交,如果和所述直线不相交,则结束计算;
在八叉树构造完成后,得到多个不同尺寸的立方体,在判断直线和目标模型上某一个面片相交时,先检测和直线相交的立方体,如果立方体和直线不相交,则判断得到立方体所含的面片与直线不相交结果。
4.根据权利要求3所述的装置,其特征在于,还包括:
渲染模块,用于通过对所述目标模型进行多视角渲染,检测出人脸特征点三维位置,以进行目标模型的人脸姿态估计。
CN201911114894.6A 2019-11-14 2019-11-14 三维人脸的非刚性配准方法及装置 Active CN111145225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911114894.6A CN111145225B (zh) 2019-11-14 2019-11-14 三维人脸的非刚性配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911114894.6A CN111145225B (zh) 2019-11-14 2019-11-14 三维人脸的非刚性配准方法及装置

Publications (2)

Publication Number Publication Date
CN111145225A CN111145225A (zh) 2020-05-12
CN111145225B true CN111145225B (zh) 2023-06-06

Family

ID=70517133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911114894.6A Active CN111145225B (zh) 2019-11-14 2019-11-14 三维人脸的非刚性配准方法及装置

Country Status (1)

Country Link
CN (1) CN111145225B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013174671A1 (en) * 2012-05-22 2013-11-28 Telefonica, S.A. A method and a system for generating a realistic 3d reconstruction model for an object or being
EP3131060A1 (en) * 2015-08-14 2017-02-15 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976453A (zh) * 2010-09-26 2011-02-16 浙江大学 一种基于gpu的三维人脸表情合成方法
CN106934824B (zh) * 2017-03-16 2019-12-17 天津大学 可变形物体的全局非刚性配准与重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013174671A1 (en) * 2012-05-22 2013-11-28 Telefonica, S.A. A method and a system for generating a realistic 3d reconstruction model for an object or being
EP3131060A1 (en) * 2015-08-14 2017-02-15 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yiyi Liao等.Deep Marching Cubes: Learning Explicit Surface Representations.《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》.2018,全文. *

Also Published As

Publication number Publication date
CN111145225A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
US7814441B2 (en) System and method for identifying original design intents using 3D scan data
Guo et al. A survey on algorithms of hole filling in 3D surface reconstruction
CN107123164B (zh) 保持锐利特征的三维重建方法及系统
Benkő et al. Algorithms for reverse engineering boundary representation models
Labatut et al. Robust and efficient surface reconstruction from range data
US8699787B2 (en) Method and system for generating a 3D model from images
Lee et al. Point data reduction using 3D grids
Béchet et al. Generation of a finite element MESH from stereolithography (STL) files
US9171400B2 (en) Creating a surface from a plurality of 3D curves
Di Angelo et al. A new mesh-growing algorithm for fast surface reconstruction
Song et al. A progressive point cloud simplification algorithm with preserved sharp edge data
JP2013507679A (ja) 三次元物体モデルの3dプリントが可能な方法及びシステム
Qiu et al. An adaptive down-sampling method of laser scan data for scan-to-BIM
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
Li et al. On surface reconstruction: A priority driven approach
Branch et al. A hole-filling algorithm for triangular meshes using local radial basis function
CN114429535A (zh) 一种三角网格曲面的光滑裁剪方法及装置
JP4175536B2 (ja) 境界データの内外判定方法とそのプログラム
CN111145225B (zh) 三维人脸的非刚性配准方法及装置
EP4092557A1 (en) Parameterization of digital irregular freeform geometries
Xia et al. A novel approach for computing exact visual hull from silhouettes
CN112634458A (zh) 一种基于特征显著性评价的口腔模型点云精简方法
Sturzlinger Ray-tracing triangular trimmed free-form surfaces
Ng et al. Incremental tessellation of trimmed parametric surfaces
Shi et al. An integration method for scanned multi-view range images (MRIs) based on local weighted least squares (LWLS) surface fitting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant