CN106164979B - 一种三维人脸重建方法及系统 - Google Patents

一种三维人脸重建方法及系统 Download PDF

Info

Publication number
CN106164979B
CN106164979B CN201580008078.0A CN201580008078A CN106164979B CN 106164979 B CN106164979 B CN 106164979B CN 201580008078 A CN201580008078 A CN 201580008078A CN 106164979 B CN106164979 B CN 106164979B
Authority
CN
China
Prior art keywords
dimensional
imaging unit
point cloud
dimensional imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580008078.0A
Other languages
English (en)
Other versions
CN106164979A (zh
Inventor
刘晓利
何懂
陈海龙
彭翔
徐晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Publication of CN106164979A publication Critical patent/CN106164979A/zh
Application granted granted Critical
Publication of CN106164979B publication Critical patent/CN106164979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/52—Parallel processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于图像处理技术领域，提供了一种三维人脸重建方法及系统，包括：在被测人脸左右两侧分别设置相同配置的三维成像单元；对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中。本发明实现了人脸的快速三维重建，提高了人脸三维重建的处理效率。

Description

一种三维人脸重建方法及系统
技术领域
本发明属于计算机图形技术领域，尤其涉及一种三维人脸重建方法及系统。
背景技术
随着计算机图形技术的发展，三维人脸建模成为计算机图形学领域的一个研究热点。三维人脸建模逐渐被推广应用至虚拟现实、影视制作、医疗整形、人脸识别、游戏娱乐等诸多领域，具有很强的应用价值。
在三维人脸建模过程中，光学三维成像技术因其具有非侵犯性、数据采集速度快、测量精度高等优点，被技术人员所广泛采用，其中，基于条纹投影的三维成像技术已经获得了基本成熟的应用，然而，该方法的数据测量速度低，导致三维人脸建模的效率受到影响。
发明内容
本发明实施例提供一种三维人脸重建方法及装置，旨在解决目前基于条纹投影的三维成像技术数据测量速度低，导致三维人脸建模的效率受到影响的问题。
本发明实施例是这样实现的，一种三维人脸重建方法，包括：
在被测人脸左右两侧分别设置相同配置的三维成像单元；
对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；
通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；
利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；
根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建。
本发明实施例的另一目的在于提供一种三维人脸重建系统，包括：
设置单元，用于在被测人脸左右两侧分别设置相同配置的三维成像单元；
标定单元，用于对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；
采集单元，用于通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；
映射单元，用于利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；
重建单元，用于根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建。
在本发明实施例中，在对人脸进行三维重建的过程中，可以避免依据共轭极线和相位值对对应点进行查找的过程，实现人脸的快速三维重建，同时，通过标定左右两个三维成像单元之间的变换关系，实现了左右两侧三维数据的自动匹配，提高了人脸三维重建的处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的三维人脸重建方法的实现流程图；
图2是本发明实施例提供的三维成像单元设置示意图；
图3是本发明实施例提供的三维人脸重建方法S102的具体实现流程图；
图4是本发明实施例提供的三维人脸重建方法S102的原理示意图；
图5是本发明实施例提供的三维人脸重建方法处理流程示意图；
图6是本发明实施例提供的的三维人脸重建系统的结构框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的三维人脸重建方法的实现流程，详述如下：
在S101中，在被测人脸左右两侧分别设置相同配置的三维成像单元。
在本实施例中，如图2所示，在被测人脸的左右两侧均布设相同配置的三维成像单元，用于分别获取被测人脸左右两侧的三维点云数据。具体地，每个三维成像单元由一个投影仪和一个工业相机构成，其中，将投影仪视为反向相机，而相机通过GigE端口与计算机连接，将采集得到的图像传输至计算机中处理。示例性地，每个三维成像单元中，投影仪与相机光轴之间的角度约为30度。在本发明实施例中，为了实现图像序列的同步采集，通过设置如图2所示的投影采集控制单元，来同步控制投影仪的图像投射动作及相机的图像采集动作。
在S102中，对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系。
由于布设在被测人脸左右两侧的三维成像单元的配置相同，因此，对于这两个处于不同位置的三维成像单元来说，在双目标定过程中有着相同的标定方式，且根据双目标定的结果，可以确定这两个三维成像单元采集的三维点云坐标之间的变换关系。
在S102中，将表面印有已知三维坐标的基准点的平面标靶摆放在不同方位，控制两个三维成像单元依次对标靶进行均匀光照明，以及投射相移和格雷码结构光，并同时控制相机采集每个方位下的均匀光照和变形结构光图像，在此基础上，再对每个三维成像单元拟合三维点云数据坐标与相位之间的多项式关系。
具体地，如图3所示：
在S301中，基于预设的双目成像模型，确定所述相机的相机位置与所述投影仪的投影芯片位置的点对应关系及每个所述三维成像单元的系统参数。
根据文献“基于互补型光栅编码的相位展开，孙学真，邹小平，光学学报，第28卷，第10期”中提供的双目标定方法，将图2所示的每个三维成像单元中的投影仪看成反向相机，有以下双目成像模型：
该双目成像模型确定了相机位置mc及投影芯片位置mp的同名点对应关系根据该双目成像模型，可以分别得到左右两个三维成像单元的系统参数(Rcl,tcl,Kcl,δcl,Rsl,tsl,Kpl,δpl)和(Rcr,tcr,Kcr,δcr,Rsr,tsr,Kpr,δpr)。
在S302中，对所述相机任意像素位置的像素点，由所述系统参数确定从光心射出并经过该像素的射线，在所述射线的测量范围内抽样N个不同的三维点云坐标，所述N为大于1的整数。
在S303中，根据所述点对应关系，将所述三维点云坐标投影到所述投影芯片，得到所述三维点云坐标对应的相位，建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系。
首先，对于投影芯片来说，其相位分布是由生成的理想条纹得到的，与三维场景无关，且沿三维点云坐标呈线性分布，因此，对于已经完成双目标定的三维成像单元来说，可以用闭区间连续函数来表示每个像素的相位与其三维点云坐标的对应关系。由Weierstrass逼近定理可知，任何闭区间连续函数都可以用多项式来逼近表达，因此，用相位的多项式来逼近表示一个像素对应的三维点云坐标：
多项式系数a0,a1,a2…、b0,b1,b2…、c0,c1,c2…表示了相位和三维点云坐标Xw(xw,yw,zw)之间的n阶多项式映射关系。
其次，对于相机来说，如图4所示，对其任意像素位置(,j)的像素点，由其系统参数确定的从光心射出并经过该像素点的射线为在此射线的测量范围内抽样N个不同的三维点云坐标Xwk(xwk,ywk,zwk)，k＝1,2,3,…,N，为了得到这些点所对应的绝对相位，根据S301中的双目成像模型，确定这些抽样点在投影芯片(DMD芯片)中的位置mpk(up,vp)，将该三维点云坐标投影到投影芯片，并根据绝对相位与投影芯片位置的线性关系(其中，Λ为相移条纹的空间周期)，可以得到其对应的相位由此，根据Weierstrass逼近定理得到该相位与三维坐标点的对应关系如下：
当抽样点N大于多项阶次n时，利用超定方程的最小二乘解来确定多项式系数a0,a1,a2…、b0,b1,b2…、c0,c1,c2…，由此来确定出三维点云坐标与相位的多项式关系。
在S304中，标定两个所述三维成像单元之间的位置变换关系：
其中，Rcl和Tcl分别为左侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，Rcr和Tcr分别为右侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，Rlr和Tlr用于分别表示两个三维成像单元之间的相互变换关系，用于进行两个三维成像单元之间的三维点云数据自动匹配。
在S103中，通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位。
在本实施例中，控制两个三维成像单元依次对被测人脸投射相移加格雷码的结构光，并同时控制相机采集变形的图像序列，得到图像序列的绝对相位。
绝对相位的获取，首先利用四步相移技术得到折叠相位然后根据互补格雷码的编码原则得到展开相位φ(i,j)，其中：
式中k1和k2分别为互补格雷码得到的两个具有互补性质的不同的折叠级次。
在S104中，利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标。
根据标定的每个像素点的相位与三维点云坐标的多项式关系，可以得到相机中每个不同像素位置(i,j)所对应的三维点云坐标Xw(yw,yw,zw)。
在S105中，根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建。
将左右两侧得到的三维点云Xl、Xr匹配到全局坐标系，该全局坐标可以以左侧的三维成像单元为基准。如下所示：
由此，便实现了左右侧三维成像单元的Xgr，Xgl坐标系的统一，完成了被测人脸的三维重建。
此外，作为本发明的一个实施例，由于上述的三维人脸重建过程对于相机成像面的每个像素来说都是相互独立的，每个像素位置根据采集得到的图像序列和标定的多项式关系，能得到该点的三维点云坐标，有着极好的并行性，因此，可以利用图形处理器(Graphics Processing Unit，GPU)加速计算并行得到整个相机面阵的三维点云数据。
上述三维人脸重建方案的处理流程示意图可如图5所示。
在本发明实施例中，在对人脸进行三维重建的过程中，可以避免依据共轭极线和相位值对对应点进行查找的过程，实现人脸的快速三维重建，同时，通过标定左右两个三维成像单元之间的变换关系，实现了左右两侧三维数据的自动匹配，提高了人脸三维重建的处理效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的三维人脸重建方法，图6示出了本发明实施例提供的三维人脸重建系统的结构框图，所述三维人脸重建系统可以为软件单元、硬件单元或者是软硬结合的单元。为了便于说明，仅示出了与本实施例相关的部分。
参照图6，该系统包括：
设置单元61，在被测人脸左右两侧分别设置相同配置的三维成像单元；
标定单元62，对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；
采集单元63，通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；
映射单元64，利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；
重建单元65，根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建。
可选地，所述设置单元61包括：
配置子单元，为每个所述三维成像单元配置一个投影仪和一个相机，且将所述投影仪用做反向的所述相机；
设置子单元，设置投影采集控制单元，用于同步控制所述投影仪的图像投射动作及所述相机的图像采集动作。
可选地，所述标定单元62包括：
确定子单元，基于预设的双目成像模型，确定所述相机的相机位置与所述投影仪的投影芯片位置的点对应关系及每个所述三维成像单元的系统参数；
抽样子单元，对所述相机任意像素位置的像素点，由所述系统参数确定从光心射出并经过该像素的射线，在所述射线的测量范围内抽样N个不同的三维点云坐标；
建立子单元，根据所述点对应关系，将所述三维点云坐标投影到所述投影芯片，得到所述三维点云坐标对应的相位，建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系。
可选地，所述标定单元62还用于：
确定所述变换关系为：
其中，Rcl和Tcl分别为左侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，Rcr和Tcr分别为右侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，Rlr和Tlr用于分别表示两个三维成像单元之间的相互变换关系。
可选地，所述系统还包括：
并行计算单元，用于利用图形处理器GPU加速计算并行处理所述图像序列中的每个像素。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种三维人脸重建方法，其特征在于，包括：
在被测人脸左右两侧分别设置相同配置的三维成像单元；
对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；
通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；
利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；
根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建；
所述在被测人脸左右两侧分别设置相同配置的三维成像单元包括：
为每个所述三维成像单元配置一个投影仪和一个相机，且将所述投影仪用做反向的所述相机；
设置投影采集控制单元，用于同步控制所述投影仪的图像投射动作及所述相机的图像采集动作；
所述对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系包括：
基于预设的双目成像模型，确定所述相机的相机位置与所述投影仪的投影芯片位置的点对应关系及每个所述三维成像单元的系统参数；
对所述相机任意像素位置的像素点，由所述系统参数确定从光心射出并经过该像素的射线，在所述射线的测量范围内抽样N个不同的三维点云坐标；
根据所述点对应关系，将所述三维点云坐标投影到所述投影芯片，得到所述三维点云坐标对应的相位，建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系。
2.如权利要求1所述的方法，其特征在于，所述确定两个所述三维成像单元采集的三维点云坐标之间的变换关系包括：
确定所述变换关系为：
其中，Rcl和Tcl分别为左侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，Rcr和Tcr分别为右侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，Rlr和Tlr用于分别表示两个三维成像单元之间的相互变换关系。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
利用图形处理器GPU加速计算并行处理所述图像序列中的每个像素。
4.一种三维人脸重建系统，其特征在于，包括：
设置单元，用于在被测人脸左右两侧分别设置相同配置的三维成像单元；
标定单元，用于对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；
采集单元，用于通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；
映射单元，用于利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；
重建单元，用于根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建；
所述设置单元包括：
配置子单元，用于为每个所述三维成像单元配置一个投影仪和一个相机，且将所述投影仪用做反向的所述相机；
设置子单元，用于设置投影采集控制单元，用于同步控制所述投影仪的图像投射动作及所述相机的图像采集动作；
所述标定单元包括：
确定子单元，用于基于预设的双目成像模型，确定所述相机的相机位置与所述投影仪的投影芯片位置的点对应关系及每个所述三维成像单元的系统参数；
抽样子单元，用于对所述相机任意像素位置的像素点，由所述系统参数确定从光心射出并经过该像素的射线，在所述射线的测量范围内抽样N个不同的三维点云坐标；
建立子单元，用于根据所述点对应关系，将所述三维点云坐标投影到所述投影芯片，得到所述三维点云坐标对应的相位，建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系。
5.如权利要求4所述的系统，其特征在于，所述标定单元还用于：
确定所述变换关系为：
其中，Rcl和Tcl分别为左侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，Rcr和Tcr分别为右侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，Rlr和Tlr用于分别表示两个三维成像单元之间的相互变换关系。
6.如权利要求4所述的系统，其特征在于，所述系统还包括：
并行计算单元，用于利用图形处理器GPU加速计算并行处理所述图像序列中的每个像素。
CN201580008078.0A 2015-07-13 2015-07-13 一种三维人脸重建方法及系统 Active CN106164979B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/083889 WO2017008226A1 (zh) 2015-07-13 2015-07-13 一种三维人脸重建方法及系统

Publications (2)

Publication Number Publication Date
CN106164979A CN106164979A (zh) 2016-11-23
CN106164979B true CN106164979B (zh) 2019-05-17

Family

ID=57348156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580008078.0A Active CN106164979B (zh) 2015-07-13 2015-07-13 一种三维人脸重建方法及系统

Country Status (3)

Country Link
US (1) US20170032565A1 (zh)
CN (1) CN106164979B (zh)
WO (1) WO2017008226A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106580472B (zh) * 2016-12-12 2019-03-26 快创科技（大连）有限公司 一种基于ar虚拟现实技术的整形手术实时捕捉系统
WO2018107427A1 (zh) * 2016-12-15 2018-06-21 深圳大学 相位映射辅助三维成像系统快速对应点匹配的方法及装置
CN106767405B (zh) * 2016-12-15 2019-07-05 深圳大学 相位映射辅助三维成像系统快速对应点匹配的方法及装置
CN106767533B (zh) * 2016-12-28 2019-07-05 深圳大学 基于条纹投影轮廓术的高效相位-三维映射方法及系统
CN107170010A (zh) * 2017-05-11 2017-09-15 四川大学 系统校准方法、装置及三维重建系统
CN108895969A (zh) * 2018-05-23 2018-11-27 深圳大学 一种手机外壳的三维检测方法及装置
CN109191505A (zh) * 2018-08-03 2019-01-11 北京微播视界科技有限公司 静态生成人脸三维模型的方法、装置、电子设备
CN109712228B (zh) * 2018-11-19 2023-02-24 中国科学院深圳先进技术研究院 建立三维重建模型的方法、装置、电子设备及存储介质
CN109712200B (zh) * 2019-01-10 2023-03-14 深圳大学 一种基于最小二乘原理及边长推算的双目定位方法及系统
CN109840486B (zh) * 2019-01-23 2023-07-21 深圳市中科晟达互联智能科技有限公司 专注度的检测方法、计算机存储介质和计算机设备
CN109816791B (zh) * 2019-01-31 2020-04-28 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109903376B (zh) * 2019-02-28 2022-08-09 四川川大智胜软件股份有限公司 一种人脸几何信息辅助的三维人脸建模方法及系统
CN109903377B (zh) * 2019-02-28 2022-08-09 四川川大智胜软件股份有限公司 一种无需相位展开的三维人脸建模方法及系统
CN109978982B (zh) * 2019-04-02 2023-04-07 广东电网有限责任公司 一种基于倾斜影像的点云快速上色方法
CN110349257B (zh) * 2019-07-16 2020-02-28 四川大学 一种基于相位伪映射的双目测量缺失点云插补方法
CN111080784B (zh) * 2019-11-27 2024-04-19 贵州宽凳智云科技有限公司北京分公司 一种基于地面图像纹理的地面三维重建方法和装置
CN113034345B (zh) * 2019-12-25 2023-02-28 广东奥博信息产业股份有限公司 一种基于sfm重建的人脸识别方法及系统
CN111179157B (zh) * 2019-12-30 2023-09-05 东软集团股份有限公司 医学影像中面部区域的处理方法、装置及相关产品
CN111325663B (zh) * 2020-02-21 2023-11-28 深圳市易尚展示股份有限公司 基于并行架构的三维点云匹配方法、装置和计算机设备
WO2021189303A1 (zh) * 2020-03-25 2021-09-30 深圳市汇顶科技股份有限公司 数据采集装置、人脸识别装置、设备、方法及存储介质
CN111462331B (zh) * 2020-03-31 2023-06-27 四川大学 扩展对极几何并实时计算三维点云的查找表方法
CN111462309B (zh) * 2020-03-31 2023-12-19 深圳市新镜介网络有限公司 三维人头的建模方法、装置、终端设备及存储介质
CN111583323B (zh) * 2020-04-30 2023-04-25 深圳大学 一种单帧结构光场三维成像方法和系统
CN111899326A (zh) * 2020-06-18 2020-11-06 苏州小优智能科技有限公司 一种基于gpu并行加速的三维重建方法
CN111932672B (zh) * 2020-09-14 2021-03-09 江苏原力数字科技股份有限公司 一种基于机器学习自动生成超写实3d面部模型的方法
CN112099002B (zh) * 2020-09-18 2021-07-27 欧必翼太赫兹科技(北京)有限公司 三维异形平面孔径全息成像安检雷达光学重建方法
CN113345039B (zh) * 2021-03-30 2022-10-28 西南电子技术研究所（中国电子科技集团公司第十研究所） 三维重建量化结构光相位图像编码方法
CN112884889B (zh) * 2021-04-06 2022-05-20 北京百度网讯科技有限公司 模型训练、人头重建方法，装置，设备以及存储介质
CN113706686B (zh) * 2021-07-09 2023-07-21 苏州浪潮智能科技有限公司 一种三维点云重建结果补全方法及相关组件
CN114119549B (zh) * 2021-11-26 2023-08-29 卡本(深圳)医疗器械有限公司 一种多模态医学图像三维点云配准优化方法
CN114459380B (zh) * 2022-01-25 2023-06-02 清华大学深圳国际研究生院 一种获取折叠相位的方法、三维重建的方法及系统
CN115063468B (zh) * 2022-06-17 2023-06-27 梅卡曼德（北京）机器人科技有限公司 双目立体匹配方法、计算机存储介质以及电子设备
CN116664796B (zh) * 2023-04-25 2024-04-02 北京天翔睿翼科技有限公司 轻量级头部建模系统及方法
CN116862999B (zh) * 2023-09-04 2023-12-08 华东交通大学 一种双摄像机三维测量的标定方法、系统、设备和介质
CN116993948B (zh) * 2023-09-26 2024-03-26 粤港澳大湾区数字经济研究院(福田) 一种人脸三维重建方法、系统及智能终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654391A (zh) * 2012-01-17 2012-09-05 深圳大学 基于光束平差原理的条纹投影三维测量系统及其标定方法
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269928A (ja) * 2002-03-12 2003-09-25 Nec Corp ３次元形状計測方法および装置ならびにプログラム
US6701006B2 (en) * 2002-06-26 2004-03-02 Nextengine, Inc. Apparatus and method for point cloud assembly
US8050491B2 (en) * 2003-12-17 2011-11-01 United Technologies Corporation CAD modeling system and method
CN101466998B (zh) * 2005-11-09 2015-09-16 几何信息学股份有限公司 三维绝对坐标表面成像的方法和装置
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
CN100468465C (zh) * 2007-07-13 2009-03-11 中国科学技术大学 基于虚拟图像对应的立体视觉三维人脸建模方法
JP5583761B2 (ja) * 2009-06-01 2014-09-03 ホスラー ゲルト 動的基準フレームを用いた３次元表面検出方法及び装置
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
GB2483285A (en) * 2010-09-03 2012-03-07 Marc Cardle Relief Model Generation
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
CN102175179A (zh) * 2011-02-23 2011-09-07 东南大学 一种人体表面轮廓三维重建的方法与装置
US8897502B2 (en) * 2011-04-29 2014-11-25 Aptina Imaging Corporation Calibration for stereoscopic capture system
CN103971408B (zh) * 2014-05-21 2017-05-03 中国科学院苏州纳米技术与纳米仿生研究所 三维人脸模型生成系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654391A (zh) * 2012-01-17 2012-09-05 深圳大学 基于光束平差原理的条纹投影三维测量系统及其标定方法
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于互补型光栅编码的相位展开;孙学珍 等;《光学学报》;20081031;第28卷(第10期);第1947-1951页
用于可移动文物真实感成像的光学三维数字化仪;李阿蒙 等;《光子学报》;20131231;第42卷(第12期);第1421-1429页

Also Published As

Publication number Publication date
US20170032565A1 (en) 2017-02-02
WO2017008226A1 (zh) 2017-01-19
CN106164979A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN106164979B (zh) 一种三维人脸重建方法及系统
CN110383340B (zh) 使用稀疏体积数据进行路径规划
CN107170043B (zh) 一种三维重建方法
CN113228114A (zh) 计算机视觉系统
WO2018018363A1 (zh) 一种结构光场三维成像方法及其系统
CN102654391B (zh) 基于光束平差原理的条纹投影三维测量系统及其标定方法
CN113012277B (zh) 一种基于dlp面结构光多相机重建方法
CN104616345A (zh) 一种基于八叉树森林压缩的三维体素存取方法
CN110567398A (zh) 双目立体视觉三维测量方法及系统、服务器及存储介质
CN107707899B (zh) 包含运动目标的多视角图像处理方法、装置及电子设备
CN109186492A (zh) 基于单相机的三维重建方法、装置及系统
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
CN102542600A (zh) 一种基于cuda技术的仿真投影drr生成方法
CN104574509A (zh) 一种由投影重建物体三维图像的方法
ES2700975T3 (es) Procedimiento de mediciones tridimensionales por estereocorrelación que usa una representación paramétrica del objeto medido
Wu et al. A camera calibration method based on OpenCV
Zheng et al. Positioning sensor by combining photogrammetry, optical projection and a virtual camera model
CN112562007B (zh) 一种基于三目约束的包裹相位非展开快速立体匹配方法
CN104732484A (zh) 一种基于空间平面特征的地面站点云拼接方法
Fangi Towards an easier orientation for spherical photogrammetry
Tamboli et al. Towards euclidean auto-calibration of stereo camera arrays
CN109341530A (zh) 一种双目立体视觉中物点定位方法及系统
CN115442518B (zh) 用于场景重建的拍摄控制方法、装置及可读存储介质
Dong et al. Research on imaging model and unwrapping algorithm of catadioptrio-mnidirectional vision system
Jiang et al. A joint calibration method for monocular speckle structured light system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant