CN109978984A - 人脸三维重建方法及终端设备 - Google Patents
人脸三维重建方法及终端设备 Download PDFInfo
- Publication number
- CN109978984A CN109978984A CN201711450523.6A CN201711450523A CN109978984A CN 109978984 A CN109978984 A CN 109978984A CN 201711450523 A CN201711450523 A CN 201711450523A CN 109978984 A CN109978984 A CN 109978984A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- face
- pixel
- information
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Abstract
本发明适用于计算机技术领域，提供了一种人脸三维重建方法及终端设备。该方法包括：获取人脸三维点云；建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充；所述二维深度图像中各像素点的像素信息与所述人脸三维点云中对应坐标点的深度信息相对应；获取人脸二维图像，根据所述人脸二维图像从信息补充后的人脸三维点云中提取三维人脸特征点信息；根据信息补充后的人脸三维点云、所述人脸二维图像和所述三维人脸特征点信息，构建人脸三维模型。本发明计算过程简单，重建过程耗时短，能够快速构建高精度的人脸三维模型。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种人脸三维重建方法及终端设备。
背景技术
人脸是情感表达和身份识别的重要部分，随着计算机图形学的发展，针对特定人脸的三维重建开始在许多领域被广泛应用，例如虚拟试戴、虚拟社交、影视动画、3D打印和医学整形等。虚拟试戴使用增强现实技术(Augmented Reality，AR)把3D产品迭加到客户数字化人脸上，头部动作与3D产品同步交互，展示出逼真的穿戴效果，可以快速展现不同的3D产品款式，足不出户，完成选款和定制；虚拟社交是虚拟现实(Virtual Reality，VR)领域的一个重要应用，个性化的数字人脸可以被应用在虚拟社交中，增强虚拟社交的真实性与互动性，优化用户的VR体验；电影、动画、游戏视频制作中使用个性化数字人脸代替其中的角色，可以增强用户体验的趣味性；数字化人脸可以直接用于3D打印，定制打印出用户自己的人脸三维模型，供观赏以及收藏；用户或者整形医生可以编辑数字化人脸，比如微调鼻梁的高度、调整脸型等，360°实时观察审视编辑效果，快速得到满意的形象设计。
人脸三维重建是通过扫描人脸得到人脸的三维信息，由于扫描得到的人脸三维信息存在误差或缺失等，需要先对人脸三维信息进行算法处理，再根据处理后的三维信息利用三维模型构建方法构建出人脸三维模型。目前人脸三维重建方法计算复杂，重建过程耗时长，构建的人脸三维模型精度低。
发明内容
有鉴于此，本发明实施例提供了人脸三维重建方法及终端设备，以解决目前人脸三维重建方法计算复杂，重建过程耗时长，构建的人脸三维模型精度低的问题。
本发明实施例的第一方面提供了人脸三维重建方法，包括：
获取人脸三维点云；
建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充；所述二维深度图像中各像素点的像素信息与所述人脸三维点云中对应坐标点的深度信息相对应；
获取人脸二维图像，根据所述人脸二维图像从信息补充后的人脸三维点云中提取三维人脸特征点信息；
根据信息补充后的人脸三维点云、所述人脸二维图像和所述三维人脸特征点信息，构建人脸三维模型。
本发明实施例的第二方面提供了人脸三维重建装置，包括：
获取模块，用于获取人脸三维点云；
计算模块，用于建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充；所述二维深度图像中各像素点的像素信息与所述人脸三维点云中对应坐标点的深度信息相对应；
提取模块，用于获取人脸二维图像，根据所述人脸二维图像从信息补充后的人脸三维点云中提取三维人脸特征点信息；
构建模块，用于根据信息补充后的人脸三维点云、所述人脸二维图像和所述三维人脸特征点信息，构建人脸三维模型。
本发明实施例的第三方面提供了人脸三维重建终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中的人脸三维重建方法。
本发明实施例的第四方面提供了计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的人脸三维重建方法。
本发明实施例与现有技术相比存在的有益效果是：通过建立人脸三维点云与二维深度图像的映射关系，根据二维深度图像对人脸三维点云进行信息补充，能够使人脸三维点云中坐标点的信息更加全面，进而使人脸三维点云中提取到的三维人脸特征点信息更加精准；通过根据信息补充后的人脸三维点云、人脸二维图像和三维人脸特征点信息，构建人脸三维模型，实现快速精准的人脸三维重建。本发明实施例计算过程简单，重建过程耗时短，能够快速构建高精度的人脸三维模型。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人脸三维重建方法的实现流程图；
图2是本发明实施例提供的曝光时间太长导致条纹边界被侵蚀的示意图；
图3是本发明实施例提供的条纹宽度太小导致条纹模糊的示意图；
图4是本发明一个实施例提供的人脸三维重建方法中对人脸三维点云进行信息补充的实现流程图；
图5是本发明另一实施例提供的人脸三维重建方法中对人脸三维点云进行信息补充的实现流程图；
图6是本发明实施例提供的对人脸三维点云进行信息补充的过程示意图；
图7是本发明实施例提供的人脸三维重建方法中人脸三维模型的实现流程图；
图8是本发明实施例提供的人脸三维重建方法中对三维形变模型进行拟合的实现流程图；
图9是本发明实施例提供的人脸三维重建方法中对人脸三维网格进行贴图处理的实现流程图；
图10是本发明实施例提供的人脸三维重建装置的示意图；
图11是本发明实施例提供的人脸三维重建终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1为本发明实施例提供的人脸三维重建方法的实现流程图，详述如下：
在S101中，获取人脸三维点云。
在本实施例中，可以通过人脸扫描方法对人脸进行扫描，来获取人脸三维点云，也可以从人脸三维点云数据库中获取人脸三维点云。其中，人脸扫描方法包括但不限于时差测距法(Time of Flight，TOF)、立体视觉方法和结构光扫描方法。
时差测距法使用3D雷射扫描仪发射雷射光脉冲，雷射光打到物体表面后进行反射，再由仪器内的探测器接收反射讯号，并记录时间，计算出仪器到物体表面距离，即物体的深度。时差测距扫描仪造价高，图像分辨率低。立体视觉方法使用两个放在一起的摄影机，平行注视待扫描的物体。此方法在原理上，类似人类借由双眼感知的影像相叠推算深度，若已知两个摄影机的彼此间距与焦距长度，而截取的左右两张图片又能成功叠合，则可推得深度信息。这种方法计算复杂，指令周期慢。
结构光扫描方法通过基于结构光的3D扫描仪将一维或二维的图像投影至被测物上，根据图像的形变情形，判断被测物的表面形状，可以非常快速的进行扫描，相对于一次测量一点的探头扫描，此种方法可以一次测量多点或大片区域，故能用于动态测量。这种方法速度快，测量精度高，但是为了获得完整的人脸三维模型，需要从几个不同的位置对人脸进行扫描，得到不同的深度图像后配准到一个坐标系下，配准过程耗时长，鲁棒性也不好。
作为本发明的一个实施例，在S101之前，还可以包括：
通过结构光扫描方法对人脸进行扫描，获得所述人脸三维点云；其中，所述结构光扫描方法中结构光的最小条纹宽度大于或等于预设宽度阈值；所述结构光扫描方法中结构光的曝光时间为自适应调节的曝光时间。
具体地，可以通过基于结构光的人脸扫描系统来实现结构光扫描方法。人脸扫描系统可以包括DLP(Digital Light Processing，数字光处理)投影和图像传感器。DLP投影将一系列编码的二维条纹图像投影至人脸，DLP投影每投射一张条纹图像，图像传感器拍摄一张附加了条纹的人脸二维图像。
传统的Gray Code编码条纹(格雷码)对环境光的影响比较敏感。如果图像传感器曝光时间过短，则拍摄到的条纹图像对比度不够，导致条纹译码错误，使生成的人脸三维点云噪声增多；如果图像传感器的曝光时间过长，则拍摄到的图像就会出现高亮区域，条纹边界被侵蚀，导致条纹译码错误，如图2所示。此外，对于高频的条纹(条纹宽度比较小)，存在次表面反射以及散射的问题，或出现条纹模糊，导致条纹译码错误，如图3所示。
针对上述问题，本实施例提出了基于自适应曝光时间和最小条纹宽度限制的结构光扫描方法。人脸扫描系统可以采用11位编码方式，在2003年Goddyn在《Binary graycodes with long bit runs》中证明了如果要构造11位的编码，条纹最小宽度为8。因此，在本实施例中预设宽度阈值可以设为8。
自适应调节曝光时间的步骤具体可以为，通过将第一比值与预设比值进行对比，调节所述结构光的曝光时间；所述第一比值为扫描到的人脸图像中亮度值大于预设亮度阈值的像素点个数在总像素点个数中所占的比值。例如，DLP投影首先投射一张全亮图像，图像传感器进行图像采集，人脸扫描系统对图像像素的亮度分布进行分析。如果亮度值超过预设亮度阈值(如220、250等)的像素个数在总像素点个数中所占的比值大于预设比值(如30％、35％等)，则减小曝光时间，反之则增大曝光时间。如此反复调节，直到第一比值小于预设比值为止，此时的曝光时间即为自适应调节后的曝光时间，采用此曝光时间对人脸进行结构光扫描。
本实施例通过采用基于自适应曝光时间和最小条纹宽度限制的结构光扫描方法，只需要对人脸正面进行一次快速扫描，就能得到精准的人脸三维点云，能够克服传统结构光扫描方法需要多次从不同位置进行人脸扫描的问题，同时省去将不同的深度图像配准到一个坐标系下的配准过程，能够减少结构光扫描方法的处理时间，提高扫描效率，并且能够改善鲁棒性，提高扫描精度。
在S102中，建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充；所述二维深度图像中各像素点的像素信息与所述人脸三维点云中对应坐标点的深度信息相对应。
在本实施例中，建立人脸三维点云与二维深度图像的映射关系，可以是根据人脸三维点云映射生成二维深度图像，也可以是将人脸三维点云与预置的二维深度图像建立映射关系。人脸三维点云中各个坐标点与二维深度图中的各个像素点为一一对应关系。具体可以通过对二维深度图像中像素点的像素信息进行信息补充，再根据信息补充后的二维深度图像以及人脸三维点云与二维深度图像的映射关系，对人脸三维点云进行信息补充。
本实施例中，人脸扫描系统对附加了条纹的人脸二维图像进行解码，利用三角法重构出人脸的三维信息，得到人脸三维点云。在此过程中，可以将人脸三维点云的分辨率与投影仪的分辨率设置相同，人脸三维点云与二维图像之间存在一一映射关系。由于光线遮挡、空间遮挡、图像解码存在错误等，初始生成的人脸三维点云通常存在噪声，部分坐标点的深度信息缺失，影响人脸三维重建的精度。本实施例利用人脸三维点云与二维深度图像的映射关系，根据二维深度图像对人脸三维点云进行信息补充，使人脸三维点云的信息得到有效补充，进而提高人脸三维重建的精度。
作为本发明的一个实施例，如图4所示，S102可以包括：
在S401中，建立所述人脸三维点云与所述二维深度图像的映射关系。
在S402中，从所述二维深度图像中查找第一像素点；所述第一像素点为缺失深度信息的像素点。
在本实施例中，人脸三维点云中存在深度信息缺失的坐标点，这些坐标点与二维深度图像中缺失深度信息的第一像素点为映射关系。可以通过查找二维深度图像中深度信息缺失的像素点来查找第一像素点。可选地，从二维深度图像中查找所有第一像素点。
在S403中，根据第一预设范围内像素点的像素点信息，计算各个第一像素点的像素点信息；其中，所述第一预设范围根据各个第一像素点确定。
在本实施例中，第一预设范围可以是第一像素点周围的环形区域、矩形区域或圆形区域等。例如，第一预设范围可以是以第一像素点为中心，范围内像素点总个数为n×n的矩形区域。像素点信息可以包括像素点的坐标信息和像素点的深度信息。可以根据第一预设范围内除第一像素点之外的像素点的坐标信息计算对应的第一像素点的坐标信息，根据第一预设范围内除第一像素点之外的像素点的深度信息计算对应的第一像素点的深度信息。
在S404中，根据计算出的各个第一像素点的像素点信息对所述二维深度图像进行信息补充。
在S405中，根据所述人脸三维点云与所述二维深度图像的映射关系和信息补充后的二维深度图像，对所述人脸三维点云进行信息补充。
其中，可以根据人脸三维点云与二维深度图像的映射关系和信息补充后的二维深度图像，对人脸三维点云中深度信息缺失的坐标点进行信息补充，也可以根据人脸三维点云与二维深度图像的映射关系和信息补充后的二维深度图像，重新映射生成人脸三维点云。
本实施例在二维深度图像中查找到所有深度信息缺失的像素点，根据各个深度信息缺失的像素点周围的像素点信息重新计算各个深度信息缺失的像素点，对二维深度图像进行信息补充，再根据信息补充后的二维深度图像对人脸三维点云进行信息补充，获得全面精准的人脸三维点云，进而提高人脸三维重建的精度。
作为本发明的另一实施例，如图5所示，S102可以包括：
在S501中，建立所述人脸三维点云与所述二维深度图像的映射关系。
在S502中，从二维深度图像中查找第二像素点，所述第二像素点为缺失深度信息的像素点。
在本实施例中，人脸三维点云中存在深度信息缺失的坐标点，这些坐标点与二维深度图像中缺失深度信息的第二像素点为映射关系。可以通过查找二维深度图像中深度信息缺失的像素点来查找第二像素点。可选地，从二维深度图像中查找所有第二像素点。
在S503中，计算各个第二预设范围内的第三像素点个数；每个所述第二预设范围对应一个第二像素点，每个所述第二预设范围对应的区域为：以第二像素点为中心，总像素点个数为n×n的矩形区域；所述第三像素点为第二预设范围对应区域的对角线位置上未缺失深度信息的像素点。
其中，n为正整数。例如，若第二预设范围为3×3的矩形区域，则对角线位置上除第二像素点外共有4个像素点，假设4个像素点中有1个像素点的深度信息缺失，则其余3个像素点均为第三像素点；若第二预设范围为5×5的矩形区域，则对角线位置上除第二像素点外共有8个像素点，假设8个像素点中有2个像素点的深度信息缺失，则其余6个像素点均为第三像素点。
在S504中，根据满足预设条件的各个第二预设范围内的第三像素点的像素点信息，计算各个第四像素点的像素点信息；所述预设条件为第三像素点个数大于预设像素个数；所述第四像素点为满足预设条件的第二预设范围对应的第二像素点。
其中，预设像素个数可以根据实际进行设定。对于满足预设条件的第二预设范围，对应区域内的第三像素点的个数大于预设像素个数。通过预设条件能够对第二像素点进行区分，满足预设条件的第二预设范围对应的第二像素点定义为第四像素点，这部分像素点在该次迭代计算中进行信息补充；不满足预设条件的第二预设范围对应的第二像素点，在该次迭代计算中不进行信息补充。
例如，第二预设范围为3×3的矩形区域，预设像素个数为2，假设一个第二预设范围内第三像素点的个数为3，则该第二预设范围对应的第二像素点记为第四像素点，对该像素点进行计算；假设一个第二预设范围内第三像素点的个数为2，则该第二预设范围对应的第二像素点不为第四像素点，不计算该像素点的信息。
作为本发明的一个实施例，S504可以包括：
根据满足预设条件的各个第二预设范围内的第三像素点的像素点信息和信息补充公式，计算各个第四像素点的像素点信息；所述信息补充公式为：
其中，xo，yo，zo分别为待求的第四像素点的横坐标、纵坐标和深度信息；xmin和xmax依次为待求的第四像素点对应的所有第三像素点中横坐标的最小值和最大值；ymin和ymax依次为待求的第四像素点对应的所有第三像素点中纵坐标的最小值和最大值；为待求的第四像素点对应的所有第三像素点的深度信息之和；m为待求的第四像素点对应的第三像素点的个数。第四像素点对应的第三像素点为第四像素点对应的第二预设范围内的第三像素点。
在S505中，根据计算出的各个第四像素点的像素点信息对所述二维深度图像进行信息补充；根据所述人脸三维点云与所述二维深度图像的映射关系和信息补充后的二维深度图像，对所述人脸三维点云进行信息补充。
在S506中，判断信息补充后的人脸三维点云中是否存在深度信息缺失的坐标点，若信息补充后的人脸三维点云中存在深度信息缺失的坐标点，则跳转至建立所述人脸三维点云与所述二维深度图像的映射关系的步骤，根据信息补充后的人脸三维点云进行再次迭代；若信息补充后的人脸三维点云中不存在深度信息缺失的坐标点，则结束迭代。
在本实施例中，若信息补充后的人脸三维点云中存在深度信息缺失的坐标点，则表明通过上次迭代计算，人脸三维点云中的深度信息还没有全部补充，因此跳转到S501进行再次迭代。若信息补充后的人脸三维点云中不存在深度信息缺失的坐标点，则表明通过上次迭代计算，人脸三维点云中的深度信息全部补充完成，因此结束迭代。
下面结合图6进行示例说明。
由于光线遮挡、空间遮挡、图像解码存在错误等，导致初始生成的人脸三维点云(如图6(a)所示)存在噪声。为保证信息补全后的人脸三维点云的精度，首先对初始的人脸三维点云进行去噪处理(如图6(b)所示)。之后建立去噪处理后的人脸三维点云(图6(b))与二维深度图像(图6(c))的映射关系，其中二维深度图像中像素点的像素信息与人脸三维点云中坐标点的深度信息相对应。遍历二维深度图像(图6(c))，首先查找到缺失深度信息的像素点，再扫描缺失深度信息的像素点周围3×3区域内对角线位置上的像素。如图6(d)所示，★代表正在处理的缺失深度信息的像素点，*代表该像素点的对角线位置的像素点。如果对角线位置的有深度信息的像素点的个数大于3(即第三像素点个数大于预设像素个数，此例中预设像素个数为3)，则该像素点的像素点信息可以根据公式(1)进行计算。
通过上述过程，获得经过一次迭代后部分补全的二维深度图像(图6(e))。通过二维深度图像与人脸三维点云的映射关系，获得部分补全的人脸三维点云(图6(f))。基于上述经过一次迭代后的人脸三维点云，新一轮迭代开始，人脸三维点云被渐进的补全，直到人脸三维点云中的信息完全补充为止。
本实施例在每次迭代过程中，只扫描深度信息缺失的像素点周围的对角线位置的像素点信息，这样避免了扫描N×N网格内所有像素点，使得对人脸三维点云的信息补充的效率更高。经过实验证明，迭代过程最多进行3次就能够完成人脸三维点云的信息补充。本实施例通过扫描对角线位置上的像素点和迭代的方式对人脸三维点云进行信息补充，能够减少信息补充的时间，进而减少人脸三维重建的时间，提高人脸三维重建的速度。
在S103中，获取人脸二维图像，根据所述人脸二维图像从信息补充后的人脸三维点云中提取三维人脸特征点信息。
在本实施例中，可以通过图像采集装置获取人脸二维图像，也可以获取预先存储的人脸二维图像。根据人脸特征点检测方法从人脸二维图像中提取二维人脸特征点(如图6(j)所示)。根据提取到的二维人脸特征点和信息补充后的人脸三维点云，得到三维人脸特征点信息(如图6(k)所示)。
在S104中，根据信息补充后的人脸三维点云、所述人脸二维图像和所述三维人脸特征点信息，构建人脸三维模型。
在本实施例中，三维人脸特征点信息和人脸三维点云可以与三维形变模型进行拟合，人脸二维图像可以提取出人脸三维模型的纹理贴图。
本发明实施例通过建立人脸三维点云与二维深度图像的映射关系，根据二维深度图像对人脸三维点云进行信息补充，能够使人脸三维点云中坐标点的信息更加全面，进而使人脸三维点云中提取到的三维人脸特征点信息更加精准；通过根据信息补充后的人脸三维点云、人脸二维图像和三维人脸特征点信息，构建人脸三维模型，实现快速精准的人脸三维重建。本发明实施例计算过程简单，重建过程耗时短，能够快速构建高精度的人脸三维模型。
作为本发明的一个实施例，如图7所示，S104可以包括：
在S701中，将三维形变模型分别与所述三维人脸特征点和信息补充后的人脸三维点云进行拟合，得到人脸三维网格。
在本实施例中，通过三维形变模型分别与三维人脸特征点和信息补充后的人脸三维点云进行拟合，可以得到三维形变模型的模型参数，基于该模型参数的三维形变模型即可得到人脸三维网格。
作为本发明的一个实施例，如图8所示，S701可以包括：
在S801中，将所述三维形变模型和所述三维人脸特征点信息进行拟合，得到脸型参数和变换参数。
其中，三维形变模型的脸型参数决定模型生成的人脸形状，变换参数决定生成人脸的位置以及旋转角度。通过调整这两组参数，使模型生成的人脸三维网格可以与检测到的三维人脸特征点更接近。
在S802中，将基于所述脸型参数和所述变换参数的三维形变模型与信息补充后的人脸三维点云进行拟合，调整所述脸型参数和所述变换参数。
在本实施例中，通过调整脸型参数和变换参数，使模型生成的人脸三维网格可以与人脸三维点云更接近，从而获得更加精确的脸型参数和变换参数。
在S803中，根据变形算法和信息补充后的人脸三维点云，对基于调整后的脸型参数和变换参数的三维形变模型进行优化，得到所述人脸三维网格。
其中，变形算法包括但不限于自由变形算法(Free-Form Deformation，FFD)、直接控制自由变形算法(Dirichlet Free-Form Deformation，DFFD)、拉普拉斯坐标形变方法中的一种或多种。由于三维形变模型的形变能力有限，生成的人脸三维网格无法精确地与人脸三维点云对齐，而使用非参数化的变形算法可以很好的弥补三维形变模型的缺陷，实现更加精确的对齐效果，使得到的人脸三维网格更为精确。
本实施例通过将三维形变模型的参数拟合和变形算法的参数优化相结合，使得到的人脸三维网格更为精确，从而提高人脸三维重建的精度。
在S702中，从所述人脸二维图像中提取纹理贴图，根据所述纹理贴图对所述人脸三维网格进行贴图处理，得到所述人脸三维模型。
作为本发明的一个实施例，如图9所示，S702可以包括：
在S901中，从所述人脸二维图像中提取第一纹理贴图。
在本实施例中，从人脸二维图像中提取颜色信息，作为第一纹理贴图。由于人脸二维图像为高清图像，第一纹理贴图具有很高的分辨率。然而，由于人脸自遮挡，第一纹理贴图只包含了部分的脸部颜色信息。
在S902中，根据所述人脸三维网格对所述人脸二维图像进行重建，生成第二纹理贴图。
为了获得被遮挡部分的脸部颜色信息，可以根据人脸三维网格对人脸二维图像进行重建，生成第二纹理贴图。具体地，三维形变模型除了脸型参数与变换参数之外，另有一组颜色参数。通过调节这组颜色参数，三维形变模型可以对人脸二维图像的颜色进行重建，生成一张完整的，但分辨率相对较低的第二纹理贴图。
在S903中，融合所述第一纹理贴图和所述第二纹理贴图，生成第三纹理贴图。
将高分辨率但不完整的第一纹理贴图，与低分辨率但完整的第二纹理贴图融合在一起，就可以生成最终的第三纹理贴图。
在S904中，根据所述第三纹理贴图对所述人脸三维网格进行贴图处理，得到所述人脸三维模型。
在本实施例中，对人脸三维网格进行贴图处理的第三纹理贴图由两部分融合而成，一部分为从人脸二维图像中提取的第一纹理贴图，另一部分为人脸三维网格对人脸二维图像进行重建生成的第二纹理贴图。通过纹理贴图的融合得到既完整又清晰的第三纹理贴图，能够使人脸三维模型的颜色信息更为精确。
本发明实施例具有以下优点：
1)采用自适应曝光时间、限制最小条纹宽度的结构光，对人脸正面快速扫描一次获得高信噪比，高分辨率的正面人脸三维点云；
2)通过建立正面人脸三维点云与二维深度图像之间的映射关系，根据空间相邻区域的点云深度信息并考虑到点云空间结构信息，通过多次快速迭代拟合，补全由于光线遮挡或空间遮挡造成的点云缺失，从而获得高密度、高精度的人脸三维点云；结合二维图像特征点的对应位置信息，快速获得三维人脸特征点；
3)使用渐进形变模型拟合方法，获得逼真的人脸三维网格；首先使用三维形变模型拟合三维人脸特征点，在此基础上进一步拟合人脸三维点云，并使用非参数化的变形算法对上述三维形变模型所形成的人脸三维网格进行形状改变，获得最终的人脸三维网格；
4)提取高清人脸纹理进行贴图，获得真实的人脸模型。
本发明实施例算法简单，容易实现，硬件成本低，扫描快速，重建的人脸精度高，可以实现个性化人脸表情重建，增强用户体验。通过收集扫描生成的高精度三维人脸模型，可以创建一个专门针对亚洲人的大型的三维人脸模型数据库，该数据库可以为教育机构或者商业公司提供帮助。
本发明实施例在具体实施时，可以将三维扫描仪固定，用户在扫描仪前停留1s，扫描仪拍摄正面图像，三维人脸网格模型可以在PC机、笔记本电脑、平板电脑、手机等设备上重构并实时显示；也可以将DLP投影仪、相机、投影仪与相机之间同步的控制单元以及网格模型重构的运算单元集成在一个盒子里，扫描与计算全部在盒子里完成，生成的三维网格人脸模型通过USB传出系统外，在显示器上显示；也可以将DLP投影仪、相机、投影仪与相机之间同步的控制单元、网格模型重构的运算单元以及显示器集成在一个盒子里，扫描，计算，生成的三维网格人脸模型在显示器上显示。在此不作限定。
本发明实施例可应用于多个领域，例如网上交易三维人脸识别，使用三维人脸识别，可以提高交易的安全性；社交软件，使用真实重建的人脸，在社交网络中进行分享，提高用户体验真实感；远程视频会议，可以实现用重建的人脸代替真人出现在远程视频通讯的应用中，提高真实感；虚拟游戏，使用真实的三维人脸代替真人在虚拟游戏中互动，增强真实感和趣味性；整容行业，在真实的三维人脸上进行实时调整，可以360度无死角的实时查看整形效果，医生和病人可以更有效地交流，减少整形的失误率；虚拟试戴，在电商领域，可以用自己的三维人脸模型去选择适合自己尺寸的头饰品，比如眼镜、帽子等，改变传统的购物模式，改善用户的购物体验。
本发明实施例通过建立人脸三维点云与二维深度图像的映射关系，根据二维深度图像对人脸三维点云进行信息补充，能够使人脸三维点云中坐标点的信息更加全面，进而使人脸三维点云中提取到的三维人脸特征点信息更加精准；通过根据信息补充后的人脸三维点云、人脸二维图像和三维人脸特征点信息，构建人脸三维模型，实现快速精准的人脸三维重建。本发明实施例计算过程简单，重建过程耗时短，能够快速构建高精度的人脸三维模型。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的人脸三维重建方法，图10示出了本发明实施例提供的人脸三维重建装置的示意图。为了便于说明，仅示出了与本实施例相关的部分。
参照图4，该装置包括获取模块101、计算模块102、提取模块103和构建模块104。
获取模块101，用于获取人脸三维点云。
计算模块102，用于建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充；所述二维深度图像中各像素点的像素信息与所述人脸三维点云中对应坐标点的深度信息相对应。
提取模块103，用于获取人脸二维图像，根据所述人脸二维图像从信息补充后的人脸三维点云中提取三维人脸特征点信息。
构建模块104，用于根据信息补充后的人脸三维点云、所述人脸二维图像和所述三维人脸特征点信息，构建人脸三维模型。
优选地，该装置还包括扫描模块。扫描模块用于：
通过结构光扫描方法对人脸进行扫描，获得所述人脸三维点云；其中，所述结构光扫描方法中结构光的最小条纹宽度大于或等于预设宽度阈值；所述结构光扫描方法中结构光的曝光时间为自适应调节的曝光时间。
优选地，所述计算模块102用于：
建立所述人脸三维点云与所述二维深度图像的映射关系；
从所述二维深度图像中查找第一像素点；所述第一像素点为缺失深度信息的像素点；
根据第一预设范围内像素点的像素点信息，计算各个第一像素点的像素点信息；其中，所述第一预设范围根据各个第一像素点确定；
根据计算出的各个第一像素点的像素点信息对所述二维深度图像进行信息补充；
根据所述人脸三维点云与所述二维深度图像的映射关系和信息补充后的二维深度图像，对所述人脸三维点云进行信息补充。
优选地，所述计算模块102用于：
建立所述人脸三维点云与所述二维深度图像的映射关系；
从二维深度图像中查找第二像素点，所述第二像素点为缺失深度信息的像素点；
计算各个第二预设范围内的第三像素点个数；每个所述第二预设范围对应一个第二像素点，每个所述第二预设范围对应的区域为：以第二像素点为中心，总像素点个数为n×n的矩形区域；所述第三像素点为第二预设范围对应区域的对角线位置上未缺失深度信息的像素点；
根据满足预设条件的各个第二预设范围内的第三像素点的像素点信息，计算各个第四像素点的像素点信息；所述预设条件为第三像素点个数大于预设像素个数；所述第四像素点为满足预设条件的第二预设范围对应的第二像素点；
根据计算出的各个第四像素点的像素点信息对所述二维深度图像进行信息补充；根据所述人脸三维点云与所述二维深度图像的映射关系和信息补充后的二维深度图像，对所述人脸三维点云进行信息补充；
判断信息补充后的人脸三维点云中是否存在深度信息缺失的坐标点，若信息补充后的人脸三维点云中存在深度信息缺失的坐标点，则跳转至建立所述人脸三维点云与所述二维深度图像的映射关系的步骤，根据信息补充后的人脸三维点云进行再次迭代；若信息补充后的人脸三维点云中不存在深度信息缺失的坐标点，则结束迭代。
优选地，所述计算模块102用于：
根据满足预设条件的各个第二预设范围内的第三像素点的像素点信息和信息补充公式，计算各个第四像素点的像素点信息；所述信息补充公式为：
xo＝0.5×(xmin+xmax)
yo＝0.5×(ymin+ymax)
其中，xo，yo，zo分别为待求的第四像素点的横坐标、纵坐标和深度信息；xmin和xmax依次为待求的第四像素点对应的所有第三像素点中横坐标的最小值和最大值；ymin和ymax依次为待求的第四像素点对应的所有第三像素点中纵坐标的最小值和最大值；为待求的第四像素点对应的所有第三像素点的深度信息之和；m为待求的第四像素点对应的第三像素点的个数。
优选地，所述构建模块104包括拟合单元和贴图单元。
所述拟合单元，用于将三维形变模型分别与所述三维人脸特征点和信息补充后的人脸三维点云进行拟合，得到人脸三维网格；
所述贴图单元，用于从所述人脸二维图像中提取纹理贴图，根据所述纹理贴图对所述人脸三维网格进行贴图处理，得到所述人脸三维模型。
优选地，所述拟合单元用于：
将所述三维形变模型和所述三维人脸特征点信息进行拟合，得到脸型参数和变换参数；
将基于所述脸型参数和所述变换参数的三维形变模型与信息补充后的人脸三维点云进行拟合，调整所述脸型参数和所述变换参数；
根据变形算法和信息补充后的人脸三维点云，对基于调整后的脸型参数和变换参数的三维形变模型进行优化，得到所述人脸三维网格。
优选地，所述贴图单元用于：
从所述人脸二维图像中提取第一纹理贴图；
根据所述人脸三维网格对所述人脸二维图像进行重建，生成第二纹理贴图；
融合所述第一纹理贴图和所述第二纹理贴图，生成第三纹理贴图；
根据所述第三纹理贴图对所述人脸三维网格进行贴图处理，得到所述人脸三维模型。
本发明实施例通过建立人脸三维点云与二维深度图像的映射关系，根据二维深度图像对人脸三维点云进行信息补充，能够使人脸三维点云中坐标点的信息更加全面，进而使人脸三维点云中提取到的三维人脸特征点信息更加精准；通过根据信息补充后的人脸三维点云、人脸二维图像和三维人脸特征点信息，构建人脸三维模型，实现快速精准的人脸三维重建。本发明实施例计算过程简单，重建过程耗时短，能够快速构建高精度的人脸三维模型。
图11是本发明一实施例提供的人脸三维重建终端设备的示意图。如图11所示，该实施例的人脸三维重建终端设备11包括：处理器110、存储器111以及存储在所述存储器111中并可在所述处理器110上运行的计算机程序112，例如人脸三维重建程序。所述处理器110执行所述计算机程序112时实现上述各个人脸三维重建方法实施例中的步骤，例如图1所示的步骤101至104。或者，所述处理器110执行所述计算机程序112时实现上述各装置实施例中各模块/单元的功能，例如图10所示模块101至104的功能。
示例性的，所述计算机程序112可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器111中，并由所述处理器110执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序112在所述人脸三维重建终端设备11中的执行过程。例如，所述计算机程序112可以被分割成获取模块、计算模块、提取模块和构建模块，各模块具体功能如下：
获取模块，用于获取人脸三维点云。
计算模块，用于建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充；所述二维深度图像中各像素点的像素信息与所述人脸三维点云中对应坐标点的深度信息相对应。
提取模块，用于获取人脸二维图像，根据所述人脸二维图像从信息补充后的人脸三维点云中提取三维人脸特征点信息。
构建模块，用于根据信息补充后的人脸三维点云、所述人脸二维图像和所述三维人脸特征点信息，构建人脸三维模型。
所述人脸三维重建终端设备11可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述人脸三维重建终端设备可包括，但不仅限于，处理器110、存储器111。本领域技术人员可以理解，图11仅仅是人脸三维重建终端设备11的示例，并不构成对人脸三维重建终端设备11的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述人脸三维重建终端设备还可以包括输入输出设备、网络接入设备、总线、显示器等。
所称处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器111可以是所述人脸三维重建终端设备11的内部存储单元，例如人脸三维重建终端设备11的硬盘或内存。所述存储器111也可以是所述人脸三维重建终端设备11的外部存储设备，例如所述人脸三维重建终端设备11上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述人脸三维重建终端设备11的内部存储单元也包括外部存储设备。所述存储器111用于存储所述计算机程序以及所述人脸三维重建终端设备所需的其他程序和数据。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人脸三维重建方法，其特征在于，包括：
获取人脸三维点云；
建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充；所述二维深度图像中各像素点的像素信息与所述人脸三维点云中对应坐标点的深度信息相对应；
获取人脸二维图像，根据所述人脸二维图像从信息补充后的人脸三维点云中提取三维人脸特征点信息；
根据信息补充后的人脸三维点云、所述人脸二维图像和所述三维人脸特征点信息，构建人脸三维模型。
2.如权利要求1所述的人脸三维重建方法，其特征在于，在所述获取人脸三维点云之前，还包括：
通过结构光扫描方法对人脸进行扫描，获得所述人脸三维点云；其中，所述结构光扫描方法中结构光的最小条纹宽度大于或等于预设宽度阈值，所述结构光的曝光时间为自适应调节的曝光时间。
3.如权利要求1所述的人脸三维重建方法，其特征在于，所述建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充包括：
建立所述人脸三维点云与所述二维深度图像的映射关系；
从所述二维深度图像中查找第一像素点；所述第一像素点为缺失深度信息的像素点；
根据第一预设范围内像素点的像素点信息，计算各个第一像素点的像素点信息；其中，所述第一预设范围根据各个第一像素点确定；
根据计算出的各个第一像素点的像素点信息对所述二维深度图像进行信息补充；
根据所述人脸三维点云与所述二维深度图像的映射关系和信息补充后的二维深度图像，对所述人脸三维点云进行信息补充。
4.如权利要求1所述的人脸三维重建方法，其特征在于，所述建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充包括：
建立所述人脸三维点云与所述二维深度图像的映射关系；
从二维深度图像中查找第二像素点，所述第二像素点为缺失深度信息的像素点；
计算各个第二预设范围内的第三像素点个数；每个所述第二预设范围对应一个第二像素点，每个所述第二预设范围对应的区域为：以第二像素点为中心，总像素点个数为n×n的矩形区域；所述第三像素点为第二预设范围对应区域的对角线位置上未缺失深度信息的像素点；
根据满足预设条件的各个第二预设范围内的第三像素点的像素点信息，计算各个第四像素点的像素点信息；所述预设条件为第三像素点个数大于预设像素个数；所述第四像素点为满足预设条件的第二预设范围对应的第二像素点；
根据计算出的各个第四像素点的像素点信息对所述二维深度图像进行信息补充；根据所述人脸三维点云与所述二维深度图像的映射关系和信息补充后的二维深度图像，对所述人脸三维点云进行信息补充；
判断信息补充后的人脸三维点云中是否存在深度信息缺失的坐标点，若信息补充后的人脸三维点云中存在深度信息缺失的坐标点，则跳转至建立所述人脸三维点云与所述二维深度图像的映射关系的步骤，根据信息补充后的人脸三维点云进行再次迭代；若信息补充后的人脸三维点云中不存在深度信息缺失的坐标点，则结束迭代。
5.如权利要求4所述的人脸三维重建方法，其特征在于，所述根据满足预设条件的各个第二预设范围内的第三像素点的像素点信息，计算各个第四像素点的像素点信息包括：
根据满足预设条件的各个第二预设范围内的第三像素点的像素点信息和信息补充公式，计算各个第四像素点的像素点信息；所述信息补充公式为：
xo＝0.5×(xmin+xmax)
yo＝0.5×(ymin+ymax)
其中，xo，yo，zo分别为待求的第四像素点的横坐标、纵坐标和深度信息；xmin和xmax依次为待求的第四像素点对应的所有第三像素点中横坐标的最小值和最大值；ymin和ymax依次为待求的第四像素点对应的所有第三像素点中纵坐标的最小值和最大值；为待求的第四像素点对应的所有第三像素点的深度信息之和；m为待求的第四像素点对应的第三像素点的个数。
6.如权利要求1至5任一项所述的人脸三维重建方法，其特征在于，所述根据信息补充后的人脸三维点云、所述人脸二维图像和所述三维人脸特征点信息，构建人脸三维模型包括：
将三维形变模型分别与所述三维人脸特征点和信息补充后的人脸三维点云进行拟合，得到人脸三维网格；
从所述人脸二维图像中提取纹理贴图，根据所述纹理贴图对所述人脸三维网格进行贴图处理，得到所述人脸三维模型。
7.如权利要求6所述的人脸三维重建方法，其特征在于，所述将三维形变模型分别与所述三维人脸特征点和信息补充后的人脸三维点云进行拟合，得到人脸三维网格包括：
将所述三维形变模型和所述三维人脸特征点信息进行拟合，得到脸型参数和变换参数；
将基于所述脸型参数和所述变换参数的三维形变模型与信息补充后的人脸三维点云进行拟合，调整所述脸型参数和所述变换参数；
根据变形算法和信息补充后的人脸三维点云，对基于调整后的脸型参数和变换参数的三维形变模型进行优化，得到所述人脸三维网格。
8.如权利要求6所述的人脸三维重建方法，其特征在于，所述从所述人脸二维图像中提取纹理贴图，根据所述纹理贴图对所述人脸三维网格进行贴图处理，得到所述人脸三维模型包括：
从所述人脸二维图像中提取第一纹理贴图；
根据所述人脸三维网格对所述人脸二维图像进行重建，生成第二纹理贴图；
融合所述第一纹理贴图和所述第二纹理贴图，生成第三纹理贴图；
根据所述第三纹理贴图对所述人脸三维网格进行贴图处理，得到所述人脸三维模型。
9.一种人脸三维重建终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711450523.6A CN109978984A (zh) | 2017-12-27 | 2017-12-27 | 人脸三维重建方法及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711450523.6A CN109978984A (zh) | 2017-12-27 | 2017-12-27 | 人脸三维重建方法及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109978984A true CN109978984A (zh) | 2019-07-05 |
Family
ID=67071868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711450523.6A Pending CN109978984A (zh) | 2017-12-27 | 2017-12-27 | 人脸三维重建方法及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978984A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111063016A (zh) * | 2019-12-31 | 2020-04-24 | 螳螂慧视科技有限公司 | 一种多深度镜头人脸建模方法、系统、存储介质及终端 |
| CN111127631A (zh) * | 2019-12-17 | 2020-05-08 | 深圳先进技术研究院 | 基于单图像的三维形状和纹理重建方法、系统及存储介质 |
| CN111161397A (zh) * | 2019-12-02 | 2020-05-15 | 支付宝(杭州)信息技术有限公司 | 人脸三维重建方法、装置、电子设备及可读存储介质 |
| CN111160309A (zh) * | 2019-12-31 | 2020-05-15 | 深圳云天励飞技术有限公司 | 一种图像处理方法和相关设备 |
| CN111325823A (zh) * | 2020-02-05 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的获取方法、装置、设备及存储介质 |
| CN111340943A (zh) * | 2020-02-26 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN111353535A (zh) * | 2020-02-28 | 2020-06-30 | 江苏黑麦数据科技有限公司 | 标注方法和装置 |
| CN111414809A (zh) * | 2020-02-28 | 2020-07-14 | 上海牙典软件科技有限公司 | 一种三维图形识别方法、装置、设备及存储介质 |
| CN111460937A (zh) * | 2020-03-19 | 2020-07-28 | 深圳市新镜介网络有限公司 | 脸部特征点的定位方法、装置、终端设备及存储介质 |
| CN111710035A (zh) * | 2020-07-16 | 2020-09-25 | 腾讯科技（深圳）有限公司 | 人脸重建方法、装置、计算机设备及存储介质 |
| CN111951376A (zh) * | 2020-07-28 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 融合结构光和光度学的三维对象重建方法及终端设备 |
| CN112037320A (zh) * | 2020-09-01 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
| CN112634172A (zh) * | 2020-12-30 | 2021-04-09 | 深圳市创想三维科技有限公司 | 一种利用二维图像生成三维模型的3d打印方法及装置 |
| CN113158908A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、存储介质及电子设备 |
| CN113516685A (zh) * | 2021-07-09 | 2021-10-19 | 东软睿驰汽车技术（沈阳）有限公司 | 目标跟踪方法、装置、设备及存储介质 |
| CN113689538A (zh) * | 2020-05-18 | 2021-11-23 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
| CN113793255A (zh) * | 2021-09-09 | 2021-12-14 | 百度在线网络技术（北京）有限公司 | 用于图像处理的方法、装置、设备、存储介质和程序产品 |
| CN113808274A (zh) * | 2021-09-24 | 2021-12-17 | 福建平潭瑞谦智能科技有限公司 | 人脸识别模型构建方法及系统及识别方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1818977A (zh) * | 2006-03-16 | 2006-08-16 | 上海交通大学 | 由一幅正面图像实现快速人脸模型重建的方法 |
| CN101404091A (zh) * | 2008-11-07 | 2009-04-08 | 重庆邮电大学 | 基于两步形状建模的三维人脸重建方法和系统 |
| CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| CN102472613A (zh) * | 2009-07-29 | 2012-05-23 | 佳能株式会社 | 测量设备、测量方法和程序 |
| CN102663810A (zh) * | 2012-03-09 | 2012-09-12 | 北京航空航天大学 | 一种基于相位偏移扫描的三维人脸全自动建模方法 |
| WO2012126135A1 (en) * | 2011-03-21 | 2012-09-27 | Intel Corporation | Method of augmented makeover with 3d face modeling and landmark alignment |
| CN103411533A (zh) * | 2013-08-05 | 2013-11-27 | 上海交通大学 | 结构光自适应多次曝光法 |
| CN103810744A (zh) * | 2012-11-09 | 2014-05-21 | 波音公司 | 在点云中回填点 |
| CN105427385A (zh) * | 2015-12-07 | 2016-03-23 | 华中科技大学 | 一种基于多层形变模型的高保真人脸三维重建方法 |
-
2017
- 2017-12-27 CN CN201711450523.6A patent/CN109978984A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1818977A (zh) * | 2006-03-16 | 2006-08-16 | 上海交通大学 | 由一幅正面图像实现快速人脸模型重建的方法 |
| CN101404091A (zh) * | 2008-11-07 | 2009-04-08 | 重庆邮电大学 | 基于两步形状建模的三维人脸重建方法和系统 |
| CN102472613A (zh) * | 2009-07-29 | 2012-05-23 | 佳能株式会社 | 测量设备、测量方法和程序 |
| CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| WO2012126135A1 (en) * | 2011-03-21 | 2012-09-27 | Intel Corporation | Method of augmented makeover with 3d face modeling and landmark alignment |
| CN102663810A (zh) * | 2012-03-09 | 2012-09-12 | 北京航空航天大学 | 一种基于相位偏移扫描的三维人脸全自动建模方法 |
| CN103810744A (zh) * | 2012-11-09 | 2014-05-21 | 波音公司 | 在点云中回填点 |
| CN103411533A (zh) * | 2013-08-05 | 2013-11-27 | 上海交通大学 | 结构光自适应多次曝光法 |
| CN105427385A (zh) * | 2015-12-07 | 2016-03-23 | 华中科技大学 | 一种基于多层形变模型的高保真人脸三维重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| LUIS GODDYN 等: "Binary gray codes with long bit runs", 《THE ELECTRONIC JOURNAL OF COMBINATORICS》 * |
| 张越: "结构光实时三维建模算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 李彩林: "基于结构光的手持式摄影扫描系统关键技术研究", 《中国博士学位论文全文数据库 基础科学辑》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161397A (zh) * | 2019-12-02 | 2020-05-15 | 支付宝(杭州)信息技术有限公司 | 人脸三维重建方法、装置、电子设备及可读存储介质 |
| CN111127631A (zh) * | 2019-12-17 | 2020-05-08 | 深圳先进技术研究院 | 基于单图像的三维形状和纹理重建方法、系统及存储介质 |
| CN111063016A (zh) * | 2019-12-31 | 2020-04-24 | 螳螂慧视科技有限公司 | 一种多深度镜头人脸建模方法、系统、存储介质及终端 |
| CN111160309A (zh) * | 2019-12-31 | 2020-05-15 | 深圳云天励飞技术有限公司 | 一种图像处理方法和相关设备 |
| CN111325823A (zh) * | 2020-02-05 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的获取方法、装置、设备及存储介质 |
| CN111340943A (zh) * | 2020-02-26 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN111414809B (zh) * | 2020-02-28 | 2024-03-05 | 上海牙典软件科技有限公司 | 一种三维图形识别方法、装置、设备及存储介质 |
| CN111353535A (zh) * | 2020-02-28 | 2020-06-30 | 江苏黑麦数据科技有限公司 | 标注方法和装置 |
| CN111414809A (zh) * | 2020-02-28 | 2020-07-14 | 上海牙典软件科技有限公司 | 一种三维图形识别方法、装置、设备及存储介质 |
| CN111353535B (zh) * | 2020-02-28 | 2023-11-03 | 江苏黑麦数据科技有限公司 | 标注方法和装置 |
| CN111460937B (zh) * | 2020-03-19 | 2023-12-19 | 深圳市新镜介网络有限公司 | 脸部特征点的定位方法、装置、终端设备及存储介质 |
| CN111460937A (zh) * | 2020-03-19 | 2020-07-28 | 深圳市新镜介网络有限公司 | 脸部特征点的定位方法、装置、终端设备及存储介质 |
| CN113689538A (zh) * | 2020-05-18 | 2021-11-23 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
| CN111710035A (zh) * | 2020-07-16 | 2020-09-25 | 腾讯科技（深圳）有限公司 | 人脸重建方法、装置、计算机设备及存储介质 |
| CN111710035B (zh) * | 2020-07-16 | 2023-11-07 | 腾讯科技（深圳）有限公司 | 人脸重建方法、装置、计算机设备及存储介质 |
| CN111951376B (zh) * | 2020-07-28 | 2023-04-07 | 中国科学院深圳先进技术研究院 | 融合结构光和光度学的三维对象重建方法及终端设备 |
| CN111951376A (zh) * | 2020-07-28 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 融合结构光和光度学的三维对象重建方法及终端设备 |
| CN112037320A (zh) * | 2020-09-01 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
| CN112037320B (zh) * | 2020-09-01 | 2023-10-20 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
| CN112634172A (zh) * | 2020-12-30 | 2021-04-09 | 深圳市创想三维科技有限公司 | 一种利用二维图像生成三维模型的3d打印方法及装置 |
| CN112634172B (zh) * | 2020-12-30 | 2024-01-12 | 深圳市创想三维科技股份有限公司 | 一种利用二维图像生成三维模型的3d打印方法及装置 |
| CN113158908A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、存储介质及电子设备 |
| CN113516685A (zh) * | 2021-07-09 | 2021-10-19 | 东软睿驰汽车技术（沈阳）有限公司 | 目标跟踪方法、装置、设备及存储介质 |
| WO2023035841A1 (zh) * | 2021-09-09 | 2023-03-16 | 百度在线网络技术（北京）有限公司 | 用于图像处理的方法、装置、设备、存储介质和程序产品 |
| CN113793255A (zh) * | 2021-09-09 | 2021-12-14 | 百度在线网络技术（北京）有限公司 | 用于图像处理的方法、装置、设备、存储介质和程序产品 |
| CN113808274A (zh) * | 2021-09-24 | 2021-12-17 | 福建平潭瑞谦智能科技有限公司 | 人脸识别模型构建方法及系统及识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978984A (zh) | 人脸三维重建方法及终端设备 | |
| CN110458939B (zh) | 基于视角生成的室内场景建模方法 | |
| US9317970B2 (en) | Coupled reconstruction of hair and skin | |
| CN107484428B (zh) | 用于显示对象的方法 | |
| US20200184651A1 (en) | Image processing system, image processing method, and program | |
| CN108573527A (zh) | 一种表情图片生成方法及其设备、存储介质 | |
| CN108895981A (zh) | 一种三维测量方法、装置、服务器和存储介质 | |
| CN113012293B (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
| US8670606B2 (en) | System and method for calculating an optimization for a facial reconstruction based on photometric and surface consistency | |
| US8633926B2 (en) | Mesoscopic geometry modulation | |
| CN107507269A (zh) | 个性化三维模型生成方法、装置和终端设备 | |
| Kang et al. | Competitive learning of facial fitting and synthesis using uv energy | |
| Özbay et al. | A voxelize structured refinement method for registration of point clouds from Kinect sensors | |
| US11961266B2 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
| US8948498B1 (en) | Systems and methods to transform a colored point cloud to a 3D textured mesh | |
| Zhan et al. | Real-time 3D face modeling based on 3D face imaging | |
| Kimmel | 3D shape reconstruction from autostereograms and stereo | |
| CN113989434A (zh) | 一种人体三维重建方法及设备 | |
| Guggeri et al. | Shape reconstruction from raw point clouds using depth carving | |
| Zhang et al. | A Robust Multi‐View System for High‐Fidelity Human Body Shape Reconstruction | |
| Bouafif et al. | Monocular 3D head reconstruction via prediction and integration of normal vector field | |
| Zhang et al. | A 3D Face Modeling and Recognition Method Based on Binocular Stereo Vision and Depth-Sensing Detection | |
| CN117132501B (zh) | 一种基于深度相机的人体点云空洞修复方法及系统 | |
| CN117011493B (zh) | 基于符号距离函数表示的三维人脸重建方法、装置及设备 | |
| Gong | Application and Practice of Artificial Intelligence Technology in Interior Design |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190705 |
|
| RJ01 | Rejection of invention patent application after publication |