CN111739167A - 3d人头重建方法、装置、设备和介质 - Google Patents

3d人头重建方法、装置、设备和介质 Download PDF

Info

Publication number
CN111739167A
CN111739167A CN202010549415.XA CN202010549415A CN111739167A CN 111739167 A CN111739167 A CN 111739167A CN 202010549415 A CN202010549415 A CN 202010549415A CN 111739167 A CN111739167 A CN 111739167A
Authority
CN
China
Prior art keywords
head
grid data
data
grid
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010549415.XA
Other languages
English (en)
Other versions
CN111739167B (zh
Inventor
姜志超
梁柏荣
洪智滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010549415.XA priority Critical patent/CN111739167B/zh
Publication of CN111739167A publication Critical patent/CN111739167A/zh
Application granted granted Critical
Publication of CN111739167B publication Critical patent/CN111739167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种3D人头重建方法、装置、设备和介质，涉及计算机视觉技术，该方法包括：获取设定数量的二维人头图像和各所述二维人头图像分别对应的人头深度图像；对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据；获取所述第一人头网格数据对应的平面网格图；根据所述平面网格图和各所述二维人头图像执行纹理采样融合操作，基于获得的纹理图生成3D人头重建结果并进行输出。本申请实施例可以提高人头重建的成功率和良品率，改善用户体验。

Description

3D人头重建方法、装置、设备和介质
技术领域
本申请实施例涉及图像处理技术，具体涉及计算机视觉技术，尤其涉及一种3D人头重建方法、装置、设备和介质。
背景技术
3D重建技术作为环境感知的关键技术之一，其在医疗美容、自动驾驶、虚拟现实、行为分析和动画制作等多个领域产生广泛影响。
现有针对3D人头重建的方案并不多，通常是针对人脸的重建，主流的方法包括以下三类：1)基于传统方法比如双目视觉的人脸重建；2)基于模型比如三维形变模型(3DMM)的人脸重建；3)基于卷积神经网络的端到端人脸重建。
但是，上述第一种方法存在特征点匹配不准确的问题，而第二种和第三种方法存在拟合不准确的问题，换言之，通过现有的人脸重建技术进行人脸重建，存在成功率和良品率较低的问题。
发明内容
本申请实施例公开一种3D人头重建方法、装置、设备和介质，以解决通过现有的人脸重建方法进行人脸重建，存在成功率和良品率较低的问题。
第一方面，本申请实施例公开了一种3D人头重建方法，包括：
获取设定数量的二维人头图像和各所述二维人头图像分别对应的人头深度图像；
对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据；
获取所述第一人头网格数据对应的平面网格图；
根据所述平面网格图和各所述二维人头图像执行纹理采样融合操作，基于获得的纹理图生成3D人头重建结果并进行输出。
第二方面，本申请实施例还公开了一种3D人头重建装置，包括：
图像获取模块，用于获取设定数量的二维人头图像和各所述二维人头图像分别对应的人头深度图像；
姿态角融合模块，用于对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据；
平面网格图获取模块，用于获取所述第一人头网格数据对应的平面网格图；
重建结果输出模块，用于根据所述平面网格图和各所述二维人头图像执行纹理采样融合操作，基于获得的纹理图生成3D人头重建结果并进行输出。
第三方面，本申请实施例还公开了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本申请实施例任一所述的3D人头重建方法。
第四方面，本申请实施例还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如本申请实施例任一所述的3D人头重建方法。
根据本申请实施例的技术方案，可以提高人头重建的成功率和良品率，改善用户体验。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例公开的一种3D人头重建方法的流程图；
图2A是根据本申请实施例公开的另一种3D人头重建方法的流程图；
图2B是根据本申请实施例公开的一种Kinectfusion算法的流程示意图；
图3A是根据本申请实施例公开的一种网格清洗方法的流程图；
图3B是根据本申请实施例公开的一种网格清洗方法的示意图；
图4是根据本申请实施例公开的一种3D人头重建装置的结构示意图；
图5是根据本申请实施例公开的一种电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
申请人在研发过程中发现，现有的3D人头重建方法并不多，而比较多的是人脸重建方法，主要包括以下三类：
1)基于传统方法的人脸重建
传统3D人脸重建方法一般通过单张或多张图像信息完成3D人脸重建，如图像的视差、相对高度和深度图等，比较常见的如通过双目视觉实现3D人脸重建。该方法的缺点在于人脸重建时，不同视角下对应的特征点匹配不准确，导致人脸重建的成功率和良品率较低。
2)基于模型的人脸重建
3D人脸重建中有两个比较常用的模型，其中一个为通用模型CANDIDE，另一个为三维形变模型3DMM。该方法的缺点在于人脸重建存在模型表达力不足，拟合不准确等问题，导致人脸重建的成功率和良品率较低。
3)基于卷积神经网络端到端的人脸重建
有了3DMM模型，即可进行单张2D人脸的3D重建，但一个现实问题是，传统3DMM重建是迭代拟合的过程，该过程效率比较低，因此并不适用于实时的三维人脸重建。分析3DMM原理可知，需要调整的就是3DMM的199维参数，可以使用卷积神经网络回归基的参数，这样可以通过网络去预测参数，实现3DMM的快速重建。但是该方法和基于模型的人脸重建有类似的缺点，导致人脸重建的成功率和良品率较低。
如果从人脸重建的输入数据一侧看，输入数据可以分为单帧二维图像、二维图像序列和二维深度图像序列。然而，单帧二维图像的重建是一个病态问题，存在一对多的空间映射，重建效果不好；二维图像序列的重建则存在匹配误差大的问题，成功率和良品率较低；二维深度图像序列的重建的输入数据获取困难且受环境光影响较大，现有基于二维深度图像序列的三维重建方案，一般是通过：建立模型每一帧相机坐标点和世界坐标点的对应关系，估计每一帧的位姿转换，将不同帧对模型同一个点位置的描述加权融合，最后从点或面元或体素形成网格数据，得到重建结果，但是其存在重建序列冗余、重建网格质量差、纹理不清晰和误差大等问题，导致人脸重建的成功率和良品率较低。
综上可知，现有的人脸重建方法都存在重建的成功率和良品率较低的问题，导致用户体验较差。
图1是根据本申请实施例公开的一种3D人头重建方法的流程图，本实施例可以适用于根据二维人头图像以及人头深度图像，进行3D人头重建的情况。本实施例方法可以由3D人头重建装置来执行，该装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上，例如服务器等。
如图1所示，本实施例公开的3D人头重建方法可以包括：
S101、获取设定数量的二维人头图像和各所述二维人头图像分别对应的人头深度图像。
其中，二维人头图像的本质为RGB图像，二维人头图像包括被拍摄人的人脸图像、脖子图像和头发图像等。人头深度图像即二维人头图像对应的Depth Map(深度图)，其体现了二维人头图像的每个像素点与传感器的距离信息。二维人头图像和对应的人头深度图像是配准的，即像素点之间具有一对一的对应关系。
在一个实施例中，预先通过带有深度图像采集功能的拍摄设备，如TOF(Time offlight，飞行时间测距)相机或者结构光相机等，对被拍摄人的人头进行360度的全景拍摄，获取若干张不同角度的二维人头图像和各所述二维人头图像分别对应的人头深度图像，作为候选图像。进而从候选图像中，获取均匀角度间隔的设定数量的二维人头图像和各所述二维人头图像分别对应的人头深度图像。
可选的，从候选图像中选取拍摄角度为[-90°,90°]的均匀角度间隔的设定数量二维人头图像和各二维人头图像分别对应的人头深度图像，其中，拍摄角度指的是与人头朝向的水平角度，设定数量的范围为9～300，优选的为19。
通过获取设定数量的二维人头图像和各二维人头图像分别对应的人头深度图像，为后续根据二维人头图像以及人头深度图像，得到3D人头重建结果，奠定了数据基础。
S102、对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据。
其中，人脸姿态角表示人脸与当前地理坐标系之间的夹角，包括与地理坐标系中x轴的夹角、y轴的夹角以及z轴的夹角。网格数据表示以栅格结构存贮的内部数据，在各网格上赋予相应的属性值来表示实体的一种数据形式。
在一个实施例中，针对得到的多张人头深度图像，利用现有的人脸姿态角融合算法，对多张人头深度图像进行人脸姿态角融合，得到人头深度图像对应的众多网格数据，作为第一人头网格数据。
可选的，首先利用现有技术确定各人头深度图像中各像素对应的体素，进而针对每一个体素，求得各体素的权重，并利用TSDF(Truncated Signed Distance Function，截断符号距离函数)算法，求得各体素的TSDF函数值，最终对各体素的权重和TSDF函数值，进行加权平均，并通过面绘制算法，例如等值面提取或基于光照模型的面绘制算法等，提取出各人头深度图像对应的网格数据，作为第一人头网格数据。第一人头网格数据的数量可根据需求进行设置，可选的范围为60万点～100万点的网格数据。
通过对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据。
S103、获取所述第一人头网格数据对应的平面网格图。
在一个实施例中，对获取的第一人头网格数据利用现有的点云重建技术，得到三维人头模型，并利用UV展开技术，将三维人头模型展开得到二维形式的平面网格数据，进而得到平面网格图。
可选的，本实施例提供了一种UV展开方法：将三维人头模型中的各网格点，首先转到圆柱点，再平铺到平面中，得到初始化的平面网格数据，进而利用参数化方法，例如ARAP和ARAP++等，对初始化的平面网格数据进行优化，最终根据优化后的平面网格数据，得到平面网格图。
相比传统的UV展开方法，本实施例提供的UV展开方法稳定性更好，展开效果更佳。
通过获取所述第一人头网格数据对应的平面网格图，为后续根据平面网格图和各二维人头图像得到纹理图，奠定了基础。
S104、根据所述平面网格图和各所述二维人头图像执行纹理采样融合操作，基于获得的纹理图生成3D人头重建结果并进行输出。
在一个实施例中，通过对各二维人头图像进行纹理采样，得到多角度的采样纹理，进而根据现有的纹理融合方法，例如特征匹配方法、基于马尔可夫随机场模型的融合方法或基于纹理快拼接的纹理融合算法等，将得到的多角度采样纹理进行纹理融合，并将融合结果覆盖在平面网格图中，生成纹理图，最终将该纹理图以及所述第一人头网格数据的点云重建结果，作为3D人头重建结果并进行输出。
通过根据平面网格图和各二维人头图像执行纹理采样融合操作，并基于获得的纹理图生成3D人头重建结果并进行输出，实现了得到3D人头重建结果的技术效果。
根据本实施例的技术方案，通过对各人头深度图像进行人脸姿态角融合，获得第一人头网格数据，并获取第一人头网格数据对应的平面网格图，最终根据平面网格图和各二维人头图像执行纹理采样融合操作，基于获得的纹理图生成3D人头重建结果并进行输出，实现了提高人头重建的成功率和良品率，改善用户体验的技术效果。
图2A是根据本申请实施例公开的另一种3D人头重建方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图2A所示，该方法可以包括：
S201、从多个二维人头图像中选取设定数量的二维人头图像，获取选取的各所述二维人头图像分别对应的原始深度图像。
在一个实施例中，根据选取的设定数量的各二维人头图像，获取其对应的深度图像，作为原始深度图像。
例如，从多个二维人头图像中选取拍摄角度为[-90°,90°]的19帧二维人头图像，并将这19帧二维人头图像对应的深度图像，作为原始深度图像。
S202、确定选取的各所述二维人头图像中的关键点，并根据所述关键点对各所述二维人头图像分别对应的原始深度图像进行人头分割，获得各所述二维人头图像分别对应的人头深度图像。
其中，二维人头图像中的关键点包括人脸关键点、脖子关键点和头发关键点等，例如眉毛、眼睛、鼻子、嘴巴、脸部轮廓、喉结、脖子轮廓和发型轮廓等。
具体的，通过现有的关键点检测方法，例如ASM(Active Shape Model，活动形状模型)算法、AAM(Active Appearnce Model，主动外观模型)算法或基于神经网络训练的回归网络等，对各二维人头图像进行关键点检测，确定选取的各二维人头图像中的关键点。根据关键点，以及原始深度图像与二维人头图像中像素的对应关系，利用全卷积网络训练的分割模型，对原始深度图像进行人头分割，剔除不包含关键点的图像区域，获得各二维人头图像分别对应的人头深度图像。
通过确定选取的各二维人头图像中的关键点，并根据关键点对各二维人头图像分别对应的原始深度图像进行人头分割，获得各二维人头图像分别对应的人头深度图像，使得人头深度图像仅包含被拍摄人的头部深度图，避免了背景图像对人头重建的影响，增加了重建的良品率。
可选的，S202之后，还包括：
对所述人头深度图像执行平滑操作、腐蚀操作和膨胀操作中的至少一项操作。
其中，平滑操作用于抑制图像噪声，腐蚀操作用于去除一些细小的白色颗粒或线条，膨胀操作用于去除一些细小的黑色漏洞。
通过对人头深度图像执行平滑操作、腐蚀操作和膨胀操作中的至少一项操作，使得人头深度图像包含的图像信息更为稳定，减少人头重建的误差。
S203、采用Kinectfusion算法，对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据。
在一个实施例中，图2B是根据本申请实施例公开的一种Kinectfusion算法的流程示意图，如图2B所示，包括坐标确定步骤20，姿态角估计步骤21，TSDF值更新步骤22以及网格数据确定步骤23，其中，坐标确定步骤20，具体包括：根据输入的人头深度图像，确定人头深度图像中各点的三维坐标信息；姿态角估计步骤21，具体包括：根据上一人头深度图像各点的网格数据，以及当前输入的人头深度图像各点的三维坐标信息，估计当前人头深度图像对应的姿态角；TSDF值更新步骤22，具体包括：根据当前人头深度图像对应的姿态角对已确定的TSDF值进行更新；网格数据确定步骤23，具体包括：根据更新后的TSDF值，通过光线投射(ray-cast)技术，确定当前人头深度图像的网格数据，并将当前人头深度图像的网格数据反馈到步骤21，用于下一人头深度图像的姿态角估计。
可选的，在上述实施方式中，对当前人头深度图进行姿态角估计的方法包括：
根据上一人头深度图像中各个点的三维坐标信息和当前人头深度图像中各个点的三维坐标信息，确定初始姿态角；采用最近点搜索(ICP)算法，根据当前人头深度图像中各个点的三维坐标信息和使用所述初始姿态角对上一人头深度图像中各点的三维坐标信息进行转换后获得的转换三维坐标信息，确定转换矩阵；根据所述初始姿态角和所述转换矩阵，获得对当前人头深度图像对应的姿态角的估计结果。
在一个实施例中，通过ICP算法，根据上一人头深度图像中各个点的三维坐标信息和当前人头深度图像中各个点的三维坐标信息，确定初始姿态角，并利用该初始姿态角对上一人头深度图像中各点的三维坐标信息进行转换，得到转换三维坐标信息，进而根据当前人头深度图像中各个点的三维坐标信息，以及转换三维坐标信息之间的比值，确定转换矩阵，最终将初始姿态角与转化矩阵之间的乘积，作为当前人头深度图像对应的姿态角的估计结果，从而达到对当前人头深度图像对应的姿态角进行估计的效果。
S204、对所述第一人头网格数据进行第一预设处理，获得第二人头网格数据，并对所述第二人头网格数据进行上采样，获得点云数据。
其中，第一预处理包括但不限于网格数据简化和网格数据优化等。
在一个实施例中，对第一人头网格数据进行第一预设处理，获得第二人头网格数据，并通过包括欧氏距离上采样方式，对第二人头网格数据进行上采样，获得点云数据。通过对第二人头网格数据进行上采样，可以使得点云数据分布较均匀。
可选的，对所述第一人头网格数据进行第一预设处理，获得第二人头网格数据，包括A和B两个步骤：
A、对所述第一人头网格数据进行简化处理，以降低所述第一人头网格数据中的点云和/或三角面片的数量。
在一个实施例中，通过包括聚类抽取算法对第一人头网格数据进行简化处理，使得第一人头网格数据中的点云和/或三角面片的数量下降约50倍。
B、去除简化处理后得到的人头网格数据中的离群点，获得第二人头网格数据。
在一个实施例中，通过包括统计滤波方法去除简化处理后得到的人头网格数据中的离群点，获得第二人头网格数据。
通过对第一人头网格数据进行简化处理，减少了数据量，且最大程度保持网格数据的个体差异性；通过简化处理后得到的人头网格数据中的离群点，提高了网格数据的准确性和可靠性。
S205、使用所述点云数据进行点云重建，获得重建后的第三人头网格数据。
在一个实施例中，利用优化算法对点云重建方法进行优化，进而根据优化后的点云重建方法进行点云重建，获得重建后的第三人头网格数据。其中，优化算法包括但不限于代数点集表面(APSS)算法，点云重建方法包括但不限于等值面提取算法。
通过优化算法对点云重建方法进行优化，相比未优化的点云重建方法，噪声对点云重建结果的影响更小，减小孔洞。
S206、对所述第三人头网格数据执行三维网格数据到平面数据的转换操作，获得所述第一人头网格数据对应的平面网格图。
在一个实施例中，通过包括UV展开方法，对第三人头网格数据执行三维网格数据到平面数据的转换操作，获得第一人头网格数据对应的平面网格图。
可选的，S206包括：
1)对所述第三人头网格数据进行第二预设处理，得到目标人头网格数据。
其中，所述第二预设处理包括但不限于异常网格过滤和可视性优化等处理。
可选的，步骤1)包括A、B和C三个步骤：
A、对所述第三人头网格数据进行网格清洗操作，获得第四人头网格数据。
其中，网格清洗操作包括但不限于去除非引用点、去除重复点面、去除零面积面、去除非流形点、去除孤岛点和去除自相交面等。
通过对第三人头网格数据进行网格清洗操作，提高了网格数据的质量。
B、通过指数和线性曲线拟合，获得所述第四人头网格数据中的边界曲线，并将所述第四人头网格数据中所述边界曲线外的网格数据进行裁剪，得到第五人头网格数据。
在一个实施例中，通过指数和线性曲线拟合，获得第四人头网格数据中的边界曲线，并通过基于自动编码结构的全卷积分割网络，将第四人头网格数据中边界曲线外的网格数据进行裁剪，得到第五人头网格数据。
通过对第四人头网格数据中边界曲线外的网格数据进行裁剪，使得整体人头网格数据的可视化效果改善。
C、对所述第五人头网格数据进行网格孔洞填补操作和/或网格形状平滑操作后，得到所述目标人头网格数据。
其中，网格孔洞指的形状不完整的网格数据。
在一个实施例中，通过包括耳蜗切割填补(EarCutting)方法对第五人头网格数据进行网格孔洞填补操作，并通过包括拉普拉斯平滑方法，对第五人头网格数据进行网格形状平滑操作，得到目标人头网格数据。
通过对第五人头网格数据进行网格孔洞填补操作和/或网格形状平滑操作，使得网格数据的质量更高，稳定性更好。
2)采用预设算法，将所述目标人头网格数据对应的网格展开到平面，获得所述第一人头网格数据对应的平面网格图。
在一个实施例中，将目标人头网格数据中的各网格点，首先转到圆柱点，再平铺到平面中，得到初始化的平面网格数据，进而利用参数化方法，例如ARAP和ARAP++等，对初始化的平面网格数据进行优化，最终根据优化后的平面网格数据，得到第一人头网格数据对应的平面网格图。
通过对第三人头网格数据进行第二预设处理，得到目标人头网格数据，并采用预设算法，将目标人头网格数据对应的网格展开到平面，获得第一人头网格数据对应的平面网格图，实现了三维网格转换为二维平面网格图的效果，为后续根据平面网格图，得到纹理图进而得到3D人头重建结果，奠定了基础。
S207、根据所述平面网格图和各所述二维人头图像执行纹理采样融合操作，生成包含获得的纹理图和目标人头网格数据的3D人头重建结果，将所述3D人头重建结果进行输出。
在一个实施例中，依据不同的角度对二维人头图像进行纹理采样得到采样纹理，并通过包括泊松融合方法对采样纹理进行融合，进而使用包括射线检测方法确定最佳纹理视角，结合光照补偿、下巴纹理填补以及纹理黑洞修复方法，获得最终的纹理图。根据该纹理图以及所述目标人头网格数据，得到3D人头重建结果。
通过生成包含获得的纹理图和目标人头网格数据的3D人头重建结果，使得人头重建结果既包含三维模型又包含平面纹理图，满足了用户多样化的需求，提升了重建结果的可靠性。
根据本实施例的技术方案，通过对第一人头网格数据进行第一预设处理，获得第二人头网格数据，并对第二人头网格数据进行上采样，获得点云数据，使用点云数据进行点云重建，获得重建后的第三人头网格数据，对第三人头网格数据执行三维网格数据到平面数据的转换操作，获得第一人头网格数据对应的平面网格图，实现了由三维网格数据转化成平面数据，为最终基于生成平面网格图输出3D人头重建结果，奠定了基础。
图3A是根据本申请实施例公开的一种网格清洗方法的流程图，为上述实施例中“对所述第三人头网格数据进行网格清洗操作，获得第四人头网格数据”，提供了一种可选的方式，并可以与上述各个可选实施方式进行结合。如图3A所示，该方法可以包括：
S301、对所述第三人头网格数据进行去除非引用点、去除重复点面、去除零面积面、去除非流形点和去除孤岛点的第一操作，并确定网格数据是否发生变化，若是，则返回执行所述第一操作，直至网格数据不再发生变化。
其中，非引用点表示没有数据引用基础的网格数据，重复点面表示网格数据中重复存在的点和面，零面积面表示网格数据中的零面积集，非流形点表示不具有欧几里得空间性质的网格数据，孤岛点表示与其他网格数据没有任何关联关系的网格数据。
在一个实施例中，对第三人头网格数据进行去除非引用点、去除重复点面、去除零面积面、去除非流形点和去除孤岛点的第一操作，若进行第一操作后的网格数据没有发生变化，则执行S302。
S302、对当前剩余的网格数据进行填补孔洞的第二操作。
在一个实施例中，通过现有的孔洞填补方法来对当前剩余的网格数据进行填补空洞，其中孔洞填补方法包括但不限于体素方法、基于三角剖分的方法和基于隐式曲面拟合的方法等。
S303、对当前剩余的网格数据进行去除非流形点、去除孤岛点和去除非引用点的第三操作，并确定网格数据是否发生变化，若是，则返回执行所述第三操作，直至网格数据不再发生变化。
在一个实施例中，当执行完S302后，对当前剩余的网格数据进行去除非流形点、去除孤岛点和去除非引用点的第三操作，并确定执行完第三操作后的网格数据是否发生变化，若是则继续执行S303，若否，则执行S304。
S304、对当前剩余的网格数据进行去除自相交面的操作；确定是否达到预设循环次数，若不是，则返回执行所述第二操作，否则，对当前剩余的网格数据执行面片翻转的操作，将获得的网格数据作为第四人头网格数据进行输出。
其中，预设循环次数可选的为三次，自相交面表示自身存在相交情况的网格数据集合，面片翻转表示对网格数据按照预设角度进行整体翻转，以达到预期角度。
在一个实施例中，当执行完S303后，对当前剩余的网格数据进行去除自相交面的操作，若当前没达到预设循环次数，则继续执行S302，若达到预设循环次数，则对当前剩余的网格数据执行面片翻转的操作，并将执行面片翻转操作后的网格数据，作为第四人头网格数据进行输出。
图3B是根据本申请实施例公开的一种网格清洗方法的示意图，如图3B，对输入的网格数据执行第一操作30，并确定网格数据是否发生变化，若是，则继续执行第一操作30，否则执行第二操作31，执行完第二操作31后，继续执行第三操作32，并确定网格数据是否发生变化，若是，则返回执行第三操作32，否则执行去除自相交面操作33，确定是否达到预设循环次数，若否则返回执行第二操作31，否则继续面片翻转操作34，并将执行完面片翻转操作34后的网格数据，作为输出结果。
根据本实施例的技术方案，通过设定网格数据清洗顺序以及循环清洗思想，从而解决了现有网格清洗过程中，还会引入新的网格数据问题，保证了网格数据清洗后网格数据的质量。
图4是根据本申请实施例公开的一种3D人头重建装置的结构示意图，本实施例可以适用于根据二维人头图像以及人头深度图像，进行3D人头重建的情况。本实施例装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上，例如服务器等。
如图4所示，本实施例公开的3D人头重建装置40可以包括图像获取模块41、姿态角融合模块42、平面网格图获取模块43和重建结果输出模块43，其中：
图像获取模块41，用于获取设定数量的二维人头图像和各所述二维人头图像分别对应的人头深度图像；
姿态角融合模块42，用于对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据；
平面网格图获取模块43，用于获取所述第一人头网格数据对应的平面网格图；
重建结果输出模块44，用于根据所述平面网格图和各所述二维人头图像执行纹理采样融合操作，基于获得的纹理图生成3D人头重建结果并进行输出。
可选的，所述图像获取装置41，具体用于：
从多个二维人头图像中选取设定数量的二维人头图像，获取选取的各所述二维人头图像分别对应的原始深度图像；
确定选取的各所述二维人头图像中的关键点，并根据所述关键点对各所述二维人头图像分别对应的原始深度图像进行人头分割，获得各所述二维人头图像分别对应的人头深度图像。
可选的，所述装置还包括深度图像预处理模块，具体用于：
对所述人头深度图像执行平滑操作、腐蚀操作和膨胀操作中的至少一项操作。
可选的，所述姿态角融合模块42，具体用于：
采用Kinectfusion算法，对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据；其中，在进行人脸姿态角融合过程中对当前人头深度图进行姿态角估计的方法包括：
根据上一人头深度图像中各个点的三维坐标信息和当前人头深度图像中各个点的三维坐标信息，确定初始姿态角；
采用最近点搜索算法，根据当前人头深度图像中各个点的三维坐标信息和使用所述初始姿态角对上一人头深度图像中各点的三维坐标信息进行转换后获得的转换三维坐标信息，确定转换矩阵；
根据所述初始姿态角和所述转换矩阵，获得对当前人头深度图像对应的姿态角的估计结果。
可选的，所述平面网格图获取模块43，具体用于：
对所述第一人头网格数据进行第一预设处理，获得第二人头网格数据，并对所述第二人头网格数据进行上采样，获得点云数据；
使用所述点云数据进行点云重建，获得重建后的第三人头网格数据；
对所述第三人头网格数据执行三维网格数据到平面数据的转换操作，获得所述第一人头网格数据对应的平面网格图。
可选的，所述平面网格图获取模块43，具体还用于：
对所述第一人头网格数据进行简化处理，以降低所述第一人头网格数据中的点云和/或三角面片的数量；
去除简化处理后得到的人头网格数据中的离群点，获得第二人头网格数据。
可选的，所述平面网格图获取模块43，具体还用于：
对所述第三人头网格数据进行第二预设处理，得到目标人头网格数据；
采用预设算法，将所述目标人头网格数据对应的网格展开到平面，获得所述第一人头网格数据对应的平面网格图。
可选的，所述平面网格图获取模块43，具体还用于：
对所述第三人头网格数据进行网格清洗操作，获得第四人头网格数据；
通过指数和线性曲线拟合，获得所述第四人头网格数据中的边界曲线，并将所述第四人头网格数据中所述边界曲线外的网格数据进行裁剪，得到第五人头网格数据；
对所述第五人头网格数据进行网格孔洞填补操作和/或网格形状平滑操作后，得到所述目标人头网格数据。
可选的，所述平面网格图获取模块43，具体还用于：
对所述第三人头网格数据进行去除非引用点、去除重复点面、去除零面积面、去除非流形点和去除孤岛点的第一操作，并确定网格数据是否发生变化，若是，则返回执行所述第一操作，直至网格数据不再发生变化；
对当前剩余的网格数据进行填补孔洞的第二操作；
对当前剩余的网格数据进行去除非流形点、去除孤岛点和去除非引用点的第三操作，并确定网格数据是否发生变化，若是，则返回执行所述第三操作，直至网格数据不再发生变化；
对当前剩余的网格数据进行去除自相交面的操作；确定是否达到预设循环次数，若不是，则返回执行所述第二操作，否则，对当前剩余的网格数据执行面片翻转的操作，将获得的网格数据作为第四人头网格数据进行输出。
可选的，所述重建结果输出模块44，具体用于：
生成包含获得的纹理图和目标人头网格数据的3D人头重建结果，将所述3D人头重建结果进行输出。
本申请实施例所公开的3D人头重建装置40可执行本申请实施例所公开的3D人头重建方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的3D人头重建方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的3D人头重建方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的3D人头重建方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的3D人头重建方法对应的程序指令/模块(例如，附图4所示的图像获取模块41、姿态角融合模块42、平面网格图获取模块43和重建结果输出模块44)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的3D人头重建方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据3D人头重建方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至3D人头重建方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
3D人头重建方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与3D人头重建方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过对各人头深度图像进行人脸姿态角融合，获得第一人头网格数据，并获取第一人头网格数据对应的平面网格图，最终根据平面网格图和各二维人头图像执行纹理采样融合操作，基于获得的纹理图生成3D人头重建结果并进行输出，实现了提高人头重建的成功率和良品率，改善用户体验的技术效果。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (22)

1.一种3D人头重建方法，包括：
获取设定数量的二维人头图像和各所述二维人头图像分别对应的人头深度图像；
对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据；
获取所述第一人头网格数据对应的平面网格图；
根据所述平面网格图和各所述二维人头图像执行纹理采样融合操作，基于获得的纹理图生成3D人头重建结果并进行输出。
2.根据权利要求1所述的方法，其中，获取设定数量的二维人头图像和各所述二维人头图像分别对应的人头深度图像，包括：
从多个二维人头图像中选取设定数量的二维人头图像，获取选取的各所述二维人头图像分别对应的原始深度图像；
确定选取的各所述二维人头图像中的关键点，并根据所述关键点对各所述二维人头图像分别对应的原始深度图像进行人头分割，获得各所述二维人头图像分别对应的人头深度图像。
3.根据权利要求2所述的方法，在获得各所述二维人头图像分别对应的人头深度图像之后，所述方法还包括：
对所述人头深度图像执行平滑操作、腐蚀操作和膨胀操作中的至少一项操作。
4.根据权利要求1所述的方法，其中，对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据，包括：
采用Kinectfusion算法，对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据；其中，在进行人脸姿态角融合过程中对当前人头深度图进行姿态角估计的方法包括：
根据上一人头深度图像中各个点的三维坐标信息和当前人头深度图像中各个点的三维坐标信息，确定初始姿态角；
采用最近点搜索算法，根据当前人头深度图像中各个点的三维坐标信息和使用所述初始姿态角对上一人头深度图像中各点的三维坐标信息进行转换后获得的转换三维坐标信息，确定转换矩阵；
根据所述初始姿态角和所述转换矩阵，获得对当前人头深度图像对应的姿态角的估计结果。
5.根据权利要求1所述的方法，其中，获取所述第一人头网格数据对应的平面网格图，包括：
对所述第一人头网格数据进行第一预设处理，获得第二人头网格数据，并对所述第二人头网格数据进行上采样，获得点云数据；
使用所述点云数据进行点云重建，获得重建后的第三人头网格数据；
对所述第三人头网格数据执行三维网格数据到平面数据的转换操作，获得所述第一人头网格数据对应的平面网格图。
6.根据权利要求5所述的方法，其中，对所述第一人头网格数据进行第一预设处理，获得第二人头网格数据，包括：
对所述第一人头网格数据进行简化处理，以降低所述第一人头网格数据中的点云和/或三角面片的数量；
去除简化处理后得到的人头网格数据中的离群点，获得第二人头网格数据。
7.根据权利要求5所述的方法，其中，对所述第三人头网格数据执行三维网格数据到平面数据的转换操作，获得所述第一人头网格数据对应的平面网格图，包括：
对所述第三人头网格数据进行第二预设处理，得到目标人头网格数据；
采用预设算法，将所述目标人头网格数据对应的网格展开到平面，获得所述第一人头网格数据对应的平面网格图。
8.根据权利要求7所述的方法，其中，对所述第三人头网格数据进行第二预设处理，得到目标人头网格数据，包括：
对所述第三人头网格数据进行网格清洗操作，获得第四人头网格数据；
通过指数和线性曲线拟合，获得所述第四人头网格数据中的边界曲线，并将所述第四人头网格数据中所述边界曲线外的网格数据进行裁剪，得到第五人头网格数据；
对所述第五人头网格数据进行网格孔洞填补操作和/或网格形状平滑操作后，得到所述目标人头网格数据。
9.根据权利要求8所述的方法，其中，对所述第三人头网格数据进行网格清洗操作，获得第四人头网格数据，包括：
对所述第三人头网格数据进行去除非引用点、去除重复点面、去除零面积面、去除非流形点和去除孤岛点的第一操作，并确定网格数据是否发生变化，若是，则返回执行所述第一操作，直至网格数据不再发生变化；
对当前剩余的网格数据进行填补孔洞的第二操作；
对当前剩余的网格数据进行去除非流形点、去除孤岛点和去除非引用点的第三操作，并确定网格数据是否发生变化，若是，则返回执行所述第三操作，直至网格数据不再发生变化；
对当前剩余的网格数据进行去除自相交面的操作；确定是否达到预设循环次数，若不是，则返回执行所述第二操作，否则，对当前剩余的网格数据执行面片翻转的操作，将获得的网格数据作为第四人头网格数据进行输出。
10.根据权利要求7-9任一项所述的方法，其中，基于获得的纹理图生成3D人头重建结果并进行输出，包括：
生成包含获得的纹理图和目标人头网格数据的3D人头重建结果，将所述3D人头重建结果进行输出。
11.一种3D人头重建装置，包括：
图像获取模块，用于获取设定数量的二维人头图像和各所述二维人头图像分别对应的人头深度图像；
姿态角融合模块，用于对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据；
平面网格图获取模块，用于获取所述第一人头网格数据对应的平面网格图；
重建结果输出模块，用于根据所述平面网格图和各所述二维人头图像执行纹理采样融合操作，基于获得的纹理图生成3D人头重建结果并进行输出。
12.根据权利要求11所述的装置，其中，所述图像获取装置，具体用于：
从多个二维人头图像中选取设定数量的二维人头图像，获取选取的各所述二维人头图像分别对应的原始深度图像；
确定选取的各所述二维人头图像中的关键点，并根据所述关键点对各所述二维人头图像分别对应的原始深度图像进行人头分割，获得各所述二维人头图像分别对应的人头深度图像。
13.根据权利要求12所述的装置，所述装置还包括深度图像预处理模块，具体用于：
对所述人头深度图像执行平滑操作、腐蚀操作和膨胀操作中的至少一项操作。
14.根据权利要求11所述的装置，其中，所述姿态角融合模块，具体用于：
采用Kinectfusion算法，对各所述人头深度图像进行人脸姿态角融合，获得第一人头网格数据；其中，在进行人脸姿态角融合过程中对当前人头深度图进行姿态角估计的方法包括：
根据上一人头深度图像中各个点的三维坐标信息和当前人头深度图像中各个点的三维坐标信息，确定初始姿态角；
采用最近点搜索算法，根据当前人头深度图像中各个点的三维坐标信息和使用所述初始姿态角对上一人头深度图像中各点的三维坐标信息进行转换后获得的转换三维坐标信息，确定转换矩阵；
根据所述初始姿态角和所述转换矩阵，获得对当前人头深度图像对应的姿态角的估计结果。
15.根据权利要求11所述的装置，其中，所述平面网格图获取模块，具体用于：
对所述第一人头网格数据进行第一预设处理，获得第二人头网格数据，并对所述第二人头网格数据进行上采样，获得点云数据；
使用所述点云数据进行点云重建，获得重建后的第三人头网格数据；
对所述第三人头网格数据执行三维网格数据到平面数据的转换操作，获得所述第一人头网格数据对应的平面网格图。
16.根据权利要求15所述的装置，其中，所述平面网格图获取模块，具体还用于：
对所述第一人头网格数据进行简化处理，以降低所述第一人头网格数据中的点云和/或三角面片的数量；
去除简化处理后得到的人头网格数据中的离群点，获得第二人头网格数据。
17.根据权利要求15所述的装置，其中，所述平面网格图获取模块，具体还用于：
对所述第三人头网格数据进行第二预设处理，得到目标人头网格数据；
采用预设算法，将所述目标人头网格数据对应的网格展开到平面，获得所述第一人头网格数据对应的平面网格图。
18.根据权利要求17所述的装置，其中，所述平面网格图获取模块，具体还用于：
对所述第三人头网格数据进行网格清洗操作，获得第四人头网格数据；
通过指数和线性曲线拟合，获得所述第四人头网格数据中的边界曲线，并将所述第四人头网格数据中所述边界曲线外的网格数据进行裁剪，得到第五人头网格数据；
对所述第五人头网格数据进行网格孔洞填补操作和/或网格形状平滑操作后，得到所述目标人头网格数据。
19.根据权利要求18所述的装置，其中，所述平面网格图获取模块，具体还用于：
对所述第三人头网格数据进行去除非引用点、去除重复点面、去除零面积面、去除非流形点和去除孤岛点的第一操作，并确定网格数据是否发生变化，若是，则返回执行所述第一操作，直至网格数据不再发生变化；
对当前剩余的网格数据进行填补孔洞的第二操作；
对当前剩余的网格数据进行去除非流形点、去除孤岛点和去除非引用点的第三操作，并确定网格数据是否发生变化，若是，则返回执行所述第三操作，直至网格数据不再发生变化；
对当前剩余的网格数据进行去除自相交面的操作；确定是否达到预设循环次数，若不是，则返回执行所述第二操作，否则，对当前剩余的网格数据执行面片翻转的操作，将获得的网格数据作为第四人头网格数据进行输出。
20.根据权利要求17-19所述的装置，其中，所述重建结果输出模块，具体用于：
生成包含获得的纹理图和目标人头网格数据的3D人头重建结果，将所述3D人头重建结果进行输出。
21.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的3D人头重建方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的3D人头重建方法。
CN202010549415.XA 2020-06-16 2020-06-16 3d人头重建方法、装置、设备和介质 Active CN111739167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010549415.XA CN111739167B (zh) 2020-06-16 2020-06-16 3d人头重建方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010549415.XA CN111739167B (zh) 2020-06-16 2020-06-16 3d人头重建方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111739167A true CN111739167A (zh) 2020-10-02
CN111739167B CN111739167B (zh) 2023-10-03

Family

ID=72649455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010549415.XA Active CN111739167B (zh) 2020-06-16 2020-06-16 3d人头重建方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111739167B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686202A (zh) * 2021-01-12 2021-04-20 武汉大学 一种基于3d重建的人头识别方法及系统
CN112884889A (zh) * 2021-04-06 2021-06-01 北京百度网讯科技有限公司 模型训练、人头重建方法，装置，设备以及存储介质
CN113327278A (zh) * 2021-06-17 2021-08-31 北京百度网讯科技有限公司 三维人脸重建方法、装置、设备以及存储介质
CN113469091A (zh) * 2021-07-09 2021-10-01 北京的卢深视科技有限公司 人脸识别方法、训练方法、电子设备及存储介质
CN115294301A (zh) * 2022-08-11 2022-11-04 广州沃佳科技有限公司 基于人脸图像的头部模型构建方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10255079A (ja) * 1997-03-12 1998-09-25 Suzuki Motor Corp 曲面上メッシュデータの作成方法
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN110443885A (zh) * 2019-07-18 2019-11-12 西北工业大学 基于随机人脸图像的三维人头脸模型重建方法
CN110533778A (zh) * 2019-08-09 2019-12-03 中国科学院自动化研究所 大规模图像点云并行分布式网格化重建方法、系统、装置
CN110782507A (zh) * 2019-10-11 2020-02-11 创新工场(北京)企业管理股份有限公司 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
EP3657440A1 (de) * 2018-11-23 2020-05-27 Fielmann Ventures GmbH Verfahren und system zur dreidimensionalen rekonstruktion eines menschlichen kopfes aus mehreren bildern

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10255079A (ja) * 1997-03-12 1998-09-25 Suzuki Motor Corp 曲面上メッシュデータの作成方法
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
EP3657440A1 (de) * 2018-11-23 2020-05-27 Fielmann Ventures GmbH Verfahren und system zur dreidimensionalen rekonstruktion eines menschlichen kopfes aus mehreren bildern
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN110443885A (zh) * 2019-07-18 2019-11-12 西北工业大学 基于随机人脸图像的三维人头脸模型重建方法
CN110533778A (zh) * 2019-08-09 2019-12-03 中国科学院自动化研究所 大规模图像点云并行分布式网格化重建方法、系统、装置
CN110782507A (zh) * 2019-10-11 2020-02-11 创新工场(北京)企业管理股份有限公司 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIP, B 等: "A novel approach of 3D reconstruction of human face using monocular camera", 《PROCEEDINGS OF THE 11TH INTERNATIONAL MULTIMEDIA MODELING CONFERENCE》 *
黄明伟;方莉娜;唐丽玉;王思洁;: "改进泊松算法的图像三维重建点云模型网格化", 测绘科学, no. 04 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686202A (zh) * 2021-01-12 2021-04-20 武汉大学 一种基于3d重建的人头识别方法及系统
CN112884889A (zh) * 2021-04-06 2021-06-01 北京百度网讯科技有限公司 模型训练、人头重建方法，装置，设备以及存储介质
CN112884889B (zh) * 2021-04-06 2022-05-20 北京百度网讯科技有限公司 模型训练、人头重建方法，装置，设备以及存储介质
CN113327278A (zh) * 2021-06-17 2021-08-31 北京百度网讯科技有限公司 三维人脸重建方法、装置、设备以及存储介质
CN113327278B (zh) * 2021-06-17 2024-01-09 北京百度网讯科技有限公司 三维人脸重建方法、装置、设备以及存储介质
CN113469091A (zh) * 2021-07-09 2021-10-01 北京的卢深视科技有限公司 人脸识别方法、训练方法、电子设备及存储介质
CN115294301A (zh) * 2022-08-11 2022-11-04 广州沃佳科技有限公司 基于人脸图像的头部模型构建方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111739167B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
CN115100339B (zh) 图像生成方法、装置、电子设备和存储介质
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
KR20210103435A (ko) 가상 객체 이미지 합성 방법, 장치, 전자 기기 및 저장 매체
CN115082639B (zh) 图像生成方法、装置、电子设备和存储介质
EP3131060A1 (en) Method and apparatus for constructing three dimensional model of object
CN111832745B (zh) 数据增广的方法、装置及电子设备
CN111860167B (zh) 人脸融合模型获取及人脸融合方法、装置及存储介质
CN112132829A (zh) 车辆信息的检测方法、装置、电子设备和存储介质
CN112819947A (zh) 三维人脸的重建方法、装置、电子设备以及存储介质
US8610712B2 (en) Object selection in stereo image pairs
CN110458939A (zh) 基于视角生成的室内场景建模方法
WO2014200914A1 (en) Scalable volumetric 3d reconstruction
EP3533218B1 (en) Simulating depth of field
CN107464286B (zh) 三维城市模型中的孔洞修复方法及装置、设备及可读介质
CN104778736B (zh) 单视频内容驱动的服装三维动画生成方法
Liu et al. High-quality textured 3D shape reconstruction with cascaded fully convolutional networks
CN111754431B (zh) 一种图像区域替换方法、装置、设备及存储介质
CN111899159B (zh) 用于变换发型的方法、装置、设备以及存储介质
CN111858996B (zh) 室内定位方法、装置、电子设备及存储介质
CN111768467B (zh) 图像填充方法、装置、设备及存储介质
Özbay et al. A voxelize structured refinement method for registration of point clouds from Kinect sensors
CN116097316A (zh) 用于非模态中心预测的对象识别神经网络
Lukasczyk et al. Voidga: A view-approximation oriented image database generation approach
JP2005275646A (ja) ３次元描画モデル生成方法、３次元モデル描画方法及びそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant