CN111127631B - 基于单图像的三维形状和纹理重建方法、系统及存储介质 - Google Patents

基于单图像的三维形状和纹理重建方法、系统及存储介质 Download PDF

Info

Publication number
CN111127631B
CN111127631B CN201911302636.0A CN201911302636A CN111127631B CN 111127631 B CN111127631 B CN 111127631B CN 201911302636 A CN201911302636 A CN 201911302636A CN 111127631 B CN111127631 B CN 111127631B
Authority
CN
China
Prior art keywords
information
face
dimensional
texture
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911302636.0A
Other languages
English (en)
Other versions
CN111127631A (zh
Inventor
乔宇
彭小江
曾小星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911302636.0A priority Critical patent/CN111127631B/zh
Publication of CN111127631A publication Critical patent/CN111127631A/zh
Application granted granted Critical
Publication of CN111127631B publication Critical patent/CN111127631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及一种基于单图像的三维形状和纹理重建方法、系统及存储介质，解决了无法高效且准确的获得三维人脸数据，其包括：获取人脸图像信息；将人脸图像信息通过归一化坐标编码预测网络的分析并将分析得到的数据信息映射至UV空间以形成UV空间纹理映射信息；将UV空间纹理映射信息通过填充网络的分析以获取完整纹理图谱信息；将完整纹理图谱信息通过形状网络的分析以获得UV位置图谱信息；从预先设置的基准UV位置图谱信息与基准人脸三维形状坐标信息之间的对应关系中，查找与当前UV位置图谱信息对应的人脸三维形状坐标信息；根据查找到的人脸三维形状坐标信息以形成三维纹理人脸信息。本发明能够高效且准确的获取所需的重建三维人脸数据。

Description

基于单图像的三维形状和纹理重建方法、系统及存储介质
技术领域
本发明涉及三维重建的技术领域，尤其是涉及一种基于单图像的三维形状和纹理重建方法、系统及存储介质。
背景技术
基于二维图片的三维人脸重建是一种拥有广泛应用场景的技术，它可用于人脸动画生成，人机交互，医疗美容行业。一般的实现方法包括以下二种技术方案：
1）、基于三维形变模型的方法：基于三维形变模型的方法，利用统计学的方法从实验室场景下的实际三维人脸中，提取平均人脸（分别为形状平均人脸和纹理平均人脸）和人脸系数（形状系数和纹理系数）。然后利用人脸关键点等约束条件对二维人脸进行迭代优化获取需要的形状系数和纹理系数，最终获得完成重建的人脸。
其中，迭代是重复反馈的过程，其目的通常是为了逼近所需目标或结果。每一次对过程的重复称为一次“迭代”，而每一次迭代得到的结果会作为下一次迭代的初始值。重复执行一系列运算步骤，从前面的量依次求出后面的量的过程。此过程的每一次结果，都是由对前一次所得结果实行相同的运算步骤所得到。
基于三维形变模型的方法：由于采用迭代优化的方式，使得重建的人脸获取过程中效率低下且准确率较低。
2）、从阴影中恢复三维模型的方法：从阴影中恢复三维人脸是一种更加久远的技术，它的核心思想是把蕴含在图像阴影变化中的三维信息通过图形学中的渲染技术提取出来。这种方式的优点是可以提取出很多细微的信息，比如痣，鱼尾纹等。这种方法需要非常可靠的初始化三维人脸，否则最后的优化结果会有较大的差异。
通过上述的三维人脸重建方法以及文理恢复的方法虽然能够获得重建的人脸数据，但是采用基于三维形变模型的方法或从阴影中恢复三维模型的方法，要么整体的效率低下且准确率较低，要么对初始化三维人脸的要求较高，故无法高效且准确的获取到所需的重建人脸数据，故具有一定的改进空间。
发明内容
针对现有技术存在的不足，本发明目的一是提供一种基于单图像的三维形状和纹理重建方法，能够高效且准确的获取所需的重建三维人脸数据。
本发明的上述发明目的一是通过以下技术方案得以实现的：
一种基于单图像的三维形状和纹理重建方法，包括：
获取人脸图像信息；
将人脸图像信息通过所预设的归一化坐标编码预测网络的分析并将分析得到的数据信息映射至UV空间以形成UV空间纹理映射信息；
将UV空间纹理映射信息通过所预设的填充网络的分析以获取完整纹理图谱信息；
将完整纹理图谱信息通过所预设的形状网络的分析以获得UV位置图谱信息；所述UV位置图谱信息包括人脸三维形状坐标信息；
根据人脸三维形状坐标信息以形成三维纹理人脸信息。
通过采用上述技术方案，即采用深度学习的方法，将基于迭代优化的框架改为了基于数据驱动的框架；通过数据驱动的方法可以比迭代优化的方法更快更准确的获得人脸形状和纹理数据；通过深入学习的方法形成归一化坐标编码预测网络、填充网络以及形状网络，通过归一化坐标编码预测网络能够将人脸图像信息投射到UV空间中，即把纹理投射到UV空间中；在纹理投射到UV空间的过程中，会因为自遮挡等原因而导致UV空间的纹理有缺失，故通过填充网络来对缺失的纹理部分进行填充，获得完整纹理图谱信息，即完整纹理；再通过形状网络来重建三维纹理人脸信息，即具有完整纹理的三维人脸；针对现阶段二维人脸与三维人脸对应误差大的困难，分解为更加容易实现的子问题，针对不同的子问题提出对应网络，本方法是先重建出完整的纹理后，再根据完整的纹理进行三维形状的重建以及纹理的映射以达到高效且准确的建立具有纹理的三维人脸数据。
本发明在一较佳示例中可以进一步配置为：关于获取人脸图像信息的方法如下：
获取二维图像信息；
根据二维图像信息以对该二维图像信息中的人脸数据信息进行检测；若二维图像中检测到人脸数据信息，则将当前二维图像信息进行归一化预处理以形成预处理图像信息；
将预处理图像信息通过所预设的人脸分割网络的分析以提取人脸图像信息。
通过采用上述技术方案，由于获取的二维图像中可能没有人脸数据，故想对二维图像信息中的是否存在人脸数据信息进行判断，只有在具有人脸数据信息的二维图像信息才会进行后续的处理，即通过对二维图像信息的归一化预处理，以使得获得的预处理图像信息能够被后续的神经网络进行处理，最后通过训练得到的人脸分割网络来提取出人脸图像信息，即去掉二维图像中的一些背景图像等，通过去掉一些无关的图像数据，能够降低后续数据的运算量，使得后续数据处理过程更加的高效。
本发明在一较佳示例中可以进一步配置为：
根据人脸关键点检测方法以对二维图像信息中的人脸数据信息进行检测；
将二维图像信息中的人脸数据信息所对应的区域进行选取，并将该选取的区域进行归一化预处理以形成预处理图像信息。
通过采用上述技术方案，在人脸检测过程中采用人脸关键点检测方法来实现，使得整体的检测更加准确，能够完整的将相关的人脸数据信息进行检测，在检测完成之后，选择仅仅只有人脸数据信息的区域进行归一化预处理，能够进一步降低数据处理量，提高效率。
本发明在一较佳示例中可以进一步配置为：在将人脸图像信息通过所预设的归一化坐标编码预测网络进行分析之前，将当前人脸图像信息中的人脸数据进行同比例放大处理和/或将当前人脸图像信息进行缩小分辨率。
通过采用上述技术方案，通过同比例放大处理，能够使得人脸图像信息中的人脸数据尽可能的撑满整个背景图像，进而降低不必要的计算损失，提高后续计算的效率；将提取人脸图像信息后的二维图像信息进行缩小分辨率，也能够尽可能的降低计算数据量，进一步提高后续计算的效率。
本发明在一较佳示例中可以进一步配置为：关于同比例放大处理的方法如下：
根据当前人脸图像信息中的人脸轮廓所对应的长度与宽度以形成矩形框信息；
根据所预设的放大系数逐渐放大当前矩形框信息；其中，放大系数为正比例系数；
当至少存在两条矩形框信息所对应的边界与人脸图像信息中背景数据的边界相互重合时，则停止同比例放大处理；
更新当前人脸图像信息以供后续处理。
通过采用上述技术方案，根据形成的矩形框信息的边界与人脸图像数据中背景数据的边界的比对，实现尽可能大的放大人脸图像信息中的人脸数据，且通过这样的方式能够有限避免放大过度的情况，通过两个边界的重合情况来判断是否已经放大到最大的极限，使得等比例放大能够正常实现。
本发明在一较佳示例中可以进一步配置为：关于获取UV空间纹理映射信息的方法如下：
将人脸图像信息通过所预设的归一化坐标编码预测网络的分析以获取归一化坐标编码图谱信息，从预先设置的基准归一化坐标编码图谱信息与基准UV空间坐标信息之间的对应关系中，查找与所述当前归一化坐标编码图谱信息对应的UV空间坐标信息；
将当前归一化坐标编码图谱信息依次映射到UV空间坐标信息以形成UV空间纹理映射信息。
通过采用上述技术方案，根据归一化坐标编码预测网络的计算分析，使得人脸图像信息能够直接对应至UV空间中形成UV空间纹理映射信息，即形成对应关系之后，便于后续的实际计算。
本发明在一较佳示例中可以进一步配置为：关于形成三维纹理人脸信息的方法如下：
其中，所述完整纹理图谱信息包括人脸二维形状坐标信息以及与该人脸二维形状坐标信息一一对应的人脸纹理信息；所述人脸二维形状坐标信息与人脸三维形状坐标信息相互对应；
根据人脸三维形状坐标信息以形成三维人脸模型信息，将人脸纹理信息根据人脸二维形状坐标信息、人脸三维形状坐标信息以及三维人脸模型信息三的对应关系以依次映射到三维人脸模型信息以形成三维纹理人脸信息；
或将人脸二维形状坐标信息与人脸纹理信息同时根据人脸二维形状坐标信息以及人脸三维形状坐标信息之间的对应关系以形成具有人脸纹理的三维纹理人脸信息。
通过采用上述技术方案，可以采用先形成三维人脸模型，再将纹理映射到三维人脸模型上，最终形成三维纹理人脸信息；也可以在形成三维人脸模型的时候同时映射纹理到三维人脸模型上；使得三维人脸模型与纹理均是基于UV纹理图谱所对应所形成，即三维人脸模型与纹理之间的对应关系非常的准确，进一步保证重建后的三维纹理人脸信息的准确性。
本发明目的二是提供一种基于单图像的三维形状和纹理重建系统，便于能够高效且准确的获取所需的重建三维人脸数据。
本发明的上述发明目的二是通过以下技术方案得以实现的：
一种基于单图像的三维形状和纹理重建系统，包括：
人脸图像获取模块：获取人脸图像信息；
UV空间纹理映射模块：将人脸图像信息通过所预设的归一化坐标编码预测网络的分析并将分析得到的数据信息映射至UV空间以形成UV空间纹理映射信息；
纹理图谱填充模块：将UV空间纹理映射信息通过所预设的填充网络的分析以获取完整纹理图谱信息；
三维纹理人脸成型模块：将完整纹理图谱信息通过所预设的形状网络的分析以获得UV位置图谱信息；所述UV位置图谱信息包括人脸三维形状坐标信息；根据人脸三维形状坐标信息以形成三维纹理人脸信息。
通过采用上述技术方案，通过归一化坐标编码预测网络能够将人脸图像信息投射到UV空间中，即把纹理投射到UV空间中；在纹理投射到UV空间的过程中，会因为自遮挡等原因而导致UV空间的纹理有缺失，故通过填充网络来对缺失的纹理部分进行填充，获得完整纹理图谱信息，即完整纹理；再通过形状网络来重建三维纹理人脸信息，即具有完整纹理的三维人脸；针对现阶段二维人脸与三维人脸对应误差大的困难，分解为更加容易实现的子问题，针对不同的子问题提出对应网络，先重建出完整的纹理后，再根据完整的纹理进行三维形状的重建以及纹理的映射以达到高效且准确的建立具有纹理的三维人脸数据。
本发明在一较佳示例中可以进一步配置为：所述人脸图像获取模块包括：
二维图像获取单元：获取二维图像信息；
人脸检测判断单元：根据二维图像信息以对该二维图像信息中的人脸数据信息进行检测，判断二维图像中是否存在人脸数据信息；
图像预处理单元：若二维图像中检测到人脸数据信息，则将当前二维图像信息进行归一化预处理以形成预处理图像信息；
人脸分割提取单元：将预处理图像信息通过所预设的人脸分割网络的分析以提取人脸图像信息。
通过采用上述技术方案，由于获取的二维图像中可能没有人脸数据，故想对二维图像信息中的是否存在人脸数据信息进行判断，只有在具有人脸数据信息的二维图像信息才会进行后续的处理，即通过对二维图像信息的归一化预处理，以使得获得的预处理图像信息能够被后续的神经网络进行处理，最后通过训练得到的人脸分割网络来提取出人脸图像信息，即去掉二维图像中的一些背景图像等，通过去掉一些无关的图像数据，能够降低后续数据的运算量，使得后续数据处理过程更加的高效。
本发明目的三是提供一种智能终端，能够实现单图像的三维人脸形状和纹理的重建。
本发明的上述发明目的三是通过以下技术方案得以实现的：
一种智能终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，该程序能够被处理器加载执行时实现如上述的基于单图像的三维形状和纹理重建方法的程序。
通过采用上述技术方案，能够实现单图像的三维人脸形状和纹理的重建，且更加高效与准确。
本发明目的四是提供一种计算机可读存储介质，能够存储相应的程序，便于实现单图像的三维人脸形状和纹理的重建。
本发明的上述发明目的四是通过以下技术方案得以实现的：
一种计算机可读存储介质，包括能够被处理器加载执行时实现如上述的基于单图像的三维形状和纹理重建方法的程序。
通过采用上述技术方案，能够实现单图像的三维人脸形状和纹理的重建，且更加高效与准确。
综上所述，本发明包括以下有益技术效果：能够高效且准确的获取所需的重建三维人脸数据。
附图说明
图1是基于单图像的三维形状和纹理重建方法的流程图。
图2是获取人脸图像信息的方法的流程图。
图3是同比例放大处理的方法的流程图。
图4是获取UV空间纹理映射信息的方法的流程图。
图5是基于单图像的三维形状和纹理重建系统的系统框图。
图6是基于单图像的三维形状和纹理重建的具体示例方法流程图。
图7是人脸分割网络的流程示意图。
图8是归一化坐标编码预测网络的流程示意图。
图9是填充网络的流程示意图。
图10是形状网络的流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
本发明实施例提供一种基于单图像的三维形状和纹理重建方法，包括：获取人脸图像信息；将人脸图像信息通过所预设的归一化坐标编码预测网络的分析并将分析得到的数据信息映射至UV空间以形成UV空间纹理映射信息；将UV空间纹理映射信息通过所预设的填充网络的分析以获取完整纹理图谱信息；将完整纹理图谱信息通过所预设的形状网络的分析以获得UV位置图谱信息；所述UV位置图谱信息包括人脸三维形状坐标信息；根据人脸三维形状坐标信息以形成三维纹理人脸信息。
本发明实施例中，采用深度学习的方法，将基于迭代优化的框架改为了基于数据驱动的框架；通过数据驱动的方法可以比迭代优化的方法更快更准确的获得人脸形状和纹理数据；通过深入学习的方法形成归一化坐标编码预测网络、填充网络以及形状网络，通过归一化坐标编码预测网络能够将人脸图像信息投射到UV空间中，即把纹理投射到UV空间中；在纹理投射到UV空间的过程中，会因为自遮挡等原因而导致UV空间的纹理有缺失，故通过填充网络来对缺失的纹理部分进行填充，获得完整纹理图谱信息，即完整纹理；再通过形状网络来重建三维纹理人脸信息，即具有完整纹理的三维人脸；针对现阶段二维人脸与三维人脸对应误差大的困难，分解为更加容易实现的子问题，针对不同的子问题提出对应网络，本方法是先重建出完整的纹理后，再根据完整的纹理进行三维形状的重建以及纹理的映射以达到高效且准确的建立具有纹理的三维人脸数据。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本发明实施例作进一步详细描述。
本发明实施例提供一种基于单图像的三维形状和纹理重建方法，方法的主要流程描述如下。
如图1与图6所示：
步骤1000：获取人脸图像信息。
其中，在获取人脸图像信息的过程中具有多种途径，可以通过输入的二维图像来获取，即照片等具有图像信息的二维图片；也可以通过直接对视频中的图像进行获取，针对视频中的图像，也可以将视频中的图像先进行截取当前时间点的二维图像再获取人脸图像信息，故根据不同的使用场景均可以获取到相关的人脸图像信息。
如图2所示，具体关于获取人脸图像信息的方法如下：
步骤1100：获取二维图像信息。
其中，获取二维图像信息的方式可以采用手动输入的方式，也可以采用自动获取的方式；关于手动输入的方式，可以通过机械按键触发的方式来获取二维图像，也可以通过虚拟按键触发的方式获取二维图像，机械按键触发的方式，可以通过按动对应的按键，例如点击鼠标或按动键盘上的按键等方式来选中并选择该二维图像；虚拟按键触发的方式，可以通过在对应软件的界面中按动相关的虚拟触发按键以实现获取，具体按动以及选中形式与机械按键触发相同；关于自动获取的方式，可以建立一个存储空间，该存储空间可以是数据库、U盘、硬盘等具有存储功能的设备，直接依次读取当前存储空间内的图片格式的数据，即二维图像信息，实现自动获取；二维图像信息的来源可以通过图像获取装置来获取，图像获取装置可以为照相机、摄像机、智能手机等具有拍摄功能的智能设备。
步骤1200：根据二维图像信息以对该二维图像信息中的人脸数据信息进行检测；若二维图像中检测到人脸数据信息，则将当前二维图像信息进行归一化预处理以形成预处理图像信息。
由于获取的二维图像中可能没有人脸数据，故想对二维图像信息中的是否存在人脸数据信息进行判断，只有在具有人脸数据信息的二维图像信息才会进行后续的处理，即通过对二维图像信息的归一化预处理，以使得获得的预处理图像信息能够被后续的神经网络进行处理。
由于二维图像信息中会存在较多的其他数据，若人脸数据信息仅仅存在于二维图像信息中的一个角落位置，则其余位置的图像均为无用数据，故根据人脸关键点检测方法以对二维图像信息中的人脸数据信息进行检测；将将二维图像信息中的人脸数据信息所对应的区域进行选取，并将该选取的区域进行归一化预处理以形成预处理图像信息；进而降低数据处理量。
其中，关于二维图像信息中的人脸数据信息的检测方法：
本实施例中优选采用人脸关键点检测方法来实现人脸检测；人脸关键点检测也称为人脸关键点检测、定位或者人脸对齐，是指针对给定的人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等；优选采用5个人脸关键点信息，分别为左、右眼中心，鼻尖，左右嘴巴位置。
通常把关键点的集合称作形状(shape)，形状包含了关键点的位置信息，而这个位置信息一般可以用两种形式表示，第一种是关键点的位置相对于整张图像，第二种是关键点的位置相对于人脸框(标识出人脸在整个图像中的位置)。把第一种形状称作绝对形状，它的取值一般介于0到worh；第二种形状称作相对形状，它的取值一般介于0到1。这两种形状可以通过人脸框来做转换。
人脸关键点检测方法分为两种：参数化和非参数化。参数模型是指数据服从某种特定概率分布，例如，高斯模型，高斯混合模型等。基于非参数模型方法是无分布的，其假设数据不是从给定的概率分布得出的。参数模型与非参数模型的区别在于前者具有固定的参数，而后者随着训练数据量的增加而增加参数的数量。基于参数模型可划分为基于局部模型（如主动形状模型）和基于全局模型（如主动外观模型）；基于非参数模型可进一步划分为基于图模型方法、基于级联回归方法和基于深度学习方法。
基于局部模型方法独立考虑每个关键点周围的变化，然后通过从训练中学习到的全局形状来检测人脸关键点；基于全局模型方法是从整体对外观进行建模。基于图模型的方法通常设计树形结构或马尔科夫随机场来对关键点进行建模；基于级联回归的方法以从粗到细的方式直接估计关键点，并不需要对任何形状模型或外观模型进行学习和建模；基于深度学习的方法是利用神经网络非线性映射能力学习面部图像到关键点的映射。
具体检测方法包括：1、ASM(Active Shape Models)；2、AAM（Active AppearanceModels）；3、CPR（Cascaded pose regression）；4、DCNN；5、Face++版DCNN；6、TCDCN；7、MTCNN；8、TCNN（Tweaked Convolutional Neural Networks）；9、DAN（Deep AlignmentNetworks）。
本实施例中，优选采用Face++版DCNN的检测方法。
该检测方法提出从粗到精的人脸关键点检测算法，实现了68个人脸关键点的高精度定位。该算法将人脸关键点分为内部关键点和轮廓关键点，内部关键点包含眉毛、眼睛、鼻子、嘴巴共计51个关键点，轮廓关键点包含17个关键点。
针对内部关键点和外部关键点，该算法并行的采用两个级联的CNN进行关键点检测。
针对内部51个关键点，采用四个层级的级联网络进行检测。其中，Level-1主要作用是获得面部器官的边界框；Level-2的输出是51个关键点预测位置，这里起到一个粗定位作用，目的是为了给Level-3进行初始化；Level-3会依据不同器官进行从粗到精的定位；Level-4的输入是将Level-3的输出进行一定的旋转，最终将51个关键点的位置进行输出。
针对外部17个关键点，仅采用两个层级的级联网络进行检测。Level-1与内部关键点检测的作用一样，主要是获得轮廓的bounding box；Level-2直接预测17个关键点，没有从粗到精定位的过程，因为轮廓关键点的区域较大，若加上Level-3和Level-4，会比较耗时间。最终面部68个关键点由两个级联CNN的输出进行叠加得到。
算法主要创新点由以下三点：（1）、把人脸的关键点定位问题，划分为内部关键点和轮廓关键点分开预测，有效的避免了loss不均衡问题；（2）、在内部关键点检测部分，并未像DCNN那样每个关键点采用两个CNN进行预测，而是每个器官采用一个CNN进行预测，从而减少计算量；（3）、相比于DCNN，没有直接采用人脸检测器返回的结果作为输入，而是增加一个边界框检测层（Level-1），可以大大提高关键点粗定位网络的精度。
其中，关于归一化预处理，归一化预处理的方式采用对图像矩阵先减去均值，在除以方差。
步骤1300：将预处理图像信息通过所预设的人脸分割网络的分析以提取人脸图像信息。
通过训练得到的人脸分割网络来提取出人脸图像信息，即去掉二维图像中的一些背景图像等，通过去掉一些无关的图像数据，能够降低后续数据的运算量，使得后续数据处理过程更加的高效。
其中，关于人脸分割网络采用U型网络；使用的损失函数为二值化交叉熵损失函数；该U型网络为Olaf Ronneberger 于2015年在International Conference on Medicalimage computing and computer-assisted intervention（MICCAI）的论文《Unet:Convolutional networks for biomedical image segmentation》提出来的U型网络。
如图7所示，具体如下：
卷积类型 卷积核大小 卷积步长 通道数量
conv 4*4 2*2 64
conv 4*4 2*2 128
conv 4*4 2*2 256
conv 4*4 2*2 512
conv 4*4 2*2 512
conv 4*4 2*2 512
conv 4*4 2*2 512
deconv 4*4 2*2 512
deconv 4*4 2*2 512
deconv 4*4 2*2 512
deconv 4*4 2*2 256
deconv 4*4 2*2 128
deconv 4*4 2*2 64
deconv 4*4 2*2 64
deconv 3*3 1*1 3
deconv 3*3 1*1 3
其中，conv为普通卷积，deconv为反卷积。
关于人脸图像信息，其包括背景数据以及人脸数据，背景数据优选为黑色的背景，即在人脸图像信息中除了人脸数据之外，就是黑色的背景数据；而人脸数据即包括面部数据以及轮廓数据。
步骤1400：在将人脸图像信息通过所预设的归一化坐标编码预测网络进行分析之前，将当前人脸图像信息中的人脸数据进行同比例放大处理和/或将当前人脸图像信息进行缩小分辨率。
对当前人脸图像信息可以进行同比例放大处理，也可以对当前人脸图像信息进行缩小分辨率，还可以对当前人脸图像信息即进行同比例放大处理也进行缩小分辨率；本实施例中优选采用对当前人脸图像信息即进行同比例放大处理也进行缩小分辨率的方式。
其中，如图3所示，关于同比例放大处理的方法如下：
步骤1410：根据当前人脸图像信息中的人脸轮廓所对应的长度与宽度以形成矩形框信息。
步骤1420：根据所预设的放大系数逐渐放大当前矩形框信息；其中，放大系数为正比例系数。
步骤1430：当至少存在两条矩形框信息所对应的边界与人脸图像信息中背景数据的边界相互重合时，则停止同比例放大处理。
步骤1440：更新当前人脸图像信息以供后续处理。
矩形框信息是根据人脸图像信息中的人脸轮廓最大长度以及最大宽度来设定，即矩形框信息能够将整个人脸数据进行框选，在通过正比例系数进行放大，该系数可以根据实际情况进行设置，故不做详述；根据形成的矩形框信息的边界与人脸图像数据中背景数据的边界的比对，实现尽可能大的放大人脸图像信息中的人脸数据，且通过这样的方式能够有限避免放大过度的情况，通过两个边界的重合情况来判断是否已经放大到最大的极限，使得等比例放大能够正常实现；更新后的当前人脸图像信息即为经过等比例放大后的人脸图像信息。
在本实施例中，输入的二维图像信息的分辨率优选为256*256；经过人脸分割网络以提取的人脸图像信息的分辨率同样是256*256；经过放大处理、缩小分辨率之后所形成的人脸图像信息的分辨率同样是128*128；经过多次测试得出采用该分辨率的人脸图像信息完全足以进行后续的纹理映射；无需采用高分辨率的人脸图像信息，进一步提高数据处理效率。
步骤2000：将人脸图像信息通过所预设的归一化坐标编码预测网络的分析并将分析得到的数据信息映射至UV空间以形成UV空间纹理映射信息。
其中，关于归一化坐标编码预测网络：使用的网路为U型网络，使用的损失函数为一范数损失函数。
该U型网络为Olaf Ronneberger 于2015年在International Conference onMedical image computing and computer-assisted intervention（MICCAI）的论文《Unet: Convolutional networks for biomedical image segmentation》提出来的U型网络。
如图8所示，具体如下：
卷积类型 卷积核大小 卷积步长 通道数量
conv 4*4 2*2 64
conv 4*4 2*2 128
conv 4*4 2*2 256
conv 4*4 2*2 512
conv 4*4 2*2 512
conv 4*4 2*2 512
conv 4*4 2*2 512
deconv 4*4 2*2 512
deconv 4*4 2*2 512
deconv 4*4 2*2 512
deconv 4*4 2*2 256
deconv 4*4 2*2 128
deconv 4*4 2*2 64
deconv 4*4 2*2 64
deconv 3*3 1*1 3
deconv 3*3 1*1 3
其中，conv为普通卷积，deconv为反卷积。
如图4所示，关于获取UV空间纹理映射信息的方法如下：
步骤2100：将人脸图像信息通过所预设的归一化坐标编码预测网络的分析以获取归一化坐标编码图谱信息，从预先设置的基准归一化坐标编码图谱信息与基准UV空间坐标信息之间的对应关系中，查找与当前归一化坐标编码图谱信息对应的UV空间坐标信息。
步骤2200：将当前归一化坐标编码图谱信息依次映射到UV空间坐标信息以形成UV空间纹理映射信息。
在获得人脸图像信息之后，通过训练得到的归一化坐标编码投影预测网络来预测输入人脸图像信息的每一个像素点在UV空间的位置。获得人脸图像信息的归一化坐标编码投影后，把人脸图像信息映射到UV空间以获得UV空间纹理映射信息。
步骤3000：将UV空间纹理映射信息通过所预设的填充网络的分析以获取完整纹理图谱信息。
其中，关于填充网络，使用的网络结构为Rui Huang 等人于2017年发表International Conference on Computer Vision（ICCV）的论文《Global and localperception gan for photorealistic and identity preserving frontal viewsynthesis》中提出的网络。
如图9所示，具体如下：
卷积类型 卷积核大小 带空卷积参数 卷积步长 通道数量
conv 5*5 1 1*1 64
conv 3*3 1 2*2 128
conv 3*3 1 1*1 128
conv 3*3 1 2*2 256
conv 3*3 1 1*1 256
conv 3*3 1 1*1 256
dilated conv 3*3 2 2*2 256
dilated conv 3*3 4 2*2 256
dilated conv 3*3 8 2*2 256
dilated conv 3*3 16 2*2 256
conv 3*3 1 1*1 256
conv 3*3 1 1*1 256
deconv 4*4 1 2*2 128
conv 3*3 1 1*1 128
deconv 4*4 1 2*2 64
conv 3*3 1 1*1 32
conv 3*3 1 1*1 3
其中，conv为普通卷积，deconv为反卷积, dilated conv为带空卷积。
获得UV空间纹理映射信息后，我们还需要对纹理缺失区域进行纹理填充，于是进行填充网络的训练。为了提升填充结果的性能，输入的数据为UV空间纹理映射信息以及经过翻转后的UV空间纹理映射信息，如此可以帮助缺失区域获得更好的初始化值。另外，采用对抗生成网络中的分辨网络，为了稳定分辨网络我们引入了梯度惩罚损失函数以及基于ImageNet预训练的感知模型在特征层面进行监督。
步骤4000：将完整纹理图谱信息通过所预设的形状网络的分析以获得UV位置图谱信息。
其中，其中，关于形状网络，使用的网路为U型网络，使用的损失函数为一范数损失函数。
关于形状网络：使用的网路为U型网络，使用的损失函数为一范数损失函数。
该U型网络为Olaf Ronneberger 于2015年在International Conference onMedical image computing and computer-assisted intervention（MICCAI）的论文《Unet: Convolutional networks for biomedical image segmentation》提出来的U型网络。
如图10所示，具体如下：
卷积类型 卷积核大小 卷积步长 通道数量
conv 4*4 2*2 64
conv 4*4 2*2 128
conv 4*4 2*2 256
conv 4*4 2*2 512
conv 4*4 2*2 512
conv 4*4 2*2 512
conv 4*4 2*2 512
deconv 4*4 2*2 512
deconv 4*4 2*2 512
deconv 4*4 2*2 512
deconv 4*4 2*2 256
deconv 4*4 2*2 128
deconv 4*4 2*2 64
deconv 4*4 2*2 64
deconv 3*3 1*1 3
deconv 3*3 1*1 3
其中，conv为普通卷积，deconv为反卷积。
步骤5000：UV位置图谱信息包括人脸三维形状坐标信息；根据人脸三维形状坐标信息以形成三维纹理人脸信息。
其中，完整纹理图谱信息包括人脸二维形状坐标信息以及与该人脸二维形状坐标信息一一对应的人脸纹理信息；人脸二维形状坐标信息与UV位置图谱信息相互对应。
关于形成三维纹理人脸信息的方法如下：
在一个实施例中，根据查找到的人脸三维形状坐标信息以形成三维人脸模型信息，将人脸纹理信息根据人脸二维形状坐标信息、UV位置图谱信息、人脸三维形状坐标信息以及三维人脸模型信息四者的对应关系以依次映射到三维人脸模型信息以形成三维纹理人脸信息。
在一个实施例中，将人脸二维形状坐标信息与人脸纹理信息同时根据人脸二维形状坐标信息、UV位置图谱信息以及人脸三维形状坐标信息三者之间的对应关系以形成具有人脸纹理的三维纹理人脸信息。
可以采用先形成三维人脸模型，再将纹理映射到三维人脸模型上，最终形成三维纹理人脸信息；也可以在形成三维人脸模型的时候同时映射纹理到三维人脸模型上；使得三维人脸模型与纹理均是基于UV纹理图谱所对应所形成，即三维人脸模型与纹理之间的对应关系非常的准确，进一步保证重建后的三维纹理人脸信息的准确性。
基于单图像的三维形状和纹理重建方法是建立在深度学习方法的基础上，采用了多个神经网络来实现；在实现过程中，先需要进行训练，该训练数据形成方法如下所示：
采用Julie D White 等人于2019年发表在Scientific reports期刊上《Meshmonk: Open-source large-scale intensive 3d phenotyping》论文中的三维人脸模板作为我们的三维人脸重建模板模型。在三维模板的边缘处，挑选60个顶点作为边缘顶点。
采用Yu Deng等人于2019年发表在Conference on Computer Vision andPattern Recognition Workshops（ICCV Workshops）上论文《Accurate 3d facereconstruction with weakly-supervised learning: From single image to imageset》的方法作为人脸三维生成工具。
形成人脸分割网络的训练数据：
把Yu Deng等人使用的平均三维人脸和Julie等人使用的模板三维人脸进行非刚体形变变换，把非刚体形变的结果与Yu Deng等人的平均三维人脸进行贴合，找到与步骤1中60个点相应最近的60个顶点。我们把Yu Deng等人平均三维人脸的60个顶点作为人脸分割的三维依据，然后从网上搜集三万两千张人脸图像，用Yu Deng等人的三维重建方法重建出三维人脸，然后把这60个顶点连起来形成一个凸边行，把凸边形里面的元素作为前景元素，外面的作为背景元素；形成人脸分割的训练数据。
形成归一化坐标编码投影网络的训练数据：
使用Yu Deng等人的方法对二维人脸进行重建，获得它的三维形状和纹理，并且把自遮挡部分的纹理用对称性方法进行纹理补充。剩下无法补充的部分，我们删除它们的顶点和纹理部分。最后再与Julie等人的模板人脸进行非刚体形变，得到最终带纹理的三维模型。
把Julie等人的三维模板根据Xiangyu Zhu在2015年于conference on computervision and pattern recognition（CVPR）上的《Face alignment across large poses: A3d solution》提出的NCC概念，生成对应的NCC模型。然后由不同的角度随同带纹理的三维模型投影到平面内，形成PNCC-图片，通过形成的PNCC-图片训练归一化坐标编码投影网络。
形成填充网络的训练数据：
把带纹理的三维模型从左侧脸到右侧脸，每隔10度投影到二维平面内，形成69万的数据用于训练填充网络。
形成形状网络的训练数据：
把带纹理的三维模型根据用保角变换的三维参数化技术，获得三维模型的每个顶点在UV空间中的坐标，然后生成UV纹理图谱和位置图谱。用于训练填充网络和形状网络。
与现有技术相比，从单张图像到三维人脸通常使用三维形变模型方法（3DMM）去估计三维模型，而三维形变模型方法则是通过估计几百个参数去建立五万个三维顶点到二维图片像素点之间的对应。这种粗略的预测显然会导致很大的误差。即使采用密集的预测方式，也会造成很大的误差，原因在于单张图像与三维人脸之间的对应是从像素点到顶点之间的对应，而现有密集预测的方式却不是基于像素点，所以这种方式造成的误差也很大。
单张图像到三维模型之间的对应误差会导致UV纹理图中掺杂大量非人脸像素（背景，头发等），而这种非人脸像素是无法通过后处理去除，从而影响最终的纹理的效果。
现有的从图像到三维形状的预测一般是基于参数向量的预测（比如三维形变模型），或者基于密集的预测。这两种预测均不是基于像素点对应的预测，这就限制了很多的应用，比如三维人脸形变等等。
本方法是把从单张图像到三维形状重建这一病态问题分解为两个更加容易解决的基于像素级的人脸分割和归一化坐标编码投影任务，对于填充算法我们使用了更加先进的基于生成方法去增强完整纹理的细节；实现先重建出完整的纹理后，再根据完整的纹理进行三维形状的重建以及纹理的映射以达到高效且准确的建立具有纹理的三维人脸数据。
基于同一发明构思，如图5所示，本发明实施例提供一种智能终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，该程序能够被处理器加载执行时实现如图1-图4。流程中所述的基于单图像的三维形状和纹理重建方法。
基于同一发明构思，如图5所示，本发明实施例提供一种基于单图像的三维形状和纹理重建系统，包括：图像获取装置、智能终端以及展示装置。
图像获取装置用于获取二维图像信息，图像获取装置可以为照相机、摄像机、智能手机等具有拍摄功能的智能设备。
智能终端包括人脸图像获取模块、UV空间纹理映射模块、纹理图谱填充模块以及三维纹理人脸成型模块。
其中，人脸图像获取模块用于获取人脸图像信息；人脸图像获取模块包括二维图像获取单元、人脸检测判断单元、图像预处理单元、人脸分割提取单元以及缩放处理单元。
二维图像获取单元用于获取二维图像信息；人脸检测判断单元能够根据二维图像信息以对该二维图像信息中的人脸数据信息进行检测，判断二维图像中是否存在人脸数据信息；图像预处理单元能够在二维图像中检测到人脸数据信息时，将当前二维图像信息进行归一化预处理以形成预处理图像信息；人脸分割提取单元用于将预处理图像信息通过所预设的人脸分割网络的分析以提取人脸图像信息；缩放处理单元能够将当前人脸图像信息中的人脸数据进行同比例放大处理和/或将当前人脸图像信息进行缩小分辨率。
UV空间纹理映射模块能够将人脸图像信息通过所预设的归一化坐标编码预测网络的分析并将分析得到的数据信息映射至UV空间以形成UV空间纹理映射信息。
纹理图谱填充模块能够将UV空间纹理映射信息通过所预设的填充网络的分析以获取完整纹理图谱信息。
三维纹理人脸成型模块能够将完整纹理图谱信息通过所预设的形状网络的分析以获得UV位置图谱信息并根据对应关系以形成三维纹理人脸信息。
展示装置用于展示三维纹理人脸信息，展示装置可以是具有显示屏的终端，例如电脑、平板以及手机等终端。
基于同一发明构思，本发明实施例提供一种计算机可读存储介质，包括能够被处理器加载执行时实现如图1-图4。流程中所述的各个步骤。
所述计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于单图像的三维形状和纹理重建方法，其特征是，包括：获取人脸图像信息；
将人脸图像信息通过所预设的归一化坐标编码预测网络的分析并将分析得到的数据信息映射至UV空间以形成UV空间纹理映射信息；
将UV空间纹理映射信息通过所预设的填充网络的分析以获取完整纹理图谱信息；
将完整纹理图谱信息通过所预设的形状网络的分析以获得UV位置图谱信息；所述UV位置图谱信息包括人脸三维形状坐标信息；
根据人脸三维形状坐标信息以形成三维纹理人脸信息；
在将人脸图像信息通过所预设的归一化坐标编码预测网络进行分析之前，将当前人脸图像信息中的人脸数据进行同比例放大处理和/或将当前人脸图像信息进行缩小分辨率；
关于获取UV空间纹理映射信息的方法如下：将人脸图像信息通过所预设的归一化坐标编码预测网络的分析以获取归一化坐标编码图谱信息，从预先设置的基准归一化坐标编码图谱信息与基准UV空间坐标信息之间的对应关系中，查找与当前归一化坐标编码图谱信息对应的UV空间坐标信息；
将当前的归一化坐标编码图谱信息依次映射到UV空间坐标信息以形成UV空间纹理映射信息。
2.根据权利要求1所述的基于单图像的三维形状和纹理重建方法，其特征是，关于获取人脸图像信息的方法如下：获取二维图像信息；
根据二维图像信息以对该二维图像信息中的人脸数据信息进行检测；若二维图像中检测到人脸数据信息，则将当前二维图像信息进行归一化预处理以形成预处理图像信息；
将预处理图像信息通过所预设的人脸分割网络的分析以提取人脸图像信息。
3.根据权利要求2所述的基于单图像的三维形状和纹理重建方法，其特征是：根据人脸关键点检测方法以对二维图像信息中的人脸数据信息进行检测；
将二维图像信息中的人脸数据信息所对应的区域进行选取，并将该选取的区域进行归一化预处理以形成预处理图像信息。
4.根据权利要求1所述的基于单图像的三维形状和纹理重建方法，其特征是，关于同比例放大处理的方法如下：根据当前人脸图像信息中的人脸轮廓所对应的长度与宽度以形成矩形框信息；
根据所预设的放大系数逐渐放大当前矩形框信息；其中，放大系数为正比例系数；
当至少存在两条矩形框信息所对应的边界与人脸图像信息中背景数据的边界相互重合时，则停止同比例放大处理；
更新当前人脸图像信息以供后续处理。
5.根据权利要求1所述的基于单图像的三维形状和纹理重建方法，其特征是：关于形成三维纹理人脸信息的方法如下：其中，所述完整纹理图谱信息包括人脸二维形状坐标信息以及与该人脸二维形状坐标信息一一对应的人脸纹理信息；所述人脸二维形状坐标信息与人脸三维形状坐标信息相互对应；
根据人脸三维形状坐标信息以形成三维人脸模型信息，将人脸纹理信息根据人脸二维形状坐标信息、人脸三维形状坐标信息以及三维人脸模型信息三的对应关系以依次映射到三维人脸模型信息以形成三维纹理人脸信息；
或将人脸二维形状坐标信息与人脸纹理信息同时根据人脸二维形状坐标信息以及人脸三维形状坐标信息之间的对应关系以形成具有人脸纹理的三维纹理人脸信息。
6.一种基于单图像的三维形状和纹理重建系统，其特征是，包括：人脸图像获取模块：获取人脸图像信息；
UV空间纹理映射模块：将人脸图像信息通过所预设的归一化坐标编码预测网络的分析并将分析得到的数据信息映射至UV空间以形成UV空间纹理映射信息；
纹理图谱填充模块：将UV空间纹理映射信息通过所预设的填充网络的分析以获取完整纹理图谱信息；
三维纹理人脸成型模块：将完整纹理图谱信息通过所预设的形状网络的分析以获得UV位置图谱信息；所述UV位置图谱信息包括人脸三维形状坐标信息；根据人脸三维形状坐标信息以形成三维纹理人脸信息；
在将人脸图像信息通过所预设的归一化坐标编码预测网络进行分析之前，将当前人脸图像信息中的人脸数据进行同比例放大处理和/或将当前人脸图像信息进行缩小分辨率；
关于获取UV空间纹理映射信息的方法如下：将人脸图像信息通过所预设的归一化坐标编码预测网络的分析以获取归一化坐标编码图谱信息，从预先设置的基准归一化坐标编码图谱信息与基准UV空间坐标信息之间的对应关系中，查找与当前归一化坐标编码图谱信息对应的UV空间坐标信息；
将当前的归一化坐标编码图谱信息依次映射到UV空间坐标信息以形成UV空间纹理映射信息。
7.一种智能终端，其特征是，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，该程序能够被处理器加载执行时实现如权利要求1至6中任一项所述的基于单图像的三维形状和纹理重建方法。
8.一种计算机可读存储介质，其特征是，存储有能够被处理器加载执行时实现如权利要求1至6中任一项所述的基于单图像的三维形状和纹理重建方法的程序。
CN201911302636.0A 2019-12-17 2019-12-17 基于单图像的三维形状和纹理重建方法、系统及存储介质 Active CN111127631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911302636.0A CN111127631B (zh) 2019-12-17 2019-12-17 基于单图像的三维形状和纹理重建方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911302636.0A CN111127631B (zh) 2019-12-17 2019-12-17 基于单图像的三维形状和纹理重建方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111127631A CN111127631A (zh) 2020-05-08
CN111127631B true CN111127631B (zh) 2023-07-28

Family

ID=70499329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911302636.0A Active CN111127631B (zh) 2019-12-17 2019-12-17 基于单图像的三维形状和纹理重建方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111127631B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112426716B (zh) * 2020-11-26 2024-08-13 网易（杭州）网络有限公司 三维头发模型处理方法、装置、设备及存储介质
CN112669441B (zh) * 2020-12-09 2023-10-17 北京达佳互联信息技术有限公司 一种对象重建方法、装置、电子设备和存储介质
CN112819944B (zh) * 2021-01-21 2022-09-27 魔珐(上海)信息科技有限公司 三维人体模型重建方法、装置、电子设备及存储介质
CN112883102B (zh) * 2021-03-05 2024-03-08 北京知优科技有限公司 数据可视化展示的方法、装置、电子设备及存储介质
CN113327278B (zh) * 2021-06-17 2024-01-09 北京百度网讯科技有限公司 三维人脸重建方法、装置、设备以及存储介质
CN114581586A (zh) * 2022-03-09 2022-06-03 北京百度网讯科技有限公司 一种模型基底的生成方法、装置、电子设备及存储介质
CN115082640B (zh) * 2022-08-01 2024-09-20 聚好看科技股份有限公司 基于单张图像的3d人脸模型纹理重建方法及设备
CN115661322B (zh) * 2022-09-26 2023-09-22 北京百度网讯科技有限公司 人脸纹理图像的生成方法、装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN109377557A (zh) * 2018-11-26 2019-02-22 中山大学 基于单帧人脸图像的实时三维人脸重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978984A (zh) * 2017-12-27 2019-07-05 Tcl集团股份有限公司 人脸三维重建方法及终端设备
JP6975665B2 (ja) * 2018-03-14 2021-12-01 日本ユニシス株式会社 テクスチャマッピング装置およびテクスチャマッピング用プログラム
CN108564619B (zh) * 2018-04-25 2021-05-14 厦门大学 一种基于两张照片的真实感三维人脸重建方法
CN110197154B (zh) * 2019-05-30 2021-09-21 汇纳科技股份有限公司 融合部位纹理三维映射的行人重识别方法、系统、介质及终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN109377557A (zh) * 2018-11-26 2019-02-22 中山大学 基于单帧人脸图像的实时三维人脸重建方法

Also Published As

Publication number Publication date
CN111127631A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111127631B (zh) 基于单图像的三维形状和纹理重建方法、系统及存储介质
CN109859296B (zh) Smpl参数预测模型的训练方法、服务器及存储介质
AU2020200811B2 (en) Direct meshing from multiview input using deep learning
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
US10740897B2 (en) Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
CN111462120B (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
JP7526412B2 (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
EP2080167B1 (en) System and method for recovering three-dimensional particle systems from two-dimensional images
CN115699088A (zh) 从二维图像生成三维对象模型
EP3756163B1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
Lee et al. Finding optimal views for 3D face shape modeling
Palazzi et al. End-to-end 6-dof object pose estimation through differentiable rasterization
JP2024529423A (ja) 保安検査ｃｔ対象物認識方法及び装置
CN117581232A (zh) 基于NeRF的机器学习模型的加速训练
Ye et al. Nef: Neural edge fields for 3d parametric curve reconstruction from multi-view images
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
CN111062473A (zh) 神经网络模型中的数据计算方法、图像处理方法及装置
CN113034675B (zh) 一种场景模型构建方法、智能终端及计算机可读存储介质
Sun et al. A human ear reconstruction autoencoder
Hensel et al. LSTM Architectures for Facade Structure Completion.
CN115984583B (zh) 数据处理方法、装置、计算机设备、存储介质和程序产品
CN118366130B (zh) 行人眩光防护与智能阴影区域生成方法及系统
Wu et al. Object detection in 3D point clouds via local correlation-aware point embedding
Hensel et al. Facade Layout Completion with Long Short-Term Memory Networks
CN118840508A (zh) 一种基于法向引导的rgb-d场景重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant