CN112634441B - 一种3d人体模型生成方法、系统及相关设备 - Google Patents

一种3d人体模型生成方法、系统及相关设备 Download PDF

Info

Publication number
CN112634441B
CN112634441B CN202011587532.1A CN202011587532A CN112634441B CN 112634441 B CN112634441 B CN 112634441B CN 202011587532 A CN202011587532 A CN 202011587532A CN 112634441 B CN112634441 B CN 112634441B
Authority
CN
China
Prior art keywords
face
network
model
human body
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011587532.1A
Other languages
English (en)
Other versions
CN112634441A (zh
Inventor
解新雄
田第鸿
刘聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Artificial Intelligence and Robotics
Original Assignee
Shenzhen Institute of Artificial Intelligence and Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Artificial Intelligence and Robotics filed Critical Shenzhen Institute of Artificial Intelligence and Robotics
Priority to CN202011587532.1A priority Critical patent/CN112634441B/zh
Publication of CN112634441A publication Critical patent/CN112634441A/zh
Application granted granted Critical
Publication of CN112634441B publication Critical patent/CN112634441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种3D人体模型生成方法、系统及相关设备，基于2D图像生成3D人体模型，降低3D人体模型构建的成本。本发明实施例方法包括：构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对所述参数预估网络进行训练，得到优化的3D人脸模型；构建2D面部图像映射3D人体模型的初步映射网络；将所述优化的3D人脸模型学习到的知识迁移给所述初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络；接收目标2D面部图像，并采用所述3D人体变换网络生成对应的3D人体模型。

Description

一种3D人体模型生成方法、系统及相关设备
技术领域
本发明涉及3D人体模型生成技术领域，尤其涉及一种3D人体模型生成方法、系统及相关设备。
背景技术
随着通信技术的快速迭代，扩展现实技术迅速兴起，人们希望以更全面的方式与外界交互。例如在VR、MR以及在线试衣场景中，人们希望可以实现高质量的3D信息采集与交互。
在当下，直接实现3D信息高质量采集的技术尚未成熟，无论是使用激光扫描仪间接建模方案还是直接使用彩色扫描仪的直接建模方案，均需要昂贵的硬件成本。同时，这些方案均存在直接扫描效果不理想需要后续人工调整的问题，进一步增加了3D建模的成本，这两种方案在现阶段基本丧失了大范围推广的可能。
发明内容
本发明实施例提供了一种3D人体模型生成方法、系统及相关设备，基于2D图像生成3D人体模型，降低3D人体模型构建的成本。
本发明实施例第一方面提供了一种3D人体模型生成方法，可包括：
构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对所述参数预估网络进行训练，得到优化的3D人脸模型；
构建2D面部图像映射3D人体模型的初步映射网络；
将所述优化的3D人脸模型学习到的知识迁移给所述初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络；
接收目标2D面部图像，并采用所述3D人体变换网络生成对应的3D人体模型。
可选的，作为一种可能的实施方式，本发明实施例中，所述采用预设训练集中的2D面部图像对所述参数预估网络进行训练，可包括：
以预设训练集中的2D面部图像作为所述参数预估网络的输入，以所述3D人脸模型的参数集合作为输出，以输入的2D面部图像中人脸图像与所述3D人脸模型输出的3D人脸重投影图像之间的距离最小化为原则，对所述参数预估网络进行训练。
可选的，作为一种可能的实施方式，本发明实施例中，所述构建2D面部图像映射3D人体模型的初步映射网络，可包括：
构建有监督的深度学习网络，并采用3D人体数据集中的基本数据对所述有监督的深度学习网络进行训练，通过最小化网络生成的3D人体模型与其关联的3D人体模型间的距离来优化网络，得到2D面部图像映射3D人体模型的初步映射网络，每一条所述基本数据中包含一张2D面部图像及其关联的3D人体模型。
可选的，作为一种可能的实施方式，本发明实施例中，所述构建2D面部图像映射3D人体模型的初步映射网络，可包括：
采集3D人体数据集中的2D面部图像进行人脸特征提取，构建人脸特征索引库；
构建初始映射网络，所述初始映射网络对输入的基本数据中的2D面部图像进行人脸特征提取，并与所述人脸特征索引库中的人脸特征进行匹配，选择匹配成功的人脸特征对应的3D人体模型作为输出；
采用3D人体数据集中的基本数据对所述初始映射网络进行训练，得到2D面部图像映射3D人体模型的初步映射网络。
可选的，作为一种可能的实施方式，本发明实施例中，将所述优化的3D人脸模型学习到的知识迁移给所述初步映射网络，可包括：
将所述初步映射网络输出的3D人体模型的3D面部模型进行分割，通过最小化分割后的3D面部模型与所述优化的3D人脸模型输出的3D面部模型间距离来优化训练所述初步映射网络，以优化所述初步映射网络输出的3D人体模型的面部细节。
可选的，作为一种可能的实施方式，本发明实施例中的3D人体模型生成方法，还可以包括：
对输入的2D面部图像进行预处理，所述预处理包括：基于人脸检测算法识别人脸位置，并使用面部分割算法获取人脸、耳朵与头发所在图像区域；
对所述耳朵与头发所在图像区域构建深度预估模型，将所述深度预估模型与所述参数预估网络进行联合训练，以在3D人脸模型中补全耳朵与头发区域。
本发明实施例第二方面提供了一种3D人体模型生成系统，可包括：
第一构建模块，用于构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对所述参数预估网络进行训练，得到优化的3D人脸模型；
第二构建模块，用于构建2D面部图像映射3D人体模型的初步映射网络；
融合模块，用于将所述优化的3D人脸模型学习到的知识迁移给所述初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络；
生成模块，用于接收目标2D面部图像，并采用所述3D人体变换网络生成对应的3D人体模型。
可选的，作为一种可能的实施方式，本发明实施例中，所述第一构建模块，可包括：
第一训练单元，以预设训练集中的2D面部图像作为所述参数预估网络的输入，以所述3D人脸模型的参数集合作为输出，以输入的2D面部图像中人脸图像与所述3D人脸模型输出的3D人脸重投影图像之间的距离最小化为原则，对所述参数预估网络进行训练。
可选的，作为一种可能的实施方式，本发明实施例中，所述第二构建模块，可包括：
第一构建单元，用于构建有监督的深度学习网络，并采用3D人体数据集中的基本数据对所述有监督的深度学习网络进行训练，通过最小化网络生成的3D人体模型与其关联的3D人体模型间的距离来优化网络，得到2D面部图像映射3D人体模型的初步映射网络，每一条所述基本数据中包含一张2D面部图像及其关联的3D人体模型。
可选的，作为一种可能的实施方式，本发明实施例中，所述第二构建模块，可包括：
采集单元，用于采集3D人体数据集中的2D面部图像进行人脸特征提取，构建人脸特征索引库；
第二构建单元，构建初始映射网络，所述初始映射网络对输入的基本数据中的2D面部图像进行人脸特征提取，并与所述人脸特征索引库中的人脸特征进行匹配，选择匹配成功的人脸特征对应的3D人体模型作为输出；
第二训练单元，采用3D人体数据集中的基本数据对所述初始映射网络进行训练，得到2D面部图像映射3D人体模型的初步映射网络。
可选的，作为一种可能的实施方式，本发明实施例中，所述融合模块，可包括：
第三训练单元，将所述初步映射网络输出的3D人体模型的3D面部模型进行分割，通过最小化分割后的3D面部模型与所述优化的3D人脸模型输出的3D面部模型间距离来优化训练所述初步映射网络，以优化所述初步映射网络输出的3D人体模型的面部细节。
可选的，作为一种可能的实施方式，本发明实施例中的3D人体模型生成系统，还可以包括：
预处理模块，对输入的2D面部图像进行预处理，所述预处理包括：基于人脸检测算法识别人脸位置，并使用面部分割算法获取人脸、耳朵与头发所在图像区域；
联合训练模块，对所述耳朵与头发所在图像区域构建深度预估模型，将所述深度预估模型与所述参数预估网络进行联合训练，以在3D人脸图像中补全耳朵与头发的图像区域。
本发明实施例第三方面提供了一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。
本发明实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，可以预先构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对参数预估网络进行训练，得到优化的3D人脸模型，并构建2D面部图像映射3D人体模型的初步映射网络。然后将优化的3D人脸模型学习到的知识迁移给初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络。相对于相关技术，本申请实现了2D图像到3D人体模型的端到端映射，无需使用激光扫描仪、彩色扫描仪等设备，降低了3D人体模型构建的成本。
附图说明
图1为本发明实施例中一种3D人体模型生成方法的一个实施例示意图；
图2为本发明实施例中一种3D人体模型生成方法的另一个实施例示意图；
图3为本发明实施例中一种3D人体模型生成方法的一个具体应用实施例示意图；
图4为本发明实施例中一种计算机装置的一个实施例示意图。
具体实施方式
本发明实施例提供了一种3D人体模型生成方法、系统及相关设备，基于2D图像生成3D人体模型，降低3D人体模型构建的成本。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有方案中，往往需要使用激光扫描仪或彩色扫描仪进行3D人体建模，均需要昂贵的硬件成本。本发明实施例通过建立2D面部图像到3D人体模型的端到端映射网络，无需依赖激光扫描仪或彩色扫描仪，降低了硬件成本。
为了便于理解，下面对本发明实施例中的具体流程进行描述，请参阅图1，本发明实施例中一种3D人体模型生成方法的一个实施例可包括：
S101、构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对参数预估网络进行训练，得到优化的3D人脸模型；
为了实现2D面部图像到3D人脸图像的端到端映射，本发明实施例需要预先构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对参数预估网络进行训练，得到3D人脸模型优化的参数集合，将该参数集合代入3D人脸模型即可得到优化的3D人脸模型，即作为优化的3D人脸模型。
具体的，训练过程中，该参数预估网络输入为2D面部图像，输出为对应3D人脸模型(例如3DMM模型)的各个参量系数。基于每次获取到的参量系数，3D人脸模型可以输出当前输入的图像(A)对应的3D人脸投影图像(B)，可以通过深度学习的方式提高图像(A)与图像(B)之间的相似度，进而得到优化的3D人脸模型。
可选的，作为一种可能的实施方式，本发明实施例中，可以将2D面部图像中人脸图像与3D人脸模型输出的3D人脸重投影图像之间的距离作为相似度的评价维度，以输入的2D面部图像中人脸图像与3D人脸模型输出的3D人脸重投影图像之间的距离最小化为原则，对参数预估网络进行训练。
S102、构建2D面部图像映射3D人体模型的初步映射网络；
本发明实施例中，可以基于有监督的方式训练学习构建2D面部图像映射3D人体模型的初步映射网络。
可选的，作为一种可能的实施方式，具体构建2D面部图像映射3D人体模型的初步映射网络，可以包括：
构建有监督的深度学习网络，并采用3D人体数据集中的基本数据对有监督的深度学习网络进行训练，通过最小化网络生成的3D人体模型与其关联的3D人体模型间的距离来优化网络，得到2D面部图像映射3D人体模型的初步映射网络，每一条基本数据中包含一张2D面部图像及其关联的3D人体模型。
可选的，作为一种可能的实施方式，具体构建2D面部图像映射3D人体模型的初步映射网络，可以包括：
采集3D人体数据集中的2D面部图像进行人脸特征提取，构建人脸特征索引库；构建初始映射网络，初始映射网络对输入的基本数据中的2D面部图像进行人脸特征提取，并与人脸特征索引库中的人脸特征进行匹配，选择匹配成功的人脸特征对应的3D人体模型作为输出；采用3D人体数据集中的基本数据对初始映射网络进行训练，训练完成之后即可得到2D面部图像映射3D人体模型的初步映射网络。
S103、将优化的3D人脸模型学习到的知识迁移给初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络；
在分别得到优化的3D人脸模型、初步映射网络之后，可以使用优化的3D人脸模型得到3D面部模型对其初步映射网络中的面部图像进行微调优化，进而使得面部的细节生成更加丰富真实。3D人体模型生成系统可以将优化的3D人脸模型学习到的知识迁移给初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络。
具体的，将优化的3D人脸模型学习到的知识迁移给初步映射网络，可以包括：将初步映射网络输出的3D人体模型的3D面部模型进行分割，通过最小化分割后的3D面部模型与优化的3D人脸模型输出的3D面部模型间距离来优化训练初步映射网络，以优化初步映射网络输出的3D人体模型的面部细节。
S104、接收目标2D面部图像，并采用3D人体变换网络生成对应的3D人体模型。
在训练结束之后得到3D人体变换网络，当需要基于目标2D面部图像生成3D人体模型时，可以直接采用3D人体变换网络生成对应的3D人体模型。
本发明实施例中，可以预先构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对参数预估网络进行训练，得到优化的3D人脸模型，并构建2D面部图像映射3D人体模型的初步映射网络。然后将优化的3D人脸模型学习到的知识迁移给初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络。相对于相关技术，本申请实现了2D图像到3D人体模型的端到端映射，无需使用激光扫描仪、彩色扫描仪等设备，降低了3D人体模型构建的成本。
申请人注意到，现有的3D人脸模型(例如，3DMM模型)往往未构建面部除人脸外包含耳朵及头发的3D模型，为了进一步增强3D人体模型的面部细节，本本发明实施例中，还可以单独训练面部除人脸外其他部分的深度估计网络，用以实现其他部分的3D重建。请参阅图2，本发明实施例中一种3D人体模型生成方法的另一个实施例可包括：
S201、对输入的2D面部图像进行预处理；
为了进一步增强3D人体模型的面部细节，本本发明实施例中，3D人体模型生成系统可以对输入的2D面部图像进行预处理，该预处理包括：基于人脸检测算法(例如FasterR-CNN算法)识别人脸位置，并使用面部分割算法(Mask Scoring R-CNN算法)获取人脸、耳朵与头发所在图像区域。
S202、构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对参数预估网络进行训练；
S203、对耳朵与头发所在图像区域构建深度预估模型，将深度预估模型与参数预估网络进行联合训练，得到优化的3D人脸模型；
为了在3D人脸图像中补全耳朵与头发的图像区域，本发明实施例中可以对耳朵与头发所在图像区域构建深度预估模型，然后将深度预估模型与参数预估网络进行联合训练，得到优化的3D人脸模型。
S204、构建2D面部图像映射3D人体模型的初步映射网络；
S205、将优化的3D人脸模型学习到的知识迁移给初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络；
S206、接收目标2D面部图像，并采用3D人体变换网络生成对应的3D人体模型。
本实施例中的S202、S204至S206中描述的内容与上述图1中的S101至S104中的内容类似，此处不做赘述。
为了便于理解，下面将结合具体应用实施例对本发明实施例中的3D人体模型生成方法进行描述。该具体应用实施例的总体系统框图如图3所示，共包含两大部分，即2D面部到3D面部的映射网络与2D面部到3D人体的变换网络，并通过第一部分训练的得到的3D面部去优化第二部分3D人体生成的面部细节，下面将分别介绍每个部分。
(一)、2D面部到3D面部的映射网络
2D面部到3D面部的映射网络的构建，具体包括以下步骤：
1，对输入的2D面部图像进行预处理；
本实施例中，可以基于人脸检测算法检测到人脸位置后将其置于图像中央，此外为实现不同部位的分别重建，还可以使用面部分割算法获取人脸、耳朵与头发等的所属区域。
2，搭建3DMM参数模型的参数预估网络，通过最小化输入的2D面部图像中人脸部分与得到的3D人脸重投影图像间的距离，进行参数预估网络的训练与优化；
搭建3DMM参数模型的参数预估网络的输入为一张2D面部图像，输出为对应3DMM模型的各个参量系数，通过最小化输入的2D面部图像中人脸部分与得到的3D人脸重投影图像间的距离，进行参数预估网络的训练与优化。
3，对面部除人脸外的其他部分构建深度预估模型，并将该预估网络与3D人脸重建网络进行联合训练；
为了实现人脸其他部位在3D参数人脸模型中的补全，对面部除人脸外的其他部分构建深度预估模型，并将该预估网络与3D人脸重建网络进行联合训练，通过重投影的方式对网络参数进行学习优化。
4，生成2D面部图像到3D面部的映射网络。
在网络训练收敛后，便可得到一个端到端的2D面部图像到3D面部的映射网络。
(二)2D面部图像到3D人体的变换网络
本部分的变换网络训练时使用了由(2D面部图像，对应3D人体模型)成对数据构成的3D人体数据集，基于有监督的方式训练学习了一个由2D面部图像到3D人体间的初步映射网络，紧接着使用第一部分训练完成的2D面部图像到3D面部的映射网络对其初步映射网络进行微调优化，进而使得面部的细节生成更加丰富真实。
具体而言，本变换网络会进行以下几个步骤：
1，对输入的2D面部图像进行预处理；
2，使用有监督的深度学习网络训练2D面部图像到3D人体间的初步映射网络；
3，使用训练好的2D面部图像到3D面部的映射网络对学习到的3D人体初步映射网络进行微调优化；
通过将3D面部映射网络学习到的知识迁移给3D人体初步映射网络，进而增强3D人体面部细节纹理。具体的，可以将初步映射网络输出的3D人体模型的3D面部模型进行分割，通过最小化分割后的3D面部模型与优化的3D人脸模型输出的3D面部模型间距离来优化训练初步映射网络，以优化初步映射网络输出的3D人体模型的面部细节。
4，在网络训练收敛后，便可实现由2D面部图像到3D人体的生成。
本实施例中，一是提出了由一张面部图像在身体信息缺失情况下，通过有监督的深度学习网络直接学习2D面部与3D人体间的微妙联系，进而生成3D人体的解决方案；二是率先提出了使用参数化的人脸模型以及深度预估网络构建完整的3D面部，并用其对3D人体面部细节优化的解决方案；这种优化方式将使得生成的3D人体面部纹理更加丰富，细节更加清晰真实。
本发明实施例还提供了一种3D人体模型生成系统，可包括：
第一构建模块，用于构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对参数预估网络进行训练，得到优化的3D人脸模型；
第二构建模块，用于构建2D面部图像映射3D人体模型的初步映射网络；
融合模块，用于将优化的3D人脸模型学习到的知识迁移给初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络；
生成模块，用于接收目标2D面部图像，并采用3D人体变换网络生成对应的3D人体模型。
可选的，作为一种可能的实施方式，本发明实施例中，第一构建模块，可包括：
第一训练单元，以预设训练集中的2D面部图像作为参数预估网络的输入，以3D人脸模型的参数集合作为输出，以输入的2D面部图像中人脸图像与3D人脸模型输出的3D人脸重投影图像之间的距离最小化为原则，对参数预估网络进行训练。
可选的，作为一种可能的实施方式，本发明实施例中，第二构建模块，可包括：
第一构建单元，用于构建有监督的深度学习网络，并采用3D人体数据集中的基本数据对有监督的深度学习网络进行训练，通过最小化网络生成的3D人体模型与其关联的3D人体模型间的距离来优化网络，得到2D面部图像映射3D人体模型的初步映射网络，每一条基本数据中包含一张2D面部图像及其关联的3D人体模型。
可选的，作为一种可能的实施方式，本发明实施例中，第二构建模块，可包括：
采集单元，用于采集3D人体数据集中的2D面部图像进行人脸特征提取，构建人脸特征索引库；
第二构建单元，构建初始映射网络，初始映射网络对输入的基本数据中的2D面部图像进行人脸特征提取，并与人脸特征索引库中的人脸特征进行匹配，选择匹配成功的人脸特征对应的3D人体模型作为输出；
第二训练单元，采用3D人体数据集中的基本数据对初始映射网络进行训练，得到2D面部图像映射3D人体模型的初步映射网络。
可选的，作为一种可能的实施方式，本发明实施例中，融合模块，可包括：
第三训练单元，将初步映射网络输出的3D人体模型的3D面部模型进行分割，通过最小化分割后的3D面部模型与优化的3D人脸模型输出的3D面部模型间距离来优化训练初步映射网络，以优化初步映射网络输出的3D人体模型的面部细节。
可选的，作为一种可能的实施方式，本发明实施例中的3D人体模型生成系统，还可以包括：
预处理模块，对输入的2D面部图像进行预处理，预处理包括：基于人脸检测算法识别人脸位置，并使用面部分割算法获取人脸、耳朵与头发所在图像区域；
联合训练模块，对耳朵与头发所在图像区域构建深度预估模型，将深度预估模型与参数预估网络进行联合训练，以在3D人脸图像中补全耳朵与头发的图像区域。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上面从模块化功能实体的角度对本发明实施例中的网图表编辑器进行了描述，请参阅图4，下面从硬件处理的角度对本发明实施例中的计算机装置进行描述：
该计算机装置1可以包括存储器11、处理器12和输入输出总线13。处理器11执行计算机程序时实现上述图1所示的3D人体模型生成方法实施例中的步骤，例如图1所示的步骤101至103。或者，处理器执行计算机程序时实现上述各装置实施例中各模块或单元的功能。
本发明的一些实施例中，处理器具体用于实现如下步骤：
构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对参数预估网络进行训练，得到优化的3D人脸模型；
构建2D面部图像映射3D人体模型的初步映射网络；
将优化的3D人脸模型学习到的知识迁移给初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络；
接收目标2D面部图像，并采用3D人体变换网络生成对应的3D人体模型。
可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：
以预设训练集中的2D面部图像作为参数预估网络的输入，以3D人脸模型的参数集合作为输出，以输入的2D面部图像中人脸图像与3D人脸模型输出的3D人脸重投影图像之间的距离最小化为原则，对参数预估网络进行训练。
可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：
构建有监督的深度学习网络，并采用3D人体数据集中的基本数据对有监督的深度学习网络进行训练，通过最小化网络生成的3D人体模型与其关联的3D人体模型间的距离来优化网络，得到2D面部图像映射3D人体模型的初步映射网络，每一条基本数据中包含一张2D面部图像及其关联的3D人体模型。
可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：
采集3D人体数据集中的2D面部图像进行人脸特征提取，构建人脸特征索引库；
构建初始映射网络，初始映射网络对输入的基本数据中的2D面部图像进行人脸特征提取，并与人脸特征索引库中的人脸特征进行匹配，选择匹配成功的人脸特征对应的3D人体模型作为输出；
采用3D人体数据集中的基本数据对初始映射网络进行训练，得到2D面部图像映射3D人体模型的初步映射网络。
可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：
将初步映射网络输出的3D人体模型的3D面部模型进行分割，通过最小化分割后的3D面部模型与优化的3D人脸模型输出的3D面部模型间距离来优化训练初步映射网络，以优化初步映射网络输出的3D人体模型的面部细节。
可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：
对输入的2D面部图像进行预处理，预处理包括：基于人脸检测算法识别人脸位置，并使用面部分割算法获取人脸、耳朵与头发所在图像区域；
对耳朵与头发所在图像区域构建深度预估模型，将深度预估模型与参数预估网络进行联合训练，以在3D人脸图像中补全耳朵与头发的图像区域。
其中，存储器11至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是计算机装置1的内部存储单元，例如该计算机装置1的硬盘。存储器11在另一些实施例中也可以是计算机装置1的外部存储设备，例如计算机装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括计算机装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于计算机装置1的应用软件及各类数据，例如计算机程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行计算机程序01等。
该输入输出总线13可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。
进一步地，计算机装置还可以包括有线或无线网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该计算机装置1与其他电子设备之间建立通信连接。
可选地，该计算机装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的，用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在计算机装置1中处理的信息以及用于显示可视化的用户界面。
图4仅示出了具有组件11-14以及计算机程序01的计算机装置1，本领域技术人员可以理解的是，图4示出的结构并不构成对计算机装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，可以实现如下步骤：
构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对参数预估网络进行训练，得到优化的3D人脸模型；
构建2D面部图像映射3D人体模型的初步映射网络；
将优化的3D人脸模型学习到的知识迁移给初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络；
接收目标2D面部图像，并采用3D人体变换网络生成对应的3D人体模型。
可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：
以预设训练集中的2D面部图像作为参数预估网络的输入，以3D人脸模型的参数集合作为输出，以输入的2D面部图像中人脸图像与3D人脸模型输出的3D人脸重投影图像之间的距离最小化为原则，对参数预估网络进行训练。
可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：
构建有监督的深度学习网络，并采用3D人体数据集中的基本数据对有监督的深度学习网络进行训练，通过最小化网络生成的3D人体模型与其关联的3D人体模型间的距离来优化网络，得到2D面部图像映射3D人体模型的初步映射网络，每一条基本数据中包含一张2D面部图像及其关联的3D人体模型。
可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：
采集3D人体数据集中的2D面部图像进行人脸特征提取，构建人脸特征索引库；
构建初始映射网络，初始映射网络对输入的基本数据中的2D面部图像进行人脸特征提取，并与人脸特征索引库中的人脸特征进行匹配，选择匹配成功的人脸特征对应的3D人体模型作为输出；
采用3D人体数据集中的基本数据对初始映射网络进行训练，得到2D面部图像映射3D人体模型的初步映射网络。
可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：
将初步映射网络输出的3D人体模型的3D面部模型进行分割，通过最小化分割后的3D面部模型与优化的3D人脸模型输出的3D面部模型间距离来优化训练初步映射网络，以优化初步映射网络输出的3D人体模型的面部细节。
可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：
对输入的2D面部图像进行预处理，预处理包括：基于人脸检测算法识别人脸位置，并使用面部分割算法获取人脸、耳朵与头发所在图像区域；
对耳朵与头发所在图像区域构建深度预估模型，将深度预估模型与参数预估网络进行联合训练，以在3D人脸图像中补全耳朵与头发的图像区域。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种3D人体模型生成方法，其特征在于，包括：
构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对所述参数预估网络进行训练，得到优化的3D人脸模型；
构建2D面部图像映射3D人体模型的初步映射网络；其中，所述初步映射网络为基于预设3D人体数据集中的2D面部图像及其关联的3D人体模型之间的特征匹配关系训练得到的；
将所述优化的3D人脸模型学习到的知识迁移给所述初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络；
接收目标2D面部图像，并采用所述3D人体变换网络生成对应的3D人体模型；
所述将所述优化的3D人脸模型学习到的知识迁移给所述初步映射网络，包括：
将所述初步映射网络输出的3D人体模型的3D面部模型进行分割，通过最小化分割后的3D面部模型与所述优化的3D人脸模型输出的3D面部模型间距离来优化训练所述初步映射网络，以优化所述初步映射网络输出的3D人体模型的面部细节。
2.根据权利要求1所述的方法，其特征在于，所述采用预设训练集中的2D面部图像对所述参数预估网络进行训练，包括：
以预设训练集中的2D面部图像作为所述参数预估网络的输入，以所述3D人脸模型的参数集合作为输出，以输入的2D面部图像中人脸图像与所述3D人脸模型输出的3D人脸重投影图像之间的距离最小化为原则，对所述参数预估网络进行训练。
3.根据权利要求2所述的方法，其特征在于，所述构建2D面部图像映射3D人体模型的初步映射网络，包括：
构建有监督的深度学习网络，并采用3D人体数据集中的基本数据对所述有监督的深度学习网络进行训练，通过最小化网络生成的3D人体模型与其关联的3D人体模型间的距离来优化网络，得到2D面部图像映射3D人体模型的初步映射网络，每一条所述基本数据中包含一张2D面部图像及其关联的3D人体模型。
4.根据权利要求2所述的方法，其特征在于，所述构建2D面部图像映射3D人体模型的初步映射网络，包括：
采集3D人体数据集中的2D面部图像进行人脸特征提取，构建人脸特征索引库；
构建初始映射网络，所述初始映射网络对输入的基本数据中的2D面部图像进行人脸特征提取，并与所述人脸特征索引库中的人脸特征进行匹配，选择匹配成功的人脸特征对应的3D人体模型作为输出；
采用3D人体数据集中的基本数据对所述初始映射网络进行训练，得到2D面部图像映射3D人体模型的初步映射网络。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在将所述优化的3D人脸模型学习到的知识迁移给所述初步映射网络之前，所述方法还包括：
对输入的2D面部图像进行预处理，所述预处理包括：基于人脸检测算法识别人脸位置，并使用面部分割算法获取人脸、耳朵与头发所在图像区域；
对所述耳朵与头发所在图像区域构建深度预估模型，将所述深度预估模型与所述参数预估网络进行联合训练，以在3D人脸模型补全耳朵与头发区域。
6.一种3D人体模型生成系统，其特征在于，包括：
第一构建模块，用于构建3D人脸模型的参数预估网络，并采用预设训练集中的2D面部图像对所述参数预估网络进行训练，得到优化的3D人脸模型；
第二构建模块，用于构建2D面部图像映射3D人体模型的初步映射网络；其中，所述初步映射网络为基于预设3D人体数据集中的2D面部图像及其关联的3D人体模型之间的特征匹配关系训练得到的；
融合模块，用于将所述优化的3D人脸模型学习到的知识迁移给所述初步映射网络，生成2D面部图像到3D人体模型的3D人体变换网络；
生成模块，用于接收目标2D面部图像，并采用所述3D人体变换网络生成对应的3D人体模型；
所述融合模块，具体用于将所述初步映射网络输出的3D人体模型的3D面部模型进行分割，通过最小化分割后的3D面部模型与所述优化的3D人脸模型输出的3D面部模型间距离来优化训练所述初步映射网络，以优化所述初步映射网络输出的3D人体模型的面部细节。
7.根据权利要求6所述的系统，其特征在于，所述第一构建模块，包括：
第一训练单元，以预设训练集中的2D面部图像作为所述参数预估网络的输入，以所述3D人脸模型的参数集合作为输出，以输入的2D面部图像中人脸图像与所述3D人脸模型输出的3D人脸重投影图像之间的距离最小化为原则，对所述参数预估网络进行训练。
8.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5中任意一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述方法的步骤。
CN202011587532.1A 2020-12-28 2020-12-28 一种3d人体模型生成方法、系统及相关设备 Active CN112634441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011587532.1A CN112634441B (zh) 2020-12-28 2020-12-28 一种3d人体模型生成方法、系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011587532.1A CN112634441B (zh) 2020-12-28 2020-12-28 一种3d人体模型生成方法、系统及相关设备

Publications (2)

Publication Number Publication Date
CN112634441A CN112634441A (zh) 2021-04-09
CN112634441B true CN112634441B (zh) 2023-08-22

Family

ID=75285780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011587532.1A Active CN112634441B (zh) 2020-12-28 2020-12-28 一种3d人体模型生成方法、系统及相关设备

Country Status (1)

Country Link
CN (1) CN112634441B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115783A (zh) * 2020-08-12 2020-12-22 中国科学院大学 基于深度知识迁移的人脸特征点检测方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9314692B2 (en) * 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
WO2017029488A2 (en) * 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115783A (zh) * 2020-08-12 2020-12-22 中国科学院大学 基于深度知识迁移的人脸特征点检测方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization";Shunsuke Saito;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;全文 *

Also Published As

Publication number Publication date
CN112634441A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN110717977B (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN111028330B (zh) 三维表情基的生成方法、装置、设备及存储介质
CN110503703B (zh) 用于生成图像的方法和装置
CN112052839B (zh) 图像数据处理方法、装置、设备以及介质
EP3811337A1 (en) System for predicting articulated object feature location
CN111028343B (zh) 三维人脸模型的生成方法、装置、设备及介质
CN111835984B (zh) 智能补光方法、装置、电子设备及存储介质
CN111243050B (zh) 肖像简笔画生成方法、系统及绘画机器人
Zhong et al. Towards practical sketch-based 3d shape generation: The role of professional sketches
CN110945537B (zh) 训练装置、识别装置、训练方法、识别方法和程序
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN111680544B (zh) 人脸识别方法、装置、系统、设备及介质
CN111598051B (zh) 一种脸部验证方法、装置、设备及可读存储介质
CN103425964A (zh) 图像处理设备、图像处理方法及计算机程序
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN111047509A (zh) 一种图像特效处理方法、装置及终端
CN110310247A (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN110598019A (zh) 重复图像识别方法及装置
CN111667005A (zh) 一种采用rgbd视觉传感的人体交互系统
CN111612897B (zh) 三维模型的融合方法、装置、设备及可读存储介质
CN108573192B (zh) 匹配人脸的眼镜试戴方法和装置
CN114723888A (zh) 三维发丝模型生成方法、装置、设备、存储介质及产品
CN109166172B (zh) 服装模型的构建方法、装置、服务器和存储介质
CN114120413A (zh) 模型训练方法、图像合成方法、装置、设备及程序产品
CN108805978A (zh) 一种基于深度学习三维模型的自动生成装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant