CN110428493B - 基于网格形变的单图像人体三维重建方法及系统 - Google Patents

基于网格形变的单图像人体三维重建方法及系统 Download PDF

Info

Publication number
CN110428493B
CN110428493B CN201910631389.2A CN201910631389A CN110428493B CN 110428493 B CN110428493 B CN 110428493B CN 201910631389 A CN201910631389 A CN 201910631389A CN 110428493 B CN110428493 B CN 110428493B
Authority
CN
China
Prior art keywords
human body
model
neural network
dimensional
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910631389.2A
Other languages
English (en)
Other versions
CN110428493A (zh
Inventor
刘烨斌
赵笑晨
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910631389.2A priority Critical patent/CN110428493B/zh
Publication of CN110428493A publication Critical patent/CN110428493A/zh
Application granted granted Critical
Publication of CN110428493B publication Critical patent/CN110428493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于网格形变的单图像人体三维重建方法及系统，其中，该方法包括以下步骤：采集单图片和人体模型，以及人体模型对应的初始人体三维模型，并利用初始人体三维模型构建人体模型数据库，以作为卷积神经网络的初始数据；对初始数据进行渲染得到卷积神经网络训练时的输入图片；利用数据流编程深度学习平台构建卷积神经网络，以根据输入图片提取出人体关节位置概率分布图；对单图片进行人体分割标注，得到人体分割标注图；根据单图片、人体分割标注图和人体关节位置概率分布图对卷积神经网络进行训练，得到最终人体三维模型。该方法可以更轻量且更好地表现人体模型细节特征，得到拥有更多三维几何细节特征的人体模型。

Description

基于网格形变的单图像人体三维重建方法及系统
技术领域
本发明涉及计算机视觉三维重建技术领域，特别涉及一种基于网格形变的单图像人体三维重建方法及系统。
背景技术
随着计算机视觉领域中的三维重建技术的不断发展，人体的三维重建技术成为了计算机室领域中的一个研究热点。现实生活中，网络上拥有大量的包含人物信息的图片，如何利用这些图片直接重建出相应的三维人体模型成为一个新兴的研究方向。
目前流行的基于单图像的人体重建方法主要分为重建参数化人体模型以及重建基于体素(voxel)表示的人体模型。常用的参数化模型为SMPL(A Skinned Multi-PersonLinear Model)，其包含用于描述人体姿态和描述人体体型的两套共72个参数。针对单图片重建问题，先从图片估计二维关节位置，再通过三维关节与二维平面关节投影距离最小来实现优化得到SMPL参数，进而得到人体。重建基于体素表示的人体模型，则是通过将空间分割为一个个小立方体，通过立方体是否被物体占用来表示三维模型。
尽管基于单图片重建三维人体模型技术已经有了很大的发展，但目前两种流行方法仍各有其问题：重建参数化模型，导致结果对人体表面几何细节的表现能力有限，无法很好地重建出人体表面衣物的细节纹理。基于体素表示的人体模型，则是由于目前显存的限制，最高精度只能达到128*128*128，整体表现较粗糙。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于网格形变的单图像人体三维重建方法，该方法可以更轻量且更好地表现人体模型细节特征，得到拥有更多三维几何细节特征的人体模型。
本发明的另一个目的在于提出一种基于网格形变的单图像人体三维重建系统。
为达到上述目的，本发明一方面提出了基于网格形变的单图像人体三维重建方法，包括以下步骤：采集单图片和人体模型，以及所述人体模型对应的初始人体三维模型，并利用所述初始人体三维模型构建所述人体模型数据库，以作为卷积神经网络的初始数据；对所述初始数据进行渲染得到卷积神经网络训练时的输入图片；利用数据流编程深度学习平台构建卷积神经网络，以根据所述输入图片提取出人体关节位置概率分布图；对所述单图片进行人体分割标注，得到人体分割标注图；根据所述单图片、所述人体分割标注图和所述人体关节位置概率分布图对所述卷积神经网络进行训练，得到最终人体三维模型。
本发明实施例的基于网格形变的单图像人体三维重建方法，利用了二维的彩色RGB图片和经过估计得到的粗糙人体SMPL三维模型，以及设计的二维卷积特征提取网络，对基于TensorFlow深度学习平台搭建的图卷积神经网络结构进行训练，最终得到基于网格形变得到的人体三维模型，从而可以更轻量且更好地表现人体模型细节特征，还可以通过训练好的图卷积的神经网络模型驱动网格变形得到拥有更多三维几何细节特征的人体模型。
另外，根据本发明上述实施例的基于网格形变的单图像人体三维重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，基于双重融合算法利用深度摄像机采集不同人体不同姿态得到所述人体模型
进一步地，在本发明的一个实施例中，通过对所述初始人体三维模型进行预处理得到所述人体模型数据库。
进一步地，在本发明的一个实施例中，将所述卷积神经网络训练至权重值基本收敛时，得到所述最终人体三维模型。
进一步地，在本发明的一个实施例中，还包括：将所述单图片和对应的最终人体三维模型输入训练好的卷积神经网络中，所述训练好的卷积神经网络输出包含几何细节的人体网格模型。
为达到上述目的，本发明另一方面提出了一种基于网格形变的单图像人体三维重建系统，包括：采集模块，用于采集人体模型和对应的初始人体三维模型，并利用所述初始人体三维模型构建所述人体模型数据库，以作为卷积神经网络的初始数据；渲染模块，用于对所述初始数据进行渲染得到卷积神经网络训练时的输入图片；提取模块，用于利用数据流编程深度学习平台构建卷积神经网络，以根据所述输入图片提取出人体关节位置概率分布图；分割标注模块，用于对所述单图片进行人体分割标注，得到人体分割标注图；训练模块，用于根据所述单图片、所述人体分割标注图和所述人体关节位置概率分布图对所述卷积神经网络进行训练，得到最终人体三维模型。
本发明实施例的基于网格形变的单图像人体三维重建系统，利用了二维的彩色RGB图片和经过估计得到的粗糙人体SMPL三维模型，以及设计的二维卷积特征提取网络，对基于TensorFlow深度学习平台搭建的图卷积神经网络结构进行训练，最终得到基于网格形变得到的人体三维模型，从而可以更轻量且更好地表现人体模型细节特征，还可以通过训练好的图卷积的神经网络模型驱动网格变形得到拥有更多三维几何细节特征的人体模型。
另外，根据本发明上述实施例的基于网格形变的单图像人体三维重建系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，基于双重融合算法利用深度摄像机采集不同人体不同姿态得到所述人体模型。
进一步地，在本发明的一个实施例中，通过对所述初始人体三维模型进行预处理得到所述人体模型数据库。
进一步地，在本发明的一个实施例中，将所述卷积神经网络训练至权重值基本收敛时，得到所述最终人体三维模型。
进一步地，在本发明的一个实施例中，还包括：测试模块，用于将所述单图片和对应的最终人体三维模型输入训练好的卷积神经网络中，所述训练好的卷积神经网络输出包含几何细节的人体网格模型。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例的基于网格形变的单图像人体三维重建方法流程图；
图2是本发明一个实施例的基于网格形变的单图像人体三维重建系统结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于网格形变的单图像人体三维重建方法及系统，首先将参照附图描述根据本发明实施例提出的基于网格形变的单图像人体三维重建方法。
图1是本发明一个实施例的基于网格形变的单图像人体三维重建方法流程图。
如图1所示，该基于网格形变的单图像人体三维重建方法包括以下步骤：
在步骤S101中，采集单图片和人体模型，以及人体模型对应的初始人体三维模型，并利用初始人体三维模型构建人体模型数据库，以作为卷积神经网络的初始数据。
进一步地，在本发明的一个实施例中，基于双重融合算法利用深度摄像机采集不同人体不同姿态得到人体模型。
进一步地，在本发明的一个实施例中，通过对初始人体三维模型进行预处理得到人体模型数据库。
也就是说，基于双重融合doubleFusion算法，利用深度摄像机同时采集一系列不同人不同姿势的人体模型及对应的SMPL模型(人体三维模型)，对采集到的SMPL模型进行预处理，实现模型的降采样，从而构建人体模型数据库作为卷积神经网络的原始数据。
在步骤S102中，对初始数据进行渲染得到卷积神经网络训练时的输入图片。
可以理解为，对初始数据进行不同视角，不同光照，不同背景下的渲染，得到图片作为网络训练时的输入。
在步骤S103中，利用数据流编程深度学习平台构建卷积神经网络，以根据输入图片提取出人体关节位置概率分布图。
具体而言，基于TensorFlow(数据流编程)深度学习平台搭建用于提取二维信息的前端网络，然后构建卷积神经网络实现基于图片生成人体18个关节位置的概率分布图。
在步骤S104中，对单图片进行人体分割标注，得到人体分割标注图。
在步骤S105中，根据单图片、人体分割标注图和人体关节位置概率分布图对卷积神经网络进行训练，得到最终人体三维模型。
进一步地，在本发明的一个实施例中，卷积神经网络进行训练至权重值基本收敛时，得到最终人体三维模型。
具体地，基于单图片、关节位置概率分布图以及人体分割标注图三者的二维信息经过经典卷积网络丰富特征维度，搭建用于三维变形的后端网络，利用二维特征数据，搭建图卷积网络将人体初始SMPL模型输出成为最终人体网格模型，利用构建的人体模型数据库和合理的能量函数对卷积神经网络中的权重进行迭代回归优化，直至权重基本收敛。
进一步地，在本发明的一个实施例中，还包括：将单图片和对应的最终人体三维模型输入训练好的卷积神经网络中，训练好的卷积神经网络输出包含几何细节的人体网格模型。
也就是说，将包含人物的单张彩色图片作为训练好的卷积神经网络的输入，网络即可输出包含几何细节的人体网格模型。
进一步地，在本发明实施例中采用了图卷积的神经网络结构，其包括以下步骤：
初始模型为粗糙且低分辨率的SMPL人体模型，以经过前端二维卷积神经网络提取到的二维特征作为指导信息；
提取后的二维特征信息和对应的初始模型作为输入，经过图卷积神经网络得到细节优化后的网格表示人体三维模型。
下面结合具体示例对本发明实施例做进一步说明，如下：
步骤一，采集训练部分。利用Kinect2深度相机，结合DoubleFusion算法，采集不同人体不同姿势的人体模型，数目大约有80个不同人体，2000个不同姿势。将高精度人体模型和对应的SMPL模型进行配准，作为对卷积神经网络训练时的原始数据。对原始数据利用BLENDER(跨平台全能三维动画制作软件)渲染得到训练用的输入图片，利用OpenPose(基于深度学习的姿势估计开源框架)提取二维关节点热力图。利用以上数据及人体分割标注图，对基于TensorFlow深度学习平台搭建的图卷积神经网络结构进行训练，直至网络中的权重值基本收敛，最终得到基于网格形变得到的人体三维模型。
步骤二，测试和使用部分。利用相机采集的RGB图片，并且搭配一个降采样后的对应姿势的SMPL模型，将二者作为训练好的网络模型的输入部分，网络就可以驱动网格变形，进而输出包含几何细节的人体网格模型。
根据本发明实施例提出的基于网格形变的单图像人体三维重建方法，利用了二维的彩色RGB图片和经过估计得到的粗糙人体SMPL三维模型，以及设计的二维卷积特征提取网络，对基于TensorFlow深度学习平台搭建的图卷积神经网络结构进行训练，最终得到基于网格形变得到的人体三维模型，从而可以更轻量且更好地表现人体模型细节特征，还可以通过训练好的图卷积的神经网络模型驱动网格变形得到拥有更多三维几何细节特征的人体模型。
其次参照附图描述根据本发明实施例提出的基于网格形变的单图像人体三维重建系统。
图2是本发明一个实施例的基于网格形变的单图像人体三维重建系统结构示意图。
如图2所示，该基于网格形变的单图像人体三维重建系统10包括：采集模块100、渲染模块200、提取模块300、分割标注模块400、训练模块500和测试模块600。
其中，采集模块100用于采集人体模型和对应的初始人体三维模型，并利用初始人体三维模型构建人体模型数据库，以作为卷积神经网络的初始数据。渲染模块200用于对初始数据进行渲染得到卷积神经网络训练时的输入图片。提取模块300用于利用数据流编程深度学习平台构建卷积神经网络，以根据输入图片提取出人体关节位置概率分布图。分割标注模块400用于对单图片进行人体分割标注，得到人体分割标注图。训练模块500用于根据单图片、人体分割标注图和人体关节位置概率分布图对卷积神经网络进行训练，得到最终人体三维模型。测试模块600用于将单图片和对应的最终人体三维模型输入训练好的卷积神经网络中，训练好的卷积神经网络输出包含几何细节的人体网格模型。本发明实施例的人体三维重建系统可以更轻量且更好地表现人体模型细节特征，得到拥有更多三维几何细节特征的人体模型。
进一步地，在本发明的一个实施例中，基于双重融合算法利用深度摄像机采集不同人体不同姿态得到人体模型。
进一步地，在本发明的一个实施例中，通过对初始人体三维模型进行预处理得到人体模型数据库
可选地，在本发明的一个实施例中，卷积神经网络进行训练至权重值基本收敛时，得到最终人体三维模型。
需要说明的是，前述对基于网格形变的单图像人体三维重建方法实施例的解释说明也适用于该系统，此处不再赘述。
根据本发明实施例提出的基于网格形变的单图像人体三维重建系统，利用了二维的彩色RGB图片和经过估计得到的粗糙人体SMPL三维模型，以及设计的二维卷积特征提取网络，对基于TensorFlow深度学习平台搭建的图卷积神经网络结构进行训练，最终得到基于网格形变得到的人体三维模型，从而可以更轻量且更好地表现人体模型细节特征，还可以通过训练好的图卷积的神经网络模型驱动网格变形得到拥有更多三维几何细节特征的人体模型。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于网格形变的单图像人体三维重建方法，其特征在于，包括以下步骤：
采集单图片和人体模型，以及所述人体模型对应的初始人体三维模型，并利用所述初始人体三维模型构建所述人体模型数据库，以作为卷积神经网络的初始数据；
对所述初始数据进行渲染得到卷积神经网络训练时的输入图片；
利用数据流编程深度学习平台构建卷积神经网络，以根据所述输入图片提取出人体关节位置概率分布图；
对所述单图片进行人体分割标注，得到人体分割标注图；以及
根据所述单图片、所述人体分割标注图和所述人体关节位置概率分布图对所述卷积神经网络进行训练，得到最终人体三维模型；
通过对所述初始人体三维模型进行预处理得到所述人体模型数据库；将所述卷积神经网络训练至权重值基本收敛时，得到所述最终人体三维模型；
还包括：
将所述单图片和对应的最终人体三维模型输入训练好的卷积神经网络中，所述训练好的卷积神经网络输出包含几何细节的人体网格模型；
所述利用数据流编程深度学习平台构建卷积神经网络，以根据所述输入图片提取出人体关节位置概率分布图，包括：基于所述数据流编程深度学习平台搭建用于提取二维信息的前端网络，构建所述卷积神经网络实现基于所述输入图片生成所述人体18个关节位置的概率分布图；
所述根据所述单图片、所述人体分割标注图和所述人体关节位置概率分布图对所述卷积神经网络进行训练，得到最终人体三维模型，包括：基于所述单图片、所述人体关节位置概率分布图以及所述人体分割标注图三者的二维信息经过经典卷积网络丰富特征维度，搭建用于三维变形的后端网络，利用二维特征数据，搭建所述卷积神经网络将人体初始SMPL模型输出成为最终人体网格模型，利用构建的人体模型数据库和能量函数对所述卷积神经网络中的权重进行迭代回归优化，直至权重基本收敛。
2.根据权利要求1所述的方法，其特征在于，基于双重融合算法利用深度摄像机采集不同人体不同姿态得到所述人体模型。
3.一种基于网格形变的单图像人体三维重建系统，其特征在于，包括：
采集模块，用于采集单图片和人体模型，以及所述人体模型对应的初始人体三维模型，并利用所述初始人体三维模型构建所述人体模型数据库，以作为卷积神经网络的初始数据；
渲染模块，用于对所述初始数据进行渲染得到卷积神经网络训练时的输入图片；
提取模块，用于利用数据流编程深度学习平台构建卷积神经网络，以根据所述输入图片提取出人体关节位置概率分布图；
分割标注模块，用于对所述单图片进行人体分割标注，得到人体分割标注图；以及
训练模块，用于根据所述单图片、所述人体分割标注图和所述人体关节位置概率分布图对所述卷积神经网络进行训练，得到最终人体三维模型；
通过对所述初始人体三维模型进行预处理得到所述人体模型数据库，将所述卷积神经网络训练至权重值基本收敛时，得到所述最终人体三维模型；
还包括：
测试模块，用于将所述单图片和对应的最终人体三维模型输入训练好的卷积神经网络中，所述训练好的卷积神经网络输出包含几何细节的人体网格模型；
所述提取模块，具体用于基于所述数据流编程深度学习平台搭建用于提取二维信息的前端网络，构建所述卷积神经网络实现基于所述输入图片生成所述人体18个关节位置的概率分布图；
所述训练模块，具体用于基于所述单图片、所述人体关节位置概率分布图以及所述人体分割标注图三者的二维信息经过经典卷积网络丰富特征维度，搭建用于三维变形的后端网络，利用二维特征数据，搭建所述卷积神经网络将人体初始SMPL模型输出成为最终人体网格模型，利用构建的人体模型数据库和能量函数对所述卷积神经网络中的权重进行迭代回归优化，直至权重基本收敛。
4.根据权利要求3所述的系统，其特征在于，基于双重融合算法利用深度摄像机采集不同人体不同姿态得到所述人体模型。
CN201910631389.2A 2019-07-12 2019-07-12 基于网格形变的单图像人体三维重建方法及系统 Active CN110428493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910631389.2A CN110428493B (zh) 2019-07-12 2019-07-12 基于网格形变的单图像人体三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910631389.2A CN110428493B (zh) 2019-07-12 2019-07-12 基于网格形变的单图像人体三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN110428493A CN110428493A (zh) 2019-11-08
CN110428493B true CN110428493B (zh) 2021-11-02

Family

ID=68409329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910631389.2A Active CN110428493B (zh) 2019-07-12 2019-07-12 基于网格形变的单图像人体三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN110428493B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160225B (zh) * 2019-12-26 2023-10-13 北京邮电大学 基于深度学习的人体解析方法和装置
CN111476884B (zh) * 2020-03-30 2022-10-25 清华大学 基于单帧rgbd图像的实时三维人体重建方法及系统
CN111476901B (zh) * 2020-04-10 2023-04-07 中国科学技术大学 一种三维人体形状表示方法
CN111311732B (zh) * 2020-04-26 2023-06-20 中国人民解放军国防科技大学 3d人体网格获取方法及装置
CN111583408B (zh) * 2020-05-09 2023-06-20 中国科学技术大学 基于手绘草图的人体三维建模系统
CN113822982B (zh) * 2020-06-19 2023-10-27 北京达佳互联信息技术有限公司 一种人体三维模型构建方法、装置、电子设备及存储介质
CN111783609A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 行人再识别的方法、装置、设备和计算机可读存储介质
CN112330795B (zh) * 2020-10-10 2022-10-28 清华大学 基于单张rgbd图像的人体三维重建方法及系统
CN113099208B (zh) * 2021-03-31 2022-07-29 清华大学 基于神经辐射场的动态人体自由视点视频生成方法和装置
WO2023019478A1 (zh) * 2021-08-18 2023-02-23 深圳先进技术研究院 一种三维重建方法、装置、电子设备及可读存储介质
CN115496864B (zh) * 2022-11-18 2023-04-07 苏州浪潮智能科技有限公司 模型构建方法、重建方法、装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426712B (zh) * 2011-11-03 2014-07-16 中国科学院自动化研究所 一种基于两幅图像的三维头部建模方法
CN102609683B (zh) * 2012-01-13 2014-02-05 北京邮电大学 一种基于单目视频的人体关节自动标注方法
CN102697508B (zh) * 2012-04-23 2013-10-16 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
CN104680571B (zh) * 2013-11-29 2018-04-24 西门子(深圳)磁共振有限公司 一种医学影像装置、系统和显示医学影像的方法
CN106683181A (zh) * 2017-01-06 2017-05-17 厦门大学 一种三维人体稠密表面运动场重建方法
US11147501B2 (en) * 2017-10-12 2021-10-19 Children's Hospital Medical Center Systems and methods for enhanced encoded source imaging
CN108010122B (zh) * 2017-11-14 2022-02-11 深圳市云之梦科技有限公司 一种人体三维模型重建与测量的方法及系统
CN108122275A (zh) * 2017-12-22 2018-06-05 清华大学 基于骨架跟踪的动态实时三维人体重建方法及系统
CN107945269A (zh) * 2017-12-26 2018-04-20 清华大学 基于多视点视频的复杂动态人体对象三维重建方法及系统
CN108986159B (zh) * 2018-04-25 2021-10-22 浙江森马服饰股份有限公司 一种三维人体模型重建与测量的方法和设备
CN108830150B (zh) * 2018-05-07 2019-05-28 山东师范大学 一种基于三维人体姿态估计方法及装置
CN109147048B (zh) * 2018-07-23 2021-02-26 复旦大学 一种利用单张彩色图的三维网格重建方法
CN109285215B (zh) * 2018-08-28 2021-01-08 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
CN109255831B (zh) * 2018-09-21 2020-06-12 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109859296B (zh) * 2019-02-01 2022-11-29 腾讯科技（深圳）有限公司 Smpl参数预测模型的训练方法、服务器及存储介质

Also Published As

Publication number Publication date
CN110428493A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110428493B (zh) 基于网格形变的单图像人体三维重建方法及系统
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109285215B (zh) 一种人体三维模型重建方法、装置和存储介质
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN110569768B (zh) 人脸模型的构建方法、人脸识别方法、装置及设备
WO2021184933A1 (zh) 一种人体三维模型重建方法
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
CN111091616B (zh) 一种三维超声图像的重建方法及装置
CN110335350B (zh) 基于地形特征的虚拟地形生成方法
CN110175986A (zh) 一种基于卷积神经网络的立体图像视觉显著性检测方法
CN114758213A (zh) 一种服装模型的布料解算方法、设备和存储介质
CN113240622B (zh) 人体场景图像本征分解与重光照方法和装置
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
US20200057778A1 (en) Depth image pose search with a bootstrapped-created database
CN110197505A (zh) 基于深度网络及语义信息的遥感图像双目立体匹配方法
CN113033442B (zh) 基于StyleGAN的高自由度人脸驱动方法和装置
CN112132739A (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN111311751A (zh) 一种基于深度神经网络的三维衣服模型的重建方法
CN114758070A (zh) 基于跨域多任务的单张图像三维人体精细重建方法
CN114782610A (zh) 一种结合神经纹理的可操控3d人脸重建方法及系统
CN112906675A (zh) 一种固定场景中的无监督人体关键点检测方法及系统
CN110543845B (zh) 一种三维人脸的人脸级联回归模型训练方法及重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant