CN112950769A - 三维人体重建方法、装置、设备及存储介质 - Google Patents
三维人体重建方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112950769A CN112950769A CN202110349813.1A CN202110349813A CN112950769A CN 112950769 A CN112950769 A CN 112950769A CN 202110349813 A CN202110349813 A CN 202110349813A CN 112950769 A CN112950769 A CN 112950769A
- Authority
- CN
- China
- Prior art keywords
- human body
- model
- dimensional
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 210000000746 body region Anatomy 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 15
- 238000007499 fusion processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 230000037237 body shape Effects 0.000 abstract description 5
- 210000000988 bone and bone Anatomy 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000004927 fusion Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例提供一种三维人体重建方法、装置、设备及存储介质，其中，该方法可以包括：基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到目标人体的第一三维网格模型；基于由人体图像提取得到的图像特征进行三维人体重建，确定目标人体的第二三维网格模型；将第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型；根据初始三维模型和人体图像，进行人体纹理重建，得到带有纹理的三维人体模型。本公开实施例使得重建得到的三维人体模型既保证了人体身体形状的鲁棒性，又提高了人体区域的真实性和精确性。
Description
技术领域
本公开涉及图像处理技术，具体涉及一种三维人体重建方法、装置、设备及存储介质。
背景技术
三维人体重建是计算机视觉与计算机图形学领域的重要问题。重建出来的人体数字模型在很多领域有着重要应用，如人体测量、虚拟试衣、虚拟主播、游戏角色自定义设计、虚拟现实社交等。其中，如何将真实世界中的人体投射到虚拟世界中得到三维人体数字模型是一种重要问题。然而，三维人体的数字化重建是很复杂的，需要扫描者围绕扫描目标进行多角度无死角的连续扫描；并且，重建效果仍然有待改善和提高。
发明内容
有鉴于此，本公开实施例至少提供一种三维人体重建方法、装置、设备及存储介质。
第一方面，提供一种三维人体重建方法，所述方法包括：
基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到所述目标人体的第一三维网格模型；
基于由所述目标人体的人体图像提取得到的图像特征进行三维人体重建，确定所述目标人体的第二三维网格模型；
将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型；
根据所述初始三维模型和所述人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。
在一个例子中，所述人体图像是RGBD图像；所述基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到所述目标人体的第一三维网格模型，包括：基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到初始参数化模型；提取所述人体图像中的目标人体所在区域的深度信息；以及，识别所述目标人体在所述人体图像上的轮廓信息；基于所述深度信息和轮廓信息，对所述初始参数化模型进行几何形变，得到所述第一三维网格模型。
在一个例子中，所述目标人体的人体图像包括所述目标人体的正面人体图像和背面人体图像；所述基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，包括：基于所述正面人体图像对参数化人体模板的人体参数进行拟合，得到正面重建结果；以及，基于所述背面人体图像对参数化人体模板的人体参数进行拟合，得到背面重建结果；将所述正面重建结果和背面重建结果进行融合。
在一个例子中，所述目标人体的人体图像包括所述目标人体的正面人体图像和背面人体图像；所述根据所述初始三维模型和所述人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型，包括：根据所述初始三维模型、以及所述目标人体的正面人体图像和背面人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。
在一个例子中，所述根据所述初始三维模型、以及所述目标人体的正面人体图像和背面人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型，包括：将所述正面人体图像和背面人体图像，映射至所述目标人体的初始三维模型，得到填充有纹理结构的所述目标人体的三维人体模型；所述初始三维模型是表示所述目标人体的几何形状的三维网格模型。
在一个例子中，所述将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型，包括：从所述第二三维网格模型中获取目标人体的上半身区域对应的上半身模型，所述上半身区域是至少包括所述目标人体的头部的区域；使用所述上半身模型替换所述第一三维网格模型中的对应部分，得到所述初始三维模型。
在一个例子中，所述目标人体的人体图像包括所述目标人体的正面人体图像；所述方法还包括：基于所述目标人体的正面人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型；所述将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型，包括：将所述局部部位的三维网格模型、第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型。
在一个例子中，所述将所述局部部位的三维网格模型、第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型，包括：由所述第二三维网格模型中获取目标人体的上半身区域对应的上半身模型，并使用所述上半身模型替换所述第一三维网格模型中的对应部分；所述上半身区域是至少包括所述目标人体的头部的区域；通过所述局部部位的三维网格模型，替换所述上半身模型中的对应部分，得到所述初始三维模型。
在一个例子中，所述基于所述目标人体的正面人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型，包括：对所述目标人体的正面人体图像进行特征提取，得到第三图像特征；根据所述第三图像特征、以及所述局部部位的三维拓扑模板，确定所述局部部位的三维网格模型。
在一个例子中，所述目标人体的人体图像包括正面人体图像；所述基于由所述目标人体的人体图像提取得到的图像特征进行三维人体重建，确定所述目标人体的第二三维网格模型，包括：通过第一深度神经网络分支对所述目标人体的正面人体图像进行三维重建，得到第一人体模型；通过第二深度神经网络分支对所述正面人体图像中的局部图像进行三维重建，得到第二人体模型；其中，所述局部图像包括所述目标人体的局部区域；将所述第一人体模型和第二人体模型进行融合，得到融合人体模型；对所述融合人体模型进行网格化处理，得到目标人体的第二三维网格模型。
第二方面，提供一种三维人体重建装置，所述装置包括：
参数化处理模块，用于基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到所述目标人体的第一三维网格模型；
重建处理模块，用于基于由所述目标人体的人体图像提取得到的图像特征进行三维人体重建，确定所述目标人体的第二三维网格模型；
融合处理模块，用于将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型；
纹理重建模块，用于根据所述初始三维模型和所述人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。
在一个例子中，所述参数化处理模块，具体用于：基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到初始参数化模型；提取所述人体图像中的目标人体所在区域的深度信息；以及，识别所述目标人体在所述人体图像上的轮廓信息；基于所述深度信息和轮廓信息，对所述初始参数化模型进行几何形变，得到所述第一三维网格模型。
在一个例子中，所述参数化处理模块，在用于基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合时，包括：基于所述正面人体图像对参数化人体模板的人体参数进行拟合，得到正面重建结果；以及，基于所述背面人体图像对参数化人体模板的人体参数进行拟合，得到背面重建结果；将所述正面重建结果和背面重建结果进行融合；所述目标人体的人体图像包括所述目标人体的正面人体图像和背面人体图像。
在一个例子中，所述纹理重建模块，具体用于：根据所述初始三维模型、以及所述目标人体的正面人体图像和背面人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。
在一个例子中，所述融合处理模块，在用于将所述目标人体的第一三维网格模型和第二三维网格模型进行融合得到初始三维模型时，包括：从所述第二三维网格模型中获取目标人体的上半身区域对应的上半身模型，所述上半身区域是至少包括所述目标人体的头部的区域；使用所述上半身模型替换所述第一三维网格模型中的对应部分，得到所述初始三维模型。
在一个例子中，所述装置还包括：局部重建模块；所述局部重建模块，用于基于所述目标人体的正面人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型；所述融合处理模块，在用于将所述目标人体的第一三维网格模型和第二三维网格模型进行融合得到初始三维模型时，包括：将所述局部部位的三维网格模型、第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型。
在一个例子中，所述重建处理模块，具体用于：通过第一深度神经网络分支对所述目标人体的正面人体图像进行三维重建，得到第一人体模型；通过第二深度神经网络分支对所述正面人体图像中的局部图像进行三维重建，得到第二人体模型；其中，所述局部图像包括所述目标人体的局部区域；将所述第一人体模型和第二人体模型进行融合，得到融合人体模型；对所述融合人体模型进行网格化处理，得到目标人体的第二三维网格模型。
第三方面，提供一种电子设备，该设备包括：存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现本公开任一实施例所述的方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的方法。
第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开任一实施例所述的方法。
本公开实施例提供的三维人体重建方法、装置、设备及存储介质，通过在对目标人体进行三维人体重建时，通过结合了基于参数化人体模版的重建以及未使用人体模板的人体重建，使得重建得到的三维人体模型既保证了人体的躯干和四肢等身体形状的鲁棒性，又提高了人体上半身区域的真实性和精确性；并且，该方法可以依据目标人体的少量人体图像进行重建，也简化了用户的配合成本，使得三维人体重建更加简便。
附图说明
为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开至少一个实施例提供的一种三维人体重建的流程图；
图2示出了本公开至少一个实施例提供的一种参数化人体重建的示意图；
图3示出了本公开至少一个实施例提供的一种三维人体重建的示意图；
图4示出了本公开至少一个实施例提供的另一种三维人体重建的示意图；
图5示出了本公开至少一个实施例提供的模型融合示意图；
图6示出了本公开至少一个实施例提供的一种三维人体重建装置的示意图；
图7示出了本公开至少一个实施例提供的一种三维人体重建装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开一个或多个实施例中的技术方案，下面将结合本公开一个或多个实施例中的附图，对本公开一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
三维人体重建在很多领域有着重要应用，包括但不限于如下的应用场景：
例如，可以通过三维人体重建，增强一些虚拟现实应用场景的真实感。比如，虚拟试衣、虚拟云会议、虚拟课堂等。
又例如，可以将通过三维人体重建得到的三维人体模型，导入到游戏数据里，完成个性化人物角色的生成。
再例如，目前制作科幻电影需要用到绿幕、动捕等多种科技技术，硬件设备昂贵、整体流程耗时繁杂。通过三维人体重建得到虚拟的三维人体模型，可以简化流程，节省资源。
不论何种应用场景，三维人体重建都期望尽可能得到重建效果更好的三维人体模型，比如，在诸如虚拟云会议、或者AR虚拟交互场景下，对三维人体重建得到的三维人体模型有着更高的真实感和沉浸感的需求。
为了解决上述问题，本公开实施例提供了一种三维人体重建方法。请参见图1所示，图1示出了本公开至少一个实施例提供的一种三维人体重建的流程图。该方法可以包括：
在步骤100中，基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到所述目标人体的第一三维网格模型。
其中，目标人体即三维人体重建的基础用户。例如，对用户小张进行三维人体重建，小张可以称为目标人体，而重建得到的三维人体模型也是以小张的身体为基础得到，与小张的体态、样貌、服装和发型等都具有较高的相似性。
所述的人体图像是该目标人体的人体图像。本公开实施例对该人体图像的采集方式、格式没有特殊要求，在一个示例性的方式中，该目标人体的人体图像可以是目标人体的一张全身人体正面照片，例如，在采集人体图像时，目标人体对应的用户可以自然站立，双腿分开与肩同宽，双臂微上扬成“A字”型。又例如，该人体图像可以是RGB彩色图像，这种RGB格式的图像的获得成本较低，比如，在图像采集时不需要使用景深摄像头等成本较高的设备，普通的拍摄设备就可以采集得到。该人体图像也可以是RGBD图像，可以利用该RGBD格式的图像使得三维人体模型的重建效果更好。
此外，本公开实施例不限制人体重建时使用的人体图像的数量，例如，可以使用一张人体图像或者两张图像对参数化人体模板的人体参数进行拟合重建。
其中，所述的参数化人体模板是在模型重建之前的一个人体拓扑结构，该模板中可以具有初始化的人体参数，将人体的动态姿态、体型通过初始化的参数进行预定义。例如，该人体参数可以包括姿态参数、体型参数等，这些参数可以代表人体的运动位姿、人体高矮胖瘦、头身比例等方面的状态。在基于参数化人体模板进行三维人体重建时，可以是对模板中初始的人体参数进行拟合，重新确定这些参数的数值，得到人体的三维模型。
本步骤中的模型重建，可以基于目标人体的人体图像进行参数化人体重建(该参数化人体重建方式也可以称为结构化重建)，该参数化人体重建即基于参数化人体模板的人体几何重建，其是对模板中的人体参数计算一组最优参数，使得人体的姿态、体型等与人体图像尽量一致，这里对重建的具体过程将不再详述，可以按照常规的参数化人体重建流程执行。经过参数化人体重建后，可以得到一个拟合好的参数化的人体模型，可以称为三维网格模型，该三维网格模型即一个表示人体几何形状的三维网格Mesh，该网格包括若干顶点和面。本实施例可以将通过参数化人体重建方式得到的Mesh称为第一三维网格模型。
请参见图2的示例，图2是以通过目标人体的两张图像进行参数化人体重建为例。具体的，可以获取目标人体的正面人体图像21和背面人体图像22。并分别基于该正面人体图像21和背面人体图像22进行参数化人体重建，其中，基于正面人体图像21对参数化人体模板的人体参数进行拟合得到正面重建结果23，基于背面人体图像22对参数化人体模板的人体参数进行拟合得到背面重建结果24。再将正面重建结果23和背面重建结果24进行融合，得到融合重建结果25，在一个例子中，该融合重建结果25可以是目标人体的第一三维网格模型。
此外，在根据目标人体的人体图像进行参数化人体重建得到第一三维网格模型之外，还可以输出目标人体的骨骼结构以及蒙皮权重。
本步骤中通过参数化人体重建的方式得到的第一三维网格模型，该模型较为鲁棒，基本不会存在异常的躯干或者四肢的情况，即人体躯干和四肢等体态保证了鲁棒性，能够尽可能的使得重建的人体形状与人体图像中的人体一致。
在步骤102中，基于所述目标人体的人体图像提取到的图像特征进行三维人体重建，确定所述目标人体的第二三维网格模型。
本步骤中，采用了一种与步骤100中不同的三维人体重建方式，本步骤的重建方式并没有预定义的人体拓扑结构，而是基于人体图像直接进行三维重建。这种重建方式也可以称为非结构化重建。
请结合参见图3，示例了一种基于单张人体图像重建获取三维网格模型的方式。如图3所示，可以将目标人体的单张人体图像31输入第一深度神经网络分支32进行三维重建。在一个示例性的实施方式中，该第一深度神经网络分支32可以包括全局特征子网络321和第一拟合子网络322。
其中，可以通过全局特征子网络321对单张人体图像31进行特征提取，得到该单张人体图像31的高层图像特征，可以将该高层图像特征称为第一图像特征。例如，该全局特征子网络321可以是一个HourGlass卷积网络。该第一图像特征输入到第一拟合子网络322，该第一拟合子网络322可以依据第一图像特征对三维空间的每一个体素块是否属于目标人体的内部进行预测。例如，该第一拟合子网络322可以是一个多层感知机结构。该第一拟合子网络322输出得到第一人体模型，该第一人体模型已经得到了位于目标人体内部的各三维体素块。
接着，可以继续对该第一人体模型进行网格化处理，例如，该网格化处理可以是对该模型在体素空间应用MarchingCubes算法，得到目标人体的三维网格模型。可以将该三维网格模型称为目标人体的第二三维网格模型。
此外，在通过本步骤的人体重建方式得到第二三维网格模型时，还可以得到目标人体的骨骼结构，并依据该骨骼结构和第二三维网格模型确定蒙皮权重。
在步骤104中，将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型。
本步骤可以将步骤100重建得到的第一三维网格模型、以及步骤102重建得到的第二三维网格模型进行融合，融合后的模型可以称为初始三维模型。该融合后得到的初始三维模型也是一个三维网格模型。
例如，在进行融合时，可以由所述第二三维网格模型中获取目标人体的上半身区域对应的上半身模型，该上半身区域是至少包括所述目标人体的头部的区域。例如，该上半身区域可以是第二三维网格模型的人体肩部以上部分，那么该模型可以带有头发形状，并且该模型的精细度较好。
可以先将目标人体的正面人体图像输入预先训练好的关键点检测模型，通过该关键点检测模型确定所述上半身区域中的多个关键点。在获取到该多个关键点之后，可以根据这些关键点的坐标，分别确定关键点在目标人体的第一三维网格模型和上半身模型中对应的模型关键点。再依据各模型关键点的坐标、第一三维网格模型、上半身模型、以及模型对应的相机外参，计算第一三维网格模型和上半身模型上的各对应模型关键点之间的坐标变换关系。然后基于该变换关系将上半身模型替换第一三维网格模型中的对应部分。
融合以后得到的初始三维模型具有如下的优点：以上半身模型是目标人体的肩部以上的区域为例来说，一方面，这个模型中处于肩部以下的人体模型是通过参数化人体重建方式得到，保证了人体的躯干和四肢的鲁棒性，使得不会存在形状异常的躯干或四肢，对于人体形状的重建效果较好，能够使得重建得到的人体姿态和体型方面与人体图像中尽量保持一致；另一方面，在该模型中的肩部以上的区域是通过无固定拓扑的方式(该方式即重建中并没有使用预先定义的人体拓扑)重建得到，这种方式的重建结果中包括头发等形状，可以更仿真的模拟目标人体。因此最终得到的初始三维模型既体现了人体的头发等细节的质感，也能保持人体躯干和四肢等体态部位的形状鲁棒性，具有较好的人体重建效果。
在步骤106中，根据所述初始三维模型和所述人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体的带有纹理的三维人体模型。
例如，当通过目标人体的正面人体图像和背面人体图像这两张图像进行重建时，可以依据该正面人体图像和背面人体图像进行人体纹理的重建。
例如，上述的正面人体图像是目标人体的正面纹理，背面人体图像是目标人体的背面纹理，可以将所述正面人体图像和背面人体图像，映射至所述目标人体的初始三维模型(该初始三维模型即表示目标人体的几何形状的人体mesh)，得到填充有纹理结构的所述目标人体的三维人体模型。并且，对于这两张图像中都无法看到的部位即人体不可见区域，可以使用插值的方法进行纹理的填充，得到带有彩色纹理的所述目标人体的三维人体模型。该三维人体模型是一个带有彩色外观的三维网格模型。
本实施例的三维人体重建方法，在对目标人体进行三维人体重建时，通过结合了基于参数化人体模版的重建以及未使用人体模板的人体重建，使得重建得到的三维人体模型既保证了人体的躯干和四肢等身体形状的鲁棒性，又提高了人体上半身区域的真实性和精确性；并且，该方法可以依据目标人体的少量人体图像进行重建，也简化了用户的配合成本，使得三维人体重建更加简便。
在另一个实施例中，步骤100中重建得到第一三维网格模型之后，还可以继续对该第一三维网格模型进行几何形变，以使得该模型产生合理的衣物质感。
比如，用于进行参数化人体重建的人体图像可以是RGBD图像，可以根据该人体图像提取其中目标人体所在区域的深度信息、以及目标人体在所述人体图像上的轮廓信息。并基于该深度信息和人体的轮廓信息，对基于参数化人体模板的人体参数拟合得到的模型进行几何形变，以模拟衣物质感。这种情况下，可以将对参数化人体模板进行人体参数拟合后得到的模型称为初始参数化模型，然后基于该初始参数化模型进行上述的几何形变，得到的模型称为第一三维网格模型。
相应的，在步骤104中进行模型之间的融合时，也是上述模拟了衣物质感的第一三维网格模型与第二三维网格模型进行融合，这样，得到的初始三维模型不仅具有较好的衣物质感，更为真实，而且模型在人体的体态形状上更具鲁棒性。
在又一个实施例中，可以对未基于参数化人体模板的人体重建进一步改进，以提高重建得到的目标人体的三维网格模型的几何重建精度。请继续结合参见图4所示，在图3所示的网络结构的基础上，增加了第二深度神经网络分支41。该第二深度神经网络分支41可以包括：局部特征子网络411和第二拟合子网络412。可以由目标人体的人体图像31中提取出局部区域的图像，得到局部图像42，第二深度神经网络分支是用于对该局部图像42进行三维重建。其中，该人体图像31可以是正面人体图像，上述的局部图像可以是包括目标人体的局部区域的图像，该局部区域例如可以是人体肩部以上的区域。
具体的，通过第一深度神经网络分支重建得到第一人体模型，并将局部图像42输入第二深度神经网络分支，由局部特征子网络411对所述局部图像进行特征提取，得到第二图像特征。再通过第二拟合子网络412基于所述第二图像特征以及第一拟合子网络322输出的中间特征，得到第二人体模型。其中，所述的中间特征可以是第一拟合子网络322中的部分网络结构输出的特征，示例性的，假设第一拟合子网络322中包括一定数量的全连接层，那么可以将其中部分数量的全连接层的输出作为所述中间特征输入至第二拟合子网络412。
示例性的，第二深度神经网络分支的结构可以与第一深度神经网络分支的结构基本相同，例如，第一深度神经网络分支中的全局特征子网络321中可以包括四个Block，每一个Block中可以包括一定数量的卷积层、池化层等特征提取层，而第二深度神经网络分支中的局部特征子网络411可以包括一个上述的Block。在得到第一人体模型和第二人体模型之后，接着，可以将第一人体模型和第二人体模型进行融合，得到融合人体模型。并继续对对该融合人体模型进行网格化处理，得到目标人体的三维网格模型，该模型即第二三维网格模型。
如上，通过第二深度神经网络分支对局部图像进行重建，提高了对目标人体的局部人体区域的重建效果。此外，在得到第二三维网格模型之外，还可以得到该目标人体的人体骨骼结构。
此外，为了方便进行模型的驱动，可以根据上述的第二三维网格模型和人体骨骼结构计算蒙皮权重。例如，可以将该人体骨骼结构和上述得到的第二三维网格模型输入深度学习网络，通过深度学习网络自动得到模型的蒙皮权重。
例如，可以先根据第二三维人体模型和人体骨骼结构来生成所述第二三维人体模型中的各顶点对应的属性特征。该属性特征可以是利用各顶点与人体骨骼结构的空间位置关系来构造得到。例如，对于其中一个顶点来说，该顶点的属性特征可以包括如下四个特征：
1)顶点的位置坐标。
2)离顶点最近的K个骨骼关节点的位置坐标。
3)由顶点的位置分别到上述的K个骨骼关节点中各个骨骼关节点之间的体积测地线距离。
4)以上述K个骨骼关节点中的每个骨骼关节点为起点，由该起点指向所述顶点的向量与所述骨骼关节点所在的骨骼之间的夹角。
在获得各顶点的属性特征后，可以将该各顶点的属性特征、以及各顶点之间的邻接关系特征作为深度学习网络中的空间图卷积注意力网络的输入。在将这些特征输入空间图卷积注意力网络之前，可以通过一个多层感知机将上述特征转换为隐层特征。通过空间图卷积注意力网络可以依据上述隐层特征预测每个顶点受上述K个骨骼关节点中的各个骨骼关节点影响的权重，深度学习网络中的后一个多层感知机可以用于将该权重进行归一化处理，使得对于某一个顶点来说，各个骨骼关节点对该顶点的影响权重和为1。最后得到的三维人体模型中各个顶点对应的受各个骨骼关节点影响的权重即为该顶点的蒙皮权重。
本实施例的方法，能够依据目标人体的人体图像得到人体骨骼结构，并在最后依据该人体骨骼结构和重建得到的三维人体模型自动计算得到蒙皮权重，使得能够自动的快速生成蒙皮权重，更加方便进行模型驱动。
进一步的，本公开实施例中未基于参数化人体模板的方式重建得到的三维人体模型，尽管在模拟衣物质感等方面能够做的较好，但是仍然有可能在目标人体的局部部位的细节上是模糊的。例如，该局部部位可以是人脸，而脸部却是通常用户较为关注的区域。因此，本公开实施例还可以对目标人体的局部部位单独进行几何重建。
具体的，可以基于所述目标人体的正面人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型。例如，对目标人体的正面人体图像进行特征提取，得到第三图像特征；根据所述第三图像特征、以及所述局部部位的三维拓扑模板，确定所述局部部位的三维网格模型。例如，可以将第三图像特征和上述的局部部位的三维拓扑模板输入图卷积网络，得到局部部位的三维网格模型。
以所述局部部位是人脸为例：目标人体的单张人体图像可以是正面人体图像，对人体脸部的重建可以采用固定拓扑的精细重建。具体的，人体脸部的语义结构具有一致性，因此可以采用一个固定拓扑结构的三维人脸作为模板，该模板可以称为三维拓扑模板。该模板上包括多个顶点，每个顶点固定对应一个脸部语义，例如，一个顶点表示鼻子尖部，另一个顶点表示眼角。在脸部重建时，可以通过一个深度神经网络来回归得到上述人脸模板的各顶点位置。
例如，该深度神经网络可以包括一个深度卷积网络和一个图卷积网络，可以将目标人体的正面人体图像输入所述深度卷积网络提取图像特征，提取得到的特征可以称为第三图像特征。再将该第三图像特征和人脸的三维拓扑模板作为图卷积网络的输入，最终得到图卷积网络输出的一个脸部的三维网格模型，该三维网络模型与目标人体脸部较接近。可选的，深度卷积网络的输入也可以是由目标人体的人体图像中截取的包含脸部的部分图像区域。
在进行模型之间的融合时，可以是将所述局部部位的三维网格模型、第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型。请参见图5的示意，可以是基于前述实施例的重建方式，根据目标人体的人体图像51进行局部部位的局部几何重建，得到局部部位的三维网格模型52，并基于人体图像51对参数化人体模板的人体参数拟合，重建得到第一三维网格模型53，还基于该人体图像51进行无预定义的人体模板的重建，得到第二三维网格模型54。由图5中可以清楚的看到，局部部位的三维网格模型52使得重建的人脸部的形状特别精细，达到了很好的脸部重建效果；第一三维网格模型53在人体肢体形态方面的重建效果较好，但是缺少人的头发等细节质感的物质；而第二三维网格模型54具有人体头发，质感细节更好。
可以将这三种模型“局部部位的三维网格模型52、第一三维网格模型53、第二三维网格模型54”融合在一起即可，本公开实施例不限制这三种模型具体的融合方式。例如，可以先将局部部位的三维网格模型与第二三维网格模型进行融合，融合结果再与第一三维网格模型融合。又例如，也可以先融合第一三维网格模型和第二三维网格模型，再将融合结果与局部部位的三维网格模型进行融合。
比如，在一个例子中，可以由第二三维网格模型中获取目标人体的上半身区域对应的上半身模型，并使用所述上半身模型替换所述第一三维网格模型中的对应部分。再将通过局部部位的三维网格模型替换所述上半身模型中的对应部分。这两部分的模型替换的处理，都可以进行坐标系的转换，并在坐标系转换的基础上进行模型的融合。
例如，以使用人脸的三维网格模型替换上半身模型中的对应部分为例，可以先将目标人体的人体图像输入预先训练好的关键点检测模型，通过该关键点检测模型确定图像中目标人体的人脸的多个关键点，可以根据这些关键点在人脸的坐标，分别确定关键点在目标人体的上半身模型、以及人脸的三维网格模型上对应的模型关键点。再基于各模型关键点的坐标以及相机外参，计算上半身模型和人脸的三维网格模型上对应的模型关键点之间的坐标变换关系。然后基于该变换关系将人脸的三维网格模型变换到上半身模型的坐标系下进行融合。
请继续参见图5，上述三种模型融合后得到的模型可以称为初始三维模型55，再对该初始三维模型55进行纹理的重建补充，得到最终的三维人体模型56。
本实施例的三维人体重建方法，通过将目标人体的局部部位进行局部几何重建，并将该局部几何重建得到的局部部位的三维网格模型与参数化重建、无固定拓扑方式重建得到的目标人体的三维网格模型进行融合，使得目标人体的三维网格模型不仅在人体的体态形状上更具鲁棒性，而且在衣物质感上模拟的更具真实感、模型局部细节上也更加清晰、精细和准确，比如目标人体的三维网格模型中的头发、体型、体态等都具有较好的重建效果，而且使得脸部的五官结构更加的精细和准确。
在其他的实施例中，为了提高重建的效果，也可以获取目标人体的多张不同角度的图像来综合进行该目标人体的三维重建。例如，以获取了该目标人体的三张图像为例，这三张图像可以是从不同角度采集得到。可以将这三张图像分别作为全局特征子网络的输入，得到全局特征子网络输出的分别对应这三张图像的一个第一图像特征。然后将三个第一图像特征进行融合，将融合后得到的图像特征作为第一拟合子网络的输入继续处理。
如上，通过获取目标人体的多张不同角度的图像来综合进行该目标人体的三维人体重建，能够得到该目标人体对应的更精细的三维人体模型。
此外，还需要说明的是，本公开任一实施例描述的三维人体重建方法的各个流程步骤中，涉及到的神经网络模型，都可以分别进行训练。例如，第一深度神经网络分支和纹理生成网络可以是各自进行自身的训练。
如下描述一个三维人体重建流程的示例，其中，与前述任一方法实施例中描述的过程相同的处理，在此简单说明，详细过程可以结合参见前述实施例。
在该例子中，假设要基于用户的两张人体图像，构建该用户的三维人体模型，所述的两张人体图像可以包括该用户的正面人体图像和背面人体图像。
首先，可以基于该用户的正面人体图像和背面人体图像进行参数化重建。
例如，可以根据图2所示意的处理流程，基于该用户的正面人体图像对参数化人体模板的人体参数进行拟合，得到正面重建结果，并基于该用户的背面人体图像对参数化人体模板的人体参数进行拟合，得到背面重建结果。再将所述的正面重建结果和背面重建结果进行融合后，得到初始参数化模型。然后，可以基于正面人体图像中目标人体区域的深度信息和人体轮廓信息，对初始参数化模型进行几何形变，得到第一三维网格模型。
其次，可以基于该用户的正面人体图像，进行未依据人体模板的重建。
例如，可以根据图4所示意的处理流程，分别通过第一深度神经网络分支和第二深度神经网络分支，对该用户的正面人体图像、以及正面人体图像中的局部图像进行重建，得到对应的第一人体模型和第二人体模型。将该第一人体模型和第二人体模型进行融合，并进行网格化处理后，得到该用户的第二三维网格模型。
再者，可以基于该用户的正面人体图像，进行人脸的几何重建。例如，可以基于由用户的正面人体图像中提取得到的图像特征、以及人脸的三维拓扑模板，确定该用户的人脸三维mesh。
接着，可以获取第二三维网格模型中的人体上半身模型，例如可以是人体肩部以上区域的模型，并用该肩部以上区域的模型替换第一三维网格模型中的对应部分。并且，可以用人脸三维Mesh替换掉上述肩部以上区域的模型中的人脸部分，最终得到该用户的初始三维模型。该初始三维模型可以类似于图5中的模型56，既具有较为精准的人体肢体形状，而且具有较好的头发衣物等质感，人脸部也重建的较为精细，具有很好的三维重建效果。
最后，在上述初始三维模型的基础上，根据人体的正面人体图像和背面人体图像进行纹理贴图，并将正面人体图像和背面人体图像都无法看到的部分，通过插值的方式进行纹理填充，得到带有纹理的三维人体模型。
图6示例了一种三维人体重建装置的结构示意图，如图6所示，该装置可以包括：参数化处理模块61、重建处理模块62、融合处理模块63和纹理重建模块64。
参数化处理模块61，用于基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到所述目标人体的第一三维网格模型。
重建处理模块62，用于基于由所述目标人体的人体图像提取得到的图像特征进行三维人体重建，确定所述目标人体的第二三维网格模型。
融合处理模块63，用于将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型。
纹理重建模块64，用于根据所述初始三维模型和所述人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。
在一个例子中，参数化处理模块61，具体用于：基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到初始参数化模型；提取所述人体图像中的目标人体所在区域的深度信息；以及，识别所述目标人体在所述人体图像上的轮廓信息；基于所述深度信息和轮廓信息，对所述初始参数化模型进行几何形变，得到所述第一三维网格模型。
在一个例子中，参数化处理模块61，在用于基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合时，包括：基于所述正面人体图像对参数化人体模板的人体参数进行拟合，得到正面重建结果；以及，基于所述背面人体图像对参数化人体模板的人体参数进行拟合，得到背面重建结果；将所述正面重建结果和背面重建结果进行融合；所述目标人体的人体图像包括所述目标人体的正面人体图像和背面人体图像。
在一个例子中，纹理重建模块64，具体用于：根据所述初始三维模型、以及所述目标人体的正面人体图像和背面人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。
在一个例子中，融合处理模块63，在用于将所述目标人体的第一三维网格模型和第二三维网格模型进行融合得到初始三维模型时，包括：从所述第二三维网格模型中获取目标人体的上半身区域对应的上半身模型，所述上半身区域是至少包括所述目标人体的头部的区域；使用所述上半身模型替换所述第一三维网格模型中的对应部分，得到所述初始三维模型。
在一个例子中，重建处理模块62，具体用于：通过第一深度神经网络分支对所述目标人体的正面人体图像进行三维重建，得到第一人体模型；通过第二深度神经网络分支对所述正面人体图像中的局部图像进行三维重建，得到第二人体模型；其中，所述局部图像包括所述目标人体的局部区域；将所述第一人体模型和第二人体模型进行融合，得到融合人体模型；对所述融合人体模型进行网格化处理，得到目标人体的第二三维网格模型。
在一个例子中，如图7所示，该装置还可以包括局部重建模块65，用于基于所述目标人体的正面人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型。
融合处理模块63，在用于将所述目标人体的第一三维网格模型和第二三维网格模型进行融合得到初始三维模型时，包括：将所述局部部位的三维网格模型、第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型。
在一些实施例中，上述装置可以用于执行上文所述的对应任意方法，为了简洁，这里不再赘述。
本公开实施例还提供了一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现本说明书任一实施例的方法。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例的方法。
本领域技术人员应明白，本公开一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本公开一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
其中，本公开实施例所述的“和/或”表示至少具有两者中的其中一个，例如，“多和/或B”包括三种方案：多、B、以及“多和B”。
本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本公开中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本公开中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本公开中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本公开中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPG多(现场可编程门阵列)或多SIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PD多)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本公开包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本公开内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本公开一个或多个实施例的较佳实施例而已，并不用以限制本公开一个或多个实施例，凡在本公开一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开一个或多个实施例保护的范围之内。
Claims (20)
1.一种三维人体重建方法，其特征在于，所述方法包括：
基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到所述目标人体的第一三维网格模型；
基于由所述目标人体的人体图像提取得到的图像特征进行三维人体重建，确定所述目标人体的第二三维网格模型；
将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型；
根据所述初始三维模型和所述人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。
2.根据权利要求1所述的方法，其特征在于，所述人体图像是RGBD图像；所述基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到所述目标人体的第一三维网格模型，包括：
基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到初始参数化模型；
提取所述人体图像中的目标人体所在区域的深度信息；以及，识别所述目标人体在所述人体图像上的轮廓信息；
基于所述深度信息和轮廓信息，对所述初始参数化模型进行几何形变，得到所述第一三维网格模型。
3.根据权利要求1或2所述的方法，其特征在于，所述目标人体的人体图像包括所述目标人体的正面人体图像和背面人体图像；
所述基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，包括：
基于所述正面人体图像对参数化人体模板的人体参数进行拟合，得到正面重建结果；以及，基于所述背面人体图像对参数化人体模板的人体参数进行拟合，得到背面重建结果；
将所述正面重建结果和背面重建结果进行融合。
4.根据权利要求1～3任一所述的方法，其特征在于，所述目标人体的人体图像包括所述目标人体的正面人体图像和背面人体图像；
所述根据所述初始三维模型和所述人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型，包括：
根据所述初始三维模型、以及所述目标人体的正面人体图像和背面人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述初始三维模型、以及所述目标人体的正面人体图像和背面人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型，包括：
将所述正面人体图像和背面人体图像，映射至所述目标人体的初始三维模型，得到填充有纹理结构的所述目标人体的三维人体模型；所述初始三维模型是表示所述目标人体的几何形状的三维网格模型。
6.根据权利要求1至5任一所述的方法，其特征在于，所述将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型，包括：
从所述第二三维网格模型中获取目标人体的上半身区域对应的上半身模型，所述上半身区域是至少包括所述目标人体的头部的区域；
使用所述上半身模型替换所述第一三维网格模型中的对应部分，得到所述初始三维模型。
7.根据权利要求1至5任一所述的方法，其特征在于，所述目标人体的人体图像包括所述目标人体的正面人体图像；
所述方法还包括：基于所述目标人体的正面人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型；
所述将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型，包括：
将所述局部部位的三维网格模型、第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型。
8.根据权利要求7所述的方法，其特征在于，所述将所述局部部位的三维网格模型、第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型，包括：
由所述第二三维网格模型中获取目标人体的上半身区域对应的上半身模型，并使用所述上半身模型替换所述第一三维网格模型中的对应部分；所述上半身区域是至少包括所述目标人体的头部的区域；
通过所述局部部位的三维网格模型，替换所述上半身模型中的对应部分，得到所述初始三维模型。
9.根据权利要求7所述的方法，其特征在于，所述基于所述目标人体的正面人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型，包括：
对所述目标人体的正面人体图像进行特征提取，得到第三图像特征；
根据所述第三图像特征、以及所述局部部位的三维拓扑模板，确定所述局部部位的三维网格模型。
10.根据权利要求1～9任一所述的方法，其特征在于，所述目标人体的人体图像包括正面人体图像；所述基于由所述目标人体的人体图像提取得到的图像特征进行三维人体重建，确定所述目标人体的第二三维网格模型，包括：
通过第一深度神经网络分支对所述目标人体的正面人体图像进行三维重建，得到第一人体模型；
通过第二深度神经网络分支对所述正面人体图像中的局部图像进行三维重建，得到第二人体模型；其中，所述局部图像包括所述目标人体的局部区域；
将所述第一人体模型和第二人体模型进行融合，得到融合人体模型；
对所述融合人体模型进行网格化处理，得到目标人体的第二三维网格模型。
11.一种三维人体重建装置，其特征在于，所述装置包括：
参数化处理模块，用于基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到所述目标人体的第一三维网格模型；
重建处理模块，用于基于由所述目标人体的人体图像提取得到的图像特征进行三维人体重建，确定所述目标人体的第二三维网格模型；
融合处理模块，用于将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型；
纹理重建模块，用于根据所述初始三维模型和所述人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。
12.根据权利要求11所述的装置，其特征在于，
所述参数化处理模块，具体用于：基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到初始参数化模型；提取所述人体图像中的目标人体所在区域的深度信息；以及，识别所述目标人体在所述人体图像上的轮廓信息；基于所述深度信息和轮廓信息，对所述初始参数化模型进行几何形变，得到所述第一三维网格模型。
13.根据权利要求11或12所述的装置，其特征在于，
所述参数化处理模块，在用于基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合时，包括：基于所述正面人体图像对参数化人体模板的人体参数进行拟合，得到正面重建结果；以及，基于所述背面人体图像对参数化人体模板的人体参数进行拟合，得到背面重建结果；将所述正面重建结果和背面重建结果进行融合；所述目标人体的人体图像包括所述目标人体的正面人体图像和背面人体图像。
14.根据权利要求11～13任一所述的装置，其特征在于，
所述纹理重建模块，具体用于：根据所述初始三维模型、以及所述目标人体的正面人体图像和背面人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。
15.根据权利要求11～14任一所述的装置，其特征在于，
所述融合处理模块，在用于将所述目标人体的第一三维网格模型和第二三维网格模型进行融合得到初始三维模型时，包括：从所述第二三维网格模型中获取目标人体的上半身区域对应的上半身模型，所述上半身区域是至少包括所述目标人体的头部的区域；使用所述上半身模型替换所述第一三维网格模型中的对应部分，得到所述初始三维模型。
16.根据权利要求11～14任一所述的装置，其特征在于，
所述装置还包括：局部重建模块；所述局部重建模块，用于基于所述目标人体的正面人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型；
所述融合处理模块，在用于将所述目标人体的第一三维网格模型和第二三维网格模型进行融合得到初始三维模型时，包括：将所述局部部位的三维网格模型、第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型。
17.根据权利要求11～16任一所述的装置，其特征在于，
所述重建处理模块，具体用于：通过第一深度神经网络分支对所述目标人体的正面人体图像进行三维重建，得到第一人体模型；通过第二深度神经网络分支对所述正面人体图像中的局部图像进行三维重建，得到第二人体模型；其中，所述局部图像包括所述目标人体的局部区域；将所述第一人体模型和第二人体模型进行融合，得到融合人体模型；对所述融合人体模型进行网格化处理，得到目标人体的第二三维网格模型。
18.一种电子设备，其特征在于，包括：存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现权利要求1至10任一所述的方法。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至10任一所述的方法。
20.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110349813.1A CN112950769A (zh) | 2021-03-31 | 2021-03-31 | 三维人体重建方法、装置、设备及存储介质 |
| PCT/CN2021/115537 WO2022205762A1 (zh) | 2021-03-31 | 2021-08-31 | 三维人体重建方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110349813.1A CN112950769A (zh) | 2021-03-31 | 2021-03-31 | 三维人体重建方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112950769A true CN112950769A (zh) | 2021-06-11 |
Family
ID=76231618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110349813.1A Withdrawn CN112950769A (zh) | 2021-03-31 | 2021-03-31 | 三维人体重建方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112950769A (zh) |
| WO (1) | WO2022205762A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989434A (zh) * | 2021-10-27 | 2022-01-28 | 聚好看科技股份有限公司 | 一种人体三维重建方法及设备 |
| WO2022205762A1 (zh) * | 2021-03-31 | 2022-10-06 | 深圳市慧鲤科技有限公司 | 三维人体重建方法、装置、设备及存储介质 |
| WO2022205760A1 (zh) * | 2021-03-31 | 2022-10-06 | 深圳市慧鲤科技有限公司 | 三维人体重建方法、装置、设备及存储介质 |
| CN115223023A (zh) * | 2022-09-16 | 2022-10-21 | 杭州得闻天下数字文化科技有限公司 | 基于立体视觉和深度神经网络的人体轮廓估计方法及装置 |
| WO2023024036A1 (zh) * | 2021-08-26 | 2023-03-02 | 华为技术有限公司 | 一种人物三维模型的重建方法及装置 |
| CN116704097A (zh) * | 2023-06-07 | 2023-09-05 | 好易购家庭购物有限公司 | 基于人体姿态一致性和纹理映射的数字化人形象设计方法 |
| CN117523152A (zh) * | 2024-01-04 | 2024-02-06 | 广州趣丸网络科技有限公司 | 一种三维人脸重建方法、装置、计算机设备和存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084884B (zh) * | 2019-04-28 | 2023-04-28 | 叠境数字科技（上海）有限公司 | 一种人体模型面部区域重建方法 |
| JP7321772B2 (ja) * | 2019-05-22 | 2023-08-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| CN111508079B (zh) * | 2020-04-22 | 2024-01-23 | 深圳追一科技有限公司 | 虚拟服饰试穿方法、装置、终端设备及存储介质 |
| CN111968169B (zh) * | 2020-08-19 | 2024-01-19 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
| CN112950769A (zh) * | 2021-03-31 | 2021-06-11 | 深圳市慧鲤科技有限公司 | 三维人体重建方法、装置、设备及存储介质 |
-
2021
- 2021-03-31 CN CN202110349813.1A patent/CN112950769A/zh not_active Withdrawn
- 2021-08-31 WO PCT/CN2021/115537 patent/WO2022205762A1/zh unknown
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022205762A1 (zh) * | 2021-03-31 | 2022-10-06 | 深圳市慧鲤科技有限公司 | 三维人体重建方法、装置、设备及存储介质 |
| WO2022205760A1 (zh) * | 2021-03-31 | 2022-10-06 | 深圳市慧鲤科技有限公司 | 三维人体重建方法、装置、设备及存储介质 |
| WO2023024036A1 (zh) * | 2021-08-26 | 2023-03-02 | 华为技术有限公司 | 一种人物三维模型的重建方法及装置 |
| CN113989434A (zh) * | 2021-10-27 | 2022-01-28 | 聚好看科技股份有限公司 | 一种人体三维重建方法及设备 |
| CN115223023A (zh) * | 2022-09-16 | 2022-10-21 | 杭州得闻天下数字文化科技有限公司 | 基于立体视觉和深度神经网络的人体轮廓估计方法及装置 |
| CN115223023B (zh) * | 2022-09-16 | 2022-12-20 | 杭州得闻天下数字文化科技有限公司 | 基于立体视觉和深度神经网络的人体轮廓估计方法及装置 |
| CN116704097A (zh) * | 2023-06-07 | 2023-09-05 | 好易购家庭购物有限公司 | 基于人体姿态一致性和纹理映射的数字化人形象设计方法 |
| CN116704097B (zh) * | 2023-06-07 | 2024-03-26 | 好易购家庭购物有限公司 | 基于人体姿态一致性和纹理映射的数字化人形象设计方法 |
| CN117523152A (zh) * | 2024-01-04 | 2024-02-06 | 广州趣丸网络科技有限公司 | 一种三维人脸重建方法、装置、计算机设备和存储介质 |
| CN117523152B (zh) * | 2024-01-04 | 2024-04-12 | 广州趣丸网络科技有限公司 | 一种三维人脸重建方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022205762A1 (zh) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113012282B (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| CN112950769A (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| CN111354079B (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| US10685454B2 (en) | Apparatus and method for generating synthetic training data for motion recognition | |
| US8624901B2 (en) | Apparatus and method for generating facial animation | |
| CN113838176B (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
| CN116109798B (zh) | 图像数据处理方法、装置、设备及介质 | |
| CN113272870A (zh) | 用于逼真的实时人像动画的系统和方法 | |
| CN110246209B (zh) | 图像处理方法及装置 | |
| WO2022237249A1 (zh) | 三维重建方法、装置和系统、介质及计算机设备 | |
| CN116977522A (zh) | 三维模型的渲染方法、装置、计算机设备和存储介质 | |
| CN115115805A (zh) | 三维重建模型的训练方法、装置、设备及存储介质 | |
| CN113705295A (zh) | 对象姿态迁移方法、装置、设备及存储介质 | |
| CN110458924A (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| Caliskan et al. | Multi-view consistency loss for improved single-image 3d reconstruction of clothed people | |
| CN115115752A (zh) | 虚拟服装的形变预测方法和装置、存储介质及电子设备 | |
| CN117333637B (zh) | 三维场景的建模及渲染方法、装置及设备 | |
| CN114266693A (zh) | 图像处理方法、模型生成方法及设备 | |
| CN115775300B (zh) | 人体模型的重建方法、人体重建模型的训练方法及装置 | |
| CN111105489A (zh) | 数据合成方法和装置、存储介质和电子装置 | |
| JP2024522287A (ja) | 三次元人体再構成方法、装置、デバイスおよび記憶媒体 | |
| US11948252B2 (en) | Three-dimensional mesh generator based on two-dimensional image | |
| Wang et al. | Automatic generation of game content customized by players: Generate 3D game character based on pictures | |
| CN117218279A (zh) | 生成服装数据的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40046310 Country of ref document: HK |
|
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210611 |