CN115953533A - 三维人体重建方法及装置 - Google Patents

三维人体重建方法及装置 Download PDF

Info

Publication number
CN115953533A
CN115953533A CN202211700116.7A CN202211700116A CN115953533A CN 115953533 A CN115953533 A CN 115953533A CN 202211700116 A CN202211700116 A CN 202211700116A CN 115953533 A CN115953533 A CN 115953533A
Authority
CN
China
Prior art keywords
human body
space
standard
dimensional
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211700116.7A
Other languages
English (en)
Inventor
雷震
朱翔昱
张小梅
廖婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202211700116.7A priority Critical patent/CN115953533A/zh
Publication of CN115953533A publication Critical patent/CN115953533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种三维人体重建方法及装置，该方法包括：获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及单目图像在原始姿态空间下的法向图；将法向图及标准空间中的三维点的坐标输入标准隐式模块，得到标准隐式模块输出的有向距离场，并根据有向距离场构建出标准姿态空间下的三维人体；通过人体SMPL参数将标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；其中，法向细化模块用于使原始姿态空间下的三维人体的表面法向逼近单目图像的法向，实现基于单张图像的高保真可驱动的目标三维人体重建。

Description

三维人体重建方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种三维人体重建方法及装置。
背景技术
基于图像的三维物体重建是计算机视觉领域中一个具有悠久历史的热门研究课题。在基于图像的三维重建任务中，三维人体重建因其在图像和视频编辑、电影和游戏产业，以及VR和AR内容传作等方面的应用而受到研究界广泛关注。当前大多数三维人体重建方法可以构建基于图像的三维模型方法，但是这些方法对于图像的获取有严格要求，需要依赖标定好相机参数的图像传感器或者价格昂贵的激光扫描仪，导致在许多应用场景中不能应用。
因此，一种更实用和低成本的方法是利用RBG相机或者手机拍摄的单目图像。然而现有技术中基于单目图像的人体重建方法通常局限于人体的参数化预测，缺乏衣服表面的几何细节。
发明内容
本发明提供一种三维人体重建方法及装置，用以解决现有技术基于单目图像的人体重建方法通常局限于人体的参数化预测，缺乏衣服表面的几何细节的缺陷。
本发明提供一种三维人体重建方法，包括：
获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；
将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；
通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；
其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。
根据本发明提供的一种三维人体重建方法，所述将所述法向图及标准空间中的三维点输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，包括：
根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征；
根据所述法向图获取所述标准空间中的三维点的第一法向；
将所述像素对齐的图像特征、所述第一法向及所述标准空间中的三维点输入标准隐式模块的隐式函数中，得到所述标准隐式模块输出的有向距离场。
根据本发明提供的一种三维人体重建方法，所述根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征，包括：
获取所述法向图的特征图；
根据线性混合蒙皮函数将所述标准空间中的三维点映射到标准姿态空间，得到目标姿态空间下的三维点；
通过双线性插值将所述目标姿态空间下的三维点上投影到所述法向图的特征图上，得到像素对齐的图像特征。
根据本发明提供的一种三维人体重建方法，所述根据所述法向图获取所述标准空间中的三维点的第一法向，包括：
基于所述标准空间中的三维点的雅可比矩阵，将所述法向图的第二法向进行变换，得到所述标准空间中的三维点的第一法向。
根据本发明提供的一种三维人体重建方法，所述将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场之前，还包括：
根据所述标准隐式模块的表面重构损失、几何正则化损失及非表面正则化损失对所述标准隐式模块的网络参数进行优化训练。
根据本发明提供的一种三维人体重建方法，所述法向细化模块包括元学习超参数网络及表面学习优化网络；
所述将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体，包括：
将所述人体SMPL参数输入所述元学习超参数网络，获取所述元学习超参数网络输出的一组参数；
将所述一组参数作为所述表面学习优化网络的初始化参数，并将所述原始姿态空间下的三维人体输入所述表面学习优化网络；
通过优化所述表面学习优化网络将所述原始姿态空间下的三维人体投影到所述单目图像的平面上，以重建出目标三维人体。
本发明还提供一种三维人体重建装置，包括：
获取单元，用于获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；
隐式单元，用于将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；
细化单元，用于通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；
其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维人体重建方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维人体重建方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述三维人体重建方法的步骤。
本发明提供的三维人体重建方法及装置，通过获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及单目图像在原始姿态空间下的法向图；将法向图及标准空间中的三维点的坐标输入标准隐式模块，得到标准隐式模块输出的有向距离场，并根据有向距离场构建出标准姿态空间下的三维人体；通过人体SMPL参数将标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体，其中，法向细化模块用于使原始姿态空间下的三维人体的表面法向逼近单目图像的法向，首先，标准隐式模块使用由原始姿态空间变换来的标准姿态下的法向图作为几何特征来获取衣服在标准姿态空间下三维人体的细节，然后在法向细化模块中，通过增强三维人体表面法向与单目图像的法向一致性来逼近姿态空间下的目标表面，从而实现基于单张图像的高保真可驱动的目标三维人体重建。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的三维人体重建方法的流程示意图；
图2是本发明提供的三维人体重建方法的场景示意图；
图3是本发明提供的三维人体重建装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
图1是本发明提供的三维人体重建方法的流程示意图。下面结合图1描述本发明的三维人体重建方法。如图1所示，该方法包括：步骤101、步骤102及步骤103。
步骤101，获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；
具体地，单目图像以需要进行三维人体重建的人体实例为采集对象所采集到的图像。
可以依赖常规的图像传感器或者具有图像采集功能的电子设备，获取需要进行三维人体重建的人体实例的图像。例如：可以利用具有图像采集功能的手机，或者，可以利用常规的RGB相机，获取人体实例的RGB图像作为单目图像。
具体地，本实施例中，原始姿态空间下的人体SMPL多人蒙皮线性参数是通过SMPL(Skinned Multi-Person Linear，多人蒙皮线性)估计网络得到的，其中，SMPL(SkinnedMulti-Person Linear，多人蒙皮线性)估计网络是一种用形状参数β和姿势参数θ来对人体进行编码的模型，具体地，将采集到的单目图像输入预先训练好的SMPL估计网络中，得到SMPL估计网络输出的人体SMPL参数(即姿态参数θ和形状参数β)，同时将采集到的单目图像输入法向图提取器，得到原始姿态空间下的法向图。
其中，本实施例中，SMPL估计网络的网络结构可以是任何框架，法向图提取器的网络结构也可以是任何框架，可选地，本实施例中的法向图提取器选用OpenDR(opendifferentiable Render，开放可微渲染)。
步骤102，将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体。
其中，标准空间中的三维点是通过均匀分布随机在三维空间中采样生成的。
本实施例中，标准隐式模块旨在标准姿态空间下重建三维人体的一般形态，具体地，在通过标准隐式模块得到三维点的有向距离场后，用Marching Cube算法从有向距离场中获取标准姿态空间下的三维人体。
步骤103，通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；
其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。
需要说明的是，由于标准隐式模块关注三维人体的总体形状，往往会忽略表面细节，因此，为了提高三维人体重建的精度，通过法向细化模块对标准姿态空间下的三维人体进行进一步的优化，并使其与用于重建的单目图像中的表面细节一致。
具体地，本实施例中先根据人体SMPL参数将标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，接着输入到法向细化模块重建出高保真可驱动的目标三维人体，原始姿态空间下的三维人体在输入法向细化模块中后，法向细化模块使原始姿态空间下的三维人体的表面法向逐渐逼近所述单目图像的法向，如此对重构出的原始姿态空间下的三维人体进行细化。
本发明实施例提出的三维人体重建方法，通过获取单目图像在原始姿态空间下的人体SMPL参数及单目图像在原始姿态空间下的法向图；将法向图及标准空间中的三维点的坐标输入标准隐式模块，得到标准隐式模块输出的有向距离场，并根据有向距离场构建出标准姿态空间下的三维人体；通过人体SMPL参数将标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将原始姿态空间下的三维人体输入法向细化模块重建出高保真可驱动三维人体，其中，法向细化模块用于使原始姿态空间下的三维人体的表面法向逼近单目图像的法向，首先，标准隐式模块使用由原始姿态空间变换来的标准姿态下的法向图作为几何特征来获取衣服在标准姿态空间下三维人体的细节，然后在法向细化模块中，通过增强三维人体表面法向与单目图像的法向一致性来逼近姿态空间下的目标表面，从而实现基于单张图像的高保真可驱动的目标三维人体重建。
在一些实施例中，所述将所述法向图及标准空间中的三维点输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，包括：
根据所述法向图获取所述标准空间中的三维点的第一法向；
根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征；
将所述像素对齐的图像特征、所述第一法向及所述标准空间中的三维点输入标准隐式模块的隐式函数中，得到所述标准隐式模块输出的有向距离场。
本实施例中，参考图2，在得到输入图像I(即单目图像)的法向图N后，通过对法向图N的变换得到标准空间中的三维点xc的第一法向nc，接着通过法向图N及标准空间下的三维点xc得到像素对齐的图像特征Φ，最后将像素对齐的图像特征Φ、第一法向nc及标准空间中的三维点xc的三维坐标输入标准隐式模块的隐式函数F中，即得到隐式函数F输出的标准空间中的三维点xc到人体表面的有向距离场，其中，有向距离场为正值表示三维点xc为人体内点，负值表示三维点xc为人体外点，xc零表示为人体表面点。
具体地，本实施例中的零能级曲面为如下公式：
Sη＝{xc∈R3|F(Φ,nc,xc)＝0},η表示标准隐式模型(即隐式函数F)的参数。
本发明实施例提出的三维人体重建方法，通过像素对齐的图像特征Φ、第一法向nc及标准空间中的三维点xc的坐标作为有向距离场的输入，从而能得到更加准确的重建结果。
在一些实施例中，所述根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征，包括：
获取所述法向图的特征图；
根据线性混合蒙皮函数将所述标准空间中的三维点映射到标准姿态空间，得到目标姿态空间下的三维点；
通过双线性插值将所述目标姿态空间下的三维点上投影到所述法向图的特征图上，得到像素对齐的图像特征。
具体地，参考图2，给定一张输入图像I(即单目图像)I∈RH×W×3，生成其对应的法向图N，法向图N经过方向图编码器，生成特征图
”'
G(N)∈RH×W×C。
接着根据线性混合蒙皮函数将标准空间中的三维点xc映射到标准姿态空间，得到目标姿态空间下的三维点xp。
具体地，
Figure BDA0004023747920000091
是标准空间中的人体顶点，
Figure BDA0004023747920000092
是人体顶点到骨头的蒙皮权重，Nv和NJ分别表示顶点和关键的数量，为了简化计算，本实施例中省略了
Figure BDA0004023747920000093
和wi的索引i，在给定位姿参数
Figure BDA0004023747920000094
和骨骼J下，线性混合蒙皮函数S将具有蒙皮权重
Figure BDA0004023747920000095
的顶点xc映射到目标姿态空间，得到目标姿态空间下的三维点xp，公式如下所示：
Figure BDA0004023747920000096
其中，Bj(θ,J)是应用于身体骨骼J的变换。
最后，在得到目标姿态空间下的三维点xp和特征图G(N)后，本实例中使用堆叠的沙漏网路，通过双线性插值，将目标姿态空间下的三维点xp投影到法向图的特征图G(N)上得到像素对齐的图像特征Φ，公式如下所示：
Φ＝B(G(N),π(xp))
其中，Β()表示双线性插值运算，π()表示弱正交相机投影。
在一些实施例中，所述根据所述法向图获取所述标准空间中的三维点的第一法向，包括：
基于所述标准空间中的三维点的雅可比矩阵，将所述法向图的第二法向进行变换，得到所述标准空间中的三维点的第一法向。
具体地，利用标准空间中的三维点xc的雅可比矩阵，将原始姿态空间下的法向图N的第二法向np进行变换，得到标准空间中的三维点xc的第一法向nc，其变换公式如下：
Figure BDA0004023747920000101
其中，π-1表示相机投影矩阵的逆，S-1为线性混合蒙皮的逆，unit()表示将输入向量归一化。
具体地，本实施例中，np＝B(N,π(xp))，表示从法向图N索引像素对齐法线，π()表示弱正交相机投影，Β()表示双线性插值运算，xp表示目标姿态空间下的三维点。
在一些实施例中，所述将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场之前，还包括：
根据所述标准隐式模块的表面重构损失、几何正则化损失及非表面正则化损失对所述标准隐式模块的网络参数进行优化训练。
具体地，通过如下公式优化标准隐式模块的网络参数η：
L＝λ1L1+λeikLeik+λoLo
其中，λ1、λeik和λo是用来平衡不同损失的参数。
本实施例中，表面重构损失L1用于保证标准隐式模块输出的有效距离场在人体表面为零，并且其法线与真实标签法线一致，具体地，其公式如下：
Figure BDA0004023747920000102
其中，nx是图像x处的微分法线，fx是隐式函数，
Figure BDA0004023747920000103
是真实标签法线，ΩI是在人体表面上的随机采样点。
本实施例中，几何正则化损失Leik用于鼓励标准隐式模块的隐式函数具有如下的梯度约束：
Figure BDA0004023747920000111
其中，Ωd是在人体所在的三维立方体内的随机采样点。
本实施例中，非表面正则化损失Lo用于鼓励非人体表面的点，尽可能的远离人体表面，其公式如下：
Figure BDA0004023747920000112
其中，α是人体表面的尖锐度。
本实施例中使用表面重构损失、几何正则化损失及非表面正则化损失对标准隐式模块的网络参数进行优化训练，使得标准隐式模块可以得出更加准确的重建结果。
在一些实施例中，所述法向细化模块包括元学习超参数网络及表面学习优化网络；
所述将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体，包括：
将所述人体SMPL参数输入所述元学习超参数网络，获取所述元学习超参数网络输出的一组参数；
将所述一组参数作为所述表面学习优化网络的初始化参数，并将所述原始姿态空间下的三维人体输入所述表面学习优化网络；
通过优化所述表面学习优化网络将所述原始姿态空间下的三维人体投影到所述单目图像的平面上，以重建出目标三维人体。
需要说明的是，本实施例中元学习超参数网络的输入是人体SMPL参数(即姿态参数θ和形状参数β)，不是具有人体细节的标签。虽然标签包含丰富的表面细节，但是可以用来训练的数据是有限的。因此使用标签很难推广到看不见的对象，也很难处理各种各样的衣服。相反，人体SMPL参数是裸露的，没有复杂的表面几何，可以更加容易拓展到遮掩的部分。此外，人体SMPL参数在一定程度上是数据量是无穷无尽的，所以本实施例中使用人体SMPL参数作为输入有助于提高对不可见数据的泛化能力。
具体地，参考图2，本实施例中将人体SMPL参数(即姿态参数θ和形状参数β)输入元学习超参数网络H，元学习超参数网络H生成一组参数，用于表面优化网络g的初始化。
其中，本实施例中此过程的零能级面可以表示为如下：
M*＝{x∈R3|g(x；H(M))＝0}。
通过输出结果M*强制逼近真实结果M，不断地训练元学习超参数网络的参数，在训练过程中，元学习超参数网络H将人体SMPL参数(即姿态参数θ和形状参数β)作为输入，输出表面优化网络g的初始化参数
Figure BDA0004023747920000121
在优化过程中，表面优化网络g通过将原始姿态空间下的三维人体投影到单目图像的平面上进行细化，使三维人体的表面法线接近输入图像I(即单目图像)，以提高曲面几何质量，其中，原始姿态空间下的零能级面可以表示为如下：
Figure BDA0004023747920000122
本发明实施例提出的三维人体重建方法，通过对原始姿态空间下的三维人体进行进一步的优化，并使其表面法线与输入图像I(即单目图像)一致，从而实现基于单张图像的高保真可驱动的目标三维人体重建。
图3是本发明提供的三维人体重建装置的结构示意图。下面结合图3对本发明提供的三维人体重建装置进行描述，下文描述的三维人体重建装置与上文描述的本发明提供的三维人体重建方法可相互对应参照。如图3所示，该装置包括：获取单元310，用于获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；隐式单元320，用于将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；细化单元330，用于通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。
在一些实施例中，隐式单元320，还用于根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征；根据所述法向图获取所述标准空间中的三维点的第一法向；将所述像素对齐的图像特征、所述第一法向及所述标准空间中的三维点的坐标输入标准隐式模块的隐式函数中，得到所述标准隐式模块输出的有向距离场。
在一些实施例中，隐式单元320，还用于获取所述法向图的特征图；根据线性混合蒙皮函数将所述标准空间中的三维点映射到标准姿态空间，得到目标姿态空间下的三维点；通过双线性插值将所述目标姿态空间下的三维点上投影到所述法向图的特征图上，得到像素对齐的图像特征。
在一些实施例中，隐式单元320，还用于基于所述标准空间中的三维点的雅可比矩阵，将所述法向图的第二法向进行变换，得到所述标准空间中的三维点的第一法向。
在一些实施例中，三维人体重建装置还包括损失单元，用于根据所述标准隐式模块的表面重构损失、几何正则化损失及非表面正则化损失对所述标准隐式模块的网络参数进行优化训练。
在一些实施例中，所述法向细化模块包括元学习超参数网络及表面学习优化网络；细化单元330，还用于将所述人体SMPL参数输入所述元学习超参数网络，获取所述元学习超参数网络输出的一组参数；将所述一组参数作为所述表面学习优化网络的初始化参数，并将所述原始姿态空间下的三维人体输入所述表面学习优化网络；通过优化所述表面学习优化网络将所述原始姿态空间下的三维人体投影到所述单目图像的平面上，以重建出目标三维人体。
本发明实施例提出的三维人体重建装置，通过获取单目图像在原始姿态空间下的人体SMPL参数及单目图像在原始姿态空间下的法向图；将法向图及标准空间中的三维点的坐标输入标准隐式模块，得到标准隐式模块输出的有向距离场，并根据有向距离场构建出标准姿态空间下的三维人体；通过人体SMPL参数将标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体，其中，法向细化模块用于使原始姿态空间下的三维人体的表面法向逼近单目图像的法向，首先，标准隐式模块使用由原始姿态空间变换来的标准姿态下的法向图作为几何特征来获取衣服在标准姿态空间下三维人体的细节，然后在法向细化模块中，通过增强三维人体表面法向与单目图像的法向一致性来逼近姿态空间下的目标表面，从而实现基于单张图像的目标三维人体重建。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行三维人体重建方法，该方法包括：获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的三维人体重建方法，该方法包括：获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的三维人体重建方法，该方法包括：获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维人体重建方法，其特征在于，包括：
获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；
将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；
通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；
其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。
2.根据权利要求1所述的三维人体重建方法，其特征在于，所述将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，包括：
根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征；
根据所述法向图获取所述标准空间中的三维点的第一法向；
将所述像素对齐的图像特征、所述第一法向及所述标准空间中的三维点的坐标输入标准隐式模块的隐式函数中，得到所述标准隐式模块输出的有向距离场。
3.根据权利要求2所述的三维人体重建方法，其特征在于，所述根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征，包括：
获取所述法向图的特征图；
根据线性混合蒙皮函数将所述标准空间中的三维点映射到标准姿态空间，得到目标姿态空间下的三维点；
通过双线性插值将所述目标姿态空间下的三维点上投影到所述法向图的特征图上，得到像素对齐的图像特征。
4.根据权利要求2所述的三维人体重建方法，其特征在于，所述根据所述法向图获取所述标准空间中的三维点的第一法向，包括：
基于所述标准空间中的三维点的雅可比矩阵，将所述法向图的第二法向进行变换，得到所述标准空间中的三维点的第一法向。
5.根据权利要求1所述的三维人体重建方法，其特征在于，所述将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场之前，还包括：
根据所述标准隐式模块的表面重构损失、几何正则化损失及非表面正则化损失对所述标准隐式模块的网络参数进行优化训练。
6.根据权利要求1所述的三维人体重建方法，其特征在于，所述法向细化模块包括元学习超参数网络及表面学习优化网络；
所述将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体，包括：
将所述人体SMPL参数输入所述元学习超参数网络，获取所述元学习超参数网络输出的一组参数；
将所述一组参数作为所述表面学习优化网络的初始化参数，并将所述原始姿态空间下的三维人体输入所述表面学习优化网络；
通过优化所述表面学习优化网络将所述原始姿态空间下的三维人体投影到所述单目图像的平面上，以重建出目标三维人体。
7.一种三维人体重建装置，其特征在于，包括：
获取单元，用于获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；
隐式单元，用于将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；
细化单元，用于通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；
其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述三维人体重建方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维人体重建方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维人体重建方法的步骤。
CN202211700116.7A 2022-12-28 2022-12-28 三维人体重建方法及装置 Pending CN115953533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211700116.7A CN115953533A (zh) 2022-12-28 2022-12-28 三维人体重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211700116.7A CN115953533A (zh) 2022-12-28 2022-12-28 三维人体重建方法及装置

Publications (1)

Publication Number Publication Date
CN115953533A true CN115953533A (zh) 2023-04-11

Family

ID=87288883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211700116.7A Pending CN115953533A (zh) 2022-12-28 2022-12-28 三维人体重建方法及装置

Country Status (1)

Country Link
CN (1) CN115953533A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116137050A (zh) * 2023-04-19 2023-05-19 北京大学 三维真人模型处理方法、处理装置、电子设备及存储介质
CN116342836B (zh) * 2023-05-30 2024-03-12 杭州倚澜科技有限公司 一种基于深度隐式细节表征的人体建模方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116137050A (zh) * 2023-04-19 2023-05-19 北京大学 三维真人模型处理方法、处理装置、电子设备及存储介质
CN116137050B (zh) * 2023-04-19 2023-09-01 北京大学 三维真人模型处理方法、处理装置、电子设备及存储介质
CN116342836B (zh) * 2023-05-30 2024-03-12 杭州倚澜科技有限公司 一种基于深度隐式细节表征的人体建模方法

Similar Documents

Publication Publication Date Title
CN109285215B (zh) 一种人体三维模型重建方法、装置和存储介质
CN110717977B (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
Lu et al. Attribute-guided face generation using conditional cyclegan
CN107330439B (zh) 一种图像中物体姿态的确定方法、客户端及服务器
US10846836B2 (en) View synthesis using deep convolutional neural networks
CN110599395B (zh) 目标图像生成方法、装置、服务器及存储介质
CN115953533A (zh) 三维人体重建方法及装置
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN109146788A (zh) 基于深度学习的超分辨率图像重建方法和装置
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
CN112562019A (zh) 图像色彩调整方法及装置、计算机可读介质和电子设备
JP2016085579A (ja) 対話装置のための画像処理装置及び方法、並びに対話装置
CN114863037A (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
CN111429374A (zh) 图像中摩尔纹的消除方法及装置
CN116188912A (zh) 主题图像的图像合成模型的训练方法、装置、介质及设备
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN108305281A (zh) 图像的校准方法、装置、存储介质、程序产品和电子设备
Tang et al. SRARNet: A unified framework for joint superresolution and aircraft recognition
CN115115724A (zh) 图像处理方法、装置、计算机设备及存储介质
CN114612605A (zh) 三维人体重建方法及装置
CN116452715A (zh) 动态人手渲染方法、装置及存储介质
CN115239857B (zh) 图像生成方法以及电子设备
CN111222459A (zh) 一种视角无关的视频三维人体姿态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination