CN116051696A - 一种可重光照的人体隐式模型的重建方法和装置 - Google Patents
一种可重光照的人体隐式模型的重建方法和装置 Download PDFInfo
- Publication number
- CN116051696A CN116051696A CN202310035290.2A CN202310035290A CN116051696A CN 116051696 A CN116051696 A CN 116051696A CN 202310035290 A CN202310035290 A CN 202310035290A CN 116051696 A CN116051696 A CN 116051696A
- Authority
- CN
- China
- Prior art keywords
- implicit
- space
- human body
- information
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000282414 Homo sapiens Species 0.000 title claims abstract description 170
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000000463 material Substances 0.000 claims abstract description 90
- 238000005286 illumination Methods 0.000 claims abstract description 73
- 239000000523 sample Substances 0.000 claims abstract description 37
- 230000001537 neural effect Effects 0.000 claims abstract description 21
- 230000033001 locomotion Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 42
- 210000005036 nerve Anatomy 0.000 claims description 38
- 238000009877 rendering Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 19
- 238000010276 construction Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种可重光照的人体隐式模型的重建方法和装置，将人体表示为可变形的隐式神经表示，并分解人体的几何形状、材质属性以及环境照明，以获得一个可重光照和可驱动的隐式人体模型。此外，还引入了由多个球形高斯组成的体积照明网格表示空间变化的复杂照明，并引入了能伴随人体姿态变化而改变位置的可见性探针，来记录由人体运动引起的动态自遮挡。该方法在稀疏视频输入甚至单目输入的情况下，都可以生成可以用于高保真人体重光照的隐式可驱动模型。
Description
技术领域
本发明属于人体重建及重光照技术领域，尤其是涉及一种可重光照的人体隐式模型重建方法和装置。
背景技术
虚拟数字人指通过计算机图形学、图形渲染、动作捕捉等技术打造出存在于非物理世界中并具有数字化外形的虚拟人物。随着人工智能技术的发展以及元宇宙概念的提出，虚拟数字人从早期的泛娱乐拓展到金融、文旅、医疗、零售等领域，并实现真实人类虚拟化身的身份职能，逐渐于AI虚拟数字人领域实现商业变现。如何快速的构建和获取数字人，尤其是真实人物对应的数字人化身变成了刚需。数字人构建的技术早已经应用于影视行业，但是现有的方法成本高、耗时长，动辄成千上百万的费用阻碍了数字人应用走向群众市场。
目前虚拟数字人的建模生成方式主要包括三种，按照人工参与程度的高低，依次为纯人工建模、借助采集设备进行建模、以人工智能进行建模，同时涉及到相关的软硬件，包括建模软件、驱动软件、渲染引擎、拍摄采集设备、光学器件、显示设备等。第一种是纯人工建模方式，该方式建模质量高、效果好但是成本高、产能低。第二种是借助采集设备进行建模，成本适中、应用广泛。具体使用外部扫描设备采集模型数据，数据的输入方式大致分为两相机阵列扫描和动态光场重建，借助设备的方式构建数字人制作周期短、节省人力，可满足大多数虚拟人的建模需求，但是设备复杂、成本高，需要固定的场地。第三种就是利用人工智能进行全自动人体建模，这些方法利用已知的人体数据集构建人体先验知识和人体参数化模型，利用视频和图像的输入估计出完整的人体模型。最近NeRF等隐式物体表示技术和神经绘制技术的发展，克服了传统方法重建的人拓扑固定、几何简单的弊端，在保持成本低的同时提高了人体重建质量。
随着人工智能技术的提升，基于人工智能的人体重建方法有望成为未来的主流方法。现有技术中，Animatable NeRF、Human NeRF、Neural Actor等工作利用SMPL模型和额外神经网络预测残差蒙皮权重和残差形变来建立人体上的点从姿态空间到标准空间的映射，以此学习一个可以形变的基于NeRF的人体表示，但是这些方法仅仅记录人物在固定光照条件下的表观，不考虑人体的材质和人物所处的环境光照，所以无法实现重光照的任务。Relighting4D在实现人体重建的同时考虑了表面材质，实现了重光照效果，但是Relighting4D假设人体表面所有地方的粗糙度相同，以及设定人物所受到的环境光照为单色的灰度图。Relighting4D无法生成高质量的重光照结果。
因此，有必要提供一种基于稀疏视频输入的成本低、可驱动的、重建质量高、支持人体重光照的人体重建方法。
发明内容
鉴于上述技术问题，本发明的目的是提供一种可重光照的人体隐式模型的重建方法和装置，以多视点的稀疏视频作为输入，重建可驱动的、可重光照的人体隐式模型。
为实现上述发明目的，实施例提供了一种可重光照的人体隐式模型的重建方法，包括以下步骤：
基于稀疏视频帧获得姿态空间的空间点，并利用神经蒙皮模块将姿态空间中的点映射回标准T-Pose空间；
利用神经有符号距离场模块根据标准T-Pose空间的空间点计算点的隐式有符号距离场值和隐式表观特征向量；
根据点的隐式有符号距离场值计算空间点的法向和体积密度进而得到人体几何信息；
利用BRDF表示模块根据隐式表观特征向量计算得到空间点的材质信息，并将空间点的材质信息转化人体曲面点的材质信息；
引入可见性探针记录每个姿势下从人体表面到周围光源的可见性信息；由球面高斯模型组成的体积照明网格表示环境光照信息；
由人体几何信息、人体曲面点的材质信息、可见性信息以及环境光照信息组成人体隐式模型。
在一个实施例中，所述利用神经蒙皮模块将姿态空间中的空间点映射回标准T-Pose空间，包括：
利用SMPL模板得到基础蒙皮权重，同时利用第一神经网络根据姿态空间中的空间点和需要学习优化的第一隐变量计算残差蒙皮权重；
根据基础蒙皮权重和残差蒙皮权重计算每帧视频帧的最终蒙皮权重，利用最终蒙皮权重、变换矩阵将姿态空间中的空间点映射回标准T-Pose空间，得到标准T-Pose空间的空间点。
在一个实施例中，所述利用神经有符号距离场模块根据标准T-Pose空间的点计算点的隐式有符号距离场值和隐式表观特征向量，包括：
利用第二神经网络根据标准T-Pose空间的空间点计算输出隐藏向量，并从隐藏向量中提取一维向量作为点的隐式有符号距离场值，其余维向量作为包含表面信息的隐式表观特征向量。
在一个实施例中，所述点的隐式有符号距离场值计算空间点的法向和体积密度进而得到人体几何信息，包括：
采用以下公式根据点的隐式有符号距离场值计算空间点的体积密度：
其中，s(x′)表示标准T-Pose空间的空间点x′的隐式有符号距离场值，σ(x′)表示空间点x′的体积密度，α>0，β>0，均表示需要学习的参数。
在一个实施例中，所述利用BRDF表示模块根据隐式表观特征向量计算得到人体材质信息，包括：
将标准T-Pose空间的空间点分为头部和身体两部分，将头部空间点对应的隐式表观特征向量输入至高维编码器预测头部点对应的材质信息，同时将身体空间点对应的隐式表观特征向量输入至低维编码器预测身体点对应的材质信息，将头部空间点对应的材质信息和身体空间点对应的材质信息融合为空间点的材质信息。
在一个实施例中，所述高维编码器和低维解码器均采用编码-解码结构，利用编码部分将输入表观特征向量和空间点编码为潜码向量，利用解码部分将潜码向量解码为材质信息。
在一个实施例中，所述将空间点的材质信息转化人体曲面点的材质信息，包括：
通过对空间点的材质信息进行体积积分得到人体曲面点的材质信息。
在一个实施例中，所述引入可见性探针记录每个姿势下从人体表面到周围光源的可见性信息，包括：
将可见性探针存储于SMPL模板的网格节点上，每个网格节点存储的可见性探针表示为多个球面高斯的总和，在每一视频帧中，从每个可见性探针向空间各个方向发射光线，并对光线路径上的密度体积进行积分来计算可见性信息，利用可见性信息拟合可见性探针中的球面高斯参数，这样能够把各个运动帧的可见性信息存储到可见性探针中。
在一个实施例中，所述由球面高斯模型组成的体积照明网格表示环境光照信息，包括：
将照明表示为体积照明网格，每个网格节点都包含一个球形高斯混合表示，这样给定一个空间点，在体积照明网格中使用三线性插值来近似空间点的局部光照。
在一个实施例中，在构建人体隐式模型过程中，用到的所有参数在被应用之前均需要进行优化，具体参数优化过程包括：
构建训练系统，所述训练系统包括神经蒙皮模块、神经有符号距离场模块、BRDF表示模块、神经颜色模块、体绘制器以及物理绘制器，其中，神经颜色模块根据标准T-Pose空间的空间点、空间点的法向、观察方向、隐式表观特征向量以及需要学习优化的第二隐变量计算空间点的颜色值，体绘制器根据空间点的颜色值和体积密度进行绘制得到重建图，物理绘制器根据人体隐式模型进行绘制得到渲染图；
基于输入的视频帧对训练系统进行训练以优化参数，包括：首先，对神经蒙皮模块、神经有符号距离场模块、神经颜色模块进行一阶段训练，一阶段训练时以重建图与输入视频帧的差值作为重建损失；然后，固定一阶段训练的参数，对BRDF表示模块、可见性探针以及球面高斯模型的参数进行二阶段训练，二阶段训练时以渲染图与输入视频帧的差值作为重绘损失。
在一个实施例中，所述物理绘制器根据人体隐式模型进行绘制得到渲染图，包括：
利用蒙特卡洛重要抽样对渲染方程进行无偏估计，在此基础上，还使用可见法线分布函数对BRDF进行采样，通过统计计算得到绘制结果中高光项，用公式表示为：
其中，
表示表面点xs在出射光方向ωo的高光项，Li(xs,ωk)表示表面点xs在入射光方向ωk的光照信息，根据可见性信息以及环境光照信息相乘计算得到，F(xs,h,ωk)表示菲涅尔项，G1(xs,ωo)表示Smith遮蔽函数，根据几何信息包含的表面点法向n(xs)、材质信息包含的表面点xs处的粗糙度g(xs)、出射方向计算得到，G2(xs,ωk,ωo)表示Smith联合遮蔽阴影函数，根据几何信息包含的表面点法线、材质信息包含的表面点xs处的粗糙度g(xs)、出射方向及入射方向计算得到，k表示采样方向，K表示光线的采样数量；
在得到表面点xs处出射光的高光项后，结合表面点xs处漫反射率a(xs)所得漫反射分量
得到表面点xs的绘制结果。
为实现上述发明目的，实施例还提供了一种可重光照的人体隐式模型的重建装置，包括空间点映射单元、神经有符号距离单元、几何信息构建单元、材质信息构建单元、可见性信息构建单元、环境光照信息构建单元、组合单元；
所述空间点映射单元用于基于稀疏视频帧获得姿态空间的空间点，并利用神经蒙皮模块将姿态空间中的点映射回标准T-Pose空间；
所述神经有符号距离单元用于利用神经有符号距离场模块根据标准T-Pose空间的空间点计算点的隐式有符号距离场值和包含隐式表观特征向量；
所述几何信息构建单元用于根据点的隐式有符号距离场值计算空间点的法向和体积密度进而得到人体几何信息；
所述材质信息构建单元用于利用BRDF表示模块根据隐式表观特征向量计算得到空间点的材质信息，并将空间点的材质信息转化人体曲面点的材质信息；
所述可见性信息构建单元用于引入可见性探针记录每个姿势下从人体表面到周围光源的可见性信息；
所述环境光照信息构建单元用于由球面高斯模型组成的体积照明网格表示环境光照信息；
所述组合单元用于由人体几何信息、人体曲面点的材质信息、可见性信息以及环境光照信息组成人体隐式模型。
为实现上述发明目的，实施例还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述可重光照的人体隐式模型的重建方法。
为实现上述发明目的，实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现上述可重光照的人体隐式模型的重建方法。
与现有技术相比，本发明具有的有益效果至少包括：
将人体表示为可变形的隐式神经表示，并分解人体的几何形状、材质属性以及环境照明，以获得一个可重光照和可驱动的隐式人体模型。此外，还引入了由多个球形高斯组成的体积照明网格表示空间变化的复杂照明，并引入了能伴随人体姿态变化而改变位置的可见性探针，来记录由人体运动引起的动态自遮挡。该方法在稀疏视频输入甚至单目输入的情况下，都可以生成可以用于高保真人体重光照的隐式可驱动模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的可重光照的人体隐式模型的重建方法的流程图；
图2是实施例提供的训练系统的结构示意图；
图3是实施例提供的体积照明网格和可见性探针的示意图；；
图4是实施例提供的神经网络的结构示意图；
图5是实施例提供的生成结果示意图；
图6是实施例提供的可重光照的人体隐式模型的重建装置的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了构建能够实现可重光照、可驱动的人体隐式模型，实施例提供了一种可重光照的人体隐式模型的重建方法和装置，以稀疏视频帧作为输入，构建的人体隐式模型质量高且成本低。
如图1所示，实施例提供的可重光照的人体隐式模型的重建方法，包括以下步骤：
S110，基于稀疏视频帧获得姿态空间的空间点，并利用神经蒙皮模块将姿态空间中的点映射回标准T-Pose空间。
实施例中，从稀疏视频截取视频帧，并从视频帧中得到相机位置信息，基于相机位置信息向姿态空间投射多条射线，并从射线上采样得到姿态空间的空间点。T-pose空间是指T型姿势(T-pose)所处的空间，该T-pose用于绑定三维模型骨骼的预设姿势。
实施例中，利用SMPL(Skinned Multi-Person Linear)作为引导人体表面物理形变的模版，简称SMPL模板，基于此，利用神经蒙皮模块将姿态空间中的点映射回标准T-Pose空间，包括：
首先，利用SMPL模板可以得到姿态空间中的空间点x的基础蒙皮权重
具体做法为从距离当前空间点x最近的SMPL表面上的曲面点的蒙皮权重通过重心插值得到，同时利用作为神经蒙皮场的第一神经网络fΔw根据空间点x和需要学习优化的第一隐变量ψi计算残差蒙皮权重Δw，具体表示为
该残差蒙皮权重Δw对骨骼运动引起的非刚体变换提供约束，第一隐变量ψi在训练过程中需要被优化。
然后，根据基础蒙皮权重和残差蒙皮权重计算每帧视频帧的最终蒙皮权重
该最终蒙皮权重以确定重建的人体模型，
用公式表示为：
最后，利用利用最终蒙皮权重、变换矩阵将姿态空间中的空间点映射回标准T-Pose空间，得到标准T-Pose空间的空间点x′，用公式表示为：
其中，
和
分别表示可将第i视频帧中依据SMPL模板估计得到的关节点j从姿态空间转换回标准T-Pose空间所需的旋转变换矩阵和平移变换矩阵，j表示一视频帧对应人体的J个关节点，Ti(x)表示将姿态空间的空间点映射回标准T-Pose空间的空间点组成的动态场。
实施例中，第一神经网络fΔw采用全连接网络，结构如图4所示，其中，256，128等数字表示维度。
S120，利用神经有符号距离场模块根据标准T-Pose空间的空间点计算点的隐式有符号距离场值和隐式表观特征向量。
实施例中，神经有符号距离场(Signed Distance Field，SDF)模块(简称SDF模块)采用第二神经网络fs，该fs作为一个神经SDF场，利用该神经SDF场来确定标准T-Pose空间下的人体模型，输入任意空间点，估计该空间点距离物体表面的SDF值，将人体模型表示为一个隐式的零值面，从SDF值中可以提取每个空间点的法线和体积密度。神经SDF场fs工作过程表示为：
具体实现时，利用第二神经网络fs根据标准T-Pose空间的空间点x′计算输出隐藏向量，并从隐藏向量中提取一维向量作为点的神经SDF值s(x′)，该s(x′)包含了空间点x′的几何信息，因此可以利用s(x′)来计算人体几何信息，其余维向量作为包含表面信息的隐式表观特征向量z(x′)。
实施例中，该第二神经网络fs可以采用全连接神经网络，结构如图4所示，其中，输出的隐藏向量中256维为z(x′)，1维为s(x′)。
S130，根据点的隐式有符号距离场值计算空间点的法向和体积密度进而得到人体几何信息。
实施例中，采用以下公式根据SDF值s(x′)计算空间点x′的体积密度σ(x′)：
其中，α>0，β>0，均表示需要学习的参数，参数α和β在训练过程中需要被优化。
实施例中，根据空间点x′的位置信息，通过空间点x′求梯度能够得到空间点x′的法向n(x′)，空间点的法向n(x′)和体积密度σ(x′)共同组成人体几何信息。
步骤4，利用BRDF表示模块根据隐式表观特征向量计算得到空间点的材质信息，并将空间点的材质信息转化人体曲面点的材质信息。
对于双向反射分布函数(Bidirectional Reflectance Distribution Function，BRDF)估计，现有一些方法是在预测网络中引入一个真实BRDF的数据先验库，这些预测网络的通用性很大程度上依赖于训练数据。另外一些方法利用全连接网络直接预测反射参数，适用于静态对象。对于运动中的人物，表面材质的粗糙度和反照率与几何变形纠缠在一起，因此分解运动中人体的表面材质是一项更具挑战性的任务。
BRDF表示模块fr ′采用一种具有编码-解码结构的编码器，首先利用编码部分将fs产生的表观特征向量z(x′)和空间点x′编码为一个潜码向量zBRDF(x′)，然后利用解码部分将输入潜码向量zBRDF(x′)解码为材质系数。由于z(x′)包含BRDF信息，因此通过编码和解码能够得到材质系数，通过对材质系数进行解析得到BRDF的三维漫反射率a(x′)和一维粗糙度g(x′)，具体表示为
其中，a(x′)和g(x′)统称为材质信息。
实施例中，还提供了一种划分人体头部和身体部分的方式，每个空间点x′根据属于头部还是身体被分为两组。为适应两组数据，如图4所示，对应将编码器分为两个分支，第一个分支为具有编码-解码结构的高维编码器BRDF-C，第二个分支为具有编码-解码结构的低维编码器BRDF-S。基于此，第一组包含从头部采样的空间点，将头部空间点对应的隐式表观特征向量输入至高维编码器BRDF-C预测头部点对应的高分辨率的材质信息，第二组包含从身体采样的空间点，将将身体空间点对应的隐式表观特征向量输入至低维编码器BRDF-S预测身体点对应的光滑的材质信息，并将头部空间点对应的材质信息和身体空间点对应的材质信息通过全连接层融合为空间点的材质信息。
实施例中，高维编码器BRDF-C和低维编码器BRDF-S的结构相同，编码部分和解码部分均采用全连接层，不同的是高维编码器BRDF-C的全连接层的维度高于低维编码器BRDF-S的全连接层的维度。
实施例中，通过BRDF表示模块得到为空间点的材质信息，在构建人体隐式模型时需要人体曲面点的材质信息，因此，需要将空间点的材质信息转化为人体曲面点的材质信息，具体通过对空间点的材质信息进行体积积分得到人体曲面点xs沿空间射线r(t)的材质信息，包括三维漫反射率a(xs)和粗糙度g(xs)。
其中，人体曲面点xs的获取方式为：从相机o出发的空间射线r(t)＝o+td沿着方向d和人物表面几何的交点为人体曲面点xs，通过以下公式计算得到：
其中，tn表示表面交点从相机出发的深度，d表示射线的方向，αn表示相机o出发到第n个采样点的不透明度，αm表示从相机o出发到第m个采样点的不透明度。
S150，引入可见性探针记录每个姿势下从人体表面到周围光源的可见性信息。
人体表面的曲面点接受的光照与遮挡有关，不同的身体部位在不同的帧有不同的互相遮挡关系，所以对于运动中的人体分解，动态和准确的可视性是特别关键的。一些现有方法通过发射射线穿过密度体，计算从任意点出发的每个光方向的可见性，以估计入射光沿方向的衰减。但是这种方式中采样和积分点的数值都需要时间开销，当需要计算的次数增加以后，时间开销变得不可承受。为了加速能见度查询，另外一些现有方法使用全连接网络预测能见度，然而这种方法准确性低，且仅适用于静态物体，不适用于需要进行复杂非刚体运动的活动人体。
实施例中，提出使用带有可优化参数的伴随人体姿态移动的可见性探针来表示和加速可见性查询，神经蒙皮模块中已经提出根据角色的姿态参数，使用SMPL模板来指导人体表面物理几何的变形，其中SMPL模板包含6890个可形变的网格节点。基于SMPL模板的网格节点特性，如图3所示，将可见性探针存储于SMPL模板的网格节点上，每个网格节点存储的可见性探针表示为多个(例如24个)球面高斯的总和，通过这种方式，可见性探针可以随着人的动作在空间中移动。在每一视频帧中，从每个可见性探针向空间各个方向发射光线，并对光线路径上的密度体积进行积分来计算可见性信息，利用可见性信息拟合可见性探针中的球面高斯参数，这样能够把各个运动帧的可见性信息存储到可见性探针中。在实践中，实验表明采用更少的训练参数提供更快的查询和更有效的可见性表示，这加快了训练和渲染的速度。
S160，由球面高斯模型组成的体积照明网格表示环境光照信息。
现有的可微渲染管线中已经使用了各种可优化的光照表示方法。一些方法专注于小型静态物体重建的作品，使用混合的球面高斯(SG)或分离的环境图来表示照明，这些表示假设光来自无穷远处，这种假设违反了实际的物理，可能会导致人体重建的错误。例如，当在一个对人来说不够大的房间里拍摄图像时，应该将近距离的光源视为局部光，身体不同部位接收到的强度可能会有显著差异。
实施例中，如图3所示，将照明表示为3×3×3的体积照明网格，每个网格节点都包含一个球形高斯混合表示，这样给定一个空间点，在体积照明网格中使用三线性插值来近似空间点的局部光照。因此，在训练时，可对空间变化光照表示和BRDF进行联合优化。
S170，由人体几何信息、人体曲面点的材质信息、可见性信息以及环境光照信息组成人体隐式模型。
实施例中，经过上述步骤1-步骤6得到人体几何信息、人体曲面点的材质信息、可见性信息以及环境光照信息后，将由人体几何信息、人体曲面点的材质信息、可见性信息以及环境光照信息组成人体隐式模型，该人体隐式模型中，基于蒙皮权重实现人体几何信息的驱动，通过可见性信息以及环境光照信息实现可重光照，并支持在运行时更改人体接收的照明参数。
实施例中，步骤1-步骤6涉及到的所有参数均用到的所有参数在被应用之前均需要进行优化，具体参数优化过程包括：
(a)构建如图2所示的训练系统，该训练系统包括神经蒙皮模块、神经SDF模块、BRDF表示模块、神经颜色模块、体绘制器以及物理绘制器。
实施例中，神经颜色模块fc采用第三神经网络根据标准T-Pose空间的空间点x′、空间点的法向n(x′)、观察方向v(x′)、隐式表观特征向量z(x′)以及需要学习优化的第二隐变量χi计算空间点的颜色值ci(x)，通过这种方式可以利用输入视频帧的颜色优化人物的几何信息，在这个过程中z(x′)隐式的学习到BRDF的信息，那么后续利用显示的可微体绘制器即可从z(x′)推导显示的BRDF参数。因为在人的姿态不断发生改变的时候会导致人体不同的遮挡状态，为了得到一个连续的人体表示，引入第二隐变量χi编码由不同姿态引起的表观变化信息，那么空间点的颜色值可以由以下方式预测得到：
实施例中，神经颜色模块fc可以采用全连接网络，具体结构如图4所示。
实施例中，体绘制器根据空间点的颜色值ci(x)和体积密度σi(x)进行绘制得到重建图，具体过程为：对于每个像素点，利用Yariv提出的采样算法沿着入射光线采样N个空间点，这种采样方法可以将误差限制在一个误差上界，从而减少噪音。从而沿着入射光线r的像素值可以通过以下方式计算得到：
αn＝1-exp(-σnδn),
式中δn＝tn+1-tn是两个采样点n和n+1之间的间隔，cn和σn是采样点的颜色和体密度，从的颜色值ci(x)和体积密度σi(x)得到，m采样点的索引。
实施例中，为了在新光照环境下对重建的人隐式模型进行重光照，分解图像中的材质信息、环境光照信息、可见度信息和BRDF的有效表示从而进行可微反渲染是至关重要的，因此，引入物理绘制器根据人体隐式模型进行绘制得到渲染图，依据渲染图来优化参数。在物理绘制器中，集成了可处理复杂外观表面的Cook-Torrance着色模型，而不是简单的Phong BRDF。
在已有方法中通过蒙特卡洛积分可以得到高质量的渲染图，但为了降低噪声，需要进行大量的采样，这个过程非常耗时。因此，在物理绘制器中，利用蒙特卡洛重要抽样对渲染方程进行无偏估计，以提高了复杂渲染积分的鲁棒性(准确性)和效率。在此基础上，还使用可见法线分布函数对BRDF进行采样，提高了绘制质量，该物理绘制器全过程可微，可用于与神经网络结合的训练工作，由此得到了绘制结果中高光项，该高光项基于统计计算得到，用公式表示为：
其中，
表示表面点xs在出射光方向ωo的高光项，Li(xs,ωk)表示表面点xs在入射光方向ωk的光照信息，根据可见性信息以及环境光照信息相乘计算得到，F(xs,h,ωk)表示菲涅尔项，G1(xs,ωo)表示Smith遮蔽函数，根据表面点法向n(xs)、表面点xs处的粗糙度g(xs)、出射方向计算得到，G2(xs,ωk,ωo)表示Smith联合遮蔽阴影函数，根据表面点法线、表面点xs处的粗糙度g(xs)、出射方向及入射方向计算得到，k表示采样方向，K表示光线的采样数量，基于可见法线分布函数DV采样得到，具体的采样PDF如下：
在得到表面点xs处出射光的高光项后，结合表面点xs处漫反射率a(xs)所得漫反射分量
即可得表面点xs的绘制结果。
需要说明的是，上述物理绘制器不仅在场景分解的时候使用。当完成材质解耦得到各场景分量，该物理绘制器也会被利用来绘制新视点、光照和材质系数下的图像。
(b)基于输入的视频帧对训练系统进行训练以优化参数，整个训练包括一阶段训练和二阶段训练。一阶段训练时，采用体绘制器来学习角色的基本几何信息和颜色外观信息，其中，人体表面的最终蒙皮权重由第一神经网络体现的神经蒙皮权重场隐式表示，该字段可结合SMPL参数共同驱动人体模型，几何信息由第二神经网络体现的隐式神经SDF表示，从中可以提取每个空间点的法向和体积密度。空间点的颜色由第三神经网络体现的神经颜色场提供，使用体绘制器来绘制得到重建图，并将重建图与输入视频帧进行匹配来进行训练。
具体一阶段训练时，以重建图与输入视频帧的差值作为重建损失，来对神经蒙皮模块、神经SDF模块、神经颜色模块进行一阶段训练，训练的参数包括第一神经网络fΔw的参数、第一隐变量ψi、第二神经网络fs的参数、计算体积密度σ(x′)时用到的参数α和β、第三神经网络fc的参数以及第二隐变量χi；
二阶段训练是在一阶段训练的基础上，固定一阶段训练的参数，通过构建材质信息、可见信息和环境光照信息来构建可重光照的人体隐式模型，其中，使用BRDF字段表示材质信息，材质信息包括人体隐式模型在每一曲面点上的反射率和粗糙度。使用可移动的可见性探针记录每个空间姿势下从人体表面到周围光源的可见信息。环境周围的环境光照信息由一个由球面高斯模型组成的体积照明网格表示。结合第一阶段学习到的几何信息，使用物理绘制器来渲染得到渲染图，并将渲染图与输入视频帧进行匹配来进行训练。
具体二阶段训练时，以渲染图与输入视频帧的差值作为重绘损失，对BRDF表示模块、可见性探针以及球面高斯模型的参数进行二阶段训练，训练的参数包括编码器的参数、可见性探针Λsg的球面高斯参数、环境光照信息Γsg中球面高斯模型的参数。
训练系统中的所有参数经过训练后，即可用于人体隐式模型的重建。
上述实施例提供的可重光照的人体隐式模型的重建方法，可以利用未知照明中收集的输入视频来生成3D人体表示，并支持在全新的视点、姿态和场景下进行渲染。图5展示了由单目视频重建得到的人物隐式模型，包含几何信息、材质信息及人物在全新场景下的多视角重绘结果。
基于同样的发明构思，如图6所示，实施例还提供了一种可重光照的人体隐式模型的重建装置600，包括空间点映射单元610、神经有符号距离单元620、几何信息构建单元630、材质信息构建单元640、可见性信息构建单元650、环境光照信息构建单元660、组合单元670；
其中，空间点映射单元610用于基于稀疏视频帧获得姿态空间的空间点，并利用神经蒙皮模块将姿态空间中的点映射回标准T-Pose空间；
神经有符号距离单元620用于利用神经有符号距离场模块根据标准T-Pose空间的空间点计算点的隐式有符号距离场值和包含隐式表观特征向量；
几何信息构建单元630用于根据点的隐式有符号距离场值计算空间点的法向和体积密度进而得到人体几何信息；
材质信息构建单元640用于利用BRDF表示模块根据隐式表观特征向量计算得到空间点的材质信息，并将空间点的材质信息转化人体曲面点的材质信息；
可见性信息构建单元650用于引入可见性探针记录每个姿势下从人体表面到周围光源的可见性信息；
环境光照信息构建单元660用于由球面高斯模型组成的体积照明网格表示环境光照信息；
组合单元670用于由人体几何信息、人体曲面点的材质信息、可见性信息以及环境光照信息组成人体隐式模型。
需要说明的是，上述实施例提供的可重光照的人体隐式模型的重建装置在进行人体隐式模型构建时，应以上述各功能单元的划分进行举例说明，可以根据需要将上述功能分配由不同的功能单元完成，即在终端或服务器的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的重光照的人体隐式模型的重建生成装置与重光照的人体隐式模型的重建方法实施例属于同一构思，其具体实现过程详见重光照的人体隐式模型的重建方法实施例，这里不再赘述。
基于同样的发明构思，实施例还提供了一种计算设备，包括存储器、处理器以及存储在存储器中并可在所述处理器上执行的计算机程序，处理器执行计算机程序时实现上述可重光照的人体隐式模型的重建方法，包括以下步骤：
S110，基于稀疏视频帧获得姿态空间的空间点，并利用神经蒙皮模块将姿态空间中的点映射回标准T-Pose空间；
S120，利用神经有符号距离场模块根据标准T-Pose空间的空间点计算点的隐式有符号距离场值和隐式表观特征向量；
S130，根据点的隐式有符号距离场值计算空间点的法向和体积密度进而得到人体几何信息；
S140，利用BRDF表示模块根据隐式表观特征向量计算得到空间点的材质信息，并将空间点的材质信息转化人体曲面点的材质信息；
S150，引入可见性探针记录每个姿势下从人体表面到周围光源的可见性信息；
S160，由球面高斯模型组成的体积照明网格表示环境光照信息；
S170，由人体几何信息、人体曲面点的材质信息、可见性信息以及环境光照信息组成人体隐式模型。
其中，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现上述可重光照的人体隐式模型的重建方法的步骤。
基于同样的发明构思，实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理执行时实现上述可重光照的人体隐式模型的重建方法，包括以下步骤：
S110，基于稀疏视频帧获得姿态空间的空间点，并利用神经蒙皮模块将姿态空间中的点映射回标准T-Pose空间；
S120，利用神经有符号距离场模块根据标准T-Pose空间的空间点计算点的隐式有符号距离场值和隐式表观特征向量；
S130，根据点的隐式有符号距离场值计算空间点的法向和体积密度进而得到人体几何信息；
S140，利用BRDF表示模块根据隐式表观特征向量计算得到空间点的材质信息，并将空间点的材质信息转化人体曲面点的材质信息；
S150，引入可见性探针记录每个姿势下从人体表面到周围光源的可见性信息；
S160，由球面高斯模型组成的体积照明网格表示环境光照信息；
S170，由人体几何信息、人体曲面点的材质信息、可见性信息以及环境光照信息组成人体隐式模型。
其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种可重光照的人体隐式模型的重建方法，其特征在于，包括以下步骤：
基于稀疏视频帧获得姿态空间的空间点，并利用神经蒙皮模块将姿态空间中的点映射回标准T-Pose空间；
利用神经有符号距离场模块根据标准T-Pose空间的空间点计算点的隐式有符号距离场值和隐式表观特征向量；
根据点的隐式有符号距离场值计算空间点的法向和体积密度进而得到人体几何信息；
利用BRDF表示模块根据隐式表观特征向量计算得到空间点的材质信息，并将空间点的材质信息转化人体曲面点的材质信息；
引入可见性探针记录每个姿势下从人体表面到周围光源的可见性信息；由球面高斯模型组成的体积照明网格表示环境光照信息；
由人体几何信息、人体曲面点的材质信息、可见性信息以及环境光照信息组成人体隐式模型。
2.根据权利要求1所述的可重光照的人体隐式模型的重建方法，其特征在于，所述利用神经蒙皮模块将姿态空间中的空间点映射回标准T-Pose空间，包括：
利用SMPL模板得到基础蒙皮权重，同时利用第一神经网络根据姿态空间中的空间点和需要学习优化的第一隐变量计算残差蒙皮权重；
根据基础蒙皮权重和残差蒙皮权重计算每帧视频帧的最终蒙皮权重，利用最终蒙皮权重、变换矩阵将姿态空间中的空间点映射回标准T-Pose空间，得到标准T-Pose空间的空间点。
3.根据权利要求1所述的可重光照的人体隐式模型的重建方法，其特征在于，所述利用神经有符号距离场模块根据标准T-Pose空间的点计算点的隐式有符号距离场值和隐式表观特征向量，包括：
利用第二神经网络根据标准T-Pose空间的空间点计算输出隐藏向量，并从隐藏向量中提取一维向量作为点的隐式有符号距离场值，其余维向量作为包含表面信息的隐式表观特征向量。
4.根据权利要求1所述的可重光照的人体隐式模型的重建方法，其特征在于，所述点的隐式有符号距离场值计算空间点的法向和体积密度进而得到人体几何信息，包括：
采用以下公式根据点的隐式有符号距离场值计算空间点的体积密度：
其中，s(x′)表示标准T-Pose空间的空间点x′的隐式有符号距离场值，σ(x′)表示空间点x′的体积密度，α>0，β>0，均表示需要学习的参数。
5.根据权利要求1所述的可重光照的人体隐式模型的重建方法，其特征在于，所述利用BRDF表示模块根据隐式表观特征向量计算得到人体材质信息，包括：
将标准T-Pose空间的空间点分为头部和身体两部分，将头部空间点对应的隐式表观特征向量输入至高维编码器预测头部点对应的材质信息，同时将身体空间点对应的隐式表观特征向量输入至低维编码器预测身体点对应的材质信息，将头部空间点对应的材质信息和身体空间点对应的材质信息融合为空间点的材质信息。
6.根据权利要求5所述的可重光照的人体隐式模型的重建方法，其特征在于，所述高维编码器和低维解码器均采用编码-解码结构，利用编码部分将输入表观特征向量和空间点编码为潜码向量，利用解码部分将潜码向量解码为材质信息。
7.根据权利要求1所述的可重光照的人体隐式模型的重建方法，其特征在于，所述将空间点的材质信息转化人体曲面点的材质信息，包括：
通过对空间点的材质信息进行体积积分得到人体曲面点的材质信息。
8.根据权利要求1所述的可重光照的人体隐式模型的重建方法，其特征在于，所述引入可见性探针记录每个姿势下从人体表面到周围光源的可见性信息，包括：
将可见性探针存储于SMPL模板的网格节点上，每个网格节点存储的可见性探针表示为多个球面高斯的总和，在每一视频帧中，从每个可见性探针向空间各个方向发射光线，并对光线路径上的密度体积进行积分来计算可见性信息，利用可见性信息拟合可见性探针中的球面高斯参数，这样能够把各个运动帧的可见性信息存储到可见性探针中。
9.根据权利要求1所述的可重光照的人体隐式模型的重建方法，其特征在于，所述由球面高斯模型组成的体积照明网格表示环境光照信息，包括：
将照明表示为体积照明网格，每个网格节点都包含一个球形高斯混合表示，这样给定一个空间点，在体积照明网格中使用三线性插值来近似空间点的局部光照。
10.根据权利要求1-9所述的可重光照的人体隐式模型的重建方法，其特征在于，在构建人体隐式模型过程中，用到的所有参数在被应用之前均需要进行优化，具体参数优化过程包括：
构建训练系统，所述训练系统包括神经蒙皮模块、神经有符号距离场模块、BRDF表示模块、神经颜色模块、体绘制器以及物理绘制器，其中，神经颜色模块根据标准T-Pose空间的空间点、空间点的法向、观察方向、隐式表观特征向量以及需要学习优化的第二隐变量计算空间点的颜色值，体绘制器根据空间点的颜色值和体积密度进行绘制得到重建图，物理绘制器根据人体隐式模型进行绘制得到渲染图；
基于输入的视频帧对训练系统进行训练以优化参数，包括：首先，对神经蒙皮模块、神经有符号距离场模块、神经颜色模块进行一阶段训练，一阶段训练时以重建图与输入视频帧的差值作为重建损失；然后，固定一阶段训练的参数，对BRDF表示模块、可见性探针以及球面高斯模型的参数进行二阶段训练，二阶段训练时以渲染图与输入视频帧的差值作为重绘损失。
11.根据权利要求10可重光照的人体隐式模型的重建方法，其特征在于，所述物理绘制器根据人体隐式模型进行绘制得到渲染图，包括：
利用蒙特卡洛重要抽样对渲染方程进行无偏估计，在此基础上，还使用可见法线分布函数对BRDF进行采样，通过统计计算得到绘制结果中高光项，用公式表示为：
其中，
表示表面点xs在出射光方向ωo的高光项，Li(xs,ωk)表示表面点xs在入射光方向ωk的光照信息，根据可见性信息以及环境光照信息相乘计算得到，F(xs,h,ωk)表示菲涅尔项，G1(xs,ωo)表示Smith遮蔽函数，根据几何信息包含的表面点法向n(xs)、材质信息包含的表面点xs处的粗糙度g(xs)、出射方向计算得到，G2(xs,ωk,ωo)表示Smith联合遮蔽阴影函数，根据几何信息包含的表面点法线、材质信息包含的表面点xs处的粗糙度g(xs)、出射方向及入射方向计算得到，k表示采样方向，K表示光线的采样数量；
在得到表面点xs处出射光的高光项后，结合表面点xs处漫反射率a(xs)所得漫反射分量
得到表面点xs的绘制结果。
12.一种可重光照的人体隐式模型的重建装置，其特征在于，包括空间点映射单元、神经有符号距离单元、几何信息构建单元、材质信息构建单元、可见性信息构建单元、环境光照信息构建单元、组合单元；
所述空间点映射单元用于基于稀疏视频帧获得姿态空间的空间点，并利用神经蒙皮模块将姿态空间中的点映射回标准T-Pose空间；
所述神经有符号距离单元用于利用神经有符号距离场模块根据标准T-Pose空间的空间点计算点的隐式有符号距离场值和包含隐式表观特征向量；
所述几何信息构建单元用于根据点的隐式有符号距离场值计算空间点的法向和体积密度进而得到人体几何信息；
所述材质信息构建单元用于利用BRDF表示模块根据隐式表观特征向量计算得到空间点的材质信息，并将空间点的材质信息转化人体曲面点的材质信息；
所述可见性信息构建单元用于引入可见性探针记录每个姿势下从人体表面到周围光源的可见性信息；
所述环境光照信息构建单元用于由球面高斯模型组成的体积照明网格表示环境光照信息；
所述组合单元用于由人体几何信息、人体曲面点的材质信息、可见性信息以及环境光照信息组成人体隐式模型。
13.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-11任一项所述的可重光照的人体隐式模型的重建方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现权利要求1-11任一项所述的可重光照的人体隐式模型的重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310035290.2A CN116051696B (zh) | 2023-01-10 | 2023-01-10 | 一种可重光照的人体隐式模型的重建方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310035290.2A CN116051696B (zh) | 2023-01-10 | 2023-01-10 | 一种可重光照的人体隐式模型的重建方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116051696A true CN116051696A (zh) | 2023-05-02 |
| CN116051696B CN116051696B (zh) | 2023-12-22 |
Family
ID=86116107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310035290.2A Active CN116051696B (zh) | 2023-01-10 | 2023-01-10 | 一种可重光照的人体隐式模型的重建方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051696B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953137A (zh) * | 2024-03-27 | 2024-04-30 | 哈尔滨工业大学（威海） | 一种基于动态表面反射场的人体重光照方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060017720A1 (en) * | 2004-07-15 | 2006-01-26 | Li You F | System and method for 3D measurement and surface reconstruction |
| CN110097639A (zh) * | 2019-03-18 | 2019-08-06 | 北京工业大学 | 一种三维人体姿态估计方法 |
| CN110310319A (zh) * | 2019-06-12 | 2019-10-08 | 清华大学 | 光照分离的单视角人体服装几何细节重建方法及装置 |
| CN110619681A (zh) * | 2019-07-05 | 2019-12-27 | 杭州同绘科技有限公司 | 一种基于欧拉场形变约束的人体几何重建方法 |
| US20210150806A1 (en) * | 2019-11-15 | 2021-05-20 | Ariel Al Ltd | 3d body model generation |
| CN112907736A (zh) * | 2021-03-11 | 2021-06-04 | 清华大学 | 基于隐式场的十亿像素场景人群三维重建方法和装置 |
| CN113112592A (zh) * | 2021-04-19 | 2021-07-13 | 浙江大学 | 一种可驱动的隐式三维人体表示方法 |
-
2023
- 2023-01-10 CN CN202310035290.2A patent/CN116051696B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060017720A1 (en) * | 2004-07-15 | 2006-01-26 | Li You F | System and method for 3D measurement and surface reconstruction |
| CN110097639A (zh) * | 2019-03-18 | 2019-08-06 | 北京工业大学 | 一种三维人体姿态估计方法 |
| CN110310319A (zh) * | 2019-06-12 | 2019-10-08 | 清华大学 | 光照分离的单视角人体服装几何细节重建方法及装置 |
| CN110619681A (zh) * | 2019-07-05 | 2019-12-27 | 杭州同绘科技有限公司 | 一种基于欧拉场形变约束的人体几何重建方法 |
| US20210150806A1 (en) * | 2019-11-15 | 2021-05-20 | Ariel Al Ltd | 3d body model generation |
| CN112907736A (zh) * | 2021-03-11 | 2021-06-04 | 清华大学 | 基于隐式场的十亿像素场景人群三维重建方法和装置 |
| CN113112592A (zh) * | 2021-04-19 | 2021-07-13 | 浙江大学 | 一种可驱动的隐式三维人体表示方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张小蒙 等: "基于改进分段铰链变换的人体重建技术", 《图学学报》, no. 01, pages 108 - 115 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953137A (zh) * | 2024-03-27 | 2024-04-30 | 哈尔滨工业大学（威海） | 一种基于动态表面反射场的人体重光照方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116051696B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tewari et al. | Advances in neural rendering | |
| Georgoulis et al. | Reflectance and natural illumination from single-material specular objects using deep learning | |
| US10311631B2 (en) | Light path fusion for rendering surface and volume data in medical imaging | |
| CN113822993B (zh) | 一种基于3d模型匹配的数字孪生方法和系统 | |
| Qin et al. | Aura 3D textures | |
| Garbin et al. | VolTeMorph: Real‐time, Controllable and Generalizable Animation of Volumetric Representations | |
| CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
| CN116051696B (zh) | 一种可重光照的人体隐式模型的重建方法和装置 | |
| Caliskan et al. | Multi-view consistency loss for improved single-image 3d reconstruction of clothed people | |
| Zhu et al. | Deep review and analysis of recent nerfs | |
| Zhu et al. | Learning-based inverse rendering of complex indoor scenes with differentiable monte carlo raytracing | |
| CN116109757A (zh) | 基于内蕴坐标的哈希编码的动态三维人体渲染合成方法 | |
| CN116721210A (zh) | 基于神经有符号距离场的实时高效三维重建方法及装置 | |
| Yang et al. | Reconstructing objects in-the-wild for realistic sensor simulation | |
| Peng et al. | Implicit neural representations with structured latent codes for human body modeling | |
| Peng et al. | Animatable implicit neural representations for creating realistic avatars from videos | |
| Dai et al. | PBR-Net: Imitating physically based rendering using deep neural network | |
| CN116385667A (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| Meng et al. | Mirror-3dgs: Incorporating mirror reflections into 3d gaussian splatting | |
| Hege et al. | Isosurface ambient occlusion and soft shadows with filterable occlusion maps | |
| CN116883524A (zh) | 图像生成模型训练、图像生成方法、装置和计算机设备 | |
| Magda et al. | Reconstruction of Volumetric Surface Textures for Real-Time Rendering. | |
| Chang et al. | 3D hand reconstruction with both shape and appearance from an RGB image | |
| Li et al. | Guiding 3D Digital Content Generation with Pre-Trained Diffusion Models. | |
| Yang et al. | Light Sampling Field and BRDF Representation for Physically-based Neural Rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |