CN116934948A - 基于多视角视频的可重光照三维数字人构建方法及装置 - Google Patents
基于多视角视频的可重光照三维数字人构建方法及装置 Download PDFInfo
- Publication number
- CN116934948A CN116934948A CN202310710700.9A CN202310710700A CN116934948A CN 116934948 A CN116934948 A CN 116934948A CN 202310710700 A CN202310710700 A CN 202310710700A CN 116934948 A CN116934948 A CN 116934948A
- Authority
- CN
- China
- Prior art keywords
- human body
- parameters
- motion
- video
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 29
- 238000005286 illumination Methods 0.000 claims abstract description 39
- 230000037237 body shape Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 24
- 239000000463 material Substances 0.000 claims abstract description 23
- 238000009877 rendering Methods 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000005855 radiation Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005315 distribution function Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本申请涉及一种基于多视角视频的可重光照三维数字人构建方法及装置，其中，方法包括：基于用户的多视角人体运动视频，估计人体的体形与姿态参数；基于多视角人体运动视频，估计视频中人体的几何与运动参数；根据体形与姿态参数及几何与运动参数重建所述用户的人体几何，以训练光源可见性估计模块，估计人体表面材质参数与环境光照参数，以在任一环境光参数下进行重光照人体图像的渲染。由此，解决了相关技术中，要实现可重光照的三维数字人构建，需要复杂且昂贵的传感器设备，难以获取，泛用性差的问题。
Description
技术领域
本申请涉及计算机图形学技术领域，特别涉及一种基于多视角视频的可重光照三维数字人构建方法及装置。
背景技术
随着元宇宙相关技术的发展，人们对实现三维数字人构建技术的需求日益迫切。三维数字人在虚拟现实与增强现实、游戏、影视、动画等领域有广泛的应用前景和重要的应用价值。在实际应用中，常常需要将三维数字人插入不同的场景中，要实现三维人体在不同场景下真实自然的呈现效果需要根据不同的环境光，对三维人体进行重光照。
相关技术中，可以结合显式模型和隐式模型构建生成式模型，从而根据几何网络、细节网络和颜色网络建模生成三维数字人头。
然而，相关技术中，要实现可重光照的三维数字人构建，需要复杂且昂贵的传感器设备，难以获取，泛用性差，亟待改进。
发明内容
本申请提供一种基于多视角视频的可重光照三维数字人构建方法及装置，以解决相关技术中，要实现可重光照的三维数字人构建，需要复杂且昂贵的传感器设备，难以获取，泛用性差的问题。
本申请第一方面实施例提供一种基于多视角视频的可重光照三维数字人构建方法，包括以下步骤：基于用户的多视角人体运动视频，估计人体的体形与姿态参数；基于所述多视角人体运动视频，估计视频中人体的几何与运动参数；根据所述体形与姿态参数及所述几何与运动参数重建所述用户的人体几何，以训练光源可见性估计模块，估计人体表面材质参数与环境光照参数，以在任一环境光参数下进行重光照人体图像的渲染。
可选地，在本申请的一个实施例中，所述基于用户的多视角人体运动视频，估计人体的体形与姿态参数，包括：获取人体关节点的二维坐标；根据所述人体关节点的二维坐标和所述多视角人体运动视频的多视图几何信息求解三维人体姿态，确定所述体形与姿态参数。
可选地，在本申请的一个实施例中，所述基于所述多视角人体运动视频，估计视频中人体的几何与运动参数，包括：利用预设的隐式神经网络进行体积渲染，得到多个人体运动图像；通过所述多个人体运动图像与所述多视角人体运动视频中的图像之间的一致性，对人体几何与运动的重建，确定所述几何与运动参数。
可选地，在本申请的一个实施例中，所述根据所述体形与姿态参数及所述几何与运动参数重建所述用户的人体几何，以训练光源可见性估计模块，包括：对每个人体部分，分别估计其对光源产生的遮挡效果，得到估计结果；根据所述估计结果得到所有遮挡结果，并根据所述所有遮挡结果得到总体的光源可见性。
可选地，在本申请的一个实施例中，所述重光照人体图像的渲染方程为：
Lo(x，ωo)＝∫Ω Li(x，ωi)R(x，ωi，ωo，n)(ωi·n)dωi，
其中，Lo(x，ωo)为点x向ωo方向发射出的辐射值，Li(x，ωi)为点x接收到的来自ωi方向上的辐射值，R(x，ωi，ωo，n)为双向反射分布函数，n为点x的法向量。
本申请第二方面实施例提供一种基于多视角视频的可重光照三维数字人构建装置，包括：第一估计模块，用于基于用户的多视角人体运动视频，估计人体的体形与姿态参数；第二估计模块，用于基于所述多视角人体运动视频，估计视频中人体的几何与运动参数；重建模块，用于根据所述体形与姿态参数及所述几何与运动参数重建所述用户的人体几何，以训练光源可见性估计模块，估计人体表面材质参数与环境光照参数，以在任一环境光参数下进行重光照人体图像的渲染。
可选地，在本申请的一个实施例中，所述第一估计模块包括：获取单元，用于获取人体关节点的二维坐标；第一确定单元，用于根据所述人体关节点的二维坐标和所述多视角人体运动视频的多视图几何信息求解三维人体姿态，确定所述体形与姿态参数。
可选地，在本申请的一个实施例中，所述第二估计模块包括：渲染单元，用于利用预设的隐式神经网络进行体积渲染，得到多个人体运动图像；第二确定单元，用于通过所述多个人体运动图像与所述多视角人体运动视频中的图像之间的一致性，对人体几何与运动的重建，确定所述几何与运动参数。
可选地，在本申请的一个实施例中，所述重建模块包括：评估单元，用于对每个人体部分，分别估计其对光源产生的遮挡效果，得到估计结果；输出单元，用于根据所述估计结果得到所有遮挡结果，并根据所述所有遮挡结果得到总体的光源可见性。
可选地，在本申请的一个实施例中，所述重光照人体图像的渲染方程为：
Lo(x，ωo)＝∫Ω Li(x，ωi)R(x，ωi，ωo，n)(ωi·n)dωi，
其中，Lo(x，ωo)为点x向ωo方向发射出的辐射值，Li(x，ωi)为点x接收到的来自ωi方向上的辐射值，R(x，ωi，ωo，n)为双向反射分布函数，n为点x的法向量。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于多视角视频的可重光照三维数字人构建方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于多视角视频的可重光照三维数字人构建方法。
本申请实施例可以根据用户的多视角人体运动视频，估计体形与姿态参数及几何与运动参数，进而估计人体表面材质参数与环境光照参数，从而在任一环境光参数下进行重光照人体图像的渲染。由此，解决了相关技术中，要实现可重光照的三维数字人构建，需要复杂且昂贵的传感器设备，难以获取，泛用性差的问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于多视角视频的可重光照三维数字人构建方法的流程图；
图2为根据本申请实施例的基于多视角视频的可重光照三维数字人构建方法的工作原理示意图；
图3为根据本申请实施例的基于多视角视频的可重光照三维数字人构建方法的数字人体示意图；
图4为根据本申请实施例提供的一种基于多视角视频的可重光照三维数字人构建装置的示例图；
图5为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于多视角视频的可重光照三维数字人构建方法及装置。针对上述背景技术中心提到的相关技术中，要实现可重光照的三维数字人构建，需要复杂且昂贵的传感器设备，难以获取，泛用性差的问题，本申请提供了一种基于多视角视频的可重光照三维数字人构建方法，在该方法中，可以根据用户的多视角人体运动视频，估计体形与姿态参数及几何与运动参数，进而估计人体表面材质参数与环境光照参数，从而在任一环境光参数下进行重光照人体图像的渲染。由此，解决了相关技术中，要实现可重光照的三维数字人构建，需要复杂且昂贵的传感器设备，难以获取，泛用性差的问题。
具体而言，图1为本申请实施例所提供的一种基于多视角视频的可重光照三维数字人构建方法的流程示意图。
如图1所示，该基于多视角视频的可重光照三维数字人构建方法包括以下步骤：
在步骤S101中，基于用户的多视角人体运动视频，估计人体的体形与姿态参数。
其中，关于基于用户的多视角人体运动视频，估计人体的体形与姿态参数的方法将在下文进行详细阐述。
可选地，在本申请的一个实施例中，基于用户的多视角人体运动视频，估计人体的体形与姿态参数，包括：获取人体关节点的二维坐标；根据人体关节点的二维坐标和多视角人体运动视频的多视图几何信息求解三维人体姿态，确定体形与姿态参数。
在此，对关于基于用户的多视角人体运动视频，估计人体的体形与姿态参数的方法进行举例说明。具体而言，本申请实施例可以使用三维人体参数化模型SMPL，对人体的体形参数β与姿态参数θ进行建模。借助现有的二维人体姿态估计工具OpenPose得到人体关节点的二维坐标，再结合多视图几何信息求解三维人体姿态，优化得到人体体形参数β与姿态参数θ。
在步骤S102中，基于多视角人体运动视频，估计视频中人体的几何与运动参数。
其中，关于基于多视角人体运动视频，估计视频中人体的几何与运动参数的方法将在下文进行详细阐述。
可选地，在本申请的一个实施例中，基于多视角人体运动视频，估计视频中人体的几何与运动参数，包括：利用预设的隐式神经网络进行体积渲染，得到多个人体运动图像；通过多个人体运动图像与多视角人体运动视频中的图像之间的一致性，对人体几何与运动的重建，确定几何与运动参数。
在此，对关于基于多视角人体运动视频，估计视频中人体的几何与运动参数的方法进行具体说明。在实际执行过程中，对于人体的几何，本申请实施例可以使用隐式神经网络进行建模。其中，该隐式网络输入空间中一点的三维坐标，输出该点处的有向距离函数值，该距离表示该点到最近的物体表面的距离，故有向距离值为0的点即为物体的表面点。对于人体的运动，本申请实施例可以将其拆分为由人体骨架结构与姿态参数θ确定的铰链式刚性运动和小幅度的非刚性形变。为了利用视频中的彩色图像进行优化，本申请实施例还可以使用隐式神经网络建模人体表面的颜色。在优化时，本申请实施例可以借助以上隐式神经场进行体积渲染，得到一系列人体运动图像，通过约束渲染得到的图像与输入视频中的图像之间的一致性，即可实现对人体几何与运动的重建。
在步骤S103中，根据体形与姿态参数及几何与运动参数重建用户的人体几何，以训练光源可见性估计模块，估计人体表面材质参数与环境光照参数，以在任一环境光参数下进行重光照人体图像的渲染。
可以理解的是，在完成了人体的几何、运动重建以及光源可见性估计模块的训练后，本申请实施例可以进一步估计人体表面的材质属性与环境光照参数。
具体而言，对于人体表面材质的表示上，本申请实施例可以通过物体的反照率和粗糙度对表面材质进行参数化表示。为了便于优化粗糙度参数，本申请实施例可以预先设置多种不同的粗糙度，通过估计不同粗糙度的权重系数实现对粗糙度的表示。此处的材质参数同样通过一个隐式材质估计网络进行建模，该隐式神经网络输入空间中的三维查询点，输出该查询点处的反照率与粗糙度权重。对于环境光照，本申请实施例可以使用128个球面高斯函数进行参数化表示。其中，渲染方程将在下文进行详细阐述。
进一步地，在得到渲染图像后，本申请实施例可以通过约束渲染得到的图像与输入视频中的图像一致，对本申请实施例中的材质估计网络和环境光照参数进行优化。至此，完成对目标三维人体几何、材质和环境光参数的求解，在实际应用时，可以通过求解出的参数，在新的目标环境光参数下进行重光照人体图像的渲染。
可选地，在本申请的一个实施例中，根据体形与姿态参数及几何与运动参数重建用户的人体几何，以训练光源可见性估计模块，包括：对每个人体部分，分别估计其对光源产生的遮挡效果，得到估计结果；根据估计结果得到所有遮挡结果，并根据所有遮挡结果得到总体的光源可见性。
可以理解的是，在估计出人体的几何与运动后，本申请实施例可以训练一个光源可见性估计模块。该光源可见性估计模块同样可以使用隐式神经网络实现，输入三维空间中的一个查询点和一个查询光照方向，该网络输出该三维空间点是否能够被查询方向上的光源照亮。对于本申请实施例而言，估计光源可见性有利于消除由于遮挡产生的阴影对于后续材质估计的影响，同时能够帮助本发明生成逼真的光影效果。
举例而言，考虑到人体运动的复杂性，人体表面将产生复杂的阴影变化。为了更加准确地实现对光源可见性的估计，本申请实施例可以将人体分割成如图3所示的15个不同的部分，图中不同的颜色代表不同的人体部分。本申请实施例可以对每个部分分别估计其对光源产生的遮挡效果，再将所有遮挡结果汇总，进而得到总体的光源可见性。为了训练该光源可见性估计模块，本申请实施例可以通过在空间中采样大量不同的查询点和查询光照方向，再通过光线追踪计算真实的光源可见性，最后约束神经网络的输出值与求解得到的真实光源可见性一致，实现对光源可见性估计模块的优化。
可选地，在本申请的一个实施例中，重光照人体图像的渲染方程为：
Lo(x，ωo)＝∫Ω Li(x，ωi)R(x，ωi，ωo，n)(ωi·n)dωi，
其中，Lo(x，ωo)为点x向ωo方向发射出的辐射值，Li(x，ωi)为点x接收到的来自ωi方向上的辐射值，R(x，ωi，ωo，n)为双向反射分布函数，n为点x的法向量。
结合图2和图3所示，以一个实施例对本申请实施例的基于多视角视频的可重光三维数字人构建方法的工作原理进行详细阐述。
如图2所示，本申请实施例可以包括以下步骤：
步骤S1：通过多视角人体运动视频估计人体的体形与姿态参数。
具体而言，本申请实施例可以使用三维人体参数化模型SMPL，对人体的体形参数β与姿态参数θ进行建模。借助现有的二维人体姿态估计工具ODenPose得到人体关节点的二维坐标，再结合多视图几何信息求解三维人体姿态，优化得到人体体形参数β与姿态参数θ。
步骤S2：估计视频中人体的几何与运动参数。
具体而言，对于人体的几何，本申请实施例可以使用隐式神经网络进行建模。该隐式网络输入空间中一点的三维坐标，输出该点处的有向距离函数值，该距离表示该点到最近的物体表面的距离，故有向距离值为0的点即为物体的表面点。对于人体的运动，本申请实施例可以将其拆分为由人体骨架结构与姿态参数θ确定的铰链式刚性运动和小幅度的非刚性形变。为了利用视频中的彩色图像进行优化，本申请实施例还可以使用隐式神经网络建模人体表面的颜色。在优化时，本申请实施例可以借助以上隐式神经场进行体积渲染，得到一系列人体运动图像，通过约束渲染得到的图像与输入视频中的图像之间的一致性，即可实现对人体几何与运动的重建。
步骤S3：根据重建得到的人体几何，训练光源可见性估计模块。
可以理解的是，该光源可见性估计模块同样使用隐式神经网络实现，输入三维空间中的一个查询点和一个查询光照方向，该网络输出该三维空间点是否能够被查询方向上的光源照亮。对于本申请实施例而言，估计光源可见性有利于消除由于遮挡产生的阴影对于后续材质估计的影响，同时能够帮助本申请实施例生成逼真的光影效果。
具体而言，考虑到人体运动的复杂性，人体表面将产生复杂的阴影变化。为了更加准确地实现对光源可见性的估计，本申请实施例可以将人体分割成如图3所示的15个不同的部分，图中不同的颜色代表不同的人体部分。本申请实施例可以对每个部分分别估计其对光源产生的遮挡效果，再将所有遮挡结果汇总，进而得到总体的光源可见性。为了训练该光源可见性估计模块，本申请实施例可以通过在空间中采样大量不同的查询点和查询光照方向，再通过光线追踪计算真实的光源可见性，最后约束神经网络的输出值与求解得到的真实光源可见性一致，实现对光源可见性估计模块的优化。
步骤S4：估计人体表面材质参数与环境光照参数。
对于人体表面材质的表示上，本申请实施例可以通过物体的反照率和粗糙度对表面材质进行参数化表示。为了便于优化粗糙度参数，本申请实施例可以预先设置多种不同的粗糙度，通过估计不同粗糙度的权重系数实现对粗糙度的表示。此处的材质参数同样可以通过一个隐式材质估计网络进行建模，该隐式神经网络输入空间中的三维查询点，输出该查询点处的反照率与粗糙度权重。对于环境光照，本申请实施例可以使用128个球面高斯函数进行参数化表示。
在给定人体的几何、材质与环境光照参数下，本申请实施例可以使用可微渲染器，通过以下渲染方程得到：
Lo(x，ωo)＝∫Ω Li(x，ωi)R(x，ωi，ωo，n)(ωi·n)dωi
其中Lo(x，ωo)为点x向ωo方向发射出的辐射值，Li(x，ωi)为点x接收到的来自ωi方向上的辐射值，该辐射值通过环境光参数计算得到，并且需要通过步骤S3中训练得到的光源可见性估计模块去除不可见的光源。R(x，ωi，ωo，n)为双向反射分布函数，该函数通过隐式材质估计网络输出的反照率和粗糙度权重决定，其中n为点x的法向量。在得到渲染图像后，可以通过约束渲染得到的图像与输入视频中的图像一致，对本步骤中的材质估计网络和环境光照参数进行优化。
至此，本申请实施例可以完成对目标三维人体几何、材质和环境光参数的求解，在实际应用时，可以通过求解出的参数，在新的目标环境光参数下进行重光照人体图像的渲染。此外，本申请实施例求解出的三维人体模型可以支持新人体动作的合成。
根据本申请实施例提出的基于多视角视频的可重光照三维数字人构建方法，可以根据用户的多视角人体运动视频，估计体形与姿态参数及几何与运动参数，进而估计人体表面材质参数与环境光照参数，从而在任一环境光参数下进行重光照人体图像的渲染。由此，解决了相关技术中，要实现可重光照的三维数字人构建，需要复杂且昂贵的传感器设备，难以获取，泛用性差的问题。
其次参照附图描述根据本申请实施例提出的基于多视角视频的可重光照三维数字人构建装置。
图4是本申请实施例的基于多视角视频的可重光照三维数字人构建装置的方框示意图。
如图4所示，该基于多视角视频的可重光照三维数字人构建装置10包括：第一估计模块100、第二估计模块200和重建模块300。
其中，第一估计模块100，用于基于用户的多视角人体运动视频，估计人体的体形与姿态参数。
第二估计模块200，用于基于多视角人体运动视频，估计视频中人体的几何与运动参数。
重建模块300，用于根据体形与姿态参数及几何与运动参数重建用户的人体几何，以训练光源可见性估计模块，估计人体表面材质参数与环境光照参数，以在任一环境光参数下进行重光照人体图像的渲染。
可选地，在本申请的一个实施例中，第一估计模块100包括：获取单元和第一确定单元。
其中，获取单元，用于获取人体关节点的二维坐标。
第一确定单元，用于根据人体关节点的二维坐标和多视角人体运动视频的多视图几何信息求解三维人体姿态，确定体形与姿态参数。
可选地，在本申请的一个实施例中，第二估计模块200包括：渲染单元和第二确定单元。
其中，渲染单元，用于利用预设的隐式神经网络进行体积渲染，得到多个人体运动图像。
第二确定单元，用于通过多个人体运动图像与多视角人体运动视频中的图像之间的一致性，对人体几何与运动的重建，确定几何与运动参数。
可选地，在本申请的一个实施例中，重建模块300包括：评估单元和输出单元。
其中，评估单元，用于对每个人体部分，分别估计其对光源产生的遮挡效果，得到估计结果。
输出单元，用于根据估计结果得到所有遮挡结果，并根据所有遮挡结果得到总体的光源可见性。
可选地，在本申请的一个实施例中，重光照人体图像的渲染方程为：
Lo(x，ωo)＝∫Ω Li(x，ωi)R(x，ωi，ωo，n)(ωi·n)dωi，
其中，Lo(x，ωo)为点x向ωo方向发射出的辐射值，Li(x，ωi)为点x接收到的来自ωi方向上的辐射值，R(x，ωi，ωo，n)为双向反射分布函数，n为点x的法向量。
需要说明的是，前述对基于多视角视频的可重光照三维数字人构建方法实施例的解释说明也适用于该实施例的基于多视角视频的可重光照三维数字人构建装置，此处不再赘述。
根据本申请实施例提出的基于多视角视频的可重光照三维数字人构建装置，可以根据用户的多视角人体运动视频，估计体形与姿态参数及几何与运动参数，进而估计人体表面材质参数与环境光照参数，从而在任一环境光参数下进行重光照人体图像的渲染。由此，解决了相关技术中，要实现可重光照的三维数字人构建，需要复杂且昂贵的传感器设备，难以获取，泛用性差的问题。
图5为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
处理器502执行程序时实现上述实施例中提供的基于多视角视频的可重光照三维数字人构建方法。
进一步地，电子设备还包括：
通信接口503，用于存储器501和处理器502之间的通信。
存储器501，用于存放可在处理器502上运行的计算机程序。
存储器501可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
处理器502可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于多视角视频的可重光照三维数字人构建方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于多视角视频的可重光照三维数字人构建方法，其特征在于，包括以下步骤：
基于用户的多视角人体运动视频，估计人体的体形与姿态参数；
基于所述多视角人体运动视频，估计视频中人体的几何与运动参数；
根据所述体形与姿态参数及所述几何与运动参数重建所述用户的人体几何，以训练光源可见性估计模块，估计人体表面材质参数与环境光照参数，以在任一环境光参数下进行重光照人体图像的渲染。
2.根据权利要求1所述的方法，其特征在于，所述基于用户的多视角人体运动视频，估计人体的体形与姿态参数，包括：
获取人体关节点的二维坐标；
根据所述人体关节点的二维坐标和所述多视角人体运动视频的多视图几何信息求解三维人体姿态，确定所述体形与姿态参数。
3.根据权利要求1所述的方法，其特征在于，所述基于所述多视角人体运动视频，估计视频中人体的几何与运动参数，包括：
利用预设的隐式神经网络进行体积渲染，得到多个人体运动图像；
通过所述多个人体运动图像与所述多视角人体运动视频中的图像之间的一致性，对人体几何与运动的重建，确定所述几何与运动参数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述体形与姿态参数及所述几何与运动参数重建所述用户的人体几何，以训练光源可见性估计模块，包括：
对每个人体部分，分别估计其对光源产生的遮挡效果，得到估计结果；
根据所述估计结果得到所有遮挡结果，并根据所述所有遮挡结果得到总体的光源可见性。
5.根据权利要求1所述的方法，其特征在于，所述重光照人体图像的渲染方程为：
Lo(x，ωo)＝∫ΩLi(x，ωi)R(x，ωi，ωo，n)(ωi·n)dωi，
其中，Lo(x，ωo)为点x向ωo方向发射出的辐射值，Li(x，ωi)为点x接收到的来自ωi方向上的辐射值，R(x，ωi，ωo，n)为双向反射分布函数，n为点x的法向量。
6.一种基于多视角视频的可重光照三维数字人构建装置，其特征在于，包括：
第一估计模块，用于基于用户的多视角人体运动视频，估计人体的体形与姿态参数；
第二估计模块，用于基于所述多视角人体运动视频，估计视频中人体的几何与运动参数；
重建模块，用于根据所述体形与姿态参数及所述几何与运动参数重建所述用户的人体几何，以训练光源可见性估计模块，估计人体表面材质参数与环境光照参数，以在任一环境光参数下进行重光照人体图像的渲染。
7.根据权利要求6所述的装置，其特征在于，所述第一估计模块包括：
获取单元，用于获取人体关节点的二维坐标；
第一确定单元，用于根据所述人体关节点的二维坐标和所述多视角人体运动视频的多视图几何信息求解三维人体姿态，确定所述体形与姿态参数。
8.根据权利要求6所述的装置，其特征在于，所述第二估计模块包括：
渲染单元，用于利用预设的隐式神经网络进行体积渲染，得到多个人体运动图像；
第二确定单元，用于通过所述多个人体运动图像与所述多视角人体运动视频中的图像之间的一致性，对人体几何与运动的重建，确定所述几何与运动参数。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于多视角视频的可重光照三维数字人构建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于多视角视频的可重光照三维数字人构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310710700.9A CN116934948A (zh) | 2023-06-15 | 2023-06-15 | 基于多视角视频的可重光照三维数字人构建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310710700.9A CN116934948A (zh) | 2023-06-15 | 2023-06-15 | 基于多视角视频的可重光照三维数字人构建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116934948A true CN116934948A (zh) | 2023-10-24 |
Family
ID=88391602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310710700.9A Pending CN116934948A (zh) | 2023-06-15 | 2023-06-15 | 基于多视角视频的可重光照三维数字人构建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116934948A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953137A (zh) * | 2024-03-27 | 2024-04-30 | 哈尔滨工业大学（威海） | 一种基于动态表面反射场的人体重光照方法 |
-
2023
- 2023-06-15 CN CN202310710700.9A patent/CN116934948A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953137A (zh) * | 2024-03-27 | 2024-04-30 | 哈尔滨工业大学（威海） | 一种基于动态表面反射场的人体重光照方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| CN111369655B (zh) | 渲染方法、装置和终端设备 | |
| EP3179447B1 (en) | Foveated rendering | |
| US6700586B1 (en) | Low cost graphics with stitching processing hardware support for skeletal animation | |
| CN108027979B (zh) | 用于角色动画的鲁棒的属性转移 | |
| US20210241495A1 (en) | Method and system for reconstructing colour and depth information of a scene | |
| WO2022057598A1 (zh) | 图像渲染的方法和装置 | |
| CN110458924B (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| CN116091676B (zh) | 虚拟对象的面部渲染方法及点云特征提取模型的训练方法 | |
| CN116228943B (zh) | 虚拟对象面部重建方法、面部重建网络训练方法及装置 | |
| CN112950769A (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| CN116934948A (zh) | 基于多视角视频的可重光照三维数字人构建方法及装置 | |
| CN114494611B (zh) | 基于神经基函数的智能三维重建方法、装置、设备及介质 | |
| CN111382618A (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
| US20210272345A1 (en) | Method for Efficiently Computing and Specifying Level Sets for Use in Computer Simulations, Computer Graphics and Other Purposes | |
| CN110378948B (zh) | 3d模型重建方法、装置及电子设备 | |
| JP5500683B2 (ja) | 個体の内部組織構造を有した数値対象体モデルを生成する方法、プログラムおよびシステム | |
| CN116958344A (zh) | 虚拟形象的动画生成方法、装置、计算机设备及存储介质 | |
| JP2739447B2 (ja) | しわの表現可能な三次元像生成装置 | |
| CN115731326A (zh) | 虚拟角色生成方法及装置、计算机可读介质和电子设备 | |
| CN112907733A (zh) | 重建三维模型的方法及装置和三维模型采集及重建系统 | |
| CN115830091B (zh) | 纹理图像的生成方法、装置、设备、存储介质及产品 | |
| CN117173314B (zh) | 一种图像处理方法、装置、设备、介质及程序产品 | |
| US20230326137A1 (en) | Garment rendering techniques | |
| CN116912433B (zh) | 三维模型骨骼绑定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |