CN114782645B - 虚拟数字人制作方法、相关设备及可读存储介质 - Google Patents

虚拟数字人制作方法、相关设备及可读存储介质 Download PDF

Info

Publication number
CN114782645B
CN114782645B CN202210242958.6A CN202210242958A CN114782645B CN 114782645 B CN114782645 B CN 114782645B CN 202210242958 A CN202210242958 A CN 202210242958A CN 114782645 B CN114782645 B CN 114782645B
Authority
CN
China
Prior art keywords
precision
model
low
dimensional human
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210242958.6A
Other languages
English (en)
Other versions
CN114782645A (zh
Inventor
叶源成
刘佳丽
蒋寅迪
金博伟
支洪平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Suzhou Technology Co Ltd
Original Assignee
Iflytek Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Suzhou Technology Co Ltd filed Critical Iflytek Suzhou Technology Co Ltd
Priority to CN202210242958.6A priority Critical patent/CN114782645B/zh
Publication of CN114782645A publication Critical patent/CN114782645A/zh
Application granted granted Critical
Publication of CN114782645B publication Critical patent/CN114782645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种虚拟数字人制作方法、相关设备及可读存储介质。该方案中，通过获取目标人物的相机阵列扫描结果；基于目标人物的相机阵列扫描结果，生成目标人物的高精度三维人体模型；对高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型；将预处理后的高精度三维人体模型注册为低精度三维人体模型；对低精度三维人体模型进行骨架结构绑定和蒙皮处理，即可得到目标人物对应的虚拟数字人。基于干方案制作的虚拟数字人可驱动。

Description

虚拟数字人制作方法、相关设备及可读存储介质
技术领域
本申请涉及虚拟数字人技术领域，更具体的说，是涉及一种虚拟数字人制作方法、相关设备及可读存储介质。
背景技术
虚拟数字人，又名数字人、虚拟人、虚拟形象，指存在于物理世界中，具有数字化外形的虚拟人物。
现有的虚拟数字人的制作方法主要包括捏脸的方法以及静态扫描法的方法，其中，捏脸的方法制作虚拟数字人，制作周期较长，静态扫描的方法制作虚拟数字人，制作周期虽然缩短，但是，制作的虚拟数字人无法驱动，只能做静态展示。
因此，如何提供一种虚拟数字人制作方法，使得制作的虚拟数字人可驱动，成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于上述问题，本申请提出了一种虚拟数字人制作方法、相关设备及可读存储介质。具体方案如下：
一种虚拟数字人制作方法，所述方法包括：
获取目标人物的相机阵列扫描结果；
基于所述目标人物的相机阵列扫描结果，生成所述目标人物的高精度三维人体模型；
对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型；
将所述预处理后的高精度三维人体模型注册为低精度三维人体模型；
对所述低精度三维人体模型进行骨架结构绑定和蒙皮处理，得到所述目标人物对应的虚拟数字人。
可选地，所述基于所述目标人物的相机阵列扫描结果，生成所述目标人物的高精度三维人体模型，包括：
获取所述相机阵列中各相机的位姿信息；
利用所述相机阵列中各相机的位姿信息，根据所述目标人物的相机阵列扫描结果，对所述目标人物进行三维重建，生成所述目标人物的高精度三维人体模型。
可选地，所述对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型，包括：
对所述高精度三维人体模型进行点云去噪处理、去除不规则纹理处理以及点云空洞修补处理中的任意一种或多种，生成预处理后的高精度三维人体模型。
可选地，所述将所述预处理后的高精度三维人体模型注册为低精度三维人体模型，包括：
对所述预处理后的高精度三维人体模型进行低模拓扑，得到低精度参数化模型；
基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行形状注册、纹理注册及纹理烘焙，得到低精度三维人体模型。
可选地，基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行形状注册，包括：
对所述低精度参数化模型进行刚性变换，将所述低精度参数化模型与所述处理后的高精度三维人体模型对齐；
基于所述预处理后的高精度三维人体模型对所述低精度参数化模型进行非刚性变换；
基于所述低精度参数化模型各组件的相对位置关系进行校准。
可选地，基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行纹理注册，包括：
针对低精度参数化模型的各个纹理三角面，在所述预处理后的高精度三维人体模型无序的纹理图中搜索其覆盖的各个区域；
对各个区域进行拼接缝合，通过插值提取对应像素值的方式，生成所述低精度参数化模型的有序纹理图。
可选地，基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行纹理烘焙，包括：
将所述低精度三维人体模型光栅化到纹理空间，对表面位置、切线基和纹理坐标进行插值；
从插值的包围盒位置沿着所述预处理后的高精度三维人体模型的方向发射光线，对每个交点求导得到候选法线，选择离所述包围盒最近的候选法线作为最终法线。
一种虚拟数字人制作装置，所述装置包括：
获取单元，用于获取目标人物的相机阵列扫描结果；
三维建模单元，用于基于所述目标人物的相机阵列扫描结果，生成所述目标人物的高精度三维人体模型；
预处理单元，用于对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型；
注册单元，用于将所述预处理后的高精度三维人体模型注册为低精度三维人体模型；
骨架结构绑定和蒙皮处理单元，用于对所述低精度三维人体模型进行骨架结构绑定和蒙皮处理，得到所述目标人物对应的虚拟数字人。
可选地，所述三维建模单元，包括：
位姿信息获取单元，用于获取所述相机阵列中各相机的位姿信息；
三维重建单元，用于利用所述相机阵列中各相机的位姿信息，根据所述目标人物的相机阵列扫描结果，对所述目标人物进行三维重建，生成所述目标人物的高精度三维人体模型。
可选地，所述预处理单元，具体包括：
对所述高精度三维人体模型进行点云去噪处理、去除不规则纹理处理以及点云空洞修补处理中的任意一种或多种，生成预处理后的高精度三维人体模型。
可选地，所述注册单元，包括：
低模拓扑单元，用于对所述预处理后的高精度三维人体模型进行低模拓扑，得到低精度参数化模型；
处理单元，用于基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行形状注册、纹理注册及纹理烘焙，得到低精度三维人体模型。
可选地，所述处理单元包括形状注册单元，所述形状注册单元用于：
对所述低精度参数化模型进行刚性变换，将所述低精度参数化模型与所述处理后的高精度三维人体模型对齐；
基于所述预处理后的高精度三维人体模型对所述低精度参数化模型进行非刚性变换；
基于所述低精度参数化模型各组件的相对位置关系进行校准。
可选地，所述处理单元包括纹理注册单元，所述纹理注册单元用于：
针对低精度参数化模型的各个纹理三角面，在所述预处理后的高精度三维人体模型无序的纹理图中搜索其覆盖的各个区域；
对各个区域进行拼接缝合，通过插值提取对应像素值的方式，生成所述低精度参数化模型的有序纹理图。
可选地，所述处理单元包括纹理烘焙单元，所述纹理烘焙单元用于：
将所述低精度三维人体模型光栅化到纹理空间，对表面位置、切线基和纹理坐标进行插值；
从插值的包围盒位置沿着所述预处理后的高精度三维人体模型的方向发射光线，对每个交点求导得到候选法线，选择离所述包围盒最近的候选法线作为最终法线。
一种虚拟数字人制作设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上所述的虚拟数字人制作方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的虚拟数字人制作方法的各个步骤。
借由上述技术方案，本申请公开了一种虚拟数字人制作方法、相关设备及可读存储介质。该方案中，通过获取目标人物的相机阵列扫描结果；基于目标人物的相机阵列扫描结果，生成目标人物的高精度三维人体模型；对高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型；将预处理后的高精度三维人体模型注册为低精度三维人体模型；对低精度三维人体模型进行骨架结构绑定和蒙皮处理，即可得到目标人物对应的虚拟数字人。基于干方案制作的虚拟数字人可驱动。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请实施例公开的一种虚拟数字人制作方法的流程示意图；
图2为本申请实施例公开的一种预处理后的高精度三维人体模型示意图；
图3为本申请实施例公开的一种低精度三维人体模型示意图；
图4为本申请实施例公开的一种虚拟数字人示意图；
图5为本申请实施例公开的一种虚拟数字人制作装置结构示意图；
图6为本申请实施例公开的一种虚拟数字人制作设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
接下来，通过下述实施例对本申请提供的虚拟数字人制作方法进行介绍。
参照图1，图1为本申请实施例公开的一种虚拟数字人制作方法的流程示意图，该方法可以包括：
步骤S101：获取目标人物的相机阵列扫描结果。
在本申请中，相机阵列的运用，保证了所制作的虚拟数字人具有高保真度的特点。目标人物的相机阵列扫描结果中包括所述目标任务的多视角照片。
步骤S102：基于所述目标人物的相机阵列扫描结果，生成所述目标人物的高精度三维人体模型。
在本申请中，可以获取所述相机阵列中各相机的位姿信息；利用所述相机阵列中各相机的位姿信息，根据所述目标人物的相机阵列扫描结果，对所述目标人物进行三维重建，生成所述目标人物的高精度三维人体模型。
需要说明的是，在本申请中，可以在不损失重建精度的情况下，采用分布式架构，充分利用GPU(Graphics Processing Unit，图形处理器)并行计算能力执行该步骤，能够将重建速度提升约一倍左右。
步骤S103：对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型。
在本申请中，所述对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型，可以包括：对所述高精度三维人体模型进行点云去噪处理、去除不规则纹理处理以及点云空洞修补处理中的任意一种或多种，生成预处理后的高精度三维人体模型。
作为一种可实施方式，在本申请中，可以利用Graph Laplacian Regularization(图像拉普拉斯正则器)对所述高精度三维人体模型进行点云去噪处理、去除不规则纹理处理。
在本申请中，可以利用深度网络结构进行点云空洞修补处理。作为一种可实施方式，可以利用LGAN-AE网络进行点云空洞修补处理。LGAN-AE网络以不完整点云作为输入，仅输出缺失部分点云，可以更多保留物体点云的空间结构，对物体的局部特性感知更好；提出了更优的点云特征提取器：多分辨率编码器(Multi-Resolution Encoder)，多尺度的方法提升了高低层次点云语义信息提取的效率；提出了金字塔解码器(Point PyramidDecoder)用于生成点云，利用多阶段补全损失(Multi-stage completion loss)监督其中关键点云的生成，从而减少了几何结构瑕疵，利用GAN结构的鉴别器(Descriminator)优化网络，改善了同一类别不同物体间的特征会相互影响的现象(Genus-wise DistortionsProblem)。
步骤S104：将所述预处理后的高精度三维人体模型注册为低精度三维人体模型。
在本申请中，将所述预处理后的高精度三维人体模型注册为低精度三维人体模型，在最大限度的保留原始模型纹理细节的基础上，进行网格的降面，实现模型的精简，还进行了网格结构的布线调整，使得拓扑的结构符合驱动人体布线结构。具体注册方法将通过后面的实施例详细说明。
步骤S105：对所述低精度三维人体模型进行骨架结构绑定和蒙皮处理，得到所述目标人物对应的虚拟数字人。
在本申请中，可以利用深度学习架构RigNet对所述低精度三维人体模型进行骨架结构绑定和蒙皮处理，得到所述目标人物对应的虚拟数字人。动画师可对虚拟数字人骨架和蒙皮权重进行编辑，实现对该虚拟数字人的驱动。
为便于理解整个处理流程，可参照图2、图3和图4。图2为本申请实施例公开的一种预处理后的高精度三维人体模型示意图。图3为本申请实施例公开的一种低精度三维人体模型示意图。图4为本申请实施例公开的一种虚拟数字人示意图。
本实施例公开了一种虚拟数字人制作方法。该方法中，通过获取目标人物的相机阵列扫描结果；基于目标人物的相机阵列扫描结果，生成目标人物的高精度三维人体模型；对高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型；将预处理后的高精度三维人体模型注册为低精度三维人体模型；对低精度三维人体模型进行骨架结构绑定和蒙皮处理，即可得到目标人物对应的虚拟数字人。基于干方案制作的虚拟数字人可驱动。
在本申请的另一个实施例中，对所述将所述预处理后的高精度三维人体模型注册为低精度三维人体模型的具体实现方式进行了说明，该方法包括以下步骤：
步骤S201：对所述预处理后的高精度三维人体模型进行低模拓扑，得到低精度参数化模型。
步骤S202：基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行形状注册、纹理注册及纹理烘焙，得到低精度三维人体模型。
作为一种可实施方式，基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行形状注册，包括：
步骤S301：对所述低精度参数化模型进行刚性变换，将所述低精度参数化模型与所述处理后的高精度三维人体模型对齐。
在本申请中，可以基于预定义的关键点对所述低精度参数化模型进行刚性变换，将所述低精度参数化模型与所述处理后的高精度三维人体模型对齐。
步骤S302：基于所述预处理后的高精度三维人体模型对所述低精度参数化模型进行非刚性变换。
经过该步骤，可以捕获目标人物表面更多细节。在本申请中，可以利用ICP算法基于所述预处理后的高精度三维人体模型对所述低精度参数化模型进行非刚性变换，具体的，ICP算法的迭代可以分为两个步骤：步骤1，找到低模点云P所对应的高模点云Q中的最近点点集K＝{(p,q)}，定义p到q的变换矩阵T以及目标函数E(T)；步骤2，模型分区设定变换的刚性权重，并以最近点对间的法向相似度作为有效约束，通过最小化目标函数E(T)来更新点集K和变换T，直至收敛。
步骤S303：基于所述低精度参数化模型各组件的相对位置关系进行校准。
作为一种可实施方式，基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行纹理注册，包括：
步骤S401：针对低精度参数化模型的各个纹理三角面，在所述预处理后的高精度三维人体模型无序的纹理图中搜索其覆盖的各个区域；
步骤S402：对各个区域进行拼接缝合，通过插值提取对应像素值的方式，生成所述低精度参数化模型的有序纹理图。
需要说明的是，通过对所述低精度参数化模型进行形状注册和纹理注册，能够将原本杂乱无章、不可驱动的高精度模型，注册成为符合驱动规则、兼具高质量纹理的低精度参数化模型。
作为一种可实施方式，基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行纹理烘焙，包括：
将所述低精度三维人体模型光栅化到纹理空间，对表面位置、切线基和纹理坐标进行插值；
从插值的包围盒位置沿着所述预处理后的高精度三维人体模型的方向发射光线，对每个交点求导得到候选法线，选择离所述包围盒最近的候选法线作为最终法线。
下面对本申请实施例公开的虚拟数字人制作装置进行描述，下文描述的虚拟数字人制作装置与上文描述的虚拟数字人制作方法可相互对应参照。
参照图5，图5为本申请实施例公开的一种虚拟数字人制作装置结构示意图。如图5所示，该虚拟数字人制作装置可以包括：
获取单元11，用于获取目标人物的相机阵列扫描结果；
三维建模单元12，用于基于所述目标人物的相机阵列扫描结果，生成所述目标人物的高精度三维人体模型；
预处理单元13，用于对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型；
注册单元14，用于将所述预处理后的高精度三维人体模型注册为低精度三维人体模型；
骨架结构绑定和蒙皮处理单元15，用于对所述低精度三维人体模型进行骨架结构绑定和蒙皮处理，得到所述目标人物对应的虚拟数字人。
作为一种可实施方式，所述三维建模单元，包括：
位姿信息获取单元，用于获取所述相机阵列中各相机的位姿信息；
三维重建单元，用于利用所述相机阵列中各相机的位姿信息，根据所述目标人物的相机阵列扫描结果，对所述目标人物进行三维重建，生成所述目标人物的高精度三维人体模型。
作为一种可实施方式，所述预处理单元，具体包括：
对所述高精度三维人体模型进行点云去噪处理、去除不规则纹理处理以及点云空洞修补处理中的任意一种或多种，生成预处理后的高精度三维人体模型。
作为一种可实施方式，所述注册单元，包括：
低模拓扑单元，用于对所述预处理后的高精度三维人体模型进行低模拓扑，得到低精度参数化模型；
处理单元，用于基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行形状注册、纹理注册及纹理烘焙，得到低精度三维人体模型。
作为一种可实施方式，所述处理单元包括形状注册单元，所述形状注册单元用于：
对所述低精度参数化模型进行刚性变换，将所述低精度参数化模型与所述处理后的高精度三维人体模型对齐；
基于所述预处理后的高精度三维人体模型对所述低精度参数化模型进行非刚性变换；
基于所述低精度参数化模型各组件的相对位置关系进行校准。
作为一种可实施方式，所述处理单元包括纹理注册单元，所述纹理注册单元用于：
针对低精度参数化模型的各个纹理三角面，在所述预处理后的高精度三维人体模型无序的纹理图中搜索其覆盖的各个区域；
对各个区域进行拼接缝合，通过插值提取对应像素值的方式，生成所述低精度参数化模型的有序纹理图。
作为一种可实施方式，所述处理单元包括纹理烘焙单元，所述纹理烘焙单元用于：
将所述低精度三维人体模型光栅化到纹理空间，对表面位置、切线基和纹理坐标进行插值；
从插值的包围盒位置沿着所述预处理后的高精度三维人体模型的方向发射光线，对每个交点求导得到候选法线，选择离所述包围盒最近的候选法线作为最终法线。
参照图6，图6为本申请实施例提供的一种虚拟数字人制作设备的硬件结构框图，参照图6，虚拟数字人制作设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取目标人物的相机阵列扫描结果；
基于所述目标人物的相机阵列扫描结果，生成所述目标人物的高精度三维人体模型；
对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型；
将所述预处理后的高精度三维人体模型注册为低精度三维人体模型；
对所述低精度三维人体模型进行骨架结构绑定和蒙皮处理，得到所述目标人物对应的虚拟数字人。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
获取目标人物的相机阵列扫描结果；
基于所述目标人物的相机阵列扫描结果，生成所述目标人物的高精度三维人体模型；
对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型；
将所述预处理后的高精度三维人体模型注册为低精度三维人体模型；
对所述低精度三维人体模型进行骨架结构绑定和蒙皮处理，得到所述目标人物对应的虚拟数字人。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种虚拟数字人制作方法，其特征在于，所述方法包括：
获取目标人物的相机阵列扫描结果；
获取所述相机阵列中各相机的位姿信息；
利用所述相机阵列中各相机的位姿信息，根据所述目标人物的相机阵列扫描结果，对所述目标人物进行三维重建，生成所述目标人物的高精度三维人体模型；
对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型；
对所述预处理后的高精度三维人体模型进行低模拓扑，得到低精度参数化模型；
基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行形状注册、纹理注册、纹理烘焙及网格结构的布线调整，得到低精度三维人体模型；
对所述低精度三维人体模型进行骨架结构绑定和蒙皮处理，得到所述目标人物对应的虚拟数字人；
其中，基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行形状注册，包括：
对所述低精度参数化模型进行刚性变换，将所述低精度参数化模型与所述处理后的高精度三维人体模型对齐；
基于所述预处理后的高精度三维人体模型对所述低精度参数化模型进行非刚性变换；
基于所述低精度参数化模型各组件的相对位置关系进行校准；
基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行纹理注册，包括：
针对低精度参数化模型的各个纹理三角面，在所述预处理后的高精度三维人体模型无序的纹理图中搜索其覆盖的各个区域；
对各个区域进行拼接缝合，通过插值提取对应像素值的方式，生成所述低精度参数化模型的有序纹理图。
2.根据权利要求1所述的方法，其特征在于，所述对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型，包括：
对所述高精度三维人体模型进行点云去噪处理、去除不规则纹理处理以及点云空洞修补处理中的任意一种或多种，生成预处理后的高精度三维人体模型。
3.根据权利要求1所述的方法，其特征在于，基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行纹理烘焙，包括：
将所述低精度三维人体模型光栅化到纹理空间，对表面位置、切线基和纹理坐标进行插值；
从插值的包围盒位置沿着所述预处理后的高精度三维人体模型的方向发射光线，对每个交点求导得到候选法线，选择离所述包围盒最近的候选法线作为最终法线。
4.一种虚拟数字人制作装置，其特征在于，所述装置包括：
获取单元，用于获取目标人物的相机阵列扫描结果；
三维建模单元，用于获取所述相机阵列中各相机的位姿信息；利用所述相机阵列中各相机的位姿信息，根据所述目标人物的相机阵列扫描结果，对所述目标人物进行三维重建，生成所述目标人物的高精度三维人体模型；
预处理单元，用于对所述高精度三维人体模型进行预处理，生成预处理后的高精度三维人体模型；
注册单元，用于对所述预处理后的高精度三维人体模型进行低模拓扑，得到低精度参数化模型；基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行形状注册、纹理注册、纹理烘焙及网格结构的布线调整，得到低精度三维人体模型；
骨架结构绑定和蒙皮处理单元，用于对所述低精度三维人体模型进行骨架结构绑定和蒙皮处理，得到所述目标人物对应的虚拟数字人；
其中，基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行形状注册，包括：
对所述低精度参数化模型进行刚性变换，将所述低精度参数化模型与所述处理后的高精度三维人体模型对齐；
基于所述预处理后的高精度三维人体模型对所述低精度参数化模型进行非刚性变换；
基于所述低精度参数化模型各组件的相对位置关系进行校准；
基于所述预处理后的高精度三维人体模型，对所述低精度参数化模型进行纹理注册，包括：
针对低精度参数化模型的各个纹理三角面，在所述预处理后的高精度三维人体模型无序的纹理图中搜索其覆盖的各个区域；
对各个区域进行拼接缝合，通过插值提取对应像素值的方式，生成所述低精度参数化模型的有序纹理图。
5.一种虚拟数字人制作设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1至3中任一项所述的虚拟数字人制作方法的各个步骤。
6.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至3中任一项所述的虚拟数字人制作方法的各个步骤。
CN202210242958.6A 2022-03-11 2022-03-11 虚拟数字人制作方法、相关设备及可读存储介质 Active CN114782645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210242958.6A CN114782645B (zh) 2022-03-11 2022-03-11 虚拟数字人制作方法、相关设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210242958.6A CN114782645B (zh) 2022-03-11 2022-03-11 虚拟数字人制作方法、相关设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114782645A CN114782645A (zh) 2022-07-22
CN114782645B true CN114782645B (zh) 2023-08-29

Family

ID=82423382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210242958.6A Active CN114782645B (zh) 2022-03-11 2022-03-11 虚拟数字人制作方法、相关设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114782645B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222899B (zh) * 2022-09-21 2023-02-21 湖南草根文化传媒有限公司 虚拟数字人生成方法、系统、计算机设备及存储介质
CN115690359B (zh) * 2022-10-27 2023-12-15 科大讯飞股份有限公司 一种点云处理方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408775A (zh) * 2014-12-19 2015-03-11 哈尔滨工业大学 基于深度感知的三维皮影戏制作方法
CN107174826A (zh) * 2017-05-25 2017-09-19 合肥泽诺信息科技有限公司 一种基于增强现实的游戏角色扮演用换装试衣系统
CN109493428A (zh) * 2018-12-21 2019-03-19 网易（杭州）网络有限公司 三维虚拟模型的优化方法与装置、电子设备、存储介质
CN109978931A (zh) * 2019-04-04 2019-07-05 北京悉见科技有限公司 三维场景重建方法及设备、存储介质
CN110390704A (zh) * 2019-07-11 2019-10-29 深圳追一科技有限公司 图像处理方法、装置、终端设备及存储介质
CN110503719A (zh) * 2019-08-21 2019-11-26 山西新华电脑职业培训学校 一种vr游戏设计方法
CN110853131A (zh) * 2019-09-30 2020-02-28 西安交通大学 一种用于行为识别的虚拟视频数据生成方法
CN111583409A (zh) * 2020-03-25 2020-08-25 沈大勇 针对实景三维模型的无网格边界孔洞修补方法和装置
CN111768488A (zh) * 2020-07-07 2020-10-13 网易（杭州）网络有限公司 一种虚拟角色脸部模型的处理方法和装置
CN112465945A (zh) * 2020-12-07 2021-03-09 网易（杭州）网络有限公司 一种模型生成方法、装置、存储介质及计算机设备
CN112906546A (zh) * 2021-02-09 2021-06-04 中国工商银行股份有限公司 虚拟数字人外形、音效以及服务模型的个性化生成方法
WO2022001652A1 (zh) * 2020-07-02 2022-01-06 腾讯科技（深圳）有限公司 虚拟角色控制方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008571B (zh) * 2014-06-12 2017-01-18 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
CN112150638B (zh) * 2020-09-14 2024-01-26 北京百度网讯科技有限公司 虚拟对象形象合成方法、装置、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408775A (zh) * 2014-12-19 2015-03-11 哈尔滨工业大学 基于深度感知的三维皮影戏制作方法
CN107174826A (zh) * 2017-05-25 2017-09-19 合肥泽诺信息科技有限公司 一种基于增强现实的游戏角色扮演用换装试衣系统
CN109493428A (zh) * 2018-12-21 2019-03-19 网易（杭州）网络有限公司 三维虚拟模型的优化方法与装置、电子设备、存储介质
CN109978931A (zh) * 2019-04-04 2019-07-05 北京悉见科技有限公司 三维场景重建方法及设备、存储介质
CN110390704A (zh) * 2019-07-11 2019-10-29 深圳追一科技有限公司 图像处理方法、装置、终端设备及存储介质
CN110503719A (zh) * 2019-08-21 2019-11-26 山西新华电脑职业培训学校 一种vr游戏设计方法
CN110853131A (zh) * 2019-09-30 2020-02-28 西安交通大学 一种用于行为识别的虚拟视频数据生成方法
CN111583409A (zh) * 2020-03-25 2020-08-25 沈大勇 针对实景三维模型的无网格边界孔洞修补方法和装置
WO2022001652A1 (zh) * 2020-07-02 2022-01-06 腾讯科技（深圳）有限公司 虚拟角色控制方法、装置、计算机设备和存储介质
CN111768488A (zh) * 2020-07-07 2020-10-13 网易（杭州）网络有限公司 一种虚拟角色脸部模型的处理方法和装置
CN112465945A (zh) * 2020-12-07 2021-03-09 网易（杭州）网络有限公司 一种模型生成方法、装置、存储介质及计算机设备
CN112906546A (zh) * 2021-02-09 2021-06-04 中国工商银行股份有限公司 虚拟数字人外形、音效以及服务模型的个性化生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RigNet: Neural Rigging for Articulated Characters;Zhan Xu et al;https://doi.org/10.48550/arXiv.2005.00559;第1-14页 *

Also Published As

Publication number Publication date
CN114782645A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
Haque et al. Instruct-nerf2nerf: Editing 3d scenes with instructions
Tagliasacchi et al. 3d skeletons: A state‐of‐the‐art report
CN114782645B (zh) 虚拟数字人制作方法、相关设备及可读存储介质
JP7029283B2 (ja) 画像の補完
Zheng et al. Non-local scan consolidation for 3D urban scenes
Zhang et al. Real-time bas-relief generation from a 3D mesh
CN116958453B (zh) 基于神经辐射场的三维模型重建方法、设备和介质
CN114037802A (zh) 三维人脸模型重建方法、装置、存储介质及计算机设备
CN110176079A (zh) 一种基于准共形映射的三维模型变形算法
CN116416376A (zh) 一种三维头发的重建方法、系统、电子设备及存储介质
Jung et al. Learning free-form deformation for 3D face reconstruction from in-the-wild images
Wu et al. Building reconstruction from high-resolution multiview aerial imagery
Nieser et al. Patch layout from feature graphs
Sangeetha et al. A novel exemplar based Image Inpainting algorithm for natural scene image completion with improved patch prioritizing
CN113160368A (zh) 动画数据的处理方法及装置
CN112862684A (zh) 一种深度图超分辨率重建和去噪神经网络的数据处理方法
Kerber et al. Real-time generation of digital bas-reliefs
CN115082640A (zh) 基于单张图像的3d人脸模型纹理重建方法及设备
CN109934837B (zh) 一种3d植物叶片轮廓的提取方法、装置及系统
Dekkers et al. A sketching interface for feature curve recovery of free-form surfaces
Beardsley et al. Editable parametric dense foliage from 3D capture
Chaurasia et al. Editable parametric dense foliage from 3D capture
CN114119923A (zh) 三维人脸重建方法、装置以及电子设备
CN113139965A (zh) 一种基于深度图的室内实时三维语义分割方法
CN112837420A (zh) 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant