CN115147559B - 基于神经隐式函数的三维人体参数化表示方法及装置 - Google Patents

基于神经隐式函数的三维人体参数化表示方法及装置 Download PDF

Info

Publication number
CN115147559B
CN115147559B CN202211077969.XA CN202211077969A CN115147559B CN 115147559 B CN115147559 B CN 115147559B CN 202211077969 A CN202211077969 A CN 202211077969A CN 115147559 B CN115147559 B CN 115147559B
Authority
CN
China
Prior art keywords
human body
dimensional
parameters
neural
clothing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211077969.XA
Other languages
English (en)
Other versions
CN115147559A (zh
Inventor
江博艺
陈鸿鹄
郭玉东
孙佳明
张举勇
鲍虎军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xiangyan Technology Co ltd
Original Assignee
Hangzhou Xiangyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiangyan Technology Co ltd filed Critical Hangzhou Xiangyan Technology Co ltd
Priority to CN202211077969.XA priority Critical patent/CN115147559B/zh
Publication of CN115147559A publication Critical patent/CN115147559A/zh
Application granted granted Critical
Publication of CN115147559B publication Critical patent/CN115147559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于神经隐式函数的三维人体参数化表示方法及装置。本发明基于神经隐式函数的人体表示，将由传统网格表示的三维人体替换为由多层感知机表示的隐式函数，通过对空间采样点查询符号距离场，可以对穿衣人体实现极高的分辨率表示，而不增加存储参数量。此外，基于神经线性混合蒙皮方法，可以自适应的对穿衣人体的动作进行建模，并保持逼真的衣服形态。本发明方法可以仅使用一个统一的三维人体参数化表示，利用三个低维向量参数化表示人体不同的体型、服装和姿态。在使用阶段，可以通过仅修改低维向量来修改人体的属性，并使用统一的神经隐式表示来输出对应属性的三维人体，极大的提高了存储与传输的效率。

Description

基于神经隐式函数的三维人体参数化表示方法及装置
技术领域
本发明涉及三维视觉虚拟数字人及图像数据处理技术领域，尤其涉及一种基于神经隐式函数的三维人体参数化表示方法及装置。
背景技术
随着近年来计算机视觉和图形学技术的发展，基于人工智能的虚拟数字人在例如虚拟试衣、动作驱动、影视制作等应用中需求十分广泛。尤其是最近爆火的元宇宙，类似于人作为现实社会中的核心组成，虚拟数字人技术也是元宇宙中的核心技术之一，如何对三维人体高效高质量表示是一个广受关注的问题。其中，使用低维向量参数化表示三维人体是虚拟数字人中的核心技术之一。
人体参数化模型从大量人体数据中学习而来，通过一组低维向量来表示复杂的人体信息例如体型和动作。在过去，以SMPL为代表的参数化人体模型主要表示人体的体型和动作信息，而无法表示多样的服装信息，这主要由于：1. 缺乏能够对穿衣人体进行高效建模的三维表示，穿衣人体由于人类衣物的形状、拓扑、纹理丰富，使得传统几何表示方法难以统一表达。2. 缺乏能够建模穿衣人体动作形变的方法，这由于人体的姿态复杂，且服装形态变化多样。也有一些方法提出了针对服装的参数化模型，这些方法可以分为两类，把服装建模为独立于人体的一层，或将服装和人体建模为一个整体。将服装建模为独立层的方法，通常预定义服装类型并设计通用的类模板，对模版变形以表示不同类型的服装。这种方法能将高维的服装形状低维参数化，但表达能力十分受限于预定义的模版类型和形状。将服装和人体建模为一个整体的方法，一般将服装定义为赤身人体向外的变形，这种方法能合理的建模穿衣人体的形状，并有较高的表达能力，但也受限于人体结构，无法表达宽松的衣物如裙子。
在构造人体动作表示的时候，通常会使用运动学树，将人视为成基于骨架的铰链模型，使用线性混合蒙皮方法计算人体肌肉的变形。具体来说，是把人的骨架运动视为多个刚性变换的拼接，并给绑定在骨架上的点，例如肌肉，分配权重，表示其主要跟随某个骨架运动。这种方法可以用少量的骨架变形刻画人体运动，但无法合理描述远离骨架的点的变形，例如宽松衣服；此外，传统方法只能离散的计算指定点的蒙皮权重，对其他点，使用插值方法得到蒙皮权重，这在某些情况下会导致不真实的变形。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于神经隐式函数的三维人体参数化表示方法及装置，能够使用低维向量解耦表示复杂的人体体型、服装、姿态。
本发明的目的是通过以下技术方案实现的：
根据本发明的第一方面，提供一种基于神经隐式函数的三维人体参数化表示方法，该方法包括以下步骤：
S1，构造可学习的用于表示人体属性的低维参数，包括人体体型、服装、姿态；
S2，构建不同体型、穿着不同服装、摆不同姿态的三维人体数据；
S3，构造基于体型多层感知机的体型神经隐式函数，用于从S2构建好的三维人体数据中学习人体体型，通过体型神经隐式函数使用S1的体型参数生成指定体型的三维赤身人体模型；
S4，基于S3生成的三维赤身人体模型，构造基于服装多层感知机的服装神经隐式函数，用于从S2构建好的三维人体数据中学习穿衣人体体型，通过服装神经隐式函数使用S1的服装参数生成穿着指定服装的三维穿衣人体模型；
S5，基于S1的体型参数和服装参数，构建基于姿态多层感知机的神经线性混合蒙皮场，用于从S2构建好的三维人体数据中学习带姿态的穿衣人体体型；根据S1的体型参数和姿态参数得到变形矩阵；结合神经线性混合蒙皮场和变形矩阵，将S4生成的三维穿衣人体模型变形为S1的姿态参数对应的三维人体模型；
S6，训练级联的体型多层感知机、服装多层感知机和姿态多层感知机，以及体型、服装、姿态参数，得到训练好的三维人体参数化表示，用于生成符合指定体型、服装、姿态的三维人体模型。
进一步地，步骤S2中，采用使用物理仿真或者真实采集的三维人体数据，三维人体数据需要预处理为水密网格，预处理步骤包括：对服装包含孔洞的人体数据补洞；使用14个视角将三维人体数据渲染为深度图，其中14个视角包括12个间隔30度环绕人体的视角，和头顶、脚底的视角；将14个深度图反投影为点云并拼接；使用泊松重建将完整点云重建为水密网格。
进一步地，步骤S3中，对于任意空间采样点x，以体型参数为条件信息，计算采样点的符号距离值，体型神经隐式函数记为：
Figure 72442DEST_PATH_IMAGE001
其中，
Figure 270205DEST_PATH_IMAGE002
表示体型多层感知机中的可学习参数，体型神经隐式函数
Figure 817861DEST_PATH_IMAGE003
的输入包括 空间采样点x和体型参数
Figure 784680DEST_PATH_IMAGE004
；
Figure 759589DEST_PATH_IMAGE005
为每个采样点的符号距离值，表示采样点到人体几何表面 的距离；
通过计算采样点的符号距离值，得到人体几何的符号距离场，计算符号距离场的零等值面得到人体几何表面信息。
进一步地，步骤S4中，对于任意空间采样点x，以服装参数为条件信息，计算赤身人 体到穿衣人体的符号距离值的变化量
Figure 444648DEST_PATH_IMAGE006
，服装神经隐式函数记为：
Figure 530416DEST_PATH_IMAGE007
其中，
Figure 617321DEST_PATH_IMAGE008
表示服装多层感知机中的可学习参数，服装神经隐式函数
Figure 28710DEST_PATH_IMAGE009
的输入包括 空间采样点x、体型参数
Figure 935487DEST_PATH_IMAGE010
和服装参数
Figure 824945DEST_PATH_IMAGE011
；
Figure 781005DEST_PATH_IMAGE012
为每个采样点从赤身人体到穿衣人体的符号 距离值的变化量。
进一步地，步骤S5中，变形公式如下：
Figure 363296DEST_PATH_IMAGE013
其中，
Figure 757368DEST_PATH_IMAGE014
表示标准姿态下的采样点集合，
Figure 450518DEST_PATH_IMAGE015
表示指定姿态参数下的采样点集合，i表示特定的人体，j表示特定的关节，
Figure 980856DEST_PATH_IMAGE016
为人体i关节j的变形矩阵，
Figure 734048DEST_PATH_IMAGE017
表示关节j的神经 线性混合蒙皮权重。
进一步地，步骤S5中，姿态由S1中的姿态参数
Figure 615417DEST_PATH_IMAGE018
指定，通过引入运动学树，根据S1的 姿态参数
Figure 377836DEST_PATH_IMAGE018
和体型参数
Figure 28261DEST_PATH_IMAGE010
得到变形矩阵；神经线性混合蒙皮权重
Figure 686775DEST_PATH_IMAGE019
通过姿态多层感知机计 算得到，公式如下：
Figure 55440DEST_PATH_IMAGE020
其中，
Figure 90392DEST_PATH_IMAGE021
表示姿态多层感知机中的可学习参数，神经线性混合蒙皮场
Figure 860902DEST_PATH_IMAGE022
的输入包 括空间采样点x、体型参数
Figure 690317DEST_PATH_IMAGE023
和服装参数
Figure 546278DEST_PATH_IMAGE024
。
进一步地，步骤S6中，训练过程中的损失函数
Figure 384921DEST_PATH_IMAGE025
公式如下：
Figure 744358DEST_PATH_IMAGE026
其中，
Figure 7325DEST_PATH_IMAGE027
表示第i个人体数据的第k个采样点的符号距离值，作为监督项；
Figure 85002DEST_PATH_IMAGE028
表 示由三个级联的多层感知机计算得到的符号距离值；N表示训练三维人体模型总数，
Figure 727336DEST_PATH_IMAGE029
表示 每个三维人体模型的采样点总数。
进一步地，步骤S6中，训练完毕后自主修改S1中的低维参数以实现体型、服装、姿态的编辑，如果使用连续的低维参数，编辑结果也是连续的。
进一步地，步骤S6中，用于编辑的低维参数由训练好的低维参数插值得到，或者在训练好的低维参数分布中随机采样得到。
根据本发明的第二方面，提供一种基于神经隐式函数的三维人体参数化表示装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述基于神经隐式函数的三维人体参数化表示方法。
本发明的有益效果是：1）由基于神经隐式函数训练的三维人体参数化表示，具有隐式表示三维赤身人体、三维穿衣人体、三维人体姿态的能力。由于神经隐式函数具有表达力强、存储量小的特点，其生成的三维穿衣人体几何可以详细刻画服装的细节且不消耗很大存储空间。2）通过替换输入的体型、服装、姿态条件信息，可以解耦生成指定的人体隐式场，这可以实现高效的人体属性编辑。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的基于神经隐式函数的三维人体参数化表示方法的流程图；
图2为本发明实施例提供的基于神经隐式函数的三维人体参数化表示方法的原理图；
图3为本发明实施例提供的服装编辑示意图；
图4为本发明实施例提供的体型编辑示意图；
图5为本发明实施例提供的姿态编辑示意图；
图6为本发明实施例提供的基于神经隐式函数的三维人体参数化表示装置的结构图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
在三维人体参数化表示领域，传统方法只能对赤身人体进行表示，而无法表示复杂多样的服装；针对服装的表示方法，需要预先构建服装模版或者人体模版，这使得对服装的表示有限，往往受限于预定义模版的拓扑。为此，本发明提供一种基于神经隐式函数的三维人体参数化表示方法，使用多层感知机从大量人体数据中学习人体先验知识，使用体型、服装、姿态低维参数作为条件来生成对应的符号距离场，借助神经隐式函数，可以使用少量网络参数表达高精度的服装形状和细节，且无需预定义服装模版。
如图1、图2所示，本实施例提供的一种基于神经隐式函数的三维人体参数化表示方法，主要包括如下步骤：
步骤1、构造可学习的用于表示人体属性的低维参数，包括人体体型、服装、姿态， 分别记为
Figure 206859DEST_PATH_IMAGE030
，这些参数在训练过程中被优化，用于生成符合指定条件的三维人体模 型；本实施例中，体型参数10维，服装参数128维，姿态参数72维。
步骤2、构建不同体型、穿着不同服装、摆不同姿态的三维人体数据。
具体地，可采用使用物理仿真或者真实采集的三维人体数据，物理仿真可采用CLO3D软件。三维人体数据需要预处理为水密网格。本实施例中，该预处理步骤具体为：(1)对服装包含孔洞的人体数据补洞；(2)使用14个视角将三维人体数据渲染为深度图，其中14个视角包括12个间隔30度环绕人体的视角，和头顶、脚底的视角；(3)将14个深度图反投影为点云并拼接；(4)使用泊松重建将完整点云重建为水密网格。
步骤3、构造基于体型多层感知机的体型神经隐式函数，用于从步骤2构建好的三维人体数据中学习人体体型，通过体型神经隐式函数使用步骤1的体型参数生成指定体型的三维赤身人体模型；具体如下：
对于任意空间采样点x，以人体体型参数为条件信息，计算采样点的符号距离值，体型神经隐式函数记为：
Figure 909236DEST_PATH_IMAGE001
其中，
Figure 474209DEST_PATH_IMAGE002
表示体型多层感知机中的可学习参数，体型神经隐式函数
Figure 654655DEST_PATH_IMAGE003
的输入包括 空间采样点x和体型参数
Figure 988684DEST_PATH_IMAGE004
，体型参数
Figure 596383DEST_PATH_IMAGE031
可以指定生成的人体体型；
Figure 648653DEST_PATH_IMAGE005
为每个采样点的符 号距离值，表示采样点到人体几何表面的距离。
通过计算大量采样点的符号距离值，得到人体几何的符号距离场，计算符号距离场的零等值面得到人体几何表面信息。
步骤4、基于步骤3生成的指定体型的三维赤身人体模型，进一步构造基于服装多层感知机的服装神经隐式函数，用于从步骤2构建好的三维人体数据中学习穿衣人体体型，通过服装神经隐式函数使用步骤1的服装参数生成穿着指定服装的三维穿衣人体模型；具体如下：
对于任意空间采样点x，以服装参数为条件信息，计算赤身人体到穿衣人体的符号 距离值的变化量
Figure 367210DEST_PATH_IMAGE006
，服装神经隐式函数记为：
Figure 821325DEST_PATH_IMAGE032
其中，
Figure 599925DEST_PATH_IMAGE008
表示服装多层感知机中的可学习参数，服装神经隐式函数
Figure 139491DEST_PATH_IMAGE009
的输入包括 空间采样点x、体型参数
Figure 661739DEST_PATH_IMAGE010
和服装参数
Figure 235940DEST_PATH_IMAGE011
，服装参数
Figure 185441DEST_PATH_IMAGE011
可以指定生成的服装；
Figure 949654DEST_PATH_IMAGE033
为每个采样 点从赤身人体到穿衣人体的符号距离值的变化量；穿衣人体的符号距离值
Figure 275593DEST_PATH_IMAGE034
。
步骤5、基于步骤1的体型参数和服装参数，构建基于姿态多层感知机的神经线性混合蒙皮场，用于从步骤2构建好的三维人体数据中学习带姿态的穿衣人体体型；根据步骤1的体型参数和姿态参数得到变形矩阵；结合神经线性混合蒙皮场和变形矩阵，将步骤4生成的指定体型且穿着指定服装的三维穿衣人体模型变形为步骤1的姿态参数对应的三维人体模型，变形公式如下：
Figure 438721DEST_PATH_IMAGE035
其中，
Figure 559124DEST_PATH_IMAGE014
表示标准姿态下的采样点集合，
Figure 73282DEST_PATH_IMAGE036
表示指定姿态参数下的采样点集合，i表示特定的人体，j表示特定的关节，
Figure 202912DEST_PATH_IMAGE016
为人体i关节j的变形矩阵，
Figure 954967DEST_PATH_IMAGE017
表示关节j的神经 线性混合蒙皮权重；
具体地，姿态由步骤1中的姿态参数
Figure 777429DEST_PATH_IMAGE018
指定，通过引入运动学树，根据步骤1的姿态 参数
Figure 513304DEST_PATH_IMAGE037
和体型参数
Figure 181046DEST_PATH_IMAGE010
得到变形矩阵T。神经线性混合蒙皮权重
Figure 53187DEST_PATH_IMAGE019
通过姿态多层感知机计算 得到，公式如下：
Figure 780972DEST_PATH_IMAGE038
其中，
Figure 4143DEST_PATH_IMAGE021
表示姿态多层感知机中的可学习参数，神经线性混合蒙皮场
Figure 209996DEST_PATH_IMAGE039
的输入包 括空间采样点x、体型参数
Figure 202223DEST_PATH_IMAGE010
和服装参数
Figure 100909DEST_PATH_IMAGE024
。
步骤6、训练级联的体型多层感知机、服装多层感知机和姿态多层感知机，以及体 型、服装、姿态参数，得到训练好的三维人体参数化表示，用于生成符合指定体型、服装、姿 态的三维人体模型；训练过程中的损失函数
Figure 542867DEST_PATH_IMAGE025
公式如下：
Figure 552411DEST_PATH_IMAGE040
其中，
Figure 664724DEST_PATH_IMAGE041
表示第i个人体数据的第k个采样点的符号距离值，作为监督项；
Figure 734311DEST_PATH_IMAGE028
表 示由三个级联的多层感知机计算得到的符号距离值；N表示训练三维人体模型总数，
Figure 932074DEST_PATH_IMAGE029
表示 每个三维人体模型的采样点总数，该损失函数刻画了预测值和真实值之间的差异。
训练完毕后，可以自主修改步骤1中的低维参数以实现体型、服装、姿态的编辑。如果使用连续的低维参数，该编辑结果也是连续的。在一个实施例中，用于编辑的低维参数可由训练好的低维参数插值得到，也可以在训练好的低维参数分布中随机采样得到。
图3为服装编辑示意图，（a）为提供的三件服装示例，（b）中最左侧为提供的赤身人体，右侧三幅图分别对应该赤身人体穿着（a）中三件服装的编辑结果。
图4为体型编辑示意图，（a）为提供的三种赤身人体体型示例，（b）中最左侧为提供的穿衣人体，右侧三幅图分别对应该穿衣人体修改为（a）中三种体型的编辑结果。
图5为姿态编辑示意图，（a）为提供的三种人体姿态示例，（b）中最左侧为提供的标准姿态的穿衣人体，右侧三幅图分别对应该穿衣人体修改为（a）中三种姿态的编辑结果。
在一个实施例中，多层感知机采用全连接神经网络，包括输入层、全连接层、激活层与跳跃连接。
本发明实施例上述方案，相比于传统三维人体参数化表示方法，具有以下优点：
（1）可以分别对三维人体的体型、服装、姿态进行解耦表示，而不是只能表示赤身人体。
（2）将传统使用网格表示改为使用隐式函数表示，借助于神经网络的学习表达能力，可以从大量数据中学习人体先验，且相比于传统网格表示需要定义网格拓扑结构，神经隐式表示可以利用少量网络参数灵活表示几何形状，不受限于分辨率和拓扑结构。
（3）基于神经网络的神经线性蒙皮方法，可以通过大量数据学习得到连续的蒙皮权重，这可以为空间中任意位置计算合理的蒙皮权重，从而避免扭曲，实现高质量的穿衣人体变形。
（4）这种方法非常适合用于对人体建模，具有高效、高质量、低成本的特性，具备很好的应用前景。通过将高维的人体信息低维参数化，可为三维重建等任务提供合理的人体先验，提升重建质量，实现数据的高效存储和传输，且可以方便的编辑相应属性。
与前述基于神经隐式函数的三维人体参数化表示方法的实施例相对应，本发明还提供了基于神经隐式函数的三维人体参数化表示装置的实施例。
参见图6，本发明实施例提供的基于神经隐式函数的三维人体参数化表示装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的基于神经隐式函数的三维人体参数化表示方法。
本发明基于神经隐式函数的三维人体参数化表示装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本发明基于神经隐式函数的三维人体参数化表示装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于神经隐式函数的三维人体参数化表示方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (9)

1.一种基于神经隐式函数的三维人体参数化表示方法，其特征在于，包括以下步骤：
S1，构造可学习的用于表示人体属性的低维参数，包括人体体型、服装、姿态；
S2，构建不同体型、穿着不同服装、摆不同姿态的三维人体数据；
S3，构造基于体型多层感知机的体型神经隐式函数，用于从S2构建好的三维人体数据中学习人体体型，通过体型神经隐式函数使用S1的体型参数生成指定体型的三维赤身人体模型；
S4，基于S3生成的三维赤身人体模型，构造基于服装多层感知机的服装神经隐式函数，用于从S2构建好的三维人体数据中学习穿衣人体体型，通过服装神经隐式函数使用S1的服装参数生成穿着指定服装的三维穿衣人体模型；
S5，基于S1的体型参数和服装参数，构建基于姿态多层感知机的神经线性混合蒙皮场，用于从S2构建好的三维人体数据中学习带姿态的穿衣人体体型；根据S1的体型参数和姿态参数得到变形矩阵；结合神经线性混合蒙皮场和变形矩阵，将S4生成的三维穿衣人体模型变形为S1的姿态参数对应的三维人体模型；
S6，训练级联的体型多层感知机、服装多层感知机和姿态多层感知机，以及体型、服装、姿态参数，得到训练好的三维人体参数化表示，用于生成符合指定体型、服装、姿态的三维人体模型；训练过程中的损失函数
Figure DEST_PATH_IMAGE002
公式如下：
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE006
表示第i个人体数据的第k个采样点的符号距离值，作为监督项；
Figure DEST_PATH_IMAGE008
表示由三个级联的多层感知机计算得到的符号距离值；N表示训练三维人体模型总数，
Figure DEST_PATH_IMAGE010
表示每个三维人体模型的采样点总数。
2.根据权利要求1所述的基于神经隐式函数的三维人体参数化表示方法，其特征在于，步骤S2中，采用使用物理仿真或者真实采集的三维人体数据，三维人体数据需要预处理为水密网格，预处理步骤包括：对服装包含孔洞的人体数据补洞；使用14个视角将三维人体数据渲染为深度图，其中14个视角包括12个间隔30度环绕人体的视角，和头顶、脚底的视角；将14个深度图反投影为点云并拼接；使用泊松重建将完整点云重建为水密网格。
3.根据权利要求1所述的基于神经隐式函数的三维人体参数化表示方法，其特征在于，步骤S3中，对于任意空间采样点x，以体型参数为条件信息，计算采样点的符号距离值，体型神经隐式函数记为：
Figure DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE014
表示体型多层感知机中的可学习参数，体型神经隐式函数
Figure DEST_PATH_IMAGE016
的输入包括空间采样点x和体型参数
Figure DEST_PATH_IMAGE018
；
Figure DEST_PATH_IMAGE020
为每个采样点的符号距离值，表示采样点到人体几何表面的距离；
通过计算采样点的符号距离值，得到人体几何的符号距离场，计算符号距离场的零等值面得到人体几何表面信息。
4.根据权利要求1所述的基于神经隐式函数的三维人体参数化表示方法，其特征在于，步骤S4中，对于任意空间采样点x，以服装参数为条件信息，计算赤身人体到穿衣人体的符号距离值的变化量
Figure DEST_PATH_IMAGE022
，服装神经隐式函数记为：
Figure DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE026
表示服装多层感知机中的可学习参数，服装神经隐式函数
Figure DEST_PATH_IMAGE028
的输入包括空间采样点x、体型参数
Figure DEST_PATH_IMAGE030
和服装参数
Figure DEST_PATH_IMAGE032
；
Figure DEST_PATH_IMAGE034
为每个采样点从赤身人体到穿衣人体的符号距离值的变化量。
5.根据权利要求1所述的基于神经隐式函数的三维人体参数化表示方法，其特征在于，步骤S5中，变形公式如下：
Figure DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE038
表示标准姿态下的采样点集合，
Figure DEST_PATH_IMAGE040
表示指定姿态参数下的采样点集合，i表示特定的人体，j表示特定的关节，
Figure DEST_PATH_IMAGE042
为人体i关节j的变形矩阵，
Figure DEST_PATH_IMAGE044
表示关节j的神经线性混合蒙皮权重。
6.根据权利要求5所述的基于神经隐式函数的三维人体参数化表示方法，其特征在于，步骤S5中，姿态由S1中的姿态参数
Figure DEST_PATH_IMAGE046
指定，通过引入运动学树，根据S1的姿态参数
Figure 577297DEST_PATH_IMAGE046
和体型参数
Figure 963279DEST_PATH_IMAGE030
得到变形矩阵；神经线性混合蒙皮权重
Figure DEST_PATH_IMAGE048
通过姿态多层感知机计算得到，公式如下：
Figure DEST_PATH_IMAGE050
其中，
Figure DEST_PATH_IMAGE052
表示姿态多层感知机中的可学习参数，神经线性混合蒙皮场
Figure DEST_PATH_IMAGE054
的输入包括空间采样点x、体型参数
Figure 553136DEST_PATH_IMAGE030
和服装参数
Figure DEST_PATH_IMAGE056
。
7.根据权利要求1所述的基于神经隐式函数的三维人体参数化表示方法，其特征在于，步骤S6中，训练完毕后自主修改S1中的低维参数以实现体型、服装、姿态的编辑，如果使用连续的低维参数，编辑结果也是连续的。
8.根据权利要求7所述的基于神经隐式函数的三维人体参数化表示方法，其特征在于，步骤S6中，用于编辑的低维参数由训练好的低维参数插值得到，或者在训练好的低维参数分布中随机采样得到。
9.一种基于神经隐式函数的三维人体参数化表示装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现如权利要求1-8中任一项所述的基于神经隐式函数的三维人体参数化表示方法。
CN202211077969.XA 2022-09-05 2022-09-05 基于神经隐式函数的三维人体参数化表示方法及装置 Active CN115147559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211077969.XA CN115147559B (zh) 2022-09-05 2022-09-05 基于神经隐式函数的三维人体参数化表示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211077969.XA CN115147559B (zh) 2022-09-05 2022-09-05 基于神经隐式函数的三维人体参数化表示方法及装置

Publications (2)

Publication Number Publication Date
CN115147559A CN115147559A (zh) 2022-10-04
CN115147559B true CN115147559B (zh) 2022-11-29

Family

ID=83416112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211077969.XA Active CN115147559B (zh) 2022-09-05 2022-09-05 基于神经隐式函数的三维人体参数化表示方法及装置

Country Status (1)

Country Link
CN (1) CN115147559B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051696B (zh) * 2023-01-10 2023-12-22 之江实验室 一种可重光照的人体隐式模型的重建方法和装置
CN116342836B (zh) * 2023-05-30 2024-03-12 杭州倚澜科技有限公司 一种基于深度隐式细节表征的人体建模方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581571A (zh) * 2022-03-04 2022-06-03 杭州像衍科技有限公司 基于imu和前向变形场的单目人体重建方法及装置
WO2022121220A1 (zh) * 2020-12-10 2022-06-16 浙江大学 一种动态人体三维重建和视角合成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3877954A4 (en) * 2018-12-19 2022-03-02 Seddi, Inc. LEARNING-BASED ANIMATION OF CLOTHES FOR VIRTUAL TRYING ON
CN114782634B (zh) * 2022-05-10 2024-05-14 中山大学 基于表面隐函数的单目图像着装人体重建方法与系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022121220A1 (zh) * 2020-12-10 2022-06-16 浙江大学 一种动态人体三维重建和视角合成方法
CN114581571A (zh) * 2022-03-04 2022-06-03 杭州像衍科技有限公司 基于imu和前向变形场的单目人体重建方法及装置

Also Published As

Publication number Publication date
CN115147559A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN115147559B (zh) 基于神经隐式函数的三维人体参数化表示方法及装置
De Aguiar et al. Stable spaces for real-time clothing
Shlyakhter et al. Reconstructing 3D tree models from instrumented photographs
Magnenat-Thalmann et al. Virtual humans: thirty years of research, what next?
CN109544666B (zh) 一种全自动的模型变形传播方法和系统
Li et al. Vox-surf: Voxel-based implicit surface representation
WO2002009037A2 (en) Modeling human beings by symbol manipulation
Grabe et al. Towards a framework for human-AI interaction patterns in co-creative GAN applications
CN115098907A (zh) 基于虚拟现实的变电站4d-bim可视化方法及系统
Chen et al. Virtual elastic objects
CN117218300A (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
Liang et al. Machine learning for digital try-on: Challenges and progress
Nozawa et al. Single sketch image based 3D car shape reconstruction with deep learning and lazy learning
Li et al. Advances in 3d generation: A survey
Würfel et al. Natural Phenomena as Metaphors for Visualization of Trend Data in Interactive Software Maps.
Liao et al. Advances in 3D Generation: A Survey
CN116266251A (zh) 一种草图生成对抗网络、渲染生成对抗网络及其服饰设计方法
Pajouheshgar et al. Mesh neural cellular automata
Chen et al. Adaptive skeleton‐driven cages for mesh sequences
CN115482557B (zh) 人体图像生成方法、系统、设备及存储介质
Xu et al. Deep structured generative models
Wang et al. Zero-shot pose transfer for unrigged stylized 3d characters
Stoll et al. A volumetric approach to interactive shape editing
Kim et al. GALA: Generating Animatable Layered Assets from a Single Scan
Chen et al. Deforming and animating discretely sampled object representations.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant