CN113112592B - 一种可驱动的隐式三维人体表示方法 - Google Patents

一种可驱动的隐式三维人体表示方法 Download PDF

Info

Publication number
CN113112592B
CN113112592B CN202110419747.0A CN202110419747A CN113112592B CN 113112592 B CN113112592 B CN 113112592B CN 202110419747 A CN202110419747 A CN 202110419747A CN 113112592 B CN113112592 B CN 113112592B
Authority
CN
China
Prior art keywords
dimensional
coordinate system
skin
human body
standard coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110419747.0A
Other languages
English (en)
Other versions
CN113112592A (zh
Inventor
周晓巍
鲍虎军
彭思达
董峻廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110419747.0A priority Critical patent/CN113112592B/zh
Publication of CN113112592A publication Critical patent/CN113112592A/zh
Application granted granted Critical
Publication of CN113112592B publication Critical patent/CN113112592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种可驱动的隐式三维人体表示方法，通过从输入的多视角视频中优化可驱动模型的三维表示进行动态重建。本发明提供的方法包括：构造用于表示动态人体的隐函数；提出用神经网络表示的神经蒙皮混合权重场，实现了在从视频中学习得到可驱动隐函数，从视频中优化得到可驱动三维模型的方法；本发明在每一视频帧学习一个神经蒙皮混合权重场，将每一视频帧的三维点变换回标准坐标系，以此整合了视频的时序信息，增加了对目标的观测，用于优化标准坐标系下的三维模型；本发明同时在标准坐标系下学习一个神经蒙皮混合权重场，使得三维模型可被驱动生成新姿势下的三维模型。

Description

一种可驱动的隐式三维人体表示方法
技术领域
本发明属于三维重建领域，尤其涉及到一种可驱动的隐式三维人体表示方法。
背景技术
本发明提出一个可驱动隐函数来表示动态人体，可以从多视角视频中重建可驱动三维模型，用于三维模型的生成和自由视角合成。在相关技术中，传统方法重建可驱动三维模型往往需要很高的成本和大量的时间。这些方法需要复杂硬件设备进行模型重建，后期需要设计师给三维模型绑定骨架进行操控并且设计蒙皮混合权重，需要大量的时间。近期一些工作将动态人体表示为基于神经网络的隐函数。但这些方法很难只从视频中优化得到最优的隐函数，需要额外的约束条件。而且这些方法无法得到可驱动的三维模型。本发明致力于提出新的动态人体表示方法，使得从视频中学习隐函数表示可解，并且可以输出可驱动三维模型。
发明内容
本发明目的在于针对现有技术的不足，提出了一种可驱动的隐式三维人体表示方法，基于可驱动隐函数来表示人体几何和外观，并通过可微分渲染重建这一动态人体表示。
本发明的目的是通过以下技术方案来实现的：一种可驱动的隐式三维人体表示方法，所述方法包括：
(1)在标准坐标系构造一个神经网络隐函数来表示人体几何和外观，在每一个视频帧坐标系用神经网络隐函数生成任意三维点的蒙皮混合权重，构造神经蒙皮混合权重场，将视频帧的三维点变换回标准坐标系，用于表示动态人体。
(2)在标准坐标系下学习神经蒙皮混合权重场，优化神经网络隐函数，使得标准坐标系下的神经网络隐函数可被驱动生成新状态下的三维人体；具体学习过程如下：
(2.1)基于可微分体积渲染器，将神经网络隐函数渲染为二维图像。通过最小化渲染后的二维图像和多视角视频中对应图像之间的误差，优化神经网络隐函数表示。
(2.2)最小化标准坐标系和视频帧坐标系对应三维点的蒙皮混合权重的差别，优化蒙皮混合权重的神经网络隐函数表示。
(3)基于步骤(2)优化后的神经网络隐函数，进行人体的三维模型生成和视角合成。
进一步地，将构造的神经蒙皮混合权重场与一组人体的三维关键点相结合，通过线性混合蒙皮算法将视频帧坐标系下的三维点变换回标准坐标系。
进一步地，在标准坐标系下学习完成神经蒙皮混合权重场之后，在给定一组新的人体的三维关键点时，标准坐标系的神经蒙皮混合权重场可以和关键点相结合，通过线性混合蒙皮算法变换标准坐标系的三维点，从而生成新状态下的三维人体。
进一步地，所述通过可微分体积渲染器将神经网络隐函数渲染为二维图片，包括：沿相机投射至像素的光线采样一组三维点，将三维点通过线性混合蒙皮算法变换回标准坐标系，使用神经网络隐函数计算三维点的体素密度和颜色，累积光线上的体积密度和颜色得到像素颜色。
进一步地，采样标准坐标系和视频帧坐标系的对应的三维点，计算相应的蒙皮混合权重，最小化两个三维点的蒙皮混合权重的差别，从而优化蒙皮混合权重的神经网络隐函数。
进一步地，所述三维模型生成使用Marching cubes算法从优化后的神经网络隐函数中提取三维网格模型，并根据线性混合蒙皮算法驱动三维网格模型。
进一步地，所述视角合成使用可微分体积渲染器得到二维图像实现。
本发明的有益效果：本发明提出用神经网络表示的神经蒙皮混合权重场，实现了在从视频中学习得到可驱动隐函数，是第一个从视频中优化得到可驱动三维模型的方法。本发明在每一视频帧学习一个神经蒙皮混合权重场，将每一视频帧的三维点变换回标准坐标系，以此整合了视频的时序信息，增加了对目标的观测，用于优化标准坐标系下的三维模型。本发明同时在标准坐标系下学习一个神经蒙皮混合权重场，使得三维模型可被驱动生成新姿势下的三维模型。本发明可以从多视角视频中得到高质量的三维重建和视角合成效果。
附图说明
图1是本发明的一种输入和输出示意图。
图2是本发明基于可驱动隐函数生成不同视频帧的连续体素密度和颜色示意图。
具体实施方式
以下结合附图对本发明的技术细节和原理作进一步的描述：
本发明提出一种可驱动的隐式三维人体表示方法，如图1所示，本发明从一段输入的多视角视频中优化重建一个可驱动隐函数。重建后的隐函数可以用于人体的三维模型生成和视角合成。具体过程如下：
(1)在标准坐标系构造一个神经网络隐函数来表示人体几何和外观，在每一个视频帧坐标系用神经网络隐函数生成任意三维点的蒙皮混合权重，构造神经蒙皮混合权重场，将构造的神经蒙皮混合权重场与一组人体的三维关键点相结合，通过线性混合蒙皮算法将视频帧坐标系下的三维点变换回标准坐标系，用于表示动态人体。
(2)在标准坐标系下学习神经蒙皮混合权重场，优化神经网络隐函数，使得标准坐标系下的神经网络隐函数可被驱动生成新状态下的三维人体，具体为：在给定一组新的人体的三维关键点时，标准坐标系的神经蒙皮混合权重场可以和关键点相结合，通过线性混合蒙皮算法变换标准坐标系的三维点，从而生成新状态下的三维人体。
具体学习过程如下：
(2.1)基于可微分体积渲染器，将神经网络隐函数渲染为二维图像。包括：沿相机投射至像素的光线采样一组三维点，将三维点通过线性混合蒙皮算法变换回标准坐标系，使用神经网络隐函数计算三维点的体素密度和颜色，累积光线上的体积密度和颜色得到像素颜色。
通过最小化渲染后的二维图像和多视角视频中对应图像之间的误差，优化神经网络隐函数表示。
(2.2)采样标准坐标系和视频帧坐标系的对应的三维点，计算相应的蒙皮混合权重，最小化两个三维点的蒙皮混合权重的差别，从而优化蒙皮混合权重的神经网络隐函数。
(3)基于步骤(2)优化后的神经网络隐函数，进行人体的三维模型生成和视角合成。具体为，三维模型生成使用Marching cubes算法从优化后的神经网络隐函数中提取三维网格模型，并根据线性混合蒙皮算法驱动三维网格模型。视角合成使用可微分体积渲染器得到二维图像实现。
如图2所示，本发明提出的可驱动的隐式三维人体表示方法中，构造用于表示动态人体的可驱动隐函数具体步骤为：
1.本发明基于标准坐标系下的模型和视频帧坐标系的蒙皮混合权重场来表示动态人体。标准坐标系中的模型具体使用连续的体素密度和颜色来表示，其中体素密度场和颜色场由多层感知机网络实现。对于多视角视频中的特定帧i，视频帧坐标系到标准坐标系的变形场为Ti，具体构造方式在下文介绍。本发明将视频帧坐标系下空间三维点x的体素密度预测表示为如下函数：
(σi(x)，zi(x))＝Fσ(γx(Ti(x)))
其中Fσ是带有4层全连接的多层感知机网络，γx是作用于三维点x位置编码函数，σi(x)和zi(x)分别为特定帧i的三维点x的体素密度和形状特征。
关于颜色函数，本发明将形状特征zi(x)和视角方向d作为函数的输入。此外，本发明为每一帧定义了一个全局隐变量li作为输入，用于编码该帧人体外观的状态。颜色函数定义如下：
ci(x)＝Fc(zi(x)，γd(d)，li)
其中Fc是带有2层全连接层的多层感知机网络，γd是作用于视角方向d的位置编码函数，ci(x)为特定帧i的三维点x的颜色。
如图2所示，本发明提出的动态隐变量中，构造变形场的具体步骤为：
1.人体由人体骨架驱动运动，有K个身体部位，可以生成k个变换矩阵。在线性混合蒙皮算法中，标准坐标系下的三维点v可以由下面的公式变换为某一视频帧的坐标系的三维点v′：
Figure GDA0003829292480000041
其中w(v)k是第k个身体部位的蒙皮混合权重，Gk是第k个身体部位的变换矩阵。类似的，如果对于某一视频帧的坐标系下的三维点x，如果本发明知道该三维点对应的蒙皮混合权重，本发明可以用下面的公式变换为标准坐标系下的三维点x′：
Figure GDA0003829292480000042
其中wo(x)k是定义在视频帧坐标系下的蒙皮混合权重，Gk是第k个身体部位的变换矩阵。
2.本发明用神经网络生成视频帧坐标系下任意三维点的蒙皮混合权重。一种直接的方式是使用全连接网络将任意三维点映射为蒙皮混合权重。另一种方式是首先根据统计驱动模型计算每个三维点的初始蒙皮混合权重，然后用全连接网络生成一个残差权重，两者得到最终的蒙皮混合权重。这种方式生成的蒙皮混合权重定义为：
wi(x)＝norm(FΔw(x，ψi)+ws(x，Si))
其中Si是统计驱动模型，ws是基于统计驱动模型Si计算的初始蒙皮混合权重，FΔw(x，ψi)是计算残差权重的全连接网络，ψi是图2所示中的权重隐变量，norm是归一化函数。一个实现例子是可以根据SMPL模型生成任意三维点的初始蒙皮混合权重ws。
3.本发明在标准坐标系下也生成了一个蒙皮混合权重场wcan。对于任意三维点，初始蒙皮混合权重基于标准状态下的统计驱动模型计算得到。本发明同时定义了标准坐标系下的权重隐变量ψcan，作为计算残差权重的全连接网络FΔw(x，ψi)的输入。
本发明提出的可驱动的隐式三维人体表示方法中，通过可微分渲染优化可驱动的神经网络隐函数表示。具体的步骤为：
1.可微分体积渲染：给定一个视角，采用可微分体积渲染器将神经网络隐函数表示转换为二维RGB图像。对于图像的每一个像素，可微分体积渲染器通过积分方程累积相机射线上的体积密度和颜色，得到像素颜色。实际实现中，本发明使用数值积分进行近似。本发明首先使用相机参数计算对应的相机射线r，然后在最近点和最远点之间采样Nk个三维点
Figure GDA0003829292480000043
这里的最近点和最远点可以根据SMPL模型计算。然后，本发明在每个三维点使用神经网络隐函数计算三维点的体素密度和颜色。对于多视角视频中的特定帧i，像素的渲染颜色
Figure GDA0003829292480000044
定义为：
Figure GDA0003829292480000051
Figure GDA0003829292480000052
其中δk＝||xk+1-xk||2是相邻采样点的距离，σi(xk)和ci(xk)是特定帧i的三维点xk的颜色，Nk是相机射线r上采样的三维点的数量。采用可微分体积渲染，本发明通过最小化各帧渲染图像和多视角视频中对应帧和对应视角图像之间的误差来优化基于结构化的隐变量的神经网络隐函数表示。
2.优化基于可驱动的神经网络隐函数表示，具体为：对于输入的多视角视频，所有相机预先标定，已知相机参数。对于每张图片，本发明使用分割方法分割前景人，将背景像素值设为0。本发明联合优化参数Fσ，Fc，FΔw，{li}，{ψi}，来最小化如下目标函数：
Figure GDA0003829292480000053
其中
Figure GDA0003829292480000054
是穿过图片像素的相机射线的集合，Ci(r)是真实像素值。
此外，为了学习标准坐标系下的蒙皮混合权重场wcan，本发明引入了蒙皮混合权重场的一致性损失函数，即标准坐标系和视频帧坐标系中的对应点，应该具有相同的蒙皮混合权重。对于第i帧坐标系中的三维点x，可以使用上述公式映射到标准坐标系中的点Ti(x)，则一致性损失函数如下：
Figure GDA0003829292480000055
其中Xi是第i帧坐标系下载三维人体边界框内采样的三维点集合。另外，Lrgb和Lnsf的系数都设为1。
本发明提出的动态三维重建和视角合成，具体步骤为：
1.视角合成：为了根据给定关键点生成不同的人体并合成图片，本发明在根据输入的关键点构造了一个变形场，将该关键点下的三维点变换到标准坐标系下。给定人体新的一组关键点，本发明首先更新统计驱动模型得到Snew，并相应计算每个三维点的初始蒙皮混合权重ws。然后根据下面的公式计算最终的蒙皮混合权重：
wnew(x，ψnew)＝norm(FΔw(x，ψnew)+ws(x，Snew))
其中ψnew是新状态下的权重隐变量。ψnew的参数根据下面的公式进行优化：
Figure GDA0003829292480000056
其中Tnew是新状态下的坐标系到标准坐标系的变形场，
Figure GDA0003829292480000057
是在人体三维框中采样的一组三维点。需要注意，wcan的参数在训练中是固定住的。
2.三维模型生成：基于优化后的神经网络隐函数，本发明首先需要将连续空间离散为均匀的体素。本发明首先确定人体的空间范围，将空间划分为一组大小为5mm×5mm×5mm的体素。本发明通过为每个体素计算体素密度，最后用Marching cubes算法提取人体网格模型。然后在每个人体网格节点上计算蒙皮混合权重。最后，给定关键点，本发明驱动网格节点，得到新的三维模型。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (7)

1.一种可驱动的隐式三维人体表示方法，其特征在于，所述方法包括：
(1)在标准坐标系构造一个神经网络隐函数来表示人体几何和外观，在每一个视频帧坐标系用神经网络隐函数生成任意三维点的蒙皮混合权重，构造神经蒙皮混合权重场，将视频帧的三维点变换回标准坐标系，用于表示动态人体；具体过程为：
基于标准坐标系下的模型和视频帧坐标系的蒙皮混合权重场来表示动态人体；标准坐标系中的模型具体使用连续的体素密度和颜色来表示，其中体素密度场和颜色场由多层感知机网络实现；对于多视角视频中的特定帧的任意三维点，使用一个视频帧坐标系到标准坐标系的变形场将三维点映射到标准坐标系，再经过多层感知机网络预测体素密度和颜色；
构造变形场的具体步骤为：
人体由人体骨架驱动运动，有K个身体部位，生成K个变换矩阵；在线性混合蒙皮算法中，标准坐标系下的三维点v由下面的公式变换为某一视频帧的坐标系的三维点v′：
Figure FDA0003836403530000011
其中w(v)k是第k个身体部位的蒙皮混合权重，Gk是第k个身体部位的变换矩阵；如果对于某一视频帧的坐标系下的三维点x，如果知道该三维点对应的蒙皮混合权重，用下面的公式变换为标准坐标系下的三维点x′：
Figure FDA0003836403530000012
其中wo(x)k是定义在视频帧坐标系下的蒙皮混合权重，Gk是第k个身体部位的变换矩阵；
(2)在标准坐标系下学习神经蒙皮混合权重场，优化神经网络隐函数，使得标准坐标系下的神经网络隐函数可被驱动生成新状态下的三维人体；具体学习过程如下：
(2.1)基于可微分体积渲染器，将神经网络隐函数渲染为二维图像；通过最小化渲染后的二维图像和多视角视频中对应图像之间的误差，优化神经网络隐函数表示；
(2.2)最小化标准坐标系和视频帧坐标系对应三维点的蒙皮混合权重的差别，优化蒙皮混合权重的神经网络隐函数表示；
(3)基于步骤(2)优化后的神经网络隐函数，进行人体的三维模型生成和视角合成。
2.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(1)中，将构造的神经蒙皮混合权重场与一组人体的三维关键点相结合，通过线性混合蒙皮算法将视频帧坐标系下的三维点变换回标准坐标系。
3.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(2)中，在标准坐标系下学习完成神经蒙皮混合权重场之后，在给定一组新的人体的三维关键点时，标准坐标系的神经蒙皮混合权重场可以和关键点相结合，通过线性混合蒙皮算法变换标准坐标系的三维点，从而生成新状态下的三维人体。
4.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(2.1)中，所述通过可微分体积渲染器将神经网络隐函数渲染为二维图片，包括：沿相机投射至像素的光线采样一组三维点，将三维点通过线性混合蒙皮算法变换回标准坐标系，使用神经网络隐函数计算三维点的体素密度和颜色，累积光线上的体积密度和颜色得到像素颜色。
5.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(2.2)中，采样标准坐标系和视频帧坐标系的对应的三维点，计算相应的蒙皮混合权重，最小化两个三维点的蒙皮混合权重的差别，从而优化蒙皮混合权重的神经网络隐函数。
6.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(3)中，所述三维模型生成使用Marching cubes算法从优化后的神经网络隐函数中提取三维网格模型，并根据线性混合蒙皮算法驱动三维网格模型。
7.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(3)中，所述视角合成使用可微分体积渲染器得到二维图像实现。
CN202110419747.0A 2021-04-19 2021-04-19 一种可驱动的隐式三维人体表示方法 Active CN113112592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110419747.0A CN113112592B (zh) 2021-04-19 2021-04-19 一种可驱动的隐式三维人体表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110419747.0A CN113112592B (zh) 2021-04-19 2021-04-19 一种可驱动的隐式三维人体表示方法

Publications (2)

Publication Number Publication Date
CN113112592A CN113112592A (zh) 2021-07-13
CN113112592B true CN113112592B (zh) 2023-02-14

Family

ID=76718754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110419747.0A Active CN113112592B (zh) 2021-04-19 2021-04-19 一种可驱动的隐式三维人体表示方法

Country Status (1)

Country Link
CN (1) CN113112592B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570673B (zh) * 2021-09-24 2021-12-17 北京影创信息科技有限公司 三维人体和物体的渲染方法及其应用方法
CN114998514A (zh) * 2022-05-16 2022-09-02 聚好看科技股份有限公司 一种虚拟角色的生成方法及设备
CN114648613B (zh) * 2022-05-18 2022-08-23 杭州像衍科技有限公司 基于可变形神经辐射场的三维头部模型重建方法及装置
CN114863035B (zh) * 2022-07-05 2022-09-20 南京理工大学 一种基于隐式表征的三维人体运动捕捉和生成方法
CN115714888B (zh) * 2022-10-09 2023-08-29 名之梦(上海)科技有限公司 视频生成方法、装置、设备与计算机可读存储介质
CN116051696B (zh) * 2023-01-10 2023-12-22 之江实验室 一种可重光照的人体隐式模型的重建方法和装置
CN117036581B (zh) * 2023-10-09 2024-02-13 易方信息科技股份有限公司 基于二维神经渲染的体渲染方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652960A (zh) * 2020-05-07 2020-09-11 浙江大学 一种基于可微渲染器的从单幅图像求解人脸反射材质的方法
CN112465955A (zh) * 2020-12-10 2021-03-09 浙江大学 一种动态人体三维重建和视角合成方法
CN112487971A (zh) * 2020-11-30 2021-03-12 南京信息工程大学 一种面向弱标签数据进行人脸年龄合成的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854200B2 (en) * 2016-12-30 2023-12-26 Skinio, Inc. Skin abnormality monitoring systems and methods
CN112330795B (zh) * 2020-10-10 2022-10-28 清华大学 基于单张rgbd图像的人体三维重建方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652960A (zh) * 2020-05-07 2020-09-11 浙江大学 一种基于可微渲染器的从单幅图像求解人脸反射材质的方法
CN112487971A (zh) * 2020-11-30 2021-03-12 南京信息工程大学 一种面向弱标签数据进行人脸年龄合成的方法
CN112465955A (zh) * 2020-12-10 2021-03-09 浙江大学 一种动态人体三维重建和视角合成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S3: Neural shape, skeleton, and skinning fields for 3D human modeling;Yang Z 等;《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20210117;第13284-13293页 *
基于视频的人体检测、跟踪和三维重建;郑恬;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200115;I138-2147 *

Also Published As

Publication number Publication date
CN113112592A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN113112592B (zh) 一种可驱动的隐式三维人体表示方法
CN112465955B (zh) 一种动态人体三维重建和视角合成方法
US20240046570A1 (en) Drivable implicit three-dimensional human body representation method
CN111739078A (zh) 一种基于上下文注意力机制的单目无监督深度估计方法
CN109671023A (zh) 一种人脸图像超分辨率二次重建方法
CN113099208A (zh) 基于神经辐射场的动态人体自由视点视频生成方法和装置
CN112614070B (zh) 一种基于DefogNet的单幅图像去雾方法
CN115409937A (zh) 基于集成神经辐射场的人脸视频表情迁移模型构建方法及表情迁移方法和系统
CN112184560B (zh) 基于深度闭环神经网络的高光谱图像超分辨优化方法
CN110599585A (zh) 基于深度学习的单图像人体三维重建方法及装置
CN116664782A (zh) 一种基于融合体素的神经辐射场三维重建方法
CN116416375A (zh) 一种基于深度学习的三维重建方法和系统
CN116681838A (zh) 基于姿态优化的单目视频动态人体三维重建方法
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
CN117496072B (zh) 一种三维数字人生成和交互方法及系统
CN115660063A (zh) 一种遥感影像超分辨率模型训练方法和装置
CN114862697A (zh) 一种基于三维分解的人脸盲修复方法
CN113096144B (zh) 基于神经网络的动态人体自由视点视频的生成方法和装置
CN116612009A (zh) 一种多尺度连接生成对抗网络医学图像超分辨率重建方法
CN115937374B (zh) 一种数字人体建模方法、装置、设备及介质
CN116597223A (zh) 基于多维注意力的窄带喉镜图像分类方法
CN115457192A (zh) 基于自集成模块的nerf新视角合成模型的实现方法
Wang Single image super-resolution with u-net generative adversarial networks
CN116246025B (zh) 基于三维建模和mr图像的ct图像合成方法及成像方法
CN117557694A (zh) 一种基于条件变分自动编码器和神经混合权重场的动态人体建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant