CN111340944A - 基于隐式函数和人体模板的单图像人体三维重建方法 - Google Patents
基于隐式函数和人体模板的单图像人体三维重建方法 Download PDFInfo
- Publication number
- CN111340944A CN111340944A CN202010120114.5A CN202010120114A CN111340944A CN 111340944 A CN111340944 A CN 111340944A CN 202010120114 A CN202010120114 A CN 202010120114A CN 111340944 A CN111340944 A CN 111340944A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- human body
- image
- model
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 51
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于隐式函数和人体模板的单图像人体三维重建方法，该方法包括：预处理真实人体几何模型，生成训练数据；构建二维图像特征提取网络、三维体特征提取网络和隐式函数取值推断网络并进行训练；对测试图像预处理获取对应的人体参数化模型实例；将测试图像和对应的人体参数化模型实例分别输入二维图像特征和三维体特征提取网络得到二维图像特征和三维体特征，对于空间中特定范围内的均匀格点采样其对应的图像特征和体特征，输入到隐式函数取值推断网络中，获得该格点落在模型内部的概率；求出格点落在模型内部的概率为0.5的等值面，得到重建后的三维几何模型，该方法只需单张彩色图片就可以实现对图像中出现的人体的三维重建。
Description
技术领域
本发明涉及计算机视觉和计算机图形学技术领域，特别涉及一种基于隐式函数和人体模板的单图像人体三维重建。
背景技术
人体三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。但是高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求被采集人保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中，往往应用于大公司或国家统计部门。第三，速度慢，往往重建一个三维人体模型需要至少10分钟到数小时的时间。即便现有一些简便的方法可以使用单个深度相机实现简便的三维人体重建，其对深度相机的依赖使得其不能应用到现有的RGB相机系统下。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于隐式函数和人体模板的单图像人体三维重建方法，该方法基于深度学习实现，一旦网络训练完成，则使用时只需要单张彩色图片作为输入，就可以实现对图像中出现的人体的三维重建。
为达到上述目的，本发明一方面实施例提出了一种，包括：
S1，采集人体三维几何模型，对所述人体三维集合模型进行预处理，生成人工神经网络的训练数据，其中，所述训练数据包含真实几何模型、训练图像以及对应的人体参数化模板实例；
S2，构建满足预设条件的二维图像特征提取人工神经网络、三维体特征提取人工神经网络和隐式函数取值推断人工神经网络；
S3，在最小化损失函数的条件下，将所述训练图像输入所述二维图像特征提取网络得到二维图像特征，将所述人体参数化模板实例输入所述三维体特征提取网络得到三维体特征，通过空间点采样的方式，将采样点的二维图像特征和三维体特征输入隐式函数取值推断人工神经网络，完成三个网络的训练；
S4，对所述测试图像进行预处理的得到所述测试图像对应的人体参数化模型实例；
S5，将所述测试图像输入所述二维图像特征提取网络得到二维图像特征，将所述测试图像对应的人体参数化模型实例输入所述三维体特征提取网络，得到三维体特征，对于空间中特定范围内的均匀格点采样其对应的二维图像特征和三维体特征，输入到隐式函数取值推断网络中，获得格点落在模型内部的概率；
S6，求取格点落在模型内部的概率为0.5的等值面，得到重建后的三维几何模型。
本发明实施例的基于隐式函数和人体模板的单图像人体三维重建方法，通过利用采集好的多种人体多种衣物、多种姿态下的人体模型，充分挖掘人体模型中各个维度的多样性，保证其泛化能力；使用该网络时只需将图片和对应的人体参数化模板实例输入训练后的卷积神经网络，输出对彩色图片中三维几何人体模型的预测结果，具有很强的使用性。
另外，根据本发明上述实施例的基于隐式函数和人体模板的单图像人体三维重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述S1进一步包括：
S11，将所述人体三维几何模型通过图像渲染引擎渲染成多个视角下的RGB图像，得到训练图像；
S12，；将所述人体三维几何模型与人体参数化体态模板进行拟合，得到每个模型所对应的人体参数化体态模板实例；
S13，将每个人体参数化模板实例做体素化，构建对应的三维体描述，得到训练时的输入三维体。
进一步地，在本发明的一个实施例中，所述二维图像特征提取网络包括5层卷积层：第一层卷积层包括16个大小为4x4、步长为2的卷积核，第二层卷积层32个个大小为4x4、步长为2的卷积核，第三层卷积层包括64个大小为4x4、步长为2的卷积核，第四层卷积层包括128个大小为4x4、步长为2的卷积核，第五层卷积层包括256个大小为4x4、步长为2的卷积核，每一层后均连接有一个修正线性单元，每一层的输出构成了图像在该尺度下的特征。
进一步地，在本发明的一个实施例中，所述三维体特征提取网络包括5层三维卷积层：第一层卷积层包括4个大小为4x4x4、步长为2的卷积核，第二层卷积层8个个大小为4x4x4、步长为2的卷积核，第三层卷积层包括16个大小为4x4x4、步长为2的卷积核，第四层卷积层包括32个大小为4x4x4、步长为2的卷积核，第五层卷积层包括32个大小为4x4x4、步长为1的卷积核，第一层到第五层的每一层后均连接有一个修正线性单元。
进一步地，在本发明的一个实施例中，所述隐式函数取值推断网络包含五个全连接层：第一层包括输入维度为256+32＝288，输出维度为1024的线性变换单元；第二层包括输入维度为1024，输出维度为512的线性变换单元；第三层包括输入维度为512，输出维度为256的线性变换单元；第四层包括输入维度为256，输出维度为128的线性变换单元；第五层为输入维度为128，输出维度为1的线性变换单元。其中，第一层到第四层的每一层均连接有一个修正线性单元，最后一层连接有一个sigmoid单元。
进一步地，在本发明的一个实施例中，所述S3进一步包括：
将所述训练图像输入到所述二维图像特征提取网络得到通道数为256的二维特征图；
将所述人体参数化模型实例经过体素化之后输入所述三维体特征提取网络，得到通道数为32的三维特征体；
在有限大小的三维空间中随机采样点p，然后在所述三维特征体中采样得到该点的三维特征f3D(p)，同时将p根据相机变换矩阵投影到2D图像上并采样投影点所对应的二维特征f2D(p)，将两个特征输入到所述隐式函数取值推断网络，得到该点落入模型内部的预测概率h(f3D(p),f2D(p))，完成三个网络的训练。
进一步地，在本发明的一个实施例中，所述S3中的损失函数为：
L＝|h(f3D(p),f2D(p))-h*(p)|
其中，h(f3D(p),f2D(p))为采样点p落入模型内部的预测概率，h*(p)为采样点p落入模型内部的概率的真实值，如果该点在模型内部，则h*(p)＝1，否则为0。
进一步地，在本发明的一个实施例中，所述S4进一步包括：
首先检测人体的关节关键点和人体图像边缘，然后求解人体模板参数，使得人体模板对应的关键点的投影位置与检测结果接近，同时人体模板对应的投影边缘与人体图像边缘接近，以及使人体模板的姿态参数符合参数先验分布。
进一步地，在本发明的一个实施例中，在所述S6中，使用的为Marching Cube算法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于隐式函数和人体模板的单图像人体三维重建方法流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于隐式函数和人体模板的单图像人体三维重建方法。
图1为根据本发明一个实施例的基于隐式函数和人体模板的单图像人体三维重建方法流程图。
如图1所示，该基于隐式函数和人体模板的单图像人体三维重建方法包括以下步骤：
S1，采集人体三维几何模型，对人体三维集合模型进行预处理，生成人工神经网络的训练数据，其中，训练数据包含真实几何模型、训练图像以及对应的人体参数化模板实例。
具体地，采用商用的静态人体三维扫描仪进行采集，采集前要求实验对象摆好一个姿态，然后扫描仪采集多视角图像，随后用配套的数据处理软件进行处理，得到带有纹理的三维模型。
将三维人体几何模型放入随机的虚拟光照环境下，通过OpenGL图像渲染引擎渲染成多个视角下的RGB图像，得到训练图像；将三维人体几何模型与人体参数化体态模板做拟合，得到每个模型所对应的人体参数化体态模板实例；将每个人体参数化模板实例做体素化，构建对应的三维体描述，得到训练时的输入三维体。
其中，拟合参数化人体模板与真实几何模型的方法为：首先对于人体模板上的每个点，在三维几何模型上找到距离最近的对应点，然后用对应点对的集合构造能量函数，能量函数的定义为对应点对的欧式距离，能量函数的自变量则为参数化人体模板的形态参数和姿态参数，通过最小化能量函数，完成人体模板的拟合。
S2，构建满足预设条件的二维图像特征提取人工神经网络、三维体特征提取人工神经网络和隐式函数取值推断人工神经网络。
二维图像特征提取网络包括5层卷积层：第一层卷积层包括16个大小为4x4、步长为2的卷积核，第二层卷积层32个个大小为4x4、步长为2的卷积核，第三层卷积层包括64个大小为4x4、步长为2的卷积核，第四层卷积层包括128个大小为4x4、步长为2的卷积核，第五层卷积层包括256个大小为4x4、步长为2的卷积核，每一层后均连接有一个修正线性单元，每一层的输出构成了图像在该尺度下的特征。
三维体特征提取网络包括5层三维卷积层：第一层卷积层包括4个大小为4x4x4、步长为2的卷积核，第二层卷积层8个个大小为4x4x4、步长为2的卷积核，第三层卷积层包括16个大小为4x4x4、步长为2的卷积核，第四层卷积层包括32个大小为4x4x4、步长为2的卷积核，第五层卷积层包括32个大小为4x4x4、步长为1的卷积核，第一层到第五层的每一层后均连接有一个修正线性单元。
隐式函数取值推断网络包含五个全连接层：第一层包括输入维度为256+32＝288，输出维度为1024的线性变换单元；第二层包括输入维度为1024，输出维度为512的线性变换单元；第三层包括输入维度为512，输出维度为256的线性变换单元；第四层包括输入维度为256，输出维度为128的线性变换单元；第五层为输入维度为128，输出维度为1的线性变换单元。其中，第一层到第四层的每一层均连接有一个修正线性单元，最后一层连接有一个sigmoid单元。
S3，在最小化损失函数的条件下，将训练图像输入二维图像特征提取网络得到二维图像特征，将人体参数化模板实例输入三维体特征提取网络得到三维体特征，通过空间点采样的方式，将采样点的二维图像特征和三维体特征输入隐式函数取值推断人工神经网络，完成三个网络的训练。
将训练图像输入到二维图像特征提取网络，可以得到通道数为256的二维特征图；将对应的人体参数化模型实例经过体素化之后输入三维体特征提取网络，可以得到通道数为32的三维特征体。然后，通过空间点采样的方式进行训练。
训练的具体方法为：在有限大小的三维空间中随机采样点集，使用两种方式进行采样：一种是在空间中均匀采样，另一种是在几何模型表面周围以高斯分布进行采样，两种采样的样本数量比例取做1:16。随后对于点集中的每个采样点p，在上述的三维特征体中，用三线性插值的方式采样该点的三维特征f3D(p)。同时将p根据相机变换矩阵投影到2D图像上，并用双线性插值的方式，采样投影点所对应的二维特征f2D(p)，最后将两个特征输入到上文所述的隐式函数取值推断网络，得到该点落入模型内部的预测概率h(f2D(p),f3D(p))。
训练所使用的损失函数定义为：L＝|h(f3D(p),f2D(p))-h*(p)|。其中，h*(p)为该点落入模型内部的概率的真实值，如果该点在模型内部，则h*(p)＝1，否则为0。通过遍历所有训练数据，并用梯度下降的方式使损失函数极小化，得到训练后的三个神经网络的参数。
S4，对测试图像进行预处理的得到测试图像对应的人体参数化模型实例。
对输入的测试图像进行预处理的具体做法为，首先检测人体的关节关键点和人体图像边缘，然后求解人体模板参数，使得人体模板对应的关键点的投影位置与检测结果尽可能接近，同时人体模板对应的投影边缘与人体图像边缘尽可能接近，以及使人体模板的姿态参数尽可能符合参数先验分布。
具体而言，人体模板的拟合通过能量函数的优化来实现，能量函数包含三个能量项，分别是人体关节关键点与检测结果的距离、人体投影边缘与图像检测边缘的距离，以及人体模板参数在先验分布中的概率的负对数。能量函数的自变量为参数化人体模板的形态参数和姿态参数，通过最小化能量函数，完成人体模板的拟合。将测试图像和预处理获得的人体参数化模型实例输入网络，得到二维图像特征和三维体特征，具体方法与步骤S3所用的方法相同。随后对于空间中的一个有限大小的体，将其均匀划分为体素，分辨率可以设置为256×256×256或者512×512×512。然后对于每个体素所对应的三维点，在三维特征体中采样该点的三维特征，同时投影到二维特征图上并采样相应的二维特征，最后将两个特征输入到上文所述的隐式函数取值推断网络，得到该点落入模型内部的预测概率。对所有体素进行如上操作，即可得到整个体中各个点落入模型内部的概率。
S5，将测试图像输入二维图像特征提取网络得到二维图像特征，将测试图像对应的人体参数化模型实例输入三维体特征提取网络，得到三维体特征，对于空间中特定范围内的均匀格点采样其对应的二维图像特征和三维体特征，输入到隐式函数取值推断网络中，获得格点落在模型内部的概率。
将测试图像和预处理获得的人体参数化模型实例输入网络，得到二维图像特征和三维体特征的方法与上述S3的方法相同。
S6，求取格点落在模型内部的概率为0.5的等值面，得到重建后的三维几何模型。
其中，采用的方法为Marching Cube算法。
根据本发明实施例提出的基于隐式函数和人体模板的单图像人体三维重建方法，通过利用采集好的多种人体多种衣物、多种姿态下的人体模型，充分挖掘人体模型中各个维度的多样性，保证其泛化能力；使用该网络时只需将图片和对应的人体参数化模板实例输入训练后的卷积神经网络，输出对彩色图片中三维几何人体模型的预测结果，具有很强的使用性。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种基于隐式函数和人体模板的单图像人体三维重建方法，其特征在于，包括以下步骤：
S1，采集人体三维几何模型，对所述人体三维集合模型进行预处理，生成人工神经网络的训练数据，其中，所述训练数据包含真实几何模型、训练图像以及对应的人体参数化模板实例；
S2，构建满足预设条件的二维图像特征提取人工神经网络、三维体特征提取人工神经网络和隐式函数取值推断人工神经网络；
S3，在最小化损失函数的条件下，将所述训练图像输入所述二维图像特征提取网络得到二维图像特征，将所述人体参数化模板实例输入所述三维体特征提取网络得到三维体特征，通过空间点采样的方式，将采样点的二维图像特征和三维体特征输入隐式函数取值推断人工神经网络，完成三个网络的训练；
S4，对所述测试图像进行预处理的得到所述测试图像对应的人体参数化模型实例；
S5，将所述测试图像输入所述二维图像特征提取网络得到二维图像特征，将所述测试图像对应的人体参数化模型实例输入所述三维体特征提取网络，得到三维体特征，对于空间中特定范围内的均匀格点采样其对应的二维图像特征和三维体特征，输入到隐式函数取值推断网络中，获得格点落在模型内部的概率；
S6，求取格点落在模型内部的概率为0.5的等值面，得到重建后的三维几何模型。
2.根据权利要求1所述的基于隐式函数和人体模板的单图像人体三维重建方法，其特征在于，所述S1进一步包括：
S11，将所述人体三维几何模型通过图像渲染引擎渲染成多个视角下的RGB图像，得到训练图像；
S12，；将所述人体三维几何模型与人体参数化体态模板进行拟合，得到每个模型所对应的人体参数化体态模板实例；
S13，将每个人体参数化模板实例做体素化，构建对应的三维体描述，得到训练时的输入三维体。
3.根据权利要求1所述的基于隐式函数和人体模板的单图像人体三维重建方法，其特征在于，所述二维图像特征提取网络包括5层卷积层：第一层卷积层包括16个大小为4x4、步长为2的卷积核，第二层卷积层32个个大小为4x4、步长为2的卷积核，第三层卷积层包括64个大小为4x4、步长为2的卷积核，第四层卷积层包括128个大小为4x4、步长为2的卷积核，第五层卷积层包括256个大小为4x4、步长为2的卷积核，每一层后均连接有一个修正线性单元，每一层的输出构成了图像在该尺度下的特征。
4.根据权利要求1所述的基于隐式函数和人体模板的单图像人体三维重建方法，其特征在于，所述三维体特征提取网络包括5层三维卷积层：第一层卷积层包括4个大小为4x4x4、步长为2的卷积核，第二层卷积层8个个大小为4x4x4、步长为2的卷积核，第三层卷积层包括16个大小为4x4x4、步长为2的卷积核，第四层卷积层包括32个大小为4x4x4、步长为2的卷积核，第五层卷积层包括32个大小为4x4x4、步长为1的卷积核，第一层到第五层的每一层后均连接有一个修正线性单元。
5.根据权利要求1所述的基于隐式函数和人体模板的单图像人体三维重建方法，其特征在于，所述隐式函数取值推断网络包含五个全连接层：第一层包括输入维度为256+32＝288，输出维度为1024的线性变换单元；第二层包括输入维度为1024，输出维度为512的线性变换单元；第三层包括输入维度为512，输出维度为256的线性变换单元；第四层包括输入维度为256，输出维度为128的线性变换单元；第五层为输入维度为128，输出维度为1的线性变换单元。其中，第一层到第四层的每一层均连接有一个修正线性单元，最后一层连接有一个sigmoid单元。
6.根据权利要求1所述的基于隐式函数和人体模板的单图像人体三维重建方法，其特征在于，所述S3进一步包括：
将所述训练图像输入到所述二维图像特征提取网络得到通道数为256的二维特征图；
将所述人体参数化模型实例经过体素化之后输入所述三维体特征提取网络，得到通道数为32的三维特征体；
在有限大小的三维空间中随机采样点p，然后在所述三维特征体中采样得到该点的三维特征f3D(p)，同时将p根据相机变换矩阵投影到2D图像上并采样投影点所对应的二维特征f2D(p)，将两个特征输入到所述隐式函数取值推断网络，得到该点落入模型内部的预测概率h(f3D(p)，f2D(p))，完成三个网络的训练。
7.根据权利要求1所述的基于隐式函数和人体模板的单图像人体三维重建方法，其特征在于，所述S3中的损失函数为：
L＝|h(f3D(p)，f2D(p))-h*(p)|
其中，h(f3D(p)，f2D(p))为采样点p落入模型内部的预测概率，h*(p)为采样点p落入模型内部的概率的真实值，如果该点在模型内部，则h*(p)＝1，否则为0。
8.根据权利要求1所述的基于隐式函数和人体模板的单图像人体三维重建方法，其特征在于，所述S4进一步包括：
首先检测人体的关节关键点和人体图像边缘，然后求解人体模板参数，使得人体模板对应的关键点的投影位置与检测结果接近，同时人体模板对应的投影边缘与人体图像边缘接近，以及使人体模板的姿态参数符合参数先验分布。
9.根据权利要求1所述的基于隐式函数和人体模板的单图像人体三维重建方法，其特征在于，在所述S6中，使用的为Marching Cube算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010120114.5A CN111340944B (zh) | 2020-02-26 | 2020-02-26 | 基于隐式函数和人体模板的单图像人体三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010120114.5A CN111340944B (zh) | 2020-02-26 | 2020-02-26 | 基于隐式函数和人体模板的单图像人体三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340944A true CN111340944A (zh) | 2020-06-26 |
| CN111340944B CN111340944B (zh) | 2022-05-17 |
Family
ID=71187931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010120114.5A Expired - Fee Related CN111340944B (zh) | 2020-02-26 | 2020-02-26 | 基于隐式函数和人体模板的单图像人体三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340944B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932679A (zh) * | 2020-08-13 | 2020-11-13 | 北京未澜科技有限公司 | 一种基于隐式模板的三维模型表达方式 |
| CN112330795A (zh) * | 2020-10-10 | 2021-02-05 | 清华大学 | 基于单张rgbd图像的人体三维重建方法及系统 |
| CN112465955A (zh) * | 2020-12-10 | 2021-03-09 | 浙江大学 | 一种动态人体三维重建和视角合成方法 |
| CN112907736A (zh) * | 2021-03-11 | 2021-06-04 | 清华大学 | 基于隐式场的十亿像素场景人群三维重建方法和装置 |
| CN112950788A (zh) * | 2021-03-22 | 2021-06-11 | 江南大学 | 一种基于单张图像的人体重建与成衣定制数据采集方法 |
| CN113112589A (zh) * | 2021-04-13 | 2021-07-13 | 哈尔滨工程大学 | 基于空间占用概率融合的增量式遥感图像的三维重建方法 |
| CN113160382A (zh) * | 2021-03-23 | 2021-07-23 | 清华大学 | 基于隐式模板映射的单视图车辆重建方法和装置 |
| CN113763539A (zh) * | 2021-09-09 | 2021-12-07 | 哈尔滨工业大学（深圳） | 一种基于图像和三维输入的隐式函数三维重建方法 |
| CN115082636A (zh) * | 2022-07-05 | 2022-09-20 | 聚好看科技股份有限公司 | 基于混合高斯网络的单图像三维重建方法及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101655993A (zh) * | 2008-08-20 | 2010-02-24 | 武汉大学 | 复杂建筑物三维模型多分辨率建模方法 |
| US20170124433A1 (en) * | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Unsupervised matching in fine-grained datasets for single-view object reconstruction |
| US20180077400A1 (en) * | 2016-09-12 | 2018-03-15 | Dassault Systemes | 3D Reconstruction Of A Real Object From A Depth Map |
| CN110599585A (zh) * | 2019-08-05 | 2019-12-20 | 清华大学 | 基于深度学习的单图像人体三维重建方法及装置 |
| US20200051325A1 (en) * | 2016-10-24 | 2020-02-13 | 3D Sound Labs | Method for producing a 3d scatter plot representing a 3d ear of an individual, and associated system |
-
2020
- 2020-02-26 CN CN202010120114.5A patent/CN111340944B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101655993A (zh) * | 2008-08-20 | 2010-02-24 | 武汉大学 | 复杂建筑物三维模型多分辨率建模方法 |
| US20170124433A1 (en) * | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Unsupervised matching in fine-grained datasets for single-view object reconstruction |
| US20180077400A1 (en) * | 2016-09-12 | 2018-03-15 | Dassault Systemes | 3D Reconstruction Of A Real Object From A Depth Map |
| US20200051325A1 (en) * | 2016-10-24 | 2020-02-13 | 3D Sound Labs | Method for producing a 3d scatter plot representing a 3d ear of an individual, and associated system |
| CN110599585A (zh) * | 2019-08-05 | 2019-12-20 | 清华大学 | 基于深度学习的单图像人体三维重建方法及装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932679A (zh) * | 2020-08-13 | 2020-11-13 | 北京未澜科技有限公司 | 一种基于隐式模板的三维模型表达方式 |
| CN112330795A (zh) * | 2020-10-10 | 2021-02-05 | 清华大学 | 基于单张rgbd图像的人体三维重建方法及系统 |
| CN112330795B (zh) * | 2020-10-10 | 2022-10-28 | 清华大学 | 基于单张rgbd图像的人体三维重建方法及系统 |
| WO2022121220A1 (zh) * | 2020-12-10 | 2022-06-16 | 浙江大学 | 一种动态人体三维重建和视角合成方法 |
| CN112465955A (zh) * | 2020-12-10 | 2021-03-09 | 浙江大学 | 一种动态人体三维重建和视角合成方法 |
| CN112907736B (zh) * | 2021-03-11 | 2022-07-15 | 清华大学 | 基于隐式场的十亿像素场景人群三维重建方法和装置 |
| CN112907736A (zh) * | 2021-03-11 | 2021-06-04 | 清华大学 | 基于隐式场的十亿像素场景人群三维重建方法和装置 |
| CN112950788A (zh) * | 2021-03-22 | 2021-06-11 | 江南大学 | 一种基于单张图像的人体重建与成衣定制数据采集方法 |
| CN112950788B (zh) * | 2021-03-22 | 2022-07-19 | 江南大学 | 一种基于单张图像的人体重建与成衣定制数据采集方法 |
| CN113160382A (zh) * | 2021-03-23 | 2021-07-23 | 清华大学 | 基于隐式模板映射的单视图车辆重建方法和装置 |
| CN113160382B (zh) * | 2021-03-23 | 2022-10-28 | 清华大学 | 基于隐式模板映射的单视图车辆重建方法和装置 |
| CN113112589A (zh) * | 2021-04-13 | 2021-07-13 | 哈尔滨工程大学 | 基于空间占用概率融合的增量式遥感图像的三维重建方法 |
| CN113763539A (zh) * | 2021-09-09 | 2021-12-07 | 哈尔滨工业大学（深圳） | 一种基于图像和三维输入的隐式函数三维重建方法 |
| CN115082636A (zh) * | 2022-07-05 | 2022-09-20 | 聚好看科技股份有限公司 | 基于混合高斯网络的单图像三维重建方法及设备 |
| CN115082636B (zh) * | 2022-07-05 | 2024-05-17 | 聚好看科技股份有限公司 | 基于混合高斯网络的单图像三维重建方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340944B (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340944B (zh) | 基于隐式函数和人体模板的单图像人体三维重建方法 | |
| Shao et al. | Remote sensing image super-resolution using sparse representation and coupled sparse autoencoder | |
| Zheng et al. | Multisource image fusion method using support value transform | |
| Zhang et al. | Image engineering | |
| CN107909640B (zh) | 基于深度学习的人脸重光照方法及装置 | |
| Aldrian et al. | Inverse rendering of faces with a 3D morphable model | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| CN113099208A (zh) | 基于神经辐射场的动态人体自由视点视频生成方法和装置 | |
| CN110223377A (zh) | 一种基于立体视觉系统高精度的三维重建方法 | |
| Su et al. | Color and depth priors in natural images | |
| CN106897986B (zh) | 一种基于多尺度分析的可见光图像与远红外图像融合方法 | |
| CN114666564B (zh) | 一种基于隐式神经场景表示进行虚拟视点图像合成的方法 | |
| CN106023230B (zh) | 一种适合变形图像的稠密匹配方法 | |
| CN103559737A (zh) | 一种对象全景建模方法 | |
| CN110599585A (zh) | 基于深度学习的单图像人体三维重建方法及装置 | |
| Condorelli et al. | A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images | |
| CN115761178A (zh) | 基于隐式神经表示的多视图三维重建方法 | |
| CN115797561A (zh) | 三维重建方法、设备及可读存储介质 | |
| CN112927348B (zh) | 一种基于多视点rgbd相机高分辨率人体三维重建方法 | |
| CN116681839B (zh) | 一种基于改进NeRF的实景三维目标重建与单体化方法 | |
| CN117830520A (zh) | 基于深度残差和神经隐式表面学习的多视图三维重建方法 | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| CN116721216A (zh) | 基于GCF-MVSNet网络的多视图三维重建方法 | |
| CN116452715A (zh) | 动态人手渲染方法、装置及存储介质 | |
| CN110211090A (zh) | 一种用于评价视角合成图像质量的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220517 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |