CN110223370A - 一种从单视点图片生成完整人体纹理贴图的方法 - Google Patents
一种从单视点图片生成完整人体纹理贴图的方法 Download PDFInfo
- Publication number
- CN110223370A CN110223370A CN201910457005.XA CN201910457005A CN110223370A CN 110223370 A CN110223370 A CN 110223370A CN 201910457005 A CN201910457005 A CN 201910457005A CN 110223370 A CN110223370 A CN 110223370A
- Authority
- CN
- China
- Prior art keywords
- texture
- picture
- human body
- pixel
- complete
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 title claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000036544 posture Effects 0.000 claims abstract description 12
- 238000005286 illumination Methods 0.000 claims abstract description 7
- 230000008447 perception Effects 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000017105 transposition Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004826 seaming Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Abstract
本发明公开一种从单视点图片生成完整人体纹理贴图的方法。该方法包括：随机生成人体姿态和体型参数，得到不同姿态和体型的人体模型，将人体模型和对应的纹理贴图在不同光照、不同视点下渲染生成二维图片；将图片上可见的人体像素映射到模型纹理坐标空间，得到部分人体纹理图；用部分纹理图和对应的完整纹理图做训练数据，训练神经网络将部分纹理图补全为完整的纹理图；输入单视图人体图片，重建人体三维模型，根据可见的像素得到部分纹理图，然后使用训练好的神经网络将其补全为完整的人体纹理图。本发明通过将图片上的像素映射到人体模型统一的纹理坐标空间，然后用神经网络进行纹理补全，能够从单张人体图片得到三维人体模型的完整纹理贴图。
Description
技术领域
本发明属于计算机视觉领域，具体地说，本发明涉及一种基于深度学习的从单视点图片生成包含完整纹理贴图的人体三维模型的方法。
背景技术
三维人体模型在动画制作、影视制作、虚拟现实、人机交互等方面有广泛的应用。传统的三维重建通常需要复杂的采集设备和繁琐的操作流程，如多视点采集系统和激光扫描仪等。而从单张图片中恢复人体三维模型具有速度快、成本低、操作简单等优势，近年来吸引了研究者的广泛关注。目前，从单张图片重建人体三维模型的方法可以分为两大类：
第一类是使用参数化人体模型做先验，然后从图片获得模型参数，进而得到人体三维模型。例如，Federica Bogo等人(Bogo F,Kanazawa A,Lassner C,et al.Keep itSMPL:Automatic estimation of 3D human pose and shape from a single image[C]//European Conference on Computer Vision.Springer,Cham,2016:561-578)提出，首先检测图片上的人体关键点位置，然后用最优化的方法，通过使人体模型上的关键点投影到图片之后与检测到的关键点之间距离尽可能接近，得到人体SMPL(Skinned Multi-PersonLinear Model)模型的参数。Angjoo Kanazawa等人(Kanazawa A,Black M J,Jacobs D W,et al.End-to-end recovery of human shape and pose[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2018:7122-7131)提出使用图片上标记的人体关键点位置的真值，通过加入对抗损失限制人体姿态参数，直接训练神经网络输出人体SMPL模型参数和相机参数。在Angjoo Kanazawa等人工作的基础上，HaoZhu等人(Zhu H,Zuo X,Wang S,et al.Detailed Human Shape Estimation from aSingle Image by Hierarchical Mesh Deformation[J].arXiv preprint arXiv:1904.10506,2019)提出通过神经网络预测人体模型的形变，使其与图片上人的轮廓更好地匹配。
另一类方法是使用神经网络直接预测非参数化的人体模型。例如，Gul Varol等人(Varol G,Romero J,Martin X,et al.Learning from synthetic humans[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2017:109-117)提出直接使用神经网络，从图片预测表示为深度图形式的人体模型。Aaron S.Jackson等人(Jackson A S,Manafas C,Tzimiropoulos G.3d humanbody reconstruction from a single image via volumetric regression[C]//Proceedings of the European Conference on Computer Vision(ECCV).2018:0-0)将人体模型表示为立体像素(Voxel)的形式，使用3D卷积网络预测立体像素的值。
但是上述两类方法至少存在以下缺陷：只考虑了恢复出的人体三维模型的形状与图片相匹配，而不包含完整的纹理贴图。由于完整的纹理贴图是逼真的模型不可或缺的一部分，因此现有方法的应用领域受到了限制。
发明内容
为了从单张图片生成逼真的人体三维模型，本发明提供了一种基于深度学习的根据单视点图片生成人体模型完整纹理贴图的方法。
为了实现上述发明目的，本发明方法采用的技术方案如下：
一种从单视点图片生成完整人体纹理贴图的方法，包括如下步骤：
S1：随机生成参数化人体模型的姿态和体型参数，得到不同姿态和体型的人体模型；将人体模型和对应的纹理贴图在不同光照和不同视点下渲染生成二维图片；其中，人体模型的参数要满足先验分布，即不会产生不真实的三维人体模型且应涵盖各种常见人体姿态和体型；
S2：将步骤S1中渲染生成的二维图片上可见的人体像素映射到人体模型纹理坐标空间，得到部分人体纹理图Iraw，作为神经网络的训练数据；
S3：以部分人体纹理图Iraw为输入，以对应的真实纹理图Igt为真值，训练神经网络预测像素流，然后按像素流采样部分纹理图得到粗糙的完整纹理图Iflow；
S4：以所述粗糙的完整纹理图Iflow为输入和以对应的真实纹理图Igt为真值训练另一个神经网络，生成纹理图中像素流采样无法得到的部分，得到最终的完整纹理图Ifinal；
S5：输入单视图人体图片，使用基于最优化或深度学习的方法从单张图片中获得对应的没有纹理的人体三维模型，根据人体可见部分的像素得到部分纹理图，然后使用步骤S3和S4中训练好的两个神经网络将部分纹理图补全为完整的人体纹理图。
进一步地，所述步骤S1中，不同姿态和体型的人体模型由同一个参数化模型生成，因此人体模型面片拓扑和纹理坐标位置都是一致的；对每一个人体模型，通过旋转矩阵实现虚拟视点的变化，通过改变光源方向和强度实现光照的变化。
进一步地，所述步骤S2中，部分人体纹理图Iraw的获取方法为：根据对应的视点位置参数和人体模型，检测当前视点下可见的模型面片索引；之后遍历所有可见的面片，根据每个面片三个顶点的纹理坐标，计算纹理图上在三角形内的所有纹理像素的重心坐标；根据重心坐标和面片三个顶点投影到图片上的位置，获得纹理像素投影到图片上的位置；最后将图片上对应位置的像素值赋给所述纹理像素；在遍历所有可见的面片的过程中，在每个面片纹理坐标三角形内的像素视为可见像素，得到一个二值的掩膜M。
进一步地，所述步骤S3中，部分纹理图Iraw和表示像素可见性的掩膜M在通道维度上拼接在一起作为网络的输入；网络预测的像素流表示为与纹理图同样大小的两通道图，每个点储存该像素在部分纹理图Iraw上的采样坐标位置；通过神经网络中可导的双线性采样层，网络可以使用输出纹理图与真实纹理图之间的L1范数做损失端到端的训练，网络的损失函数Lflow为：Lflow＝||Igt-Iflow||1。
进一步地，所述步骤S4中，神经网络的输入为步骤S3中得到的粗糙的完整纹理图、左右对称翻转之后的粗糙的完整纹理图和掩膜M三者在通道维度上拼接在一起组成的张量；训练过程中的损失包括L1损失对抗损失Ladv、感知损失Lperc和风格损失Lstyle，网络的损失函数为：
其中，G表示生成最终完整纹理图的网络，D表示判别器网络；λadv、λperc和λstyle分别是对抗损失、感知损失和风格损失的权重。
进一步地，所述步骤S5中，图片对应的人体三维模型与训练阶段使用的模型由同一个参数化模型生成，有相同的面片拓扑和纹理坐标。
本发明通过将单视点人体图片上的像素映射到人体模型统一的纹理坐标空间，使输入神经网络的部分纹理图具有一致的结构。然后用两个级联的神经网络由粗到精补全部分纹理图，第一个网络预测像素流，通过采样部分纹理图得到粗糙的完整纹理图，充分利用了人体纹理贴图具有的统一结构，使神经网络能补全从单张图片得到的大面积缺失的部分纹理图；第二个网络生成纹理图上不能用像素流采样得到的部分，网络中对称的输入使输出的完整纹理图具有合理的对称性，通过对抗损失、感知损失等不同损失函数相结合使生成的纹理看起来更加逼真。
附图说明
图1为本发明方法的流程图。
图2为本发明实施例中训练阶段的流程图。
图3为本发明实施例中运行阶段的流程图。
图4为本发明实施例中神经网络训练数据的获取方法流程图。
图5为本发明实施例中神经网络的框架结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明的一种从单视点图片生成人体模型完整纹理贴图的方法，具体过程如下：
(1)使用多视点三维重建系统或其他三维重建设备，采集一定数量的多样的人体完整纹理贴图，作为神经网络的训练数据。
(2)使用参数化的人体模型，随机生成人体模型中需要的姿态和体型等参数，得到不同姿态和体型的人体模型。对训练数据中的每一张纹理贴图，选择多个不同姿态和体型的人体模型在不同光照、不同视点下渲染生成二维图片。
训练数据中的每张纹理贴图可以得到对应不同姿态和体型的人体模型以及不同光照、不同视点下的多对训练数据，减少了训练神经网络需要采集的纹理贴图数量。并且，这样生成的训练数据足够丰富，能够使训练出的网络能够适应实际图片中的不同情况。
(3)根据对应的人体模型，将渲染的图片上可见的人体像素映射到模型纹理坐标空间，得到部分人体纹理图Iraw，作为神经网络的训练数据。从图片计算部分人体纹理图Iraw的实现方法为：
对每一张渲染出的人体图片Isrc，在它对应的视点位置参数和人体模型参数上加了一个扰动值，大小与原参数的大小成正比。然后根据扰动之后的参数，检测当前状态可见的模型面片索引。之后遍历所有可见的面片，根据每个面片三个顶点的纹理坐标，计算纹理图上在三角形内的所有纹理像素的重心坐标。根据重心坐标和面片三个顶点投影到图片上的位置，获得该纹理像素投影到图片上的位置。最后将图片上对应位置的像素值赋给该纹理像素。
在训练数据的参数中加入了一定扰动，是因为在实际应用中，从图片中恢复出的人体模型参数不可能与真实值完全相同。因此，在训练数据的参数中加入扰动能够让训练出的网络有一定抑制噪声的能力，对实际的图片更加鲁棒。
同时，该步骤可以确定纹理图中每个像素是否可见，遍历所有可见的面片的过程中，在每个面片纹理坐标三角形内的像素视为可见像素，得到一个二值的掩膜M。图片上的人体像素映射到纹理坐标空间后有统一的结构。
(4)以部分纹理图Iraw为网络的输入，对应的真实的完整纹理图Igt为真值训练神经网络预测像素流，然后按像素流采样部分纹理图得到粗糙的完整纹理图Iflow上每个像素的值。
部分纹理图Iraw和表示像素可见性的掩膜M在通道维度上拼接在一起作为网络的输入。网络预测的像素流表示为与纹理图同样大小的两通道图，每个点储存该像素i在部分纹理图Iraw上的采样的坐标位置(x(i)，y(i))。使用神经网络中可导的双线性采样层，可以按像素流中的位置采样，得到输出纹理图Iflow：
其中q表示位置(x(i)，y(i))的4近邻。由于上述采样操作是可导的，网络可以使用输出纹理图与真实纹理图之间的L1范数做损失端到端的训练，网络的损失函数Lflow为：
Lflow＝||Igt-Iflow||1
网络的结构为：首先经过卷积层，将特征图的尺寸降采样到原图的然后是数个空洞卷积(dilated convolution)构成的残差模块(residual block)。最后使用转置卷积(transposed convolution)得到与输入相同尺寸的输出。
(5)以上一步生成的粗糙的完整纹理图Iflow为输入、对应的真实纹理图Igt为真值训练另一个神经网络，生成纹理图中像素流采样无法得到的部分，得到最终的完整纹理图Ifinal。
考虑到人体纹理通常是左右对称的，网络的输入为步骤(4)中得到的粗糙的完整纹理图、左右对称翻转之后的粗糙的完整纹理图和掩膜M三者在通道维度上拼接在一起组成的张量。通过将粗糙的完整纹理图Iflow翻转之后和原图拼接在一起，神经网络的感受野(receptive field)包含了图片上左右对称的位置。这样能够使输出的纹理图具有一定程度的对称性，特别是提升了纹理图在人体模型上左右接缝位置的连续性。
网络输出最终的完整纹理图Ifinal。训练过程中的损失包含L1损失对抗损失(Adversarial Loss)Ladv、感知损失(Perceptual Loss)Lperc和风格损失(Style Loss)Lstyle。网络的损失函数为：
其中G表示生成最终完整纹理图的网络，D表示判别器网络。λadv，λperc和λstyle分别是对抗损失，感知损失和风格损失的权重。其中，对抗损失Ladv定义为：
对抗损失能够使生成的纹理具有更多高频细节。感知损失Lperc定义为：
其中，φi表示在ImageNet数据库上训练的Vgg-19网络的第i层特征，Ni是第i层特征的数量。感知损失能够使网络生成的图片观感上更接近真实图片。风格损失Lstyle定义为：
其中是上述Vgg-19网络中第i层特征φi计算出的Gram矩阵。风格损失有助于减少由于网络中的转置卷积层造成的“棋盘格(checkerboard)”现象。
步骤(5)中生成最终完整纹理图的网络G与步骤(4)中网络使用了相同的结构。
(6)输入单视图人体图片，使用基于最优化或深度学习的技术从单张图片中获得对应的没有纹理的人体三维模型，根据人体可见部分的像素得到部分纹理图，然后使用上述训练好的神经网络将其补全为完整的人体纹理图。
数据预测阶段，从输入的单视图人体图片中得到没有纹理的人体三维模型的过程使用现有的从单张图片重建参数化人体模型的方法。对应的人体三维模型与训练阶段使用的模型由同一个参数化模型生成，有相同的面片拓扑和纹理坐标。从图片获得不完整纹理图的方法与步骤(2)相同。
实施例
本实施例提供了一种从单视点图片生成完整人体纹理贴图的方法，参见图2和3，具体包括：
(1)使用SURREAL数据库中的929张完整纹理图，对每一张纹理图，从UP-3D(Unitethe People)数据库中随机选择20组SMPL人体模型的姿态参数和随机的体型参数，得到不同姿态和体型的人体模型。对得到的每一个模型，从54个视点中随机选择5个，渲染得到图片。54个视点的生成方式是选择3个不同的仰角(-20°，0°，20°)和18个不同的方位角([0°-340°]，间隔20°)。渲染图片的背景从Places数据库中随机选择。这样一共得到了92900张图片。
(2)对92900张渲染的图片中每一张图片对应的人体模型参数，随机添加一个与参数值成正比的均匀分布的扰动噪声。根据扰动后的参数，将渲染的图片上可见的人体像素映射到模型纹理坐标空间，得到部分人体纹理图Iraw，部分人体纹理图Iraw的大小为256×256。
(3)以部分纹理图Iraw为网络的输入，对应的真实的完整纹理图Igt为真值训练神经网络预测像素流，像素流的尺寸同样是256×256。然后按像素流对应位置采样部分纹理图，得到粗糙的完整纹理图Iflow上每个像素的值。
使用的网络结构如图5所示，具体为：首先，用三层3×3的卷积层将特征图的尺寸降采样到原图的后面是8个逐次相连的残差模块，模块中使用膨胀系数(dilationfactor)为2的空洞卷积。最后通过三层转置卷积恢复到原图的尺寸，输出256×256×2的像素流。训练过程中，批次(batch)的大小设置为10，使用Adam优化器，学习率设为0.0001，直到收敛。训练中随机改变图片的色调、对比度、亮度和饱和度作为数据增强。
(4)以上一步生成的粗糙的完整纹理图Iflow为输入、对应的真实纹理图Igt为真值训练另一个神经网络，生成纹理图中像素流采样无法得到的部分，得到最终的完整纹理图Ifinal。这里使用的生成最终完整纹理图的网络G的结构与步骤(3)中的网络相同。判别器网络D使用了Phillip Isola等人(Isola P，Zhu J Y，Zhou T，et al.Image-to-imagetranslation with conditional adversarial networks[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2017：1125-1134)提出的70×70的PatchGAN结构。各项损失的权重系数λadv，λperc和λstyle分别设为0.1，0.1和250。训练过程的参数和数据增强与步骤(3)相同。
(5)输入单视图人体图片，使用Hao Zhu等人(Zhu H，Zuo X，Wang S，etal.Detailed Human Shape Estimation from a Single Image by Hierarchical MeshDeformation[J].arXiv preprint arXiv：1904.10506，2019)提出的方法从单张图片中获得对应的没有纹理的人体三维模型，根据人体可见部分的像素得到部分纹理图，然后使用上述训练好的神经网络将其补全为完整的人体纹理图。下面进行消融实验来验证本方法的有效性。实验包括：
1、不加扰动(w/o.perturb)。实验中不对渲染的图片对应的参数值添加扰动，直接使用真实的参数值获得部分人体纹理图Iraw，然后用这个数据训练神经网络。其他步骤与上述完整过程相同。
2、不使用像素流(w/o.flow)。实验中去掉了第一个神经网络，直接将部分纹理图Iraw输入第二个网络G，训练网络直接补全纹理图。其他与步骤上述完整过程相同。
3、不加对称输入(w/o.symmetry)。实验中使用粗糙的完整纹理图Iflow和表示像素可见性的掩膜M在通道维度上拼接在一起作为第二个网络G的输入。其他步骤与上述完整过程相同。
4、完整方法(full)，即本发明所述的完整方法。
把从SURREAL数据库中得到的92900张图片分为两份，其中90％用于训练，10％用于测试。在测试集上比较了上述4个实验结果与对应的真实纹理图的平均绝对误差MAE(Mean Absolute Error)、信噪比PSNR(Peak Signal-to-Noise Ratio)和结构相似度SSIM(Structural Similarity Index for Measuring)，如下表所示：
表1消融实验定量结果
| 方法 | PSNR | MAE | SSIM |
| w/o.perturb | 17.62 | 0.1710 | 0.5919 |
| w/o.flow | 19.48 | 0.1223 | 0.6699 |
| w/o.symmetry | 19.58 | 0.1200 | 0.6780 |
| full | 19.65 | 0.1189 | 0.6829 |
通过定量的对比，可见本发明的完整方法中的每一步都对最终效果的提升有帮助。
Claims (6)
1.一种从单视点图片生成完整人体纹理贴图的方法，其特征在于，包括如下步骤：
S1：随机生成参数化人体模型的姿态和体型参数，得到不同姿态和体型的人体模型；将人体模型和对应的纹理贴图在不同光照和不同视点下渲染生成二维图片；其中，人体模型的参数要满足先验分布，即不会产生不真实的三维人体模型且应涵盖各种常见人体姿态和体型；
S2：将步骤S1中渲染生成的二维图片上可见的人体像素映射到人体模型纹理坐标空间，得到部分人体纹理图Iraw，作为神经网络的训练数据；
S3：以部分人体纹理图Iraw为输入，以对应的真实纹理图Igt为真值，训练神经网络预测像素流，然后按像素流采样部分纹理图得到粗糙的完整纹理图Iflow；
S4：以所述粗糙的完整纹理图Iflow为输入和以对应的真实纹理图Igt为真值训练另一个神经网络，生成纹理图中像素流采样无法得到的部分，得到最终的完整纹理图Ifinal；
S5：输入单视图人体图片，使用基于最优化或深度学习的方法从单张图片中获得对应的没有纹理的人体三维模型，根据人体可见部分的像素得到部分纹理图，然后使用步骤S3和S4中训练好的两个神经网络将部分纹理图补全为完整的人体纹理图。
2.根据权利要求1所述的一种从单视点图片生成完整人体纹理贴图的方法，其特征在于，所述步骤S1中，不同姿态和体型的人体模型由同一个参数化模型生成，因此人体模型面片拓扑和纹理坐标位置都是一致的；对每一个人体模型，通过旋转矩阵实现虚拟视点的变化，通过改变光源方向和强度实现光照的变化。
3.根据权利要求1所述的一种从单视点图片生成完整人体纹理贴图的方法，其特征在于，所述步骤S2中，部分人体纹理图Iraw的获取方法为：
根据对应的视点位置参数和人体模型，检测当前视点下可见的模型面片索引；之后遍历所有可见的面片，根据每个面片三个顶点的纹理坐标，计算纹理图上在三角形内的所有纹理像素的重心坐标；根据重心坐标和面片三个顶点投影到图片上的位置，获得纹理像素投影到图片上的位置；最后将图片上对应位置的像素值赋给所述纹理像素；在遍历所有可见的面片的过程中，在每个面片纹理坐标三角形内的像素视为可见像素，得到一个二值的掩膜M。
4.根据权利要求1所述的一种从单视点图片生成完整人体纹理贴图的方法，其特征在于，所述步骤S3中，部分纹理图Iraw和表示像素可见性的掩膜M在通道维度上拼接在一起作为网络的输入；网络预测的像素流表示为与纹理图同样大小的两通道图，每个点储存该像素在部分纹理图Iraw上的采样坐标位置；通过神经网络中可导的双线性采样层，网络可以使用输出纹理图与真实纹理图之间的L1范数做损失端到端的训练，网络的损失函数Lflow为：
Lflow＝||Igt-Iflow||1。
5.根据权利要求1所述的一种从单视点图片生成完整人体纹理贴图的方法，其特征在于，所述步骤S4中，神经网络的输入为步骤S3中得到的粗糙的完整纹理图、左右对称翻转之后的粗糙的完整纹理图和表示像素可见性的掩膜M三者在通道维度上拼接在一起组成的张量；训练过程中的损失包括L1损失对抗损失Ladv、感知损失Lperc和风格损失Lstyle，网络的损失函数为：
其中，G表示生成最终完整纹理图的网络，D表示判别器网络；λadv、λperc和λstyle分别是对抗损失、感知损失和风格损失的权重。
6.根据权利要求1所述的一种从单视点图片生成完整人体纹理贴图的方法，其特征在于，所述步骤S5中，图片对应的人体三维模型与训练阶段使用的模型由同一个参数化模型生成，有相同的面片拓扑和纹理坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910457005.XA CN110223370B (zh) | 2019-05-29 | 2019-05-29 | 一种从单视点图片生成完整人体纹理贴图的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910457005.XA CN110223370B (zh) | 2019-05-29 | 2019-05-29 | 一种从单视点图片生成完整人体纹理贴图的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110223370A true CN110223370A (zh) | 2019-09-10 |
| CN110223370B CN110223370B (zh) | 2023-03-07 |
Family
ID=67818517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910457005.XA Active CN110223370B (zh) | 2019-05-29 | 2019-05-29 | 一种从单视点图片生成完整人体纹理贴图的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110223370B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705328A (zh) * | 2019-09-27 | 2020-01-17 | 江苏提米智能科技有限公司 | 一种基于二维码图像采集电力数据的方法 |
| CN111091616A (zh) * | 2019-11-25 | 2020-05-01 | 艾瑞迈迪科技石家庄有限公司 | 一种三维超声图像的重建方法及装置 |
| CN111091624A (zh) * | 2019-12-19 | 2020-05-01 | 南京大学 | 一种从单张图片生成高精度可驱动人脸三维模型的方法 |
| CN111462274A (zh) * | 2020-05-18 | 2020-07-28 | 南京大学 | 一种基于smpl模型的人体图像合成方法及系统 |
| CN112651881A (zh) * | 2020-12-30 | 2021-04-13 | 北京百度网讯科技有限公司 | 图像合成方法、装置、设备、存储介质以及程序产品 |
| CN113034698A (zh) * | 2019-12-24 | 2021-06-25 | 辉达公司 | 使用一个或更多个神经网络生成全景图 |
| CN114842121A (zh) * | 2022-06-30 | 2022-08-02 | 北京百度网讯科技有限公司 | 贴图生成模型训练和贴图生成方法、装置、设备及介质 |
| WO2022205755A1 (zh) * | 2021-03-31 | 2022-10-06 | 深圳市慧鲤科技有限公司 | 纹理生成方法、装置、设备及存储介质 |
| US11928778B2 (en) | 2019-09-30 | 2024-03-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for human body model reconstruction and reconstruction system |
| CN118154753A (zh) * | 2024-05-11 | 2024-06-07 | 中国铁路设计集团有限公司 | 城轨工程bim模型中材质贴图处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510573A (zh) * | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
| CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
-
2019
- 2019-05-29 CN CN201910457005.XA patent/CN110223370B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510573A (zh) * | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
| CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705328A (zh) * | 2019-09-27 | 2020-01-17 | 江苏提米智能科技有限公司 | 一种基于二维码图像采集电力数据的方法 |
| US11928778B2 (en) | 2019-09-30 | 2024-03-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for human body model reconstruction and reconstruction system |
| CN111091616B (zh) * | 2019-11-25 | 2024-01-05 | 艾瑞迈迪医疗科技（北京）有限公司 | 一种三维超声图像的重建方法及装置 |
| CN111091616A (zh) * | 2019-11-25 | 2020-05-01 | 艾瑞迈迪科技石家庄有限公司 | 一种三维超声图像的重建方法及装置 |
| CN111091624A (zh) * | 2019-12-19 | 2020-05-01 | 南京大学 | 一种从单张图片生成高精度可驱动人脸三维模型的方法 |
| CN111091624B (zh) * | 2019-12-19 | 2021-09-28 | 南京大学 | 一种从单张图片生成高精度可驱动人脸三维模型的方法 |
| CN113034698A (zh) * | 2019-12-24 | 2021-06-25 | 辉达公司 | 使用一个或更多个神经网络生成全景图 |
| CN111462274A (zh) * | 2020-05-18 | 2020-07-28 | 南京大学 | 一种基于smpl模型的人体图像合成方法及系统 |
| CN112651881B (zh) * | 2020-12-30 | 2023-08-01 | 北京百度网讯科技有限公司 | 图像合成方法、装置、设备、存储介质以及程序产品 |
| CN112651881A (zh) * | 2020-12-30 | 2021-04-13 | 北京百度网讯科技有限公司 | 图像合成方法、装置、设备、存储介质以及程序产品 |
| WO2022205755A1 (zh) * | 2021-03-31 | 2022-10-06 | 深圳市慧鲤科技有限公司 | 纹理生成方法、装置、设备及存储介质 |
| CN114842121B (zh) * | 2022-06-30 | 2022-09-09 | 北京百度网讯科技有限公司 | 贴图生成模型训练和贴图生成方法、装置、设备及介质 |
| CN114842121A (zh) * | 2022-06-30 | 2022-08-02 | 北京百度网讯科技有限公司 | 贴图生成模型训练和贴图生成方法、装置、设备及介质 |
| CN118154753A (zh) * | 2024-05-11 | 2024-06-07 | 中国铁路设计集团有限公司 | 城轨工程bim模型中材质贴图处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110223370B (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223370A (zh) | 一种从单视点图片生成完整人体纹理贴图的方法 | |
| Zheng et al. | Structured local radiance fields for human avatar modeling | |
| CN109255831B (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| CN106803267B (zh) | 基于Kinect的室内场景三维重建方法 | |
| CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| CN108898630A (zh) | 一种三维重建方法、装置、设备和存储介质 | |
| Zheng et al. | Avatarrex: Real-time expressive full-body avatars | |
| CN110335343A (zh) | 基于rgbd单视角图像人体三维重建方法及装置 | |
| Weng et al. | Vid2actor: Free-viewpoint animatable person synthesis from video in the wild | |
| CN111091624B (zh) | 一种从单张图片生成高精度可驱动人脸三维模型的方法 | |
| CN105913492B (zh) | 一种rgbd图像中物体形状的补全方法 | |
| CN113538667B (zh) | 动态场景光场重建方法及装置 | |
| CN115951784B (zh) | 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法 | |
| CN112819951A (zh) | 一种基于深度图修复的带遮挡三维人体重建方法 | |
| CN113313828A (zh) | 基于单图片本征图像分解的三维重建方法与系统 | |
| CN116958453A (zh) | 基于神经辐射场的三维模型重建方法、设备和介质 | |
| CN112785692A (zh) | 一种基于深度uv先验的单视角多人人体重建方法 | |
| Gao et al. | Neural novel actor: Learning a generalized animatable neural representation for human actors | |
| CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计系统 | |
| CN115115805A (zh) | 三维重建模型的训练方法、装置、设备及存储介质 | |
| Peng et al. | Implicit neural representations with structured latent codes for human body modeling | |
| Peng et al. | Animatable implicit neural representations for creating realistic avatars from videos | |
| Ren et al. | Facial geometric detail recovery via implicit representation | |
| CN112927348B (zh) | 一种基于多视点rgbd相机高分辨率人体三维重建方法 | |
| Rabby et al. | BeyondPixels: A comprehensive review of the evolution of neural radiance fields |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |