CN111243071A - 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质 - Google Patents

Abstract

实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质，方法包括：获取拍摄对象的当前人体模型和深度图像；选取一个当前人体模型作为标准模型，将其顶点重投影至深度图像，提取顶点对应的颜色信息及图像坐标，该颜色信息为颜色初始值，图像坐标转换成纹理坐标；将后续的人体模型顶点的颜色信息与颜色初始值计算加权和，作为标准模型顶点的新颜色；计算当前人体模型的子纹理贴图和子掩膜，组合成完整的纹理图和掩膜；根据纹理图、纹理坐标进行渲染。本发明基于GPU能够快速完成所需纹理的生成和优化，得到高质量的纹理图集，消除光照变化带来的颜色裂缝。可以为在多相机系统产生的人体模型进行渲染，达到良好的视觉真实感。

Description

实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质

技术领域

本发明涉及计算机视觉和计算机图形学的三维重建领域，具体地说是一种实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质。

背景技术

随着立体视觉技术的发展和虚拟现实/增强现实(VR/AR)技术的逐渐普及，如何获得日常生活中真实的人体三维模型已经成为研究的热点和难点，特别是在动态场景中捕捉人体运动；真实的人体三维模型应用十分广泛，可以应用在数字动画，影视级人物动作特效采集和远程会议等。

实时三维人体重建主要包含两方面：几何优化和纹理贴图。几何优化指准确生成人体三维模型的过程；该过程确定模型的几何拓扑结构，给出相对准确的几何信息，但是丢失了所优化目标的纹理信息。纹理映射是将纹理像素映射到三维物体表面的过程；通过纹理映射可以恢复人体模型的纹理信息，增加模型的真实感。因此，在重建生动的人体面貌时，高质量的纹理映射起到至关重要的作用。

对于人体三维重建的纹理渲染，学术界已经开展一些研究。论文《利用单台RGBD摄像机进行实时几何、反照率和运动重建》(K.Guo,F.Xu,T.Yu,X.Liu,Q.Dai,and Y.Liu,“Real-time geometry,albedo and motion reconstruction using a single rgbdcamera,”ACM Transactions on Graphics(TOG)，2017)、《融合4D：挑战场景的实时性能捕捉》(M.Dou,S.Khamis,Y.Degtyarev,P.Davidson,S.Fanello,A.Kowdle,S.O.Escolano,C.Rhemann,D.Kim,J.Taylor,P.Kohli,V.Tankovich,and S.Izadi,“Fusion4D:Real-timePerformance Capture of Challenging Scenes,”inACM SIGGRAPH Conference onComputer Graphics and Interactive Techniques,2016)对顶点简单的取颜色作为输出，该方法受限于RGB图像的分辨率，不可避免的产生模糊现象和粗糙感。

论文《运动融合2：实时容积性能捕捉》(M.Dou,P.Davidson,S.R.Fanello,S.Khamis,A.Kowdle,C.Rhemann,V.Tankovich,and S.Izadi,“Motion2fusion:Real-timevolumetric performance capture,”ACM Trans.Graph.,vol.36,no.6,pp.246:1–246:16,Nov.2017)、《蒙太奇4d：多视角视频纹理的交互式无缝融合》(R.Du,M.Chuang,W.Chang,H.Hoppe,and A.Varshney,“Montage4d:Interactive seamless fusion of multiviewvideo textures,”in Proceedings of the ACM SIGGRAPH Symposium on Interactive3D Graphics and Games,ser.I3D’18.NewYork,NY,USA:ACM,2018,pp.5:1–5:11)提出使用纹理图集产生更加细腻的纹理映射，但是该方法没有考虑时域上的信息，导致纹理图集会不断变化。论文《非结构化融合：基于商用RGBD摄像机的实时4D几何和纹理重建》(L.Xu,Z.Su,L.Han,T.Yu,Y.Liu and F.Lu,“UnstructureFusion:Realtime 4D Geometry andTexture Reconstruction using Commercial RGBD Cameras,”TPAMI Special Issue,2019)提出一种纹理映射方法，考虑时域上的信息，不断融合前后帧产生的纹理图集，克服论文前述中纹理映射出现的问题；但是该论文中的方法无法解决因为不同视角不同光照带来的颜色裂缝问题；渲染后的模型颜色在某些区域会存在明显的明暗变化，降低了纹理渲染的质量。为了能够生成真实生动的三维模型，需要一种能适用于实时三维人体重建的纹理渲染方法。

发明内容

本发明为解决现有的问题，旨在提供一种实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质。

为了达到上述目的，本发明的方法包括：

S1，获取拍摄对象的当前人体模型和深度图像；

S2，选取一个当前人体模型作为标准模型，将其顶点重投影至深度图像，提取顶点对应的颜色信息及图像坐标，该颜色信息为颜色初始值，图像坐标转换成纹理坐标；

S3，将后续的人体模型同样进行S2操作，并将其顶点的颜色信息与颜色初始值计算加权和，作为标准模型顶点的新颜色；

S4，计算当前人体模型的子纹理贴图和子掩膜，并将纹理贴图和掩膜分别组合成完整的纹理图和掩膜；最终根据纹理图、纹理坐标进行渲染。

在一些实施例中，S4中，基于改进的泊松融合，用所生成的掩膜对纹理图进行优化，以去除从各个视角取颜色带来的颜色差异和裂缝，最终平滑颜色过渡区域。

在一些实施例中，S1中，通过多目相机系统同步采集拍摄对象的彩色图像和深度图像。

在一些实施例中，利用dynamic fusion对彩色图像和深度图像优化，生成准确真实的当前人体模型。

在一些实施例中，所述多目相机系统为三个以上能实现同步拍摄的深度相机组。

在一些实施例中，所述深度相机组为呈环形均匀分布的六个微软Azure Kinect相机。

在一些实施例中，S2中，选取首个生成的当前人体模型作为全局标准模型，且该模型为动画模型,即模型的拓扑结构发生变化时，两模型顶点也可以根据索引一一对应。

在一些实施例中，S2中，对标准模型对模型进行网格划分。

在一些实施例中，所述网格划分为：假设每个三角面片的分辨率为R，分辨率为1时，则表示不划分该面片；当分辨率R大于1时，则对网格进行划分，产生的顶点数量则为(R+1)*(R+2)/2，面片数量为R²；新划分的顶点坐标通过重心坐标系确定，即为三个原顶点坐标的加权和，其权重为

(0≤i≤R且0≤j≤R-i)。

在一些实施例中，S2中生成纹理坐标时，利用OpenGL渲染模型深度图像，当顶点渲染的深度与顶点z轴坐标差小于设定阈值时，则该顶点为可见。

在一些实施例中，S2中提取顶点颜色时，利用相机采集的深度图与顶点坐标作比较，其差值小于阈值时，该顶点为可见。

在一些实施例中，S2中重投影顶点时，选取顶点法向量和相机投影向量夹角最小的彩色图像，以确定顶点的颜色。

在一些实施例中，重投影获得的顶点颜色循环地与该顶点颜色初始值进行融合，融合策略如下：

W_i(p)←min(W_i(p)+w_i(p),w_max)

其中，A_i为顶点颜色初始值，W_i为顶点现有颜色累积权重，a_i为顶点当前重投影颜色，w_i为顶点重投影颜色的权重。

在一些实施例中，S3中，在全局标准模型顶点获取颜色后，根据相机内外参渲染出该模型在各个相机坐标系下的纹理图；同时计算出纹理坐标，用于渲染时查找相应的颜色。

在一些实施例中，所述改进的泊松融合包含：标记像素状态、初始化狄利克雷边界条件、计算纹理梯度、迭代优化和计算纹理图的外界矩形。

在一些实施例中，标记像素状态：如果在掩膜内，某个像素的四邻域像素的掩膜值均为零，则该像素标记为界外点；若某像素的四邻域存在非零值，则该像素记为真边界点，即该像素点位置处于边界上。

在一些实施例中，在掩膜不为零的区域，均匀或随机选择若干像素点标记为伪边界点。

在一些实施例中，初始化狄利克雷边界条件：在目标图像中将边界点的位置初始化为纹理图中对应的像素值，其他值均初始化为零。

在一些实施例中，迭代优化中，使用高斯-赛德尔迭代对目标图像进行优化。在一些实施例中，对于标记为界内点的像素，且该像素的四邻域均来自同一视角时，该像素的值为四邻域像素值和梯度的平均值；当像素位于纹理图裂缝处时，在迭代优化过程中该像素的像素值为四邻域的平均值，梯度值设置为零；对于边界点，其像素保持不变，即为初始值。

在一些实施例中，S4中，所述渲染为OpenGL渲染。

本发明还提供一种三维人体重建的纹理渲染系统，包含：

多相机组，采集彩色和深度图像；

优化模块，将彩色和深度图像生成准确真实的当前人体模型和深度图像；

划分投影模块，选取一个当前人体模型作为标准模型，将其顶点重投影至深度图像，提取顶点对应的颜色信息及图像坐标，该颜色信息为颜色初始值，图像坐标转换成纹理坐标；

加权模块，在将后续的人体模型同样进行面片划分，顶点重投影回对应深度图像，提取顶点对应的颜色信息，并将其顶点的颜色信息与颜色初始值计算加权和，作为标准模型顶点的新颜色；

渲染模块，计算当前人体模型的子纹理贴图和子掩膜，并将纹理贴图和掩膜分别组合成完整的纹理图和掩膜；根据纹理图、纹理坐标进行渲染。

本发明还提供一种芯片，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行上述任一项所述的实时三维人体重建的纹理渲染方法。

本发明还提供一种电子设备，包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行上述任一所述的实时三维人体重建的纹理渲染方法。

本发明还提供一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令被处理执行时，实现上述任一所述的实时三维人体重建的纹理渲染方法。

和现有技术相比，本发明基于GPU能够快速完成所需纹理的生成和优化，满足三维重建的实时渲染要求，能够保留纹理细节，实现高保真度，得到高质量的纹理图集；考虑时域上帧间信息，不断对纹理图集进行融合；本发明通过改进泊松融合优化纹理图集，消除由于不同视角不同光照带来的颜色裂缝；通过本方法可以为在多相机系统产生的人体模型进行渲染，达到良好的视觉真实感。

附图说明

图1为相机阵列方式示意图；相机成环形均匀放置，环形中心位置为拍摄对象；

图2为面片划分的示意图；其中，实心圆点为原片面顶点，十字圆点为面片内新划分顶点，X字圆点为面片边缘上新划分顶点；

图3a、3b为各视角的子纹理图；

图4为完整的纹理图。

具体实施方式

现结合附图对本发明作进一步地说明。

参见图1至图4，图1至图4展示的是本发明的一个实施例，本实施例实现了对三维人体进行实时渲染，从多相机系统同步采集的RGBD图像和利用优化算法产生的人体模型作为算法的已知条件，即算法的输入。根据模型顶点的三维坐标和相机内外参，计算模型顶点的图像坐标，提取顶点颜色，渲染出需要的纹理图集，以此来实现对人体模型的渲染。

参见图1，多相机系统的搭建：本实施例对于相机型号无特殊要求，仅需三个以上能实现同步拍摄的深度相机组，从不同角度同步采集RGBD图像；本专利中使用的是六个微软Azure Kinect相机。相机阵列方式如图1所示；六个相机环形均匀分布，而拍摄对象站立于相机阵列的中央。

多相机系统的标定：标定，即是计算出相机的内部参数(intrinsic parameters)和外部参数(extrinsic parameters)。为得到真实尺度的相机平移，在此用棋格盘作为标定工具，计算出相机外参即相机间的相对位置；相机内参为相机厂商提供的参数。

三维人体模型的生成：本实施例中，使用dynamic fusion实时生成人体三维模型；实际上，其他优化方法生成的人体三维模型也适用于本方法。

顶点颜色获取。

全局标准模型(Global Canonical Model)：选取首个生成的人体模型作为全局标准模型，该模型为动画模型(Animation Mesh),动画模型的特点在于，即使模型的拓扑结构发生变化，两模型顶点也可以根据索引一一对应。因此，其他姿态的模型可以跟全局标准模型产生一一对应的映射关系，即绑定到该模型。因此，实时更新全局标准模型的颜色信息，生成渲染需要的纹理图集及纹理坐标。

重投影：已知RGB图像，模型顶点坐标和相机内外参数，可计算出可见顶点的图像坐标，即模型顶点的重投影。

参见图2，网格划分：当人体模型顶点数量较少时，直接重投影提取颜色，会丢失许多模型纹理细节，造成模糊现象。因此，在重投影前，需要对模型进行网格划分。网格划分规则如下：假设每个三角面片的分辨率为R，分辨率为1时，则表示不划分该面片；当分辨率R大于1时，则对网格进行划分，顶点的排列方式类似于杨辉三角，产生的顶点数量则为(R+1)*(R+2)/2，面片数量为R²。新划分的顶点坐标通过重心坐标系确定，即为三个原顶点坐标A,B,C的加权和，其权重为

(0≤i≤R且0≤j≤R-i)。分辨率R的选取，可以根据原人体模型的顶点数量决定；当原顶点数量较多时，R可取较小值；当顶点比较稀疏时，则适当增加R值。

可见性检测：生成纹理坐标和提取顶点颜色时，分别采取不同的可见性检测策略；生成纹理坐标时，利用OpenGL渲染模型深度图(Depth Map)，当顶点渲染的深度与顶点z轴坐标差小于设定阈值时，则该顶点视为可见；提取顶点颜色时，利用相机采集的深度图与顶点坐标作比较，其差值小于阈值时，顶点视为可见。

模型顶点颜色选取：对于多相机系统，三维模型顶点可能被多个相机可见，因此，模型顶点可以重投影到不同视角的RGB图像。因此，在顶点重投影时，选取顶点法向量和相机投影向量(顶点到相机之间向量)夹角最小的彩色图像，以此确定顶点的颜色。

颜色融合：为消除单帧纹理图集某些点颜色缺失现象,在采集视频序列时，重投影获得的顶点颜色不断与该顶点现有颜色进行融合，融合策略如下：

W_i(p)←min(W_i(p)+w_i(p),w_max)；

其中，A_i为顶点现有颜色，W_i为顶点现有颜色累积权重，a_i为顶点当前重投影颜色，w_i为顶点重投影颜色的权重。

参见图3a、图3b和图4，纹理图(TextureAtlas Map)：在全局标准模型顶点获取颜色后，可以根据相机内外参渲染出该模型在各个相机坐标系下的纹理图，将各个视角的纹理图按一定规则排列，同时按照该规则计算出相应的纹理坐标，以便渲染时查找相应的颜色。

掩膜(Mask)：渲染掩膜的方式跟渲染纹理图相似；不同点在于，渲染掩膜时，顶点的颜色人为指定，与取颜色的视角有关，每一个视角指定一种特定的颜色。掩膜可以为之后的泊松融合提供信息。

纹理优化的背景：由于形成纹理图时，顶点的颜色来自于不同的视角的RGB图像；因此，纹理图会因为光线问题：在来自于不同视角的颜色过渡区域存在明显的裂缝问题，形成视觉上颜色突变。为解决该问题，需要对纹理图集进行进一步的优化。泊松融合是一种简单有效的图像融合方式，它基于泊松方程对边界像素进行直接建模，求解像素最优值，在保留原图像梯度信息时，融合源图像和目标图像，实现梯度域上的连续，以此达到两图像边界处的无缝融合的效果。传统的泊松融合利用源图像的边界像素作为初始条件进行建模，实现两幅图像的自然过渡。该原理并不直接适用于此处的纹理图优化，因为纹理图存在不同视角间的裂缝，可以视为多图像的融合问题，在本方法中对泊松融合进行针对性的改进，以适用于此处的优化要求，解决图像颜色裂缝问题，生成自然地纹理图集。

改进的泊松融合：该算法主要包含四个步骤：标记像素状态，初始化狄利克雷边界条件(Dirichlet Boundary)，计算纹理梯度，高斯-赛德尔迭代优化(Gauss SeidelOptimization)和计算纹理图的外界矩形。

标记像素状态：纹理图中的像素分为三种状态：边界点(Boundary)，界内点(Inside)和界外点(Outside)。对纹理图中的所有像素进行标记。划分标准如下：如果在掩膜内，某个像素的四邻域像素的掩膜值均为零，则该像素标记为界外点；在本算法中，边界点包含真边界点和伪边界点；若某像素的四邻域存在非零值，则该像素记为真边界点，即该像素点位置处于边界上；此外，在掩膜不为零的区域，均匀(或随机)选择一定数量的像素点标记为伪边界点(实际上伪边界点并不真正处于纹理的边界位置)；伪边界点的作用在于，为迭代优化提供一定的先验知识，保证优化后纹理质量并缩短优化时间；掩膜不为零且非边界点的像素均标记为界内点。

初始化狄利克雷边界条件：初始化目标图像(Target Image),在目标图像中，将边界点的位置初始化为纹理图中对应的像素值；其他值均初始化为零。

计算纹理图的外界矩形：该步骤主要作用在于减小纹理图中需要优化的像素的数量。该方法生成的纹理图，包含大量的黑色背景区域，因此，忽略该区域的优化，可以大幅减小优化所需的时间和计算资源。

计算纹理梯度：对于每个像素计算其四邻域内梯度值，计算公式如下：

迭代优化：本算法中使用高斯-赛德尔迭代对目标图像进行优化；为了实现梯度连续和无缝连接效果，迭代策略如下公式所示。对于标记为界内点的像素，且该像素的四邻域均来自同一视角时，该像素的值为四邻域像素值和梯度的平均值。当像素位于纹理图裂缝处时，在迭代优化过程中，该像素的像素值为四邻域的平均值，梯度值设置为零；对于边界点，其像素保持不变，即为初始值。

OpenGL渲染：OpenGL渲染过程为OpenGL标准流程。人体模型的顶点位置，法向量和纹理坐标通过顶点缓冲对象(Vertex Buffer Objects,VBO)发送给顶点着色器(VertexShader),同时把纹理图通过GL_TEXTURE_2D绑定到纹理对象；顶点位置，法向量和纹理坐标经过顶点着色器传给片段着色器，纹理对象通过采样器(Sampler)把纹理添加到片段着色器；最后，片段着色器输出三维人体模型的三角面片的颜色。

上述方法生成的纹理图可以对三维人体模型进行渲染，达到视觉上真实效果；该方法开发环境完全基于Nvidia GPU，生成纹理图时间约为20ms，泊松融合的优化时间约为200ms，基本可满足实时三维人体重建的渲染要求；此外，该方法也可应用到其他物体(刚性或非刚性物体)的纹理渲染，以满足视觉真实感的要求。

进一步地，本发明还提供一种三维人体重建的纹理渲染系统，包含：

多相机组，采集彩色和深度图像；

优化模块，将彩色和深度图像生成准确真实的当前人体模型和深度图像；

划分投影模块，选取一个当前人体模型作为标准模型，将其顶点重投影至深度图像，提取顶点对应的颜色信息及图像坐标，该颜色信息为颜色初始值，图像坐标转换成纹理坐标；

加权模块，在将后续的人体模型同样进行面片划分，顶点重投影回对应深度图像，提取顶点对应的颜色信息，并将其顶点的颜色信息与颜色初始值计算加权和，作为标准模型顶点的新颜色；

渲染模块，计算当前人体模型的子纹理贴图和子掩膜，并将纹理贴图和掩膜分别组合成完整的纹理图和掩膜；根据纹理图、纹理坐标进行渲染。

进一步地，本发明还提供一种芯片，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行上述任一项所述的实时三维人体重建的纹理渲染方法。

进一步地，本发明还提供一种电子设备，包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行上述任一所述的实时三维人体重建的纹理渲染方法。

进一步地，本发明还提供一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令被处理执行时，实现上述任一所述的实时三维人体重建的纹理渲染方法。

例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等。处理器可以是中央处理器(Central Processing Unit，CPU)等。或者是图像处理器(Graphic Processing Unit,GPU)存储器可以存储可执行指令。处理器可以执行在存储器中存储的可执行指令，从而实现本文描述的各个过程。

可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM(Read-OnlyMemory，只读存储器)、PROM(ProgrammableROM，可编程只读存储器)、EPROM(ErasablePROM，可擦除可编程只读存储器)、EEPROM(ElectricallyEPROM，电可擦除可编程只读存储器)或闪存。易失性存储器可以是RAM(RandomAccessMemory，随机存取存储器)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如SRAM(StaticRAM，静态随机存取存储器)、DRAM(DynamicRAM，动态随机存取存储器)、SDRAM(SynchronousDRAM，同步动态随机存取存储器)、DDRSDRAM(DoubleDataRate SDRAM，双倍数据速率同步动态随机存取存储器)、ESDRAM(Enhanced SDRAM，增强型同步动态随机存取存储器)、SLDRAM(SynchlinkDRAM，同步连接动态随机存取存储器)和DRRAM(DirectRambusRAM，直接内存总线随机存取存储器)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。

在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行第二方面所提供的方法步骤。

本发明实施例还提供一种芯片，用于执行上述的方法。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述方法。

本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明上述的方法的步骤。

例如，机器可读存储介质可以包括但不限于各种已知和未知类型的非易失性存储器。

本发明实施例还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述方法。

本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。

在本申请实施例中，所公开的系统、电子设备和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中。因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。

上面结合附图及实施例描述了本发明的实施方式，实施例给出的并不构成对本发明的限制，本领域内熟练的技术人员可依据需要做出调整，在所附权利要求的范围内做出各种变形或修改均在保护范围内。

Claims (10)

1.一种实时三维人体重建的纹理渲染方法，其特征在于包括：

S1，获取拍摄对象的当前人体模型和深度图像；

S2，选取一个当前人体模型作为标准模型，将其顶点重投影至深度图像，提取顶点对应的颜色信息及图像坐标，该颜色信息为颜色初始值，图像坐标转换成纹理坐标；

S3，将后续的人体模型同样进行S2操作，并将其顶点的颜色信息与颜色初始值计算加权和，作为标准模型顶点的新颜色；

S4，计算当前人体模型的子纹理贴图和子掩膜，并将纹理贴图和掩膜分别组合成完整的纹理图和掩膜；最终根据纹理图、纹理坐标进行渲染。

2.根据权利要求1所述的实时三维人体重建的纹理渲染方法，其特征在于：S4中，基于改进的泊松融合，用所生成的掩膜对纹理图进行优化，以去除从各个视角取颜色带来的颜色差异和裂缝，最终平滑颜色过渡区域。

3.根据权利要求1或2所述的实时三维人体重建的纹理渲染方法，其特征在于：S1中，通过多目相机系统同步采集拍摄对象的彩色图像和深度图像。

4.根据权利要求3所述的实时三维人体重建的纹理渲染方法，其特征在于：利用dynamic fusion对彩色图像和深度图像优化，生成准确真实的当前人体模型。

5.根据权利要求3所述的实时三维人体重建的纹理渲染方法，其特征在于：所述多目相机系统为三个以上能实现同步拍摄的深度相机组。

6.根据权利要求5所述的实时三维人体重建的纹理渲染方法，其特征在于：所述深度相机组为呈环形均匀分布的六个微软Azure Kinect相机。

7.根据权利要求1所述的实时三维人体重建的纹理渲染方法，其特征在于：S2中，选取首个生成的当前人体模型作为全局标准模型，且该模型为动画模型,即模型的拓扑结构发生变化时，两模型顶点也可以根据索引一一对应。

8.根据权利要求1所述的实时三维人体重建的纹理渲染方法，其特征在于：S2中，对标准模型对模型进行网格划分。

9.根据权利要求8所述的实时三维人体重建的纹理渲染方法，其特征在于：所述网格划分为：假设每个三角面片的分辨率为R，分辨率为1时，则表示不划分该面片；当分辨率R大于1时，则对网格进行划分，产生的顶点数量则为(R+1)*(R+2)/2，面片数量为R²；新划分的顶点坐标通过重心坐标系确定，即为三个原顶点坐标的加权和，其权重为

(0≤i≤R且0≤j≤R-i)。

10.根据权利要求1、8、9任一所述的实时三维人体重建的纹理渲染方法，其特征在于：重投影获得的顶点颜色循环地与该顶点颜色初始值进行融合，融合策略如下：

W_i(p)←min(W_i(p)+w_i(p),w_max)

其中，A_i为顶点颜色初始值，W_i为顶点现有颜色累积权重，a_i为顶点当前重投影颜色，w_i为顶点重投影颜色的权重。

Images