CN116137050B

CN116137050B - 三维真人模型处理方法、处理装置、电子设备及存储介质

Info

Publication number: CN116137050B
Application number: CN202310416460.1A
Authority: CN
Inventors: 马思伟; 颜若珂; 尹茜; 张新峰; 常建慧; 王苫社
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2023-04-19
Filing date: 2023-04-19
Publication date: 2023-09-01
Anticipated expiration: 2043-04-19
Also published as: CN116137050A

Abstract

本申请公开了一种三维真人模型处理方法、处理装置、电子设备及存储介质。该三维真人模型处理方法，包括：将输入的三维真人模型划分为粗粒度层和细粒度层；基于原始参数化真人模型SMPL、所述粗粒度层和所述细粒度层，获取与所述输入的三维真人模型相对应的编码数据；根据所述编码数据在解码端重建并输出三维真人模型。本申请实施例提供的三维真人模型处理方法，提高了三维真人模型传输后的视觉质量，能够在保证视觉感知效果的基础上极大节省三维真人模型传输过程中的码率。

Description

三维真人模型处理方法、处理装置、电子设备及存储介质

技术领域

本申请涉及视觉数据处理技术领域，具体涉及一种三维真人模型处理方法、处理装置、电子设备及计算机可读存储介质。

背景技术

高保真真人模型作为人体化身逐渐成为“元宇宙”的关键元素之一，在虚拟教学和远程会议等VR/AR场景中发挥着重要作用。高精度的真人模型通常以点云、网格等3D格式呈现，在实际应用中由于数据量较为庞大，存储和传输效率较低，迫切需要一种高效和智能的压缩方案。

然而，相关技术中面向三维数据的压缩方法在处理真人模型时面临以下困境：相关技术忽略了整体的视觉感知，三维真人模型传输后的视觉质量较差，尤其是在极低的码率下，通过以这些信号为导向的压缩方法得到的重建模型视觉质量差、很难满足视觉感官的要求。

发明内容

本申请的目的是提供一种三维真人模型处理方法、处理装置、电子设备及计算机可读存储介质，以提高三维真人模型传输后的视觉质量。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种三维真人模型处理方法，包括：

将输入的三维真人模型划分为粗粒度层和细粒度层；

基于原始参数化真人模型SMPL、所述粗粒度层和所述细粒度层，获取与所述输入的三维真人模型相对应的编码数据；

根据所述编码数据在解码端重建并输出三维真人模型。

在本申请的一些实施例中，所述将输入的三维真人模型划分为粗粒度层和细粒度层，包括：

根据视觉感知特征粒度将所述输入的三维真人模型的数据分解为用于表示体型和姿态的粗粒度层以及用于表示衣服褶皱和面部表情的细粒度层。

在本申请的一些实施例中，所述基于原始参数化真人模型SMPL、所述粗粒度层和所述细粒度层，获取与所述输入的三维真人模型相对应的编码数据，包括：

通过法线贴图映射获取所述细粒度层的正面法线贴图；

基于所述正面法线贴图获取背面法线贴图；

基于所述原始SMPL、所述粗粒度层和所述正面法线贴图，获取所述粗粒度层参数数据；

根据所述粗粒度层参数数据、所述正面法线贴图和所述背面法线贴图进行编码，得到与所述输入的三维真人模型相对应的编码数据。

在本申请的一些实施例中，所述基于所述原始SMPL、所述粗粒度层和所述正面法线贴图，获取所述粗粒度层参数数据，包括：

通过基于回归的三维拟合对原始SMPL模型以及所述输入的三维真人模型进行拟合，得到三维拟合后的SMPL；

通过基于优化的二维约束对所述三维拟合后的SMPL以及所述正面法线贴图进行处理，得到二维约束后的SMPL；

提取所述二维约束后的SMPL的参数，得到所述粗粒度层参数数据。

在本申请的一些实施例中，所述基于所述正面法线贴图获取背面法线贴图，包括：

利用基于姿态一致性的预测方式获取所述正面法线贴图的残差图，利用所述残差图作为所述背面法线贴图。

在本申请的一些实施例中，所述根据所述粗粒度层参数数据、所述正面法线贴图和所述背面法线贴图进行编码，得到与所述输入的三维真人模型相对应的编码数据，包括：

使用基于深度学习的图像编码方式对所述残差图和所述正面法线贴图进行编码，得到图像编码数据；

对所述图像编码数据与所述粗粒度层参数数据进行编码，得到所述编码数据。

在本申请的一些实施例中，所述根据所述编码数据在解码端重建并输出三维真人模型，包括：

在解码端解码所述编码数据，得到解码后的正面法线贴图、解码后的残差图和解码后的粗粒度层参数数据；

通过基于姿态一致性的生成方式处理所述解码后的残差图，得到解码后的背面法线贴图；

根据所述原始SMPL和所述解码后的粗粒度层参数数据生成解码二维约束后的SMPL；

利用所述解码二维约束后的SMPL、所述解码后的正面法线贴图以及所述解码后的背面法线贴图重建并输出三维真人模型。

根据本申请实施例的另一个方面，提供一种三维真人模型处理装置，包括：

粒度层划分模块，用于将输入的三维真人模型划分为粗粒度层和细粒度层；

编码数据获取模块，用于基于原始参数化真人模型SMPL、所述粗粒度层和所述细粒度层，获取与所述输入的三维真人模型相对应的编码数据；

模型重建模块，用于根据所述编码数据在解码端重建并输出三维真人模型。

根据本申请实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序，以实现本申请任一实施例所述的三维真人模型处理方法。

根据本申请实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，以实现本申请任一实施例所述的三维真人模型处理方法。

本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果：

本申请实施例提供的三维真人模型处理方法，将输入的三维真人模型划分为粗粒度层和细粒度层，基于原始参数化真人模型SMPL、所述粗粒度层和所述细粒度层，获取与所述输入的三维真人模型相对应的编码数据，根据所述编码数据在解码端重建并输出三维真人模型，提高了三维真人模型传输后的视觉质量，能够在保证视觉感知效果的基础上极大节省三维真人模型传输过程中的码率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个实施例的三维真人模型处理方法流程图。

图2示出了一些实施方式中的步骤S20的流程图。

图3示出了本申请一个具体示例的三维真人模型处理方法流程图。

图4示出了本申请一个实施例的三维真人模型处理装置结构框图。

图5示出了本申请一个实施例的电子设备结构框图。

图6示出了本申请一个实施例的计算机可读存储介质示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本申请做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

参考图1所示，本申请的一个实施例提供了一种三维真人模型处理方法，可以包括步骤S10至S30：

S10、将输入的三维真人模型划分为粗粒度层和细粒度层。

在一些实施方式中，步骤S10、将输入的三维真人模型划分为粗粒度层和细粒度层，可以包括：根据视觉感知特征粒度将所述输入的三维真人模型的数据分解为用于表示体型和姿态的粗粒度层以及用于表示衣服褶皱和面部表情的细粒度层。

S20、基于原始参数化真人模型SMPL、所述粗粒度层和所述细粒度层，获取与所述输入的三维真人模型相对应的编码数据。

参数化真人模型（SMPL）是一种被广泛使用的三维真人模型，包含6890个顶点，用于对人体的轮廓形状（例如胖瘦高矮等）以及人体动作的姿态进行定义。总体来说，SMPL模型是一个统计模型，其通过两种类型的统计参数对人体进行描述：10个形状参数β和24个姿态参数θ。SMPL模型是一个参数化三维真人模型，使用β和θ这两个参数来对人体三维网格模型进行编码。β参数控制人体的高矮胖瘦、头身比例等体型特征，θ参数描述人体各个关节的相对角度，即姿态特征，法线贴图是一个通过RGB颜色通道表示三维模型凹凸表面每个点法线方向的图片，存储模型表面细微细节。

参考图2所示，在一些实施方式中，步骤S20、基于原始参数化真人模型SMPL、所述粗粒度层和所述细粒度层，获取与所述输入的三维真人模型相对应的编码数据，包括步骤S201至S204：

S201、通过法线贴图映射获取所述细粒度层的正面法线贴图。

法线贴图（Normal Mapping）指的是对三维物体的凹凸表面每个点做法线，该法线的方向使用RGB颜色通道来表示。法线贴图可以用来存储三维物体表面的细微细节。

S202、基于所述正面法线贴图获取背面法线贴图。

示例性地，基于所述正面法线贴图获取背面法线贴图，包括：利用基于姿态一致性的预测方式获取所述正面法线贴图的残差图，利用所述残差图作为所述背面法线贴图。

S203、基于所述原始SMPL、所述粗粒度层和所述正面法线贴图，获取所述粗粒度层参数数据。

示例性地，基于所述原始SMPL、所述粗粒度层和所述正面法线贴图，获取所述粗粒度层参数数据，包括：通过基于回归的三维拟合对原始SMPL模型以及所述输入的三维真人模型进行拟合，得到三维拟合后的SMPL；通过基于优化的二维约束对所述三维拟合后的SMPL以及所述正面法线贴图进行处理，得到二维约束后的SMPL；提取所述二维约束后的SMPL的参数，得到所述粗粒度层参数数据。

S204、根据所述粗粒度层参数数据、所述正面法线贴图和所述背面法线贴图进行编码，得到与所述输入的三维真人模型相对应的编码数据。

在一些示例中，根据所述粗粒度层参数数据、所述正面法线贴图和所述背面法线贴图进行编码，得到与所述输入的三维真人模型相对应的编码数据，包括：使用基于深度学习的图像编码方式对所述残差图和所述正面法线贴图进行编码，得到图像编码数据；对所述图像编码数据与所述粗粒度层参数数据进行编码，得到所述编码数据。

S30、根据所述编码数据在解码端重建并输出三维真人模型。

在一些实施方式中，步骤S30、根据所述编码数据在解码端重建并输出三维真人模型，包括：在解码端解码所述编码数据，得到解码后的正面法线贴图、解码后的残差图和解码后的粗粒度层参数数据；通过基于姿态一致性的生成方式处理所述解码后的残差图，得到解码后的背面法线贴图；根据所述原始SMPL和所述解码后的粗粒度层参数数据生成解码二维约束后的SMPL；利用所述解码二维约束后的SMPL、所述解码后的正面法线贴图以及所述解码后的背面法线贴图重建并输出三维真人模型。

通过编码器将编码数据的码流发送给解码器，解码器在解码端对码流进行解码，得到解码后的数据，利用解码后的数据重建并输出三维真人模型。

本申请实施例的技术方案实现了面对视觉感知的模型驱动三维真人模型处理，提高了极低码率条件下真人模型数据传输后的视觉质量。

本申请实施例中面向视觉感知的压缩是指将真人模型编码为用于重建的紧凑、高级可解释表示，从而实现更高效和分析友好的压缩架构。

本申请实施例的三维真人模型可以集成到真人模型压缩传输系统中，重建出的三维真人模型具有高保真特性，其极致压缩也可以显著提高压缩性能，节约传输带宽，能够为虚拟化身的应用提供更大的方便。

基于投影的三维模型质量评价指标是一个全参考的三维模型质量评价指标，该方法在二维域中对三维模型及其参考进行比较。三维模型被投影到平面获取对应的二维图像，使用相关图像质量评价指标，作为三维模型的质量分数。

在一些实施方式中，基于对人体模型的视觉感知，采用模型驱动感知压缩框架，包括：使用三维人体参数模型来表征体型和姿势等粗粒度特征，并且引入法线贴图来提取细节，例如衣服褶皱，以获得细粒度表达。三维模型经具有多粒度表示的双层编码架构编码后，在解码端进行融合生成。

基于视觉感知的方法在图像和视频编码上的应用取得了巨大的成功，这种方法不仅局限于信号级的数据处理，而是从感知的角度实现了在极低的比特率下的有效压缩。对从模型中提取的视觉感知信息进行编码，然后以生成的方式进行重构，得到重建后的三维真人模型。

本申请实施例的三维真人模型处理方法能够在保证视觉感知效果的基础上极大节省三维真人模型传输过程中的码率。

参考图3所示，在一个具体示例中，该三维真人模型处理方法，包括：根据三维真人模型视觉感知的特征粒度区别划分粗细粒度层级，并根据不同粒度层级特征表示特性设计对应的编码框架，在解码端以生成的方式重建真人模型，具有较高的视觉感知质量。

将三维人体数据分解为包含体型、姿态等大致结构的粗粒度层，以及表示衣服褶皱、面部表情等精细结构的细粒度层，同时根据不同粒度层的特性，分别使用参数化真人模型（SMPL）以及法线贴图来存储对应信息，之后分别进行编码以极低的比特率实现高质量的压缩。

所述粗细粒度层包括粗粒度层和细粒度层。

粗粒度层包括三维真人模型中姿态、体型等特征，通过参数化真人模型SMPL来表示；细粒度层包括三维真人模型中面部表情、衣服褶皱等特征，通过正面法线贴图以及背面法线贴图表示。

所述对应编码框架具体包括：

粗粒度层编码，利用原始SMPL模型基于与三维真人模型在三维层面和二维层面上的差异进行逐步拟合获取目标SMPL，提取目标SMPL的参数，使用无损二进制对目标SMPL的参数进行编码，并将编码数据传输到解码器；

细粒度层编码，通过法线贴图映射获取三维真人模型的正面法线贴图以及背面法线贴图，利用基于姿态一致性的预测得到残差图，将残差图与正面法线贴图一起使用基于深度学习的图像编码方式得到图像编码数据，并将图像编码数据传输到解码器。

根据原始SMPL以及输入三维真人模型在三维层面和二维层面的差异进行拟合，具体包括：

基于回归的三维拟合将SMPL通过三维空间内的渐近拟合过程与输入三维模型对齐，通过迭代优化对最优参数组进行求解，计算过程如公式（1）所示，

（1）

其中，目标函数是最小化SMPL和输入真人模型之间的加权倒角距离之和，p和p^s分别表示V和V^s中的每个点；w为相加两项的占比权重，在此被设置为相同数值1，V表示输入真人模型的顶点集合，V^s表示SMPL的顶点集合。使用所获得的参数组，将原始标准SMPL转换为对应的SMPL。

基于投影的二维约束，在二维域进一步优化经三维拟合获取的参数组。对输入模型的正面法线贴图提取人体轮廓图作为参考，对三维拟合后获得的SMPL进行弱透视投影提取SMPL轮廓图Con_SMPL，计算过程如公式（2）所示，

Con _SMPL=sΠV^s+t（2），

其中，Π表示正交投影，s表示缩放参数，t表示平移参数。输入三维模型的表面轮廓可以直接从法线贴图中提取。通过最小化轮廓图之间的差异来联合优化获取精细参数组，计算过程如公式（3）所示。

（3）

继续逐步优化SMPL参数，使得二者轮廓图能够精准对齐。Con_front代表正面法线贴图。

细粒度编码具体指法线贴图编码，主要包括法线贴图映射、基于姿态一致性的预测以及图像编码。将编码数据传输到解码器。由于法线可以准确地反映模型的表面信息，因此将输入模型的三维法线映射到二维法线贴图。为了尽可能多地保留结构信息，对真人模型正面及背面两个方向进行映射。此外，由于人体的前后信息具有一定的相关性，通过使用基于姿态一致性的预测获取背面法线残差图。实际上，仅对正面法线贴图及残差图进行压缩。

可选地，所述基于姿态一致性的预测，具体包括：图像迁移和残差计算。对于图像迁移，由正面法线贴图预测背面法线贴图。残差计算具体指计算预测值和真实值之间的差异，通过设置正向及负向残差来保证差异记录完整。

基于姿态一致性的预测是以人体前后姿态一致为基础，根据三维真人模型的正面法线贴图预测背面法线贴图，预测值与真实值的差被存储为正负残差图。

在解码端以生成方式重建真人模型，具体包括：

基于姿态一致性的法线贴图生成，对压缩后的正面法线贴图进行预测，得到的法线贴图与残差图相结合，即可重构得到背面法线贴图；

参数组生成SMPL，SMPL中每个顶点由顶点权重图和相应的骨骼关联。该顶点在该骨骼影响下的位置可根据骨骼在当前位置相对于静止位置的变换矩阵以及此顶点相对于该骨骼的权重来计算。变换矩阵及权重均可由参数组求得；

隐式重建，提取法线贴图与SMPL中的特征，输入到隐式函数取值推断网络中，获得该格点落在模型内部的概率。求出格点落在模型内部的概率为0.5的等值面，得到重建后的三维几何模型。

可选地，所述解码端融合，具体包括：基于姿态一致性的法线贴图生成、SMPL模型生成和隐式重建。

本申请实施例中实现了面向视觉感知的模型驱动三维真人模型压缩，使压缩后的虚拟人仍具有高保真的特性。并且进一步引入了基于姿态一致性的预测，在保证主观质量的基础上进一步降低码率。该方法需要压缩的内容与传统的基于信号级数据压缩方法相比极少，更有潜力实现真人模型的低比特率压缩。

在本申请实施例中，参考模型是指当前压缩三维真人模型，原始模型是指参考模型的未压缩版本。

在一个具体的实施例中，面向视觉感知的模型驱动三维真人模型压缩框架的具体实施过程，编解码中的有效特征及特征含义如表1所示。

表1 编解码中的有效特征及其解释

其中，img’_front代表解码后的正面法线贴图，img’_back代表解码后的背面法线贴图，R’_pos代表解码后的正值残差图，R’_neg代表解码后的负值残差图，（β’，θ’，t’）代表解码后的SMPL模型参数组，β’代表解码后的β，θ’代表解码后的θ，t’代表解码后的t，SMPL_fit代表解码后的三维拟合后的SMPL，代表解码后的二维约束后的SMPL。

本示例中，多粒度层表征包括粗粒度特征表示和细粒度特征表示。

在本示例中，粗粒度特征表示可以包括：

使用SMPL来表示输入三维模型的姿态、体型等粗粒度特征。求解SMPL的算法主要包括基于回归的三维拟合以及基于投影的二维约束。三维拟合中，将SMPL与输入模型对齐，逐轮改变SMPL姿态、体型参数，使得两个模型间最近邻点的欧氏距离之和最小，多轮迭代回归求解SMPL参数组。进一步使用SMPL与输入模型平面映射的轮廓差异作为二维约束，从而获取更加精细的SMPL参数组。其中输入模型的平面轮廓可以从正面法线贴图中计算。SMPL的平面轮廓通过弱透视投影来计算。获取的参数组采用无损二进制编码，并将其传输到解码器。

在本示例中，细粒度特征表示，可以包括：

使用法线贴图来表示输入三维模型的面部表情、衣服褶皱等细粒度特征。为进一步降低需要压缩的数据量，使用基于姿态一致性的预测获取残差图来代替背面法线贴图。预测算法主要包括图像迁移以及残差计算。根据正面法线贴图获得预测的背面法线贴图。根据预测值和真实值之间的差异，计算残差并存储为正向及负向残差图。获取的正面法线贴图与残差图分别使用对应的压缩模型进行编码，并将其传输到解码器。

在本示例中，可以包括压缩模型训练过程，该压缩模型训练过程可以包括数据集制作和模型训练。

其中，数据集制作可以包括：

随机选取THuman2.0数据集中500个真人模型用作训练。对每个真人模型渲染正面及背面法线贴图，使真人模型顺时针旋转18度，每旋转1度，渲染该角度下正面及背面法线贴图，逆时针同上。获得的18000张正面法线贴图被用作训练正面法线压缩网络。此外，18000张背面法线贴图与计算出的预测法线贴图计算残差图，获得的36000张残差图被用作训练残差图压缩网络。使用Owlii、RenderPeople、8iVSLF中的真人模型和THuman2.0未被用作训练的真人模型对所提出的感知压缩框架进行性能评估。

其中，模型训练可以包括：对正面法线贴图及残差图分别训练图像压缩网络。其中，将Adam优化器的学习率设置为0.0001，训练迭代次数设置为1000000。

本示例中的真人模型重建包括：根据解码得到的SMPL形状和姿态参数，可以通过公式（1）得到SMPL。根据解码得到的正面法线贴图得到预测的背面法线贴图，与解码得到的残差图一起重构背面法线贴图。通过以上数据得到重建三维真人模型。

本申请实施例的方法，实现了面向视觉感知的模型驱动三维真人模型处理，使压缩后的虚拟人仍具有高保真的特性，并且进一步引入了基于姿态一致性的预测，在保证主观感知质量的基础上进一步降低了码率。该方法需要压缩的内容与传统的基于信号级数据压缩方法相比极少，更有潜力实现真人模型的低比特率压缩。

参考图4所示，本申请的另一个实施例提供了一种面向视觉感知的三维真人模型处理装置，包括：

在一些实施方式中，粒度层划分模块所执行的将输入的三维真人模型划分为粗粒度层和细粒度层，可以包括：根据视觉感知特征粒度将所述输入的三维真人模型的数据分解为用于表示体型和姿态的粗粒度层以及用于表示衣服褶皱和面部表情的细粒度层。

在一些实施方式中，编码数据获取模块可以包括：

法线贴图映射单元，用于通过法线贴图映射获取所述细粒度层的正面法线贴图；

背面法线贴图获取单元，用于基于所述正面法线贴图获取背面法线贴图；

粗粒度层参数数据获取单元，用于基于所述原始SMPL、所述粗粒度层和所述正面法线贴图，获取所述粗粒度层参数数据；

编码单元，用于根据所述粗粒度层参数数据、所述正面法线贴图和所述背面法线贴图进行编码，得到与所述输入的三维真人模型相对应的编码数据。

在一些实施方式中，粗粒度层参数数据获取单元，还可以进一步用于：通过基于回归的三维拟合对原始SMPL模型以及所述输入的三维真人模型进行拟合，得到三维拟合后的SMPL；通过基于优化的二维约束对所述三维拟合后的SMPL以及所述正面法线贴图进行处理，得到二维约束后的SMPL；提取所述二维约束后的SMPL的参数，得到所述粗粒度层参数数据。

在一些实施方式中，基于所述正面法线贴图获取背面法线贴图，包括：利用基于姿态一致性的预测方式获取所述正面法线贴图的残差图，利用所述残差图作为所述背面法线贴图。

在一些实施方式中，根据所述粗粒度层参数数据、所述正面法线贴图和所述背面法线贴图进行编码，得到与所述输入的三维真人模型相对应的编码数据，包括：使用基于深度学习的图像编码方式对所述残差图和所述正面法线贴图进行编码，得到图像编码数据；对所述图像编码数据与所述粗粒度层参数数据进行编码，得到所述编码数据。

在一些实施方式中，根据所述编码数据在解码端重建并输出三维真人模型，包括：在解码端解码所述编码数据，得到解码后的正面法线贴图、解码后的残差图和解码后的粗粒度层参数数据；通过基于姿态一致性的生成方式处理所述解码后的残差图，得到解码后的背面法线贴图；根据所述原始SMPL和所述解码后的粗粒度层参数数据生成解码二维约束后的SMPL；利用所述解码二维约束后的SMPL、所述解码后的正面法线贴图以及所述解码后的背面法线贴图重建并输出三维真人模型。

本申请实施例提供的三维真人模型处理装置，将输入的三维真人模型划分为粗粒度层和细粒度层，基于原始参数化真人模型SMPL、所述粗粒度层和所述细粒度层，获取与所述输入的三维真人模型相对应的编码数据，根据所述编码数据在解码端重建并输出三维真人模型，提高了三维真人模型传输后的视觉质量，能够在保证视觉感知效果的基础上极大节省三维真人模型传输过程中的码率。

本申请另一个实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序，以实现上述任一实施方式所述的方法。

参考图5所示，电子设备10可以包括：处理器100，存储器101，总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接；存储器101中存储有可在处理器100上运行的计算机程序，处理器100运行该计算机程序时执行本申请前述任一实施方式所提供的方法。

其中，存储器101可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还可以包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口103（可以是有线或者无线）实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器101用于存储程序，处理器100在接收到执行指令后，执行该程序，前述本申请实施例任一实施方式揭示的方法可以应用于处理器100中，或者由处理器100实现。

处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，可以包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，以实现上述任一实施方式所述的方法。参考图6所示，其示出的计算机可读存储介质为光盘20，其上存储有计算机程序（即程序产品），该计算机程序在被处理器运行时，会执行前述任意实施方式所提供的方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或甚至由相同组件实现。不同模块之间可以存在或不存在清楚的界限。

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示例一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上实施例仅表达了本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.一种三维真人模型处理方法，其特征在于，包括：

将输入的三维真人模型划分为粗粒度层和细粒度层；

根据所述编码数据在解码端重建并输出三维真人模型；

所述将输入的三维真人模型划分为粗粒度层和细粒度层，包括：

根据视觉感知特征粒度将所述输入的三维真人模型的数据分解为用于表示体型和姿态的粗粒度层以及用于表示衣服褶皱和面部表情的细粒度层；

所述基于原始参数化真人模型SMPL、所述粗粒度层和所述细粒度层，获取与所述输入的三维真人模型相对应的编码数据，包括：

通过法线贴图映射获取所述细粒度层的正面法线贴图；

基于所述正面法线贴图获取背面法线贴图；

基于所述原始参数化真人模型SMPL、所述粗粒度层和所述正面法线贴图，获取所述粗粒度层参数数据；

2.根据权利要求1所述的方法，其特征在于，所述基于所述原始参数化真人模型SMPL、所述粗粒度层和所述正面法线贴图，获取所述粗粒度层参数数据，包括：

通过基于回归的三维拟合对原始参数化真人模型SMPL以及所述输入的三维真人模型进行拟合，得到三维拟合后的SMPL模型；

通过基于优化的二维约束对所述三维拟合后的SMPL模型以及所述正面法线贴图进行处理，得到二维约束后的SMPL模型；

提取所述二维约束后的SMPL模型的参数，得到所述粗粒度层参数数据。

3.根据权利要求2所述的方法，其特征在于，所述基于所述正面法线贴图获取背面法线贴图，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述粗粒度层参数数据、所述正面法线贴图和所述背面法线贴图进行编码，得到与所述输入的三维真人模型相对应的编码数据，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述编码数据在解码端重建并输出三维真人模型，包括：

根据所述原始参数化真人模型SMPL和所述解码后的粗粒度层参数数据生成解码二维约束后的SMPL模型；

利用所述解码二维约束后的SMPL模型、所述解码后的正面法线贴图以及所述解码后的背面法线贴图重建并输出三维真人模型。

6.一种三维真人模型处理装置，其特征在于，包括：

模型重建模块，用于根据所述编码数据在解码端重建并输出三维真人模型；

所述编码数据获取模块包括：

粗粒度层参数数据获取单元，用于基于所述原始参数化真人模型SMPL、所述粗粒度层和所述正面法线贴图，获取所述粗粒度层参数数据；

7.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序，以实现如权利要求1-5中任一项所述的三维真人模型处理方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行，以实现如权利要求1-5中任一项所述的三维真人模型处理方法。