CN112785692A - 一种基于深度uv先验的单视角多人人体重建方法 - Google Patents

Abstract

本发明提供了一种基于深度UV先验的单视角多人人体重建方法，利用二维姿态估计结果定位、分割人体图像，结合基于变分自编码器的UV人体先验，从分割的图像中动态重建多个人体三维网格模型。本发明方法包括：构建基于变分自编码器的人体UV先验网络；训练人体重建网络；使用人体重建网络完成多人人体三维重建。本发明保证了输入网络的图像信息的纯净性，同时增强了网络的泛化能力，能够在网络从少量的可见人体图像信息中重建完整的人体三维模型时提供额外的人体信息，保证了重建得到的三维人体模型的合理性，并能够支持部分人体区域在图像中受遮挡，不可见情况下的重建，能够实现在多人遮挡情况下重建带绝对位置的三维人体模型。

Description

一种基于深度UV先验的单视角多人人体重建方法

技术领域

本发明属于计算机三维视觉技术领域，涉及一种基于深度UV先验的多人人体重建方法。

背景技术

基于单张RGB图像的多人重建技术在体育辅助训练、群体行为分析、全息通信等虚拟现实应用中有着重要的作用。长期以来，重建高精度的人体网格模型依赖复杂且昂贵的多视角立体系统。近年来随着深度学习技术的快速发展，数据驱动的单视角人体重建方法凭借其准确性和运行效率成为了人体重建领域的主流解决方案。但在多人场景中，人与人之间的遮挡、交互导致了图像像素层面上的歧义性，单人重建方法难以区分重建对象的图像特征，因此无法直接迁移到多人重建中。现有多人重建方法大多先检测人体包围盒，进而通过裁剪包围盒区域的图像依次重建每个对象。然而对于紧密交互的情景，交互的人无法通过裁剪图像进行区分，因此仍然难以克服像素层面的歧义。另一种方案是直接从整张RGB图像中估计人体统计模板的参数图与人体中心位置，通过人体位置对参数图进行采样，利用采样的参数恢复人体三维网格。这种方法避免了图像中的干扰，但对于受遮挡较严重的对象，该方法难以利用少量的图像信息精准重建完整的三维人体。因此，如何在避免图像特征歧义性的同时，利用有限的图像信息重建完整的多人三维人体是该领域中一个亟待解决的问题。

发明内容

为解决上述问题，本发明提出一种基于深度UV先验的单视角多人人体重建方法，利用二维姿态估计结果定位、分割人体图像，结合基于变分自编码器的UV人体先验，从分割的图像中动态重建多个人体三维网格模型。

为了达到上述目的，本发明提供如下技术方案：

一种基于深度UV先验的单视角多人人体重建方法，包括如下步骤：

步骤一，构建基于变分自编码器的人体UV先验网络

(1)将数据集中或合成的三维人体模型顶点x,y,z坐标存入UV贴图的R,G,B三个通道中，再经过重心插值获取大量三维人体UV位置图；

(2)构建基于变分自编码器的人体UV先验网络，包括均值编码模块、方差编码模块和反卷积解码模块；均值编码模块和方差编码模块为两个结构完全相同的ResNeSt网络，用于从输入的UV位置图中编码该UV位置图对应的均值和方差；反卷积解码模块为与ResNeSt相同层数的堆叠反卷积网络，用于将从均值和方差中采样得到的隐空间编码解码为与输入一致的UV位置图；

(3)训练人体UV先验网络，对变分自编码器的均值和方差使用标准正态分布作为监督，以两个分布之间的KL散度作为损失函数；在输出端使用输入UV位置图作为监督，并应用L1损失函数；训练网络直至收敛；训练完成后该网络参数即包含了人体UV位置图的先验信息，变分自编码器对UV位置图编码得到的隐空间向量能够表示人体UV位置图的合理性；

步骤二，训练人体重建网络

(4)使用现有二维人体姿态估计网络对单张RGB多人图像进行检测，利用检测得到的二维姿态对不同人体所在的图像区域进行裁剪；

(5)构建由两个编解码网络构成的姿态掩膜级联模块，以裁剪后的人体RGB图像和二维姿态生成的人体关节点热图作为输入，经过编码解码结构的网络滤除受遮挡影响的不可靠关节点热图，得到可见部分人体二维关节点热图；将可见关节点热图和裁剪RGB图片作为输入，经过另一个编码解码结构的网络进一步估计人体可见部分的掩膜；

(6)将步骤(5)获得的二维关节点热图、掩膜以及裁剪后的RGB图片作为输入，经过UV位置图估计模块，输出得到UV位置图；UV位置图估计模块为由ResNeSt和堆叠反卷积网络构成的编解码网络；

(7)对步骤(5)、(6)中的编码解码网络进行端到端训练，使用骨骼对称损失函数，体型对称损失函数，加权L1损失函数，拉普拉斯平滑项以及UV先验损失函数作为监督；训练网络直至收敛；

步骤三，使用人体重建网络完成多人人体三维重建

(8)对多人RGB图像使用二维姿态检测网络估计后，将二维关节点热图和RGB图像送入训练好的网络，得到输出的标准空间下的人体UV位置图；对UV位置图进行重采样，得到人体三维网格模型；利用提前计算的关节点回归矩阵从三维网格模型中回归得到标准空间下的人体三维关节点位置；

(9)利用步骤(8)得到的三维关节点、步骤(5)得到的二维可见关节点热图、相机内参，通过最小二乘法求解得到模型的三维平移；并将所求的平移添加到标准空间下的人体三维网格模型上，最终输出绝对坐标下的三维人体网格模型。

进一步的，所述步骤(7)包括如下过程：

对步骤(5)(6)中的编码解码网络进行端到端训练；对于可见热图与可见掩膜，以对应标准真值的L2损失函数作为监督，其公式为：

L_pm＝λ₁L_vp+λ₂L_vm

其中λ₁，λ₂为权重系数，L_vp和L_vm分别为热图与掩膜的L2损失函数；

对于UV位置图估计，使用骨骼对称损失函数，体型对称损失函数，加权L1损失函数，拉普拉斯平滑项以及UV先验损失函数作为监督，其中骨骼对称函数公式为：

其中B和B_sym表示相互对称的骨骼长度；

体型对称损失函数公式为：

S和S_sym为在三维模型表面预定义的锚点之间的距离；

加权L1损失公式为：

其中β_i,j，P_i,j分别为像素(i,j)位置的权重和RGB值；

拉普拉斯平滑项为：

R_k为UV图中定义的身体区域；

将网络输出得到的UV位置图送入提前训练完成的人体UV先验编码器，对得到的隐空间编码添加L2正则项来防止不合理的UV位置图产生；其公式为：

z为人体UV先验得到的隐空间编码；

最终训练UV估计网络和姿态掩膜级联网络所使用的的损失函数为：

L_total＝λ_L1L₁+λ_tvL_tv+λ_sL_shape+λ_bL_bone+λ_pL_prior+λ_pmL_pm

上式中λ为各项权重，使用该损失函数，训练UV估计网络和姿态掩膜级联网络直至收敛。

进一步的，所述步骤(9)中，计算平移的公式为：

其中t^*为所计算得到的平移，K为相机内参，J为可见三维关节点，P为可见二维关节点。

进一步的，还包括如下步骤：

对图片中的每个人体应用上述过程即可完成多人人体三维重建。

与现有技术相比，本发明具有如下优点和有益效果：

1、所设计的姿态掩膜级联模块使用二维姿态估计结果来定位待重建人体，并进一步估计可见部分二维关节点热图与掩膜。避免了多人重建问题中来自其他人体对象的遮挡而带来的像素层面的歧义性，保证了输入网络的图像信息的纯净性，同时增强了网络的泛化能力。

2、所设计的人体UV先验以变分自编码器为基础结构，适应UV位置图的特性，能够学习大量人体UV数据中学习得到人体UV先验信息，能够在网络从少量的可见人体图像信息中重建完整的人体三维模型时提供额外的人体信息。

3、所设计的骨骼对称损失函数与体型对称函数保证了重建得到的三维人体模型的合理性，并能够支持部分人体区域在图像中受遮挡，不可见情况下的重建。

4、输出的UV位置图回归得到的三维关节点可以与姿态掩膜级联模块估计得到的可见二维关节热图计算绝对位置，能够实现在多人遮挡情况下重建带绝对位置的三维人体模型。

附图说明

图1是本发明的流程图。

图2是人体UV坐标位置图及三维模型示意图，其中(a)为UV坐标图，(b)为UV位置图，(c)为人体三维模型。

图3为基于变分自编码器的人体UV先验网络结构图。

图4为姿态掩膜级联模块结构图。

图5为姿态掩膜级联模块输入及输出结果示意图，其中(a)为多人RGB图片，图5(b)为被遮挡人体的可见二维关节点热图，图5(c)为可见人体掩膜。

图6为人体锚点及关节点示意图。

图7为本发明的重建结果图，其中(a)为重建结果渲染图，(b)为重建结果侧视视角，(c)为重建结果俯视视角。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供的一种基于深度UV先验的单视角多人人体重建方法，其流程如图1所示，实现过程如下：

步骤一，基于变分自编码器的人体UV先验构建：

(1)将数据集中或合成的三维人体模型顶点x,y,z坐标存入UV贴图的R,G,B三个通道中获取大量三维人体UV位置图。如图2所示，人体三维模型(如图2(c))可以通过UV展开得到UV坐标图(如图2(a))，其二维像素点与三维模型顶点一一对应。将三维模型顶点的x,y,z值存入UV图的R,G,B通道中，再经过重心插值即可得到UV位置图(如图2(b))。UV位置图可以以二维图片的形式直接表示一个特定的人体三维模型。本步骤将现有数据集中或合成的三维人体数据转化为UV位置图，随后将大量UV位置图送入如图3所示的基于变分自编码器的人体UV先验网络训练人体UV先验。

(2)构建基于变分自编码器的人体UV先验网络。如图3所示，变分自编码器网络模型包括均值编码模块、方差编码模块和反卷积解码模块。该模型以两个结构完全相同的ResNeSt网络作为编码器，从输入的UV位置图中编码该UV位置图对应的均值和方差。以与ResNeSt相同层数的堆叠反卷积网络作为解码器进行解码，将从均值和方差中采样得到的隐空间编码解码为与输入一致的UV位置图。每张UV位置图分别经过以ResNeSt为基础结构的均值编码模块和方差编码模块，生成一个相应的高斯分布，在所生成的分布中采样得到2048维隐空间编码。经过反卷积网络解码后，得到与输入一致的UV位置图。

(3)训练人体UV先验网络，网络训练的过程中对变分自编码器的均值和方差使用标准正态分布作为监督，以两个分布之间的KL散度作为损失函数。在输出端使用输入UV位置图作为监督，同时使用输入的UV位置图对输出的UV位置图应用L1损失函数作为重构损失。训练网络直至收敛。训练完成后，使用该网络的均值编码模块和方差编码模块作为人体UV先验，应用于后续的人体重建过程。训练完成后该网络参数即包含了人体UV位置图的先验信息。变分自编码器对UV位置图编码得到的隐空间向量即可表示人体UV位置图的合理性。

步骤二，人体重建网络训练：

(4)使用现有二维人体姿态估计网络对单张RGB多人图像进行检测，利用检测得到的二维姿态对不同人体所在的图像区域进行裁剪。如图1所示，给定一张多人RGB图片，本发明首先利用现有的二维姿态估计方法估计得到图片中每个人的二维姿态。利用二维姿态估计的结果对待重建人体的相应图片区域进行裁剪。利用二维姿态可得到二维完整关节点热图。

(5)构建如图4所示的姿态掩膜级联模块，该模块由两个编解码网络构成。将裁剪后的人体RGB图像和二维姿态估计得到的该人体的二维完整关节点热图作为输入一起送入如图4所示的姿态掩膜级联模块。该裁剪图像和二维热图首先经过第一个编码解码网络，滤除部分受遮挡影响的不可靠二维关节热图，估计得到图像中可见人体区域的二维关节点热图。再将可见的二维关节点热图和裁剪图像连接后送入第二个编码解码网络，估计人体可见部分掩膜。训练过程中使用可见关节点二维热图和掩膜真值进行监督。训练完成后，该网络从裁剪后的多人RGB图片中估计待重建人体的热图与掩膜。基于如图5(a)所示的多人RGB图片，网络能够输出被遮挡人体的可见二维关节点热图(图5(b))和可见人体掩膜(图5(c))。可见热图与可见掩膜可以作为一种注意力机制，将网络注意力集中于待重建人体，降低如图5(a)中前面一个引起遮挡人体的干扰，避免像素层面的歧义性。此外，二维热图与掩膜作为一种底层视觉特征，降低了网络受图片背景的影响，提高了网络的泛化能力。

(6)将步骤(5)获得的二维关节点热图、掩膜以及裁剪后的RGB图片作为送入UV位置图估计模块的输入，输出对应人体的UV位置图。UV位置图估计模块为由ResNeSt和堆叠反卷积网络构成的编解码网络。该模块使用骨骼对称损失函数，体型对称损失函数，加权L1损失函数，拉普拉斯平滑项以及UV先验损失函数作为监督。图6所示的是预先在人体三维模型上定义的锚点以及关节点。其中骨骼长度通过关节点之间的长度计算。体型通过锚点之间的空间距离计算。将该模块输出的UV位置图再送入人体UV先验的均值和方差编码模块，并在生成的分布中采样得到隐空间编码。该编码反映了所估计的UV位置图的合理性。在训练过程中，对隐空间编码使用L2正则项进行约束。人体UV先验项为UV位置图估计模块提供了额外的人体先验信息，能够支持该模块从部分可见人体图像信息中重建出完整的人体三维模型。

(7)对步骤(5)(6)中的编码解码网络——即UV位置图估计模块与姿态掩膜级联模型中的编码解码网络进行端到端训练。对于可见热图与可见掩膜，以对应标准真值的L2损失函数作为监督，其公式为：

L_pm＝λ₁L_vp+λ₂L_vm

其中λ₁，λ₂为权重系数，L_vp和L_vm分别为热图与掩膜的L2损失函数。对于UV位置图估计，使用骨骼对称损失函数，体型对称损失函数，加权L1损失函数，拉普拉斯平滑项以及UV先验损失函数作为监督。其中骨骼对称函数公式为：

其中B和B_sym表示相互对称的骨骼长度。体型对称损失函数公式为：

S和S_sym为在三维模型表面预定义的锚点之间的距离。加权L1损失公式为：

其中β_i,j，P_i,j分别为像素(i,j)位置的权重和RGB值。拉普拉斯平滑项为：

R_k为UV图中定义的身体区域。将网络输出得到的UV位置图送入提前训练完成的人体UV先验编码器，对得到的隐空间编码添加L2正则项来防止不合理的UV位置图产生。其公式为：

z为人体UV先验得到的隐空间编码。最终训练UV估计网络和姿态掩膜级联网络所使用的的损失函数为：

L_total＝λ_L1L₁+λ_tvL_tv+λ_sL_shape+λ_bL_bone+λ_pL_prior+λ_pmL_pm

上式中λ为各项权重，使用该损失函数，训练UV估计网络和姿态掩膜级联网络直至收敛。

步骤三，人体重建网络使用

(8)对多人RGB图像使用二维姿态检测网络估计后，将二维关节点热图和RGB图像送入训练好的网络，得到输出的标准空间下的人体UV位置图。对UV位置图进行重采样，得到人体三维网格模型。利用提前计算的关节点回归矩阵从三维网格模型中回归得到标准空间下的人体三维关节点位置。

(9)利用步骤(8)得到的三维关节点、步骤(5)得到的二维可见关节点热图、相机内参，通过最小二乘法求解得到模型的三维平移。并将所求的平移添加到标准空间下的人体三维网格模型上，最终输出绝对坐标下的三维人体网格模型。计算平移的公式为：

其中t^*为所计算得到的平移，K为相机内参，J为可见三维关节点，P为可见二维关节点。

对图片中的每个人体应用上述过程即可完成多人人体三维重建。图7所示即为本发明的输入图、重建结果渲染图、重建结果侧视图及重建结果俯视图。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种基于深度UV先验的单视角多人人体重建方法，其特征在于，包括如下步骤：

步骤一，构建基于变分自编码器的人体UV先验网络

(1)将数据集中或合成的三维人体模型顶点x,y,z坐标存入UV贴图的R,G,B三个通道中，再经过重心插值获取大量三维人体UV位置图；

(2)构建基于变分自编码器的人体UV先验网络，包括均值编码模块、方差编码模块和反卷积解码模块；均值编码模块和方差编码模块为两个结构完全相同的ResNeSt网络，用于从输入的UV位置图中编码该UV位置图对应的均值和方差；反卷积解码模块为与ResNeSt相同层数的堆叠反卷积网络，用于将从均值和方差中采样得到的隐空间编码解码为与输入一致的UV位置图；

(3)训练人体UV先验网络，对变分自编码器的均值和方差使用标准正态分布作为监督，以两个分布之间的KL散度作为损失函数；在输出端使用输入UV位置图作为监督，并应用L1损失函数；训练网络直至收敛；训练完成后该网络参数即包含了人体UV位置图的先验信息，变分自编码器对UV位置图编码得到的隐空间向量能够表示人体UV位置图的合理性；

步骤二，训练人体重建网络

(4)使用现有二维人体姿态估计网络对单张RGB多人图像进行检测，利用检测得到的二维姿态对不同人体所在的图像区域进行裁剪；

(5)构建由两个编解码网络构成的姿态掩膜级联模块，以裁剪后的人体RGB图像和二维姿态生成的人体关节点热图作为输入，经过编码解码结构的网络滤除受遮挡影响的不可靠关节点热图，得到可见部分人体二维关节点热图；将可见关节点热图和裁剪RGB图片作为输入，经过另一个编码解码结构的网络进一步估计人体可见部分的掩膜；

(6)将步骤(5)获得的二维关节点热图、掩膜以及裁剪后的RGB图片作为输入，经过UV位置图估计模块，输出得到UV位置图；UV位置图估计模块为由ResNeSt和堆叠反卷积网络构成的编解码网络；

(7)对步骤(5)、(6)中的编码解码网络进行端到端训练，使用骨骼对称损失函数，体型对称损失函数，加权L1损失函数，拉普拉斯平滑项以及UV先验损失函数作为监督；训练网络直至收敛；

步骤三，使用人体重建网络完成多人人体三维重建

(8)对多人RGB图像使用二维姿态检测网络估计后，将二维关节点热图和RGB图像送入训练好的网络，得到输出的标准空间下的人体UV位置图；对UV位置图进行重采样，得到人体三维网格模型；利用提前计算的关节点回归矩阵从三维网格模型中回归得到标准空间下的人体三维关节点位置；

(9)利用步骤(8)得到的三维关节点、步骤(5)得到的二维可见关节点热图、相机内参，通过最小二乘法求解得到模型的三维平移；并将所求的平移添加到标准空间下的人体三维网格模型上，最终输出绝对坐标下的三维人体网格模型。

2.根据权利要求1所述的基于深度UV先验的单视角多人人体重建方法，其特征在于，所述步骤(7)包括如下过程：

对步骤(5)(6)中的编码解码网络进行端到端训练；对于可见热图与可见掩膜，以对应标准真值的L2损失函数作为监督，其公式为：

L_pm＝λ₁L_vp+λ₂L_vm

其中λ₁，λ₂为权重系数，L_vp和L_vm分别为热图与掩膜的L2损失函数；

对于UV位置图估计，使用骨骼对称损失函数，体型对称损失函数，加权L1损失函数，拉普拉斯平滑项以及UV先验损失函数作为监督，其中骨骼对称函数公式为：

其中B和B_sym表示相互对称的骨骼长度；

体型对称损失函数公式为：

S和S_sym为在三维模型表面预定义的锚点之间的距离；

加权L1损失公式为：

其中β_i，j，P_i，j分别为像素(i，j)位置的权重和RGB值；

拉普拉斯平滑项为：

R_k为UV图中定义的身体区域；

将网络输出得到的UV位置图送入提前训练完成的人体UV先验编码器，对得到的隐空间编码添加L2正则项来防止不合理的UV位置图产生；其公式为：

z为人体UV先验得到的隐空间编码；

最终训练UV估计网络和姿态掩膜级联网络所使用的的损失函数为：

L_total＝λ_L1L₁+λ_tvL_tv+λ_sL_shape+λ_bL_bone+λ_pL_prior+λ_pmL_pm

上式中λ为各项权重，使用该损失函数，训练UV估计网络和姿态掩膜级联网络直至收敛。

3.根据权利要求1所述的基于深度UV先验的单视角多人人体重建方法，其特征在于，所述步骤(9)中，计算平移的公式为：

其中t^*为所计算得到的平移，K为相机内参，J为可见三维关节点，P为可见二维关节点。

4.根据权利要求1所述的基于深度UV先验的单视角多人人体重建方法，其特征在于，还包括如下步骤：

对图片中的每个人体应用上述过程即可完成多人人体三维重建。

Images