CN108629801A - 一种视频序列的三维人体模型姿态与形状重构方法 - Google Patents

Abstract

本发明公开了一种视频序列的三维人体模型姿态与形状重构方法，包括步骤：1)提取视频帧中人物的二维关节点；2)提取视频帧中人物的脸部特征点；3)提取视频帧中人物的二维轮廓线；4)估计摄像机参数，据摄像机参数可以生成透视矩阵；5)采用优化方法进行模型姿态和形状的优化；6)获取三维人体模型在摄像机视角下的边缘点及其与二维轮廓线的匹配关系；7)采用优化方法进行模型形状的再次优化，使得在摄像机视角下三维模型的边缘点投影后的位置与视频帧中二维轮廓点的位置距离之差的总和最小。本发明可以避免重构过程中的姿态翻转问题，也可以在保证模型整体姿态相似性的同时准确地重构出头部姿态。

Description

一种视频序列的三维人体模型姿态与形状重构方法

技术领域

本发明涉及计算机图形学和三维人体网格模型重构的技术领域，尤其是指一种视频序列的三维人体模型姿态与形状重构方法。

背景技术

三维人体模型姿态与形状重构是指通过信息采集获取人体运动的信息，再根据这些信息重构出三维人体模型。这种技术对于三维人体建模、模型编辑、游戏制作等都有着重要意义。视频序列的三维人体模型姿态与形状重构则是从人运动的视频中提取姿态与形状信息，并利用这些信息，重构出与视频人物有相似姿态与形状的三维人体模型的运动序列。

目前基于视频或者图像的三维人体模型姿态与形状重构方法往往假设在重构前有一个很好的人体轮廓。Sigal等人改进了过去用这种粗糙的人体模型来进行三维人体重构的缺陷，提出了一个从单目图像中自动地重构出具有姿态和形状的三维人体模型的算法，并率先使用了一个包含姿态和形状等表面细节的参数化三维人体网格模型(SCAPE模型)。Guan等也提出了使用SCAPE模型来表示重构结果的方发。该方法首先人工地标出照片上二维关节点的位置，再利用经典的方式估计出三维姿态的骨架，然后利用这个骨架作为驱动，调整SCAPE模型的参数，从而获取具有相似姿态的三维人体模型。最后将三维模型投影到二维图像上，通过匹配对应的轮廓和图像的边界来优化模型的形状。在相似的工作中，Halsler等也提出了将参数化的人体模型匹配到轮廓中方法。Bogo等提出的SMPLify是第一个从静态的图像中重构出具有姿态和形状的三维人体模型的自动化方法。

此外，还有一些研究工作通过其他专用设备来获取信息并重构出三维人体模型。Aguiar等提出了一个从多视角视频中重构出三维人体模型的方法。该方法不需要在视频图像上标识固定点，且其不仅可以重构出具有姿态和形状的三维人体模型，还可以重构出视频中人物的衣物等表面纹理。Bogo等利用单目的RGB-D摄像机精确地重构出了具有形状的三维人体模型。2017年Newcombe等提出了一个DynamicFusion方法。该算法利用拍摄的RGB-D数据可以实时地重构出对应的场景，并且在拍摄过程中不断地优化构建的场景，使构建的场景越来越精细。

以上借助于专用设备的方法采集到的信息更加丰富，其重构的三维人体模型在姿态和形状上也更为准确。然而，受限于专用设备的配置，这类方法在实际生活中个并不能得到很好的应用。而上述基于视频或图像的三维人体模型重构方法主要缺点有：(1)无法避免姿态翻转问题；(2)重构的模型在形状上与视频图像差异较大或者只包含骨架模型；(3)重构的三维模型头部状态不准确。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种视频序列的三维人体模型姿态与形状重构方法，可以避免重构过程中的姿态翻转问题，也可以在保证模型整体姿态相似性的同时准确地重构出头部姿态，此外，本发明还可以对模型形状做出恰当调整，使重构地到的三维人体模型在形状上与视频序列中的人物更加相似。

为实现上述目的，本发明所提供的技术方案为：一种视频序列的三维人体模型姿态与形状重构方法，包括以下步骤：

1)提取视频帧中人物的二维关节点；

2)提取视频帧中人物的脸部特征点；

3)提取视频帧中人物的二维轮廓线；

4)估计摄像机参数，摄像机参数是用于模拟摄像机拍摄过程的参数，包括摄像机平移量，纵横比，旋转量等；根据摄像机参数可以生成透视矩阵，便以将模型投影到二维平面上；

5)采用优化方法进行模型姿态和形状的优化，使三维人体模型的关节点以及脸部固定点经过投影后与视频帧中对应的点位置之差总和最小。

6)获取三维人体模型在摄像机视角下的边缘点及其与二维轮廓线的匹配关系；

7)采用优化方法进行模型形状的再次优化，使得在摄像机视角下三维模型的边缘点投影后的位置与视频帧中二维轮廓点的位置距离之差的总和最小。

本发明使用一个可以准确地表示各种体型和姿态的人体参数化三维模型——SMPL(A Skinned Multi-person Linear Model,SMPL)作为编辑对象。SMPL模型包含6890个顶点，并且构建了一个具有父子关系的骨架模型。整个模型分成了24块，包含了24个关节点，每个关节点有三个自由度，即每个关节点都可以绕着自身的局部坐标的三条坐标轴做旋转运动。其包含一个调整三维模型姿态的参数θ和一个调整模型形状的参数β。参数θ是一个1×72的向量，其中的每一个值都代表着某个具体的关节点绕着一条旋转轴的旋转角度，参数β是一个1×10的向量，调整向量中的值可以实现对SMPL模型形状的编辑，使SMPL模型表现出高、矮、肥、瘦、肌肉明显等不同的形状。SMPL模型还提供了一个回归函数，可以通过回归函数计算出模型中各个三维关节点的位置。

在步骤1)中，所述的提取视频帧中人物的二维关节点，具体如下：

假设当前帧为视频中的第i帧视频。将当前帧作为输入，输入到DeepCut构建的神经网络中。DeepCut经过处理提取出其中人物的各个二维关节点位置，这里记为为一个14×2的矩阵，表示提取出来的14个关节在图像上的位置坐标，矩阵中，每一行表示特定的关节，如第一行表示右脚踝关节的位置，第二行表示右膝关节的位置等。

在步骤2)中，所述的提取视频帧中人物的脸部特征点，具体方法为：将当前帧作为输入，利用已有文献的方法自动地获取其中的脸部特征点，不同的方法提取的特征点不同，这里选取其中位于左眼瞳孔，右眼瞳孔，左边嘴角，右边嘴角以及下巴五个位置的特征点作为脸部特征点，记为为一个5×2的矩阵，表示五个脸部特征点在视频帧中的位置坐标。

在步骤3)中，所述的提取视频帧中人物的二维轮廓线，具体方式如下：

在步骤1)中得到的当前帧中人物二维关节点的位置后，遍历其中的坐标值，得到其中X坐标的最小值与最大值以及Y坐标的最小值与最大值。利用上述得到的坐标值构建一个包含视频帧中人物的矩形区域U。根据人体的结构将中相邻的二维关节点进行连线，如左腕关节与左肘关节连线，左肘关节与左肩关节连线等。将关节所在的位置以及其中连线的区域记为F。得到上述区域后，将视频帧整个区域设置为背景区域，然后再在背景区域内的U区域设置为疑似前景区域，最后再将U区域内的F区域设置为前景区域。设置各部分区域后利用GrabCut方法提取视频帧中的前景区域，再提取出二维轮廓线，记为Sⁱ。

在步骤4)中，所述的估计摄像机参数，其具体方法为：

在步骤1)获得二维关节点之后，利用左右肩关节点以及左右髋关节四个二维关节点构建两个三角形，这里称为二维三角形。同时将三维模型中对应的关节点投影到二维，并将投影后的点构建相应的三角形，这里称为投影三角形。具有相同意义的点构成的二维三角形与投影三角形相互匹配构成一对。移动摄像机，以此调节投影三角形的边长，使其与其所对应的二维三角形尽可能地相似，从而估计出初始的摄像机参数，也就是初始的平移量。估计到初始参数之后通过优化如下公式来得到摄像机参数以及模型初始的位置：

其中β为SMPL模型的形状参数，θ为SMPL模型的姿态参数，K为需要估计的摄像机参数，为步骤1)中得到的二维关节点位置，j表示两个肩关节与两个髋关节的编号，Π_K为摄像机的投影函数，用于将三维顶点投影到二维平面，J为SMPL提供的回归函数，用于获取三维人体模型关节点的位置。其具体过程为将模型上半身躯体的四个关节点投影到二维平面上，使这些关节投影后的位置与对应的二维关节的位置尽可能的相似。通过优化公式(1)可以获得摄像机的参数以及人体模型的初始位置。

在步骤5)中，所述的采用优化方法进行模型姿态和形状的优化其具体过程如下所述：

在获取当前帧的二维关节点的位置脸部特征点后通过优化能量函数(2)来得到SMPL的形状参数β以及姿态参数θ。

其中，βⁱ为视频第i帧对应的SMPL模型的形状参数，θⁱ为模型的姿态参数，Kⁱ为视频第i帧对应的摄像机参数，为从视频第i帧中估计的二维关节点，为从视频第i帧中提取的脸部特征点，λ_b,λ_h,λ_p为各个能量项在优化函数中的权重值。

函数(2)中，为SMPLify算法的能量函数，通过这个能量项可以很好地避免三维模型各个部分相互融合穿透的问题，同时重构出与视频帧中人物姿态和形状较为相似的模型。

函数(2)中，为本发明的头部姿态能量项，主要用于根据提取的脸部特征点来调整头部姿态。该能量项具体定义为：

其中，V_f表示对三维人体模型中与视频帧人物脸部特征点对应的顶点编号集合，ID(υ)表示编号为υ的三维顶点所对应的脸部特征点的编号，其中υ∈V_f，σ_j表示θ中，第j个参数θ_j的阈值，也就是说-σ_j≤θ_j≤σ_j，表示一个摄像机将顶点从三维投影到二维的函数，摄像机的参数为Kⁱ，M(β,θ)表示参数β,θ作用于SMPL模型得到的三维人体模型顶点集合，j表示与头部姿态相关的参数在θⁱ中的位置，exp表示一个指数函数，当自变量为正数时，函数值大；当自变量为负数时，函数值小。函数(3)的含义是根据摄像机的参数设置投影函数，将模型头部的固定点投影到二维平面上，并计算这些投影后的二维点与对应的脸部特征点的欧式距离，同时判断与调整头部姿态有关参数值是否在限定的范围内。若参数值超出了限定的范围则exp函数值大；若参数值在限定的范围内则exp函数值小。最后将这些计算出来的欧式距离和exp函数值的和作为衡量能量项的值。当模型中的头部姿态与图像相似时，这个能量项的值小，这样也就达到了调整头部姿态的效果，同时给调整头部姿态的相关参数限定了变化范围，也就是给决定头部姿态的关节设定了旋转角度的范围，从而避免出现模型中头部旋转角度过大等的问题。

函数(2)中，E_p(βⁱ,θⁱ)模型连贯性能量项，主要用于对视频帧之间对应的三维模型姿态和形状进行约束，减少在根据视频帧重构三维人体模型姿态的过程中出现姿态翻转以及由于二维轮廓提取失败引起模型形状错误较大的可能性。模型姿态连贯性能量项的定义如下：

其中，βⁱ,θⁱ为当前帧对应的SMPL模型形状和姿态参数，β^i-1,θ^i-1为前一帧对应的SMPL模型形状和姿态参数，N为SMPL模型对应的三维人体模型中顶点的个数，M(β,θ)表示参数β,θ作用于SMPL模型得到的三维人体模型顶点集合。其主要过程为计算当前帧所对应的三维人体模型中各个顶点与前一帧对应的模型顶点之间的欧式距离，以这些欧式距离的和作为能量项的值。也就是通过前后帧对应的三维模型的相似性来约束姿态和形状的变化，模型姿态或这形状变化越大，这个能量项的值就越大。在处理视频内的某一帧时，如果由于深度信息的缺失等原因导致姿态翻转或者由于轮廓点提取失败导致形状变化较大的话，模型连贯性能量项的值将变得非常大，这跟能量函数的优化目标相悖。这个能量项在一定程度上约束了重构过程中出现姿态翻转，模型形状错误较大等情况的出现。

在步骤6)中，所述的获取三维人体模型在摄像机视角下的边缘点及其与二维轮廓线的匹配关系，其具体过程如下所述：

在步骤5)估计出SMPL模型的βⁱ,θⁱ参数后得到对应的三维人体网格模型。假设Edge＝{e₀,e₁,...,e_n}为三维人体网格模型中边的集合，e_i为其中编号为i的边，以e_i为公共边的两个三角面片分别记为f_i,l和f_i,r，v_cam为步骤4)中得到的摄像机的位置。获取三维人体模型在摄像机视角下的边缘点具体步骤如下：

6.1)计算f_i,l的法向量与中心位置坐标，分别记为nor_i,l，v_i,l。同理计算f_i,r的法向量及中心位置坐标nor_i,r，v_i,r；

6.2)判断[nor_i,l·(v_i,l-v_cam)]*[[nor_i,r·(v_i,r-v_cam)]]＞0是否成立，即判断以e_i为公共边的两个三角面片在摄像机视角下是否一面可见一面不可见，若成立则将e_i对应的两个顶点的编号放入模型边缘集合中，这个集合记为Boundary；

6.3)遍历Edge集合中的所有边，重复执行步骤6.1)和6.2)得到集合Boundary；

6.4)去掉Boundary中重复的数据，并遍历Boundary，根据摄像机的位置判断其中的顶点是否被遮挡，若被遮挡则去除，最后根据这些编号得到当前三维人体模型在摄像机视角下的边缘点B(βⁱ,θⁱ)。

为Sⁱ中的各个二维轮廓点建立KD树，并利用摄像机参数将三维人体模型的边缘顶点B(βⁱ,θⁱ)投影到二维平面上。遍历这些投影后的顶点，通过搜索KD树，找出距离其最近的轮廓点构成匹配关系。

在步骤7)中，所述的采用优化方法进行模型形状的再次优化，其过程主要是调整SMPL模型的形状参数β，使对应的三维模型在摄像机视角下边缘点投影后的位置与视频帧中二维轮廓点的位置距离之差的总和最小。具体过程如下所述：

在步骤3)获得人物二维轮廓线Sⁱ以及从步骤6)中得到模型边缘顶点与二维轮廓点的匹配关系之后，对模型形状的再次优化主要通过优化函数(5)来实现，其具体定义为：

函数(5)中，j为三维人体模型在摄像机视角下的边缘顶点编号。l为步骤6)中得到的与模型第j个边缘顶点相匹配的二维轮廓点编号。模型轮廓能量项的处理过程具体为：首先根据摄像机的参数将模型的轮廓边缘顶点投影到二维平面中，投影后的点这里暂且称为投影顶点。对每一个投影顶点，从图像的二维轮廓点中，找出离其最近的轮廓点，计算两个点的欧氏距离。最后将这些欧式距离的和作为模型轮廓能量项的值。当重构的模型形状比二维轮廓小时，能量项的值将比较大，优化过程将倾向于减少能量项的值，也就倾向于模型形状变大的方向，相反，当重构的模型形状比二维轮廓大时，优化过程倾向于模型形状变小的方向。

本发明与现有技术相比，具有如下优点与有益效果：

1、能有效避免三维模型姿态翻转的问题。视频帧所包含的是二维信息，由于深度信息的缺失、人物衣服、光照、遮挡等因素的影响，根据视频帧重构三维人体模型过程中容易出现三维姿态翻转的问题。由于视频的连贯性，相邻帧之间对应的三维模型在姿态上具有相似性。基于这个特性，本发明在对当前帧进行模型重构时加入其与前一帧模型的相似性约束。即约束前后帧间模型的变化差异，避免出现相邻帧间对应的模型差异过大的问题，从而避免姿态翻转的现象发生，提高三维模型重构的准确性。

2、保证三维人体模型整体姿态相似的前提下，模型的头部姿态更加准确。相对于Bogo等的SMPLify方法，本发明重构的三维人体模型在头部姿态上更加准确。本发明根据视频帧中人物的信息，利用已有的算法提取出其中的脸部二维特征点，再根据二维特征点对模型头部对应的点进行投影计算误差，最后通过调整SMPL中的姿态参数来对误差进行最小化优化以达到头部姿态的调整效果。

3、重构的三维人体模型在形状上更加合理。在SMPL网格模型拟合中，本发明引入二维人体轮廓线约束。Bogo等人的SMPLify方法可以重构出具有形状的三维人体模型，且在模型中，各个部分不会交叉融合到一起。但是，该方法缺少对模型轮廓的实际处理，其重构的模型在形状上与视频帧中的人物有较大差别。针对这个问题，本发明加入了对三维模型形状的优化。利用估计出来的二维关节点位置信息构建疑似前景和前景区域作为GrabCut的输入，自动地从视频帧中提取人物的轮廓线。最后再将SMPL模型投影到二维平面上，对边界点进行误差比较，通过调整SMPL对应的形状参数来优化误差进而达到优化模型形状的效果。

附图说明

图1为本发明的方法流程图。

图2为本发明使用的三维人体网格模型，其中图中(a)为SMPL模型的模板，整个模型分成了24块，模型有24个关节；图中(b)为本发明对模板模型头部区域的预处理，其中黑色的点为本发明选取的头部固定点。

图3为本发明在实验过程中使用DeepCut对视频帧提取二维关节点的结果，图中的圆点表示二维关节的位置。

图4为本发明提取视频帧中人物二维轮廓线的处理过程，其中图中(a)表示原始视频帧；图中(b)为根据二维关节点位置设置的疑似前景及前景区域，矩形区域为疑似前景区域，构建的骨架部分为前景区域；图中(c)为设置疑似前景和前景区域后GrabCut提取前景的结果；图中(d)为提取的人物二维轮廓线结果。

图5为本发明对视频帧中人物的二维轮廓线提取结果。

图6为本发明根据视频帧重构的避免姿态翻转的结果及与SMPLify的对比，其中图中(a)列表示连续的原始视频序列；图中(b)为SMPLify重构结果；图中(c)为本发明的重构结果。

图7为本发明对头部姿态的处理处理结果及与SMPLify的对比，图中右上角为对图像头部区域方法的结果展示，图中(a)为原始视频帧；图中(b)为SMPLify的处理结果；图中(c)为本发明的处理结果。

图8为本发明对模型形状的优化结果及与SMPLify的对比，其中图中(a)为原始视频帧；图中(b)为SMPLify的处理结果；图中(c)为本发明的处理结果。

图9为本发明对其他视频序列的处理结果，图中第一、三列为原始视频帧，第二、四列为对应的处理结果。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的视频序列的三维人体模型姿态与形状重构方法，包括以下步骤：

1)提取视频帧中人物的二维关节点；

2)提取视频帧中人物的脸部特征点；

3)提取视频帧中人物的二维轮廓线；

4)估计摄像机参数，摄像机参数是用于模拟摄像机拍摄过程的参数，包括摄像机平移量，纵横比，旋转量等；根据摄像机参数可以生成透视矩阵，便以将模型投影到二维平面上；

5)采用优化方法进行模型姿态和形状的优化，使三维人体模型的关节点以及脸部固定点经过投影后与视频帧中对应的点位置之差总和最小。

6)获取三维人体模型在摄像机视角下的边缘点及其与二维轮廓线的匹配关系；

7)采用优化方法进行模型形状的再次优化，使三维模型在摄像机视角下边缘点投影后的位置与视频帧中二维轮廓点的位置距离之差的总和最小。

本发明使用一个可以准确地表示各种体型和姿态的人体参数化三维模型——SMPL(A Skinned Multi-person Linear Model,SMPL)作为编辑对象。SMPL模型包含6890个顶点，并且构建了一个具有父子关系的骨架模型。整个模型分成了24块，包含了24个关节点，每个关节点有三个自由度，即每个关节点都可以绕着自身的局部坐标的三条坐标轴做旋转运动，如图2中(a)所示。其包含一个调整三维模型姿态的参数θ和一个调整模型形状的参数β。参数θ是一个1×72的向量，其中的每一个值都代表着某个具体的关节点绕着一条旋转轴的旋转角度，参数β是一个1×10的向量，调整向量中的值可以实现对SMPL模型形状的编辑，使SMPL模型表现出高、矮、肥、瘦、肌肉明显等不同的形状。SMPL模型还提供了一个回归函数，可以通过回归函数计算出模型中各个三维关节点的位置。

在步骤1)中，所述的提取视频帧中人物的二维关节点，具体如下：

假设当前帧为视频中的第i帧视频。将当前帧作为输入，输入到DeepCut构建的神经网络中。DeepCut经过处理提取出其中人物的各个二维关节点位置，这里记为为一个14×2的矩阵，表示提取出来的14个关节在图像上的位置坐标，矩阵中，每一行表示特定的关节，如第一行表示右脚踝关节的位置，第二行表示右膝关节的位置等，提取结果如图3所示。

在步骤2)中，所述的提取视频帧中人物的脸部特征点，具体方法为：将当前帧作为输入，利用已有文献的方法自动地获取其中的脸部特征点，不同的方法提取的特征点不同，这里选取其中位于左眼瞳孔，右眼瞳孔，左边嘴角，右边嘴角以及下巴五个位置的特征点作为脸部特征点，记为为一个5×2的矩阵，表示五个脸部特征点在视频帧中的位置坐标。

在步骤3)中，所述的提取视频帧中人物的二维轮廓线，具体方式如下：

在步骤1)中得到的当前帧中人物二维关节点的位置后便利其中的坐标值，得到其中X坐标的最小值与最大值以及Y坐标的最小值与最大值。利用上述得到的坐标值构建一个包含视频帧中人物的矩形区域U。根据人体的结构将中相邻的二维关节点的进行连线，如左腕关节与左肘关节连线，左肘关节与左肩关节连线等。将关节所在的位置以及其中连线的区域记为F。得到上述区域后，将视频帧整个区域设置为背景区域，图4中(a)表示原始视频帧，然后再在背景区域内的U区域设置为疑似前景区域，如图4中(b)矩形方框所示，最后再将U区域内的F区域设置为前景区域，如图4中(b)骨架区域所示。通过设置各部分区域后利用GrabCut方法提取视频帧中的前景区域，再提取出二维轮廓线，记为Sⁱ，如图4中(c)所示。图5为本发明处理视频帧提取的二维轮廓线结果。

在步骤4)中，所述的估计摄像机参数，其具体方法为：

在步骤1)获得二维关节点之后，利用左右肩关节点以及左右髋关节四个二维关节点构建两个三角形，这里称为二维三角形。同时将三维模型中对应的关节点投影到二维，并将投影后的点构建相应的三角形，这里称为投影三角形。具有相同意义的点构成的二维三角形与投影三角形相互匹配构成一对。移动摄像机，以此调节投影三角形的边长，使其与其所对应的二维三角形尽可能地相似，从而估计出初始的摄像机参数，也就是初始的平移量。估计到初始参数之后通过优化如下公式来得到摄像机参数以及模型初始的位置：

其中β为SMPL模型的形状参数，θ为SMPL模型的姿态参数，K为需要估计的摄像机参数，为步骤1)中得到的二维关节点位置，j表示两个肩关节与两个髋关节的编号，Π_K为摄像机的投影函数，用于将三维顶点投影到二维平面，J为SMPL提供的回归函数，用于获取三维关节点的位置。其具体过程为将模型上半身躯体的四个关节点投影到二维平面上，使这些关节投影后的位置与对应的二维关节的位置尽可能的相似。通过优化公式(1)可以获得摄像机的参数以及人体模型的初始位置。

在步骤5)中，所述的采用优化方法进行模型姿态和形状的优化其具体过程如下所述：

在上述步骤中获取当前帧的二维关节点脸部特征点后通过优化能量函数(2)来得到SMPL的形状参数β以及姿态参数θ。

其中，βⁱ为视频第i帧对应的模型的形状参数，θⁱ为模型的姿态参数，Kⁱ为视频第i帧对应的摄像机参数，为从视频第i帧中估计的二维关节点，为从视频第i帧中提取的脸部特征点，λ_b,λ_h,λ_p为各个能量项在优化函数中的权重值。

函数(2)中，为SMPLify算法的能量函数，通过这个能量项可以很好地避免三维模型各个部分相互融合穿透的问题，同时重构出与视频帧中人物姿态和形状较为相似的模型。

函数(2)中，为本发明的头部姿态能量项，主要用于根据提取的脸部特征点来调整头部姿态。该能量项具体定义为：

其中，V_f表示对三维人体模型中与视频帧人物脸部特征点对应的顶点编号集合，对应顶点如图2中(b)所示，ID(υ)表示编号为υ的三维顶点所对应的脸部特征点的编号，其中υ∈V_f，σ_j表示θ中，第j个参数θ_j的阈值，也就是说-σ_j≤θ_j≤σ_j，表示一个摄像机将顶点从三维投影到二维的函数，摄像机的参数为Kⁱ，M(β,θ)表示参数β,θ作用于SMPL模型得到的三维人体模型顶点集合，j表示与头部姿态相关的参数在θⁱ中的位置，exp表示一个指数函数，当自变量为正数时，函数值大；当自变量为负数时，函数值小。函数(3)的含义是根据摄像机的参数设置投影函数，将模型头部的固定点投影到二维平面上，并计算这些投影后的二维点与对应的脸部特征点的欧式距离，同时判断与调整头部姿态有关参数值是否在限定的范围内。若参数值超出了限定的范围则exp函数值大；若参数值在限定的范围内则exp函数值小。最后将这些计算出来的欧式距离和exp函数值的和作为衡量能量项的值。当模型中的头部姿态与图像相似时，这个能量项的值小，这样也就达到了调整头部姿态的效果，同时给调整头部姿态的相关参数限定了变化范围，也就是给决定头部姿态的关节设定了旋转角度的范围，从而避免出现模型中头部旋转角度过大等的问题。

函数(2)中，E_p(βⁱ,θⁱ)模型连贯性能量项，主要用于对视频帧之间对应的三维模型姿态和形状进行约束，减少在根据视频帧重构三维人体模型姿态的过程中出现姿态翻转以及由于二维轮廓提取失败引起模型形状错误较大的可能性。模型姿态连贯性能量项的定义如下：

其中，βⁱ,θⁱ为当前帧对应的SMPL模型形状和姿态参数，β^i-1,θ^i-1为前一帧对应的SMPL模型形状和姿态参数，N为SMPL模型对应的三维人体模型中顶点的个数，M(β,θ)：表示参数β,θ作用于SMPL模型得到的三维人体模型顶点集合。其主要过程为计算当前帧所对应的三维人体模型中各个顶点与前一帧对应的模型顶点之间的欧式距离，以这些欧式距离的和作为能量项的值。也就是通过前后帧对应的三维模型的相似性来约束姿态和形状的变化，模型姿态或这形状变化越大，这个能量项的值就越大。在处理视频内的某一帧时，如果由于深度信息的缺失等原因导致姿态翻转或者由于轮廓点提取失败导致形状变化较大的话，模型连贯性能量项的值将变得非常大，这跟能量函数的优化目标相悖。这个能量项在一定程度上约束了重构过程中出现姿态翻转，模型形状错误较大等情况的出现。

在步骤6)中，所述的获取三维人体模型在摄像机视角下的边缘点及其与二维轮廓线的匹配关系，其具体过程如下所述：

在步骤5)估计出SMPL模型的βⁱ,θⁱ参数后得到对应的三维人体网格模型。假设Edge＝{e₀,e₁,...,e_n}为三维人体网格模型中边的集合，e_i为其中编号为i的边，以e_i为公共边的两个三角面片分别记为f_i,l和f_i,r，v_cam为步骤4)中得到的摄像机的位置。获取三维人体模型在摄像机视角下的边缘点具体步骤如下：

6.1)计算f_i,l的法向量与中心位置坐标，分别记为nor_i,l，v_i,l。同理计算f_i,r的法向量及中心位置坐标nor_i,r，v_i,r；

6.2)判断[nor_i,l·(v_i,l-v_cam)]*[[nor_i,r·(v_i,r-v_cam)]]＞0是否成立，即判断以e_i为公共边的两个三角面片在摄像机视角下是否一面可见一面不可见，若成立则将e_i对应的两个顶点的编号放入模型边缘集合中，这个集合记为Boundary；

6.3)遍历Edge集合中的所有边，重复执行6.1)和6.2)得到集合Boundary；

6.4)去掉Boundary中重复的数据，并遍历Boundary，根据摄像机的位置判断其中的顶点是否被遮挡，若被遮挡则去除，最后根据这些编号得到当前三维人体模型在摄像机视角下的边缘点B(βⁱ,θⁱ)。

为Sⁱ中的各个二维轮廓点建立KD树，并利用摄像机参数将三维人体模型的边缘顶点B(βⁱ,θⁱ)投影到二维平面上。遍历这些投影后的顶点，通过搜索KD树，找出距离其最近的轮廓点构成匹配关系。

在步骤7)中，所述的采用优化方法进行模型形状的再次优化，其过程主要是调整SMPL模型的形状参数β，使对应的三维模型在摄像机视角下边缘点投影后的位置与视频帧中二维轮廓点的位置距离之差的总和最小。具体过程如下所述：

在步骤3)获得人物二维轮廓线Sⁱ以及从步骤6)中得到模型边缘顶点与二维轮廓点的匹配关系之后，对模型形状的再次优化主要通过优化函数(5)来实现，其具体定义为：

函数(5)中，j为三维人体模型在摄像机视角下的边缘顶点编号。l为步骤6)中得到的与模型第j个边缘顶点相匹配的二维轮廓点编号。模型轮廓能量项的处理过程具体为：首先根据摄像机的参数将模型的轮廓边缘顶点投影到二维平面中，投影后的点这里暂且称为投影顶点。对每一个投影顶点，从图像的二维轮廓点中，找出离其最近的轮廓点，计算两个点的欧氏距离。最后将这些欧式距离的和作为模型轮廓能量项的值。当重构的模型形状比二维轮廓小时，能量项的值将比较大，优化过程将倾向于减少能量项的值，也就倾向于模型形状变大的方向，相反，当重构的模型形状比二维轮廓大时，优化过程倾向于模型形状变小的方向。

本发明经过实验证明其可行性，能广泛应用于各种视频序列。图6展示的是本发明对连续视频序列处理的结果与SMPLify处理的结果。其中图中(a)为原始视频帧，图中(b)为SMPLify的重构结果，图中(c)为本发明的处理结果。从结果对比可以看到由于深度信息的缺失，SMPLify重构的模型出现了姿态翻转的问题，而本发明用视频的连贯性加强了对前后帧对应的三维模型姿态和形状相似相似性的约束，避免处理当前帧时，由于深度信息的缺失导致的姿态翻转问题。图7展示的是本发明对头部姿态的处理处理结果及与SMPLify的对比，图中右上角为对图像头部区域方法的结果展示，其中图中(a)为原始视频帧；图中(b)为SMPLify的处理结果；图中(c)为本发明的处理结果。图中(a)第一行方框所示，原始帧中人物的头部相对于身体有一个相对明显的向右侧旋转的姿态。对于头部的姿态，SMPLify并没有作处理，其重构的模型中头部依然朝向身体前方，如图中(b)第一行所示。本发明对模型头部姿态作了有效处理，重构出来的模型，其头部有一个比较明显的向右侧旋转的姿态，如图中(b)第一行所示。图中(a)第二行方框所示，原始视频帧中的人物头部有一个较轻微的头部向左前方低头的姿态，人物眼睛向下注视，对于这种较小幅度的姿态，本发明依然可以处理。如图中(c)第二行红色方框所示，从视觉上看本发明重构的模型头部有一个略微向左下方倾斜的姿态。与SMPLify重构的结果相比，本发明的结果显得更加合理，且与视频帧中人物的姿态更加相似。图8展示的是本发明对模型形状的优化结果及与SMPLify的对比，其中图中(a)为原始视频帧；图中(b)为SMPLify的处理结果；图中(c)为本发明的处理结果。从图中(a)可以看到视频帧中，人物的体型比较消瘦，由于拍摄过程中，人物运动较快，视频帧中人物的手和脚的区域比较模糊。从图中(b)可以看出，SMPLify重构的结果包含了模型的姿态，且有一定的形状，但是由于缺乏其他约束，模型的形状并不能很好地与视频帧吻合。SMPLify重构的模型相对于原始视频帧中的人物，体型较为粗壮，特别是上半身在维度上与原始视频帧中的人物有较大区别。其中的臀部，腹部以及胸部明显比视频帧中的要粗大。相比之下，本发明重构的结果要优于SMPLify方法。本发明进行三维人体模型重构的过程中，提取视频帧中人物的轮廓点，并通过轮廓点约束三维模型的形状，从而达到形状优化的效果。如图中(c)所示，本发明通过图像中轮廓的约束，对三维模型中臀部，腹部以及胸部等部位的形状进行了有效调整，使重构出来的三维人体模型与视频帧中的人物体型更加接近。同时，在实验结果中，模型的头部姿态也比较准确，使得重构的模型更为准确。图中(b)和(c)的对比，可以看到，在模型形状的重构方面，本发明比SMPLify做得更好。图9展示的是本发明对其他视频序列的处理结果，图中第一、三列为原始视频帧，第二、四列为对应的处理结果。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.一种视频序列的三维人体模型姿态与形状重构方法，其特征在于，包括以下步骤：

1)提取视频帧中人物的二维关节点；

2)提取视频帧中人物的脸部特征点；

3)提取视频帧中人物的二维轮廓线；

4)估计摄像机参数，摄像机参数是用于模拟摄像机拍摄过程的参数，包括摄像机平移量、纵横比、旋转量；根据摄像机参数能够生成透视矩阵，便以将模型投影到二维平面上；

5)采用优化方法进行模型姿态和形状的优化，使三维人体模型的关节点以及脸部固定点经过投影后与视频帧中对应的点位置之差总和最小；

6)获取三维人体模型在摄像机视角下的边缘点及其与二维轮廓线的匹配关系；

7)采用优化方法进行模型形状的再次优化，使得在摄像机视角下三维模型的边缘点投影后的位置与视频帧中二维轮廓点的位置距离之差的总和最小。

2.根据权利要求1所属的一种视频序列的三维人体模型姿态与形状重构方法，其特征在于，在步骤1)中，所述的提取视频帧中人物的二维关节点，具体如下：

假设当前帧为视频中的第i帧视频，将当前帧作为输入，输入到DeepCut构建的神经网络中，DeepCut经过处理提取出其中人物的各个二维关节点位置，这里记为 为一个14×2的矩阵，表示提取出来的14个关节在图像上的位置坐标，矩阵中，每一行表示特定的关节，其中第一行表示右脚踝关节的位置，第二行表示右膝关节的位置。

3.根据权利要求1所属的一种视频序列的三维人体模型姿态与形状重构方法，其特征在于，在步骤2)中，所述的提取视频帧中人物的脸部特征点，具体方法为：将当前帧作为输入，利用已有文献的方法自动地获取其中的脸部特征点，不同的方法提取的特征点不同，这里选取其中位于左眼瞳孔、右眼瞳孔、左边嘴角、右边嘴角以及下巴五个位置的特征点作为脸部特征点，记为 为一个5×2的矩阵，表示五个脸部特征点在视频帧中的位置坐标。

4.根据权利要求1所属的一种视频序列的三维人体模型姿态与形状重构方法，其特征在于，在步骤3)中，所述的提取视频帧中人物的二维轮廓线，具体方式如下：

在步骤1)中得到的当前帧中人物二维关节点的位置后，遍历其中的坐标值，得到其中X坐标的最小值与最大值以及Y坐标的最小值与最大值，利用得到的坐标值构建一个包含视频帧中人物的矩形区域U，根据人体的结构将中相邻的二维关节点进行连线，左腕关节与左肘关节连线，左肘关节与左肩关节连线，将关节所在的位置以及其中连线的区域记为F，得到上述区域后，将视频帧整个区域设置为背景区域，然后再在背景区域内的U区域设置为疑似前景区域，最后再将U区域内的F区域设置为前景区域，设置各部分区域后利用GrabCut方法提取视频帧中的前景区域，再提取出二维轮廓线，记为Sⁱ。

5.根据权利要求1所属的一种视频序列的三维人体模型姿态与形状重构方法，其特征在于，在步骤4)中，所述的估计摄像机参数，其具体方法为：

在步骤1)获得二维关节点的位置之后，利用左右肩关节点以及左右髋关节四个二维关节点构建两个三角形，这里称为二维三角形，同时将三维模型中对应的关节点投影到二维，并将投影后的点构建相应的三角形，这里称为投影三角形，具有相同意义的点构成的二维三角形与投影三角形相互匹配构成一对，移动摄像机，以此调节投影三角形的边长，使其与其所对应的二维三角形尽可能地相似，从而估计出初始的摄像机参数，也就是初始的平移量，估计到初始参数之后通过优化如下公式来得到摄像机参数以及模型初始的位置：

其中，β为SMPL模型的形状参数，θ为SMPL模型的姿态参数，K为需要估计的摄像机参数，为步骤1)中得到的二维关节点位置，j表示两个肩关节与两个髋关节的编号，Π_K为摄像机的投影函数，用于将三维顶点投影到二维平面，J为SMPL提供的回归函数，用于获取三维人体模型关节点的位置；

将模型上半身躯体的四个关节点投影到二维平面上，使这些关节投影后的位置与对应的二维关节的位置尽可能的相似，通过优化公式(1)能够获得摄像机的参数以及人体模型的初始位置。

6.根据权利要求1所属的一种视频序列的三维人体模型姿态与形状重构方法，其特征在于，在步骤5)中，所述的采用优化方法进行模型姿态和形状的优化，其具体过程如下：

在获取当前帧的二维关节点的位置脸部特征点后通过优化能量函数公式(2)来得到SMPL的形状参数β以及姿态参数θ；

其中，βⁱ为视频第i帧对应的SMPL模型的形状参数，θⁱ为模型的姿态参数，Kⁱ为视频第i帧对应的摄像机参数，为从视频第i帧中估计的二维关节点，为从视频第i帧中提取的脸部特征点，λ_b,λ_h,λ_p为各个能量项在优化函数中的权重值；

函数公式(2)中，为SMPLify算法的能量函数，通过这个能量项能够很好地避免三维模型各个部分相互融合穿透的问题，同时重构出与视频帧中人物姿态和形状较为相似的模型；

函数公式(2)中，为头部姿态能量项，主要用于根据提取的脸部特征点来调整头部姿态，该能量项具体定义为：

其中，V_f表示对三维人体模型中与视频帧人物脸部特征点对应的顶点编号集合，ID(υ)表示编号为υ的三维顶点所对应的脸部特征点的编号，其中υ∈V_f，σ_j表示θ中，第j个参数θ_j的阈值，也就是说-σ_j≤θ_j≤σ_j，表示一个摄像机将顶点从三维投影到二维的函数，摄像机的参数为Kⁱ，M(β,θ)表示参数β,θ作用于SMPL模型得到的三维人体模型顶点集合，j表示与头部姿态相关的参数在θⁱ中的位置，exp表示一个指数函数，当自变量为正数时，函数值大；当自变量为负数时，函数值小；函数公式(3)的含义是根据摄像机的参数设置投影函数，将模型头部的固定点投影到二维平面上，并计算这些投影后的二维点与对应的脸部特征点的欧式距离，同时判断与调整头部姿态有关参数值是否在限定的范围内；若参数值超出了限定的范围则exp函数值大；若参数值在限定的范围内则exp函数值小；最后将这些计算出来的欧式距离和exp函数值的和作为衡量能量项的值；当模型中的头部姿态与图像相似时，这个能量项的值小，这样也就达到了调整头部姿态的效果，同时给调整头部姿态的相关参数限定了变化范围，也就是给决定头部姿态的关节设定了旋转角度的范围，从而避免出现模型中头部旋转角度过大的问题；

函数公式(2)中，E_p(βⁱ,θⁱ)模型连贯性能量项，主要用于对视频帧之间对应的三维模型姿态和形状进行约束，减少在根据视频帧重构三维人体模型姿态的过程中出现姿态翻转以及由于二维轮廓提取失败引起模型形状错误大的可能性，模型姿态连贯性能量项的定义如下：

其中，βⁱ,θⁱ为当前帧对应的SMPL模型形状和姿态参数，β^i-1,θ^i-1为前一帧对应的SMPL模型形状和姿态参数，N为SMPL模型对应的三维人体模型中顶点的个数，M(β,θ)表示参数β,θ作用于SMPL模型得到的三维人体模型顶点集合；其主要过程为计算当前帧所对应的三维人体模型中各个顶点与前一帧对应的模型顶点之间的欧式距离，以这些欧式距离的和作为能量项的值，也就是通过前后帧对应的三维模型的相似性来约束姿态和形状的变化，模型姿态或这形状变化越大，这个能量项的值就越大；在处理视频内的某一帧时，如果由于深度信息的缺失原因导致姿态翻转或者由于轮廓点提取失败导致形状变化大的话，模型连贯性能量项的值将变得非常大，这跟能量函数的优化目标相悖，这个能量项在一定程度上约束了重构过程中出现姿态翻转及模型形状错误大的情况出现。

7.根据权利要求1所属的一种视频序列的三维人体模型姿态与形状重构方法，其特征在于，在步骤6)中，所述的获取三维人体模型在摄像机视角下的边缘点及其与二维轮廓线的匹配关系，其具体过程如下：

在步骤5)估计出SMPL模型的βⁱ,θⁱ参数后得到对应的三维人体网格模型，假设Edge＝{e₀,e₁,...,e_n}为三维人体网格模型中边的集合，e_i为其中编号为i的边，以e_i为公共边的两个三角面片分别记为f_i,l和f_i,r，v_cam为步骤4)中得到的摄像机的位置，获取三维人体模型在摄像机视角下的边缘点具体步骤如下：

6.1)计算f_i,l的法向量与中心位置坐标，分别记为nor_i,l，v_i,l；同理计算f_i,r的法向量及中心位置坐标nor_i,r，v_i,r；

6.2)判断[nor_i,l·(v_i,l-v_cam)]*[[nor_i,r·(v_i,r-v_cam)]]＞0是否成立，即判断以e_i为公共边的两个三角面片在摄像机视角下是否一面可见一面不可见，若成立则将e_i对应的两个顶点的编号放入模型边缘集合中，这个集合记为Boundary；

6.3)遍历Edge集合中的所有边，重复执行6.1)和6.2)得到集合Boundary；

6.4)去掉Boundary中重复的数据，并遍历Boundary，根据摄像机的位置判断其中的顶点是否被遮挡，若被遮挡则去除，最后根据这些编号得到当前三维人体模型在摄像机视角下的边缘点B(βⁱ,θⁱ)；

为Sⁱ中的各个二维轮廓点建立KD树，并利用摄像机参数将三维人体模型的边缘顶点B(βⁱ,θⁱ)投影到二维平面上，遍历这些投影后的顶点，通过搜索KD树，找出距离其最近的轮廓点构成匹配关系。

8.根据权利要求1所属的一种视频序列的三维人体模型姿态与形状重构方法，其特征在于，在步骤7)中，所述的采用优化方法进行模型形状的再次优化，其过程主要是调整SMPL模型的形状参数β，使对应的三维模型在摄像机视角下边缘点投影后的位置与视频帧中二维轮廓点的位置距离之差的总和最小，具体过程如下：

在步骤3)获得人物二维轮廓线Sⁱ以及从步骤6)中得到模型边缘顶点与二维轮廓点的匹配关系之后，对模型形状的再次优化主要通过优化函数公式(5)来实现，其具体定义为：

函数公式(5)中，j为三维人体模型在摄像机视角下的边缘顶点编号，l为步骤6)中得到的与模型第j个边缘顶点相匹配的二维轮廓点编号，模型轮廓能量项的处理过程具体为：首先根据摄像机的参数将模型的轮廓边缘顶点投影到二维平面中，投影后的点这里暂且称为投影顶点，对每一个投影顶点，从图像的二维轮廓点中，找出离其最近的轮廓点，计算两个点的欧氏距离，最后将这些欧式距离的和作为模型轮廓能量项的值，当重构的模型形状比二维轮廓小时，能量项的值将变大，优化过程将倾向于减少能量项的值，也就倾向于模型形状变大的方向，相反，当重构的模型形状比二维轮廓大时，优化过程倾向于模型形状变小的方向。