CN110232698A - 一种基于模型分割与l1中值骨架的连续帧三维人体曲线骨架提取方法 - Google Patents

Abstract

本发明公开了一种基于模型分割与L1中值骨架的连续帧三维人体曲线骨架提取方法，本发明借助基于模型分割点的插值骨架对L₁中值骨架进行去噪与修复，进而通过迭代优化，来求解考虑了运动关联的时间约束和骨骼块间及块内的空间约束的骨骼点序列，各帧内骨骼点相互连接形成完整的骨架。该方法包含以下三个步骤：基于L₁中值骨架提取方法的L₁中值骨架提取，基于模型分割骨架TPS变形的L₁中值骨架去噪与补全，连续帧曲线骨架序列优化。此方法可以在几乎没有人工干预的情况下面向连续帧网格模型提取出更准确、更完整、更平滑的三维人体曲线骨架。

Description

一种基于模型分割与L1中值骨架的连续帧三维人体曲线骨架 提取方法

技术领域

本发明涉及计算机图形学领域，尤其涉及一种自动的基于模型分割与L₁中值骨架的连续帧三维人体曲线骨架提取方法研发。

背景技术

骨架模型(中轴)是三维模型的抽象表示，它能够充分地体现原模型的几何拓扑结构特征，而忽略原模型中所包含的对研究没有价值的冗余信息，是物体的一种重要的拓扑描述符,同时又能很好表示出物体的形状特征。骨架有两种表现类型:一种是曲线状模型，被称为曲线骨架；另一种既包含曲线模型也包含曲面模型，称为面骨架。在三维模型的各种处理技术中，提取三维模型的骨架作为获得其形状信息的一种手段而占有极其重要的地位。骨架可用于图形检索和匹配。骨架可用于模型分割方面，通过提取模型的骨架状曲线，然后分析曲线上的拓扑变化，将人体的四肢与躯干分割开来,骨架可用于三维动画。因此，点云模型的自动骨架提取也越来越引起人们的重视。

目前为止，基于点云或者网格的方法很多，并没有一种同时考虑连续骨架序列间的关联约束的专门应用于处理运动中人体点云模型的骨架提取。相比基于网格模型的骨架提取，基于点云的骨架提取更加便捷，但是由于点与点之间没有网格模型中那样存在的几何结构信息以及点云模型中通常会存在大量的缺失区域，噪声点或者无用点等情况，使得基于点云模型提取的骨架效果不够理想。针对点云模型的L₁中值骨架提取算法，通过不断扩大邻域半径迭代收缩下采样点同时加入适当的斥力，使得采样点收缩成线性骨架。该方法是目前已知从包含噪声、不完整点云模型中提取曲线骨骼最好的一种方法。但此方法中对全局采用同一初始邻域进行收缩迭代提取骨架，对于区域大小及点集数差别较大的模型，迭代效率不高，同时对于区域相对紧密的模型骨架分支不易区分，提取骨架易出现误差。

因此针对上述问题，本发明提出一种考虑连续帧骨架序列间位置约束的面向连续帧点云的基于TPS变形的曲线骨架提取算法，借助基于模型分割点的插值骨架对L₁中值骨架进行去噪与修复，进而通过迭代优化，来求解考虑了运动关联的时间约束和骨骼块间及块内的空间约束的骨骼点序列，各帧内骨骼点相互连接形成完整的骨架。

发明内容

本发明提出了一种基于模型分割与L₁中值骨架的连续帧三维人体曲线骨架提取方法。此方法可以在几乎没有人工干预的情况下面向连续帧网格模型提取出更准确、更完整、更平滑的三维人体曲线骨架。

值得注意的是需要对所有模型进行归一化，将各帧模型尽可能地对齐。这个预处理对于本方法的结果是至关重要的，因为只有保证每一帧模型的尺寸是统一的，且中心位置和朝向是在一个完全相同的坐标系，之后在优化的过程中，才能更加便捷且准确地寻找到相邻帧标准骨架中的匹配骨骼点。

本发明采用的技术方案为一种基于模型分割与L1中值骨架的连续帧三维人体曲线骨架提取方法，该方法包含以下三个步骤：基于L₁中值骨架提取方法的L₁中值骨架提取，基于模型分割骨架TPS变形的L₁中值骨架去噪与补全，连续帧曲线骨架序列优化。各个步骤具体实现过程如下：

S1基于L₁中值骨架提取方法的L₁中值骨架提取：利用L₁中值骨架提取方法提取连续帧点云模型序列的L₁中值骨架序列，L₁中值骨架序列中各别帧可能是不完整的，有错误分支的。

S2基于模型分割骨架TPS变形的L₁中值骨架去噪与补全：基于特征点的模型区域分割及骨架提取方法生成的模型初始完整骨架基础上利用插值方法在相邻两骨架点之间插入适量点生成初始骨架。进而利用上述初始骨架与不完整、有错误分支的L₁中值骨架进行双向匹配寻找对应点作为TPS变形的控制点对，同时剔除具有错误分支的L₁中值骨架中的错误分支，进而利用剔除错误骨架点后的L₁中值骨架与初始骨架间的控制对应点对初始骨架进行TPS变形生成变形后的初始骨架，即对L₁中值骨架去除异常点及补全后的完整L₁中值骨架。

S3连续帧曲线骨架序列优化：对生成的完整L₁中值骨架进行均匀骨架点采样，使得各帧骨架点数目一致，进行帧间分块对齐，寻找帧间骨架对应点，使得各帧骨架点具有一致排列，构造连续帧曲线骨架的骨骼点序列，建立连续帧骨骼点位置优化模型对上面得到的骨骼点序列进行优化，最终得到基于几何传播的三维人体曲线骨架序列，如图1方法图所示。对于上述三步骤详细介绍如下：

S1.1基于L₁中值骨架提取方法的L₁中值骨架提取

在三维模型的曲线骨架提取领域，针对点云模型，Huang等人提出的L₁中值骨骼提取方法取得了很好的效果。最近，L₁中值已广泛应用于点云处理中。黄等人利用局部L₁中值方法提取无定向原始扫描点云的骨架。将基于模型分割的插值曲线骨架与L₁中值骨架结合并优化以重新获得较好的骨架结果。

给定一组无定向的三维点集通过使用投影点X＝{x_i}_i∈I的最优分布来获得L₁中值骨架，如公式(1)所示：

其中第一项是Q的局部L₁中值，第二项使X的局部点分布正则化，I表示投影点X的集合索引，J表示输入点Q的集合索引。权重函数是一个支持半径为h的快速衰减平滑函数。使用加权PCA计算的参数σ_i用于检测骨架分支的形成。{γ_i}_i∈I是在X中的平衡常数。索引i为x的下标，表示属于I中的一个索引，j为q的下标，表示属于J中的一个索引，q表示给定三维点集Q中的一个点，γ为在投影点集X中的平衡常数，θ为一函数表示权重。在这种方法中，适当的设定支持半径和适当的选择连接点(连接点用于连接骨架分支，并将骨架分支与其他非分支点连接)对获得良好结果至关重要。通过适当的参数设置和连接点选择，该方法可以为模型产生比较好但不够理想的骨架，如图2中的(a)所示。但是，设置适当的参数并选择连接点是一项繁琐的工作。如图2中的(b)所示，对于具有不同姿势的相同模型，应用该方法提取的骨架可能效果不佳。

L₁中值骨架提取方法试图将组件的中心作为骨架点。由于复杂点云通常由许多不连接的组件组成，如果半径为h的邻域包含仅来自模型的一个组件的点，则可以将采样点x_i移动到该组件的中心。然而，如果由于不适当的半径h设置，邻域包含模型的若干组件分量，则样本点x_i将难以移动到正确组件的中心，这将导致错误的结果。此外，对于具有多个不同尺寸组件的模型(每个组件在其不同部位中也可具有不同的尺寸)，也难以为所有组件设定均匀的h以产生高质量的结果。因此，需要设置自适应h以获得良好的结果。尽管给出了自适应h设置技术，但是产生令人满意的结果仍然是较难的。

所以在提取比较复杂的模型或者具备特殊结构的人体模型的骨架的时候，使用这种通用的骨架提取方法不一定能得到较理想的结果。比如在提取双臂紧贴身体或双腿并拢的站立人体时，利用L₁中值骨架提取方法可能无法提取到双腿和双手臂的骨架。

S2基于模型分割骨架TPS变形的L₁中值骨架去噪与补全

首先，将提取到的标准骨架实现帧间对齐与骨骼点帧间匹配，构建连续帧标准骨架的骨骼点序列，其次，构建连续帧骨骼点位置优化模型对连续帧骨骼点位置进行优化，详细描述如下：

S2.1基于模型分割的初始骨架提取

利用模型分割的方法对三维人体模型进行区域分割，如图3所示。输入两个网格模型，应用扩展的Mapper算法产生它们的形状图并进一步得到两个模型分割区域之间的对应关系。首先以一组实值函数的形式计算上述每个模型的形状描述符，理想情况下，形状描述符应捕获形状的结构，同时对特定的几何细节保持不变，并且对噪声具有鲁棒性。在实现过程中，使用HKS函数进行多个时间步骤，其直观地指示每个点与模型中的末端或高曲率区域的接近程度。然后，联合聚类两个模型的形状描述符值，根据形状描述符值将每个模型联合分割成区域，并根据聚类构造一个形状图，形状图的每个节点对应于模型上的一个区域，形状图仅保留形状的结构而没有几何信息，即仅保留模型的拓扑结构信息。然后计算两个形状图之间的对应关系进而得出两个模型区域之间的对应关系。本方法中，输入的是两个相同的网格模型，最终得到模型的区域分割以及其拓扑结构信息并被后续步骤所使用。

用公式(2)生成模型所有区域中心点作为骨骼点，并由区域分割时生成的模型拓扑结构连接骨骼点生成初始骨架，如图4所示。

其中i表示当前模型分割区域索引即骨骼点索引，v_i表示当前骨骼点，v_k表示当前骨骼点v_i所在分割区域的人体点云点，k表示当前骨骼点v_i所在块的人体点云点索引，n表示骨骼点v_i所在的分割区域的人体点云数量。

输入上面得到的如图4所示的初始骨架。利用人体特有的拓扑结构，判断出两个手臂中心点所在的块以及肩部所在的块，利用肩部中与两个手臂中心点的距离对肩部进行二次分割生成三块，最后进一步计算肩部二次分割后的块的中心点作为两个肩部点以及肩部中心点，生成模型初始完整骨架，如图5中的(a)所示。

经观察不难发现在人体实际骨架中两连接点之间是用直线连接的，所以选用线性插值方法在其相邻两骨架点之间插入适量点生成初始骨架。利用插值方法在相邻两骨架点之间插入适量点生成超级密集的初始曲线骨架，即基于模型分割的插值骨架，以下简称初始骨架，便于后续寻找TPS变形的特征点，基于模型分割的插值骨架如图5所示，图5中的(a)为基于模型分割得到的模型初始骨架，(b)为其插值后的初始骨架。

S2.2基于初始骨架TPS变形的L₁中值骨架去噪与补全

因为初始骨架上的大部分点是正常可用骨架，利用此初始骨架与L₁中值骨架进行双向匹配，寻找对应点，同时剔除L₁中值骨架中的错误分支，得到剔除错误点后的只存在干净骨架点的L₁中值骨架进而利用剔除错误骨架点后的L₁中值骨架对初始骨架进行变形生成变形后的初始骨架。

a.基于初始骨架去除L₁中值骨架异常点并寻找对应点：

在L₁中值骨架中寻找与基于模型分割的插值骨架所有点在归一化下相距0.1距离范围内的最近邻点。

图6中(a)为提取的L₁中值骨架(b)为提取的L₁中值骨架与基于模型分割的插值曲线骨架配准，其中一部分的点为L₁中值骨架，一部分线为基于模型分割的插值曲线骨架(c)为去除异常点后的L₁中值骨架及其与基于模型分割的插值曲线骨架的对应点。其中在借助(b)由(a)得到(c)的过程是一个双向匹配的过程，将L₁中值骨架错误骨架点剔除的同时与基于模型分割的插值骨架进行骨架点匹配，便于后续TPS变形时使用。

b.基于初始骨架TPS变形的L₁中值骨架补全：

TPS(ThinPlateSpline)是一种插值方法，属于径向基函数。它寻找一个通过所有的控制点的弯曲最小的光滑曲面；就像一个薄铁板，通过所给定的几个“样条”(比如木条)，铁板表面是光滑的。弯曲最小由一个能量函数定义，如公式(4)所示的双重积分。对于3个不共线的控制点，TPS是一个平面，多于三个控制点是一个曲面，少于三个则是未定义的。三维插值曲线骨架在本质上是一个曲面，而三维插值曲线骨架变形属于保持特征点对应关系的空间曲面非刚性变形。

三维中的TPS插值可定义为:给定一个点集和函数值插值函数f:R³→R应满足:

f(x_i)＝s_i,i＝1,2,…,n (3)

且使得在Beppo-Levi空间BL(2)(R3)中f的能量:

最小，满足该条件的基于薄板样条函数的整体插值函数f的一般形式为:

其中，|·|表示欧拉范数；基函数R³×R³→R是TPS核函数，为[0,∞]上的对称实值函数:

其中，r＝|x-x_i|；称为TPS插值中心；λ_i为权重参数，需通过式(1}确定；p(x)是表示仿射变换的线性多项式。TPS可平滑插值非规则分布的高维数据，具有解析解的优点，广泛应用于模型重建与曲面变形处理。

在准确标定特征点的基础上，采用上述基于特征点的TPS变形算法将初始骨架像去噪后的L₁中值骨架变形。如图7所示。

图7中(a)为插值曲线骨架为(b)为上述在剔除异常点的L₁中值骨架和插值曲线骨架中寻找的特征点(c)为插值曲线骨架基于上述特征点进行TPS变形结果图。

S3连续帧曲线骨架点序列优化

此模块大致分为两步，首先，将变形得到的曲线骨架分块均匀采样，构建连续帧曲线骨架的骨骼点序列，其次，构建连续帧骨骼点位置优化模型对连续帧骨骼点位置进行优化，详细描述如下：

S3.1构建连续帧骨架点序列

利用肩部中心点与其他骨骼点的连接数目是4以及胯部中心点与其他骨骼点的连接数目为3这个比较特殊的人体架构，将人体分为6块，利用每块中的骨骼点数以及其与末端(末端点有两手、两脚和头，末端点与其它骨骼点的连接数目为1)的连接关系比较容易地计算各个分支的点数，判断出各个分支，进而对每块骨架进行帧间等数目均匀采样，使得帧间对应块上具有相同数量且排列一致的骨架点，最终使得整个骨架帧间曲线化，具体算法如图8所示。对变形后的初始骨架进行均匀骨架点采样，每块均匀统一采样10个点，按照既定的顺序进行组合构建帧间一致性骨架，如图9所示。

上述得到的每帧均匀采样后的骨架，利用连续帧骨骼点帧间的对齐与匹配方法进行帧间对应块匹配，进而将真个骨架按块匹配结果及每块特定顺序排列构建连续帧骨架模型序列。

S3.2构建连续帧骨架点优化模型并优化骨架序列

做连续运动的人体的连续帧三维人体骨架模型序列具有很多帧间位置相关性，例如：相邻帧中的对应于相对静止的人体部位的骨骼点的位置具有局部不变性，且相邻帧中对应于同一动作的人体部位的骨骼点具有相似甚至相同的运动轨迹。因此，针对做连续运动的三维人体骨架模型，考虑连续帧帧间对应骨架点的位置相关性有助于提取更加准确的骨架。

相对于L₁、L₂范数，L₀范数在解决和表示稀疏问题的时候是最佳的表达形式。在计算机图形领域，L₀范数已经被用于模糊和平滑图像，点云模型去噪和网格模型去噪。据所知，目前，Zhang等人将L₀范数作为帧间位置约束运用到连续帧曲线骨架的骨骼点位置优化过程中，但是前期骨架处理过程有较多人工参与。除此之外，考虑到优化后的骨架在分支与分支的连接处很可能会不唯一或者应连接的分支未连接等问题，这样提取出的骨架就失去了意义，为了避免上述情况的发生以及为了使优化后的曲线骨架各个分支更加平滑，利用L_F范数对骨骼点的优化位置进行帧内块间以及帧内块内位置约束，确保优化后的骨架连接点唯一且各分支更平滑。

因此基于L₀范数建立一个帧间稀疏模型，基于L_F范数建立一个帧内块间约束模型，以及一个帧内块内约束模型，通过迭代优化，来求解考虑运动关联后的骨骼点位置，使其更平滑，完整，更准确。

利用相邻帧对应骨骼点以及帧内相邻骨骼点的位置约束对生成的曲线骨架点进行修正，平滑，定义如式(7)所示的帧间骨架序列优化模型。

其中，S为连续帧骨架点序列优化后输出的骨骼点序列(S为一个矩阵)，一行表示一帧，一列表示对应点的对应分量(x分量，y分量，z分量)，相应的，S⁰为初始输入的连续帧骨架点序列。

第一项用L_F范数表示优化前后变化最小；

第二项α||DS||₀用L₀范数表示连续帧帧间对应骨骼点的位置约束，表示帧间对应点具有尽可能小的差异即有尽可能多的骨架点重叠，进而进行帧间骨架优化；使得优化后的帧间骨骼更加平滑，其中D为定义的平滑算子，D是一个矩阵，其每一元素D_mn表示第m帧和第n帧骨骼的关联性，α为平滑因子，帧间关联系数，控制优化后的骨骼点的帧间平滑程度，增加α使优化各帧的运动骨骼关联性更强，即骨骼序列更加平滑，但同时也可能降低各帧骨骼的运动特征。其中D定义如式(8)所示。

第三项表示帧内块内平滑优化；β为帧内块内平滑系数，W为帧内块内的平滑系数矩阵，平滑系数矩阵,每一元素W_ij表示第i个和第j个骨架点的关联性，其中W定义如式(9)所示。

第四项表示帧内块与块连接点处的平滑优化，保证连接点为一个，避免同一连接点被分为不同多个连接点情况的发生。J为帧内块与块的连接点处约束系数(J是一矩阵)其每一元素J_ij表示第i个和第j个骨架点的关联性,其中J定义如式(10)所示。

求解上述模型：加入一个辅助变量δ(δ为一个矩阵)，式(10)变为式(11)：

分两步分别对变量S和δ进行优化，首先保持S固定不变，来优化δ，该优化问题变为公式(12)：

在求解这个最小化问题时，在(D_(i,:)为矩阵D的第i行元素，S_(:,j)为矩阵S的第j列元素，D_(i,:)S_(:,j)表示第j个骨骼点的帧间对应点关联性)的时候，让δ_ij＝0(δ_ij为矩阵δ的第i行，第j列元素)，否则δ_ij＝D_(i,:)S_(:,j)。

在求解δ完成后，下一步，固定δ不变，求解S，最小化问题变为公式(13)：

该最小化问题是二次的，因此可以通过求导找到最小值。在优化完S后，便完成了一次迭代，更新系数α＝μ_α、β＝μ_β，重新通过上述过程优化，直到α达到阈值α_max，优化过程结束。

输出：连续帧三维人体模型的曲线骨架序列，在几乎没有人工干预的前提下，提取的三维人体骨架无论是在完整性上，与原模型贴合度上，准确性上，还是在光滑性上都比传统方法提取的骨架更具有优势，更具有实用价值与意义。

本方法可以提取出没有异常点的，更光滑，更完整的反映人体姿态的三维人体曲线骨架序列，可以应用于基于多视角图像的运动人体点云重建模型以及扫描的三维人体运动模型的三维人体曲线骨架自动提取中。实验结果表明本方法提取的三维人体骨架没有异常点，更完整、更规范、更光滑，更便于被后续的人体模型造型及操作，姿态估计等所使用。主要的主要贡献以及优势在于：

(1)将模型分割由数字图像处理，形状分割以及形状对应中拓展应用到三维人体骨架提取中，并利用点间插值生成三维人体插值曲线骨架，借助基于模型分割的三维人体插值曲线骨架对L₁中值骨架进行去噪，分割，匹配等一系列操作，最终使得整个提取骨架过程自动化。

(2)将TPS变形应用到L₁中值骨架的填充中，利用这种几何传播使得在确保提取的骨架具有较好效果的前提下实现自动化。

(3)根据人体运动，连接点处以及各分支的特点，将连续帧帧间时空约束，帧内块内几何约束以及帧内块间位置约束同时应用到连续帧骨架序列优化中，使得优化后的骨架序列在无异常点的情况下更平滑，更完整，运动趋势更加明显。

附图说明

图1为面向连续帧点云的基于L₁中值骨架的骨架提取方法流程a)输入模型b)L₁中值骨架c)基于模型分割骨架TPS变形的L₁中值骨架去噪与补全结果d)连续帧曲线骨架序列优化结果。

图2为L1中值骨架提取效果。

图3为模型分割a)输入模型b)模型分割。

图4为模型初始骨架生成。

图5为初始骨架生成a)基于模型分割得到的模型初始骨架，b)插值后的初始骨架

图6为基于初始骨架去除L1中值骨架噪声点并寻找对应点。a)为提取的L1中值骨架(b)为提取的L1中值骨架与基于模型分割的插值曲线骨架配准，其中绿色的点为L1中值骨架，底部的橘黄色的线为基于模型分割的插值曲线骨架(c)为去除异常点后的L1中值骨架及其与基于模型分割的插值曲线骨架的对应点，绿色的点与橘黄色的线代表同上。

图7为基于初始骨架TPS变形的L1中值骨架补全a)插值曲线骨架b)剔除异常点的L1中值骨架与插值曲线骨架对应点匹配c)插值曲线骨架TPS变形结果。

图8为曲线骨架均匀采样算法。

图9为曲线骨架均匀采样效果a)采样前骨架b)均匀采样结果。

图10为做行走运动的男性骨架优化前后对比。第一行输入的做连续运动的人体的连续帧三维模型序列，第二行表示作为优化前的使用L1中值骨架提取方法提取的连续帧骨架序列，第三行表示本方法中构造的连续帧骨架点位置优化模型对L1中值骨架序列优化后的骨架序列。

图11为第二组做行走运动的男性骨架优化前后对比，每行表示同上。

图12为做手臂伸展运动男性的骨架优化前后对比，每行表示同上。

图13为手臂腿部同时运动的骨架优化前后对比，每行表示同上。

图14为第二组手臂腿部同时运动的骨架优化前后对比，每行表示同上。

图15为做行走运动的与传统方法对比实验，第一行表示的是输入的连续帧人体模型，第二行为用Tagliasacchi等提出的平均曲率骨架提取方法提取的骨架序列，第三行为用Cao等的基于拉普拉斯收缩的方法提取的骨架，第四行行为用Huang等的L1中值骨架提取方法提取的骨架效果图，第五行为用Zhang等提出的基于L0的骨架优化方法实验效果图，第六行为本文的方法提取的标准骨架效果图。

图16为做手臂伸展运动的与传统方法对比实验，每行表示同上。

图17为基于同时做手臂与腿部运动数据与传统方法对比实验，每行表示同上。

具体实施方式

对本发明所达到的技术效果给予描述，该技术效果至少应该解决上述发明目的中提出的技术问题。

使用数据集做了大量的优化前后对比实验以及与传统经典的骨架提取方法的对比实验，来验证本章提出的三维人体曲线骨架提取方法的有效性。该实验部分共包括两大类实验，第一类实验室为优化前后的对比实验旨在验证本方法所提的具有帧间、帧内块内以及帧内块间位置约束的连续帧骨骼点位置优化模型的有效性；第二类实验为与传统骨架提取方法的对比实验，旨在验证本章提出的骨架提取方法较传统经典的骨架提取方法的优越性。

上述两类实验中在得到各帧数量一致的骨架并进行对齐匹配后构建了连续帧骨架序列，使用表1中的参数进行优化，得到了较好的结果。

表1优化模型中的参数

参数	α	β	μ	λ	α<sub>max</sub>	μ<sub>α</sub>	μ<sub>β</sub>	μ<sub>μ</sub>
									初始值	0.001	3.0	3.0	0.05	10	2	0.9	0.9

实验一：对上述数据集使用本章提出的连续帧骨架点位置优化模型做优化前后对比实验,效果如图10—13所示。图中第一行表示输入的做连续运动的人体的连续帧三维模型序列，第二行表示作为优化前的使用L₁中值骨架提取方法提取的连续帧骨架序列，第三行表示使用本章构造的连续帧骨架点位置优化模型对L₁中值骨架序列优化后的骨架序列。

如图10所示，第二行L₁中值骨架即优化前TPS变形依据的骨架存在错误骨架点、错误分支、错误连接点以及骨架不完整、连接中断等问题。如从左往右第一个骨架中由于两支胳膊的大臂与身体躯干比较靠近，使得不容易提取出两支胳膊的正确骨架，出现了多余的噪声骨架点与骨架分支，第二个L₁中值骨架出现了骨架点分布不均匀以及缺失骨架分支等问题，第四个与第六个L₁中值骨架出现了两支胳膊与躯干连接点不一致、躯干部分有缺失骨架等问题，第三个和第八个骨架有缺失手臂分支的问题，并且第八个骨架中提取出的手臂与躯干连接点位置不准确等问题。第三行优化结果与第二行对比发现利用本章提出的优化模型优化后得到的骨架更完整，更正确，更平滑，没有错误分支以及中断点等问题的出现，由于借助TPS变形可以填充骨架中断点，连续帧骨架点优化模型会考虑相邻帧帧间对应骨架点及帧内相邻骨架点的几何关联性，具有帧间，帧内块内以及帧内块间骨架点位置约束，所以具备矫正异常偏差骨架，平滑骨架，确保连接点唯一的能力。

如图11所示，与a是同一个人做同种行走动作的延续帧序列，第二行提取的L₁中值骨架较图a更诡异，问题更复杂，例如，从左往右数的第一个、第四个与第五个L₁中值骨架在身体上部出现了未与其它骨架连接的孤立分支(如第一个的右手臂、第五个的左脚处)、异常分支(如第四个的屁股上出现的不必要的分支)以及提取的分支不光滑(如第一个和第五个骨架的左手臂)等问题，通过第三行利用本章提出的去噪与补全处理及优化模型优化后的骨架与第二行优化前参考使用的L₁中值骨架的对比发现的骨架更完整，更光滑，骨架点分布更均匀，连接点唯一，无错误骨架及分支的出现。

如图12所示，第一行输入模型是与上述a与b不同的男性只做手臂伸展运动的连续帧模型序列，第二行是第一行输入模型序列提取的对应L₁中值骨架序列，从图中可以看出，异常情况比较单一，如从左数第一个L₁中值骨架中的躯干与两手臂连接点处、第六个的左手臂与躯干的连接处出现断点的情况，第二个的头部出现骨架分支不光滑的现象，第三个和第五个出现缺失头部分支的情况，第四个的两支手臂出现异常闭合的情况，最后一个出现两支手臂与躯干连接点不唯一的异常现象。通过第三行的方法得到的骨架与其进行对比发现的骨架较完整，较平滑，骨架点分布更加均匀，腿和手臂与躯干的连接点唯一。

图13和图14中第一行表示的是12同一男性手臂与腿部同时做不同动作的连续帧三维人体模型序列作为输入模型，图13第二行L₁中值骨架中的异常与前面提及的相似，图14中L₁中值骨架出现了新的异常，如从左往右数第四个、第五个与第六个骨架中出现了两支腿部不连接而腿部与手臂、腿部与躯干进行连接的异常情况，出现了不必要的闭合，异常分支等异常现象。将第三行提取的骨架与上述异常L₁中值骨架进行对比不难发现的骨架处理方法可以修复各种异常情况下的骨架得到连续帧完整、平滑、正确的三维人体骨架序列。

如图15-17中所示第一行表示的是输入的连续帧人体模型。第二行为用Tagliasacchi等提出的平均曲率骨架提取方法提取的骨架序列，用此方法提取的骨架具有连接点不一致，骨架不完整等问题。如图15第二行从左往右数的第四个与第五个骨架的手臂较短，骨架不完整等，第一个、第四个、第五个的手臂与躯干的连接处有两个不同处的连接点，连接点不一致等问题。图16与图17中的骨架与15中的类似。

第三行为用Cao等的基于拉普拉斯收缩的方法提取的骨架，用此方法提取的骨架具有连接点不一致，如图15中第三行从左数第四个骨架的两手臂与躯干的连接处；有的地方只是简单地用骨架连接线连接，而没有均匀的骨骼点分布在红色的骨架连接线上，骨架点分布不均匀等问题，如图16和17中第三行的靠近躯干的手臂处、靠近躯干的腿部以及靠近连接点躯干处。

第四行行为用Huang等的L₁中值骨架提取方法提取的骨架效果图，从图中不难看出，用此方法提取的骨架会存在严重的骨架缺失以及连接点不一致，错误骨架分支等问题。已在实验一部分经过阐述，此图的L₁中值骨架是经过调参提取的比较好的骨架效果图，与上述图10-13中不太相同，图10-13中为了验证的实验效果，选取的是未经过调参提取的L₁中值骨架序列。

第五行为用Zhang等提出的基于L₀的骨架优化方法实验效果图，如图17所示，前两个对比实验，用此方法优化的骨架效果都比较好，然而在图17所示的实验中由于人体运动动作幅度较大，动作等复杂等问题，用此方法优化的骨架效果不是很理想，的方法占有一定的优势。

第六行为本方法的方法提取的标准骨架效果图，从这几组对比实验中，很明显可以看出的骨架较上述骨架更加完整，更加规范，更平滑，骨架点分布更均匀。

Claims (4)

1.一种基于模型分割与L1中值骨架的连续帧三维人体曲线骨架提取方法，其特征在于：该方法包含以下三个步骤：基于L₁中值骨架提取方法的L₁中值骨架提取，基于模型分割骨架TPS变形的L₁中值骨架去噪与补全，连续帧曲线骨架序列优化；各个步骤具体实现过程如下：

S1基于L₁中值骨架提取方法的L₁中值骨架提取：利用L₁中值骨架提取方法提取连续帧点云模型序列的L₁中值骨架序列，L₁中值骨架序列中各别帧可能是不完整的，有错误分支的；

S2基于模型分割骨架TPS变形的L₁中值骨架去噪与补全：基于特征点的模型区域分割及骨架提取方法生成的模型初始完整骨架基础上利用插值方法在相邻两骨架点之间插入适量点生成初始骨架；进而利用初始骨架与不完整、有错误分支的L₁中值骨架进行双向匹配寻找对应点作为TPS变形的控制点对，同时剔除具有错误分支的L₁中值骨架中的错误分支，进而利用剔除错误骨架点后的L₁中值骨架与初始骨架间的控制对应点对初始骨架进行TPS变形生成变形后的初始骨架，即对L₁中值骨架去除异常点及补全后的完整L₁中值骨架；

S3连续帧曲线骨架序列优化：对生成的完整L₁中值骨架进行均匀骨架点采样，使得各帧骨架点数目一致，进行帧间分块对齐，寻找帧间骨架对应点，使得各帧骨架点具有一致排列，构造连续帧曲线骨架的骨骼点序列，建立连续帧骨骼点位置优化模型对上面得到的骨骼点序列进行优化，最终得到基于几何传播的三维人体曲线骨架序列。

2.根据权利要求1所述的一种基于模型分割与L1中值骨架的连续帧三维人体曲线骨架提取方法，其特征在于：步骤一的实现过程如下，

S1.1基于L₁中值骨架提取方法的L₁中值骨架提取；

在三维模型的曲线骨架提取领域，针对点云模型，将基于模型分割的插值曲线骨架与L₁中值骨架结合并优化以重新获得较好的骨架结果；

给定一组无定向的三维点集通过使用投影点X＝{x_i}_i∈I的最优分布来获得L₁中值骨架，如公式(1)所示：

其中，第一项是Q的局部L₁中值，第二项使X的局部点分布正则化，I表示投影点X的集合索引，J表示输入点Q的集合索引；权重函数是一个支持半径为h的快速衰减平滑函数；使用加权PCA计算的参数σ_i用于检测骨架分支的形成；{γ_i}_i∈I是在X中的平衡常数；索引i为x的下标，表示属于I中的一个索引，j为q的下标，表示属于J中的一个索引，q表示给定三维点集Q中的一个点，γ为在投影点集X中的平衡常数，θ为一函数表示权重；在这种方法中，适当的设定支持半径和适当的选择连接点对获得良好结果至关重要；连接点用于连接骨架分支，并将骨架分支与其他非分支点连接。

3.根据权利要求1所述的一种基于模型分割与L1中值骨架的连续帧三维人体曲线骨架提取方法，其特征在于：步骤2的实现过程如下，

首先，将提取到的标准骨架实现帧间对齐与骨骼点帧间匹配，构建连续帧标准骨架的骨骼点序列，其次，构建连续帧骨骼点位置优化模型对连续帧骨骼点位置进行优化；

S2.1基于模型分割的初始骨架提取

以一组实值函数的形式计算上述每个模型的形状描述符，形状描述符应捕获形状的结构，同时对特定的几何细节保持不变，并且对噪声具有鲁棒性；在实现过程中，使用HKS函数进行多个时间步骤，其直观地指示每个点与模型中的末端或高曲率区域的接近程度；然后，联合聚类两个模型的形状描述符值，根据形状描述符值将每个模型联合分割成区域，并根据聚类构造一个形状图，形状图的每个节点对应于模型上的一个区域，形状图仅保留形状的结构而没有几何信息，即仅保留模型的拓扑结构信息；然后计算两个形状图之间的对应关系进而得出两个模型区域之间的对应关系；本方法中，输入的是两个相同的网格模型，最终得到模型的区域分割以及其拓扑结构信息并被后续步骤所使用；

用公式(2)生成模型所有区域中心点作为骨骼点，并由区域分割时生成的模型拓扑结构连接骨骼点生成初始骨架；

其中i表示当前模型分割区域索引即骨骼点索引，v_i表示当前骨骼点，v_k表示当前骨骼点v_i所在分割区域的人体点云点，k表示当前骨骼点v_i所在块的人体点云点索引，n表示骨骼点v_i所在的分割区域的人体点云数量；

利用人体特有的拓扑结构，判断出两个手臂中心点所在的块以及肩部所在的块，利用肩部中与两个手臂中心点的距离对肩部进行二次分割生成三块，最后进一步计算肩部二次分割后的块的中心点作为两个肩部点以及肩部中心点，生成模型初始完整骨架；

在人体实际骨架中两连接点之间是用直线连接的，所以选用线性插值方法在其相邻两骨架点之间插入适量点生成初始骨架；利用插值方法在相邻两骨架点之间插入适量点生成超级密集的初始曲线骨架，即基于模型分割的插值骨架，以下简称初始骨架，便于后续寻找TPS变形的特征点；

S2.2基于初始骨架TPS变形的L₁中值骨架去噪与补全

因为初始骨架上的大部分点是正常可用骨架，利用此初始骨架与L₁中值骨架进行双向匹配，寻找对应点，同时剔除L₁中值骨架中的错误分支，得到剔除错误点后的只存在干净骨架点的L₁中值骨架进而利用剔除错误骨架点后的L₁中值骨架对初始骨架进行变形生成变形后的初始骨架；

a.基于初始骨架去除L₁中值骨架异常点并寻找对应点：

在L₁中值骨架中寻找与基于模型分割的插值骨架所有点在归一化下相距0.1距离范围内的最近邻点；

b.基于初始骨架TPS变形的L₁中值骨架补全：

TPS是一种插值方法，属于径向基函数；它寻找一个通过所有的控制点的弯曲最小的光滑曲面；就像一个薄铁板，通过所给定的几个“样条”，铁板表面是光滑的；弯曲最小由一个能量函数定义，如公式(4)所示的双重积分；对于3个不共线的控制点，TPS是一个平面，多于三个控制点是一个曲面，少于三个则是未定义的；三维插值曲线骨架在本质上是一个曲面，而三维插值曲线骨架变形属于保持特征点对应关系的空间曲面非刚性变形；

三维中的TPS插值定义为:给定一个点集和函数值 插值函数f:R³→R应满足:

f(x_i)＝s_i,i＝1,2,…,n (3)

且使得在Beppo-Levi空间BL(2)(R3)中f的能量:

最小，满足该条件的基于薄板样条函数的整体插值函数f的形式为:

其中，|·|表示欧拉范数；基函数是TPS核函数，为[0,∞]上的对称实值函数:：

其中，r＝|x-x_i|；称为TPS插值中心；λ_i为权重参数，需通过式(1}确定；p(x)是表示仿射变换的线性多项式；TPS可平滑插值非规则分布的高维数据；

在准确标定特征点的基础上，采用基于特征点的TPS变形算法将初始骨架像去噪后的L₁中值骨架变形。

4.根据权利要求1所述的一种基于模型分割与L1中值骨架的连续帧三维人体曲线骨架提取方法，其特征在于：步骤3的实现过程如下，首先，将变形得到的曲线骨架分块均匀采样，构建连续帧曲线骨架的骨骼点序列，其次，构建连续帧骨骼点位置优化模型对连续帧骨骼点位置进行优化，详细描述如下：

S3.1构建连续帧骨架点序列

利用肩部中心点与其他骨骼点的连接数目是4以及胯部中心点与其他骨骼点的连接数目为3这个比较特殊的人体架构，将人体分为6块，利用每块中的骨骼点数以及其与末端的连接关系比较容易地计算各个分支的点数，判断出各个分支，进而对每块骨架进行帧间等数目均匀采样，使得帧间对应块上具有相同数量且排列一致的骨架点，最终使得整个骨架帧间曲线化；对变形后的初始骨架进行均匀骨架点采样，每块均匀统一采样10个点，按照既定的顺序进行组合构建帧间一致性骨架；

得到的每帧均匀采样后的骨架，利用连续帧骨骼点帧间的对齐与匹配方法进行帧间对应块匹配，进而将真个骨架按块匹配结果及每块特定顺序排列构建连续帧骨架模型序列；

S3.2构建连续帧骨架点优化模型并优化骨架序列

做连续运动的人体的连续帧三维人体骨架模型序列具有很多帧间位置相关性；因此，针对做连续运动的三维人体骨架模型，考虑连续帧帧间对应骨架点的位置相关性有助于提取更加准确的骨架；

相对于L₁、L₂范数，L₀范数在解决和表示稀疏问题的时候是最佳的表达形式；在计算机图形领域，L₀范数已经被用于模糊和平滑图像，点云模型去噪和网格模型去噪；为了使优化后的曲线骨架各个分支更加平滑，利用L_F范数对骨骼点的优化位置进行帧内块间以及帧内块内位置约束，确保优化后的骨架连接点唯一且各分支更平滑；

因此基于L₀范数建立一个帧间稀疏模型，基于L_F范数建立一个帧内块间约束模型，以及一个帧内块内约束模型，通过迭代优化，来求解考虑运动关联后的骨骼点位置；

利用相邻帧对应骨骼点以及帧内相邻骨骼点的位置约束对生成的曲线骨架点进行修正，平滑，定义如式(7)所示的帧间骨架序列优化模型；

其中，S为连续帧骨架点序列优化后输出的骨骼点序列(S为一个矩阵)，一行表示一帧，一列表示对应点的对应分量即x分量，y分量，z分量，S⁰为初始输入的连续帧骨架点序列；

第一项用L_F范数表示优化前后变化最小；

第二项α||DS||₀用L₀范数表示连续帧帧间对应骨骼点的位置约束，表示帧间对应点具有尽可能小的差异即有尽可能多的骨架点重叠，进而进行帧间骨架优化；使得优化后的帧间骨骼更加平滑，其中D为定义的平滑算子，D是一个矩阵，每一元素D_mn表示第m帧和第n帧骨骼的关联性，α为平滑因子，帧间关联系数，控制优化后的骨骼点的帧间平滑程度，增加α使优化各帧的运动骨骼关联性更强，即骨骼序列更加平滑，但同时也可能降低各帧骨骼的运动特征；其中D定义如式(8)所示；

第三项表示帧内块内平滑优化；β为帧内块内平滑系数，W为帧内块内的平滑系数矩阵，平滑系数矩阵,每一元素W_ij表示第i个和第j个骨架点的关联性，其中W定义如式(9)所示；

第四项表示帧内块与块连接点处的平滑优化，保证连接点为一个，避免同一连接点被分为不同多个连接点情况的发生；J为帧内块与块的连接点处约束系数每一元素J_ij表示第i个和第j个骨架点的关联性,其中J定义如式(10)所示；

求解上述模型：加入一个辅助变量δ，式(10)变为式(11)：

分两步分别对变量S和δ进行优化，首先保持S固定不变，来优化δ，该优化问题变为公式(12)：

在求解这个最小化问题时，在的时候，让δ_ij＝0，δ_ij为矩阵δ的第i行，第j列元素，否则δ_ij＝D_(i,:)S_(:,j)，D_(i,:)为矩阵D的第i行元素，S_(:,j)为矩阵S的第j列元素，D_(i,:)S_(:,j)表示第j个骨骼点的帧间对应点关联性；

在求解δ完成后，下一步，固定δ不变，求解S，最小化问题变为公式(13)：

该最小化问题是二次的，因此通过求导找到最小值；在优化完S后，便完成了一次迭代，更新系数α＝μ_α、β＝μ_β，重新通过上述过程优化，直到α达到阈值α_max，优化过程结束。