CN106204635A - 基于l0最小化的人体连续帧骨骼优化方法 - Google Patents

Abstract

基于L₀最小化的人体连续帧骨骼优化方法属于图形表示方法领域，优化并恢复连续运动人体骨骼中出现的骨骼点位置提取异常，分支错误和过度不平滑的情况，以及解决同一帧中出现的骨骼点位置重合、关节处断裂的问题，以得到更加均匀、完整的骨骼模型。首先，采集多视角运动中人体的图像，使用每一帧的各视角图像重建出稠密的点云模型。针对每一帧的点云模型，使用L₁中值骨骼方法提取骨骼模型；然后，对各帧的人体骨骼进行分块处理，并对各块的骨骼点进行采样，构造连续帧人体骨骼序列，建立考虑相邻帧关联性的稀疏优化模型。最后，在优化模型中增加了同一帧相邻骨骼点的正则项，让优化得到的骨骼点更加均匀。

Description

基于L0最小化的人体连续帧骨骼优化方法

技术领域

本发明适用于一种图形表示方法，特别是适用于连续帧人体提取骨骼的优化方法。

背景技术

从三维模型中提取得到的骨骼框架可以被认为是该模型的一种非常直观且高效的表示，对于分析和操作三维模型具有很强的实用意义。尤其对于人体模型，骨骼框架可以被用于姿态估计，人体造型及操作等方面。

目前已经有一些可以直接从不完成、含有噪声的点云模型中提取骨架的技术，例如基于广义旋转对称轴概念的骨架模型提取、点云的L₁中心骨骼提取技术。但是对于连续运动的人体模型，这些方法并没有考虑到各帧运动模型间的相互关联。如果只是单独考虑每一帧的模型，提取到的骨骼点偶尔会出现提取不完全、错误分支或者部分点位置偏差的情况，如图2所示。

连续运动的人体模型具有很多帧间的几何相关性，例如：相邻帧中位于相对静止的人体部位的骨骼点的几何位置具有局部不变性，且相邻帧反映同一动作的人体部位的骨骼点具有相同、相似的运动轨迹。因此，针对连续运动状态的人体点云模型，考虑相邻帧的点云几何相关性有助于提取更加准确的骨骼点。

在表示和解决稀疏问题的时候，L₀范数相对于L₁、L₂范数是最佳的表达形式。在计算机图形领域，L₀范数已经被用于平滑和模糊图像，网格模型去噪以及点云模型去噪。但是据我们所知，还没有人使用L₀范数来对连续帧运动骨骼点位置进行优化。

根据我们观察，连续运动的人物骨骼点集合在相邻帧间具有很强的关联性，若不考虑人体位置的移动，相邻帧间的骨骼点中很大一部分是相互重合或只有微小的位置偏移的。而在运动过程中，部分发生位置变化的骨骼点也会和其前后帧其对应的骨骼点的位置相关。由于人体运动具有连续性，所以在保持一定帧率的条件下采集得到的人体模型，某一帧骨骼中的运动点会在其前后帧对应点的中间位置。因此我们可以基于L₀范数建立一个稀疏模型，通过迭代优化，来求解考虑运动关联后的骨骼点位置。

发明内容

目前已有的三维点云骨骼提取提取方法都是处理单一的物体模型，并没有针对连续运动人体模型，且考虑其在时间和空间的几何相关性的方法。鉴于上述原因，本发明提出了一种基于L₀最小化的人体连续帧骨骼优化方法，主要解决的技术问题包括优化并恢复连续运动人体骨骼中出现的骨骼点位置提取异常，分支错误和过度不平滑的情况，以及解决同一帧中出现的骨骼点位置重合、关节处断裂的问题，以得到更加均匀、完整的骨骼模型。

这里提出的基于L₀最小化的人体连续帧骨骼优化方法大体包含以下几个步骤：首先，采集多视角运动中人体的图像，使用每一帧的各视角图像重建出稠密的点云模型。针对每一帧的点云模型，使用L₁中值骨骼方法提取骨骼模型；然后，对各帧的人体骨骼进行分块处理，并对各块的骨骼点进行采样，构造连续帧人体骨骼序列，建立考虑相邻帧关联性的稀疏优化模型。最后，在优化模型中增加了同一帧相邻骨骼点的正则项，让优化得到的骨骼点更加均匀。

我们在光场中对连续运动的人进行多视角拍摄，统一控制各视角摄像机，保持固定帧率。之后结合使用SFM和CMVS进行特征点检测、匹配、重建，最终获得各帧人体的稠密三维点云模型，如图1所示。

针对每一帧的骨骼点，需要进行如下的预处理：对整个人体骨骼进行分块操作，具体分为主躯干、左臂、右臂、左腿和右腿这五部分；对于每一块，进行排序后采样，以保证每帧对应躯干块的骨骼点数量一致。最后将各帧采样得到的五部分骨骼点顺序组合并对齐，保证各帧骨骼点的中心重合，得到全部帧整体的骨骼点，如图3所示。

L₀范数定义的是向量v中非零元的个数，其定义为我们发现由于人体在运动过程中具有很强的连续性，也就是说在保持一定采集帧率的前提下，中间帧骨骼点一般是固定在前后帧运动范围的区间内，且整个过程可以认为是平滑连续的。因此可以定义如式(1)所示的优化模型。

$\underset{S}{\min }{|S-S^{\left(0\right)}|}^2+\mathrm{\γ}{\left|D\left(S\right)\right|}_0---\left(1\right)$

上式中，S为优化的骨骼点向量，S⁽⁰⁾为初始骨骼点的向量，D(S)为我们定义的平滑算子，γ控制优化后的骨骼点的帧间平滑程度。根据分割对齐后的骨骼点，如图3所示，定义分块后的骨骼为其中n为各块中骨骼点的索引号，b为骨骼点所在块的序号，f为骨骼块所在帧的序号。

现在表达各帧间的时间约束如式(2)所示。其中D_k,n为分解后的骨骼S_k,n的平滑算子。S_k,n为包含F个元素的骨骼点向量，其中的所有骨骼点都属于第k个骨骼块，且索引号为n。

$\begin{array}{c}|D\left(S\right){|}_0=\underset{k}{\Σ}\underset{n}{\Σ}|D_{k,n}{S}_{k,n}{|}_0\\ S_{k,n}={\[s_{k,n}^1,s_{k,n}^2,s_{k,n}^3\mathrm{...}{s}_{k,n}^F\]}^T\end{array}---\left(2\right)$

假定连续运动骨骼点与其他帧的相互关系会随着运动时间而衰减，即相隔越近的帧的骨骼点的权系数的绝对值要大于相隔远的。δ_i,j为第i帧的骨骼点与第j帧的骨骼点的权重，定义对应的权重因子为其中d_i,j为第i帧与第j帧间的骨骼点距离，可以用d_i,j＝|i-j|.来表示，l为骨骼点的距离范围。而当i＝j时，也就是第i个骨骼自身的权重，需要让其等于所有其他项和的绝对值的相反数。我们定义δ_i,j如式(3)所示。

${\mathrm{\δ}}_{i,j}=\left\{\begin{array}{ccc}-e^{-\frac{d_{i,j}^2}{l^2}},& if& i\≠j\\ -\underset{i\≠j}{\Σ}{\mathrm{\δ}}_{i,j},& if& i=j\end{array}\right.---\left(3\right)$

通过上述算子优化后的结果如图4所示，其中第二行为对7帧连续骨骼点优化后的结果。可以发现相对于优化前，优化后的骨骼点位置更加集中、整齐，且整体的运动趋势更加明显。

为了解决骨骼点的收缩问题，去掉非邻帧的相关约束，严格控制每个骨骼点的关联因子只与其前后帧(非第一帧和最后一帧)对应骨骼点相关，即其他位置的权系数为0，此时的δ_i,j为：

${\mathrm{\δ}}_{i,j}=\left\{\begin{array}{cc}-1,& \begin{array}{cccc}if& |i-j|=1& and& i,j\≠1,F\end{array}\\ 2,& \begin{array}{cccc}if& i=j& and& i,j\≠1,F\end{array}\\ 0,& otherwise\end{array}\right.---\left(4\right)$

运用该算子，优化的结果如图4的第三行所示。可以发现优化后的骨骼不会再出现向中心收缩的情况，且在加大γ后，整体骨骼会更加平滑。

为了解决同一帧骨骼点分布不均匀的问题，增加了同一帧骨骼点间的位置约束正则项R(S)。R(S)由两部分组成，分别是约束同一帧中各块内骨骼点位置的正则项R_block(S)，以及约束同一帧中位于不同块的关节点的正则项R_joint(S)。式(5)定义了正则项R_block(S)，N表示骨骼块k中的骨骼点数量,表示f帧中的骨骼块k内的空间约束，为S的子集，其代表了包含N个有序骨骼点的同块骨骼向量。

$\begin{array}{c}{R}_{block}\left(S\right)=\underset{k}{\Σ}\underset{f}{\Σ}|{W_k}^f{S}_k^f{|}^2\\ S_k^f={\[s_{k,1}^f,s_{k,2}^f,s_{k,3}^f\mathrm{...}{s}_{k,N}^f\]}^T\end{array}---\left(5\right)$

采用类似定义δ_i,j的形式，考虑骨骼点间相邻空间内的约束，给出ω_i,j的表达如式(6)所示。图5中展示了在增加正则约束R_block(S)后的优化结果。从框中的点可以看到，在不加R_block(S)的时候骨骼点会出现部分集中的问题，而在加入约束R_block(S)后，单一帧的骨骼点明显分布更加均匀。

${\mathrm{\ω}}_{i,j}=\left\{\begin{array}{cc}-1,& \begin{array}{cccc}if& |i-j|=1& and& i,j\≠1,N\end{array}\\ 2,& \begin{array}{cccc}if& i=j& and& i,j\≠1,N\end{array}\\ 0,& otherwise\end{array}\right.---\left(6\right)$

但是，同样在不同块间的部分骨骼点间也存在着空间关联。如果忽略这些约束会导致同一帧的各骨骼块间出现断裂的情况，如图6中的左图所示。因此，需要定义不同块间的连接点处的正则约束R_joint(S)。模型中考虑了两个关节点处的空间约束，分别是链接躯干和左右臂的肩部关节和链接两腿和躯干的关节。

为链接双臂和躯干的骨骼集合，其中和分别为右臂和左臂链接躯干的骨骼点，为躯干中链接双臂的骨骼点。

为链接双腿和躯干的骨骼集合，其中和分别为右腿和左腿链接躯干的骨骼点，为躯干中链接双腿的骨骼点。以上定义的骨骼点都在f帧中。为了使双臂间或两腿间的两点尽可能接近，且躯干处的关节点与它们距离尽可能最小，定义了算子J。上述定义的表达式如式(7)所示。

$R_{jo\mathrm{int}}\left(S\right)=\underset{f}{\Σ}|J(S_a^f+S_l^f){|}^2---\left(7\right)$

$J=\left[\begin{array}{ccc}1& 0& -1\\ -1& 2& -1\\ -1& 0& 1\end{array}\right]$

在图6的右图展示了我们加入R_joint(S)后的优化结果，可以看到整个人体骨骼在加入关节点处的位置约束后呈现出更加整体、结构化的特点。

最终，基于L₀最小化的人体连续帧骨骼优化模型的定义如式(8)所示

$\underset{S}{min}|S-S^{\left(0\right)}{|}^2+\mathrm{\α}|R_{block}\left(S\right){|}^2+\mathrm{\β}|R_{jo\mathrm{int}}\left(S\right){|}^2+\mathrm{\γ}|D\left(S\right){|}_0---\left(8\right)$

上式中，第一项为优化前后的误差约束项，其中S为优化的骨骼点向量，S⁽⁰⁾为初始骨骼点的向量；第二项为同一帧骨骼块内的空间约束项，α为该项权重系数；第三项为同一帧骨骼不同块间关节处的空间约束，β为该项的权重系数；第四项为相邻帧间骨骼的时间关联约束项，γ为关联系数。通过调整α，β和γ的大小，可以得到不同的优化结果。增大α和β可以让同一帧骨骼分布更加平均，避免出现关节处断裂的情况，但是过分增大α和β也会导致优化结果偏离原始采样的问题。增加γ可以使优化后的各帧的运动骨骼关联性更强，但是同时也可能降低各帧的运动特征。因此，应该根据实验数据和需要动态调整这些系数。为了优化上述模型，加入一个辅助变量δ(δ为一个向量)，上式变为

$\underset{S,\mathrm{\δ}}{min}|S-S^{\left(0\right)}{|}^2+\mathrm{\α}|R_{block}\left(S\right){|}^2+\mathrm{\β}|R_{jo\mathrm{int}}\left(S\right){|}^2+\mathrm{\γ}|D\left(S\right)-\mathrm{\δ}{|}^2+\mathrm{\λ}|\mathrm{\δ}{|}_0---\left(9\right)$

上式中的λ为平滑因子，增大λ可以使各帧骨骼运动更加平滑，但是会导致在运动过程的变化特征不明显。之后可以分两步分别对变量S和δ进行优化，首先保持S固定不变，来优化变量δ，该优化问题变为：

$\underset{\mathrm{\δ}}{min}\mathrm{\γ}|D\left(S\right)-\mathrm{\δ}{|}^2+\mathrm{\λ}|\mathrm{\δ}{|}_0---\left(10\right)$

在求解这个最小化问题时，在(D(S)_i为D(S)的第i个元素，表示第i帧骨骼的时间约束)的时候，让δ_i＝0(δ_i为向量δ的第i个元素)；否则δ_i＝D(S)_i。在求解δ完成后，下一步，固定变量δ不变，求解S，最小化问题变为：

$\underset{S}{min}|S-S^{\left(0\right)}{|}^2+\mathrm{\α}|R_{block}\left(S\right){|}^2+\mathrm{\β}|R_{jo\mathrm{int}}\left(S\right){|}^2+\mathrm{\γ}|D\left(S\right)-\mathrm{\δ}{|}^2---\left(11\right)$

该最小化问题是二次的，因此可以通过求导找到最小值。在优化完S后，便完成了一次迭代，更新系数α←μ_αα、β←μ_ββ和γ←μ_γγ，重新通过上述过程优化，直到γ达到阈值γ_max，阈值γ_max取2-5之间的值，优化过程结束。μ_α和μ_β应该取小于1的值，以降低约束的影响；而μ_γ应该取大于1的值，来让D(S)逼近δ。

附图说明

图1.多视角图像重建点云模型

图2.使用L₁中值骨骼提取的骨骼点。最左为正常，中间两图为缺少骨骼点，最右为骨骼点异常偏移，框中为主要异常位置。

图3.骨骼点排序示意图

图4.7帧连续运动骨骼优化前后对比图。最上行为优化前不同视角下的骨骼图，中间为考虑所有帧间关系的D(S)优化后的骨骼图，最下为只考虑相邻帧间关系D(S)优化后的骨骼图

图5.加入R_block(S)后的优化结果。左侧两图为未加入正则约束R_block(S)优化的结果，右侧两图为加入正则约束R_block(S)后的优化的结果。框中为挑选的优化对比位置。

图6.加入约束项R_joint(S)后的骨骼对比。左侧只考虑约束R_block(S)的优化骨骼，右侧为加入R_joint(S)后的优化骨骼。效果提升的骨骼用框标记。

图7.优化前后问题帧骨骼对比。上行为优化前有问题的骨骼(左和中为骨骼点不完整，右为骨骼点位置偏差)，下行为为我们优化后对应帧骨骼点的结果。框中为优化前后主要问题的位置。

图8.我们展示通过优化19帧连续运动人体骨骼的结果。前两行为优化前的骨骼，上行为骨骼点和连线，下行为去除骨骼点后的骨骼线。中间两行为没有正则约束R_block(S)和R_joint(S)的优化结果，最下两行为增加正则约束R_block(S)和R_joint(S)后的优化结果。

图9.部分帧优化前后对比，第一行为点云模型，第二行为优化前骨骼，第三行为优化后骨骼。框中为明显优化的位置。

图10.在更加复杂的运动模型上应用我们的优化方法。左侧为连续跳舞的运动模型，右侧为走路的运动模型。第一行左侧为优化前的全部骨骼，右侧为优化后的全部骨骼。第二行为点云模型。第三行为对应点云模型的L₁中值骨骼。第四行为我们优化后的骨骼。

具体实施方式

我们对本发明中的优化模型进行了大量的实验，采集不同运动的人体多时间图像，重建出稠密的人体点云模型。在提取得到各帧人体的骨骼数据后，我们使用表1中的参数进行优化，得到了很好的结果。

表1.L₀优化模型中的参数

图7至图10展示了我们的多组实验结果，可以看到针对不同的人体、不同的运动，本发明中的优化模型均得到了较好的效果。图7展示了其中优化前存在异常的三帧骨骼。优化结果表明通过本发明中的优化模型优化得到的骨骼由于会考虑相邻帧的骨骼点，所以具备较强的修复骨骼缺失和位置异常偏差的能力。在图8中，增加骨骼点的帧数，对19帧连续运动人体骨骼进行优化实验。本次优化的人体骨骼从双臂水平前伸开始，到双臂体侧展开结束，在运动过程中，手臂会出现明显弯曲。为了更加清晰地看出运动过程中的轨迹，我们增加了去除骨骼点后各帧人体姿态的示意图。从图中可以发现，通过本发明中的优化模型优化得到的所有骨骼点相对于优化前会更加整齐、平滑，且整体的运动趋势更加清晰明显。在图9中，我们展示了优化的部分帧，可以发现对于存在些微位置偏差的骨骼点，发明中的优化模型可以很好的进行纠正，使误差的位置恢复，让整体运动看上去更加平滑、流畅。比对原始的点云模型，优化后的骨骼点更加符合模型的实际动作。图10展示了进一步对更加复杂的运动骨骼进行优化的结果，从结果中看到我们的骨骼修复了原始骨骼中存在的异常点偏差、错误分支、骨骼断裂及不完整和结构缺失等问题。

Claims (3)

1.基于L₀最小化的人体连续帧骨骼优化方法，其特征在于，包含以下几个步骤：

首先，采集多视角运动中人体的图像，使用每一帧的各视角图像重建出点云模型；针对每一帧的点云模型，使用L₁中值骨骼方法提取骨骼模型；

然后，对各帧的人体骨骼进行分块处理，并对各块的骨骼点进行采样，构造连续帧人体骨骼序列，建立考虑相邻帧关联性的稀疏优化模型；

最后，在优化模型中增加了同一帧相邻骨骼点的正则项。

2.根据权利要求1所述的方法，其特征在于：在光场中对连续运动的人进行多视角拍摄，统一控制各视角摄像机，保持固定帧率；进行特征点检测、匹配、重建，最终获得各帧人体的三维点云模型；针对每一帧的骨骼点，需要进行如下的预处理：对整个人体骨骼进行分块操作，具体分为主躯干、左臂、右臂、左腿和右腿这五部分；对于每一块，进行排序后采样，以保证每帧对应躯干块的骨骼点数量一致；最后将各帧采样得到的五部分骨骼点顺序组合并对齐，保证各帧骨骼点的中心重合，得到全部帧整体的骨骼点。

3.根据权利要求1所述的方法，其特征在于：

L₀范数定义的是向量v中非零元的个数，其定义为定义如式(1)所示的优化模型；

$\underset{S}{\min }|S-S^{\left(0\right)}{|}^2+\mathrm{\γ}|D\left(S\right){|}_0---\left(1\right)$

上式中，S为优化的骨骼点向量，S⁽⁰⁾为初始骨骼点的向量，D(S)为定义的平滑算子，γ控制优化后的骨骼点的帧间平滑程度；

定义分块后的骨骼为其中n为各块中骨骼点的索引号，b为骨骼点所在块的序号，f为骨骼块所在帧的序号；

现在表达各帧间的时间约束如式(2)所示；其中D_k，n为分解后的骨骼S_k，n的平滑算子；S_k，n为包含F个元素的骨骼点向量，其中的所有骨骼点都属于第k个骨骼块，且索引号为n；

$|D\left(S\right){|}_0=\underset{k}{\Σ}\underset{n}{\Σ}|D_{k,n}{S}_{k,n}{|}_0---\left(2\right)$

$S_{k,n}={\[s_{k,n}^1,s_{k,n}^2,s_{k,n}^3...s_{k,n}^F\]}^T$

δ_i，j为第i帧的骨骼点与第j帧的骨骼点的权重，定义对应的权重因子为其中d_i，j为第i帧与第j帧间的骨骼点距离，用d_i，j＝|i-j|.来表示，l为骨骼点的距离范围；而当i＝j时，也就是第i个骨骼自身的权重，需要让其等于所有其他项和的绝对值的相反数；定义δ_i，j如式(3)所示；

${\mathrm{\δ}}_{i,j}=\left\{\begin{array}{cc}-e^{-\frac{d_{i,j}^2}{l^2}},& ifi\≠j\\ -\underset{i\≠j}{\mathrm{\Σ}}{\mathrm{\δ}}_{i,j},& ifi=j\end{array}\right.---\left(3\right)$

严格控制每个骨骼点的关联因子只与其前后帧对应骨骼点相关，即其他位置的权系数为0，此时的δ_i,j为：

${\mathrm{\δ}}_{i,j}=\left\{\begin{array}{cc}-1,& if|i-j|=1andi,j\≠1,F\\ 2,& ifi=jandi,j\≠1,F\\ 0,& otherwise\end{array}\right.---\left(4\right)$

增加了同一帧骨骼点间的位置约束正则项R(S)；R(S)由两部分组成，分别是约束同一帧中各块内骨骼点位置的正则项R_block(S)，以及约束同一帧中位于不同块的关节点的正则项R_joint(S)；式(5)定义了正则项R_block(S)，N表示骨骼块k中的骨骼点数量,表示f帧中的骨骼块k内的空间约束，为S的子集，其代表了包含N个有序骨骼点的同块骨骼向量；

$R_{block}\left(S\right)=\underset{k}{\Σ}\underset{f}{\Σ}|W_k^f{S}_k^f{|}^2---\left(5\right)$

$S_k^f={\[s_{k,1}^f,s_{k,2}^f,s_{k,3}^f...s_{k,N}^f\]}^T$

采用类似定义δ_i,j的形式，考虑骨骼点间相邻空间内的约束，给出ω_i,j的表达如式(6)所示；

${\mathrm{\ω}}_{i,j}=\left\{\begin{array}{cc}-1,& if|i-j|=1andi,j\≠1,N\\ 2,& ifi=jandi,j\≠1,N\\ 0,& otherwise\end{array}\right.---\left(6\right)$

需要定义不同块间的连接点处的正则约束R_joint(S)；模型中考虑了两个关节点处的空间约束，分别是链接躯干和左右臂的肩部关节和链接两腿和躯干的关节；为链接双臂和躯干的骨骼集合，其中和分别为右臂和左臂链接躯干的骨骼点，为躯干中链接双臂的骨骼点；

为链接双腿和躯干的骨骼集合，其中和分别为右腿和左腿链接躯干的骨骼点，为躯干中链接双腿的骨骼点；以上定义的骨骼点都在f帧中；为了使双臂间或两腿间的两点尽可能接近，且躯干处的关节点与它们距离尽可能最小，定义了算子J；上述定义的表达式如式(7)所示；

$R_{jo\mathrm{int}}\left(S\right)=\underset{f}{\Σ}|J(S_a^f+S_l^f){|}^2---\left(7\right)$

$J=\left[\begin{array}{ccc}1& 0& -1\\ -1& 2& -1\\ -1& 0& 1\end{array}\right]$

最终，基于L₀最小化的人体连续帧骨骼优化模型的定义如式(8)所示

$\underset{S}{min}|S-S^{\left(0\right)}{|}^2+\mathrm{\α}|R_{block}\left(S\right){|}^2+\mathrm{\β}|R_{jo\mathrm{int}}\left(S\right){|}^2+\mathrm{\γ}|D\left(S\right){|}_0---\left(8\right)$

上式中，第一项为优化前后的误差约束项，其中S为优化的骨骼点向量，S⁽⁰⁾为初始骨骼点的向量；第二项为同一帧骨骼块内的空间约束项，α为该项权重系数；第三项为同一帧骨骼不同块间关节处的空间约束，β为该项的权重系数；第四项为相邻帧间骨骼的时间关联约束项，γ为关联系数；；；；；为了优化上述模型，加入一个辅助变量δ，δ为一个向量，上式变为

$\underset{S,\mathrm{\δ}}{min}|S-S^{\left(0\right)}{|}^2+\mathrm{\α}|R_{block}\left(S\right){|}^2+\mathrm{\β}|R_{jo\mathrm{int}}\left(S\right){|}^2+\mathrm{\γ}|D\left(S\right)-\mathrm{\δ}{|}^2+\mathrm{\λ}|\mathrm{\δ}{|}_0---\left(9\right)$

上式中的λ为平滑因子；；之后分两步分别对变量S和δ进行优化，首先保持S固定不变，来优化变量δ，该优化问题变为：

$\underset{\mathrm{\δ}}{min}\mathrm{\γ}|D\left(S\right)-\mathrm{\δ}{|}^2+\mathrm{\λ}|\mathrm{\δ}{|}_0---\left(10\right)$

在求解这个最小化问题时，在的时候，；D(S)_i为D(S)的第i个元素，表示第i帧骨骼的时间约束；让δ_i＝0；否则δ_i＝D(S)_i；；δ_i为向量δ的第i个元素在求解δ完成后，下一步，固定变量δ不变，求解S，最小化问题变为：

$\underset{S}{min}|S-S^{\left(0\right)}{|}^2+\mathrm{\α}|R_{block}\left(S\right){|}^2+\mathrm{\β}|R_{jo\mathrm{int}}\left(S\right){|}^2+\mathrm{\γ}|D\left(S\right)-\mathrm{\δ}{|}^2---\left(11\right)$

该最小化问题是二次的，通过求导找到最小值；在优化完S后，便完成了一次迭代，更新系数α←μ_αα、β←μ_ββ和γ←μ_γγ，重新通过上述过程优化，直到γ达到阈值γ_max，优化过程结束；γ_max为2-5之间的值，μ_α和μ_β应该取小于1的值，以降低约束的影响；而μ_γ应该取大于1的值，来让D(S)逼近δ。