CN102262783A - 一种三维手势运动重建方法和系统 - Google Patents

Abstract

本发明公开了一种三维手势运动重建方法和系统，该方法包括以下步骤：对采集的手势图像序列的第一帧图像进行区域分割；生成各分割区域的仿射变换矩阵；生成三维至二维投影系数，根据该投影系数和该的仿射变换矩阵，得出与该第一帧图像对应的三维手势模型；对得到的与该第一帧图像对应的三维手势模型，确定其骨架节点和该骨架节点的自由度；针对后续各帧图像，基于与前一帧图像对应的三维手势模型的骨架节点和该自由度，结合当前帧图像进行模拟退火粒子滤波运算，得出当前帧图像的三维手势模型，从而实现对三维手势的重建。根据本发明的方法和系统，无需利用用激光扫描仪对三维的人手进行精确的建模，减少了运动重建过程的复杂度。

Description

一种三维手势运动重建方法和系统

技术领域

本发明涉及计算机视觉、计算机图形学领域，具体地，涉及一种三维手势的运动重建技术。

背景技术

对运动手势进行运动重建是研究人员一直关心的问题，因为在人与人之间的信息交流中，手势通常扮演着很重要的作用。在虚拟现实中，手是用户模型中十分重要的动作与感知关系模型，人的行为特征是人机交互的重要研究内容。在虚拟环境中用手实现抓取、释放物体以及飞行、漫游、导航等三维交互任务和技术，以往是利用人的触摸行为和计算机的反应来获得基于人机交互的手段。在人机交互过程中，通过手势动作直接与计算机系统进行交互，相比传统的交互方式更加直观、清晰，同时也使用户具备更好的体验。

到目前为止，手势的运动重建已经取得了很多的研究成果。概括起来可以分为二大类：1)利用手的皮肤颜色，在二维图像域进行模板匹配等处理手段进行运动重建；2)使用三维模型，将其投影到二维图像域，利用诸如轮廓、阴影等硬性约束进行运动重建。由于三维模型的手的运动重建能够融合计算机图形学与计算机视觉的方法进行处理，因此其获得了很大的成功。但是目前尚存在以下问题：1)重建工作需要获得比较精确的三维初始模型；2)重建工作通常采用局部优化算法，在小范围内进行优化，这样很可能陷入局部极值的情况；3)重建工作即使存在全局优化的算法，算法的运行时间通常较长。

发明内容

本发明所要解决的技术问题是需要提供一种三维手势运动重建方法和系统，能够利用一个一般的初始三维手模型，实现三维手势的重建，无需精确的三维初始模型即可得到效果好的重建模型。

为了解决上述技术问题，本发明提供了一种三维手势运动重建方法，其特征在于，包括以下步骤：步骤1，对采集的手势图像序列的第一帧图像按照给定的参考图像进行区域分割；步骤2，生成所述第一帧图像的各分割区域的仿射变换矩阵；步骤3，生成三维至二维投影系数，根据所述投影系数和所述的仿射变换矩阵，得出与所述第一帧图像对应的三维手势模型；步骤4，对得到的与所述第一帧图像对应的三维手势模型，确定其骨架节点和所述骨架节点的自由度；步骤5，针对所述手势图像序列中的后续各帧图像，基于与前一帧图像对应的三维手势模型的骨架节点和所述自由度，结合当前帧图像进行模拟退火粒子滤波运算，得出当前帧图像的三维手势模型，将与所述手势图像序列中各帧图像对应的三维手势模型作为所述手势图像序列的三维手势重建结果。

进一步，该方法还包括，所述手势图像序列的第一帧图像为无自遮挡和外部遮挡的张开的手的图像，并且手指朝上，手掌或手背面对镜头，手可前后、上下、左右、小角度倾斜。

进一步，该方法还包括，在所述步骤1中，按照手的不同部位进行区域划分并分配不同的颜色，对不同区域生成不同的仿射变换矩阵。

进一步，该方法还包括，在步骤3中，通过所述仿射变换矩阵得到所述第一帧图像的二维投影图像，再通过所述投影系数得将所述二维投影图像投影到三维空间中得到三维手势模型，通过预定次数的迭代操作来得出所述第一帧图像对应的三维手势模型。

进一步，该方法还包括，对所述骨架节点设定约束条件，所述约束条件用于限定所述骨架节点的自由度的角度范围。

进一步，该方法还包括，在所述模拟退火粒子滤波运算中，粒子为对应三维手势模型的多维向量，对每一个当前帧图像，对应的初始粒子的数值为前一帧图像的三维手势模型对应的多维向量的数值，并对每一个维度赋予0.1的方差；与第一帧图像相应的初始粒子为每一个维度均为0的多维向量；根据方差和初始粒子得到预定数量的多个粒子，对所述多个粒子基于前一帧图像的三维手势模型和当前帧图像，通过优化目标函数并进行迭代操作得出预定数量的多个相近的粒子，将多个相近的粒子的均值作为当前帧图像的三维手势模型。

进一步，该方法还包括，在所述模拟退火粒子滤波运算中，基于前一帧图像的三维手势模型和当前帧图像来计算多个粒子的权值，并根据所述权值进行多项式采样，舍弃权值较低的粒子，根据方差和剩下的粒子重新得出预定数量的一组新的粒子，通过迭代操作使算法收敛，得出预定数量的多个相近的粒子，将多个相近的粒子的均值作为当前帧的三维手势模型。

进一步，该方法还包括，在区域分割步骤之前，还包括对采集的图像进行背景去除的步骤。

进一步，该方法还包括，通过多个成像系统从不同的角度采集手势图像序列，对每个角度采集的手势图像序列分别按照步骤1至步骤5进行手势重建。

本发明还提供一种三维手势运动重建系统，其特征在于，包括以下单元：区域分割单元，其对采集的手势图像序列的第一帧图像按照给定的参考图像进行区域分割；仿射变换矩阵生成单元，其生成所述第一帧图像的各分割区域的仿射变换矩阵；初始模型生成单元，其生成三维至二维投影系数，根据所述投影系数和所述的仿射变换矩阵，得出与所述第一帧图像对应的三维手势模型；骨架节点确定单元，其对得到的与所述第一帧图像对应的三维手势模型，确定其骨架节点和所述骨架节点的自由度；模型重建单元，其针对所述手势图像序列中的后续各帧图像，基于与前一帧图像对应的三维手势模型的骨架节点和所述自由度，结合当前帧图像进行模拟退火粒子滤波运算，得出当前帧图像的三维手势模型，将与所述手势图像序列中各帧图像对应的三维手势模型作为所述手势图像序列的三维手势重建结果。

与现有技术相比，本发明具有以下优点。

本发明提供的三维手势运动重建方法无需利用用激光扫描仪对三维的人手进行精确的建模，减少了运动重建过程的复杂度。

此外，针对不同人的不同手型，均可以直接利用第一帧的手的图像得到手的三维模型，使用方便。

此外，根据颜色来分割手势图像，可以很容易的根据指定的颜色来区分二维像素和三维模型顶之间的对应关系，有利于计算仿射变换矩阵。

此外，对骨架节点的自动度进行角度范围的约束，使模型更接近真实的手的运动结果。

此外，通过多视点采集手势图像序列，可以使获得的多个视点的手势重建信息从不同角度反应手势的运动，获得的信息更为全面。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明实施例一的三维手势运动重建方法的流程图；

图2是本发明实施例一中预先存储的初始三维模型的示意图；

图3是本发明实施例一中对手势图像分割的示意图；

图4是本发明实施例一骨架节点自由度分配表；

图5是本发明实施例一采集的手势图像示意图；

图6是本发明实施例一采集的背景图像示意图；

图7是本发明实施例一的重建三维模型示意图；

图8是本发明实施例二的三维手势运动重建系统的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

图1为根据本发明实施例一的三维手势运动重建方法的流程图，下面参照图1，详细说明个步骤。

步骤S110，对采集的手势图像序列的第一帧图像按照给定的参考图像进行区域分割。

本实施例中系统预先存储了一个手势的参考图像，如图2中a和b所示，该参考图像对手势进行了区域分割，并对手的各个区域进行了颜色的划分。本实施例对用户采集的手势图像序列的第一帧有一定的要求，要求该图像序列的第一帧是一个张开的手的图案，使得手的各个部位能够体现，优选的，该手的图案是无自遮挡和外部遮挡，并且手指朝上，手掌或手背面对镜头，手可前后、上下、左右、小角度倾斜。

根据手的不同部位进行区域划分，对不同区域指定不同的颜色，如图3中a和b所示。需要指出的是，该颜色配色方案需要与系统内部一致，任何一致的结果都可以满足本实施例的要求。颜色的分配可以由用户来指定，使分配的颜色与参考图像指定的颜色一致(这里的一致指的是RGB数值的完全相同)，也可以由系统按照参考图像的颜色分配对采集的第一帧图像直接自动进行不同区域颜色的分配。在本实施例中，优选的，定义了的颜色着色方案如下，手掌：红色；小拇指：橙色；无名指：绿色；中指：天蓝色；食指：深蓝色；大拇指：粉色。也可以按照手的部位进行更细的划分，例如：精确到手指的关节或对手掌进一步细分为多个区域。无论是用户指定还是系统自动对手势的区域划分与配色，都需要与系统内部的参考图像相一致。通过这样的划分，可以很容易的根据指定的颜色来区分二维像素和三维模型顶点之间的对应关系，进而有利于计算仿射变换矩阵。

步骤S120，生成第一帧图像的各分割区域的仿射变换矩阵。

通过用户指定的区域分割结果来与参考图像的区域分割结果进行匹配，计算出一个仿射变换矩阵。

仿射变换矩阵的计算有许多已有的成熟的算法，用户也可以独立对该算法进行开发。在给定了对应位置的匹配关系之后，通过轮廓之间点的对应关系计算仿射变换矩阵，优选的，对不同的区域计算不同的仿射变换矩阵，例如：手掌和各手指区域分别具有不同的仿射变换矩阵。

通常意义上的仿射变换矩阵的计算，以任意一个区域为例，用不带上标’的符号表示系统内部图像的区域，用带上标’的符号表示用户输入图像的区域，于是仿射变换矩阵的问题是：已知区域Ω、Ω′，需要计算矩阵A，使得Ω中的任意一点p_i都有对应的匹配点p_i′。假设现存在n个匹配点，于是，矩阵A需要满足

p_i′＝A·p_i，i＝1，2，…，n，其中，p_i′∈Ω′，p_i∈Ω

可以用最小二乘的方法来计算矩阵A，也可以使用主成分分析、鉴别信息分析等方法进行。

采用最小二乘的方法时，A＝(P′P^T)^-1·(PP^T)，其中，P′、P分别是所有p_i′、p_i构成的矩阵，(·)^T表示矩阵的转置运算，(·)^-1表示矩阵求逆运算。由此可以得出仿射变换矩阵

步骤S130，生成三维至二维投影系数，根据投影系数和仿射变换矩阵，得出与第一帧图像对应的三维手势模型。

计算得到仿射变换矩阵之后，将三维的手势图像序列的三维顶点投影到二维平面中。具体的，判断各顶点所在的位置，通过判断各顶点所在区域的颜色信息，能够得到每一个三维顶点的类别信息，将其乘以仿射变换矩阵，即可以得到该三维顶点在仿射变换后的结果，也就是二维投射图像。

假设三维点为P，而二维平面中的点为p，投影矩阵为H，则

p＝H·P

可以使用OpenGL来实现三维模型投影到二维平面的任务。事实上，系统内部总是有一个三维模型与一张已经分割好的二维图像。对于开发人员而言，确立了三维模型，对于任意的H矩阵总可以存在一个二维图像与之对应。那么，系统内部数据产生的先后顺序是：先有一个粗糙的三维模型，然后人为确定一个H矩阵，利用OpenGL(或其他工具)投影得到二维图像，将二维图像做分割、着色处理(分割结果交与用户使用)。显然，二维图像与三维模型是一一对应的关系，当把二维图像进行分割，着色之后，再去寻找三维模型上的点对关系，通过颜色可以非常方便地确定类别信息(例如事先分割时，二维图像中的红色确定为拇指，那么三维点如果投影到二维平面中，读到的颜色为红色，那么这个三维点就是拇指)。

由于P＝H^-1·p，其中H^-1表示广义逆，P为三维坐标点，p为二维平面坐标点，可以得到：

ΔP＝H^-1·Δp

其中，Δ(·)为偏移量。

因此，可以通过两个点对(P₁，p₁)，(P₂，p₂)来计算得到H^-1矩阵，这两个点对需要满足Δ(·)足够小，一般情况，10^-3在OpenGL里可以满足足够的精度要求。

通过计算一个三维至二维的投影系数，将二维平面上通过仿射变换得到的二维投影图像反投影到三维空间中，得到对应第一帧图像的一个三维手势模型作为手势重建的初始三维手势模型(下文称：初始三维手势模型)，这样便实现了从一个采集的手势图像序列向特殊的、个体的手的三维手势模型的转变，优选的，可以将得出的三维模型进行几次迭代处理(即作为输入重新进行先前步骤的处理，一般迭代3-4次即可)，这样最后得出的三维手的模型会更加准确。

步骤S140，对得到的初始三维手势模型，确定其骨架节点和骨架节点的自由度。

利用本实施例的方法进行手势的运动重建，在得出手势的三维模型后，需要确定手势的三维模型的骨架节点和骨架节点的自由度。对骨架节点的确定可以采用现有技术中任何的方式。在本实施例中，对骨架节点采用6个全局的旋转和平移的自由度(旋转和平移各3个)，以及对每个手指头采用了4个自由度，因此，对骨架节点一共赋予了26个自由度，具体的自由度分配参见图4给出的表格。作为优选的，用户也可以根据具体需要灵活的增加或删减其中的自由度。

优选的，在指定了初始三维模型的骨架节点与自由度后，对每一个骨架节点加上相应的角度范围约束，该约束如图2所示，在图2中的约束数据均以度为单位。

S150，基于初始三维手势模型和第二帧图像，通过模拟退火粒子滤波运算得出第二帧图像的三维手势模型，并依次得出图像序列中每帧图像的三维手势模型，实现三维手势的重建。

在本步骤中，通过前一帧的手势模型和当前帧的拍摄图像，来得出当前帧的手势模型，从而对整个图像序列进行手势重建。

在指定了三维模型手的骨架节点与自由度后，使用模拟退火粒子滤波的算法根据手势图像序列的三维模型来对手势进行重建。对于第一帧图像，已经通过先前步骤得到其对应的三维手势模型，对于图像序列的其他帧图像，通过模拟退火粒子滤波的算法得到对应的三维手势模型，以对整个图像序列进行手势重建。

在对三维模型进行模拟退火粒子滤波运算时，手势图像序列的三维模型中的每个三维手势模型对应一个粒子，优选的，在选择粒子(手势)的时候，加以图4中的约束条件，使其满足比较真实的手的运动结果。每一个粒子对应于三维模型手的骨架节点的数值，由于骨架节点一共具有26个自由度，因此每一个粒子相当于一个26维的向量。

设定一个目标函数f(x)＝(P·M_x-I)²，其中，M_x表示粒子x对应的三维手势模型，P表示投影矩阵，I是观察图像(即手势图像序列中的当前帧图像)，该目标函数反映的是三维手势与二维拍摄图像的对应关系，对于采集的每一帧图像，都会有反映该图像对应的三维手势的粒子x，求取使f(x)最小时的x作为当前帧图像所对应的最优粒子，也就是当前帧所对应的三维手势模型。

对于每一帧图像，得到其对应的三维手势模型的步骤如下：

1)初始化当前帧图像的粒子，该粒子为满足高斯分布的26维向量，对每一个当前帧图像，对应的初始粒子的数值为前一帧图像的三维手势模型对应的多维向量的数值，并对每一个维度赋予0.1的方差。与第一帧图像相应的初始粒子为每一个维度均为0的多维向量。根据方差和初始粒子获得预定数量的多个粒子，优选的，获得100个粒子用于选取最优粒子；

2)根据前一帧得到的三维手势模型，利用骨架节点和自由度，分别计算多个粒子对应的三维模型，根据目标函数f(x)、当前帧图像，将多个粒子的三维模型投影到二维图像中，计算得出多个粒子的轮廓匹配误差E；

3)根据多个粒子的轮廓匹配误差E，计算多个粒子的权值w，其中w＝e^-βE，β＝(1+t)^0.7为迭代次数引起的放缩因子，t为迭代次数；

4)根据上一步得到的权值w进行归一化处理，使用多项式采样，将权值较低的粒子舍弃，根据方差和剩余粒子，重新得到与预定数量相同的多个粒子，重复步骤2)至4)进行迭代，直到算法收敛，得到多个相近的粒子。通过迭代多次运算后，使得到的多个粒子的26维数值都处于一个小的范围内。

5)计算多个相近粒子的平均值，将该平均值作为当前帧的三维手势模型。

按以上步骤，利用当前帧图像的手势三维模型，结合下一帧图像，重新执行步骤1)至5)，得出下一帧图像的三维手势模型，直到得出整个图像序列的三维手势模型，从而完成三维手势的重建。

优选的，还包括对采集的图像进行背景去除的步骤。图5-图7示出了根据实施例一的方法的手势模型重建的实例，其中图5为采集的手势图像，图6为系统预先采集的背景图像，在进行模型重建之前，首先需要利用采集的手势图像在HSV(色调、饱和度、亮度)颜色空间中减去背景图像，得到一幅具有带噪点的分割结果，之后对分割后的图像进行模型重建。图7为针对图5的采集的手势图像的最终的重建模型的示意图。

在本实施例中，手势图像序列的采集可以为单视点，也可能为多视点(使用多个相机从不同角度采集手势图像序列)，对每个视点采集的图像序列分别按照实施例一中的步骤进行手势重建，得到不同视点的手势重建结果，这样可以得到不同角度的手势信息，事获得的手势信息体现的内容更加全面。

本实施例针对多视点低分辨率的图像、视频序列不作任何的鲁棒的分割，只需要减去背景，实验显示运动重建的效果较好，证明了本实施例提出的方法的可靠性。

实施例二

图8为根据本发明实施例二的三维手势运动重建系统的结构示意图，下面根据图8详细说明该系统的各组成部分。

该系统用于执行本发明实施例一的方法，包括以下单元：

区域分割单元，其对采集的手势图像序列的第一帧图像按照给定的参考图像进行区域分割；

仿射变换矩阵生成单元，其生成所述第一帧图像的各分割区域的仿射变换矩阵；

初始模型生成单元，其生成三维至二维投影系数，根据所述投影系数和所述的仿射变换矩阵，得出与所述第一帧图像对应的三维手势模型；

骨架节点确定单元，其对得到的与所述第一帧图像对应的三维手势模型，确定其骨架节点和所述骨架节点的自由度；

模型重建单元，其针对所述手势图像序列中的后续各帧图像，基于与前一帧图像对应的三维手势模型的骨架节点和所述自由度，结合当前帧图像进行模拟退火粒子滤波运算，得到当前帧图像的三维手势模型，将与所述手势图像序列中各帧图像对应的三维手势模型作为所述手势图像序列的三维手势重建结果。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种三维手势运动重建方法，其特征在于，包括以下步骤：

步骤1，对采集的手势图像序列的第一帧图像按照给定的参考图像进行区域分割；

步骤2，生成所述第一帧图像的各分割区域的仿射变换矩阵；

步骤3，生成三维至二维投影系数，根据所述投影系数和所述的仿射变换矩阵，得出与所述第一帧图像对应的三维手势模型；

步骤4，对得到的与所述第一帧图像对应的三维手势模型，确定其骨架节点和所述骨架节点的自由度；

步骤5，针对所述手势图像序列中的后续各帧图像，基于与前一帧图像对应的三维手势模型的骨架节点和所述自由度，结合当前帧图像进行模拟退火粒子滤波运算，得出当前帧图像的三维手势模型，将与所述手势图像序列中各帧图像对应的三维手势模型作为所述手势图像序列的三维手势重建结果。

2.根据权利要求1所述的重建方法，其特征在于，所述手势图像序列的第一帧图像为无自遮挡和外部遮挡的张开的手的图像，并且手指朝上，手掌或手背面对镜头，手可前后、上下、左右、小角度倾斜。

3.根据权利要求1所述的重建方法，其特征在于，在所述步骤1中，按照手的不同部位进行区域划分并分配不同的颜色，对不同区域生成不同的仿射变换矩阵。

4.根据权利要求1的重建方法，其特征在于，在步骤3中，通过所述仿射变换矩阵得到所述第一帧图像的二维投影图像，再通过所述投影系数得将所述二维投影图像投影到三维空间中得到三维手势模型，通过预定次数的迭代操作来得出所述第一帧图像对应的三维手势模型。

5.根据权利要求1至4任一项所述的重建方法，其特征在于，对所述骨架节点设定约束条件，所述约束条件用于限定所述骨架节点的自由度的角度范围。

6.根据权利要求1至4任一项所述的重建方法，其特征在于，在所述模拟退火粒子滤波运算中，粒子为对应三维手势模型的多维向量，对每一个当前帧图像，对应的初始粒子的数值为前一帧图像的三维手势模型对应的多维向量的数值，并对每一个维度赋予0.1的方差；

与第一帧图像相应的初始粒子为每一个维度均为0的多维向量；

根据方差和初始粒子得到预定数量的多个粒子，对所述多个粒子基于前一帧图像的三维手势模型和当前帧图像，通过优化目标函数并进行迭代操作得出预定数量的多个相近的粒子，将多个相近的粒子的均值作为当前帧图像的三维手势模型。

7.根据权利要求6所述的重建方法，其特征在于，在所述模拟退火粒子滤波运算中，基于前一帧图像的三维手势模型和当前帧图像来计算多个粒子的权值，并根据所述权值进行多项式采样，舍弃权值较低的粒子，根据方差和剩下的粒子重新得出预定数量的一组新的粒子，通过迭代操作使算法收敛，得出预定数量的多个相近的粒子，将多个相近的粒子的均值作为当前帧的三维手势模型。

8.根据权利要求1至4任一项所述的重建方法，其特征在于，在区域分割步骤之前，还包括对采集的图像进行背景去除的步骤。

9.根据权利要求1所述的重建方法，其特征在于，通过多个成像系统从不同的角度采集手势图像序列，对每个角度采集的手势图像序列分别按照步骤1至步骤5进行手势重建。

10.一种三维手势运动重建系统，其特征在于，包括以下单元：

区域分割单元，其对采集的手势图像序列的第一帧图像按照给定的参考图像进行区域分割；

仿射变换矩阵生成单元，其生成所述第一帧图像的各分割区域的仿射变换矩阵；

初始模型生成单元，其生成三维至二维投影系数，根据所述投影系数和所述的仿射变换矩阵，得出与所述第一帧图像对应的三维手势模型；

骨架节点确定单元，其对得到的与所述第一帧图像对应的三维手势模型，确定其骨架节点和所述骨架节点的自由度；

模型重建单元，其针对所述手势图像序列中的后续各帧图像，基于与前一帧图像对应的三维手势模型的骨架节点和所述自由度，结合当前帧图像进行模拟退火粒子滤波运算，得出当前帧图像的三维手势模型，将与所述手势图像序列中各帧图像对应的三维手势模型作为所述手势图像序列的三维手势重建结果。

Images