CN103116895A - 基于三维模型的手势跟踪计算方法和装置 - Google Patents

Abstract

本发明公开一种基于三维模型的手势跟踪计算方法，包括建立手的三维数据模型；输入图像序列，其中图像序列的第一帧图像为无自遮挡和外部遮挡的并且按照预设颜色值进行分割；通过图像的轮廓像素点和三维顶点之间的对应关系，计算仿射变换矩阵；根据仿射变换矩阵得到三维顶点的类别信息，根据三维顶点的类别信息得到仿射变换后的结果，得到三维手的模型；设置三维手的模型骨架节点和手指自由度，对每一个骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。本发明采用全局优化的算法，无需精确的三维初始模型，对输入的多视点、低分辨率的图像或视频序列跟踪效果较好。本发明还公开了一种基于三维模型的手势跟踪计算装置。

Description

基于三维模型的手势跟踪计算方法和装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于三维模型的手势跟踪计算方法和装置。

背景技术

手势识别跟踪技术一直是人机交互的一个重要课题，研究手势识别跟踪技术的主要目的就是把手势这种自然又直观的交流方式引入到人机接口中，实现更符合人类行为习惯的接口，从而得到所需的交互信息。近年来随着科学技术的发展，手势识别跟踪技术已经取得了很多的研究成果。传统的手势识别跟踪技术可以分为二大类：1）利用手的皮肤颜色，在二维图像域进行模板匹配等处理手段进行跟踪；2）使用三维模型，将其投影到二维图像域，利用诸如轮廓、阴影等硬性约束进行跟踪。这两类方法存在的问题包括：

（1）需要比较精确的三维初始模型。这点需要大量的时间成本和经济成本，很不容易实现，；

（2）采用局部优化算法，在小范围内进行优化。容易陷入局部极值，无法从整体上得到非常准确的效果；

（3）随着手势的增加，误识率也会大幅上升，而且手势也不能移动过快。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

为此，本发明的第一个目的在于提供一种基于三维模型的手势跟踪计算方法，该方法改进了模拟退火粒子滤波算法，采用全局优化的算法，无需精确的三维初始模型，对输入的多视点、低分辨率的图像或视频序列显示出了较好的跟踪效果。本发明的第二个目的在于提供一种基于三维模型的手势跟踪计算装置。

为达到上述目的，本发明第一方面的实施例提出了一种基于三维模型的手势跟踪计算方法，包括如下步骤：建立手的三维数据模型，其中，所述三维数据模型包括三维顶点；输入图像序列，其中，所述图像序列的第一帧图像为无自遮挡和外部遮挡的，并且所述第一帧图像按照预设颜色值进行分割；通过所述图像的轮廓像素点和所述三维顶点之间的对应关系，计算仿射变换矩阵；根据所述仿射变换矩阵得到所述三维顶点的类别信息，以及根据所述三维顶点的类别信息得到仿射变换后的结果，得到三维手的模型；设置所述三维手的模型骨架节点和手指自由度，对每一个所述骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。

根据本发明实施例的基于三维模型的手势跟踪计算方法采用全局优化的算法，无需精确的三维初始模型就能够对输入的多视点、低分辨率的图像或视频序列进行精确的跟踪，不做任何的鲁棒的分割，只需要减去背景，即可在噪声点较多的情况下显示较好的跟踪效果。其中，跟踪的结果可以用三维模型的骨架节点的运动参数描述，也可以直接生成变形的三维手的模型。

在本发明的一个实施例中，根据所述仿射变换矩阵得到所述三维顶点的类别信息，包括如下步骤：将所述三维顶点投影到二维平面中，判断所述三维顶点投影所在的位置；以及判断所述三维顶点的颜色信息，得到所述三维顶点的类别信息。

在本发明的一个实施例中，将所述三维顶点的类别信息乘以所述仿射变换矩阵，得到所述仿射变换后的结果。

在本发明的一个实施例中，所述的基于三维模型的手势跟踪计算方法，其特征在于，计算三维-二维的投影系数；将所述仿射变换后的结果反投影到三维空间得到初始三维手模型；对初始三维手模型进行迭代以得到三维手模型。

在本发明的一个实施例中，所述对初始三维手模型迭代的次数为3次或4次。

在本发明的一个实施例中，所述设置所述三维手的模型骨架节点和手指自由度包括：采用6个全局的旋转和平移的自由度且每个手指指定4个自由度。

在本发明的一个实施例中，所述通过粒子滤波算法得到手势轮廓匹配图，包括如下步骤：选择粒子，其中，所述粒子为所述骨架节点的数值；根据所述粒子计算变形后的三维模型；将所述变形后的三维模型投影到二维图像中，计算轮廓匹配误差；根据所述轮廓匹配误差计算所述粒子的权值；根据所述粒子的权值，获得新的粒子直至计算结果满足预定阈值。

在本发明的一个实施例中，采用如下公式计算所述粒子的权值，

w=e^-βE，其中，β=(1+t)^0.7为迭代次数引起的放缩因子，t为迭代次数。

本发明第二方面的实施例提出了一种基于三维模型的手势跟踪计算装置，包括初始化模块，用于建立手的三维数据模型，其中，所述三维数据模型包括三维顶点；输入模块，用于输入图像序列，其中，所述图像序列的第一帧图像是无自遮挡和外部遮挡的，并且所述第一帧图像按照系统内指定的颜色进行分割；仿射变换矩阵生成模块，所述仿射矩阵生成模块分别和所述初始化模块以及所述输入模块相连，用于通过所述图像的轮廓像素点和所述三维顶点之间的对应关系，计算仿射变换矩阵；三维手模型生成模块，所述三维手模型生成模块和所述仿射变换矩阵生成模块相连，用于根据所述仿射变换矩阵得到所述三维顶点的类别信息，根据所述三维顶点的类别信息得到仿射变换后的结果，以及根据所述仿射变换后的结果得到三维手的模型；轮廓匹配图生成模块，所述轮廓匹配图生成模块和所述三维手模型生成模块相连，用于设置所述三维手的模型骨架节点和手指自由度，对每一个所述骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。

根据本发明实施例的基于三维模型的手势跟踪计算方法采用全局优化的装置，无需精确的三维初始模型就能够对输入的多视点、低分辨率的图像或视频序列进行精确的跟踪，不做任何的鲁棒的分割，只需要减去背景，即可在噪声点较多的情况下显示较好的跟踪效果。其中，跟踪的结果可以用三维模型的骨架节点的运动参数描述，也可以直接生成变形的三维手的模型。

在本发明的一个实施例中，所述三维手模型生成模块将所述三维顶点投影到二维平面中，判断所述三维顶点投影所在的位置，以及判断所述三维顶点的颜色信息以得到所述三维顶点的类别信息。

在本发明的一个实施例中，所述三维手模型生成模块将所述三维顶点的类别信息乘以所述仿射变换矩阵，得到所述仿射变换后的结果。

在本发明的一个实施例中，所述三维手模型生成模块计算三维-二维的投影系数，将所述仿射变换后的结果反投影到三维空间得到初始三维手模型，以及对初始三维手模型进行迭代以得到所述三维手模型。

在本发明的一个实施例中，所述对初始三维手模型迭代的次数为3或4次。

在本发明的一个实施例中，所述轮廓匹配图生成模块设置所述三维手的模型骨架节点和手指自由度包括：采用6个全局的旋转和平移的自由度，每个手指指定4个自由度。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于三维模型的手势跟踪计算方法的流程框图；

图2a为三维手的模型图；

图2b为三维手的模型分割结果图；

图3a为用户输入的第一帧图像；

图3b为对用户输入的第一帧图像分割结果图；

图4a为模拟退火粒子滤波算法计算出的轮廓匹配图示例1；

图4a为模拟退火粒子滤波算法计算出的轮廓匹配图示例2；

图5a为无需任何后处理的减背景图像分割图示例1；

图5b为无需任何后处理的减背景图像分割图示例2；以及

图6为根据本发明实施例的基于三维模型的手势跟踪计算装置的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参考图1描述根据本发明实施例的基于三维模型的手势跟踪计算方法。

如图1所示，根据本发明实施例的基于三维模型的手势跟踪计算方法，包括如下步骤：

S110：建立手的三维数据模型。

三维数据模型包括三维顶点。本发明实施例对于手的三维数据模型没有固定的要求，并且手的三维数据模型对用户而言是透明的。其中，手的三维数据模型可以预先封装在系统内部。图2a为三维手的模型图，图2b为对图2a的颜色分割效果图。其中，图2b中的a,b,c,d,e,f表示三维手的模型的不同区域，并且对应于手的不同部位。对手的不同部位采用不同的颜色进行标记。例如，a为粉色，对应大拇指的位置；b为深蓝色，对应食指的位置；c为天蓝色，对应中指的位置；d为绿色，对应无名指的位置；e为橙色，对应小拇指的位置；g为红色，对应手掌的位置。可以理解的是，图2a和图2b中的模型和颜色，本发明实施例并不限于此。图2b中的手的各个部分也可以采用其他颜色进行分割。S120：输入图像序列。

在本步骤中，输入的第一帧图像必须为张开的手的图案，即图像序列的第一帧图像为无自遮挡和外部遮挡的，并且对第一帧图像按照预设颜色值进行分割。

用户指定的颜色必须与发明系统内部指定的颜色一致，任何一致的结果都可以满足本发明实施例的要求。这样利于根据指定的颜色来区分二维像素和三维模型顶点之间的对应关系，进而利于计算仿射变换矩阵。图3a为用户输入的第一帧图像，图3b为图3a的分割结果图。如图3b所示，定义颜色着色方案如下，a为粉色，对应大拇指的位置；b为深蓝色，对应食指的位置；c为天蓝色，对应中指的位置；d为绿色，对应无名指的位置；e为橙色，对应小拇指的位置；g为红色，对应手掌的位置。可以理解的是，图3a和图3b中的模型和颜色，本发明实施例并不限于此。图3b中的手的各个部分也可以采用其他颜色进行分割。

S130：通过图像的轮廓像素点和三维顶点之间的对应关系，计算仿射变换矩阵。

通过图像的轮廓像素点和三维顶点之间的对应关系，计算仿射变换矩阵。在本发明的一个实施例中，对手的三维模型的不同区域（不同部位）计算不同的仿射变换矩阵，换言之，不同区域（不同部位）具有不同的仿射变换矩阵。例如：手掌和小拇指具有不同的仿射变换矩阵，小拇指和食指具有不同的仿射变换矩阵。

S140：根据仿射变换矩阵得到三维顶点的类别信息，以及根据三维顶点的类别信息得到仿射变换后的结果。得到三维手的模型。

S141：根据仿射变换矩阵得到三维顶点的类别信息，包括如下步骤：

S1411：将三维顶点投影到二维平面中，判断三维顶点投影所在的位置；以及

S1412：判断三维顶点的颜色信息，得到三维顶点的类别信息。

S142：根据三维顶点的类别信息得到仿射变换后的结果。

将三维顶点的类别信息乘以仿射变换矩阵，得到仿射变换后的结果。

S143：获得三维手的模型，包括如下步骤：

S1431：计算三维-二维的投影系数；

S1432：将所述仿射变换后的结果反投影到三维空间得到初始三维手模型；以及

S1433：对初始三维手模型进行迭代以得到三维手模型。

对初始三维手模型进行迭代的此时可以由用户进行设置。在本发明的一个示例中，对初始三维手模型迭代的次数可以为3次或4次。

S150：设置三维手的模型骨架节点和手指自由度，对每一个骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。

S151：设置三维手的模型骨架节点和手指自由度包括：采用6个全局的旋转和平移的自由度且每个手指指定4个自由度。即一共使用了26个自由度的骨架节点，使用者也可以根据需要灵活的增加或删减其中的自由度。在本发明的一个示例中，对每一个骨架节点加上相应的粒子约束，如下表1所示，表1中的约束的数据均以单位（度）来描述：

表1

S152：通过粒子滤波算法得到手势轮廓匹配图，包括如下步骤：

S1521：选择粒子，其中，粒子为骨架节点的数值。

在本发明的一个示例中，粒子初始化为均值为0，方差为0.1，为满足高斯分布的26维向量。

S1522：根据粒子计算变形后的三维模型；

S1523：将变形后的三维模型投影到二维图像中，计算轮廓匹配误差，设轮廓匹配误差为E；

S1524：根据轮廓匹配误差计算所述粒子的权值，粒子的权值采用如下公式计算

w=e^-βE，

其中，β=(1+t)^0.7为迭代次数引起的放缩因子，t为迭代次数。S1525：根据计算得到的粒子的权值，获得新的粒子直至计算结果满足预定阈值。

具体地，根据步骤S1524中计算得到的粒子的权值，重新得到一组新的粒子，重复步骤S1523直至算法收敛。

图4a和图4b分别为跟踪匹配后的模拟退火粒子滤波算法计算出的两个轮廓匹配图。

在本发明的一个实施例中，对与多视点、低分辨率的图像序列，需要预先采集一幅背景图案，如图5a所示。然后在跟踪的前期，利用采集到的图像在HSV颜色空间中键区背景图像，从而得到带噪点的分割结果，如图5b所示。后续不需要该分割结果进行任何处理。

根据本发明实施例的基于三维模型的手势跟踪计算方法采用全局优化的算法，无需精确的三维初始模型，能够对输入的多视点、低分辨率的图像或视频序列进行精确的跟踪，不做任何的鲁棒的分割，只需要减去背景，在噪声点较多的情况下显示较好的跟踪效果。跟踪的结果可以用三维模型的骨架节点的运动参数描述，也可以直接生成变形的三维手的模型。

如图6所示，本发明实施例提供了一种基于三维模型的手势跟踪计算装置100，包括：初始化模块110，用于建立手的三维数据模型，其中，三维数据模型包括三维顶点；输入模块120，用于输入图像序列，其中，图像序列的第一帧图像为无自遮挡和外部遮挡的，并且第一帧图像按照系统内指定的颜色进行分割；仿射变换矩阵生成模块130，仿射矩阵生成模块分别和初始化模块以及输入模块相连，用于通过图像的轮廓像素点和三维顶点之间的对应关系，计算仿射变换矩阵；三维手模型生成模块140，三维手模型生成模块140和仿射变换矩阵生成模块130相连，用于根据仿射变换矩阵得到三维顶点的类别信息，根据三维顶点的类别信息得到仿射变换后的结果，以及根据仿射变换后的结果得到三维手的模型；轮廓匹配图生成模块150，轮廓匹配图生成模块150和三维手模型生成模块140相连，用于设置三维手的模型骨架节点和手指自由度，对每一个骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。

初始化模块110建立手的三维数据模型，三维数据模型包括三维顶点。本发明实施例对于手的三维数据模型没有固定的要求，并且手的三维数据模型对用户而言是透明的。其中，手的三维数据模型可以预先封装在系统内部。图2a为三维手的模型图，图2b为对图2a的颜色分割效果图。其中，图2b中的a,b,c,d,e,f表示三维手的模型的不同区域，并且对应于手的不同部位。对手的不同部位采用不同的颜色进行标记。例如，a为粉色，对应大拇指的位置；b为深蓝色，对应食指的位置；c为天蓝色，对应中指的位置；d为绿色，对应无名指的位置；e为橙色，对应小拇指的位置；g为红色，对应手掌的位置。可以理解的是，图2a和图2b中的模型和颜色，本发明实施例并不限于此。图2b中的手的各个部分也可以采用其他颜色进行分割。输入模块120接收到的输入的第一帧图像必须为张开的手的图案，即输入的图像序列的第一帧图像为无自遮挡和外部遮挡的，并且输入模块120对第一帧图像按照预设颜色值进行分割。

用户指定的颜色必须与发明系统内部指定的颜色一致，任何一致的结果都可以满足本发明实施例的要求。这样利于根据指定的颜色来区分二维像素和三维模型顶点之间的对应关系，进而利于计算仿射变换矩阵。图3a为用户输入的第一帧图像，图3b为图3a的分割结果图。如图3b所示，定义颜色着色方案如下，a为粉色，对应大拇指的位置；b为深蓝色，对应食指的位置；c为天蓝色，对应中指的位置；d为绿色，对应无名指的位置；e为橙色，对应小拇指的位置；g为红色，对应手掌的位置。可以理解的是，图3a和图3b中的模型和颜色，本发明实施例并不限于此。图3b中的手的各个部分也可以采用其他颜色进行分割。

仿射变换矩阵生成模块130通过图像的轮廓像素点和三维顶点之间的对应关系，计算仿射变换矩阵。在本发明的一个实施例中，对手的三维模型的不同区域（不同部位）。计算不同的仿射变换矩阵。例如：手掌和小拇指具有不同的仿射变换矩阵，小拇指和食指具有不同的仿射变换矩阵。

三维手模型生成模块140首先根据仿射变换矩阵得到三维顶点的类别信息。具体地，首先将三维顶点投影到二维平面中，判断三维顶点投影所在的位置，然后判断三维顶点的颜色信息以得到三维顶点的类别信息。三维手模型生成模块140在获得三维顶点的类别信息后，根据三维顶点的类别信息得到仿射变换后的结果。三维手模型生成模块140将三维顶点的类别信息乘以仿射变换矩阵，得到仿射变换后的结果。然后，三维手模型生成模块140根据仿射变换后的结果得到三维手的模型。具体地，三维手模型生成模块140首先计算三维-二维的投影系数，然后将仿射变换后的结果反投影到三维空间得到初始三维手模型，最后对初始三维手模型进行迭代以得到三维手模型。

对初始三维手模型进行迭代的此时可以由用户进行设置。在本发明的一个示例中，三维手模型生成模块140对初始三维手模型迭代的次数可以为3次或4次。

轮廓匹配图生成模块150设置三维手的模型骨架节点和手指自由度，对每一个骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。

轮廓匹配图生成模块150设置三维手的模型骨架节点和手指自由度包括：采用6个全局的旋转和平移的自由度且每个手指指定4个自由度。即一共使用了26个自由度的骨架节点，使用者也可以根据需要灵活的增加或删减其中的自由度。在本发明的一个示例中，对每一个骨架节点加上相应的粒子约束如表1所示，表1中的约束的数据均以单位（度）来描述。

轮廓匹配图生成模块150通过粒子滤波算法得到手势轮廓匹配图。具体地，轮廓匹配图生成模块150首先选择粒子，其中，粒子为骨架节点的数值。在本发明的一个示例中，粒子初始化为均值为0，方差为0.1，为满足高斯分布的26维向量。然后，轮廓匹配图生成模块150根据粒子计算变形后的三维模型，将变形后的三维模型投影到二维图像中，计算轮廓匹配误差，设为E。轮廓匹配图生成模块150根据轮廓匹配误差计算粒子的权值，粒子的权值采用如下公式计算

w=e^-βE，

其中，β=(1+t)^0.7为迭代次数引起的放缩因子，t为迭代次数。最后，轮廓匹配图生成模块150根据粒子的权值，获得新的粒子直至计算结果满足预定阈值。

在本发明的一个实施例中，对与多视点、低分辨率的图像序列，需要预先采集一幅背景图案。然后在跟踪的前期，利用采集到的图像在HSV颜色空间中键区背景图像，从而得到带噪点的分割结果。后续不需要该分割结果进行任何处理。

根据本发明实施例的基于三维模型的手势跟踪计算装置采用全局优化的算法，无需精确的三维初始模型，能够对输入的多视点、低分辨率的图像或视频序列进行精确的跟踪，不做任何的鲁棒的分割，只需要减去背景，在噪声点较多的情况下显示较好的跟踪效果。跟踪的结果可以用三维模型的骨架节点的运动参数描述，也可以直接生成变形的三维手的模型。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (14)

1.一种基于三维模型的手势跟踪计算方法，其特征在于，包括如下步骤：

建立手的三维数据模型，其中，所述三维数据模型包括三维顶点；

输入图像序列，其中，所述图像序列的第一帧图像为无自遮挡和外部遮挡的，并且所述第一帧图像按照预设颜色值进行分割；

通过所述图像的轮廓像素点和所述三维顶点之间的对应关系，计算仿射变换矩阵；

根据所述仿射变换矩阵得到所述三维顶点的类别信息，以及根据所述三维顶点的类别信息得到仿射变换后的结果，得到三维手的模型；

设置所述三维手的模型骨架节点和手指自由度，对每一个所述骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。

2.如权利要求1所述的基于三维模型的手势跟踪计算方法，其特征在于，根据所述仿射变换矩阵得到所述三维顶点的类别信息，包括如下步骤：

将所述三维顶点投影到二维平面中，判断所述三维顶点投影所在的位置；

判断所述三维顶点的颜色信息，得到所述三维顶点的类别信息。

3.如权利要求1所述的基于三维模型的手势跟踪计算方法，其特征在于，将所述三维顶点的类别信息乘以所述仿射变换矩阵，得到所述仿射变换后的结果。

4.如权利要求1所述的基于三维模型的手势跟踪计算方法，其特征在于，

计算三维-二维的投影系数；

将所述仿射变换后的结果反投影到三维空间得到初始三维手模型；

对初始三维手模型进行迭代以得到三维手模型。

5.如权利要求4所述的基于三维模型的手势跟踪计算方法，其特征在于，所述对初始三维手模型迭代的次数为3次或4次。

6.如权利要求1所述的基于三维模型的手势跟踪计算方法，其特征在于，所述设置所述三维手的模型骨架节点和手指自由度包括：

采用6个全局的旋转和平移的自由度且每个手指指定4个自由度。

7.如权利要求1所述的基于三维模型的手势跟踪计算方法，其特征在于，所述通过粒子滤波算法得到手势轮廓匹配图，包括如下步骤：

选择粒子，其中，所述粒子为所述骨架节点的数值；

根据所述粒子计算变形后的三维模型；

将所述变形后的三维模型投影到二维图像中，计算轮廓匹配误差；

根据所述轮廓匹配误差计算所述粒子的权值；

根据所述粒子的权值，获得新的粒子直至计算结果满足预定阈值。

8.如权利要求7所述的基于三维模型的手势跟踪计算方法，其特征在于，采用如下公式计算所述粒子的权值，

w=e^-βE，其中，β=(1+t)^0.7为迭代次数引起的放缩因子，t为迭代次数。

9.一种基于三维模型的手势跟踪计算装置，其特征在于，包括：

初始化模块，用于建立手的三维数据模型，其中，所述三维数据模型包括三维顶点；

输入模块，用于输入图像序列，其中，所述图像序列的第一帧图像是无自遮挡和外部遮挡的，并且所述第一帧图像按照系统内指定的颜色进行分割；

仿射变换矩阵生成模块，所述仿射矩阵生成模块分别和所述初始化模块以及所述输入模块相连，用于通过所述图像的轮廓像素点和所述三维顶点之间的对应关系，计算仿射变换矩阵；

三维手模型生成模块，所述三维手模型生成模块和所述仿射变换矩阵生成模块相连，用于根据所述仿射变换矩阵得到所述三维顶点的类别信息，根据所述三维顶点的类别信息得到仿射变换后的结果，以及根据所述仿射变换后的结果得到三维手的模型；

轮廓匹配图生成模块，所述轮廓匹配图生成模块和所述三维手模型生成模块相连，用于设置所述三维手的模型骨架节点和手指自由度，对每一个所述骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。

10.如权利要求9所述的基于三维模型的手势跟踪计算装置，其特征在于，所述三维手模型生成模块将所述三维顶点投影到二维平面中，判断所述三维顶点投影所在的位置，以及判断所述三维顶点的颜色信息以得到所述三维顶点的类别信息。

11.如权利要求9所述的基于三维模型的手势跟踪计算装置，其特征在于，所述三维手模型生成模块将所述三维顶点的类别信息乘以所述仿射变换矩阵，得到所述仿射变换后的结果。

12.如权利要求9所述的基于三维模型的手势跟踪计算装置，其特征在于，所述三维手模型生成模块计算三维-二维的投影系数，将所述仿射变换后的结果反投影到三维空间得到初始三维手模型，以及对初始三维手模型进行迭代以得到所述三维手模型。

13.如权利要求12所述的基于三维模型的手势跟踪计算装置，其特征在于，所述对初始三维手模型迭代的次数为3或4次。

14.如权利要求9所述的基于三维模型的手势跟踪计算装置，其特征在于，所述轮廓匹配图生成模块设置所述三维手的模型骨架节点和手指自由度包括：采用6个全局的旋转和平移的自由度，每个手指指定4个自由度。

Images