CN105045496A - 一种基于关节点变换的手势交互方法 - Google Patents

Abstract

本发明属于三维手势交互方法技术领域，具体涉及一种基于关节点变换的手势交互方法。本发明主要解决了现有三维手势交互方法存在所使用的设备昂贵和所得到的人手模型真实性差的技术问题。本发明利用采集点云数据时Kinect相机同步得到的彩色图像中的信息对三维点云进行处理，该方案中重建时采用基于测地线距离的基函数构造方法，曲面表示函数是一种高阶可导的参数形式，能够保证人手的拓扑性质和表面的光滑性；同时，采用三维点云和二维图像之间的跨维匹配方法能过有效的提取出关节点，相对于传统的图像与图像之间的匹配后在重建三维关节点的方法。本方案中的方法具有更精确、提取速度快、计算量少的特点。

Description

一种基于关节点变换的手势交互方法

技术领域

本发明属于三维手势交互方法技术领域，具体涉及一种基于关节点变换的手势交互方法。

背景技术

在虚拟现实技术刚开始的发展阶段，人机交互的操作工具只有像键盘、鼠标、操纵杆等一些简单的外部设备，在交互过程中使用这些工具会大大减少操作者的沉浸感，不能实现操作者用双手在虚拟世界和真实世界之间实现随意交流的目的。随着虚拟现实技术的迅速发展，鼠标、键盘这种简单的交互工具和传统的交互界面已然不能满足高级人机交互的要求，这时以手势、立体显示为代表的三维新型人机交互形式应运而生。人手作为仅次于语言的交流方式，有着不可或缺的作用。人们在无法进行语言传输的环境下，通过简单的手势可以表达和理解彼此的意图，从而完成交流和协作。

目前，从手势交互输入技术的研究方向来看，手势交互技术可以分为两种输入方式：一种是基于数据手套的手势交互，一种是基于视觉的手势交互。

其中，基于数据手套的手势交互需要实验者用一种专用的硬件设备进行输入，即数据手套。这种设备通过直接测量手指的弯曲角度和手的空间位置、方位来实现对手势的输入。它的优点是：采集到的手势参数信息较全面并且数据量较小，采样的速度高，能直接获得手势在空间中的三维位置信息和手指的运动信息，能识别的手势种类多，且能对手势进行实时地识别。但其缺点是：为了适应不同的用户，每次使用都要进行校准；由于设备与手直接接触，佩戴之后对手的运动具有一定的束缚，对手的感知也有一定程度的影响。而且价格较为昂贵，不适合普通学者做研究。

基于视觉的手势交互则是直接以摄像机作为输入设备，通过使用摄像机捕获手势图像，再利用计算机立体视觉技术对捕获的图像进行处理分析，从中提取出手势图像中的特征，对手势进行三维重建，计算出手势运动特征，从而实现手势的输入。这种输入方式的优点是：使人机间的通讯将不再受中间媒体的束缚，用户可以灵活自如地和虚拟环境进行交互；同前者相比，基于视觉的手势交互更加自然、简洁、直接，手势定义也更加丰富。但是由于手势本身具有多样性、多义性以及时间和空间上的差异性等特点，加之人手是复杂变形体及视觉本身的不适定性和计算机视觉技术的不成熟，这种输入方式也存在一些不足之处：(1)图像处理过程中，为了把手势区域从背景中提取出来，拍摄手势图像前，需要将背景进行单一化处理，或者让用户戴上特殊颜色的手套以区分背景。(2)提取手势参数时，需要处理的数据量比较大，不容易实现实时性。(3)虽然不用佩戴设备较多的数据手套，减少了对人手运动的束缚，但摄像机不能跟随用户手部的运动而运动，从本质上讲，用户手部活动的范围仍然是有限的。(4)难以跟踪手指的运动，因为手指之间、手指和手掌之间存在遮挡。

发明内容

本发明的目的是解决现有三维手势交互方法存在所使用的设备昂贵和所得到的人手模型真实性差的技术问题，提供一种基于关节点变换的手势交互方法

为解决上述技术问题，本发明采用的技术方案为：

一种基于关节点变换的手势交互方法，其包括以下步骤：

1)将Kinect相机放置在旋转平台上，通过旋转平台旋转同时采集三维人手在多个视角下的彩色图像与深度图信息，并由深度图信息得到三维人手在多个视角下的三维点云数据；

2)将多个视角下的人手三维点云数据利用配准算法得到三维人手初始的三维点云数据；

3)对三维人手初始的三维点云数据进行去噪、修补和精简处理得到三维人手完整的三维点云数据；

4)根据人手的形状特性，对三维人手完整的三维点云数据进行分块，然后对每个分块按照以下方式进行重建：构造基网格逼近点云→同胚映射到符合视觉认知的微分流形→网格参数化→构建网格基函数→曲面绘制，得到各个分块重建后的模型，最后利用过渡映射将各个重建后的模型拼接起来，构成完整的三维人手模型；

5)对三维人手的一个视角下的彩色图像和三维点云数据进行特征提取，得到彩色图特征点和手势关节点的二维投影的屏幕坐标，将彩色图特征点和手势关节点的二维投影的屏幕坐标与该视角下的三维点云数据匹配反求出匹配矩阵，采用该视角下的三维点云数据和该视角下的彩色图像之间的特征匹配的方法，以指尖坐标为基数据通过反求出匹配矩阵计算出所有关节点的三维坐标；

6)根据关节点的三维坐标信息，在腕关节处建立直角坐标系，然后在符合人手运动规律的情况下，通过手势关节点的变换变换出多种式样的三维手势；

7)根据变换后的三维手势的形状特性，基于视觉认知采集形似的真实手势，采用基于凸包面积的方法对变换后的三维手势进行手势特征识别以辨别三维手势变换是否成功；

8)对变换成功的每一种三维手势赋予相应的定义，建立三维手势数据库，再利用Kinect相机采集符合人际交流习惯的手势，与数据库中的手势进行匹配识别，实现符合手势定义的交互操作。

本发明采用以上技术方案，利用采集点云数据时Kinect相机同步得到的彩色图像中的信息对三维点云进行处理，该方案中重建时采用基于测地线距离的基函数构造方法，曲面表示函数是一种高阶可导的参数形式，能够保证人手的拓扑性质和表面的光滑性；同时，采用三维点云数据和彩色图像之间的跨维匹配方法能够有效的提取出三维人手关节点，相对于传统的图像与图像之间的匹配后在重建三维关节点的方法，本发明具有精确、提取速度快、计算量少的特点；最后在手势识别中，采用基于形似的方法，采集各种各样的手势进行手势识别，有效验证了手势的多样性，识别效果可观。因此，与背景技术相比，本发明具有方法简单、精确、提取速度快、计算量少和所得到的人手模型真实性强的优点。

为表明本发明具有以上优点，分别利用了网格细分法、样条函数法以及本发明所述处理方法对同一三维人手整体点云数据进行重建，其中，图3、图4和图5分别是网格细分法、样条函数法和本发明所述处理方法对同一三维人手整体点云数据重建处理后的效果图；图6、图7分别表示提取的关节点和其中一种变换后的关节点；表1为本发明手势识别效果分析。

从图3和图4可以看出，虽然对点云数据进行了重建处理，在物体外形变化比较明显的地方也达到和比较不错的效果，但是人手表面上的光滑性不够，对以后手势纹理的贴图有影响。

表1手势识别的误差

手势	点云凸包面积	轮廓凸包面积	误差
				1	237.45	255.38	7.02％
2	268.72	287.15	6.41％
				3	306.43	329.54	7.01％
4	327.18	345.78	5.44％
				5	346.63	367.75	5.72％

从表1可以看出，通过本发明变换的手势在误差允许范围内是符合手势表征的。

附图说明

图1是利用本发明采集到的三维人手某一视角下的三维点云数据；

图2是利用本发明得到三维人手完整的三维点云数据；

图3是利用网格细分法对三维人手完整的点云数据重建后的效果图；

图4是利用样条函数法对三维人手完整的点云数据重建后的效果图；

图5是利用本发明对三维人手完整的点云数据重建后的效果图；

图6是利用本发明提取出的三维人手关节点；

图7是利用本发明得到的变换后的三维手势的关节点。

具体实施方式

本实施例中的一种基于关节点变换的手势交互方法，包括以下步骤：

1)将Kinect相机放置在旋转平台上，通过旋转平台旋转同时采集三维人手在35个视角下的彩色图像与深度图信息，初始视角记为0°，旋转平台每旋转10°记录一次数据，直至旋转到350°视角为止，并由深度图信息得到三维人手在35个视角下的三维点云数据；

2)将35个视角下的人手三维点云数据利用改进的ICP配准算法得到三维人手初始的三维点云数据；

3)对三维人手初始的三维点云数据进行去噪、修补和精简处理得到三维人手完整的三维点云数据；

4)根据人手的形状特性，对三维人手完整的三维点云数据进行分块，然后对每个分块按照以下方式进行重建：构造基网格逼近点云→同胚映射到符合视觉认知的微分流形→网格参数化→构建网格基函数→曲面绘制，得到各个分块重建后的模型，最后利用过渡映射将各个重建后的模型拼接起来，构成完整的三维人手模型；

曲面重建过程：

微分流形曲面是以C^r类势函数作为基函数。设图册是二维微分流形N上的一个坐标卡，如果f是φ(U)上的势函数，则就是U上的势函数。也就是说，我们可以用二维流形R²中的势函数来构造出N上的势函数。取简单的光滑微分流形N为平面、柱面或球面，取N的一个子集W作为曲面的定义域。参数化映射f:M→W把控制网格映射到定义域上形成参数控制网，然后在定义域上定义每个控制顶点V_i所对应的基函数G_i，其支撑域反映了控制顶点的影响范围，把G_i归一化后得到W的单位分解{g_i},

$g_i\left(p\right)=w_i{G}_i\left(p\right)/{\mathrm{\Σ}}_{i=1}^n{w}_i{G}_i\left(p\right),p\∈W$

最后将g_i和V_i符合就得到了参数曲面的表示方式S(u,v)：

$S(u,v)={\mathrm{\Σ}}_{i=1}^n{V}_i{g}_i(u,v),(u,v)\∈W$

其中，V_i表示控制顶点，w_i表示各顶点在各边对应的权重，p表示控制网格中的一点。

采用类似于径向基函数的构造方法，把两点之间的测地距离d(x,x₀)作为参数域W上从x到x₀的最短距离。

在求解两点之间的测地距离时，采用类矩阵乘最短路径并行算法，假设是顶点v_i到v_j的最短距离，是的长度，路径中包含k条边，上倒数第二个顶点是v_m，w(v_m,v_j)表示v_m到v_j的权值，则最短测地线距离其中，把“+”运算看做“×”运算，将“min”看做是“∑”，则在形式上等同于矩阵乘法，因此，经过log(N-1)次迭代乘法运算(N为网格顶点数)，可以得到所有点对间的最短距离；然后用测地线距离构造控制顶点的基函数，利用基函数得到微分流形曲面表示形式，最后通过曲面函数进行曲面绘制；

5)对三维人手的一个视角下的彩色图像和三维点云数据进行特征提取，得到彩色图特征点和手势关节点的二维投影的屏幕坐标，将彩色图特征点和手势关节点的二维投影的屏幕坐标与该视角下的三维点云数据匹配反求出匹配矩阵，采用该视角下的三维点云数据和该视角下的彩色图像之间的特征匹配的方法，以指尖坐标为基数据通过反求出匹配矩阵计算出所有关节点的三维坐标；

设矩阵A—彩色图的关节标记点的屏幕坐标；

矩阵D—彩色图与点云正面投影图之间的匹配矩阵；

矩阵B—关节点的三维坐标；

矩阵M—点云正面投影的屏幕坐标；

矩阵R—点云正面投影矩阵；

矩阵H—二维彩色图坐标到三维点云坐标的匹配矩阵。

所以根据匹配的定义我们有如下关系式：

AD＝M，BC＝M(5.1)

所以

AD＝BC(5.2)

根据矩阵乘法理论可得

B^-1AD＝C→B^-1ADD^-1＝CD^-1(5.3)

令CD^-1＝H，于是有

B^-1A＝H(5.4)

通过矩阵逆运算可以得到点云坐标B

B＝AH^-1(5.5)

接下来的步骤：

①将彩色图和点云图的五个手指指尖的坐标作为匹配的基础数据，通过式(5.4)可以得到匹配矩阵H；

②用彩色图中余下的标记点与匹配矩阵H通过式(5.5)运算得到对应的关节点的三维坐标；

6)根据关节点的三维坐标信息，在腕关节处建立直角坐标系，然后在符合人手运动规律的情况下，通过手势关节点的变换变换出多种式样的三维手势；

7)根据变换后的三维手势的形状特性，基于视觉认知采集形似的真实手势，采用基于凸包面积的方法对变换后的三维手势进行手势特征识别以辨别三维手势变换是否成功；

8)对变换成功的每一种三维手势赋予相应的定义，建立三维手势数据库，再利用Kinect相机采集符合人际交流习惯的手势，与数据库中的手势进行匹配识别，实现符合手势定义的交互操作。

Claims (1)

1.一种基于关节点变换的手势交互方法，其特征在于：包括以下步骤：

1)将Kinect相机放置在旋转平台上，通过旋转平台旋转同时采集三维人手在多个视角下的彩色图像与深度图信息，并由深度图信息得到三维人手在多个视角下的三维点云数据；

2)将多个视角下的人手三维点云数据利用配准算法得到三维人手初始的三维点云数据；

3)对三维人手初始的三维点云数据进行去噪、修补和精简处理得到三维人手完整的三维点云数据；

4)根据人手的形状特性，对三维人手完整的三维点云数据进行分块，然后对每个分块按照以下方式进行重建：构造基网格逼近点云→同胚映射到符合视觉认知的微分流形→网格参数化→构建网格基函数→曲面绘制，得到各个分块重建后的模型，最后利用过渡映射将各个重建后的模型拼接起来，构成完整的三维人手模型；

5)对三维人手的一个视角下的彩色图像和三维点云数据进行特征提取，得到彩色图特征点和手势关节点的二维投影的屏幕坐标，将彩色图特征点和手势关节点的二维投影的屏幕坐标与该视角下的三维点云数据匹配反求出匹配矩阵，采用该视角下的三维点云数据和该视角下的彩色图像之间的特征匹配的方法，以指尖坐标为基数据通过反求出匹配矩阵计算出所有关节点的三维坐标；

6)根据关节点的三维坐标信息，在腕关节处建立直角坐标系，然后在符合人手运动规律的情况下，通过手势关节点的变换变换出多种式样的三维手势；

7)根据变换后的三维手势的形状特性，基于视觉认知采集形似的真实手势，采用基于凸包面积的方法对变换后的三维手势进行手势特征识别以辨别三维手势变换是否成功；

8)对变换成功的每一种三维手势赋予相应的定义，建立三维手势数据库，再利用Kinect相机采集符合人际交流习惯的手势，与数据库中的手势进行匹配识别，实现符合手势定义的交互操作。