CN102937831A - 一种交互式电子沙盘手势识别方法 - Google Patents

Abstract

本发明是一种交互式电子沙盘手势识别方法，本发明的特征在于具有电子沙盘交互的手势识别功能。本发明结合实体沙盘模型，综合运用图像处理和光点运动轨迹跟踪与识别算法，设计并实现了电子沙盘中手势的自动识别。本方法具有良好的电子沙盘手势识别交互功能，具有广泛的应用前景。

Description

一种交互式电子沙盘手势识别方法

技术领域

本发明涉及一种交互式电子沙盘手势识别方法，方法涉及的技术包括图像处理和手势识别算法，主要在电子沙盘展示基础上采用人机交互的方式，通过光点的轨迹自动识别出手势类别。

背景技术

传统沙盘技术缺乏较为友好的人机交互功能，为解决这一不足，本发明提出了在电子沙盘中增加手势识别的概念，综合运用计算机视觉中光点精确跟踪技术和手势轨迹识别技术设计并实现了采用手势交互的电子沙盘系统。交互电子沙盘系统在旅游景点介绍、城市规划、沙盘推演等领域具有重要的应用意义。

发明内容

本发明的目的是为解决传统沙盘的诸多不足，提出采用手势交互的电子沙盘概念，综合运用计算机视觉中光点确跟踪技术和手势轨迹识别技术设计并实现了交互式电子沙盘手势识别的功能。

为了达成所述目的，本发明提供一种交互式实体沙盘手势识别方法，其特征在于，具有电子沙盘手势识别的功能，其中：

用户能够使用手势的方式与电子沙盘进行交互，通过不同的手势运动，在沙盘上画出光点运动轨迹，进而通过对光点运动轨迹采用模式识别技术，实现手势识别，最终实现手势对电子沙盘的控制。

其中，光点运动轨迹的跟踪采用最小距离算法。

其中，对光点运动轨迹采用的模式识别技术为决策树算法。

本发明的有益效果：本发明的基本原理是综合利用计算机视觉、模式识别算法实现电子沙盘的手势识别功能，具有良好的交互性和实用性。

附图说明

图1为本发明实施例的光点轨迹获取流程图；

图2为本发明实施例的手势识别算法的整体流程图；

图3为本发明实施例的手势识别功能在电子沙盘上应用的流程图；

图4为本发明实施例的用光笔任意画出光点轨迹效果图。

具体实施方式

下面结合附图详细说明本发明的技术方案中所涉及的各个细节问题。应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。

下面说明本方法主体模块所采用的主要技术：

1、光点轨迹的跟踪

该技术能够在跟踪激光笔的光点基础上，根据光点的坐标，实时画出一条线条，用以表示路径。由于激光笔的光点存在着团块的效应，为了能够显示一条细的光点路径，我们设计了一种基于最小距离(Minimum Distance First，MDF)方法的光点团块跟踪算法，用于跟踪光点的运动轨迹。对用于多光点的团块跟踪算法一般都采用最小距离(Minimum Di stance First，MDF)算法。

为了说明最小距离算法，定义由上一帧图像得到的团块中心坐标为Old Blobs(Xold，Yold)，而该帧图像得到的团块中心坐标为NewBlobs(Xnew，Ynew)，该算法根据公式(1)计算新旧数据之间的欧式距离。根据公式(2)得到最佳相关系数D，其中Dth为最大相关距离，此时Old Blobs中的第i项与New Blobs中的第j项即为最佳关联点。

$D_{\mathrm{ij}}=\sqrt{{(X_{{\mathrm{old}}_i}-X_{{\mathrm{new}}_j})}^2+{(Y_{{\mathrm{old}}_i}-Y_{{\mathrm{new}}_j})}^2}---\left(1\right)$

D＝min{D_ij，D_ij＜D_th}    (2)

MDF算法具有简单、效率高等优点，但是匹配精度及鲁棒性不高，在处理多个交互点位置交叉、光点距离很近、亮斑抖动等问题时会出现跟踪丢失或者错误匹配的情况。为了克服MDF算法的缺点，综合考虑匹配精度、效率，以及鲁棒性，我们对团块跟踪MDF算法引入了改进。我们在公式(2)中加入一个角度控制项A，参见公式(3)，从而得到公式(4)，其中Mth为最大相关系数，k为角度影响因子的比例系数，根据实验结果取大约0.3。此时Old Blobs中的第i项与New Blobs中的第j项即为最佳关联点。

$A_{\mathrm{ij}}={\tan }^{-1}\left(\frac{X_{{\mathrm{old}}_i}-X_{{\mathrm{new}}_j}}{Y_{{\mathrm{old}}_i}-Y_{{\mathrm{new}}_j}}\right)---\left(3\right)$

D＝min{D_ij+k×A_ij，D_ij+A_ij＜M_th}    (4)

另外，对于只有1帧没有相关点的团块，直接使用上一帧的团块中心坐标作为其输出坐标，保留其ID。对于连续2帧没有相关点的团块才标记为跟踪结束。

2、采用光点轨迹的手势识别算法

识别电子沙盘的手势类别，实际就是一个手势光点运动轨迹识别的过程。其方法如下：

(1)计算机采集到光笔光点的运动轨迹，并将所有采集到的光点轨迹坐标信息记录下来，如图4所示。图4表示的手势轨迹是用来设计一块草坪区域，其中方框表示草坪的边界，方框内的曲线为从上至下的螺旋线，螺旋线在我们系统中就表示可以将这组区域内的图像置换成草坪，也就是说从上至下的具有螺旋线型运动的手势，就代表了一个设计草坪的手势。

(2)在构建手势光点轨迹的识别模型之前，我们事先采集一定量的手势光点轨迹数据，将其按照手势的类别分为几组，每组单独训练一个决策树模型。在手势识别时，将获得的手势光点轨迹放到不同类别的决策树模型中进行运算，根据决策树的运算结果，判断输入的手势类别，从而获得手势识别结果，工作流程图如图2所示。

(3)根据识别出的手势含义，将手势的功能分为两种，即：沙盘场景图片绘制功能、沙盘操作控制功能。沙盘场景图片绘制功能包括：场景设计和灯光设计两组子功能，当手势识别出是这两个子功能时，计算机就从存储的图片材质库中搜索出合适的素材，将手势光点轨迹所覆盖的区域绘制成相对应的图片素材，如：草坪、灯光等。沙盘操作控制功能则包括：删除上一次绘制的图像和恢复删除的图像两个子功能，当手势识别出是这两个子功能时，计算机执行相应的操作。

Claims (3)

1.一种交互式电子沙盘手势识别方法，其特征在于，具有电子沙盘手势识别的交互功能，其中：

用户可以通过光笔在沙盘上画出的手势轨迹，该模块可以提供一个手势轨迹的识别功能，即根据用户使用光笔画出光点运动轨迹，运用模式识别算法实时的识别出手势的类别。

2.根据权利要求1所述的一种交互式电子沙盘手势识别方法，其特征在于，电子沙盘上光点轨迹的跟踪采用团块跟踪算法。

3.根据权利要求1所述的一种交互式实体沙盘手势识别方法，其特征在于，根据用户使用光笔在电子沙盘上的手势识别模块的训练过程采用决策树方法。

Images