CN102385439A - 一种用于电子白板的人机手势交互系统 - Google Patents

Abstract

本发明公开了一种用于电子白板的人机手势交互系统，包括用于采集手势图像的摄像头、用于对手势图像作图像预处理的手势获取模块，用于对预处理后的手势图像提取图像特征，并利用数据样本训练支持向量机对图像特征分类从而识别出手势的手势识别模块，以及用于将识别出的手势转化为电子白板指令的指令转换模块，本发明提供了手势与电子白板指令交互的可配置框架，该框架的功能是使手势与电子白板指令相互映射且易于配置。同时，应用本发明，教师和学生不需要处于电子白板和投影仪之间，不会在电子白板上造成阴影，还可供若干人同时使用电子白板，增强教学交互性，方便教师和学生的参与。

Description

一种用于电子白板的人机手势交互系统

技术领域

本发明涉及基于计算机视觉的自然人机交互领域，更具体地，本发明涉及通过摄像头获取手势图像，经过图像识别，实现使用手势控制电子白板教学的人机手势交互系统。

背景技术

人机交互概念于1992ACM SIGCHI课程开发组(CurriculumDevelopment Group，CDG)的报告中首次提出，是一门研究人类所使用的交互式计算系统的设计、实施、评估及相关主要现象的学科。其研究范围覆盖计算机科学、心理学、社会学、图形设计、工业设计等多个学科。用户界面(User Interface，UI)是人机交互的研究内容之一。用户界面(UI)是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。其发展历史，是从人适应计算机到计算机不断地适应人的发展史，可分为如下几个阶段：早期的手工作业阶段、作业控制语言及交互命令语言(Command Line Interface，CLI)阶段、图形用户界面(GraphicalUser Interface，GUI)阶段、自然用户界面(Natural User Interface，NUI)阶段。

自然用户界面是重复使用已有技能直接与内容交互的用户界面。其中已有技能是指，人们在日常人际交流中已具备的各种语言或非语言的交流技能；直接与内容交互是指，不再需要窗口、菜单、图标等接口元素，而是直接与要操作的内容交互。自然用户界面中“自然”的含义就是使用我们在日常生活中已有的技能，包括与生俱来的技能和后天学习的技能。通过自然用户界面(NUI)实现的人机交互称为自然人机交互(NaturalHuman Computer Interaction，NHCI)。

人机交互的一个典型方式为手势交流，主要有以下五类：

1.配合说话所做的手势。是在讲话时所做的表示某个意义的动作。

2.约定俗成的符号。常用的有“V”表示胜利等。

3.属于讲话一部分的手势。这种手势属于所讲句子的一部分，这部分仅有手势表示而没有词语表示。

4.表意手势。具有叙事功能，如旋转一个手指表示漩涡等，全程没有讲话。

5.手语。明确定义的语言系统，易于对其进行建模。

可以看出，便于在自然人机交互中使用的手势有第2类和第4类。原因是：第1类手势与第3类手势没有固定的动作，导致用户需要学习较多内容且不利计算机视觉算法处理和识别；第5类手势虽然有明确的语义定义，但是一般用户需要学习较多内容，不利于应用扩展。另一方面，第2类手势有固定的表示形式，基本不需要用户学习，具备一定的通用性，易于计算机视觉算法处理和识别；第4类手势虽然没有固定的表示形式，但部分手势表示形式极易学习，如手向左移动表示向左的命令等；根据NUI使用日常生活中已有技能的特征，第2类和第4类手势中的通用和易于学习的部分非常适合用来作为自然人机交互的手势。

另一方面，电子白板教学软件是目前我国学校课堂教学的应用热点，它的优势主要有，首先扩展了传统黑板的功能，提高了教学效率。除了可以直接在电子白板上书写内容之外，还可以直接通过它调用各种教学资源并展示出来；其次提供了大量的交互功能，教师只需准备若干教学素材，而教学素材之间的交互可以在课堂上灵活呈现；再次增强了学生的参与度。相比与以前的投影仪幕布，学生可以直接在电子白板书写，增加了学生的学习兴趣，提高了学生的注意力。然而，电子白板教学软件也存在若干不利因素，如教师或学生使用时正好处于电子白板和投影仪的之间，这样既让教师或学生感觉到眼部不适，又在白板上留下了阴影部分；再如很多情况下，每块电子白板仅配置一只电子笔，这就意味着同一时间只能由一个人使用电子白板，在一定程度上阻碍了师生、生生之间的交流互动，也影响了课堂教学的效率。

综上分析，如果将人机手势交互作为电子白板教学的交互方式之一，必将增强其使用效果的需求，本发明正是鉴于此目的提出。

发明内容

本发明的目的在于提供一种用于电子白板的人机手势交互系统，使教师和学生方便地通过教学手势与电子白板教学软件交互。

一种用于电子白板的人机手势交互系统，包括

摄像头，用于采集手势图像；

手势获取模块，用于对手势图像作图像预处理；

手势识别模块，用于对预处理后的手势图像提取图像特征，并利用数据样本训练支持向量机对图像特征分类，从而识别出手势；

指令转换模块，用于依据手势与电子白板指令的映射关系将识别出的手势转化为相应的电子白板指令。

所述手势包括静态教学手势、动态单手教学手势以及动态双手教学手势；

所述静态教学手势与电子白板指令的映射关系如表1所示：

表1。

所述动态单手教学手势与电子白板指令的映射关系如表2所示：

表2。

所述动态双手教学手势与指令的映射关系如表3所示：

表3。

所述手势与电子白板指令映射关系的配置文件指，记录手势与电子白板指令映射关系的XML文件，通过修改该文件可以改变手势与电子白板指令的映射关系。

所述图像特征包括深度、轮廓、梯度直方图和图像运动参数。

所述手势获取模块、手势识别模块和指令转换模块采用DLL文件形式组织。

本发明的技术效果体现在如下五个方面：

(1)手势与电子白板指令交互的可配置框架为手势操作电子白板提供接口。手势识别模块可以通过接口配置进入框架，从而实现手势识别结果直接操作电子白板；框架使用XML保存手势与指令的映射关系，并可灵活配置。

(2)消除了因遮挡投影光线而出现的阴影，通过摄像头获取手势图像，教师和学生不需要处于电子白板和投影仪之间，不会在电子白板上造成阴影；

(3)使用图像特征信息作为图像分割、图像跟踪、图像特征提取等过程的关键信息，这样做能提高图像分割和跟踪的效率，并且把深度信息作为图像的特征之一可以使二维图像具备三维特征，从而能识别出更多的教学手势。

(4)增强交互性，方便教师和学生的参与。在电子白板教学软件中，必须走到电子白板前才能完成板书等操作。本发明可以使学生在其座位上即可操作电子白板教学软件。教师也不必总站在电子白板前，可以在课堂的其他位置操作课堂教学系统。还可以实现若干人同时使用电子白板教学软件；

(5)本发明交互系统的软件模块可以DLL文件的形式组织，其具有如下两个优点：第一，可以由使用者选择加载与否，不加载时可正常使用电子白板教学系统的一般功能，加载后可以使用教学手势控制电子白板教学软件；第二，便于更新或升级本发明软件模块的各种功能。更新或升级时仅需修改DLL文件，且升级后仅需加载新的DLL文件即可，不需修改电子白板教学系统。

附图说明

图1是本发明具体实施方式的工作流程示意图；

图2是本发明手势识别模块的工作流程示意图；

图3是教学手势palm；

图4是教学手势fist；

图5是教学手势victory；

图6是教学手势pointTo；

图7是教学手势flick；

图8是教学手势tap；

图9是教学手势doubleTap；

图10是教学手势drag；

图11是教学手势correct；

图12是教学手势wrong；

图13是教学手势writing；

图14是教学手势zoomIn；

图15是教学手势zoomOut；

图16是教学手势rotate。

具体实施方式

下面结合具体实施方式和附图来进一步说明本发明。

本发明的技术思路是：首先采用摄像头获取手势图像，再通过图像处理识别手势，然后根据教学手势与电子白板教学软件指令的映射关系，将教学手势转化成相应的指令，最终实现使用教学手势完成电子白板教学的各种功能。具体实施方案如下：

实现上述方法的软硬件配置如下：其中硬件装置为一个摄像头，放置于电子白板下端中央；软件配置包括手势获取模块、手势识别模块和指令转换模块。图像获取模块通过摄像头采集教学手势图像并输入到教学手势识别模块中；教学手势识别模块负责对获取到的图像进行各种图像处理算法，最终识别图像中的教学手势；指令转换模块负责实现手势与电子白板指令交互的可配置框架，把教学手势转换成教学系统的指令。所述手势与电子白板指令交互的可配置框架包括手势与电子白板指令的映射关系、手势与电子白板指令映射关系的配置文件。上述软件配置的手势获取模块、手势识别模块集成于一个动态链接库(DLL)文件中由指令转换模块动态加载，指令转换模块形成一个单独的动态链接库(DLL)文件由电子白板教学软件动态加载。

手势获取模块，通过摄像头的驱动程序，获取摄像头捕捉到的图像信息。随后进行一系列的图像预处理过程，如图像降噪、图像增强、平滑和锐化、膨胀和腐蚀等操作，然后根据深度信息把图像中的手势分割出来，最后把分割出的手势图像传给教学手势识别模块。该模块可以人为控制图像预处理的操作，并能给出实行某预处理操作后的图像结果及相关统计信息，以保证把尽可能少噪声的精确的图像信息传递给教学手势识别模块。

手势识别模块，如图2所示，分为两大步骤。第一步训练机器学习工具，例如请50位志愿者在摄像头前做出本发明所述的教学手势，每种教学手势各做10次，提取每次教学手势的图像特征(如深度、轮廓、梯度直方图、图像运动参数等)，这样便收集到了50(志愿者人数)*14(教学手势种类)*10(重复次数)＝7000组标记的数据样本，用这些数据样本训练支持向量机，最终会得到一个训练后的支持向量机，它可以对以后的教学手势进行预测。这一步骤一般独立完成，并不影响下一步骤，而且可以不断升级，使用更精确的数据集、更适合的机器学习工具不断求精。第二步预测教学手势，请使用电子白板的教师或学生面向摄像头做出教学手势，系统自动使用图像获取模块得到教师或学生的手势图像，并对该图像提取特征，然后使用本模块第一步中得到的机器学习工具来对特征进行分类，即可预测出教师或学生所使用的手势。

指令转换模块，用于实现手势与电子白板指令交互的可配置框架。该框架具体功能包括：第一，依据教学手势与电子白板教学软件指令的映射关系将教学手势转化成相应的指令；第二，根据上述映射关系的XML配置文件实现手势与指令映射关系的灵活配置功能。

教学手势与电子白板教学软件指令的映射关系是指，每一种预定义的教学手势模拟一个电子白板教学系统的指令，共3类14种如下所示：

1.预定义的静态教学手势

(1)教学手势palm：如图3所示，手掌完全伸开。对应于确定当前教学手势的有效性，即在进行除fist之外的教学手势操作时均要求手掌处于伸开状态。

(2)教学手势fist：如图4所示，手掌握拳。对应于取消当前被操作的对象，返回到重新选择被操作对象的状态。

(3)教学手势victory：如图5所示，同时竖起食指和中指。对应于判别当前被操作对象为正确。

(4)教学手势pointTo：如图6所示，仅使用食指指示方向。对应于教师选择回答问题的学生，此时学生可以与电子白板教学系统交互。

2.预定义的动态单手教学手势

(1)教学手势flick：如图7所示，整个手掌向“上”“下”“左”“右”四个方向中的某一方向移动。对应于显示当前被操作对象的上一页或下一页。

(2)教学手势tap：如图8所示，整个手掌快速向摄像头运动，然后迅速回到原位。对应于确定被操作的对象。

(3)教学手势doubleTap：如图9所示，快速连续的完成两次tap手势。对应于模拟操作系统中的双击操作。

(4)教学手势drag：如图10所示，tap手势+flick手势，对应于拖动当前被操作对象。

(5)教学手势correct：如图11所示，手掌伸开，在空间运动轨迹如：“

”。对应于判别当前被操作对象为正确。

(6)教学手势wrong：如图12所示，手掌伸开，在空间运动轨迹如：“

”。对应于判别当前被操作对象为错误。

(7)教学手势writing：如图13所示，手掌伸开，在空间任意运动。对应于在电子白板教学系统中书写内容。

3.预定义的动态双手教学手势

(1)教学手势zoomIn：如图14所示，左右手掌伸开，向相反的方向运动。对应于放大当前操作对象。

(2)教学手势zoomOut：如图15所示，左右手掌伸开，向相对的方向运动。对应于缩小当前操作对象。

(3)教学手势rotate：如图16所示，左右手掌伸开，在同一平面的圆周上做顺时针或逆时针运动。对应于旋转当前操作对象。

映射关系的XML配置文件如下：

本发明与电子白板教学软件的交互方式为，本发明在具体实现上以DLL文件的形式提供，电子白板教学软件仅需调用本发明的DLL文件，即可获得使用者的教学手势及其映射的指令信息，并给出具体反馈。

最后所应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说：在不脱离本发明的情况下通过改变电子白板或摄像头的数量，或者改变电子白板与摄像头的位置关系，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围；

在不脱离本发明的情况下以非DLL文件的其它组织形式构建本发明的软件模块，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围；

在不脱离本发明的情况下通过改变手势类型与电子白板教学软件指令的映射关系，或者引入新的手势类型及其与电子白板教学软件指令的映射，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围。

在不脱离本发明的情况下通过改变手势类型与电子白板教学软件指令的映射关系的XML配置文件，或者使用其他类型的配置文件，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围。

Claims (7)

1.一种用于电子白板的人机手势交互系统，包括

摄像头，用于采集手势图像；

手势获取模块，用于对手势图像作图像预处理；

手势识别模块，用于对预处理后的手势图像提取图像特征，并利用数据样本训练支持向量机对图像特征分类，从而识别出手势；

指令转换模块，用于依据手势与电子白板指令的映射关系将识别出的手势转化为相应的电子白板指令。

2.根据权利要求1所述的人机手势交互系统，其特征在于，所述手势包括静态教学手势、动态单手教学手势以及动态双手教学手势；

3.根据权利要求2所述的人机手势交互系统，其特征在于，所述静态教学手势与电子白板指令的映射关系如表1所示：

表1。

4.根据权利要求2所述的人机手势交互系统，其特征在于，所述动态单手教学手势与电子白板指令的映射关系如表2所示：

表2。

5.根据权利要求2所述的人机手势交互系统，其特征在于，所述动态双手教学手势与指令的映射关系如表3所示：

表3。

6.根据权利要求1或2或3或4所述的人机手势交互系统，其特征在于，所述图像特征包括深度、轮廓、梯度直方图和图像运动参数。

7.根据权利要求1或2或3或4所述的人机手势交互系统，其特征在于，所述手势获取模块、手势识别模块和指令转换模块采用DLL文件形式组织。

Images