CN101807112A

CN101807112A - 基于手势识别的pc智能输入系统

Info

Publication number: CN101807112A
Application number: CN200910067864A
Authority: CN
Inventors: 张勇; 董海坤; 邵巍
Original assignee: Individual
Current assignee: Individual
Priority date: 2009-02-16
Filing date: 2009-02-16
Publication date: 2010-08-18

Abstract

在使用大尺寸显示的PC应用领域，针对传统PC输入设备的不足，设计了一种基于手势识别的PC智能输入系统。系统由主机端与手持端组成，手持端通过使用加速度传感器对使用者手部动作进行识别，将识别结果预处理后以无线方式传送给主机端，主机端接收识别信息后，再经进一步处理，将其转换为控制命令通过USB接口发送给电脑，完成对PC的操作。手持端功耗低，体积小巧，主机端可即插即用，整个系统易使用，成本低。用户通过手部上下左右挥动等简单的动作，即可以一种更符合肢体语言的方式对PC方便地进行控制。

Description

基于手势识别的PC智能输入系统

技术领域

在使用大尺寸显示器的PC应用领域，基于手势识别的PC智能输入系统可作为计算机的标准外设实现PC控制。

背景技术

在PC诞生之后的很长一段时间内，人们使用键盘作为其主要输入方式。对于使用PC的专业人士而言，键盘无疑是一种方便快捷的输入设备，它能够很准确地将使用者需要表达的信息传递给PC。但从另一方面来讲，数目繁多的按键却给那些非专业用户带来了很大的使用障碍。1964年，全世界第一个鼠标诞生于美国加州斯坦福大学，发明者是Douglas Englebart博士。Englebart博士设计鼠标的初衷就是为了使计算机的操作更加简便，以此来代替键盘那些繁琐的指令。这项技术的发明给计算机的输入方式带来了巨大变革，为PC的广泛应用奠定了良好的基础。

后来触摸屏的使用又给人们带来了更大的便捷，只需轻轻一点，即可完成大部分操作。苹果公司推出的便携式媒体播放器iPod touch，采用一种称作多点触控的技术，使用户能够像翻阅普通相册一样浏览图片文件，并可通过两根手指同时作用来完成照片的旋转、缩放等功能，带给用户以人性化的操作方式，但这种多点触控技术是应用于特定软硬件设备上的专用技术，对PC而主并没有通用性。

无论是键盘、鼠标，还是触摸屏技术都不可避免地将使用者局限在计算机之前，而在大尺寸显示器PC应用领域就突出显示了这些技术的不足。解决使用者的空间局限性同时使输入方式更加人性化是解决这一问题的最佳途径。

发明内容

为克服以上缺点，本发明提供一种基于手势识别的智能PC输入系统，包含手持端和主机端两部分，手持端与主机端之间使用无线方式进行通信，其特征在于：手持端通过加速度传感器采集手部动作过程中加速度的变化量，判断上下左右四种手势动作，并可利用重力加速度测量手臂倾角。主机端使用USB composite device技术，可被PC识别为鼠标和键盘结合而成的组合设备，通过一个USB接口向PC传送鼠标指令和键盘指令。

系统方框图如图1所示。

所述的手持端是包含一个加速度传感器，一个微控制器，一组按键和一套无线发射电路的装置。

所述的主机端是包含一个无线接收电路，一个微控制器和一块USB接口芯片的装置或包含一个无线接收电路，一个带USB接口的微控制器的装置之一。

所述的主机端可被PC识别为一个USB组合设备，只使用一个USB接口，通过不同的USB端点来分别实现HID类的鼠标与键盘，即插即用，不需要任何额外驱动程序。

所述的手持端中的一组按键由三个微动按键组成，如图2所示，按键A用于完成鼠标模式与非鼠标模式之间的切换，在鼠标模式下，按键B用于鼠标左键，按键C用于鼠标右键，在非鼠标模式下，按键B用于动作识别，按键C用于滚轮。

该系统使用加速度传感器测量手部运动过程中加速度的变化量，通过分析变化量的特征提取上下左右四种手势，以完成对PC多媒体浏览操作的控制。

该系统使用加速度传感器测量手臂与重力方向的夹角，根据夹角的方向与大小确定鼠标指针移动的方向与速度。

该系统可识别的上下左右四种手势，在进行不同的PC多媒体浏览操作时，控制PC完成不同的动作，在使用PC进行幻灯片浏览时，上下左右四种手势分别代表没有动作，关闭幻灯片，前一张幻灯片，后一张幻灯片，在使用PC进行图片浏览时，上下左右四种手势分别代表放大图片，缩小图片，前一张图片，后一张图片，在使用PC播放音乐时，上下左右四种手势分别代表增大音量，减小音量，前一首音乐，后一首音乐，在使用PC播放电影时，上下左右四种手势分别代表增大音量，减小音量，电影快退，电影快进。

与传统PC输入方式相比，本发明有以下优点：

1.全新的输入理念。使用者不必再被局限于PC的鼠标键盘前，可在十几米的范围之内随意走动，通过手部动作轻松控制PC。

2.人性化操作。使用简单，功能强大。仅需要上、下、左、右四个动作即可控制PC完成绝大部分常用操作，并可通过手臂的倾斜控制鼠标指针的移动。

3.即插即用。使用USB接口与PC连接，无需额外安装驱动程序，通用性好。

4.使用时间长。主机端使用USB供电，手持端使用超低功耗芯片并配以完整的节能方案，实现长待机、长使用时间。

5.成本低。系统设计紧凑，硬件结构简单。

附图说明

图1是基于手势识别的PC智能输入系统的结构方框图。

图2是基于手势识别的PC智能输入系统的手持端示意图。

具体实施方式

对于该发明的主机端，当其接入到电脑的USB接口之后，立刻进行USB的枚举操作，随后就被自动识别为USB HID类的标准设备。几乎所有操作系统都提供了对HID类鼠标与键盘设备的支持，主机端的USB固件程序就是基于HID类鼠标和键盘来实现，因而在安装和使用的过程中无需再向操作系统提供额外的驱动程序。在实现的过程中，为了只通过一个USB接口来完成鼠标和键盘全部操作，主机端使用了USB composite device的技术，即通过不同的USB端点来分别实现HID类的鼠标与键盘。这样不仅仅减小了主机端的体积，更是让主机端无需任何额外的驱动程序即可直接与PC相连，真正实现了通用性和即插即用。

对于该发明的手持端，使用MEMSIC公司的加速度传感器MXC6202，通过读取两个坐标轴方向的加速度值，通过分析加速度变化量的特征提取上下左右四种手势，以完成对PC多媒体浏览操作的控制。

为完整地实现鼠标功能以便于用户更好地操作PC，该发明可实现鼠标的所有功能，包括指针的移动、左键、右键以及滚轮。传统的指针移动控制是利用两次积分记录传感器运动的轨迹，并将其转换为鼠标移动的数据。如果手持端直接采用这种实现方法则会存在以下两个问题：

首先，传感器本身的加速度值就存在误差，即使没有任何动作，读出的加速度值仍然在一个范围内波动。虽然其固有的误差可通过滤波解决，但手臂运动的不均匀性，采样速率的限制，以及超量程的非线性数据，最终都导致了两次积分的不可实现。

其次，传感器在手臂运动过程中不可避免地会发生旋转，重力加速度就无法持续作用于同一坐标轴，在识别过程中去除重力加速度影响无疑是一个非常棘手的问题。

本发明并非想方设法去消除重力影响，而是在识别的过程中巧妙地将重力加速度也作为识别的对象，直接将重力加速度对传感器四个方向上的影响映射为该方向上鼠标移动的速度。这样只需要将手臂前、后、左、右倾斜，即可非常容易地实现对鼠标指针移动的控制。倾斜的角度决定移动的速度，即手臂朝某个方向倾斜的角度越大，则该方向重力加速度的分量也越大，鼠标移动的速度也越快。这样的设计非常简单，同时很符合人们的使用习惯。使用者可以轻而易举地将鼠标移动到任何位置，满足精确定位的要求。

主机端与手持端之间使用2.4GHz频率进行数据交互。主机端作为Access Point(无线接入点)，手持端则作为End Device(终端设备)。主机端上电后，立即进入等待终端设备接入状态。当手持端上电后，会为自身建立随机地址，并使用该地址与主机端建立连接，从而防止了受到其它设备的干扰。一旦地址确定后，即可与主机端进行正常的数据通信。主机端在实现上还引入了网关的地址过滤机制，即手持端在与主机端建立连接后，其地址会被主机端添加至合法地址池中，只有存在于该地址池中的数据才会被接收。该地址过滤机制的使用可以很大程度地克服其它设备的干扰。

为了便于用户使用，本发明仅使用3个微动按键来配合加速度传感器实现所有功能。按键A用于完成鼠标与非鼠标两种模式的切换，在鼠标模式下，按键B用于鼠标左键，按键C用于鼠标右键，在非鼠标模式下，按键B用于动作识别，按键C用于滚轮。

使用时，应先将主机端接入PC的USB接口。第一次接入时，PC需要一定的时间自动添加相应驱动程序。当出现安装成功的提示之后，表示主机端已经可以正常工作了。在PC正常安装过相应驱动之后，再次接入时即可立即使用。

手持端开启电源后，默认进入非鼠标模式。在该模式下，按键B为动作识别键。当此键按下时，进入动作识别状态，即可识别使用者上、下、左、右的手部动作。以向左的手势为例说明，操作方法为：将手持端水平放置，按住按键B，将手向左移动一段水平位移，然后松开按键，此时即可识别出向左的手势。上、下、右方向的识别过程与此类似，不再赘述。

上、下、左、右四个手势虽然看似简单，但对于Windows操作系统而言，已经能够完成很多操作。在此以四个最常用的多媒体应用程序加以说明：

1.幻灯片浏览是大屏幕PC操作时最常用的功能之一，使用本发明可以方便地对其进行控制。如向右挥手，幻灯片就会翻到下一页；而向左挥手，幻灯片就会回到上一页。这样通过手势可以方便地控制幻灯片的切换。在使用该功能时，向上的手势没有任何意义，不会造成任何操作，而向下的手势则会退出幻灯片浏览。

2.使用本发明浏览图片时，上、下、左、右四种手势分别对应放大图片、缩小图片、上一张图片、下一张图片四种操作。

3.使用本发明控制PC播放音乐时，上、下、左、右四种手势分别对应增大音量、减小音量、上一首曲目、下一首曲目四种操作。

4.使用本发明控制PC播放电影时，上、下、左、右四种手势分别对应增大音量、减小音量、快退、快进四种操作。

在非鼠标模式下，按键C为鼠标滚轮。这样的设计是为了便于浏览网页、PDF及WORD文档等需要滚屏操作的应用程序。操作时先将手持端竖起，按下按键C，向前倾斜就会使屏幕向下滚动，向后倾斜会使屏幕向上滚动。滚动的速度由倾斜角度决定，以此就可以容易地精确定位到需要查找的内容。

打开手持端电源后，将手持端竖起，按下按键A，即可进入鼠标模式。鼠标模式中，手持端上的传感器会不断连续采样四个方向的加速度。当该方向的加速度满足一定要求后，相应的控制命令就会被发送至主机端，用以控制鼠标的移动。在该模式下，按键B为鼠标左键，按键C为鼠标右键，可以像普通鼠标一样执行单击或双击操作。鼠标模式中再次按下按键A，即可退出该模式。

尽管本发明已作了详细的说明并引证了实施例，但对于本领域的普通技术人员，显然可以按照上述说明而做出各种替代方案、修改和改动，因此，所有这些替代方案、修正和改动，都应该包括在权利要求的范围之内。

Claims

1.基于手势识别的智能PC输入系统，包含手持端(1)和主机端(2)两部分，手持端(1)与主机端(2)之间使用无线方式进行通信，其特征在于：

a.手持端(1)通过加速度传感器(3)采集手部动作过程中加速度的变化量，判断上下左右四种手势动作，并可利用重力加速度测量手臂倾角。

b.主机端(2)使用USB composite device技术，可被PC识别为鼠标和键盘结合而成的组合设备，通过一个USB接口向PC传送鼠标指令和键盘指令。

2.根据权利要求1所述的基于手势识别的智能PC输入系统，其特征在于：所述的手持端(1)是包含一个加速度传感器(3)，一个微控制器(4)，一组按键(5)和一套无线发射电路(6)的装置。

3.根据权利要求1所述的基于手势识别的智能PC输入系统，其特征在于：所述的主机端(2)是包含一个无线接收电路(7)，一个微控制器(8)和一块USB接口芯片(9)的装置或包含一个无线接收电路(7)，一个带USB接口的微控制器(10)的装置之一。

4.根据权利要求1所述的基于手势识别的智能PC输入系统，其特征在于：所述的主机端(2)可被PC识别为一个USB组合设备，只使用一个USB接口，通过不同的USB端点来分别实现HID类的鼠标与键盘，即插即用，不需要任何额外驱动程序。

5.根据权利要求1所述的基于手势识别的智能PC输入系统，其特征在于：所述的手持端(1)中的一组按键(5)由三个微动按键组成，按键A(11)用于完成鼠标模式(12)与非鼠标模式(13)之间的切换，在鼠标模式(12)下，按键B(14)用于鼠标左键，按键C(15)用于鼠标右键，在非鼠标模式(13)下，按键B(14)用于动作识别，按键C(15)用于滚轮。

6.根据权利要求1所述的基于手势识别的智能PC输入系统，其特征在于：该系统使用加速度传感器(3)测量手部运动过程中加速度的变化量，通过分析变化量的特征提取上下左右四种手势(16)，以完成对PC多媒体浏览操作的控制。

7.根据权利要求1所述的基于手势识别的智能PC输入系统，其特征在于：该系统使用加速度传感器(3)测量手臂与重力方向的夹角，根据夹角的方向与大小确定鼠标指针移动的方向与速度。

8.根据权利要求1所述的基于手势识别的智能PC输入系统，其特征在于：该系统可识别的上下左右四种手势(16)，在进行不同的PC多媒体浏览操作时，控制PC完成不同的动作，在使用PC进行幻灯片浏览时，上下左右四种手势(16)分别代表没有动作，关闭幻灯片，前一张幻灯片，后一张幻灯片，在使用PC进行图片浏览时，上下左右四种手势(16)分别代表放大图片，缩小图片，前一张图片，后一张图片，在使用PC播放音乐时，上下左右四种手势(16)分别代表增大音量，减小音量，前一首音乐，后一首音乐，在使用PC播放电影时，上下左右四种手势(16)分别代表增大音量，减小音量，电影快退，电影快进。