CN102707799B - 一种手势识别方法及手势识别装置 - Google Patents

Abstract

本发明涉及一种手势识别方法及手势识别装置，所述手势识别方法包括：步骤A，获取用于参照的运动参数以及手部运动参数；步骤B，将手部运动参数与参照运动参数进行比较，得到手部运动参数与参照运动参数之间的角度差值；步骤C，根据手部运动参数与参照运动参数之间的角度差值得到手部的位置变化信息；步骤D，对手部的位置变化信息进行识别作为手势信息输出。本发明提供的手势识别装置不需要光学设备的辅助，而是采用传感器器件进行手势识别，能够替代现有的人机交互装置而通过手势实现人机交互，在一定程度上精简了人机交互系统的复杂性；且具有识别速度快以及一定的灵活性等特点。

Description

一种手势识别方法及手势识别装置

技术领域

本发明涉及一种手部姿态与位置的感知方法，具体涉及一种通过手势实现人机交互的手势识别方法及手势识别装置。

背景技术

近年来，随着多媒体技术的普及与发展，人们在对新型人机交互技术进行不懈的探索。使用肢体、手势等直观的方式完成计算机的操作，已成为一个技术热点。而人的手部是又一种复杂的执行机制，其灵活度高、表现力丰富且可以完成精细的操作，但这些特性也使其姿态的识别与跟踪成为计算机研究中的重大挑战。

因此，通过各种高科技手段实现的方便、先进、可靠的人机交互系统迎刃而生，很多畅销的电子产品也是由于出色的人机交互手段而产生巨大的经济效益。比如任天堂的WII游戏机，其人机交互手段采取了通过游戏机遥控器内部的加速度(倾角)传感器介入人和游戏的交互方式，从而战胜了其他技术，突出了任天堂技术的先进；而SONY公司的PLAYSTATIONIII、微软公司的X-BOX以及美国APPLE公司的IPHONE、IPAD，其成功很大程度上也是由于其产品的人机交互手段的先进，比如其接触屏幕界面的电容传感器和画面横竖切换的加速度传感器(倾角)等。

当前，手势识别技术作为人类和计算机之间的交流手段而应用于智能机器人、计算机、游戏机、手机、显示器、自动控制系统、生产技术等各种领域。来自微软公司的US20100199228A1(公开日为2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1(公开日为2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。这些方案实现了对手部运动的识别，但也存在着各种不足，而且价格相当昂贵。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。该方法比较直观，但需要经过复杂的数学计算过程，且无法对手部的空间位置进行识别与跟踪。而近期(2011年10月20日)在英国《每日电讯报》上报导的微软公司研制的新一代体感传感器，其工作方式是把墙壁、汽车、甚至手掌作为人机交互的触摸屏幕。微软研究人员研制的新一代KINEET体感传感器，可以追踪从人的胳膊到墙壁的运动，其原理是在人的肩头使用光学投影仪器，使人手在墙壁等平面的影像当作虚拟计算机键盘。美国卡内基梅隆大学的OMNITOUCH也使用了类似原理。

这些貌似先进的手段，其原理都是如图1所示的通过摄像机102等光学设备拍摄人类手部103的活动而得到手部103的运动图像，然后通过计算机主机101进行图像处理，从而识别手部特定部分的一连串的特定活动，由计算机主机101执行基于由手势识别装置识别到的手势虚拟光标104而进行各种处理。但是，在应用上却存在很多局限性，很多情况下他们的应用不是很方便，例如，当2只手相对光源重叠、2只手不在同一平面、或者是2只手垂直光源、没有光滑平面的时候等等大多数的现实情况下，上述“先进”技术也无法使用；另外，通过图像识别一个姿势的时间往往较长，至少需要10多秒钟，这对于高效率、快节奏的现代人来说无疑是一种折磨。

发明内容

本发明所要解决的技术问题是提供一种手势识别方法及手势识别装置，本发明能够替代现有的人机交互装置而通过手势实现人机交互。

本发明为了解决上述技术问题，公开了一种手势识别方法，所述方法包括如下步骤：

步骤A，获取用于参照运动参数以及手部运动参数；

步骤B，将手部运动参数与参照运动参数进行比较，得到手部运动参数与参照运动参数之间的角度差值；

步骤C，根据手部运动参数与参照运动参数之间的角度差值得到手部的位置变化信息；

步骤D，对手部的位置变化信息进行识别作为手势信息输出。

进一步，所述用于参照运动参数与手部运动参数是在空间具有3个自由度、6个自由度或9个自由度的运动参数。

进一步，所述手部运动参数与参照运动参数之间的角度差值为同一自由度之间的角度差值。

进一步，所述手部运动参数为手指在运动状态下的空间位置信息。

进一步，所述参照运动参数为手背或手腕在运动状态下的空间位置信息。

本发明还公开了一种手势识别装置，所述装置包括：微处理器、无线数据传输模块、处于不同位置的第一传感器和多个第二传感器，所述第一传感器和多个第二传感器通过导线与所述微处理器相连接，其中，

所述第一传感器，用于获取作为参照运动参数；

所述多个第二传感器，用于获取手部不同位置的运动参数；

所述微处理器，用于计算所述多个第二传感器分别获取的手部运动参数与所述第一传感器获取的参照运动参数之间的角度差值，并根据手部运动参数与参照运动参数之间的角度差值计算手部的位置变化信息；

所述数据传输模块，用于将所述微处理器计算的手部位置变化信息作为手势信息输出。

进一步，所述第一传感器和所述第二传感器是一种具有多自由度的传感器，用于检测在空间具有3个自由度、6个自由度或9个自由度的运动参数

进一步，所述检测在空间具有3个自由度运动参数的传感器为3个自由度的磁场传感器或3个自由度的加速度传感器。

进一步，所述检测在空间具有6个自由度运动参数的传感器为3个自由度的磁场传感器以及3个自由度的加速度传感器的组合。

进一步，所述检测在空间具有9个自由度运动参数的传感器为3个自由度的磁场传感器、3个自由度的加速度传感器以及3个自由度的旋转传感器的组合。

进一步，所述多个第二传感器分别置于手指的指头或是手指的关节处。

进一步，所述第一传感器置于手背或手腕处。

采用上述本发明技术方案的有益效果是：本发明提供的手势识别装置不需要光学设备的辅助，而是采用传感器器件进行手势识别，能够替代现有的人机交互装置而通过手势实现人机交互，在一定程度上精简了人机交互系统的复杂性；另外，通过本发明提供的方法及装置实现的手势识别技术增强了识别速度，手势识别时间缩短至毫秒级，且能够同时对两只手的手势进行识别，具有一定的灵活性。

附图说明

图1为现有技术中通过光学设备进行手势识别的整体系统结构图；

图2为本发明实施例中手势识别装置的逻辑结构图；

图3为本发明手势识别装置的具体应用原理图；

图4为本发明实施例中手势识别方法的流程图；

图5A为本发明实施例中表示数字1的手势图；

图5B为本发明实施例中表示数字2的手势图；

图5C为本发明实施例中表示数字5的手势图；

图5D为本发明实施例中表示数字8的手势图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图2为本发明实施例中手势识别装置的逻辑结构图，如图2所示，所述手势识别装置包括：微处理器201、无线数据传输模块204、处于不同位置的第一传感器202和多个第二传感器203(第二传感器1、第二传感器2、……、第二传感器n)，所述第一传感器202和多个第二传感器204与所述微处理器201相连接。在本发明实施例中，所述第一传感器202，用于获取作为参照运动参数；所述多个第二传感器203，用于获取手部不同位置的运动参数；所述微处理器201，用于计算所述多个第二传感器203分别获取的手部运动参数与所述第一传感器202获取的参照运动参数之间的角度差值，并根据手部运动参数与参照运动参数之间的角度差值计算手部的位置变化信息；所述无线数据传输模块204，用于将所述微处理器201计算的手部位置变化信息作为手势信息输出。

在本发明实施例中，所述第一传感器202和所述第二传感器203是一种多自由度传感器，能够检测在空间具有3个自由度、6个自由度或9个自由度的运动参数。在该实施方式中，所述检测在空间具有3个自由度运动参数的传感器为3个自由度的磁场传感器或3个自由度的加速度传感器；所述检测在空间具有6个自由度运动参数的传感器为3个自由度的磁场传感器以及3个自由度的加速度传感器的组合；所述检测在空间具有9个自由度运动参数的传感器为3个自由度的磁场传感器、3个自由度的加速度传感器以及3个自由度的旋转传感器的组合。

图3为本发明手势识别装置的具体应用原理图，在实际应用中，可以根据实际需要选择相应自由度的传感器作为第一传感器202或第二传感器203，在本发明实施例中，所述第一传感器202可以置于人体的手背或手腕处，并与同设于手背或手腕处的微处理器201相连接；所述多个第二传感器203可以分别置于人体不同手指的指头或是手指的关节处，并通过导线与设于手背或手腕处的微处理器201相连接。通过手指或手背上设置的传感器检测相应部位在X、Y、Z空间三个自由度(即空间坐标)的运动参数，为了获取更精准的手势参数，还可以检测围绕X、Y、Z三个轴旋转自由度(即手部的俯仰角、横摆角与扭转角)的运动参数以及根据地理磁场方向所确定的A、B、C三个方向(如A指向正北方、B指正东方、C指向正上方)自由度的运动参数。由微处理器201对各第二传感器203获取的运动参数与第一传感器202获取的运动参数进行比较，通过比较两个参数在同一自由度之间的角度差值，而得到手指的位置变化信息，并通过无线数据传输模块204将其作为手势信息输出。

本发明的手势识别装置可以设计成诸如手套或手环与指环相结合的形式，当然，所述的手环与指环也并不一定是完整的环形，也可以是不闭合的半环形，可以根据实际需要或佩戴的方便而设计成其他各种形式。

在上述实施方式中，可以通过手势识别装置代替人机交互的输入设备：计算机键盘、鼠标、触摸屏幕等，以及代替游戏控制装置(JOYSTICK)、遥控器、声音识别系统、光学设备等；通过本发明实施例提供的手势识别装置输出的手势信息可以控制诸如计算机、智能电话机、电视、IPADS、游戏设备、机器控制设备、运动裁判设备、车辆、飞行器显示设备、办公设备、打印设备、显示设备、三维作战沙盘等机器的运行。

图4为本发明实施例中手势识别方法的流程图，如图4所示，所述手势识别方法包括如下步骤：

步骤401，获取用于参照运动参数以及手部运动参数；

该实施方式中，所述手部运动参数为手指在运动状态下的空间位置信息；所述参照运动参数为手背或手腕在运动状态下的空间位置信息。所述用于参照运动参数与手部运动参数是在空间具有3个自由度、6个自由度或9个自由度的运动参数。

步骤402，将手部运动参数与参照运动参数进行比较，得到手部运动参数与参照运动参数之间的角度差值；

本实施例中，所述手部运动参数与参照运动参数之间的角度差值为同一自由度之间的角度差值。

步骤403，根据手部运动参数与参照运动参数之间的角度差值得到手部的位置变化信息；

步骤404，对手部的位置变化信息进行识别作为手势信息输出。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限制于任何特定的硬件和软件结合。

以下通过具体的实施例详细描述本发明的原理，当人体手部如图3所示佩戴一套本发明的手势识别装置时，任何一个手指的三维运动都会被位于手指的第二传感器实时监测到，手指的任何运动都被指头或者是手指关节上的第二传感器记录并和置于手背的第一传感器监测到的数据进行计算，同一自由度(或者同轴)的角度差体现为手指位置的变化和姿势。由于数据的比较是指头相对于手背，所以本发明专利不需要任何固定和虚拟平面，通过传感器就能够实时记录2个手的10个手指在任意空间的运动和变化。如果所述第一传感器和所述第二传感器采用的是具有9个自由度的传感器，则能记录手和手指姿势变动的速度、加速度、角加速度等参数。

当将上述手势识别装置应用于打电话或者切换电视频道的时候可以用中国人常用的手指数字方法。参见图5A至图5D，当用手指姿势表示中国人的“1”时，只有位于食指的传感器获取的X、Y、Z和A、B、C六个参数和位置与手背或者手腕的传感器获取的上述六个参数基本相同，而中指和中指后面2个手指(共3个指头)的X、Y、Z和A、B、C基本相同，但是X、Y、Z和A、B、C中会有一个参数和手背上的相应参数存在150度到270度的角度差。(4个手指的手指盖，即传感器的位置附近，基本和手背平行)。当用手指姿势表示中国人的“2”时，食指和中指的传感器获取的X、Y、Z和A、B、C六个参数和位置于手背或者手腕的上述六个参数基本相同，中指后面2个手指之间的X、Y、Z和A、B、C基本相同，但是X、Y、Z和A、B、C中会有一个参数和手背上的相应参数存在150度到270度的角度差。当用手指姿势表示中国人的“5”时，则5个手指的传感器分别获取的X、Y、Z和A、B、C六个参数和位置与手背或者手腕的传感器获取的上述六个参数都基本相同。

在区别中国人使用手势表示的数字“1”和“8”时，由于拇指不像上述4个手指，拇指的传感器获取的X、Y、Z和A、B、C与手背或手腕的传感器获取的X、Y、Z和A、B、C存在一定的角度差，但是当拇指姿势为“1”或“8”时其位置不一样，因此可以从位于拇指的传感器和位于手背或手腕的传感器获取的X、Y、Z和A、B、C的角度差判断出拇指的位置，从而判断该手势表示的是“1”还是“8”。

当用手指姿势表示其它数字时，其原理与上述方法类同，此处不再一一赘述。通过本发明提供的手势识别装置运用上述原理可以实现利用手势信息打电话或者切换电视频道的功能，不需要任何光学设备的辅助，且识别时间只需要毫秒，具有更快的反应速度。

当将本发明所述的手势识别装置应用于电脑输入时，由于本发明提供的手势识别装置是在3维以上空间运用，所以2个手控制的“2组键盘”之间可以是任何角度，甚至可以是2只手都在握汽车方向盘的时候。在使用虚拟键盘利用左右手进行打字时，手指“触摸”的相对位置，或者按键之间的距离是固定的，并结合软件进行识别或判断。比如当用右手输入“YOU”时，计算机也可以把“UPI”当成一种可能性，但是几个字下来，计算机就能够判断出来是“YOU”还是“UPI”；在该实施方式中，利用手势识别装置进行电脑输入的原理与上述手势表示数字的原理相类似，都是通过位于手指和手背或手腕的传感器获取相应的X、Y、Z和A、B、C等参数，通过计算手指相对于手背或手腕的同一自由度(或者同轴)的参数的角度差而确定手指的位置变化和姿势，从而输入相应的信息。同时在采用本发明的手势识别装置进行输入的手段时还可以发出声音，让人选择，选择时通过手势“说”NO，或者OK。

目前MICROSOFT的办法是手在一个平面“写字”，发光装置照在手指上，相机根据手在平面的位置判断可能是哪个字母，光源、手指、平面和相机4者之间受到很多外部因素的限制。而采用本发明的手势识别装置没有光源、相机、平面的限制，虚拟键盘可以在任意空间或者平面。与MICROSOFT相比本发明的优势在于，前者使用桌面的时候，桌面要平，没有其他东西，而本发明所使用的虚拟桌面，2只手可以是在一个咖啡杯的2侧，或者是桌上的菜盘子，当然也可以是其他地方，如在菜盘子旁边也可以；再比如，当司机在开车时，手不离开方向盘也可以实时进行文字输入；士兵在战场上，2只手扶枪，在保证避免错误击发子弹的情况下，手可以在枪托上面进行文字输入，以实现实时的信息传输。因为本发明的手势识别装置不需要光源和相机看见手指在桌面的位置，文字的输入可以根据手指在3维空间的运动由传感器做出判断，因此具有更高的灵活性、高速等特点。

当将本发明所述的手势识别装置应用于秘密通信时，信息可以通过上述原理利用手势输入并被机器所识别，例如手势信息可以在衣兜内部或者在有遮盖物掩饰的情况下完成，而输入的手势信息可以通过音频或视频的方式输出。比如在进行橄榄球比赛时，四分卫可以运用本发明的手势识别装置通过手势发布进攻路径，己方队员通过音频得到信息而协同进攻。同时，本发明所述的手势识别装置还可用于竞赛中的运动裁判，通过本发明的手势识别装置和识别方法识别裁判的手势信息，从而减少人为识别错误，使得竞赛更加公平、公正。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种手势识别方法，其特征在于，所述方法包括如下步骤：

步骤A，获取用于参照运动参数以及手部运动参数；

步骤B，将手部运动参数与参照运动参数进行比较，得到手部运动参数与参照运动参数之间的角度差值；

步骤C，根据手部运动参数与参照运动参数之间的角度差值得到手部的位置变化信息；

步骤D，对手部的位置变化信息进行识别作为手势信息输出；

通过手指或手背上设置的传感器检测相应部位在X、Y、Z空间三个自由度的运动参数，为了获取更精准的手势参数，还可以检测围绕X、Y、Z三个轴旋转自由度的运动参数以及根据地理磁场方向所确定的A、B、C三个方向自由度的运动参数。

2.根据权利要求1所述的手势识别方法，其特征在于，所述用于参照运动参数与手部运动参数是在空间具有3个自由度、6个自由度或9个自由度的运动参数。

3.根据权利要求2所述的手势识别方法，其特征在于，所述手部运动参数与参照运动参数之间的角度差值为同一自由度之间的角度差值。

4.根据权利要求1～3任一项所述的手势识别方法，其特征在于，所述手部运动参数为手指在运动状态下的空间位置信息。

5.根据权利要求1～3任一项所述的手势识别方法，其特征在于，所述参照运动参数为手背或手腕在运动状态下的空间位置信息。

6.一种手势识别装置，其特征在于，所述装置包括：微处理器、无线数据传输模块、处于不同位置的第一传感器和多个第二传感器，所述第一传感器和多个第二传感器通过导线与所述微处理器相连接，其中，

所述第一传感器，用于获取作为参照运动参数；

所述多个第二传感器，用于获取手部不同位置的运动参数；

所述微处理器，用于计算所述多个第二传感器分别获取的手部运动参数与所述第一传感器获取的参照运动参数之间的角度差值，并根据手部运动参数与参照运动参数之间的角度差值计算手部的位置变化信息；

所述数据传输模块，用于将所述微处理器计算的手部位置变化信息作为手势信息输出；

通过手指或手背上设置的传感器检测相应部位在X、Y、Z空间三个自由度的运动参数，为了获取更精准的手势参数，还可以检测围绕X、Y、Z三个轴旋转自由度的运动参数以及根据地理磁场方向所确定的A、B、C三个方向自由度的运动参数。

7.根据权利要求6所述的手势识别装置，其特征在于，所述第一传感器和所述第二传感器是一种具有多自由度的传感器，用于检测在空间具有3个自由度、6个自由度或9个自由度的运动参数。

8.根据权利要求7所述的手势识别装置，其特征在于，所述检测在空间具有3个自由度运动参数的传感器为3个自由度的磁场传感器或3个自由度的加速度传感器。

9.根据权利要求7所述的手势识别装置，其特征在于，所述检测在空间具有6个自由度运动参数的传感器为3个自由度的磁场传感器以及3个自由度的加速度传感器的组合。

10.根据权利要求7所述的手势识别装置，其特征在于，所述检测在空间具有9个自由度运动参数的传感器为3个自由度的磁场传感器、3个自由度的加速度传感器以及3个自由度的旋转传感器的组合。

11.根据权利要求6或7所述的手势识别装置，其特征在于，所述多个第二传感器分别置于手指的指头或是手指的关节处。

12.根据权利要求6或7所述的手势识别装置，其特征在于，所述第一传感器置于手背或手腕处。