CN202584010U - 一种腕上手势操控系统 - Google Patents

Abstract

本实用新型涉及一种腕上手势操控系统，特别是一种用于手机与电脑等电子产品操控的腕表型手势识别系统，本系统也可用于各种机电设备如家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等的远程操控和虚拟操控；本实用新型每套包括左手右手两个系统或者只使用单手的系统，包括腕表部分（1），与上位机部分（2）协同工作，以对上位机进行操控，可选择佩戴戒指部分（3）；其中腕表部分（1）包括控制主模块（4）、手势摄像模块（5）、背光LED灯模块（6）、电源模块（7）和腕带反馈模块（8）；上位机部分（2）包括上位机（9）和第一无线通讯模块（10），戒指部分（3）包括戒指反馈模块（11），其中控制主模块（4）中还包括控制板卡（12）、第二无线通讯模块（13）、三轴加速度模块（14）、倾角模块（15）及控制按钮（16）。

Description

一种腕上手势操控系统

技术领域

本实用新型涉及一种腕上手势操控系统，特别是一种用于手机与电脑等电子产品操控的腕表型手势识别系统，本系统也可用于各种机电设备如家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等的远程操控和虚拟操控。 

背景技术

目前操控方式存在以下问题：(1)手机的控制设备有按键、触摸屏，电脑则用鼠标、键盘、手写板等控制，综合来看目前只应用了点击、拖动等简单动作。但是人对外界所有的机械、电脑、手机等实物工具的操作控制，都由手来完成，手作为人体主要的输出媒介，大部分的动作则还没有被开发使用；(2)当前大部分的机电设备，如数控机床、挖掘机械等工业机械、各种汽车等交通工具、冰箱电视等家用电器、游戏娱乐设备、教学科研设备、医疗器械甚至是未来应用的物联网设备，都是由手部动作控制，但操纵时，人都必须亲自用手来操纵，很难实现远程操控和虚拟操控，或者有些实现了远程控制，但不能便携使用，如果能实现便携的远程操控和虚拟操控，必定会带来新的技术进步和更大的发展前景；(3)虽然目前有些电子科技公司，使用了体感控制，以及一些手势控制方式，但由于设计本身的用来感测动作的传感器和摄像装置，固定在电脑或者桌面上，而人体经常会移动，这就造成了无法携带的使用困难，也失去了应用前景；(4)当前的一些手势识别装置，都是基于触摸屏幕，比如平板电脑和手机，它们能够采集的信息量很少，只占手部所有运动的一小部分。或者有些设备通过身体佩戴的方式识别手势，虽然提高了便携性，但会造成干扰识别的物体过多，图像不稳定，算法复杂等技术难题。如果要保证手势识别的信息完整性和准确性，系统就无法简化，设备体积较大，自然无法便携式使用。 

发明内容

本实用新型的目的在于实现手势识别技术的小型化、便携化与算法的精简优化，提供一种通过基于腕上的摄像设备来简化手势动作识别的新系统。 

本实用新型的技术方案是： 

一种腕上手势操控系统，其中，每套包括左手右手两个系统或者只使用单手的系统，包括腕表部分1，与上位机部分2协同工作，以对上位机进行操控，可选择佩戴的戒指部分3。参见附图1：硬件结构图，其中腕表部分1包括控制主模块4、手势摄像模块5、背光LED灯模块6、电源模块7和腕带反馈模块8，上位机部分2包括上位机9和第一无线通讯模块10，戒指部分3包括戒指反馈模块11；其中控制主模块4中还包括控制板卡12、第二无线通讯模块13、三轴加速度模块14、倾角模块15及控制按钮16。 

进一步地，该系统中控制板卡12利用三轴加速度模块14与倾角模块15采集手腕运动轨迹和倾角，进行手腕坐标定位；利用位于手腕部的手势摄像模块5，参见附图2，采集手指指尖103坐标信息，进而确定当前手指相对手腕的动作；利用所述手腕坐标和所述手指坐标，最终实现手势动作的识别；通过第二无线通讯模块13将手势识别信息发送到设有第一无线通讯模块10的上位机9，实现对上位机9的控制。 

进一步地，上位机9通过腕带反馈模块8和戒指反馈模块11，即安装在手腕腕带和手指戒指上的震动振子和/或收缩压力环，把对手势运动的反馈信息，传递给手部，模拟触觉感知。用户根据所述触觉感知，调整手势动作，实现闭环控制。而且具有触觉反馈功能的腕带和戒指，可以帮助老人、盲人、其他行动不便的残疾人、以及使用语音控制设备的用户，不用阅读，就能获得电子设备的反馈信息。 

进一步地，所述手势摄像模块5可采用分体式结构，拆卸下来，安装在电源模块7的后方，或者使用导轨式，把手势摄像模块5沿着腕表带上的导轨，收缩到腕表部分1的上方。 

进一步地，所述上位机9包括安装了第一无线通讯模块10，可实现虚拟操控或远程控制的手机、电脑、家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等。 

进一步地，该系统采用基于巡线原理的手指延伸算法。由于手势摄像模块5摄像时，位于手腕下方， 拍摄的手势图像中位于图像上部的手掌根部101的运动范围很小，参见附图8，而且手指也是由手指根部关节到指尖，自上而下呈运动范围逐渐扩大的趋势而运动的。因此可以先判断手腕在图像中的位置，然后判断手指根部102的位置，巡着手指方向向下延伸，识别每一个手指关节，最后确定每个手指指尖103的位置坐标。 

一种腕上手势操控方法，包括如下步骤： 

S1.开机检测步骤； 

S2.手势识别步骤； 

S3.第二通信模块13将手势识别结果发送给第一通讯模块10，根据不同的手势对上位机9进行相应的操控； 

其中，开机检测步骤S1包括： 

S11.系统程序的自我检测； 

S12.检测图像背景的对比度，根据检测结果进行模式选择，选择普通模式、打开背光LED灯或进行光圈调节中的任一； 

S13.判断图像是否可分辨，倘是，进入手势识别步骤S2，倘否，继续进行模式选择步骤S12； 

S14.确定手指原始位，确定用户手型与常用手势并记忆手势； 

所述手势识别步骤S2包括： 

S21.计算手指坐标，包括水平坐标x、垂直坐标y和手指到手腕原点的距离坐标r，其中，采用直角坐标系计算手指的水平坐标x和垂直坐标y，采用球面坐标系计算距离坐标r； 

S22.识别手势动作。 

附图说明

下面结合附图对本实用新型作进一步描述。 

图1为本实用新型一种腕上手势操控系统硬件结构的结构框图； 

图2为本实用新型一种腕上手势操控系统硬件结构的右手侧视图； 

图3为本实用新型一种腕上手势操控系统硬件结构的右手仰视图； 

图4为本实用新型一种腕上手势操控系统硬件结构的摄像模块平移之前的位置参照图； 

图5为本实用新型一种腕上手势操控系统硬件结构的右手俯视图； 

图6为本实用新型一种腕上手势操控系统的软件开机检测子程序流程图； 

图7为本实用新型一种腕上手势操控系统的软件识别子程序流程图； 

图8为本实用新型一种腕上手势操控系统的手势识别算法示例图。 

具体实施方式

设计思路：手作为人体主要的输出媒介。工具的使用，产品的制作，都是手部复杂的动作完成的。如果能够把手部的运动信息全部采集下来，然后就能更加高效便捷的完成工作，甚至让机器模拟，实现无人化生产。主要难点是手部的动作复杂多变，但是如果以手腕为坐标原点，建立球面坐标系，手指的动作就是在相对于手腕的球面坐标系内运动，只要利用位于手腕下方的手势摄像模块5摄像，采集手指图像信息，处理模块完成手指指尖103的坐标定位，见附图8，整个手指的动作就知道了。这样就能得到以手腕为坐标原点，五个手指指尖的相对位置坐标。然后利用三轴加速度模块14，把手腕在三个坐标方向的加速度对时间做二次积分，再参考系统启动时手的原始位置，可以得到手腕坐标原点的运动轨迹，利用倾角模块15可以测量手腕的翻转方向。综上就可以精确计算出手腕的位置坐标与五个手指指尖的位置坐标。 

为了提高在多种复杂情况下的识别准确性，本设计在硬件上，采用了手势摄像模块5，配合背光LED灯模块6补光与镜头光圈控制等方式进行光线辅助，保证采集的图像对比度在合适的测量范围内，能够获得手指坐标信息。再用三轴加速度模块14并结合倾角模块15实现手腕的精确定位。 

在完成手势识别的基础上，可以根据应用需要，增加触觉反馈系统，就是利用腕表的腕带和五个手指戒指，加上震动振子和收缩压力环，可以给手触觉反馈。增加手指操纵的真实感，也能实现虚拟按键或虚拟键盘的点击触感，而且通过改变的振子频率和收缩压力环的压力，可以让用户知道手部受到的阻力大小。而且有触觉反馈功能的腕带和戒指，可以帮助老人、盲人、其他行动不便的残疾人以及使用语音控制设备的用户，不用阅读，就能获得电子设备的反馈信息。 

本设计方案包括：硬件结构和程序框架。 

本系统硬件结构，每套包括左手右手两个系统或者只使用单手的系统，包括腕表部分1与上位机部分2协同工作，以对上位机进行操控，和可选择佩戴的戒指部分3，参见附图1：硬件结构框图。其中腕表部分1包括控制主模块4、手势摄像模块5、背光LED灯模块6、电源模块7和腕带反馈模块8，上位机部分2包括上位机9和第一无线通讯模块10，戒指部分3包括戒指反馈模块11，参见附图2：右手侧视图，图3为右手仰视图，图5为右手俯视图。 

其中控制主模块4中还包括控制板卡12、第二无线通讯模块13、三轴加速度模块14、倾角模块15及控制按钮16。 

手势摄像模块5：用于采集手的实时图像数据，然后把图像数据发送给控制主模块4，根据具体使用的环境可以选择红外摄像模块，为了便于携带，手势摄像模块5可采用分体式结构，拆卸下来，安装在电源模块7的后方，或者使用导轨式，把手势摄像模块5沿着腕表带上的导轨，收缩到腕表部分1的上方； 

背光LED灯模块6：能在背景昏暗时，给手势摄像模块提供照明； 

电源模块7：为整个设备提供电力支持； 

腕带反馈模块8：包括腕带震动振子和收缩压力环模块，在手腕内侧，安装电磁震动振子和/或收缩压力环模块，由控制主模块4发送的控制信号控制，电磁震动振子在手机里比较常用，收缩压力环则可以利用在戒指内嵌套由电机带动的小环来实现，因此把上位机对手部动作的反馈信息，传递给手部，触觉会让人体获得当前运动的阻力等信息，用户可用根据触觉感知调整手部动作，从而实现闭环控制； 

戒指反馈模块11：在戒指内侧，安装收缩压力环，也可根据需要改为震动振子，通过控制主模块4控制，戒指反馈模块11模拟手指压力触觉，将上位机9对手部动作的反馈信息，传递给手指； 

上位机9：包括可以安装第一无线通讯模块10并且提取其接收到的手指坐标信息的电子设备，比如可实现虚拟操控或远程控制的手机、电脑、家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等； 

第一无线通讯模块10：安装在上位机9上，包括无线接收部分，用来接收第二无线通讯模块13发送的常用手势信息和手指坐标信息，以及无线发送部分，用来发送上位机对手部的反馈信息； 

控制板卡12：主要完成图像信号处理功能，对手势摄像模块5采集的数据信号进行处理，计算出五个手指的当前三维坐标数据，并控制系统中的其他模块工作； 

第二无线通讯模块13：在腕表部分1上，用来和手机、电脑等上位机9通信，把手指的坐标数据发送给设有第一无线通讯模块10的手机、电脑或其他接收设备，以及接收来自上位机9的反馈信息； 

三轴加速度模块14：用来获取整个手部的运动轨迹，通过利用手的原始位置与三个坐标方向加速度的二次积分，可以精确计算出手腕的位置坐标； 

倾角模块15：根据手腕的倾斜角可以计算出手心的朝向，手指的方向； 

控制按钮16：开关机、待机模式等的控制按钮。 

程序框架包括开机检测子程序和识别子程序。 

开机检测子程序：首先进行系统程序的自我检测，接着检测图像背景的对比度，进行模式选择，是普通模式、打开背光LED灯或是进行光圈调节，根据检测结果进行选择或进行相应调节，直到图像可分辨。然后确定手指原始位(即原始位置)，确定用户手型与常用手势并记忆手势。由于儿童与成年人手型差别较大，有些人手型较粗壮肥胖，需要确定不同用户的手型。而且每个人都有自己的常用手势，一次使用过后，系统可以记忆下来方便用户以后直接调用。再次使用的用户，可以直接跳过检测部分。具体参见图6 开机检测子程序流程图。 

识别子程序：前面说过，如果利用手指的图像信息，建立以手腕为原点的球面坐标系，是最科学精确的，但是也增加了函数的计算复杂性。因此，在识别子程序编写时，也进行了改进，由于手部运动区域与摄像镜头成像区域都是类球面分布，为了便于计算，在二维画面上近似成直角坐标系计算，得到手指水平坐标x和垂直坐标y，仅对手指距离手腕原点的距离坐标r，采用球面坐标系。以下为如何计算出每个手指指尖的水平坐标x，垂直坐标y和距离坐标r。 

可以通过多种常用方法得到上述手指水平坐标x和垂直坐标y，比如： 

1、基于肤色检测的方法，由多幅已经标注的手指区域确定手指的颜色分布，然后利用分辨出的手指肤色，对图像进行检测，最后确定手指坐标。 

2、基于跟踪的方法，首先标注第一帧中手指的真实位置，在局部区域提取特征，后面的各帧依次在前一帧真实位置附近搜索与前一帧特征最相似的区域，判定为手指区域，进而得到手指坐标。 

本系统在以上两种方法基础上，又提出了一种新算法：基于巡线原理的手指延伸算法。由于手势摄像模块位于手腕下方，拍摄的手势图像中位于图像上部的手掌根部101的运动范围很小，参见附图8，而且手指也是由手指根部关节到指尖，自上而下呈运动范围逐渐扩大的趋势而运动的。因此可以先判断手腕在图像中的位置，然后再判断手指根部102的位置，巡着手指方向向下延伸，识别每一个手指关节，最后确定每个手指指尖103的位置坐标。 

手指延伸算法：首先根据图像上端部分的分布区域和灰度值，与原先建立的手腕边缘模型和肤色模型相对比，找到相匹配的位置确定为手腕，记录为手掌根部101的基准坐标x、y，再向下进行手指根部102的识别，识别出手指根部102并记下当前坐标值，再继续向下巡线判断，按照掌根、指根、关节的顺序，逐步向手指指尖103延伸，直到识别到手指指尖103，返回最终的坐标值，即为手指指尖103的坐标。 

手指到手腕原点的距离坐标r的计算比较复杂，因为摄像模块采集的手势图像是二维的图像，如果要获得三维的手指坐标信息，得到手指到原点的距离坐标r，就需要多摄像头定位，或者其他手指距离测量的方式，会造成系统过于复杂，数据庞大不便处理。而通过观察发现，手指在弯曲时，手指关节处会出现阴影，通过分辨上述阴影，可以用来判断距离。而且如果把手势摄像模块5的位置由原来的腕表中间部位，如附图4所示，向腕表下方边缘处平移，参见附图3，从与手指握合方向成一定倾斜角的方向拍摄，在手指弯曲时，二维图像中的手指也会呈现一定弯曲，根据弯曲的程度，可以判定出手指的位置。这样就能用简单的方法，分辨手指到手腕原点的距离坐标r。 

通过上面的方法得到了手指的坐标，进而识别出手势，然后与常用手势对比，如果不是常用手势，则需要把坐标值发送给上位机，上位机一般是手机、电脑等电子产品，根据不同的手势进行不同的操作，实现了利用手势进行操控的目的，最后根据需要佩戴腕带、戒指，得到振子震动或者收缩压力环收缩的反馈信息，图7为识别子程序流程图。 

为了实现便携式，算法进行了多处简化。实际操作中可以根据需要进行相应的调整，如果需要更高的精度，可以增加系统的复杂度，硬件上采用更高计算能力的模块，软件算法上增加手指坐标的精度。 

本实用新型携带方法如图2，像手表一样带在手腕上，把手势摄像模块5与背光LED灯模块6露出来，不能被衣袖遮挡。戒指反馈模块11可以根据需要选择佩戴，如果不需要触觉反馈，可以不用佩戴。在复杂昏暗的灯光下，佩戴戒指反馈模块11，可以帮助控制主模块4进行准确的手势识别。 

第一次使用时根据电脑演示的手势，使用者的手部也重复相同的动作，直到腕上手势操控系统，记忆下常用手势。当使用者再次使用时，就可以直接操控安装了第一无线通讯模块10的上位机9，例如电脑和手机，也可以发射手指坐标信息给其他安装了第一无线通讯模块10的电子设备，比如家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等。上位机9利用采集的坐标信息在屏幕上显示虚拟手势，用户参考虚拟手势，控制按键或者做其他动作手势，实现远程控制和虚拟控制。 

Claims (7)

1.一种腕上手势操控系统，其特征在于：包括腕表部分(1)，与上位机部分(2)协同工作，以操控上位机，其中腕表部分(1)包括控制主模块(4)、手势摄像模块(5)、背光LED灯模块(6)、电源模块(7)和腕带反馈模块(8)，上位机部分(2)包括上位机(9)和第一无线通讯模块(10)；其中控制主模块(4)中包括控制板卡(12)、第二无线通讯模块(13)、三轴加速度模块(14)、倾角模块(15)及控制按钮(16)。

2.如权利要求1所述的腕上手势操控系统，其特征在于：所述控制板卡(12)利用三轴加速度模块(14)与倾角模块(15)采集手腕运动轨迹和倾角，进行手腕坐标定位；利用位于手腕部的手势摄像模块(5)，计算手指指尖(103)位置坐标，进而确定当前手指相对手腕的动作；利用所述手腕坐标和所述手指位置坐标，最终实现手势动作的识别；通过第二无线通讯模块(13)将手势识别信息发送到设有第一无线通讯模块(10)的上位机(9)，实现对上位机(9)的控制。

3.如权利要求1所述的腕上手势操控系统，其特征在于：所述腕带反馈模块(8)为安装在手腕腕带的震动振子和/或收缩压力环；上位机(9)通过腕带反馈模块(8)，把对手部动作的反馈信息，传递给手部，模拟触觉感知，用户根据所述触觉感知，调整手势动作，实现闭环控制。

4.如权利要求1所述的腕上手势操控系统，其特征在于：还包括戒指部分(3)，所述戒指部分(3)包括戒指反馈模块(11)，即安装在手指戒指上的震动振子和/或收缩压力环；上位机(9)通过戒指反馈模块(11)，把对手部动作的反馈信息，传递给手部，模拟触觉感知，用户根据所述触觉感知，调整手势动作，实现闭环控制。

5.如权利要求1-4中任一项所述的腕上手势操控系统，其特征在于：所述上位机(9)是安装了第一无线通讯模块(10)，可实现虚拟操控或远程控制的手机、电脑、家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备。

6.如权利要求1-4中任一项所述的腕上手势操控系统，其特征在于：手势摄像模块(5)可采用分体式结构，拆卸下来，安装在电源模块(7)的后方，或者使用导轨式，把手势摄像模块(5)沿着腕表带上的导轨，收缩到腕表部分(1)的上方。

7.如权利要求1所述的腕上手势操控系统，其特征在于：计算手指指尖的位置坐标时，采用手指延伸算法，根据巡线原理，先判断手掌根部(101)即手腕在图像中的位置，然后再判断手指根部(102)的位置，循着手指方向向下延伸，自上而下依序识别，识别每一个手指关节，最后确定每个手指指尖(103)的位置坐标；将手势摄像模块(5)设于腕表部分(1)的下方边缘处，从与手指握合方向成一定倾斜角的方向拍摄，当手指弯曲时，根据拍摄图像中手指呈现出的弯曲程度，采用球面坐标系计算手指到手腕原点的距离坐标r。 

Images