CN103105945B - 一种支持多点触摸手势的人机交互戒指 - Google Patents

Abstract

本发明公开了一种支持多点触摸手势的人机交互戒指，包括：加速度传感器模块，用于测量单个手指与作用平面之间的角度关系；陀螺仪模块，用于测量多个手指与作用平面的角速度变化；距离传感器模块，包括多个红外管，用于测量多个手指之间的距离关系；麦克风传感器模块，用于获得多个手指与作用表面的滑动摩擦声并触发滑动或点击动作；微处理器模块，用于对人机交互戒指进行调度、控制和处理，从而实现多点手势的人机交互。本发明不仅支持一种全新人机交互方式，可接任何固体表面作为触摸平面，而且在传统的单点触摸模式的基础上，加入了新的手势，使得该设备可以支持类似触摸屏的多点触摸功能。

Description

一种支持多点触摸手势的人机交互戒指

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种支持多点触摸手势的人机交互戒指，

背景技术

现代的新型人机交互有很多种形式，包括多点的触摸屏，基于传感器的体感设备，基于图像识别的交互，基于肌肉计算的交互等。以上的各种交互方式能够弥补很多以前存在的不足，但是这些交互方式也存在一些新问题和缺点。

多点触摸的交互方式，这种交互方式现在已经非常普遍的应用在各种设备中了，该设备的原理是当人的手指接触触摸屏元件时，该点的电容或者电阻会发生相应的变化，通过采集不同点的数值就可以判断出触摸的位置。但是这种设备的局限在于：操作者必须在设备前使用并与触摸屏接触，当远离设备时是无法操作该设备的。

体感型人机交互方式，其包括：通过遥控器内的加速度传感器感知使用者手部的运动来进行交互，或是通过一种特殊的摄像头，这种摄像头可以采集景深信息，然后通过对图像的处理重构出使用者的骨架来进行交互。体感交互方式的缺点在于使用者必须在设备前大幅度的动作才能够被准确的判断为交互动作，微小的动作是不被接受的。

一种肌肉计算的交互设备，设备通过采集人体肌肉的肌电信号来判断人体手部的动作，从而进行交互。这种设备目前还不成熟，设备笨重且不易携带。

采集人手部动作的数据手套，该手套的原理是每一个手指都附着一个弯曲传感器，通过对弯曲传感器的变化的采集来重现人体的手部的动作最终完成交互。这种设备造价极为昂贵，且佩带起来相对麻烦，尤其是在炎热的夏季这种设备不适合普通用户使用。

一种可佩带式的人机交互设备该装置提出了一个通过判断摩擦起始点新颖的方式解决了传统体感设备的数据难以得到动作的起始的问题。另外麦克风指向手指皮肤来采集骨传导音频的方式也大大的提高了摩擦声音的信噪比。

针对于传统的体感设备，或者遥控设备，该设备有很多优点。首先该发明不要求使用者在交互动作中大幅度的运动，即可以用手指非常小幅的摩擦和点击就可以轻松完成和设备之间的交互。另外该发明是一个可穿戴式的交互设备，也就是说对于随时随地的交互都提供了便利。最后该设备的目的是“把所有的平面都变成触摸板”，这对提高交互体验有着非常重要的促进作用。但是不支持多点触摸，使用起来有所不便，而且支持手势较少。

发明内容

本发明的目的在于提供一种新型人机交互戒指，该戒指支持一种全新人机交互方式：可接任何固体表面作为触摸平面，同时支持类似触摸屏的多点触摸功能，通过触摸该表面完成各种手势动作，并以该动作控制计算机或智能设备实现相关操作。

为实现上述目的，本发明提供了一种支持多点触摸手势的人机交互戒指，包括：

加速度传感器模块，用于测量单个手指与作用平面之间的角度关系，判断手指是否发生点击动作；

陀螺仪模块，用于测量佩戴戒指的手指与作用平面的角速度变化，判断手指是否发生旋转动作，并检测佩戴手指的运动轨迹；

距离传感器模块，包括多个红外管，用于测量所述多个手指之间的距离关系从而判断手指之间的位置关系；

麦克风传感器模块，用于获得佩戴戒指的手指与作用表面的滑动摩擦声来判断手指是否与表面发生接触，并触发滑动或点击动作；

微处理器模块，用于根据所述加速度传感器模块、陀螺仪模块、距离传感器模块的测量数据和麦克风传感器模块获得的滑动摩擦声对所述人机交互戒指进行调度、控制和处理，从而实现多点手势的人机交互。

进一步的，所述加速度传感器模块包括：

点击判断模块，用于处理加速度传感器模块测量的数据，并通过训练的模型判断手部的姿态和是发生点击动作。

进一步的，所述陀螺仪模块包括：

位移处理子模块，用于通过对所述陀螺仪传感器模块进行建模处理后，根据所述陀螺仪的测量数据计算所述人机交互戒指的位移轨迹并判断手指是否发生旋转。

进一步的，所述距离传感器模块包括：

红外管模块，包括多个红外管，用于发射相应频段的红外线；

感应管模块，用于通过接收所述红外线，并感应所述红外线强度来衡量发射点与反射面的距离，即佩戴戒指的手指与其他手指的距离；

控制器模块，用于控制所述红外管模块的多个红外管开合，在每个红外管开合的时机测量感应管模块的衡量值，从而得到不同方向的手指之间的距离关系。

进一步的，所述麦克风传感器模块包括：

音频处理模块，用于当手指与作用表面发生摩擦时，声波会通过手指骨传导到麦克风传感器模块中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点并触发相应动作。

进一步的，所述微处理模块，包括：

捏合和拉伸命令模块，通过手指骨传导的所述滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作；然后通过距离式传感器模块来判断手指的开合；融合两个方面判断是否触发相应的手势；

旋转命令模块，通过手指骨传导的所述滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作；通过所述陀螺仪传感器模块判断手指是否以响应的轴心点发生一个顺时针或逆时针的旋转；然后通过距离式传感器模块判断手指间的位置关系；融合三个方面判断是否触发旋转手势；

拖拽命令模块，通过手指骨传导的所述滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作；然后通过距离传感器来判断手指之间的位置关系；融合两个方面判断是否触发拖拽手势；

点击命令模块，通过手指骨传导所述的滑动摩擦声来判断手指是否与表面发生接触，并触发碰撞点击动作；通过所述加速度传感器模块判断是否发生了一次点击动作；然后通过距离传感器来判断手指之间的位置关系；融合两个方面判断是否触发点击手势。

所述人机交互戒指还包括：

无线收发模块，通过无线的方式和作用设备进行连接实现人机交互，包括建立连接、命令收发功能；

电源管理模块，用来保证所述人机交互戒指能在相对较低的功耗下运行，当所述人机交互戒指不在激活状态下，所述电源管理模块会使所述人机交互戒指自动处于休眠状态。

较佳的，所述的距离传感器为反射式测距传感器。

本发明是基于佩戴式的支持多点触摸技术的人机交互戒指。在传统的单点触摸模式的基础上，加入了新的手势。使得该戒指可以支持类似触摸屏的多点触摸功能。本发明既能通过判断摩擦起始点新颖的方式解决传统体感设备的数据难以得到动作的起始的问题，又通过麦克风指向手指皮肤来采集骨传导音频的方式大大的提高了摩擦声音的信噪比，更是通过设计在戒指上的距离式传感器，通过算法对距离进行训练得到模型进行判断，支持多种多点手势。

附图说明

图1是本发明的系统结构图；

图2是距离传感器测量手指间的间距示意图；

图3是多发射管切换测距原理示意图；

图4a是捏合和拉伸手势示意图；

图4b是捏合和拉伸手势数据融合示意图；

图5a是旋转手势示意图；

图5b是旋转手势数据融合示意图；

图6a是拖拽手势示意图；

图6b是拖拽手势数据融合示意图；

图7a是点击手势示意图；

图7b是点击手势数据融合示意图。

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

如图1所示，图1是本发明的系统结构图。该人机交互戒指包括：一种支持多点触摸手势的人机交互戒指，包括：

加速度传感器模块，用于测量单个手指与作用平面之间的角度关系，判断手指是否发生点击动作，主要是测量地球的地心引力与手之间的角度关系，这样就可以测量到手目前处于一种怎样的姿态；

陀螺仪模块，用于测量佩戴戒指的手指与作用平面的角速度变化，判断手指是否发生旋转动作，以戒指戴在食指为例，主要是为了得到食指的运行轨迹。当食指在一个表面滑动时，可以把手指想象成为一只铅笔。当“铅笔”沿着一个角度沿着球面时画线，其角度会发生改变。可以把人的指末端关节想象成为球体的球心，手指就是球体的半径，那么只要知道其角度的变化就可以跟踪出一条相应的轨迹；

距离传感器模块，包括多个红外管，用于测量所述多个手指之间的距离关系从而判断手指之间的位置关系；

麦克风传感器模块，用于获得佩戴戒指的手指与作用表面的滑动摩擦声来判断手指是否与表面发生接触，并触发滑动或点击动作；

微处理器模块，用于根据所述加速度传感器模块、陀螺仪模块、距离传感器模块的测量数据和麦克风传感器模块获得的滑动摩擦声对所述人机交互戒指进行调度、控制和处理，从而实现多点手势的人机交互。

进一步的，所述加速度传感器模块包括：

点击判断模块，用于处理加速度传感器模块测量的数据，并通过训练的模型判断手部的姿态和是发生点击动作。

进一步的，所述陀螺仪模块包括：

位移处理子模块，用于通过对所述陀螺仪传感器模块进行建模处理后，根据所述陀螺仪的测量数据计算所述人机交互戒指的位移轨迹并判断手指是否发生旋转。

进一步的，所述距离传感器模块包括：

红外管模块，包括多个红外管，用于发射相应频段的红外线；

感应管模块，用于通过接收所述红外线，并感应所述红外线强度来衡量发射点与反射面的距离，即佩戴戒指的手指与其他手指的距离；

控制器模块，用于控制所述红外管模块的多个红外管开合，在每个红外管开合的时机测量感应管模块的衡量值，从而得到不同方向的手指之间的距离关系。

进一步的，所述麦克风传感器模块包括：

音频处理模块，用于当手指与作用表面发生摩擦时，声波会通过手指骨传导到麦克风传感器模块中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点并触发相应动作。

进一步的，所述微处理模块，包括：

捏合和拉伸命令模块，通过手指骨传导的所述滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作；然后通过距离式传感器模块来判断手指的开合；融合两个方面判断是否触发相应的手势；

旋转命令模块，通过手指骨传导的所述滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作；通过所述陀螺仪传感器模块判断手指是否以响应的轴心点发生一个顺时针或逆时针的旋转；然后通过距离式传感器模块判断手指间的位置关系；融合三个方面判断是否触发旋转手势；

拖拽命令模块，通过手指骨传导的所述滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作；然后通过距离传感器来判断手指之间的位置关系；融合两个方面判断是否触发拖拽手势；

点击命令模块，通过手指骨传导所述的滑动摩擦声来判断手指是否与表面发生接触，并触发碰撞点击动作；通过所述加速度传感器模块判断是否发生了一次点击动作；然后通过距离传感器来判断手指之间的位置关系；融合两个方面判断是否触发点击手势。

所述人机交互戒指还包括：

无线收发模块，通过无线的方式和作用设备进行连接实现人机交互，包括建立连接、命令收发功能，主要用以和被控设备进行通讯；

电源管理模块，用来保证所述人机交互戒指能在相对较低的功耗下运行，当所述人机交互戒指不在激活状态下，也就是在不在被使用的情况下，所述电源管理模块会使所述人机交互戒指自动处于休眠状态。达到降低功耗，提高电池续航的作用。

较佳的，所述的距离传感器为反射式测距传感器。

其中，微处理器模块主要负责整个系统的调度、控制和处理工作。其中调度是指在时序上处理每个传感器和模块工作的流程。控制是指协调每个模块的共做状态，并向无线模块发送相关的命令数据。处理分为以下2部分：数据处理：

1.处理距离传感器采集到的数据,判断手指之间的距离，从而得到手指之间的距离关系。

2.处理陀螺仪采集到的数据，并根据数据还原相应的运动轨迹。

3.处理加速度传感器采集到的数据，并通过训练的模型判断手部的姿态和是否发生食指的点击动作。

4.处理得到的骨传导声音的音频进行处理，并通过分类器判断该音频是否是一个滑动摩擦。

数据融合：

根据不同传感器得到的结果进行数据融合，对融合后的结果进行判断，判断其是否是一个需要作为“命令”的手势。

利用距离传感器模块测量手指间的间距，如图2所示，图2是距离传感器测量手指间的间距示意图。系统通过红外的反射式传感器测量戒指所在手指与其他手指之间的距离。基本原理是，距离传感器由2部分组成，其中一部分是用于发射的红外管部分，另外一部分是用于接收的感应管部分。系统控制红外管发射相应频段的红外线。当红外线遇到其他表面的时候，会发生反射，此时反射的红外线会反馈到感应管中。由于红外线发射是发散性的，所以当反射表面材料固定的时候，就可以通过感应管感应出来的强度来衡量发射点与反射面的距离。由于以上原理的局限，感应器所测量的电平值与距离之间的关系并不是线性关系，所以需要通过拟合一条曲线去逼近出一条测量值曲线。曲线可以存储在一个一一对应的向量中，这样就可以通过类似查表的方式快速的计算出两点的距离，而不需要复杂的计算。

但是在该发明的应用中，由于每个人的操作习惯不同，以戒指佩戴在食指上为例，针对于手势1和手势2很难保证被测量的表面（拇指）和发射器表面（食指）之间的角度是固定不变的，所以需要针对以上的原理做一些改变。即需要多个红外二级管来保证多角度都能得到一个良好的效果，如图3所示，图3是多发射管切换测距原理示意图。但是为了保证体积更小，所以在实现中，我们采用了切换的方式来保证：通过控制器来控制不同的红外二极管的开合，然后在每个二极管开合的时机测量感应管的输出值从而得到不同方向的距离。其中每个方向的距离曲线都需要独立去训练。

发明中，尺寸更加小的反射式测距传感器被应用于测量食指与中指之间的距离。相应的测量这个距离的主要目的是为了判断是否执行了手势3或者手势4。

利用融合的方法多点的触摸指令，以戒指佩戴在食指上为实施例进行说明。

手势1如图4a所示，图4a是捏合和拉伸手势示意图。

手势1主要是通过2方面数据融合来进行判断的。第一方面是通过判断食指骨传导的手指与表面的滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作，即判断是否是一个摩擦动作。第二方面，是通过距离式传感器来判断手指的开合。通过两方面的数据融合，就可以组合成为相应的手势，即捏合和拉伸，如图4b所示，图4b是手势1的融合示意图。

手势2如图5a所示，图5a是旋转手势示意图。

手势2是由3方面的数据融合来判断的。第一方面是通过判断食指骨传导的手指与表面的滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作，即判断是否是一个摩擦动作。第二方面是通过距离式传感器判断拇指与食指间的位置关系，即是否达到一个预先约定的阈值范围之内。第三方面是通过手指上的陀螺仪传感器判断手指是否在平行于手指的轴向发生一个顺时针或逆时针的旋转。当三方面融合后的数据都满足时，手势2才被触发，如图5b所示，图5b是手势2的融合示意图。

手势3如图6a所示，图6a是拖拽手势示意图。

手势3主要是通过2方面数据融合来进行判断的。第一方面是通过判断食指骨传导的手指与表面的滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作，即判断是否是一个摩擦动作。第二方面，是通过距离传感器来判断食指与中指指尖的位置关系，即是否达到一个预先约定的阈值范围之内。当2方面的融合后的数据都满足时，然后再通过陀螺仪测量的轨迹一起形成手势3，如图6b所示，图6b是手势3的融合示意图。

手势4如图7a所示，图7a是点击手势示意图。

手势4是通过3方面的数据融合来进行判断的。第一方面是通过判断食指骨传导的手指与表面的碰撞声来判断手指是否与表面发生接触，并触发碰撞点击动作。第二方面是通过手指的加速度传感器检测是否发生了手指点击方向上的运动。第三方面是通过距离传感器来判断食指与中指指尖的位置关系，即是否达到一个预先约定的阈值范围之内。当三方面融合后的数据都满足时，手势4才被触发，如图7b所示，图7b是手势4的融合示意图。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明权利要求的保护范围。

Claims (7)

1.一种支持多点触摸手势的人机交互戒指，其特征在于，包括：

加速度传感器模块，用于测量单个手指与作用平面之间的角度关系，判断手指是否发生点击动作；

陀螺仪模块，用于测量佩戴戒指的手指与作用平面的角速度变化，判断手指是否发生旋转动作，并检测佩戴手指的运动轨迹；

距离传感器模块，用于测量多个所述手指之间的距离关系从而判断手指之间的位置关系；

麦克风传感器模块，用于获得佩戴戒指的手指与作用表面的滑动摩擦声来判断手指是否与表面发生接触，并触发滑动或点击动作；

微处理器模块，用于根据所述加速度传感器模块、陀螺仪模块、距离传感器模块的测量数据和麦克风传感器模块获得的滑动摩擦声对所述人机交互戒指进行调度、控制和处理后触发相应的手势，从而实现多点手势的人机交互，其中所述微处理器模块，包括：

捏合和拉伸命令模块，通过手指骨传导的所述滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作；然后通过距离式传感器模块来判断手指的开合；融合两个方面判断是否触发相应的手势；

旋转命令模块，通过手指骨传导的所述滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作；通过所述陀螺仪模块判断手指是否以响应的轴心点发生一个顺时针或逆时针的旋转；然后通过距离传感器模块判断手指间的位置关系；融合三个方面判断是否触发旋转手势；

拖拽命令模块，通过手指骨传导的所述滑动摩擦声来判断手指是否与表面发生接触，并触发滑动动作；然后通过距离传感器模块来判断手指之间的位置关系；融合两个方面判断是否触发拖拽手势；

点击命令模块，通过手指骨传导所述的滑动摩擦声来判断手指是否与表面发生接触，并触发碰撞点击动作；通过所述加速度传感器模块判断是否发生了一次点击动作；然后通过距离传感器模块来判断手指之间的位置关系；融合三个方面判断是否触发点击手势。

2.根据权利要求1所述的人机交互戒指，其特征在于，所述加速度传感器模块包括：

点击判断模块，用于处理加速度传感器模块测量的数据，并通过训练模型判断手部的姿态和是发生点击动作。

3.根据权利要求1所述的人机交互戒指，其特征在于，所述陀螺仪模块包括：

位移处理子模块，用于通过对所述陀螺仪模块进行建模处理后，根据所述陀螺仪模块的测量数据计算所述人机交互戒指的位移轨迹并判断手指是否发生旋转。

4.根据权利要求1所述的人机交互戒指，其特征在于，所述距离传感器模块包括：

红外管模块，包括多个红外管，用于发射相应频段的红外线；

感应管模块，用于通过接收所述红外线，并感应所述红外线强度来衡量发射点与反射面的距离，即佩戴戒指的手指与其他手指的距离；

控制器模块，用于控制所述红外管模块的多个红外管开合，在每个红外管开合的时机测量感应管模块的衡量值，从而得到不同方向的手指之间的距离关系。

5.根据权利要求1所述的人机交互戒指，其特征在于，所述麦克风传感器模块包括：

音频处理模块，用于当手指与作用表面发生摩擦时，声波会通过手指骨传导到麦克风传感器模块中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点并触发相应动作。

6.根据权利要求1所述的人机交互戒指，其特征在于，所述人机交互戒指还包括：

无线收发模块，通过无线的方式和作用设备进行连接实现人机交互，包括建立连接、命令收发功能；

电源管理模块，用来保证所述人机交互戒指能在相对较低的功耗下运行，当所述人机交互戒指不在激活状态下，所述电源管理模块会使所述人机交互戒指自动处于休眠状态。

7.根据权利要求1所述的人机交互戒指，其特征在于，所述的距离传感器模块为反射式测距传感器。