CN102866789A - 一种人机交互戒指 - Google Patents

Abstract

本发明公开了一种人机交互戒指，包括：加速度传感器模块，用于测量手指与作用平面的投影角度并用坐标系变换；陀螺仪模块，用于测量所述手指与作用平面的角速度变化，根据变换后的投影角度和所述角速度变化通过计算获得手指运动轨迹；距离传感器模块，用于修正在手指发生弯曲时，所述陀螺仪模块无法准确测量带来的误差，从而得出正确的手指运动轨迹；麦克风传感器模块，用于获得所述手指与其他表面的摩擦音频；处理模块，用于人机交互命令，实现所述人机交互命令与相应的设备或计算机进行交互。

Description

一种人机交互戒指

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种佩戴在手指上的人机交互戒指。

背景技术

现代的新型人机交互有很多种形式，包括多点的触摸屏，基于传感器的体感设备，基于图像识别的交互，基于肌肉计算的交互等。以上的各种交互方式能够弥补很多以前存在的不足，但是这些交互方式也存在一些新问题和缺点。

多点触摸的交互方式，这种交互方式现在已经非常普遍的应用在各种设备中了，该设备的原理是当人的手指接触触摸屏元件时，该点的电容或者电阻会发生相应的变化，通过采集不同点的数值就可以判断出触摸的位置。但是这种设备的局限在于：操作者必须在设备前使用并与触摸屏接触，当远离设备时是无法操作该设备的。

体感型人机交互方式，其包括：通过遥控器内的加速度传感器感知使用者手部的运动来进行交互，或是通过一种特殊的摄像头，这种摄像头可以采集景深信息，然后通过对图像的处理重构出使用者的骨架来进行交互。体感交互方式的缺点在于使用者必须在设备前大幅度的动作才能够被准确的判断为交互动作，微小的动作是不被接受的。

一种肌肉计算的交互设备，设备通过采集人体肌肉的肌电信号来判断人体手部的动作，从而进行交互。这种设备目前还不成熟，设备笨重且不易携带。

采集人手部动作的数据手套，该手套的原理是每一个手指都附着一个弯曲传感器，通过对弯曲传感器的变化的采集来重现人体的手部的动作最终完成交互。这种设备造价极为昂贵，且佩带起来相对麻烦，尤其是在炎热的夏季这种设备不适合普通用户使用。

一种人机交互设备支持一种全新人机交互方式：可接任何固体表面作为触摸平面，通过触摸该表面完成各种手势动作，并以该动作控制计算机或智能设备实现相关操作。但是当实施方式为手指时，手指在完成动作中发送弯曲会导致绘制的手指运动轨迹不准确，具有一定的局限性。

发明内容

本发明的目的在于提供一种新型人机交互戒指，该戒指支持一种全新人机交互方式：可接任何固体表面作为触摸平面，通过触摸该表面完成各种手势动作，并以该动作控制计算机或智能设备实现相关操作，并在手指发生弯曲时保证交互信息准确。

为实现上述目的，本发明提出了一种人机交互戒指，包括：

加速度传感器模块，用于测量手指与作用平面的投影角度并用坐标系变换；

陀螺仪模块，用于测量所述手指与作用平面的角速度变化，根据变换后的投影角度和所述角速度变化通过计算获得手指运动轨迹；

距离传感器模块，用于修正在手指发生弯曲时，所述陀螺仪模块无法准确测量带来的误差，从而得出正确的手指运动轨迹；

麦克风传感器模块，用于获得所述手指与其他表面的摩擦音频；

处理模块，用于根据所述正确的运动轨迹和摩擦音频，得到“拖拽”的人机交互命令；以及通过所述加速度传感器模块测量的数据和计算出所述摩擦音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现所述人机交互命令与相应的设备或计算机进行交互。

所述人机交互戒指通过无线的方式和其他设备进行连接实现人机交互。

所述陀螺仪模块的手指运动轨迹计算公式为：

$\left\{\begin{array}{c}\mathrm{\Δx}=\mathrm{\α}*R*\cos \mathrm{\θ}+\mathrm{\β}*R*\sin \mathrm{\θ}\\ \mathrm{\Δy}=\mathrm{\β}*R*\cos \mathrm{\θ}+\mathrm{\α}*R*\sin \mathrm{\θ}\end{array}\right.$

其中，α、β为陀螺仪测量的角速度变化，R为手指的长度，θ为加速度传感器测量的手指与平面的投影角度。

所述距离传感器模块包括：

测量模块，用于测量所述人机交互戒指与所述人机交互戒指所在手指关节的前一关节的距离；

修正模块，用于通过手指建模和测量的所述距离，以修正公式计算出正确的轨迹移动距离。

所述修正模块的修正公式为

Δx=Δx'cosθ+Δy'sinθ

Δy=Δy'cosθ+Δx'sinθ

Δx'=aR

当l>Gate时，Δy'=βR

当l≤Gate时，Δy'=y₂-y₁

$y_1=R\{\frac{k_1}{2}-\frac{k_2(l_o-\frac{k_1}{2}R)}{\sqrt{t^2+{(l_o-\frac{k_1}{2}R)}^2}}+(1-k_1-k_2)\cos [(1+\mathrm{\ϵ}){\tan }^{-1}\frac{t}{1-\frac{k_1}{2}R}\left]\right\}$

$y_2=R\{\frac{k_1}{2}-\frac{k_2(l-\frac{k_1}{2}R)}{\sqrt{t^2+{(l-\frac{k_1}{2}R)}^2}}+(1-k_1-k_2)\cos [(1+\mathrm{\ϵ}){\tan }^{-1}\frac{t}{1-\frac{k_1}{2}R}\left]\right\}$

其中k₁，k₂，ε，t为常数。k₁和k₂分别代表手指2关节相对于整个手指的比例，对于常人来讲，k₁和k₂的值是相对固定的，t的距离也可以取为平均值；ε表示一个手指两个关节的弯曲比例系数，这个ε很小，在这个应用场景中可以忽略为0，公式中l₀表示上一个时刻测得的l值，Gate表示传感器所能测得的最大值。

所述处理模块，包括：

拖拽命令模块，用于根据采集的运动轨迹，判断在起点和终点之间的所述人机交互戒指在运动过程中人的手势，以及根据与其他表面的摩擦音频，来确定摩擦发生的起点和终点时间，得到一个拖拽动作；

点击命令模块，用于通过计算所述摩擦音频的瞬时功率和所述加速度传感器模块的一个轴向线加速度，得到相应的数值，利用算法对该数值进行处理判断是否是一个点击动作。

所述拖拽命令模块，包括：

音频处理子模块，用于当与其他表面发生滑动摩擦时，声波传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点；

位移处理子模块，用于通过对所述陀螺仪传感器模块进行建模处理，计算所述人机交互戒指的位移轨迹。

所述音频处理子模块，用于当手指与其他表面发生滑动摩擦时，声波会通过手指骨传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点和终点。

所述音频处理子模块，通过计算声音片段的美尔频率倒谱系数、过零率和功率指标作为特征，利用经过训练的支持向量机分类器得到摩擦的起始点。

所述音频处理子模块，具体执行下列操作：

通过麦克风传感器模块采集到音频，将音频变成数字化的信号也就是音频流；

通过截断的方法，把音频流切成片段；

对获得的片段进行处理，加海明窗，计算片段的美尔频率倒谱系数，计算片段的功率，计算片段的过零率作为特征向量；该特征为一个多维的向量由美尔频率倒谱系数和片段功率过零率拼接而成；

对获得的片段的特征进行标注，并训练支持向量机模型；

通过支持向量机对计算出来片段的特征进行分类，分为摩擦和非摩擦。显然的从非摩擦到摩擦就是一个摩擦的起点，而由摩擦到非摩擦就是终点。

本发明的有益效果在于：本发明的设备体积小，佩戴方便，无需专用的操作表面，且克服手指弯曲带来的测量误差以准确识别微小动作，使用舒适自由。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1是本发明的人机交互戒指的结构示意图；

图2是安装在戒指上的陀螺仪示意图；

图3是手指在表面上沿X方向运动x距离示意图；

图4陀螺仪测量轨迹的局限性示意图；

图5利用距离传感器测量手指屈度示意图；

图6是手指的弯曲模型示意图。

具体实施方式

本发明的人机交互戒指，由戒指型设备上的麦克风传感器模块，陀螺仪模块，加速度传感器模块，距离传感器模块以及处理模块的结合，在计算机中准确的描绘出手指在表面的滑动的轨迹。在计算机的使用中，可以代替鼠标，触摸板，画笔等功能。通过判断摩擦起始点这种新颖的方式解决了传统体感设备难以得到动作的起始数据的问题。通过距离传感器解决了手指弯曲带来的测量误差。另外通过麦克风指向手指皮肤来采集骨传导音频的方式也大大的提高了摩擦声音的信噪比。

下面结合上述目标详细介绍本发明，图1是本发明的人机交互戒指的结构示意图，如图1所示，包括：

加速度传感器模块11，用于测量手指与作用平面的投影角度并用坐标系变换；

陀螺仪模块12，用于测量所述手指与作用平面的角速度变化，根据变换后的投影角度和所述角速度变化通过计算获得手指运动轨迹；

距离传感器模块14，用于修正在手指发生弯曲时，所述陀螺仪模块无法准确测量带来的误差，从而得出正确的手指运动轨迹；

麦克风传感器模块15，用于获得所述手指与其他表面的摩擦音频；

处理模块13，用于根据所述正确的运动轨迹和摩擦音频，得到“拖拽”的人机交互命令；以及通过所述加速度传感器模块测量的数据和计算出所述摩擦音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现所述人机交互命令与相应的设备或计算机进行交互。

所述距离传感器模块14包括：

测量模块141，用于测量所述人机交互戒指与所述人机交互戒指所在手指关节的前一关节的距离。

●利用陀螺仪测量手指运动轨迹的原理

如图2所示，陀螺仪被安装在戒指型设备上，位置位于手指的第三个关节处。三轴陀螺仪可以测量图2中指出的α，β，γ三个方向的角速度。测量的结果反映在电信号中，由控制器接收转化为可以处理的数字信号。

当手指沿着图3，中指出的方向运动时，手指发生以同一圆心的转动运动。其中转动半径为手指的长度R，转动角度为α，转动的弧为I。我们知道，当α很小的时候，弧的弦长和弧长是近似相同的，所以我们就可以用I来近似的得到想要测量的x值。同理，在二维场景里（即滑动平面）也可以用这种方法测量，于是不难得到轨迹的计算方法。

所以，所述陀螺仪模块12的手指运动轨迹计算公式为：

$\left\{\begin{array}{c}\mathrm{\Δx}=\mathrm{\α}*R*\cos \mathrm{\θ}+\mathrm{\β}*R*\sin \mathrm{\θ}\\ \mathrm{\Δy}=\mathrm{\β}*R*\cos \mathrm{\θ}+\mathrm{\α}*R*\sin \mathrm{\θ}\end{array}\right.$

其中，α、β为陀螺仪测量的角速度变化，R为手指的长度，θ为加速度传感器测量的手指与平面的投影角度。在绘制轨迹时，只要不断的在上一个位置点上重绘Δx和Δy既可。

●存在问题：

以上讨论的内容有一个前提，就是假设手指是笔直的，但是在实际手指画图的过程中，不会像笔一样笔直。手指在绘制过程中，2个关节会发生弯曲现象，那么在手指第三关节所安装的陀螺仪就不能准确的测量出手指运动的轨迹，所得到的结果如图4所示，往往Y轴的数据会有错误，而X轴的数据是正确的。

所述距离传感器模块14还包括：

142修正模块，用于通过手指建模和测量的所述距离，以修正公式计算出正确的轨迹移动距离。

●基于弯曲检测的修正：

改进的方法如图5所示，在戒指的下方装有一个距离传感器,距离传感器可以测量戒指与手指第二关节之间的距离。再将距离通过计算就可以得到相应的手指的弯曲程度。根据上面的原理，为手指建模如图6所示，其中a，b，c分别为手指三个关节的长度，l为测得的传感器与手指之间的距离，t为戒指设备的厚度与一半手指厚度的和。由于人类手指的弯曲是联动的。所以当l固定时，就可以估计Y的长度。计算不同时刻的Y，就可以得到想要测量的轨迹的移动距离了。

所述修正模块142的修正公式为

Δx=Δx'cosθ+Δy'sinθ

Δy=Δy'cosθ+Δx'sinθ

Δx'=aR

当l>Gate时，Δy'=βR

当l≤Gate时，Δy'=y₂-y₁

$y_1=R\{\frac{k_1}{2}-\frac{k_2(l_o-\frac{k_1}{2}R)}{\sqrt{t^2+{(l_o-\frac{k_1}{2}R)}^2}}+(1-k_1-k_2)\cos [(1+\mathrm{\ϵ}){\tan }^{-1}\frac{t}{1-\frac{k_1}{2}R}\left]\right\}$

$y_2=R\{\frac{k_1}{2}-\frac{k_2(l-\frac{k_1}{2}R)}{\sqrt{t^2+{(l-\frac{k_1}{2}R)}^2}}+(1-k_1-k_2)\cos [(1+\mathrm{\ϵ}){\tan }^{-1}\frac{t}{1-\frac{k_1}{2}R}\left]\right\}$

其中k₁，k₂，ε，t为常数。k₁和k₂分别代表手指2关节相对于整个手指的比例，对于常人来讲，k₁和k₂的值是相对固定的，t的距离也可以取为平均值；ε表示一个手指两个关节的弯曲比例系数，这个ε很小，在这个应用场景中可以忽略为0，公式中l₀表示上一个时刻测得的l值，Gate表示传感器所能测得的最大值。

所述处理模块13，包括：

拖拽命令模块131，用于根据采集的运动轨迹，判断在起点和终点之间的所述人机交互戒指在运动过程中人的手势，以及根据与其他表面的摩擦音频，来确定摩擦发生的起点和终点时间，得到一个拖拽动作。

所述拖拽命令模块131，包括：

音频处理子模块1311，用于当与其他表面发生滑动摩擦时，声波传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点和终点。

所述音频处理子模块1311，通过计算声音片段的美尔频率倒谱系数、过零率和功率指标作为特征，利用经过训练的支持向量机分类器得到摩擦的起始点。具体执行下列操作：

通过麦克风传感器模块采集到音频，将音频变成数字化的信号也就是音频文件；

通过截断的方法，把音频流切成片段；

对获得的片段进行处理，加海明窗，计算片段的美尔频率倒谱系数，计算片段的功率，计算片段的过零率作为特征向量；该特征为一个多维的向量由美尔频率倒谱系数和片段功率过零率拼接而成；

对获得的片段的特征进行标注，并训练支持向量机模型；

通过支持向量机对计算出来片段的特征进行分类，分为摩擦和非摩擦。显然的从非摩擦到摩擦就是一个摩擦的起点，而由摩擦到非摩擦就是终点。

所述拖拽命令模块131，还包括：

位移处理子模块1312，用于通过对所述陀螺仪传感器模块进行建模处理，计算所述人机交互戒指的位移轨迹。

所述处理模块13，还包括：

点击命令模块132，用于通过计算所述摩擦音频的瞬时功率和所述加速度传感器模块的一个轴向线加速度，得到相应的数值，利用算法对该数值进行处理判断是否是一个点击动作。

所述人机交互戒指通过无线的方式和其他设备进行连接实现人机交互。

本发明一共采集两种不同的交互命令：拖拽和点击。

设备或者计算机通过对以上数据的计算，得到相应的交互命令，即拖拽和点击来对相应的设备或计算机进行进一步的交互。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明权利要求的保护范围。

Claims (10)

1.一种人机交互戒指，其特征在于，包括：

加速度传感器模块，用于测量手指与作用平面的投影角度并用坐标系变换；

陀螺仪模块，用于测量所述手指与作用平面的角速度变化，根据变换后的投影角度和所述角速度变化通过计算获得手指运动轨迹；

距离传感器模块，用于修正在手指发生弯曲时，所述陀螺仪模块无法准确测量带来的误差，从而得出正确的手指运动轨迹；

麦克风传感器模块，用于获得所述手指与其他表面的摩擦音频；

处理模块，用于根据所述正确的运动轨迹和摩擦音频，得到“拖拽”的人机交互命令；以及通过所述加速度传感器模块测量的数据和计算出所述摩擦音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现所述人机交互命令与相应的设备或计算机进行交互。

2.根据权利要求1所述的人机交互戒指，其特征在于，所述人机交互戒指通过无线的方式和其他设备进行连接实现人机交互。

3.根据权利要求1所述的人机交互戒指，其特征在于，所述陀螺仪模块的手指运动轨迹计算公式为：

$\left\{\begin{array}{c}\mathrm{\Δx}=\mathrm{\α}*R*\cos \mathrm{\θ}+\mathrm{\β}*R*\sin \mathrm{\θ}\\ \mathrm{\Δy}=\mathrm{\β}*R*\cos \mathrm{\θ}+\mathrm{\α}*R*\sin \mathrm{\θ}\end{array}\right.$

其中，α、β为陀螺仪测量的角速度变化，R为手指的长度，θ为加速度传感器测量的手指与平面的投影角度。

4.根据权利要求1所述的人机交互戒指，其特征在于，所述距离传感器模块包括：

测量模块，用于测量所述人机交互戒指与所述人机交互戒指所在手指关节的前一关节的距离；

修正模块，用于通过手指建模和测量的所述距离，以修正公式计算出正确的轨迹移动距离。

5.根据权利要求4所述的人机交互戒指，其特征在于，所述计算模块的修正公式为

Δx=Δx'cosθ+Δy'sinθ

Δy=Δy'cosθ+Δx'sinθ

Δx'=aR

当l>Gate时，Δy'=βR

当l≤Gate时，Δy'=y₂-y₁

$y_1=R\{\frac{k_1}{2}-\frac{k_2(l_o-\frac{k_1}{2}R)}{\sqrt{t^2+{(l_o-\frac{k_1}{2}R)}^2}}+(1-k_1-k_2)\cos [(1+\mathrm{\ϵ}){\tan }^{-1}\frac{t}{1-\frac{k_1}{2}R}\left]\right\}$

$y_2=R\{\frac{k_1}{2}-\frac{k_2(l-\frac{k_1}{2}R)}{\sqrt{t^2+{(l-\frac{k_1}{2}R)}^2}}+(1-k_1-k_2)\cos [(1+\mathrm{\ϵ}){\tan }^{-1}\frac{t}{1-\frac{k_1}{2}R}\left]\right\}$

其中k₁，k₂，ε，t为常数，k₁和k₂分别代表手指2关节相对于整个手指的比例，对于常人来讲，k₁和k₂的值是相对固定的，t的距离也可以取为平均值；ε表示一个手指两个关节的弯曲比例系数，这个ε很小，在这个应用场景中可以忽略为0，公式中l0表示上一个时刻测得的l值，Gate表示传感器所能测得的最大值。

6.根据权利要求1所述的人机交互戒指，其特征在于，所述处理模块，包括：

拖拽命令模块，用于根据采集的运动轨迹，判断在起点和终点之间的所述人机交互戒指在运动过程中人的手势，以及根据与其他表面的摩擦音频，来确定摩擦发生的起点和终点时间，得到一个拖拽动作；

点击命令模块，用于通过计算所述摩擦音频的瞬时功率和所述加速度传感器模块的一个轴向线加速度，得到相应的数值，利用算法对该数值进行处理判断是否是一个点击动作。

7.根据权利要求4所述的人机交互戒指，其特征在于，所述拖拽命令模块，包括：

音频处理子模块，用于当与其他表面发生滑动摩擦时，声波传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点和终点；

位移处理子模块，用于通过对所述陀螺仪传感器模块进行建模处理，计算所述人机交互戒指的位移轨迹。

8.根据权利要求7所述的人机交互戒指，其特征在于，所述音频处理子模块，用于当手指与其他表面发生滑动摩擦时，声波会通过手指骨传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点。

9.根据权利要求7所述的人机交互设备，其特征在于，所述音频处理子模块，通过计算声音片段的美尔频率倒谱系数、过零率和功率指标作为特征，利用经过训练的支持向量机分类器得到摩擦的起始点。

10.根据权利要求9所述的人机交互戒指，其特征在于，所述音频处理子模块，具体执行下列操作：

通过麦克风传感器模块采集到音频，将音频变成数字化的信号也就是音频流；

通过截断的方法，把音频流切成片段；

对获得的片段进行处理，加海明窗，计算片段的美尔频率倒谱系数，计算片段的功率，计算片段的过零率作为特征向量；该特征为一个多维的向量由美尔频率倒谱系数和片段功率过零率拼接而成；

对获得的片段的特征进行标注，并训练支持向量机模型；

通过支持向量机对计算出来片段的特征进行分类，分为摩擦和非摩擦。显然的从非摩擦到摩擦就是一个摩擦的起点，而由摩擦到非摩擦就是终点。

Images