CN102262456A - 信息输入装置及方法 - Google Patents

Abstract

本发明公开了一种信息输入装置，包括：五个指部传感模块，每个指部传感模块包括三个相互垂直放置的加速度传感器以及三个相互垂直放置的磁场传感器；三个加速度传感器用于测量手指坐标系三个坐标轴方向上的加速度分量；三个磁场传感器用于测量手指坐标系三个坐标轴方向上的磁场分量；以及连接于所述五个指部传感模块的处理器，用于根据每个指部传感模块输出的每个手指坐标系三个坐标轴方向上的加速度分量以及每个手指坐标系三个坐标轴方向上的磁场分量分别定位每个手指并识别手指的按键动作。本发明还公开了一种虚拟键盘输入方法。通过采用磁场传感器可以在确定手指的运动加速度时去除重力加速度的影响，精确实现完成的手指定位和按键动作的识别。

Description

信息输入装置及方法

技术领域

本发明涉及一种信息输入装置及信息输入方法。

背景技术

目前便携设备的应用已经非常普遍，然而在这些便携设备上设置的键盘都非常小，导致操作者的操作不便。现阶段很多研究人员都致力于研究各种信息输入技术来解决便携设备的输入问题，例如语音识别以及虚拟键盘(VKB，Virtual Key Board)等等。然而，由于语音识别的结果受周围环境噪音的影响非常大，因此，在噪声较大的环境下，通过语音识别技术实现便携设备的输入的效果并不理想。另外，在应用VKB技术实现信息输入时，需要先通过红外线在一个平面上投射出键盘的图像，然后再通过检测红外反射线获得操作者的手指在红外激光键盘图像上的位置以及按键动作，但是，现有的VKB技术无法实现按键力量的检测以及对按键时间的检测，因此，无法应用于例如虚拟乐器的表演等需要识别按键力度以及按键时间间隔的应用中。

发明内容

为了解决上述问题，本发明的实施例提供了一种信息输入装置及方法，可以精确定位手指在键盘上的位置，识别出按键动作，并且可以确定按键力度和按键时间等参数。

本发明实施例所述的信息输入装置包括：

五个指部传感模块，其中，每个指部传感模块包括三个相互垂直放置的加速度传感器以及三个相互垂直放置的磁场传感器；其中，所述三个相互垂直放置的加速度传感器确定的手指坐标系和所述三个相互垂直放置的磁场传感器确定的手指坐标系重合；所述三个加速度传感器用于测量手指坐标系三个坐标轴方向上的加速度分量；三个磁场传感器用于测量手指坐标系三个坐标轴方向上的磁场分量；以及，

连接于所述五个指部传感模块的处理器，用于根据每个指部传感模块输出的每个手指坐标系三个坐标轴方向上的加速度分量以及每个手指坐标系三个坐标轴方向上的磁场分量分别定位每个手指并识别手指的动作。

其中，处理器包括：

运动加速度确定单元，用于根据每个手指坐标系三个坐标轴方向上的加速度分量以及磁场分量确定每个手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；

定位单元，用于根据每个手指的运动在手指运动平面坐标系中x和y两个坐标轴方向上的运动加速度分量计算每个手指在手指运动平面上的运动轨迹，完成手指的定位；以及，

按键动作识别单元，用于根据每个手指的运动在手指运动平面坐标系中z坐标轴方向上的运动加速度分量判断每个手指是否有按键动作，如果有，则进一步计算按键力度以及按键时间。

运动加速度确定单元包括：

初始状态检测模块，用于在操作者的手处于正常姿态时，根据每个手指坐标系三个坐标轴方向上的重力加速度分量以及该手指坐标系三个坐标轴方向上的磁场分量确定运动初始状态下该手指相对于由地理磁场所确定的地理坐标系的运动角度的初始值；

运动角度检测模块，用于在运动过程中根据每个手指坐标系三个坐标轴方向上的磁场分量的变化量确定该手指的运动角度的动态变化量；

重力加速度去除模块，用于根据每个手指的运动角度的动态变化量得到该手指坐标系三个坐标轴上的重力加速度分量，并从该手指坐标系三个坐标轴方向上的加速度分量中去除相应坐标轴上的重力加速度分量，得到该手指坐标系三个坐标轴方向上的运动加速度分量；以及，

运动加速度投影模块，用于根据每个手指的运动角度的初始值以及运动角度的动态变化量得到手指运动平面坐标系三个坐标轴方向上的运动加速度分量。

上述信息输入装置还可以进一步包括：一个连接到处理器的腕部传感模块，包括三个相互垂直放置的加速度传感器以及三个相互垂直放置的磁场传感器，其中，所述三个相互垂直放置的加速度传感器确定的腕部坐标系和所述三个相互垂直放置的磁场传感器确定的腕部坐标系重合；所述三个加速度传感器用于测量腕部坐标系三个坐标轴方向上的加速度分量；所述三个磁场传感器用于测量腕部坐标系三个坐标轴方向上的磁场分量；此时，所述处理器用于根据每个指部传感模块输出的每个手指坐标系三个坐标轴方向上的加速度分量以及每个手指坐标系三个坐标轴方向上的磁场分量以及腕部传感模块输出的腕部坐标系三个坐标轴上的加速度分量和磁场分量分别定位每个手指并识别手指的按键动作。

此时，处理器包括：

运动加速度确定单元，用于根据每个手指坐标系三个坐标轴方向上的加速度分量以及磁场分量确定每个手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；

腕部运动加速度确定单元，用于根据腕部传感模块上报的腕部坐标系三个坐标轴方向上的加速度分量以及磁场分量确定腕部的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；

运动加速度修正单元，用于利用腕部的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量修正手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度；

定位单元，用于根据修正后的每个手指的运动在手指运动平面坐标系x和y两个坐标轴方向上的运动加速度分量计算每个手指在手指运动平面上的运动轨迹，完成手指的定位；以及，

按键动作识别单元，用于根据修正后的每个手指的运动在手指运动平面坐标系中z坐标轴方向上的运动加速度分量判断每个手指是否有按键动作，如果有，则进一步计算按键力度以及按键时间。

本发明实施例所述的信息输入方法包括：通过指部传感模块中的三个相互垂直放置的加速度传感器获取手指坐标系三个坐标轴方向上的加速度分量；通过指部传感模块中的三个相互垂直放置的磁场传感器获取手指坐标系三个坐标轴方向上的磁场分量；以及根据手指坐标系三个坐标轴方向上的加速度分量以及磁场分量定位该手指并识别手指的按键动作。

根据手指坐标系三个坐标轴方向上的加速度分量以及磁场分量定位手指并识别手指的按键动作包括：根据手指坐标系三个坐标轴方向上的加速度分量以及磁场分量确定手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；以及根据手指的运动在手指运动平面坐标系中x和y两个坐标轴方向上的运动加速度分量计算手指在手指运动平面上的运动轨迹，完成手指的定位，并根据手指的运动在手指运动平面坐标系中z坐标轴方向上的运动加速度分量判断是否有按键动作，如果有，则进一步计算按键力度以及按键时间。

确定手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量包括：在操作者的手处于正常姿态时，根据手指坐标系三个坐标轴方向上的重力加速度分量和磁场分量确定运动初始状态下该手指相对于由地理磁场所确定的地理坐标系的运动角度的初始值；在手指的运动过程中根据手指坐标系三个坐标轴方向上的磁场分量的变化量确定运动角度的动态变化量；根据运动角度的动态变化量得到手指坐标系三个坐标轴上的重力加速度分量，并从手指坐标系三个坐标轴方向上的加速度分量中去除相应坐标轴上的重力加速度分量，得到手指坐标系三个坐标轴方向上的运动加速度分量；以及根据运动角度的初始值以及运动角度的动态变化量得到手指运动平面坐标系三个坐标轴方向上的运动加速度分量。

在根据手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量计算手指在手指运动平面上的运动轨迹之前进一步包括：通过腕部传感模块中的三个相互垂直放置的加速度传感器获取腕部坐标系三个坐标轴方向上的加速度分量；通过腕部传感模块中的三个相互垂直放置的磁场传感器获取腕部坐标系三个坐标轴方向上的磁场分量；根据腕部坐标系三个坐标轴方向上的加速度分量以及磁场分量确定腕部的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；以及根据腕部的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量修正手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量。

其中，运动角度包括俯仰角、横滚角以及航向角；其中，采用如下公式计算俯仰角和横滚角的初始值：

其中，

为俯仰角的初始值；θ₀为横滚角的初始值；(g_x0，g_y0，g_z0)^T为操作者的手处于正常姿态时在手指坐标系三个坐标轴方向上的重力加速度分量；

采用如下的公式计算航向角的初始值：

${\mathrm{\ψ}}_0=\arctan (H_y^n/H_x^n)$

其中，ψ₀为航向角的初始值；

和

可以通过如下公式计算得到：

其中，(C_x0，C_y0，C_z0)^T为操作者的手处于正常姿态时在手指坐标系三个坐标轴方向上的磁场分量。

采用如下公式计算运动角度的动态变化量：

其中，

为从时刻i到时刻i+1航向角，俯仰角以及横滚角的动态变化量，i为大于或等于零的整数；(C_xi，C_yi，C_zi)^T和(C_xi+1，C_yi+1，C_zi+1)^T分别为在时刻i和i+1时在手指坐标系三个坐标轴方向上的磁场分量。

采用如下公式计算当前时刻手指坐标系三个坐标轴方向上的重力加速度分量：

其中，(g_xi，g_yi，g_zi)^T和(g_xi+1，g_yi+1，g_zi+1)^T分别为在时刻i和i+1时手指坐标系三个坐标轴方向上的重力加速度分量。

根据如下的公式计算手指运动平面坐标系三个坐标轴方向上的运动加速度分量：

W_Mi＝c*W_i

其中，

其中，

以及

W_i＝(W_xi，W_yi，W_zi)^T为在时刻i时手指坐标系三个坐标轴方向上的运动加速度分量；W_Mi＝(W_Mxi，W_Myi，W_Mzi)^T为时刻i时手指运动平面坐标系三个坐标轴方向上的运动加速度。

根据下面公式计算得到手指在手指运动平面上的运动轨迹：

$S_{x(i+1)}=S_{\mathrm{xi}}-\left(\underset{k=i}{\overset{i+4}{\mathrm{\Σ}}}{W}_{\mathrm{Mxk}}\mathrm{\Δt}\right)\mathrm{\ΔT}+\left(\underset{k=i+5}{\overset{i+9}{\mathrm{\Σ}}}{W}_{\mathrm{Mxk}}\mathrm{\Δt}\right)\mathrm{\ΔT}$

$S_{y(i+1)}=S_{\mathrm{yi}}-\left(\underset{k=i}{\overset{i+4}{\mathrm{\Σ}}}{W}_{\mathrm{Myk}}\mathrm{\Δt}\right)\mathrm{\ΔT}+\left(\underset{k=i+5}{\overset{i+9}{\mathrm{\Σ}}}{W}_{\mathrm{Myk}}\mathrm{\Δt}\right)\mathrm{\ΔT}$

其中，S₀＝(S_x0，S_y0)为手指的运动在手指运动平面坐标系中运动轨迹的初始值

Δt为采样的时间间隔，ΔT＝5Δt。

本发明给出的信息输入装置及方法中，通过在每个指部传感模块上设置磁场传感器可以在手指定位以及按键动作识别过程中消除重力加速度的影响，精确实现的手指定位和按键动作的识别。另外，本发明通过对手指的运动加速度的分析，还可以确定按键的力度以及按键时间等参数，因此，可以应用到虚拟乐器演奏过程中。

附图说明

图1为本发明实施例所提供的信息输入装置的结构示意图；

图2为本发明实施例所提供的信息输入装置中处理器的结构示意图；

图3为本发明实施例所提供的另一种信息输入装置的结构示意图；

图4为本发明实施例所提供的信息输入方法的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对发明进行详细描述。

为了解决上述问题，实现信息输入，本发明的实施例提出了一种信息输入装置，可以在手指的运动过程中，确定手指在键盘上的位置，即完成手指的定位，并根据手指的动作识别是否有按键动作，如果识别出有按键动作，则进一步确定按键的力度以及按键的时间等参数。

需要说明的是，在本发明的实施例中，手指的定位是通过求解手指在由键盘所确定的手指运动平面坐标系中的运动轨迹来获得的；而按键动作的识别以及按键力度和时间等参数的计算是通过分析手指的运动在垂直于手指运动平面方向上的运动加速度来获得的。图1显示了本发明实施例所提供的信息输入装置的内部结构。如图1所示，本实施例所述的信息输入装置主要包括以下部件：

五个指部传感模块1，其中，每个指部传感模块1包括三个相互垂直放置的加速度传感器11以及三个相互垂直放置的磁场传感器12；其中，上述三个相互垂直放置的加速度传感器11确定的坐标系和上述三个相互垂直放置的磁场传感器12确定的坐标系重合，记为手指坐标系；上述三个加速度传感器11用于测量手指坐标系三个坐标轴方向上的加速度分量；三个磁场传感器12用于测量手指坐标系三个坐标轴方向上的磁场分量；以及，

连接于上述五个指部传感模块1的处理器2，用于根据每个指部传感模块1输出的每个手指坐标系三个坐标轴方向上的加速度分量以及每个手指坐标系三个坐标轴方向上的磁场分量分别定位每个手指并识别手指的动作。

在此，识别手指的动作包括识别手指是否有按键动作以及确定按键的力度和时间等参数。

需要说明的是，在应用上述信息输入装置进行信息输入的过程中，上述指部传感模块1将固定在操作者指部。而且上述指部传感模块1可以通过有线或无线的方式连接到上述处理器2。例如，指部传感模块1可以通过蓝牙(Blue Tooth)方式连接处理器2。

此外，本领域的技术人员可以理解，加速度传感器11输出的是运动加速度和重力加速度的合成量，然而，在信息输入时需要检测的手指的运动轨迹则主要是由运动加速度造成的，因此，在本发明的实施例中处理器2还需要剔除重力加速度对手指动作分析结果的影响。

下面将详细描述处理器2的内部结构以及处理过程。图2显示了处理器2的内部结构。如图2所示，本发明实施例所述信息输入装置内部的处理器2主要包括如下模块：

运动加速度确定单元21，用于根据每个手指坐标系三个坐标轴方向上的加速度分量以及磁场分量确定每个手指的运动在手指运动平面坐标系三个坐标轴x，y以及z方向上的运动加速度分量；以及，

定位单元22，用于根据每个手指的运动在手指运动平面坐标系中x和y两个坐标轴方向上的运动加速度分量计算每个手指在手指运动平面上的运动轨迹，完成手指的定位；其中，手指运动平面坐标系中x和y两个坐标轴确定了手指运动平面；

按键动作识别单元23，用于根据每个手指的运动在手指运动平面坐标系中z坐标轴方向上的运动加速度分量判断每个手指是否有按键动作，如果有，则进一步计算按键力度以及按键时间。其中，手指运动平面坐标系中z轴的方向垂直于手指运动平面。

在这里，手指运动平面是指由所投射的虚拟键盘确定的平面，手指运动平面坐标系是指由手指运动平面确定的坐标系。通常情况下，手指运动平面坐标系和地理坐标系是重合的，也即一般情况下键盘都是投射在水平面上的。即使键盘没有投射在水平面上，手指运动平面和水平面之间存在的夹角一般也是固定的。

上述运动加速度确定单元21内部还可以包括：

初始状态检测模块31，用于在操作者的手处于正常姿态时，根据每个手指坐标系三个坐标轴方向上的重力加速度分量以及该手指坐标系三个坐标轴方向上的磁场分量，确定运动初始状态下该手指相对于由地理磁场所确定的地理坐标系的运动角度的初始值；需要说明的是，由于在操作者的手处于正常姿态时，操作者的手指并无动作，因此，由手指上的加速度传感器11测量得到的加速度分量即为手指坐标系三个坐标轴方向上的重力加速度分量；所述的运动角度包括：俯仰角、横滚角以及航向角；

运动角度检测模块32，用于在运动过程中根据每个手指坐标系三个坐标轴方向上的磁场分量的变化量确定每个手指运动角度的动态变化量；

重力加速度去除模块33，用于在运动过程中根据每个手指的运动角度的动态变化量得到该手指坐标系三个坐标轴上的重力加速度分量，并从该手指坐标系三个坐标轴方向上的加速度分量中去除相应坐标轴上的重力加速度分量，得到该手指坐标系三个坐标轴方向上的运动加速度分量；

运动加速度投影模块34，用于根据每个手指的运动角度的初始值以及运动角度的动态变化量得到每个手指在手指运动平面坐标系三个坐标轴方向上的运动加速度分量。

具体而言，在操作者的手处于正常姿态(运动之前的初始状态)时，其手指上的指部传感模块1将检测到重力加速度在手指坐标系三个坐标轴方向上的投影，即手指坐标系三个坐标轴方向上的重力加速度分量，此时，运动加速度确定单元21的初始状态检测模块31可以根据指部传感模块1上报的在手指坐标系三个坐标轴方向上的重力加速度分量计算运动角度中俯仰角和横滚角的初始值。具体可以采用如下公式(1)计算俯仰角和横滚角的初始值：

其中，为俯仰角的初始值；θ₀为横滚角的初始值；(g_x0，g_y0，g_z0)^T为重力加速度在手指坐标系三个坐标轴方向上的重力加速度分量。

另外，运动加速度确定单元21的初始状态检测模块31还将进一步根据指部传感模块1上报的在手指坐标系三个坐标轴方向上的磁场分量计算得到运动角度中航向角的初始值。具体可以采用如下的公式(2)计算航向角的初始值：

${\mathrm{\ψ}}_0=\arctan (H_y^n/H_x^n)---\left(2\right)$

其中，ψ₀为航向角的初始值；

和可以通过如下公式(3)计算得到：

其中，(C_x0，C_y0，C_z0)^T为操作者的手处于正常姿态时在手指坐标系三个坐标轴方向上的磁场分量。

通过上述公式(1)、(2)和(3)，运动加速度确定单元21的初始状态检测模块31可以根据指部传感模块1上报的手指坐标系三个坐标轴方向上的重力加速度分量以及磁场分量计算运动角度的初始值，即俯仰角、横滚角以及航向角的初始值。

在手指的运动过程中，指部传感模块1将按照一定的时间间隔Δt完成对加速度分量以及磁场分量的采样，并将采样得到的加速度分量和磁场分量上报给处理器2。运动加速度确定单元21的运动角度检测模块32将根据磁场分量在两个相邻采样时刻的值确定运动角度的动态变化量。具体可以采用下面的公式(4)计算运动角度的动态变化量：

其中，

为从时刻i到时刻i+1的航向角、俯仰角以及横滚角的动态变化量，i为大于或等于零的整数；(C_xi，C_yi，C_zi)^T和(C_xi+1，C_yi+1，C_zi+1)^T分别为指部传感模块1上报给处理器2的在时刻i和i+1时手指坐标系三个坐标轴方向上的磁场分量。

在得到了运动角度的动态变化量之后，即可根据运动角度的动态变化量以及前一时刻手指坐标系三个坐标轴方向的重力加速度分量计算当前时刻手指坐标系三个坐标轴方向上的重力加速度分量。具体可以采用下面的公式(5)计算当前时刻手指坐标系三个坐标轴方向上的重力加速度分量：

其中，(g_xi，g_yi，g_zi)^T和(g_xi+1，g_yi+1，g_zi+1)^T分别为在时刻i和i+1时手指坐标系三个坐标轴方向上的重力加速度分量。

在得到当前时刻手指坐标系三个坐标轴方向上的重力加速度分量之后，运动加速度确定单元21的重力加速度去除模块33就可以从指部传感模块1上报的当前时刻手指坐标系三个坐标轴方向上的加速度分量中减去相应坐标轴方向上的重力加速度分量，得到当前时刻手指坐标系三个坐标轴方向上的运动加速度分量。即进行如下公式(6)所示的运算：

W_i＝A_i-G_i    (6)

其中，A_i＝(a_xi，a_yi，a_zi)^T为指部传感模块1上报给处理器2的在时刻i时手指坐标系三个坐标轴方向上的加速度分量；G_i＝(g_xi，g_yi，g_zi)^T为在时刻i时手指坐标系三个坐标轴方向上的重力加速度分量；W_i＝(W_xi，W_yi，W_zi)^T为在时刻i时手指坐标系三个坐标轴方向上的运动加速度分量。

在得到手指坐标系三个坐标轴方向上的运动加速度之后，运动加速度确定单元21的运动加速度投影模块34将根据运动角度的初始值以及运动角度的动态变化量计算运动加速度在手指运动平面坐标系三个坐标轴方向上的投影，即手指运动平面坐标系三个坐标轴方向上的运动加速度分量。具体而言，运动加速度投影模块34可以根据如下的公式(7)计算手指运动平面坐标系三个坐标轴方向上的运动加速度分量：

W_Mi＝c*W_i  (7)

其中，W_Mi＝(W_Mxi，W_Myi，W_Mzi)^T为时刻i时手指运动平面坐标系三个坐标轴方向上的运动加速度分量。若手指运动平面坐标系和地理坐标系重合，则

其中，

以及而若手指运动平面坐标系和地理坐标系不重合，则通过上述公式(7)以及上述c的计算公式可以计算得到地理坐标系三个坐标轴方向上的运动加速度分量，因此，需要进一步根据手指运动平面坐标系和地理坐标系之间的夹角将上述运动加速度分量投影到手指运动平面坐标系。

在得到上述运动加速度在手指运动平面三个坐标轴方向上的运动加速度分量后，处理器2中的定位单元22将根据下面公式(8)计算得到手指在手指运动平面上的运动轨迹，并根据计算得到的运动轨迹确定手指在键盘上的位置。另外，为了实现手指的精确定位，在本发明的实施例中，还可以设定当操作者的手呈现正常姿势时，其手指在虚拟键盘上的位置是固定的。

$S_{x(i+1)}=S_{\mathrm{xi}}-\left(\underset{k=i}{\overset{i+4}{\mathrm{\Σ}}}{W}_{\mathrm{Mxk}}\mathrm{\Δt}\right)\mathrm{\ΔT}+\left(\underset{k=i+5}{\overset{i+9}{\mathrm{\Σ}}}{W}_{\mathrm{Mxk}}\mathrm{\Δt}\right)\mathrm{\ΔT}---\left(8\right)$

$S_{y(i+1)}=S_{\mathrm{yi}}-\left(\underset{k=i}{\overset{i+4}{\mathrm{\Σ}}}{W}_{\mathrm{Myk}}\mathrm{\Δt}\right)\mathrm{\ΔT}+\left(\underset{k=i+5}{\overset{i+9}{\mathrm{\Σ}}}{W}_{\mathrm{Myk}}\mathrm{\Δt}\right)\mathrm{\ΔT}$

其中，S₀＝(S_x0，S_y0)为手指的运动在手指运动平面坐标系中运动轨迹的初始值，

ΔT＝5Δt。

此外，在得到上述运动加速度在手指运动平面三个坐标轴方向上的运动加速度分量后，按键动作识别单元23将根据运动加速度在垂直于手指运动平面方向上的运动加速度分量判断是否有按键动作。例如，一种简单的按键动作的模糊识别方式为根据多次的试验仿真过程确定按键动作的识别模型，其中，建立运动加速度在垂直于手指运动平面方向上的运动加速度分量的阈值，当所述运动加速度分量大于该阈值时，即判断有按键动作，相反，则判断没有按键动作；此外，利用所述运动加速度分量的变化来判断按键的力度和时间，当变化快时，判断按键的力度大、时间短，当变化慢时，判断按键的力度小、时间长。实际应用中，可以使用应用于特征提取与识别技术中的神经元网络的学习方法，例如可以采用径向基函数(RBF)神经网络或者三次样条函数拟合等神经网络模型进行特征提取与识别以准确地判断是否有按键动作及按键力度和时间，具体而言，首先对按键动作、按键力度和按键时间进行神经元网络的训练，得到合适的特征值，再通过对垂直于手指运动平面方向上的运动加速度分量进行神经元网络的训练分析，将分析结果与得到的特征值进行对比，来判断是否有按键的动作，并在确定有按键动作时进一步计算按键的力度和时间。具体可以采用的模糊识别及神经网络识别等识别算法是已有技术，在此不再详述。

需要说明的是，上述处理器2将分别对每个指部传感模块1上报的数据进行分析，分别定位每个手指并分别识别每个手指的按键动作。

从上述实施例可以看出，本发明实施例所提供的信息输入装置通过对每个手指运动的运动加速度信息以及运动角度进行分析可以得到每个手指在键盘上的位置，识别出按键的动作，因此可以实现信息输入。并且，上述实施例还可以进一步确定按键的力度以及时间，因此，本实施例所述的信息输入装置可以应用到虚拟乐器的演奏中。

此外，考虑到操作者在进行键盘输入的时候，其手腕相对于手指来说运动方向是存在限制的。例如，操作者在键盘上打字时，手腕基本上是在水平平面内运动，也就是在x轴和y轴确定的平面内运动，此时可以认为手腕在z轴方向上的运动分量为0。同样，当打字停顿的时候，习惯性地，手腕可能会稍稍抬起，即此时手腕在z轴方向上的运动分量将不为零。相应地，此时操作者的手指也会在z轴方向上产生运动分量，但是该运动分量对判断手指按键动作是没有实际意义的，因此，在实际的应用中可以利用手腕的运动来校正手指的运动。

为了利用手腕的运动来校正手指的运动，本发明的实施例还给出了另一种信息输入装置。如图3所示，该信息输入装置在图1所示结构的基础之上进一步包括：一个连接到处理器2的腕部传感模块3，包括三个相互垂直放置的加速度传感器11’以及三个相互垂直放置的磁场传感器12’，其中，上述三个垂直放置的加速度传感器11’确定的坐标系和上述三个相互垂直放置的磁场传感器12’确定的坐标系重合，记为腕部坐标系；上述三个加速度传感器11’用于测量腕部坐标系三个坐标轴方向上的加速度分量；三个磁场传感器12’用于测量腕部坐标系三个坐标轴方向上的磁场分量。此时，处理器2将根据每个指部传感模块1输出的每个手指坐标系三个坐标轴方向上的加速度分量和磁场分量以及腕部传感模块3输出的腕部坐标系三个坐标轴上的加速度分量和磁场分量分别定位每个手指并识别手指的按键动作

在应用上述信息输入装置的过程中，上述腕部传感模块3将固定在操作者的腕部。而且上述腕部传感模块3可以通过有线或无线的方式连接到上述处理器2。例如，腕部传感模块3可以通过蓝牙(Blue Tooth)方式连接处理器2。

上述腕部传感模块3可以作为五个指部传感模块1的基准，起到标定作用，以消除指部传感模块1中加速度传感器11和磁场传感器12测量结果的积累误差。具体而言，除了运动加速度确定单元21、定位单元22以及按键动作识别单元23之外，处理器2可以进一步包括腕部运动加速度确定单元24，用于对腕部传感模块3上报的腕部坐标系三个坐标轴方向上的加速度分量以及磁场分量采用上述的公式(1)至公式(7)所示的计算方法确定腕部在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；以及运动加速度修正单元25，用于利用腕部在手指运动平面坐标系三个坐标轴方向上的运动加速度分量修正每个手指在手指运动平面坐标系三个坐标轴方向上的运动加速度分量，从而减少积累误差。在实际应用中，可以根据大量的实验结果确定经验公式实现上述修正。此时，定位单元22和按键动作识别单元23将根据修正后的每个手指在手指运动平面坐标系三个坐标轴方向上的运动加速度分量对手指进行定位以及识别手指的动作。

除了上述信息输入装置之外，本发明的实施例还提供了一种信息输入方法，其操作流程如图4所示，主要包括如下步骤：

步骤401：通过指部传感模块1中的三个相互垂直放置的加速度传感器11获取手指坐标系三个坐标轴方向上的加速度分量；

步骤402：通过指部传感模块1中的三个相互垂直放置的磁场传感器12获取手指坐标系三个坐标轴方向上的磁场分量；

步骤403：根据手指坐标系三个坐标轴方向上的加速度分量以及磁场分量定位该手指并识别手指的动作。

在本实施例中，上述步骤403具体包括：

步骤501：根据手指坐标系三个坐标轴方向上的加速度分量以及磁场分量确定手指的运动在手指运动平面坐标系三个坐标轴x，y以及z方向上的运动加速度分量；

步骤502：根据手指的运动在手指运动平面坐标系中x和y两个坐标轴方向上的运动加速度分量计算手指在手指运动平面上的运动轨迹，完成手指的定位，并根据手指的运动在手指运动平面坐标系中z坐标轴方向上(即垂直于手指运动平面方向上)的运动加速度分量判断是否有按键动作，如果有，则进一步计算按键力度以及按键时间。

在本步骤中，可以采用公式(8)计算手指在手指运动平面上的运动轨迹。

具体而言，上述步骤501将具体包括：

步骤601：在操作者的手处于正常姿态时，根据手指坐标系三个坐标轴方向上的重力加速度分量和磁场分量确定运动初始状态下该手指相对于由地理磁场所确定的地理坐标系的运动角度的初始值。

在本步骤中，可以采用上述公式(1)至(3)确定运动角度的初始值。

步骤602：在手指的运动过程中根据手指坐标系三个坐标轴方向上的磁场分量的变化量确定运动角度的动态变化量。

在本步骤中，可以采用上述公式(4)确定运动角度的动态变化量。

步骤603：在手指的运动过程中根据运动角度的动态变化量得到手指坐标系三个坐标轴上的重力加速度分量，并从手指坐标系三个坐标轴方向上的加速度分量中去除相应坐标轴上的重力加速度分量，得到手指坐标系三个坐标轴方向上的运动加速度分量。

在本步骤中，可以采用公式(5)计算手指坐标系三个坐标轴上的重力加速度分量；然后采用公式(6)计算手指坐标系三个坐标轴方向上的运动加速度分量。

步骤604：根据运动角度的初始值以及运动角度的动态变化量得到手指运动平面坐标系三个坐标轴方向上的运动加速度分量。

在本步骤中，可以采用公式(7)计算手指运动平面坐标系三个坐标轴方向上的运动加速度分量。

此外，为了利用手腕的运动来校正手指的运动，上述实施例在步骤403之前还可以进一步包括：

步骤4011：通过腕部传感模块3中的三个相互垂直放置的加速度传感器11获取腕部坐标系三个坐标轴方向上的加速度分量；

步骤4021：通过腕部传感模块3中的三个相互垂直放置的磁场传感器12获取腕部坐标系三个坐标轴方向上的磁场分量。

此时，在步骤403的执行过程中将在执行步骤502之前进一步包括：

步骤5011：根据腕部坐标系三个坐标轴方向上的加速度分量以及磁场分量确定腕部的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；

步骤5012：根据腕部的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量修正手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量。

此时，在步骤502将根据修正后的手指运动平面坐标系中x和y两个坐标轴方向上的运动加速度分量计算手指在手指运动平面上的运动轨迹，完成手指的定位，并根据修正后的运动加速度在手指运动平面坐标系中z坐标轴方向上(即垂直于手指运动平面方向上)的加速度分量判断是否有按键动作，如果有，则进一步计算按键力度以及按键时间。

本发明实施例所提供的信息输入方法通过对每个手指运动的运动加速度信息以及运动角度进行分析可以得到每个手指在键盘上的位置，识别出按键的动作，因此可以实现信息输入。并且，上述实施例还可以进一步确定按键的力度以及时间，因此，本实施例所述的信息输入装置可以应用到虚拟乐器的演奏中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种信息输入装置，包括：

五个指部传感模块，其中，每个指部传感模块包括三个相互垂直放置的加速度传感器以及三个相互垂直放置的磁场传感器；其中，所述三个相互垂直放置的加速度传感器确定的手指坐标系和所述三个相互垂直放置的磁场传感器确定的手指坐标系重合；所述三个加速度传感器用于测量手指坐标系三个坐标轴方向上的加速度分量；三个磁场传感器用于测量手指坐标系三个坐标轴方向上的磁场分量；以及，

连接于所述五个指部传感模块的处理器，用于根据每个指部传感模块输出的每个手指坐标系三个坐标轴方向上的加速度分量以及每个手指坐标系三个坐标轴方向上的磁场分量分别定位每个手指并识别手指的动作。

2.根据权利要求1所述的信息输入装置，其特征在于，所述处理器包括：

运动加速度确定单元，用于根据每个手指坐标系三个坐标轴方向上的加速度分量以及磁场分量确定每个手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；

定位单元，用于根据每个手指的运动在手指运动平面坐标系中x和y两个坐标轴方向上的运动加速度分量计算每个手指在手指运动平面上的运动轨迹，完成手指的定位；以及，

按键动作识别单元，用于根据每个手指的运动在手指运动平面坐标系中z坐标轴方向上的运动加速度分量判断每个手指是否有按键动作，如果有，则进一步计算按键力度以及按键时间。

3.根据权利要求2所述的信息输入装置，其特征在于，所述运动加速度确定单元包括：

初始状态检测模块，用于在操作者的手处于正常姿态时，根据每个手指坐标系三个坐标轴方向上的重力加速度分量以及该手指坐标系三个坐标轴方向上的磁场分量确定运动初始状态下该手指相对于由地理磁场所确定的地理坐标系的运动角度的初始值；

运动角度检测模块，用于在运动过程中根据每个手指坐标系三个坐标轴方向上的磁场分量的变化量确定该手指的运动角度的动态变化量；

重力加速度去除模块，用于根据每个手指的运动角度的动态变化量得到该手指坐标系三个坐标轴上的重力加速度分量，并从该手指坐标系三个坐标轴方向上的加速度分量中去除相应坐标轴上的重力加速度分量，得到该手指坐标系三个坐标轴方向上的运动加速度分量；以及，

运动加速度投影模块，用于根据每个手指的运动角度的初始值以及运动角度的动态变化量得到每个手指在手指运动平面坐标系三个坐标轴方向上的运动加速度分量。

4.根据权利要求1所述的信息输入装置，其特征在于，进一步包括：

一个连接到处理器的腕部传感模块，包括三个相互垂直放置的加速度传感器以及三个相互垂直放置的磁场传感器，其中，所述三个相互垂直放置的加速度传感器确定的腕部坐标系和所述三个相互垂直放置的磁场传感器确定的腕部坐标系重合；所述三个加速度传感器用于测量腕部坐标系三个坐标轴方向上的加速度分量；所述三个磁场传感器用于测量腕部坐标系三个坐标轴方向上的磁场分量；

所述处理器用于根据每个指部传感模块输出的每个手指坐标系三个坐标轴方向上的加速度分量以及每个手指坐标系三个坐标轴方向上的磁场分量以及腕部传感模块输出的腕部坐标系三个坐标轴上的加速度分量和磁场分量分别定位每个手指并识别手指的按键动作。

5.根据权利要求4所述的信息输入装置，其特征在于，所述处理器包括：

运动加速度确定单元，用于根据每个手指坐标系三个坐标轴方向上的加速度分量以及磁场分量确定每个手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；

腕部运动加速度确定单元，用于根据腕部传感模块上报的腕部坐标系三个坐标轴方向上的加速度分量以及磁场分量确定腕部的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；

运动加速度修正单元，用于利用腕部的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量修正每个手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度；

定位单元，用于根据修正后的每个手指的运动在手指运动平面坐标系中x和y两个坐标轴方向上的运动加速度分量计算每个手指在手指运动平面上的运动轨迹，完成手指的定位；以及，

按键动作识别单元，用于根据修正后的每个手指的运动在手指运动平面坐标系中z坐标轴方向上的运动加速度分量判断每个手指是否有按键动作，如果有，则进一步计算按键力度以及按键时间。

6.一种信息输入方法，其特征在于，包括：

通过指部传感模块中的三个相互垂直放置的加速度传感器获取手指坐标系三个坐标轴方向上的加速度分量；

通过指部传感模块中的三个相互垂直放置的磁场传感器获取手指坐标系三个坐标轴方向上的磁场分量；

根据手指坐标系三个坐标轴方向上的加速度分量以及磁场分量定位该于指并识别手指的按键动作。

7.根据权利要求6所述的信息输入方法，其特征在于，根据手指坐标系三个坐标轴方向上的加速度分量以及磁场分量定位手指并识别手指的按键动作包括：

根据手指坐标系三个坐标轴方向上的加速度分量以及磁场分量确定手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；以及，

根据手指的运动在手指运动平面坐标系中x和y两个坐标轴方向上的运动加速度分量计算手指在手指运动平面上的运动轨迹，完成手指的定位，并根据手指的运动在手指运动平面坐标系中z坐标轴方向上的运动加速度分量判断是否有按键动作，如果有，则进一步计算按键力度以及按键时间。

8.根据权利要求7所述的信息输入方法，其特征在于，所述确定手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量包括：

在操作者的手处于正常姿态时，根据手指坐标系三个坐标轴方向上的重力加速度分量和磁场分量确定运动初始状态下该手指相对于由地理磁场所确定的地理坐标系的运动角度的初始值；

在手指的运动过程中根据手指坐标系三个坐标轴方向上的磁场分量的变化量确定运动角度的动态变化量；

根据运动角度的动态变化量得到手指坐标系三个坐标轴上的重力加速度分量，并从手指坐标系三个坐标轴方向上的加速度分量中去除相应坐标轴上的重力加速度分量，得到手指坐标系三个坐标轴方向上的运动加速度分量；以及，

根据运动角度的初始值以及运动角度的动态变化量得到手指运动平面坐标系三个坐标轴方向上的运动加速度分量。

9.根据权利要求7所述的信息输入方法，其特征在于，在根据手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量计算手指在手指运动平面上的运动轨迹之前进一步包括：

通过腕部传感模块中的三个相互垂直放置的加速度传感器获取腕部坐标系三个坐标轴方向上的加速度分量；

通过腕部传感模块中的三个相互垂直放置的磁场传感器获取腕部坐标系三个坐标轴方向上的磁场分量；

根据腕部坐标系三个坐标轴方向上的加速度分量以及磁场分量确定腕部的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量；以及，

根据腕部的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量修正手指的运动在手指运动平面坐标系三个坐标轴方向上的运动加速度分量。

10.根据权利要求8所述的信息输入方法，其特征在于，所述运动角度包括俯仰角、横滚角以及航向角；其中，

采用如下公式计算俯仰角和横滚角的初始值：

其中，

为俯仰角的初始值；θ₀为横滚角的初始值；(g_x0，g_y0，g_z0)^T为操作者的手处于正常姿态时在手指坐标系三个坐标轴方向上的重力加速度分量；

采用如下的公式计算航向角的初始值：

${\mathrm{\ψ}}_0=\arctan (H_y^n/H_x^n)$

其中，ψ₀为航向角的初始值；

和可以通过如下公式计算得到：

其中，(C_x0，C_y0，C_z0)^T为操作者的手处于正常姿态时在手指坐标系三个坐标轴方向上的磁场分量。

11.根据权利要求10所述的信息输入方法，其特征在于，采用如下公式计算运动角度的动态变化量：

其中，

为从时刻i到时刻i+1航向角，俯仰角以及横滚角的动态变化量，i为大于或等于零的整数；(C_xi，C_yi，C_zi)^T和(C_xi+1，C_yi+1，C_zi+1)^T分别为在时刻i和i+1时在手指坐标系三个坐标轴方向上的磁场分量。

12.根据权利要求11所述的信息输入方法，其特征在于，采用如下公式计算当前时刻手指坐标系三个坐标轴方向上的重力加速度分量：

其中，(g_xi，g_yi，g_zi)^T和(g_xi+1，g_yi+1，g_zi+1)^T分别为在时刻i和i+1时手指坐标系三个坐标轴方向上的重力加速度分量。

13.根据权利要求11所述的信息输入方法，其特征在于，根据如下的公式计算手指运动平面坐标系三个坐标轴方向上的运动加速度分量：

                    W_Mi＝c*W_i

其中，

其中，

以及W_i＝(W_xi，W_yi，W_zi)^T为在时刻i时手指坐标系三个坐标轴方向上的运动加速度分量；W_Mi＝(W_Mxi，W_Myi，W_Mzi)^T为时刻i时手指运动平面坐标系三个坐标轴方向上的运动加速度。

14.根据权利要求13所述的信息输入方法，其特征在于，根据下面公式计算得到手指在手指运动平面上的运动轨迹：

$S_{x(i+1)}=S_{\mathrm{xi}}-\left(\underset{k=i}{\overset{i+4}{\mathrm{\Σ}}}{W}_{\mathrm{Mxk}}\mathrm{\Δt}\right)\mathrm{\ΔT}+\left(\underset{k=i+5}{\overset{i+9}{\mathrm{\Σ}}}{W}_{\mathrm{Mxk}}\mathrm{\Δt}\right)\mathrm{\ΔT}$

$S_{y(i+1)}=S_{\mathrm{yi}}-\left(\underset{k=i}{\overset{i+4}{\mathrm{\Σ}}}{W}_{\mathrm{Myk}}\mathrm{\Δt}\right)\mathrm{\ΔT}+\left(\underset{k=i+5}{\overset{i+9}{\mathrm{\Σ}}}{W}_{\mathrm{Myk}}\mathrm{\Δt}\right)\mathrm{\ΔT}$

其中，S₀＝(S_x0，S_y0)为手指的运动在手指运动平面坐标系中运动轨迹的初始值，

Δt为采样的时间间隔，ΔT＝5Δt。

Images