CN102778951A - 使用虚拟按键的输入设备及输入方法 - Google Patents

Abstract

本发明公开了使用虚拟按键的输入设备及输入方法。所述输入设备包括：投影模块，用于将键位影像投射到物理平面；摄像模块，用于拍摄所述键位影像以及所述物理平面上的手指影像；模数转换模块，所述模数转换模块与摄像模块连接，将所述键位影像、手指影像转换成数字图像序列；手指模型库，用于存储手指模型；处理模块，所述处理模块与所述模数转换模块、手指模型库连接，根据所述数字图像序列、手指模型识别出手指敲击的键位，并产生对应的输入信号。实施本发明，不需要实体键位就能够实现输入，并且结构简单，成本低廉，便于携带。

Description

使用虚拟按键的输入设备及输入方法

【技术领域】

本发明涉及信息输入，尤其涉及一种使用虚拟按键输入设备及其输入方法。

【背景技术】

键盘是最常见最主要的计算机输入设备，它广泛应用于微型计算机和各种终端设备上。计算机操作者通过键盘向计算机输入各种指令、数据，指挥计算机的工作。计算机的运行情况输出到显示器，操作者可以很方便地利用键盘和显示器与计算机对话，对程序进行修改、编辑、控制和观察计算机的运行。

常见的键盘主要是具有实体按键的键盘。触点式实体按键键盘主要通过触点的通断实现信号的输入。无触点式实体按键键盘主要通过霍尔效应和电容开关实现信号的输入。传统的实体按键键盘具有成本低、制造方便的优点，其主要缺点是按键之间存在的间隙比较大，容易藏污纳垢，难以清洁，从而导致按键失灵。另外，实体按键上印有所需国家语言的字码和符号用以标记。一旦键盘的字码和符号印上后则无法更改。当使用者需要在各国语言之间进行切换时，传统的实体键盘无法根据需要更换所需的键盘界面。此外，传统的实体按键键盘还具有体积大、携带不变的缺点。

因此，亟需一种改良的输入设备。

【发明内容】

本发明一方面提供一种使用虚拟按键的输入方法，所述输入方法包括以下步骤：将键位影像投射到物理平面；拍摄投射后的键位影像以及所述物理平面上的手指影像；将所拍摄的键位影像和手指影像转换成数字图形序列；根据手指模型和所述数字图像序列识别出手指敲击的键位，并产生对应的输入信号。

作为一种改进方案，以预设的时间间隔拍摄所述键位影像和手指影像。

作为一种改进方案，所述输入方法包括：根据所述数字图像序列中相邻的两帧或多帧数字图像识别出活动的手指。

作为一种改进方案，所述手指模型包括骨架模型和指尖模型；所述根据手指模型和数字图像序列识别出手指敲击的键位的步骤包括：根据所述指尖模型识别出所述数字图像序列的指尖，根据所述骨架模型识别出所述数字图像序列的手指运动，根据所述手指运动以及指尖判断是否出现击键动作。

作为一种改进方案，根据骨架模型识别出所述数字图像序列的手指运动的步骤包括：识别手指的节点，所述节点包括手指每个关节处的节点以及指尖的节点；根据所述数字图像序列寻找出所有节点的轨迹；根据所述所有节点的轨迹获取手指的轨迹信息；根据所述手指的轨迹信息提取当前活动的手指信息。

本发明的另一方面提供一种使用虚拟按键的输入设备，所述输入设备包括：投影模块，用于将键位影像投射到物理平面；摄像模块，用于拍摄所投射的键位影像以及所述物理平面上的手指影像；模数转换模块，所述模数转换模块与摄像模块连接，将所述键位影像、手指影像转换成数字图像序列；手指模型库，用于存储手指模型；处理模块，所述处理模块与所述模数转换模块、手指模型库连接，根据所述数字图像序列、手指模型识别出手指敲击的键位，并产生对应的输入信号。

作为一种改进方案，所述投影模块的光源为发光二极管或激光二极管。

作为一种改进方案，所述输入设备包括柔性物件，用于提供所述物理平面。

作为一种改进方案，所述手指模型包括骨架模型和指尖模型，所述指尖模型用于识别出所述数字图像序列的指尖，所述骨架模型用于识别出所述数字图像序列的手指运动位置，以识别出击键动作。

作为一种改进方案，所述输入设备还包括键位模块，所述键位模块接收用户的设定以改变键位方案，并向所述投影模块提供改变后的键位方案。

实施本发明，不需要实体键位就能够实现输入，并且结构简单，成本低廉。

【附图说明】

图1是本发明一实施例提供的使用虚拟键位的输入设备的示意框图；

图2是本发明另一实施例提供的输入设备的示意框图；

图3是本发明一实施例使用虚拟键位的输入方法的流程图；

图4是本发明一实施例采用的骨架模型的示意图；

图5是本发明一实施例采用的检测手指中心线的示意图；

图6是本发明一实施例采用的指尖模型；

图7是把手指节点归类后的手指模型信息；

图8是本发明一实施例使用骨架模型识别手指击键的流程图。

【具体实施方式】

参考图1，本发明的一个实施例中提供的使用虚拟按键的输入设备包括投影模块11、摄影模块13、模数转换模块15、处理模块17和手指模型库19。其中，投影模块11将键位影像投射到物理平面12，每个键位影像表示一个按键，供用户敲击。应当意识到，物理平面12的作用主要是用来显示键位的投影，因此，物理平面12可以是严格平坦的平面，也可以是大致平整的面；可以是某种刚性平面，也可以是某种柔性物件的表面，例如，该柔性物件是可以折叠或者收卷的塑料件，以便于携带。摄像模块13物理平面的拍摄键位影像以及物理平面上的手指影像。模数转换模块15与摄像模块13连接，将键位影像、手指影像转换成数字图像序列。处理模块17与模数转换模块15、手指模型库19连接。手指模型库19存储手指模型，供处理模块17调用。处理模块17根据数字图像序列、手指模型识别出手指敲击的键位，并产生对应的输入信号。

投影模块11可以与输入设备的其他零部件分离，其光源可以是发光二极管或激光二极管。每个键位具有特定信息，以供处理单元17识别。替换地，投影模块11也可以与输入设备的其他零部件组装成一个整体。

手指模型库19中存储的手指模型包括骨架模型和指尖模型，指尖模型用于识别出数字图像序列的指尖，骨架模型用于识别出数字图像序列的手指运动位置，以识别出击键动作。

参考图2，另一实施例提供的输入设备与图1所示的输入设备的主要区别是，该输入设备还包括键位模块21。键位模块21用于接收用户的设定以改变键位方案，并向投影模块提供改变后的键位方案。在该实施例中，键位模块21与投影模块11连接，因此，投影模块11投影出的虚拟键盘键位可根据用户习惯进行设定，以轻松地切换不同的键位方案，满足各国使用者不同语言的需求。

在另一个实施例中，输入设备还包括与处理模块17通信连接的蓝牙模块，用于将处理模块17产生对应的输入信号的通过蓝牙发送出去。例如，发送给具有蓝牙接收模块的笔记本电脑、平板电脑等。

参考图3，在一个实施例中，使用虚拟按键进行输入时，在初始化过程中，通过投影模块将键位影像投射到物理平面，通过摄像模块拍摄键位影像，然后识别各键位所在位置。

拍摄模块还拍摄物理平面上的手指影像。接着，模数转换模块将所拍摄的键位影像和手指影像转换成数字图形序列。

接着，处理模块根据手指模型和数字图像序列进行分析，判断是否发生击键事件。如果没有发生击键事件，则继续获取和分析后续的图像序列。如果发生击键事件，就识别指尖所谓位置，识别出手指敲击的键位，并产生对应的输入信号。

接着，如果继续输入，则流程继续获取和分析数字图像序列。否则，流程结束。

对应地，对于具有蓝牙模块的方案，那么，在产生对应的输入信号之后，还包括通过蓝牙把所产生的输入信号发送出去。

优选地，以预设的时间间隔拍摄键位影像和手指影像，以减少数据处理量。

本实例中，采用一种骨架模型对手部进行运动分析。该模型认为手部是由一系列的节点组成的，如图4所示，其中，拇指有3个节点J₁至J₃，其他四个手指各有4个节点，即，手指的每个关节为一个节点，每个手指的指尖也是节点。通过对图像序列中各个节点的运动进行分析，挑选出符合敲击事件规律的手指，并得出敲击时该手指指尖所处位置，由此得到所敲击的键位。

下面描述如何检测手指的节点。

本模型中，数字图像序列中，属于一个手指的条件有：

①.手指的色彩密度一致，该一致可以是严格一致或者大体一致。

②.手指由两条近似平行的线组成。

③.手指有一个弯曲的指尖。

④.手指的柱状部分和弯曲的部分在指尖相交。

⑤.手指的长宽比在一定范围以内。

手指检测的第一步：平行线（柱状体）

⑴.使用Burns算法找出图像中所有直线，并把直线用极坐标形式表示：ρ＝ycosθ+xsinθ。

⑵.确定一对平行线，如果两条直线的θ值相差不超过15度，我们就认为这两条直线为平行线。

⑶.对于一对候选的平行线，先找到它们对应的中心线，如图5所示。利用这条中心线30来消除平行线上41和42投影在中心线30上不重叠的部分。投影重叠的部分，称之为“交叉部分”。为了提取出属于候选柱状体上的像素，首先把每条线41、42上的所有点投影到中心线30上并找出点投影对，所谓点投影对，是投影到中心线30上同一个点的、分别来自于线41和42的一对点。如图5中所示，线41上的点W₁₁和线42上的点W₂₁都投影到中心线上的相同位置，所以点W₁₁和W₂₁是一对点投影对。同样，线41上的点W_1m和线42上的点W_2n也是一对点投影对。

接下来，找出投影点的一维交点以确定中心线30上的交集部分，如图5中所示，中心线30中，点W₁₁和W₂₁的投影点、点W_1m和W_2n的投影点之间，就是属于线41和42的投影部分的交集，或者叫投影的交叉部分（如图5中，中心线30的加粗部分所示）。确定了平行线上投影到中心线上交集部分的点后，就通过线性内插函数提取出平行线上的点W₁₁和W₂₁、W_1m和W_2n。W₁₁和W₂₁与对应投影点的连线、W_1m和W_2n与对应投影点的连线、线41中点W₁₁与W_1m之间的部分、线42中点W₂₁与W_2n之间的部分，就定义了柱状体。

为了判断一个柱状体是否是一根手指，诸如长度、宽度、面积、平均值以及方差色度等属性都要检测。例如，为了满足手指的色彩密度条件，手指的方差必须要小。通过以上的步骤，基本上找出了符合条件的候选的手指平行线。

手指检测的第二步：弯曲的指尖

本文使用一个改进的寻人算法来寻找弯曲的指尖，指尖模型的数目增加到8个，如图6所示，这些模型可以描述任意方向的指尖。图6的指尖模型中，“×”代表指尖的顶部。对于实验图片的Canny边缘，同一个方向的相邻像素组成一组，每一组的中心点被标记为候选指尖。然后针对每一个候选指尖，依据其方向来选择合适的模板与之对比，得出匹配度。如果一个模型和一个候选的指尖重叠，模型边缘的k个像素有方向

和单位法向量

匹配度函数如下：

$S(x,y)=\frac{\mathrm{\Σ}{e}^{-0.25D\left(\stackrel{\→}{m_i}\right)}|\stackrel{\→}{{\mathrm{\υ}}_i}.\stackrel{\→}{O}\left(\stackrel{\→}{C}\left(\stackrel{\→}{m_i}\right)\right)|}{k}$

式中D(x,y)是距离(x,y)最近的边缘点的距离，

是距离(x,y)最近的边缘点，

是像素(x,y)的单位导向量。

对于每一个候选指尖，选择两个最接近的模型来计算匹配度，如果其中一个匹配度超过某个阈值，那么就认为该候选指尖为真实的指尖。

通过上面的两步就找到了图片中存在的手指原型，接下来依据一对手指原型之间的相关属性通过对每一种模型类型单独训练的决策树来对这些手指原型进行分类。作为依据的相关属性具有尺度不变性。本文定义了一些与这些属性有关系的特性，例如两个柱状体之间的距离比比较薄的那个柱状体的宽度的比值、较薄的那个柱状体与较厚的那个柱状体之间的比值。确定了这些特性之后，对每一类手指原型训练一种决策树。这些决策树就可以决定两个手指原型是否属于同一只手。

对手指进行分组的第一步：建立决策树

决策树依据以下步骤来建立：

⑴.初试训练数据位于决策树的根节点内，此时根节点是决策树的唯一节点。数据既有数量型属性又有类别型属性。数据中每一种模式都有一个对应的类别标记。

⑵.在找到了最佳的“分裂属性”和“分割点”之后，数据被分成两类。有关领域的技术人员应当意识到，在决策树中，分裂属性指用来将上级节点分成若干下级节点的属性，把一个分割域分割成更小的分割域的点就称为分割点。最佳分割点的意思是指在该点进行数据分割以后，初始节点的子节点比在其他分割点分割后形成的子节点纯度更高。

⑶.决策树一直生长直到所有节点的数据纯度都达到一定的阈值。

⑷.接下来决策树被裁剪以应对训练过度的问题。

⑸.最后，对于初始的树和经过裁剪的版本的树都使用未经过训练的数据进行测试，看它们的表现，选择其中表现最好的作为模型。

正确的判断两个检测的原型是否属于同一只手之后，原型的组也就形成了。

手指分组的第二步：分组和消组

假设一个给定的基本类中有N个检测原型。

①.最初，每一个检测原型都代表不同的组，总共构成了N组，g₁...g_N。每组的代表被称为r₁...r_N。

②.对于每一组g_i，除了r_i之外的所有原型都需要计算它们之间的关系。对于一个给定的原型p，如果使用决策树计算出它们是属于同一类的，那么该原型就被加入到g_i组中。

对于组g内的属于原型类别c的检测原型p，判断p与组g所有其他原型的关系，通过判决树来判断，如果p与组g内其他原型存在关系的比例在50%以上，那么就把p保留在改组内，否则，把它从改组中清楚出去。

经过上述步骤之后，原型都被分入各个组内，接着从各组包含的原型个数上对各组进行剔除，小于3个原型的组被剔除掉。

手指分组的第三步：把原型的组进行合并

对每一种原型种类分组过程中得到了候选手的位置。为了把柱状体的分组和弯曲的指尖的分组融合在一起，必须去检测柱状体与指尖之间的匹配度，匹配度函数matchscore(b,c)的定义如下：

$\mathrm{matchscore}(b,c)=\frac{\mathrm{NumInter}\sec \mathrm{tions}{(b,c)}^2}{\mathrm{widthDiff}{(b,c)}^2+1}$

匹配度必须大于某个阈值。上式中b是一组柱状体，c是一组弯曲的指尖。

$\mathrm{NumInter}\sec \mathrm{tions}(b,c)=\underset{r\∈b}{\mathrm{\Σ}}\underset{p\∈c}{\mathrm{\Σ}}\mathrm{int\; er}\sec \mathrm{ts}(r,p)$

$\mathrm{widthDiff}(b,c)=\underset{r\∈c}{\mathrm{\Σ}}\underset{p\∈c}{\mathrm{\Σ}}\mathrm{int\; er}\sec \mathrm{ts}(r,p)\mathrm{diff}(r,p)$

函数matchscore(b,c)将对b和c的匹配程度给出一个度量。NumInter sec tions是共有多少对柱状体交于指尖内部。int er sec ts(r,p)是一个二值函数，如果柱状体r相交于指尖p的内部，那么该函数返回1，否则，返回0。如果一个柱状体与指尖相交，那么widthDiff(b,c)检测二者指尖宽度的差异，差异越大，所得到的值越小。diff(r,p)给出了柱状体r的宽度与指尖p的直径之间的精确差异。

如果对于b和c来说matchscore(b,c)的值足够大的话，它们就会被融合进一个能够容纳b和c中所有检测到的原型的最小的矩形以内。

当手指弯曲时，通过柱状体的交点，我们就可以得到手指上的节点，并把节点用sift算子描述，以利于后面节点的匹配。

3.如何通过节点的变化进行手指的运动分析

第一步：提取手指的轨迹信息

如图4所示，一只手由19个节点组成，每个节点被定义为

J_i＝[J_x，i，J_y,i]                    (1)

上式中J_x,i和J_y,i定义了第i个节点在帧F(x,y)中的（x,y）坐标系中的位置。记录某个节点在m帧图像中的位置就构成了该节点的轨迹，定义为T_i＝[J_i(1)J_i(2)...J_i(m)...J_i(M)]。所有节点的轨迹被定义为T＝[T₁T₂...T_i...T_k]^T，其中T_i表示第i个节点在m帧图像中的轨迹。所有的信息被存放在一个M*N的矩阵T内，矩阵T定义如下：

第二步：手指信息的模糊化处理

令G＝{G₁G₂...G_j...G_L}代表预先保存的击键姿势的模板。每个G_j对应键盘上的一个键c_j。G_j通过离线训练阶段学习并保存。令J_i,T(m)作为第i个节点在第m帧上瞬间轨迹T上的位置，令

作为同一个节点在预存的手势G_j上的位置。定义瞬间轨迹T与预存的姿势轨迹G_j之间的隶属关系的模糊关系函数如下：

${\mathrm{\μ}}_{T,G_j}=1-d_j$

其中， $d_j=\underset{m}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{D}_{\mathrm{ij}}/W$

$D_{\mathrm{ij}}=\left|\right|J_{i,T}\left(m\right),J_{i,G_j}\left(m\right)\left|\right|$

$W=\underset{j}{\max }\left(\underset{m}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{D}_{\mathrm{ij}}\right)$

模糊关系函数

的输出在0到1之间。‘0’代表二者之间没有关系，‘1’代表二者之间关系最近，即一样。

第三步：当前活动手指信息的模糊化表示

形成击键效果的手指被提取出来，并被命名为当前活动手指。相同的节点被分类为J_pq(x,y)，J_pq(x,y)表示节点q在手指p上的位置，如图7所示，q＝1，...,4表示手指上的总结点数，p=1，...,5表示每只手上的手指总数。

综上所述，使用手指骨架模型识别用户的击键输入的过程如图8所示：拍摄模块获取视频之后，将视频转换成数字图像序列，然后进行帧提取并进行预处理，例如手的探测与手指的分割。

接着，对手指进行节点提取，根据提取的节点估计手指的运动，并进行模糊化。另一方面，对轨迹队列进行模糊化，然后进行视频获取和解模糊化。

对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种使用虚拟按键的输入方法，其特征在于，包括以下步骤：

将键位影像投射到物理平面；

拍摄投射后的键位影像以及所述物理平面上的手指影像；

将所拍摄的键位影像和手指影像转换成数字图形序列；

根据手指模型和所述数字图像序列识别出手指敲击的键位，并产生对应的输入信号。

2.根据权利要求1所述的输入方法，其特征在于，以预设的时间间隔拍摄所述键位影像和手指影像。

3.根据权利要求2所述的输入方法，其特征在于，所述输入方法包括：根据所述数字图像序列中相邻的两帧或多帧数字图像识别出活动的手指。

4.根据权利要求1至3中任意一项所述的输入方法，其特征在于：

所述手指模型包括骨架模型和指尖模型；

所述根据手指模型和数字图像序列识别出手指敲击的键位的步骤包括：根据所述指尖模型识别出所述数字图像序列的指尖，根据所述骨架模型识别出所述数字图像序列的手指运动，根据所述手指运动以及指尖判断是否出现击键动作。

5.根据权利要求4所述的输入方法，其特征在于，所述根据骨架模型识别出所述数字图像序列的手指运动的步骤包括：

识别手指的节点，所述节点包括手指每个关节处的节点以及指尖的节点；

根据所述数字图像序列寻找出所有节点的轨迹；

根据所述所有节点的轨迹获取手指的轨迹信息；

根据所述手指的轨迹信息提取当前活动的手指信息。

6.一种使用虚拟按键的输入设备，其特征在于，包括：

投影模块，用于将键位影像投射到物理平面；

摄像模块，用于拍摄投射后的键位影像以及所述物理平面上的手指影像；

模数转换模块，所述模数转换模块与摄像模块连接，将所述键位影像、手指影像转换成数字图像序列；

手指模型库，用于存储手指模型；

处理模块，所述处理模块与所述模数转换模块、手指模型库连接，根据所述数字图像序列、手指模型识别出手指敲击的键位，并产生对应的输入信号。

7.根据权利要求6所述的输入设备，其特征在于，所述投影模块的光源为发光二极管或激光二极管。

8.根据权利要求6所述的输入设备，其特征在于，所述输入设备还包括蓝牙模块，所述蓝牙模块与处理模块通信连接，用于将所述产生的输入信号发送出去。

9.根据权利要求6所述的输入设备，其特征在于，所述手指模型包括骨架模型和指尖模型，所述指尖模型用于识别出所述数字图像序列的指尖，所述骨架模型用于识别出所述数字图像序列的手指运动位置，以识别出击键动作。

10.根据权利要求6至9中任意一项所述的输入设备，其特征在于，所述输入设备还包括键位模块，所述键位模块接收用户的设定以改变键位方案，并向所述投影模块提供改变后的键位方案。

Images