CN102147707B - 一种基于笔划的多指触控手势识别方法 - Google Patents

Abstract

本发明公开了一种基于笔划的多指触控手势识别方法，属于人机交互领域。本方法为：1)提取用户在触控设备上所输入触控手势的触控点信息；2)将具有相同ID的触控点构建为触控笔划；3)对构建的触控笔划进行去冗余处理；4)检查3)处理后的触控笔划，当一触控笔划的末点触控点时间和坐标与另一触控笔划的起点触控点时间和坐标对应差值分别小于设定阈值，则连接这两个触控笔划；5)将4)处理后的触控笔划构成的手势与手势库中的手势进行匹配，得到输入触控手势的类型。本发明支持更加自由的触控手势输入，鲁棒性强；可以支持更多的触控手势的识别，为触控设备提供了更大的触控手势集合。

Description

一种基于笔划的多指触控手势识别方法

技术领域

本发明属于人机交互领域，具体涉及一种基于笔划的多指触控手势识别方法。

背景技术

目前，iPhone、iPad、桌面设备等多触控设备变得越来越流行。这些触控设备在我们的日常生活中发挥着重要的作用。手指或手触控是这些设备的主要输入通道。这种交互方式被广泛应用于一些平台上，如iPhone OS、Windows Phone 7、Android、Wacom、GestureWorks、Microsoft Surface等。然而，这些系统只支持少量预定义的多指触控手势。用户需要严格的使用这些手势，否则手势不能被正确识别。例如，放缩一个对象常常使用基于两个手指的pinch手势。当多于两个手指被不经意地放到触控平面上时，系统可能不能正确识别触控手势，因而不能完成放缩任务。类似地，当用户通过拖拽移动对象的时候，手指需要与触控面一直接触直到对象到达目标位置。偶然抬起手指将被认为是移动操作的结束。因此，对象被放置在错误的位置。这种对用户触控行为的约束限制了多指触控交互的适应性。

用户需要严格遵循系统定义的多触控手势，对扩展多指触控手势的范围也提出了挑战。用户更喜欢自己定义的手势，这些用户定义的手势比已有的手势更加灵活(参考文献：Wobbrock，J.O.，Morris，M.R.and Wilson，A.D.User-defined gestures for surface computing.InProc.CHI 2009，1083-1092.)。当用户自定义手势时，用户并不关心手势输入时所采用的手指的个数。尽管开发者可以使用GestureWorks等手势库建立新的手势，已有的手势识别方法大部分为特定手势设计，如pinch和flick。由于新手势需要新的模块来识别新手势，这些库难于识别用户定义的手势。

因此，目前已有的多触控手势识别方法要求用户按照给定的方式输入手势，并不支持用户自定义的手势的识别。

触控手势识别面临如下挑战(如图2所示)：a)冗余输入，由用户不经意的触摸、用户同步的多个手指输入引起；b)间断的输入，由用户无意识的抬起引起；c)手指输入的变形；d)笔划顺序的不一致性。图2中每行中的三幅图分别反映触控手势的接触面积、位置信息，按照手指ID区分的笔划信息，以及按照时间顺序连接得到的笔划。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种基于笔划的多指触控手势识别方法，从而提高多触控手势的鲁棒性并扩展多触控手势的集合。基于笔划的多指触控手势的定义不依赖于手指的个数、接触区域的形状或面积，将触控手势抽象为一个或多个笔划。其识别过程采用笔划匹配的方法识别多指触控手势。

本发明的技术方案为：

一种基于笔划的多指触控手势识别方法，其步骤为：

1)提取用户在触控设备上所输入触控手势的触控点信息；其中，所述触控点信息包括：

当前触控手指的标识ID、当前触控点的位置(x，y)、触控点的时间time；

2)根据所提取触控手势的触控点信息，将具有相同ID的触控点构建为触控笔划；

3)对构建的触控笔划进行去冗余处理，即：对于同一时间段的任意两个触控笔划A和B，如果A和B中具有相同时刻的触控点之间距离的最大值、最小值之差与平均值的比值介于设定阈值L1、L2之间，则删除其中一触控笔划；

4)检查3)处理后的触控笔划，当一触控笔划的末点触控点时间和坐标与另一触控笔划的起点触控点时间和坐标对应差值分别小于设定阈值，则连接这两个触控笔划；

5)将4)处理后的触控笔划构成的手势与手势库中的手势进行匹配，得到输入触控手势的类型。

进一步的，所述步骤3)中，如果A和B中具有相同时刻的触控点之间距离的最大值、最小值之差与平均值的比值介于设定阈值L1、L2之间，且A和B的大小相似度介于设定阈值S1、S2之间，且A和B的方向相似度介于设定阈值D1、D2之间，则删除其中一触控笔划。

进一步的，如果步骤4)处理后的触控笔划多于2个，则根据触控笔划末点触控点时间与起点触控点时间计算触控笔划的时间长度，保留时间长度最长的两个触控笔划。

进一步的，对步骤4)处理后的触控笔划进行归一化，其方法为：

1)对触控笔划进行平滑处理；

2)对触控笔划进行排序：如果两触控笔划的大小不相似，则将较小的笔划位于笔划序列的第一个；若笔划大小相似，则将左边的笔划为笔划序列中的第一个笔划；

3)对排序后的触控笔划重采样，使触控笔划内触控点的间隔大小相同；旋转触控笔划，使第一个笔划包围框的中心点到第二个笔划包围框中心点的连线旋转到水平方向；放缩触控笔划，使触控笔划所构成手势的大小放缩到设定大小；平移触控笔划，使触控笔划所构成手势所包围框左上角坐标为(0，0)。

进一步的，计算两触控笔划A和B的大小相似度的方法为：根据触控笔划中触控点的坐标，计算触控笔划包围框的宽度和高度；然后根据width_A/width_B、height_A/height_B得到笔划A和B的大小相似度；其中，width_A、height_A分别是笔划A的包围框的宽度和高度，width_B、height_B分别是笔划B的包围框的宽度和高度。

进一步的，根据(endX_A-startX_A)/(endX_B-startX_B)、(endY_A-startY_A)/(endY_B-startY_B)计算触控笔划A和B的方向相似度；其中，(startX_A，startY_A)为笔划A起始点的坐标，(endX_A，endY_A)为笔划A终点的坐标，(startX_B，startY_B)为笔划B起始点的坐标，(endX_B，endY_B)为笔划B终点的坐标。

进一步的，所述阈值L1＝1/4，所述阈值L2＝4。

进一步的，所述阈值L1、阈值S1、阈值D1均相等；所述阈值L2、阈值S2、阈值D2均相等。

进一步的，对于基于视觉的触控设备，采用图像检测算法检测所输入触控手势的触控信息。

具体来说，本发明的技术方案如图1，具体如下：

1、用手指在触控设备上输入触控手势，采用手指检测算法提取触控信息。

触控设备既可以是iPhone等移动设备，也可以是Surface等触控交互桌面。触控手势可以是单手手势，也可以是双手手势；可以是单笔划手势，也可以是多笔划手势。

对于基于视觉的触控设备，可采用计算机图形学中的图像检测算法检测手指的输入(参考文献：Han，J.Y.Low-cost multi-touch sensing through frustrated total internal reflection.In Proc.UIST 2005，115-118.)；对于基于电容的触控设备，通过检测由手指带来的电容场的变化来检测手指输入(参考文献：Dietz，P.and Leigh，D.DiamondTouch：a multi-user touch technology.InProc.UIST 2001，219-226.)TouchLib和reacTIVision为开发者提供了基于红外光的手指和手检测的功能。

触控点的信息可表示为(ID，x，y，width，height，area，time)。其中，ID是当前触控手指的标识，(x，y)为当前触控点的位置，width、height和area分别表示当前触控点的手指与触控平面的接触区域的宽度、高度和面积，time为触控点的时间。在同一时刻，不同的触控手指会对应不同的ID；当某一手指触摸交互桌面并且没有抬起时，在不同时刻该手指的ID不变；当手指抬起后，再次触摸时，手指触摸会对应新的ID。

2、提取触控输入中的有效笔划。

每个触控笔划由具有相同ID的触控点组成。触控笔划中的触控点可以用ID(x，y，time)表示。笔划是由一系列的笔划点组成，每个笔划点具有(x，y，time)属性。提取有效笔划主要由两部分组成：

1)去除冗余的笔划。冗余笔划往往在时间上与有效笔划重叠；冗余笔划在形状上与同时间段内的有效笔划类似，冗余点与有效点间的距离较为稳定；冗余笔划与有效笔划的方向一致。因此，利用如下特征判断是否去除某一笔划。

假设A和B是在同一时间段的笔划，B的开始时间小于或等于A，判断B是否是冗余笔划的方法如图5所示。width_A、height_A分别是笔划A的包围框的宽度和高度，width_B、height_B分别是笔划B的包围框的宽度和高度，width_A/width_B和height_A/height_B描述了笔划A和笔划B大小的相似度。maxDist、minDist、aveDist为两个笔划中相同时刻的对应点之间的最大距离、最小距离和平均距离，(maxDist-minDist)/aveDist描述了两个笔划中相同时刻的对应点之间的距离关系。(startX_A，startY_A)为笔划A起始点的坐标，(endX_A，endY_A)为笔划A终点的坐标，(startX_B，startY_B)为笔划B起始点的坐标，(endX_B，endY_B)为笔划B终点的坐标，(endX_A-star+tX_A)/(endX_B-startX_B)，(endY_A-startY_A)/(endY_B-startY_B)描述了A和B方向的一致性。

当width_A/width_B、height_A/height_B、(maxDist-minDist)/aveDist、(endX_A-startX_A)/(endX_B-startX_B)、(endY_A-startY_A)/(endY_B-startY_B)的值均介于thres1和thres2之间时，B为冗余笔划，被从触控笔划中去除。thres1和thres2是两个阈值，可以经验性的设置为1/4和4。

2)连接断掉的笔划。

无意识的抬起操作可能引起原本连续的笔划被检测为多个分开的笔划。断开的笔划时间上不重叠，但从时间和空间上邻近。当一个笔划的末点与另一个笔划的起点在时间和空间上邻近时，两个笔划被连接。

如果步骤连接处理后的触控笔划多于2个，则根据触控笔划末点触控点时间与起点触控点时间计算触控笔划的时间长度，保留时间长度最长的两个触控笔划。

3、对触控笔划进行归一化，减少输入同一手势的差异性对识别结果带来的影响。

归一化主要由3部分组成：

1)对笔划进行平滑，去除由于手指输入的不规范性带来的问题。某一点的坐标和时间为该点前一个点、该点、该点后一个点的坐标和时间的均值。

2)对笔划排序。若去除冗余后的笔划个数为1，则不需要排序。否则，若笔划的大小不相似，重新排序笔划使得较小的笔划位于笔划序列的第一个；若笔划大小相似，排序使得左边的笔划为笔划序列中的第一个笔划。

3)重采样，旋转，放缩和平移笔划。重采样笔划使笔划内笔划点的间隔大小相同，支持识别方法与触控输入速度的无关性。若笔划数为2，旋转使第一个笔划包围框的中心点到第二个笔划包围框中心点的连线旋转到水平方向，支持识别方法的旋转无关性。放缩使手势的大小放缩到固定大小，支持识别方法的大小无关性。平移笔划使手势的包围框左上角坐标为(0，0)，使得识别方法具有位置无关性。

4、识别触控手势，得到触控手势的类型。

计算触控手势与手势库中手势的距离，手势库中距离最近的手势的类型为该触控手势的类型。

给定笔划S1和笔划S2，两笔划间的距离d(S1，S2)可以用如下公式计算得到。N是笔划中的点的个数，(S1i.x，S1iy)是S1中第i个点的位置坐标，(S2i.x，S2i.y)是S2中第i个点的位置坐标。

$d(S1,S2)=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{({S1}_i.x-{S2}_i.x)}^2+{({S1}_i.y-{S2}_i.y)}^2}}{N}$

给定手势S和手势库中的手势模板T，两者的距离D(S，T)可以用如下公式计算得到。

$D(S,T)=\frac{a\×\underset{i=1}{\overset{N}{\mathrm{\Σ}}}d(\mathrm{Si},\mathrm{Ti})+b\×\mathrm{punishFactor}(S,T)}{N}$

a和b是系数，由用户根据经验设定。N是S和T的笔划个数的较小值，d(Si，Ti)是笔划Si和笔划Ti的距离。punishFactor(S，T)由三部分组成：relationFactor、strokeCostFactor、strokeNumFactor。relationFactor衡量两个手势中对应笔划间的相似性，由笔划长度的比值、方向的比值、起点与末点间距离的比值决定。strokeCostFactor由笔划提取阶段所需的去除冗余笔划和连接断开笔划的次数相关。strokeNumFactor是笔划个数不同的惩罚因子，与笔划个数的差异成正比。

假定GestureLib包含了所有的手势模板，触控手势的最终类型gestureType与距离触控手势最近的模板的类型相同。

gestureType＝{T.type|D(S，T)＜D(S，T′)，T∈GestureLib，T′∈GestureLib}

与现有技术相比，本发明具有的优点和积极效果如下：

1、本发明对触控手势输入中的随意性接触和抬起操作进行处理，并支持非确定个数手指输入的手势的识别，支持更加自由的触控手势输入，具有更强的鲁棒性。

2、本发明采用笔划来描述触控手势，笔划的形态定义可以各不相同，因而可以支持更多的触控手势的识别，为触控设备提供了更大的触控手势集合。

3、本发明采用模板匹配的方法进行手势的识别，支持用少量样本定义新手势，因而可以用于用户自定义的触控手势的识别。

附图说明

图1本发明基于笔划的多指触控手势识别方法的示意图。

图2本发明触控手势识别面临的挑战、原因以及实例。

图3本发明触控手势(逆时针旋转手势)对应的触控数据。

图4本发明去除冗余笔划的效果。

(a)、(b)为原始的触控笔划输入，(c)、(d)为去除冗余笔划后的效果；

(e)、(f)为原始的触控笔划输入，(g)、(h)为去除冗余笔划后的效果。

图5本发明判断冗余笔划的方法。

图6本发明合并断开笔划的效果。

(a)原始触控笔划，(b)为合并断开笔划后得到的新笔划。

图7本发明对触控手势归一化的效果。

(a)平滑效果，(b)手势笔划重排序，(c)手势的旋转。

图8本发明具体实施时识别的手势类型。

(a)单笔划手势(参考文献：Wobbrock，J.O.，Wilson，AD.and Li，Y.Gestures withoutlibraries，toolkits or training：a $1 recognizer for user interface prototypes.In Proc.UIST 2007，159-168.)，(b)常用的触控手势。

具体实施方式

为了使本技术领域的人员更好的理解本发明，下面采用一个具体的实施例来对本发明作进一步的详细说明。触控设备采用基于红外的交互桌面，触控手指输入的检测采用TouchLib，手势的识别采用模板匹配的方法。

在使用触控系统之前，用户首先自定义了手势库。手势库中包含如图8所示的触控手势，用户为每类手势只提供了一个手势模板，手势模板被存放到触控手势库中。可见，用户定义的手势可以用一个或几个笔划来表示。

在使用触控系统时，用户用手指输入手势，当所有手指离开触控桌面时，手势被识别为某个手势类型。在定义和使用触控手势的过程中，用户无需关心手指使用的个数；用户不经意的接触和抬起操作会被处理，不会引起手势识别的错误。

在识别触控手势时，首先TouchLib会检测手指输入的信息，图3给出了用户的逆时针旋转手势对应的触控信息。第一个笔划起始点的信息为(1，0.49，0.79，15，15，225，2205406)，第二个笔划起始点的信息为(2，0.57，0.88，14，12，168，2205640)。图中每个矩形的大小表示了触控接触面的长、宽和面积。

之后，触控数据被送到笔划提取模块。首先该方法去除冗余的笔划，之后连接断开的笔划。图4(a-d)和图4(e-h)分别给出了两个去除冗余笔划的例子，图4(a)为按照手指ID得到的笔划，图4(b)为按照时序关系连接触控点得到的结果。其中，笔划的起始点用黑色实心框表示。图4(c)、图4(e)、图4(g)、图6(a)中点的含义同图4(a)，图4(d)、图4(f)、图4(h)、图6(b)的含义同图4(b)。图4(c-d)和图4(g-h)分别为去除图4(a-b)和图4(e-f)中冗余笔划后的结果。图6给出需要被连接的断开笔划的实例。图6中给出了第一个笔划末点的信息和第二个笔划起始点的信息。

在归一化阶段，该方法对笔划进行平滑，采用启发式知识对笔划进行排序，对笔划进行重采样、旋转、放缩和平移。图7(a)给出笔划平滑的实例。图7(b)对笔划进行排序，使得较小的笔划为第一个笔划，消除了用户在输入双手手势时左右手按下先后可能不同的问题。图7(c)给出手势旋转的例子，旋转后的手势的前两个笔划中心点的连线为水平方向。

在手势识别阶段，首先计算触控手势与模板的对应笔划间的距离，并计算手势内笔划间关系的相似度，对它们进行整合，得到最终的手势类别。

以上对本发明所述的基于笔划的多指触控手势识别技术进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (9)

1.一种基于笔划的多指触控手势识别方法，其步骤为：

1)提取用户在触控设备上所输入触控手势的触控点信息；其中，所述触控点信息包括：

当前触控手指的标识ID、当前触控点的位置(x，y)、触控点的时间time；

2)根据所提取触控手势的触控点信息，将具有相同ID的触控点构建为触控笔划；

3)对构建的触控笔划进行去冗余处理，即：对于同一时间段的任意两个触控笔划A和B，如果A和B中具有相同时刻的触控点之间距离的最大值、最小值之差与平均值的比值介于设定阈值L1、L2之间，则删除其中一触控笔划；

4)检查3)处理后的触控笔划，当一触控笔划的末点触控点时间和坐标与另一触控笔划的起点触控点时间和坐标对应差值分别小于设定阈值，则连接这两个触控笔划；

5)将4)处理后的触控笔划构成的手势与手势库中的手势进行匹配，得到输入触控手势的类型。

2.如权利要求1所述的方法，其特征在于所述步骤3)中，如果A和B中具有相同时刻的触控点之间距离的最大值、最小值之差与平均值的比值介于设定阈值L1、L2之间，且A和B的大小相似度介于设定阈值S1、S2之间，且A和B的方向相似度介于设定阈值D1、D2之间，则删除其中一触控笔划。

3.如权利要求1或2所述的方法，其特征在于如果步骤4)处理后的触控笔划多于2个，则根据触控笔划末点触控点时间与起点触控点时间计算触控笔划的时间长度，保留时间长度最长的两个触控笔划。

4.如权利要求3所述的方法，其特征在于对步骤4)处理后的触控笔划进行归一化，其方法为：

a)对触控笔划进行平滑处理；

b)对触控笔划进行排序：如果两触控笔划的大小不相似，则将较小的笔划位于笔划序列的第一个；若笔划大小相似，则将左边的笔划为笔划序列中的第一个笔划；

c)对排序后的触控笔划重采样，使触控笔划内触控点的间隔大小相同；旋转触控笔划，使第一个笔划包围框的中心点到第二个笔划包围框中心点的连线旋转到水平方向；放缩触控笔划，使触控笔划所构成手势的大小放缩到设定大小；平移触控笔划，使触控笔划所构成手势所包围框左上角坐标为(0，0)。

5.如权利要求4所述的方法，其特征在于计算两触控笔划A和B的大小相似度的方法为：根据触控笔划中触控点的坐标，计算触控笔划包围框的宽度和高度；然后根据width_A/width_B、height_A/height_B得到笔划A和B的大小相似度；其中，width_A、height_A分别是笔划A的包围框的宽度和高度，width_B、height_B分别是笔划B的包围框的宽度和高度。

6.如权利要求4所述的方法，其特征在于根据(endX_A-startX_A)/(endX_B-startX_B)、(endY_A-startY_A)/(endY_B-startY_B)计算触控笔划A和B的方向相似度；其中，(startX_A，startY_A)为笔划A起始点的坐标，(endX_A，endY_A)为笔划A终点的坐标，(startX_B，startY_B)为笔划B起始点的坐标，(endX_B，endY_B)为笔划B终点的坐标。

7.如权利要求2所述的方法，其特征在于所述阈值L1＝1/4，所述阈值L2＝4。

8.如权利要求7所述的方法，其特征在于所述阈值L1、阈值S1、阈值D1均相等；所述阈值L2、阈值S2、阈值D2均相等。

9.如权利要求1所述的方法，其特征在于对于基于视觉的触控设备，采用图像检测算法检测所输入触控手势的触控点信息。

Images