CN107710134A

CN107710134A - 使用多指手势的垂直平分线来控制显示器上多维环境中示出的目标的运动

Info

Publication number: CN107710134A
Application number: CN201680008301.6A
Authority: CN
Inventors: 大卫·C·泰勒
Original assignee: Cirque Corp
Current assignee: Cirque Corp
Priority date: 2015-02-02
Filing date: 2016-02-02
Publication date: 2018-02-16
Also published as: WO2016126712A1; JP6735282B2; US20160224203A1; JP2018503926A

Abstract

一种用于提供对在计算机显示器上示出的多维环境内的目标进行控制的系统和方法，其中诸如手指的两个目标定义触摸传感器上的两个接触点，在两个点之间定义一条线，在两个手指之间的线的中心点被计算并被定义为枢轴点，并且穿过该枢轴点的该线的垂直平分线可以用于定义在显示器上示出的多维环境内的目标的朝前方向，其中枢轴点可以被定义为处于目标的中心或前面点。

Description

使用多指手势的垂直平分线来控制显示器上多维环境中示出的目标的运动

技术领域

本发明总体涉及在触摸传感器上的多指手势。具体地，本发明涉及可以限定触摸传感器上的两个目标之间的线的多指手势，该线还限定垂直平分线和方向，两个手指的运动和方向用于控制显示器上示出的多维环境中目标的运动。

背景技术

存在可以利用多指手势的电容式触摸传感器的几种设计。检验触摸传感器的一些基础技术是有用的，以便更好地理解任何电容敏感触摸板会如何利用本发明。

公司触摸板是互电容感测装置，并且示例被示出为如图1的框图。在这种触摸板10中，X电极(12)和Y电极(14)的栅格(grid)以及感测电极16被用来限定触摸板的触摸敏感区域18。通常，当存在空间限制时，触摸板10是大约12×16电极或6×8电极的矩形栅格。单个感测电极16与这些X(12)和Y(14)(或行和列)电极交错。所有位置的测量均通过感测电极16进行。

公司触摸板10测量感测线16上的电荷不平衡。当触摸板10上或触摸板10附近没有指示目标时，触摸板电路20处于平衡状态，感测线16不存在电荷不平衡。当由于在目标接近或者接触触摸表面(触摸板10的感测区域18)时的电容耦合，指示目标引起不平衡时，电极12和14上发生电容改变。测量到的是电容改变，而不是电极12和14上的绝对电容值。通过测量必须被注入到感测线16上的电荷量，触摸板10确定电容的改变，以重新建立或再次获得感测线上的电荷平衡。

如下文所述，利用上述系统以确定手指在触摸板10上或触摸板10附近的位置。该示例描述行电极12，并且对于列电极14以相同方式重复。从行电极测量和列电极测量中获得的值确定交点，该交点为在触摸板10上或触摸板10附近的指示目标的形心。

在第一步骤中，利用来自P、N发生器22的第一信号驱动第一组行电极12，利用来自P、N发生器的第二信号驱动不同但相邻的第二组行电极。触摸板电路20利用互电容测量装置26从感测线16获得表明哪一行电极最接近于指示目标的值。然而，在一些微控制器28的控制下触摸板电路20还不能确定指示目标位于行电极的哪一侧上，触摸板电路20也不能确定指示目标距离电极有多远。因此，系统将待驱动的电极组12移位一个电极。换句话说，在该组的一侧增加电极，同时该组的相对侧的电极不再被驱动。然后新的组由P、N发生器22驱动，并且进行感测线16的第二次测量。

从这两次测量有可能确定指示目标位于行电极的哪一侧以及有多远。利用比较两个所测信号的幅度的等式，然后确定指示目标位置。

公司触摸板的灵敏度或分辨率大大高于12×16的行列电极栅格隐含的灵敏度或分辨率。分辨率典型地大约为每英寸960量级或更大。精确的分辨率由组件的灵敏度、相同行和列上的电极12和14之间的间距和对于本发明而言不重要的其它因素确定。利用P、N发生器24，对Y或列电极14重复上述过程。

虽然上述的触摸板使用X电极12和Y电极14的栅格以及独立且单一的感测电极16，但是感测电极实际上可以是通过使用多路复用的X电极12或Y电极14。

使用上述或其他感测技术的触摸传感器可以检测并追踪与表面接触的至少两个手指的移动。相对于现有技术而言，优势在于为先前仅由诸如计算机鼠标的其它输入设备提供的触摸传感器提供新的和直观的功能。

发明内容

在第一实施例中，本发明是用于对计算机显示器上正在示出的多维环境内的目标提供控制的系统和方法，其中诸如手指的两个目标在触摸传感器上定义两个接触点，在两个点之间定义一条线，两个手指之间的线上的中心点被计算并定义为枢轴点，并且该线的垂直平分线和穿过枢轴点的线可以用于定义显示屏上示出的多维环境内的目标的前向方向，其中枢轴点可以被定义为处于目标的中心或前向点处。

在发明的第一方面，当两个手指与触摸传感器接触时，可以确定垂直平分线的前向方向。

通过结合附图考虑以下详细描述，本发明的这些和其他目的、特征、优势和替代方面对本领域技术人员将变得显而易见。

附图说明

图1是由公司制造的、可根据本发明的原理用于检测多指手势的电容敏感触摸板的组件的框图。

图2是示出进行接触的第一指示目标和第二指示目标的触摸传感器30的俯视图。

图3说明在显示屏幕上示出的二维空间。

图4A是示出在手指位置改变之前的连接线、垂直平分线和枢轴点的触摸传感器的俯视图。

图4B是示出连接线、垂直平分线和枢轴点的位置的改变的触摸传感器的俯视图。

图4C是示出目标已经保持在相同的位置，但当前面向不同方向的二维或三维空间的俯视图。

图5A是示出在两个手指的位置改变之前的连接线、垂直平分线和枢轴点的触摸传感器的俯视图。

图5B是示出目标已经保持在相同的位置，但当前面向不同方向的二维或三维空间的俯视图。

图6A是示出两个手指在相同方向上的任何时间移动导致目标46在其环境内进行平移运动的触摸传感器的俯视图。

图6B是示出当两个手指一起移动时目标已经移动的二维或三维空间的俯视图。

图7是示出前两个手指仅控制移动方向，并且第三手指50正控制移动和速度的触摸传感器的俯视图。

图8是示出增加第四手指以控制另一功能的触摸传感器的俯视图。

图9是示出垂直平分线的方向可以通过在触摸传感器上首先触接(touchdown)的哪个手指确定垂直平分线的触摸传感器的俯视图。

图10是示出当待放置在触摸传感器上的第一手指相对于图9中的手指反向时垂直平分线指示的方向的触摸传感器的俯视图。

图11是示出向前或向后的移动现在可以包括如由第三手指控制的从一侧到另一侧的同时移动的触摸传感器的俯视图。

图12是可以代替用于控制视角(point of view)的枢轴转动的前两个手指的令牌(TOKEN)的侧视图。

图13是图12所示令牌的仰视图。

具体实施方式

现在将参照附图，其中本发明的各个元件将被给出数字标记，并且将讨论本发明以便本领域技术人员能够制造和使用本发明。将理解的是，下面的描述仅是本发明原理的示例，而不应被视为缩小所附的权利要求书。

应当理解的是，本申请中使用的术语“触摸传感器”可与“接近传感器”、“触摸传感器”，“触摸和接近传感器”，“触控面板”、“触摸板”、“触摸屏”互换使用。此外，对接触触摸传感器的表面的所有参考可以与虚拟表面互换使用。

本发明的第一实施例涉及一种触摸传感器上的多指手势，并且可以利用触摸传感器的图示来说明。

图2是示出第一指示目标32(接触的第一目标)和第二指示目标34(接触的第二目标)的触摸传感器30的俯视图。指示目标可以是手指或手的拇指和手指，并且将被称为手指。两个手指32、34被示出为间隔任意距离。手指32、34可以间隔开一些可测量的距离，使得连接线36可以被定义成设置在第一手指32(接触的)的中心和第二手指34(接触的)的中心之间。连接线36可以在两个手指32、34之间等距的线的中点处被垂直线38平分。因此，垂直平分线38可以在连接线36的中点处平分连接线36。

连接线36的中点也可被称为枢轴点40。应当理解的是，当手指32、34中的一个或两个沿着触摸传感器30的表面移动时，连接线36的长度可以改变。然而，枢轴点40可以被连续地调节为连接线36的中点。因此，枢轴点40可以在操作中被调节，使得枢轴点可以总是精确地表示连接线36的中点。

类似地，随着两个手指32、34的位置中的一个或多个被改变，垂直平分线38的位置和方向也可被持续地更新。

应当理解的是，如果两个手指32、34与触摸传感器基本上同时接触，则手指中的其中一个可被任意地指定为进行接触的第一手指。

多指手势的目的可以是获得枢轴点40以及通过枢轴点的垂直平分线38的位置。应当理解的是，对于可以在触摸传感器30上检测的任何两个点可以获得枢轴点40和垂直平分线38。因此，虽然上述触摸传感器30是本领域技术人员已知的电容敏感触摸传感器，但是可以使用任何技术来检测两个目标相对于彼此的位置，定义目标之间的连接线，然后定义连接线的中点的垂直平分线。

在该第一实施例中，触摸传感器使用电容感测。然而，触摸传感器可以使用能够识别表面上的两个目标的位置的任何技术。这种技术可包括但不应被视为限于压力感测、红外线感测和光学感测。

多指手势的应用可以向触摸传感器30提供新的功能。例如，多指手势可以用于控制存在于显示屏上所示的多维环境内的目标的运动。

图3示出在显示屏44上示出的二维空间42。存在于二维空间内的目标46可以通过显示二维空间42和在该空间中的目标46的俯视图来示出。所示的二维空间42可以仅仅是显示器上示出的该空间的一部分或者该空间的全部。目标46可以被示出为圆形，但是它也可以具有任何期望的形状，并且不限于圆形。枢轴点40可以被用于表示目标46上或目标46内的某点。例如，枢轴点40可以位于目标46的中心处。然而，枢轴点40也可以位于诸如被指定为目标46的“前面”或“表面”的位置的任何其它位置。

垂直平分线38被示出为从目标46的枢轴点40延伸。垂直平分线38指示的方向可以用于表明目标46面向或指示的方向。当目标要在二维空间42内移动或旋转时，则目标46具有方向可能有用。

将要说明的第一动作是图4A所示的枢轴转动动作。因此，如果目标46绕枢轴点40向左枢轴转动而非平移运动，则第一手指32可以保持静止，而第二手指34可以如虚线箭头和虚线圆所示的从原始位置移动至新位置50。

图4B示出连接线36、垂直平分线38和枢轴点40的位置的改变。因为第一手指32保持静止，所以目标46不能移动，而仅可以旋转。如图4C所示。

图4C示出目标46已经保持在相同的位置，但是现在正面向如由示出了垂直平分线38绕枢轴点40旋转的虚线箭头所示的不同方向。垂直平分线38已经逆时针方向枢轴转动。

第一实施例的一些观察结果包括连接线36的长度可能已经改变而不会影响图4C中的垂直平分线38的旋转。垂直平分线38的旋转可能仅受第二手指34的位置改变的影响，从而导致连接线36的位置改变以及垂直平分线38方向的相关改变。

如果第二手指34保持静止并且第一手指32将朝向触摸传感器30的顶部边缘移动，则垂直平分线38可以朝向图3所示的其原始位置顺时针方向向后枢轴转动。然而，如果第一手指32将朝向触摸传感器30的底部边缘移动，那么垂直平分线38可以沿逆时针方向旋转。

枢轴转动垂直平分线38的另一种方式是同时移动第一手指32和第二手指34。如图5A所示，如果第一手指32沿指示的方向移动，并且第二手指沿指示的方向移动，则垂直平分线38可以如图5B所示枢轴转动。因为第一手指32和第二手指34现在相对于彼此处于相同的水平位置，所以垂直平分线38将是垂直的，如图5B所示。

图5A和图5B示出当两个手指32、34在彼此相反的方向上移动时发生的情况。在第一实施例中，当手指32、34在与图6A中的虚线所示相同的方向上移动时，可能发生不同的动作并且目标46可能发生不同的移动。

图6A示出在该第一实施例中，根据目标46所在的二维空间42的特性，我们可以假定，对于该示例，两个手指32、34的任何时间移动都处于相同的方向，可以使目标46在其环境内平移运动。

图6B示出目标46可以继续面向垂直平分线38的方向同时以由虚线表示的角度和方向移动。

触摸传感器30的形状有限，因此手指32、34不能继续移动，而必须在第一手指32到达触摸传感器30的边缘之前停止。然而，对于第一实施例的这个示例，目标46在二维空间42内的平移运动可以继续，直到手指32、34再次移动。由于受到手指32、34的同时且同向的移动的控制，手指32、34的这种移动可使目标46在不同方向上停止、枢轴转动或移动。

手指32、34可以在协调运动中在多于一个方向上移动。例如，手指可以曲线路径移动，偶尔停止并再次开始运动，始终控制目标46在二维空间42内的移动。可使目标46仅枢轴转动、仅平移运动或通过利用两个手指32、34进行相关联的运动而同时枢轴转动和平移运动。

在第一实施例中描述的目标46的控制的一个特别有用的应用是在二维或三维空间中对目标的操纵。例如，计算机辅助设计(CAD)程序可以使用第一实施例中的控制教导来操纵在二维或三维空间中被拉动或检查的一个目标或多个目标。

第一实施例的另一应用是在游戏环境中对目标的控制。例如，头像或三维角色(character)可以被设置在三维游戏环境中。可以使用本发明的第一实施例来实现对角色运动的控制。例如，被控制的目标可以是角色。如果游戏环境是三维的，则目标可以是角色，其中枢轴点可以是角色的中心轴，并且垂直平分线的方向可以是角色面向的方向。

第一实施例可以为角色提供旋转和移动的能力。然而，在本发明的第二实施例中，可以在触摸传感器30上使用两个以上的手指以便提供另外的能力或功能。

在三维游戏环境的示例中，前两个手指可被指定给控制目标在三维环境内所面向的方向的任务。图7示出第二实施例的手指32、34与第一实施例不同之处在于仅控制移动方向而非移动本身。相反，第三手指50现在被放置在触摸传感器30上，并专用于控制移动和速度。例如，如果第三手指50在所述的位置处触接，则该位置现在用作开始控制移动的位置。

第三手指50的移动可以通过选择将引起向前移动的方向和引起向后移动的相反方向来控制移动。速度由第三手指50从发生触接的位置移开的距离来控制。

例如，如果第三手指50在箭头54的方向上移动，则可以根据垂直平分线38在三维环境中指示的方向给角色任意地指定向前移动的属性。第三手指50从发生触接的位置移动地越远，角色移动地越快。如果第三手指50在触摸传感器30的顶部的附近，然后第三手指反过来并开始朝向发生触接的位置向后移动，则该角色不会向后移动，而是向前移动减慢，直到到达触接位置。如果第三手指50继续在箭头56的方向移动，并且经过了触接的原始位置，则角色可以向后移动。速度仍然可以由第三手指50从原始触接位置移开的距离来控制。

第三手指50的触接可以是触摸传感器30上的任何地方。然而，为了最大化第三手指50的移动量以便控制角色的速度，原始触接位置理想地应该在触摸传感器30的顶部边缘和底部边缘中间。

图8示出在第二实施例中，第四手指58也可以用于提供另外的功能。例如，在游戏环境中，第四手指58的触接可以触发枪射击，发生不同的移动，例如跳跃或蹲伏，或游戏中可能需要的任何其他功能。

因此，显而易见的是，本发明的所有实施例使得多个手指能够在触摸传感器30上同时执行不同的功能。然而，在其他功能中的任何一个可以由一个或多个其它手指激活或控制之前，控制角色面向的方向可能需要第一手指32和第二手指34设置在触摸传感器30上。

当手指32、手指34触接时，不会立即显现如何确定垂直平分线38指示的方向。图9用于说明在本发明的所有实施例中，可通过手指32、34中的哪一个首先触接在触摸传感器30上来确定垂直平分线38的方向的概念。图9示出从第一手指32朝向第二手指34移动的角度，垂直平分线38指示的方向可以总是位于连接线36的左侧。因此，在图9中，当从第一手指32朝向第二手指34移动时，垂直平分线38正指向触摸传感器30的顶部边缘。

相反，图10示出当第一手指放置在触摸传感器上时垂直平分线指示的方向相对于图9中的手指反转。因此，当从图10中的第一手指32朝向第二手指34移动时，垂直平分线38现在指向触摸传感器30的底部边缘。应当理解的是，无论第一手指32和第二手指34相对于彼此定位在哪里，垂直平分线38的取向可以一致。当从第一手指32朝向第二手指34移动时，垂直平分线38的方向可以总是指向连接线36的左侧。

虽然上述实施例可能已经选择通过从第一手指32朝向第二手指34移动然后指向连接线36的左侧来确定垂直平分线38的方向的惯例，但是这种选择是任意的。因此，在本发明的另一实施例中，当从第一手指32朝向第二手指34移动时，垂直平分线38可以总是指向连接线36的右侧。

手指32、34不可能同时触接。然而，本发明的实施例可以使用任何合适的手段来确定哪个手指应该被认为是首先触接。例如，系统可以随机地选择任一手指作为第一手指32，或者可以总是选择触摸传感器30的右侧或左侧的手指作为第一手指32。

因为难以控制角色的移动和执行另外的功能，所以现有技术可以教导在二维或三维环境中避免使用触摸传感器30玩游戏。这种困难可能是因为移动和其他功能可能需要使用鼠标点击或点击并按住。此外，一些现代触摸传感器可能没有物理鼠标按钮，而是使用触摸传感器下方的单个机械按钮来执行鼠标点击。一些触摸传感器可能只允许诸如点击鼠标左键或点击鼠标右键的一种类型的鼠标点击。一些其他触摸传感器可能每次仅允许一种类型的鼠标点击。因为不需要鼠标点击来执行游戏的所有运动控制和其他功能，所以本发明的实施例可以与任何类型的触摸传感器一起使用，而不管右鼠标点击或左鼠标点击的可用性。

图11被提供以说明本发明的一些实施例的另一特征。在如图7和图8所示的第二实施例中，当角色的移动被第三手指50控制时，可能仅向前或仅向后移动。为了改变运动方向，利用手指32、34的运动方向。

然而，在图11所示的本发明的第三实施例中，现在可以将侧向移动部件添加到前进行进方向和后退行进方向。图11示出第三手指50已经触接。现在围绕第三手指50在概念上设置圆60。该圆60说明在圆的上半部和线62上方的任何地方的移动将导致向前移动并且可以同时添加侧向运动的概念。圆60实际上代表静止运动和速度控制器。静止意味着向前移动的方向总是线62上方的方向，但相对于垂直平分线38指示的任何方向。

例如，假设第三手指50沿着箭头64移动到某位置。正由手指32、34和50控制的二维或三维环境中的目标不仅将向前移动，而且还可以有侧向移动分量。因为箭头64相对于线62大约成45度角，所以目标的运动将相对于目标所面向的方向大致成45度角。从角色的角度来看，向前运动的量和右侧运动的量将相等。

箭头66在线62的下方，因此会导致角色的移动部分地向后并且也向右。因为箭头66更靠近线62，所以运动将更向右并且仅稍微向后移动。重要的是要记住，角色的视角没有被改变。因此，因为手指32、34未移动，所以三维世界的视图将不会改变。角色将稍微向后和向右移动，而对象面向与移动开始之前相同的方向。

可以在角色移动的同时移动由手指32、34控制的视角。例如，可以使角色沿箭头64所示的方向移动，同时一个或两个手指32、34将移动以使视角枢轴转动。如前所述，由圆60表示的移动可以总是相对于垂直平分线38的方向。换句话说，因为表示垂直平分线38的虚线不会移动所以虚线被布置在图11的圆60内。

因此，第三手指50可以提供在如图11所示的围绕第三手指的圆60所示的任何方向的运动。圆60表示角色可以在三维环境中体验完整的360度运动。因为第三手指50仅控制角色的运动和速度，所以视角仍由手指32、34控制。

提供作为令牌70的侧视图的图12。可以通过将令牌70放置在触摸传感器30上来使用令牌70。令牌70包括可用于代替手指32、34的两个插入件72。插入件72可以被触摸传感器30检测到，并且如同它们是在两维或三维环境中改变目标的视角的两个手指32、34一样操作。通过将令牌70放置在触摸传感器30上，手指不必用于改变角色的视角。相反，令牌70可能只是被转动以使视角改变。图13示出令牌70的仰视图。

在本发明的另一方面，在令牌70中的插入件72的间距可具有重要意义。例如，对于游戏中的每个角色或打出一张牌(playing piece)，间距可以唯一。因此，当用户将令牌70放置在触摸传感器上时，用户可以提供角色的标识以及能力以仅通过扭转令牌来转动角色。即使其实际上是被放置在触摸传感器30中的第一手指，但是然后可以使用不同的或第三手指来控制角色的移动和移动速度。令牌70代替第一手指32和第二手指34。

在可选实施例中，可在令牌70中添加能通过触摸传感器30可检测的其他插入件72。另一插入件72的目的可以是执行诸如提供其他识别信息的其他功能。例如，插入件72之间的距离可以用作令牌的标识。

虽然上面仅详细描述了几个示例性实施例，但是本领域技术人员将容易地理解，在实质上不背离本发明的情况下，在示例实施例中可以进行许多修改。因此，所有这些修改旨在被包括在如所附权利要求所限定的本公开的范围内。除了权利要求明确地使用单词“意味着”以及相关功能外，申请人的意图不是援引35U.S.C.第112条第6款限制任何一项权利要求。

Claims

1.一种用于在三维环境内控制视角的方法，所述方法包括：

提供触摸传感器、三维环境、设置在所述三维环境内的目标，以及从所述目标的角度示出所述三维环境的视角的显示屏；

检测所述触摸传感器上的第一目标；

检测所述触摸传感器上的第二目标；

确定所述第一目标和所述第二目标之间的连接线的位置；

确定所述连接线上的所述第一目标和所述第二目标之间的中点；

确定所述连接线的且穿过所述中点的垂直平分线的位置；

将所述垂直平分线的方向指定为从所述第一目标的位置观察并且朝向所述第二目标移动时指向所述连接线的左侧；以及

将所述垂直平分线的方向指定为所述目标的视角。

2.根据权利要求1所述的方法，其中所述方法进一步包括移动第一手指或第二手指以使得当随着所述第一手指或所述第二手指移动，所述垂直平分线围绕所述中心线的中点枢轴转动时，所述视角相对于所述垂直平分线的方向的改变而改变。

3.根据权利要求2所述的方法，其中所述方法进一步包括使用第三手指来控制所述三维环境内的运动和运动速度。

4.根据权利要求3所述的方法，其中所述方法进一步包括向前或向后移动的同时进行侧向移动。

5.根据权利要求2所述的方法，其中所述方法进一步包括使用第四手指来控制所述三维环境内的不同功能。

6.根据权利要求2所述的方法，其中所述方法进一步包括在基本上相同的方向上移动所述第一手指和所述第二手指，以使所述目标在所述三维环境内平移运动。

7.根据权利要求2所述的方法，其中所述方法进一步包括使用第三手指来控制所述三维环境内的运动和运动速度，其中运动被限制在向前或向后的方向。

8.根据权利要求1所述的方法，其中所述目标是三维环境中的角色。

9.一种用于控制在三维环境内的视角的方法，所述方法包括：

在所述触摸传感器上与所述第一目标和所述第二目标接触；

确定所述第一目标和所述第二目标之间的中点；

确定通过所述中点且垂直于所述第一目标和所述第二目标之间的线的垂直平分线的位置；

当从所述第一目标的位置观察并且朝向所述第二目标移动时，将所述垂直平分线指定为指向所述线的左侧；以及

将所述垂直平分线的方向指定为所述目标的视角。

10.一种用于控制在三维环境内视角的方法，所述方法包括：

提供在其底表面上具有第一插入件和第二插入件的令牌，其中所述第一插入件和所述第二插入件可通过所述触摸传感器检测；

通过将所述令牌放置在所述触摸传感器上使所述触摸传感器与所述第一插入件和所述第二插入件接触；

确定所述第一插入件和所述第二插入件之间的中点；

确定通过所述中点且垂直于所述第一插入件和所述第二插入之间的线的垂直平分线的位置；

当从所述第一插入件的位置观察并且朝向所述第二插入件移动时，将所述垂直平分线的方向指定为指向所述线的左侧；和

将所述垂直平分线的方向指定为所述目标的视角。

11.根据权利要求11所述的方法，其中所述方法进一步包括在可通过所述触摸传感器检测的所述令牌中提供一个或多个另外的插入件。