CN107402665A - 多点触摸控制 - Google Patents

Abstract

用于通过计算机产生用于操作机器的手势的方法，其中，输入媒介将用户的触摸敏感的运动输入转换成输入信号，并且所述方法的特征在于，应用程序将所述用户的触摸敏感的运动输入既作为相对操作坐标也作为绝对操作坐标在两个独立的输入通道中进行解译，将两个输入通道的坐标进行组合并且进行分析处理，从而解译所述输入媒介的输入信号并且从中产生手势。

Description

多点触摸控制

技术领域

本发明涉及一种用于扩展用于操作机器的手势的功能范围的方法，所述手势能够借助进行相对定位的输入设备实现。

本发明处于在电子的用户接口的技术领域中。

背景技术

在较长时间以来，为了通过人类用户来操作机器而已知不同种类的电子用户接口。所述电子用户接口例如能够通过连接到所述机器上的控制计算机实现，即以控制计算机的输入元件例如鼠标和键盘的形式实现。控制计算机也经常自身作为控制元件集成到机器中。在这种情况中，控制计算机的输入元件也作为控制元件集成到机器中，并从而是所要控制的机器的一部分。在这种情况中经常使用的输入元件例如是所谓的触摸板(Tauchpad)，例如在通常售卖的笔记本中广泛使用的那种触摸板。标准的触摸板成像鼠标指针运动，其方式是，所述标准的触摸板对在触摸板的表面上滑动的手指的相对运动进行感测。标准的触摸板由此将鼠标指针的相对运动类似于所连接的鼠标的运动地在所连接的显示器屏幕上进行成像。在此，与使用通常售卖的鼠标相比，在机器的集成控制台上使用这种触摸板的优点是：能够容易得多地将所述触摸板集成到机器的控制台中。尤其在工业环境(在其中有很多要控制的机器在工作)中，由于所使用的计算机在无尘性、防水性和类似的(sh.IP代码)方面的要求，这一点是必要的。

近来，经常使用所谓的多点触摸操作作为扩展的操作方案。为此所需的能多点触摸的操作面能够同时识别多个——大多用手指的——触摸，因而与单点触摸式的触摸板相比能够采用明显更多的操作方法，单点触摸式的触摸板在很多情况中在同一时间仅能够检测唯一一个触点。因此，借助这种多点触摸式操作面能够实现详细的手势控制。为此在相应的待控制的机器中采用这种多点触摸操作面作为集成的操作元件。

但在此存在以下问题：尤其是在仅仅具有单点触摸式触摸板的较旧机器中不能实现这种通过多点触摸进行的手势控制。当然可能的是：更换用户接口并且用多点触摸式触摸板代替单点触摸式触摸板。然而，这经常带来高成本和高耗费，或完全不可能实现，其原因是：用户接口经常非常强地集成到待控制的机器中。因此，如果找到以下可能性，那么就是极其有利的：如此使用所用的单点触摸式触摸板，使得借助多点触摸操作进行的手势控制仍是可能的。

为此，在现有技术中从美国专利申请US 2010 0139990 A1中已知多点触摸式触摸面板，所述多点触摸式触摸面板识别多点触摸的用户输入，所述用户输入通过用手指对面板的挤压和触摸的组合来实现。另外，根据本发明的触摸板能够忽略、拒绝或相应于所推测的操作人员意图来修改面板上的确定的输入。然而，所公开的发明涉及新型的触摸板作为该发明的真正的核心，所述新型的触摸板类似于多点触摸屏地能多点触摸。即，同样必须在机器的用户接口上安装新的操作元件。在使用该发明的情况下则不能用仅仅能单点触摸的旧触摸板。

此外，从美国专利9,218,064 B1已知一种方法，借助所述方法能够在多点触摸屏上学习按照命令的不同多手指手势，在用户的使用中则能够通过系统再识别所述不同的多手指手势并且将其用作用于手势控制的手势。但仅当多点触摸手势也通过能多点触摸的硬件——例如多点触摸屏——提供给系统时，才能够由系统学习并且识别这些多点触摸手势。即，借助所述系统和所述方法也不能实现通过仅仅能单点触摸的输入设备识别多点触摸手势。

从美国专利申请2014 0282178 A1已知一种系统，所述系统根据在触摸屏上输入的用户输入来识别手势，所述手势存储在系统的存储器中。即，在此公开的系统涉及对已个人化的手势的手势识别，所述手势识别通过对用户输入的解译(Interpretation)来实现，所述用户输入通过触摸屏、触摸板或鼠标、键盘、视频摄像机或麦克风进行。在所述系统中，也能够使用仅仅能单点触摸的输入设备——例如鼠标——的简单手势来进行手势识别。但必须提前由用户借助系统中的特别的输入来学习所产生的个人化手势。然后，系统使用以上述方式学习到的命令和手势，以针对活动用户(所述活动用户在用户表面进行确定的操作)根据他的用户输入来预测或识别确定的命令并且此后实施所述确定的命令。然而，借助所述公开的系统和所述方法同样不可能通过仅仅能单点触摸的输入元件实现具有多点触摸识别的传统的手势解译。

发明内容

因此，本发明的任务是，公开一种方法，借助所述方法能够产生用于控制机器的手势，所述手势产生尽可能地近似于通过多点触摸屏实现的多点触摸手势控制。

根据本发明，所述任务的解决方案是一种用于通过计算机产生手势的方法，所述手势用于操纵机器，其中，输入媒介将用户的触摸敏感的运动输入转换成输入信号，其特征在于，应用程序将用户的触摸敏感的运动输入既作为相对操作坐标(Bedienkoordinat)也作为绝对操作坐标在两个独立的输入通道中进行解译，将所述两个输入通道的坐标进行组合并进行分析处理，从而解译所述输入媒介的输入信号并且从中产生手势。用于扩展手势的数量的关键是，获得输入区——在本领域中即触摸板——上的绝对操作坐标。为此，在多点触摸屏中，硬件自身就已经能够将用户在多点触摸屏上的触摸配属给触摸屏上的确定的绝对位置。在能单点触摸的触摸板中，能够感测相对操作坐标。例如，如果用户用手指在触摸板上向左滑，那么鼠标指针在显示元件上同样向左运动但并不像在多点触摸屏中那样—运动到显示屏幕上的绝对位置，所述绝对位置相应于用户在触摸板上以手指触摸的相应的绝对位置。在根据本发明的方法中，不仅感测触摸板提供的相对操作坐标，而且也由专用的软件协议感测在一个独立的输入通道中的绝对操作坐标，所述专用的软件协议在此近似作为用于输入元件的HW驱动程序(Treiber)来工作。然后，通过应用程序以对两个输入通道进行解译和组合的方式由绝对操作坐标和相对操作坐标共同产生新的手势，该新的手势在没有检测绝对坐标的情况下是不能够实现的。

本发明的有利的并且因此优选的扩展方案由从属权利要求以及说明书和附图中得到。

在此，根据本发明的方法的优选扩展方案是，所述输入媒介是触摸敏感的并且具有面积尺度受限制的输入区。在此，所述输入媒介包含触摸敏感的表面，例如触摸板或触摸屏。在此，输入区自身必须是面积尺度受限制的，否则就不能够产生绝对操作坐标。

在此，根据本发明的方法的另一优选扩展方案是，通过在面积尺度受限制的输入区上超过边缘，来求取输入媒介上的绝对操作坐标。求取绝对操作坐标的优选的方式在于，感测经过输入区的边缘的相对手指运动。由此则能够感测从内向外和从外向内的擦拭运动。这些信息能够由软件协议记录，从而通过对经过输入区的已知边缘的运动的解译来得到绝对操作坐标。

在此，根据本发明的方法的另一优选扩展方案是，通过面积尺度受限制的输入区上的以触摸来指示(berührungsindiziert)的运动，来求取输入媒介上的相对操作坐标。在此，以如在触摸板上按照标准执行的那样的传统方式来求取相对操作坐标，该传统方式是：用户以手指实施经过触摸板的运动并从而向软件协议提供相对操作坐标。在与绝对操作坐标结合的情况下，应用程序则能够由相对操作坐标和绝对操作坐标中产生新的手势，所述新的手势在不感测绝对坐标的情况下是不能实现的。

在此，根据本发明的方法的另一优选扩展方案是，将通过所述应用程序产生的手势传递给一软件应用程序，用于在显示屏上实施和示出所识别的手势。尽管根据本发明的方法主要涉及从绝对操作坐标和相对操作坐标的两个独立的输入通道中产生多点触摸手势，但以这种方式产生的手势自然被确定的应用所需要。在此，通过在控制计算机上运行的上级软件应用程序将所产生的手势配属给在显示屏上显示的确定的行动，所述显示屏配属于所使用的用户接口。所述上级软件应用程序将所识别的或所产生的多点触摸手势配属给确定的行动，所述确定的行动则在用户接口的显示屏上显示和实施。由此例如能够通过软件应用程序解译经过受限制的输入区的左边缘的擦拭，使得将正在显示屏上显示的打开的文件或设置页面向左翻一页。但是也可以获得完全不同的意义，例如关闭文件。

在此，根据本发明的方法的另一优选扩展方案是，过滤机制将两个独立的输入通道中的相对操作坐标和绝对操作坐标自身封锁，使得仅将所产生的手势传递到软件应用程序，用于实施行动。为了能够通过所产生的手势实现合适的控制，从相对操作坐标和绝对操作坐标中求取的数据自身必须通过过滤机制封锁。由此，已经提及的示例性的向左的擦拭手势并不会像相应于对相对操作坐标和绝对操作坐标的真正解译那样造成鼠标指针在显示屏上向左运动或造成鼠标指针跳到左侧图像边缘处。仅会在显示屏上识别所产生的手势自身或所产生的手势在软件应用程序中的实施。

在此，根据本发明的方法的另一优选扩展方案是，将用户的触摸敏感的运动输入转换成输入信号的输入媒介是进行相对定位的输入媒介，例如是触摸板。在此，根据本发明的方法优选应用于进行相对定位的输入媒介——例如在相应的触摸板——上。因为借助根据本发明的方法，也能够在仅仅进行相对定位的输入媒介——即仅仅能够处理相对操作坐标的媒介——上产生并且使用具有绝对坐标参考的手势。因此，不再是在每种情况中都需要将机器的集成式用户接口中的集成的、进行相对定位的输入媒介——例如标准触摸板——更换成例如多点触摸屏，用于借助手势控制来操作。

在此，根据本发明的方法的另一优选扩展方案是，将用户的触摸敏感的运动输入转换成输入信号的输入媒介是能多点触摸的输入媒介，例如是触摸屏。根据本发明的方法显然也能够在已能多点触摸的输入媒介上使用。

接下来参考附图根据至少一个优选实施例进一步描述本发明以及本发明在构型上和功能上有利的扩展方案。在附图中，彼此相应的元件设有相同的附图标记。

附图说明

附图示出：

图1一种具有产生的相对操作坐标的能单点触摸的输入媒介的示例；

图2具有产生的绝对操作坐标的能多点触摸的输入媒介；

图3具有绝对操作坐标和相对操作坐标的系统的示意性图示，该系统可实施本发明的方法。

具体实施方式

优选实施例通常应用在用于控制打印机的系统上，所述用于控制打印机的系统具有集成的用户接口。所述用户接口包含触摸板12，迄今仅仅通过所述触摸板来类似于鼠标地使用相对操作坐标10来控制机器。在此，在图1中示出一个系统的示例，在所述系统中，能够借助输入元件1产生相对操作坐标10'。为了更好地示出，输入元件1在图1中以鼠标的形式示出，即使当输入元件在优选的实施方案中明显是触摸板12时也是如此。借助输入元件1，能够——例如向上/向下、向左/向右、环形地等——执行相对运动。所述相对运动由软件协议、即驱动程序2识别并且传递到所配属的显示屏3，在显示屏上相应地1：1地以鼠标指针的形式显示运动10'。借助通过触摸板12或鼠标所进行的控制，仅仅能够实现相对运动。与显示屏上的绝对坐标7的结合是留给用户的任务。用户必须识别：鼠标指针的相对运动何时将鼠标指针运动到显示器上的绝对点，在所述绝对点上鼠标指针可触发确定的行动。关于绝对操作坐标7的信息并不提供给驱动程序2自身使用。

而这种绝对操作坐标7能够在如图2所示的系统中感测。在此涉及例如在通常售卖的智能手机或平板电脑6上使用的多点触摸屏13。在所述多点触摸屏13上，用户能够在下面的显示屏上触摸确定的位置，并且，负责该位置的软件协议——即驱动程序——能够马上将因此产生的与位置有关地信息以绝对操作坐标7的形式进行识别并且将其转换成确定的行动或者说执行并且显示所述确定的行动。此外，因为多点触摸屏13能够同时处理多个这种输入，因而能够通过多手指手势进行控制。由此例如能够以多个手指同时触摸多点触摸屏13并且实施确定的运动，所述确定的运动此后被转换为确定的手势。

在图3中示出系统的一个示例，在所述系统中相应地实施根据本发明的方法。类似于图1，所述系统具有进行相对定位的输入媒介11。在触摸板12上，能够相应地——例如以手指——执行相对运动10。该相对运动为在所连接的控制计算机上工作的软件协议2、即驱动程序相应地提供相对操作坐标10'，所述相对操作坐标用于软件协议2的两个输入通道中的一个输入通道。

在优选实施方式中，通过以下方式求取为实现手势控制而相应地需要的绝对操作坐标7：用户用手指实施经过触摸板12的输入面11的边界的相对运动。软件协议2识别到所述相对运动在输入区11的边界处在确定的位置处超过该边界，并且根据所述确定的位置获得通过第二输入通道的绝对操作坐标9。由此，根据以上两个输入通道——即所述相对运动的输入通道与所述输入区11的被超过的边界上的绝对位置信息的输入通道——的组合，能够在使用软件协议8的情况下通过应用程序14产生一种手势。在没有超过受限制的输入区11的情况下，仅仅能够识别向左的相对运动10，因此不能够产生这种手势，而仅仅显示向左的运动。相应的过滤机制用于：在由组合的输入通道产生手势时抑制单个操作坐标——即，抑制相对运动10和绝对位置信息9自身——，并且仅将所产生的组合的手势传递到上级的软件应用程序，所述软件应用程序使用所产生的手势用于确定的目的。附图标记列表

1 输入元件

2 包含相对坐标的协议

3 显示屏

4 计算机

5 键盘

6 智能手机/平板电脑

7 多点触摸屏中的绝对操作坐标

8 包含相对坐标和绝对坐标的协议

9 所求取的触摸板中的绝对操作坐标

10 触摸板中的相对操作坐标

10' 所求取的显示屏中的相对操作坐标

11 触摸板中的受限制的输入区

12 触摸板

13 多点触摸屏

14 用于产生手势的应用程序

Claims (8)

1.一种用于通过计算机(4)来产生手势的方法，所述手势用于操作机器，其中，输入媒介(1)将用户的触摸敏感的运动输入转换成输入信号，

其特征在于，

应用程序(14)将所述用户的触摸敏感的运动输入既作为相对操作坐标(10')也作为绝对操作坐标(9)在独立的两个输入通道中进行解译，将所述两个输入通道的坐标进行组合并且进行分析处理，从而解译所述输入媒介(1)的输入信号并且从中产生手势。

2.根据权利要求1所述的方法，其特征在于，所述输入媒介(1)是触摸敏感的，并且，所述输入媒介具有面积尺度受限制的输入区(11)。

3.根据权利要求2所述的方法，其特征在于，通过在所述面积尺度受限制的输入区(11)上超过边缘，来求取所述输入媒介(1)上的绝对操作坐标(9)。

4.根据权利要求2或3所述的方法，其特征在于，通过所述面积尺度受限制的输入区(11)上的以触摸来指示的运动，来求取所述输入媒介(1)上的相对操作坐标(10')。

5.根据上述权利要求中任一项所述的方法，其特征在于，将通过所述应用程序(14)产生的手势传递给一软件应用程序，以在显示屏(3)上实施和示出所识别的手势。

6.根据权利要求5所述的方法，其特征在于，过滤机制将来自软件协议(8)的坐标封锁，即将独立的所述两个输入通道中的相对操作坐标(10')和绝对操作坐标(9)自身封锁，从而仅将所产生的手势传递给所述软件应用程序，以在所述显示屏(3)上示出。

7.根据上述权利要求中任一项所述的方法，其特征在于，将用户的触摸敏感的运动输入转换成输入信号的所述输入媒介(1)是进行相对定位的输入媒介，例如是触摸板(12)。

8.根据权利要求1至6中任一项所述的方法，其特征在于，将用户的触摸敏感的运动输入转换成输入信号的所述输入媒介(1)是能多点触摸的输入媒介，例如是触摸屏(13)。