CN101520702B - 一种模拟多点输入的系统及方法 - Google Patents

一种模拟多点输入的系统及方法 Download PDF

Info

Publication number
CN101520702B
CN101520702B CN2009100083431A CN200910008343A CN101520702B CN 101520702 B CN101520702 B CN 101520702B CN 2009100083431 A CN2009100083431 A CN 2009100083431A CN 200910008343 A CN200910008343 A CN 200910008343A CN 101520702 B CN101520702 B CN 101520702B
Authority
CN
China
Prior art keywords
input
point
equipment
multiple spot
gestures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009100083431A
Other languages
English (en)
Other versions
CN101520702A (zh
Inventor
G·R·迪克尔
M·万欧斯
R·威廉姆森
C·布卢门博格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN101520702A publication Critical patent/CN101520702A/zh
Application granted granted Critical
Publication of CN101520702B publication Critical patent/CN101520702B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及允许计算机系统使用单指点设备来模拟多点手势输入。模拟软件可接收单指点输入(诸如，例如来自鼠标的输入)并将它们转换成模拟的多点手势输入，诸如手指收缩、扩展、平移、旋转，等等。模拟软件还可允许用户使用键盘键，以便在生成多点手势输入时给用户以额外的控制。

Description

一种模拟多点输入的系统及方法
技术领域
本发明通常涉及多触摸手势，尤其涉及利用单指点输入设备模拟多触摸手势。 
背景技术
多点传感器面板是能够同时感测多点事件的面板。因此，多点传感器面板可以例如感测在两个不同位置处同时发生并且由按在面板上的两个手指或其他物体引起的两个触摸事件。在2007年1月3日提交的、名为“PROXIMITY AND MULTI-TOUCH SENSORDETECTION AND DEMODULATION”的美国专利申请No.11/649,998中讨论了多点传感器面板的例子，该申请全部包括在此以供参考。如同在后面的申请中所讨论的那样，多点传感器面板可包括多触摸传感器面板以及其他类型的传感器面板(诸如多接近(multi-proximity)传感器面板)。多点传感器面板可用来为各种电子设备提供改进的用户界面。 
一种利用多点传感器面板以提供改进的用户体验的方法是允许用户使用多点手势与设备通信。手势是用户输入，其不仅指定位置(例如，与使用普通鼠标点击的情况相同)，还指定一个或多个物体的某种运动，所述运动可选地具有一定的方向和速度。例如，基于传统鼠标的手势通常提供的是用户按压鼠标按钮并根据预定义的路径移动鼠标以执行手势。多触摸功能可允许使用更复杂的手势。例如，用户可通过在面板表面上同时移动两个或更多手指来执行手势。在2004年7月30日提交的、名为“GESTURES FOR TOUCH SENSITIVE INPUTDEVICES”的美国专利申请No.10/903,964中更详细地讨论了多点手势(尤其是多触摸手势)，该申请全文包括在此以供参考。 
为了获得多触摸手势的全部好处，运行在有多触摸能力的(multi-touch capable)设备上的软件可能也需要有多触摸能力。但是，开发这样的软件可能是困难的。现有的用于开发软件的计算平台，诸如普通的个人计算机和/或工作站计算机，通常不具有多触摸能力。在缺乏这种能力的情况下，现有的软件开发计算机通常不能测试正在其上开发的有多触摸能力的软件。 
开发者可将正在开发的软件加载到有多触摸能力的设备上，然后在那里测试该软件。但是，在实践中，开发者可能需要对软件的不同版本执行许多重复测试，并且，可以证明：不得不把要测试的软件的每个版本加载到单独的设备上是非常耗时的，而且可显著减慢开发过程。 
发明内容
本发明涉及允许计算机系统使用单指点设备来模拟多点手势输入。模拟软件可接收单指点输入(诸如，例如来自鼠标的输入)并将它们转换成模拟的多点手势输入，诸如手指收缩(pinch)、扩展(reverse pinch)、平移、旋转，等等。模拟软件还可允许用户使用键盘键，以便在生成多点手势输入时给用户以额外控制。 
可通过各种预定义的方法来将接收到的单点手势输入转换成多点手势输入。例如，接收到的单点手势输入可用作第一手势输入，而第二手势输入可通过将第一手势输入移位预定义的向量而生成。可选地，或者除此之外，第二手势输入也可被定义为与第一手势输入关于预定义的点对称的手势。在另一种备选方案(alternative)中，可从单指点设备连续接收多个单点手势输入并将其转换成多点手势输入，其中所述多点手势输入定义的是所述连续接收到的多个单点输入的至少部分同时执行。 
附图说明
图1是根据本发明的一个实施例的有多触摸手势能力的示例性设 备和用来为该设备开发软件的示例性设备的图。 
图2是示出根据本发明的一个实施例的可运行在测试设备上的示例性软件的图。 
图3A和3B是示出根据本发明的一个实施例的用于定义触摸的起始位置的示例性方案的图。 
图4A和4B是示出根据本发明的一个实施例的用于定义触摸的手势运动的示例性方案的图。 
图5是示出根据本发明的一个实施例的用于定义手势的示例性方案的图。 
图6是示出根据本发明的一个实施例的用于定义手势的示例性方案的图。 
图7是示出可利用根据本发明的一个实施例的设备而输入的几个示例性的模拟的多触摸手势的图。 
具体实施方式
在下面对优选实施例的描述中将参考附图，其中附图是作为本说明书的一部分，并且在附图中以说明可实践本发明的特定实施例的方式示出本方面。应当理解，可使用其它实施例并且可作出结构变化，而不背离本发明的优选实施例的范围。 
本发明涉及允许计算机系统使用单指点设备来模拟多点手势输入。模拟软件可接收单指点输入(诸如，例如来自鼠标的输入)并将它们转换成模拟的多点手势输入，诸如手指收缩、扩展、平移、旋转，等等。模拟软件还可允许用户使用键盘键，以便在生成多点手势输入时给予用户额外的控制。 
当用户输入模拟的多点手势输入时，设备模拟器可使得在所模拟的目标设备(subject device)屏幕上出现标记并移动标记，以指示正在利用鼠标和键盘(或其他输入设备)执行的触摸事件的类型。这些标记可以是例如小圆形或其他形状，用于代表在多触摸面板上或其附近检测到的指尖。然后在测试多点软件时，可将标记解释为实际的点 输入，诸如圆形的质心。 
虽然在这里可通过模拟对便携式设备、个人计算机和/或工作站的多点能力来描述本发明的实施例，但是应当理解，本发明的实施例不限于这些设备，而是普遍适用于在任何其它设备上对任何具有多点能力的设备的能力进行模拟。虽然下面的详细描述集中在模拟多触摸传感器面板上，但是其教导可普遍应用于多点传感器面板。 
图1是根据本发明的一个实施例的示例性设备(110)和设备(100)的图，其中设备110可接收多触摸手势输入，而设备100可用于开发用于设备110的软件。设备110可以是手持式设备、或笔记本电脑等。在某些实施例中，设备110可包括显示器和多触摸传感器面板111的组合。但是，在其它实施例中，设备110可包括多触摸传感器面板而没有显示器，例如轨迹板(trackpad)。在后一种情况的某些实施例中，设备110还可包括单独的显示器。例如，设备110可以是包括有多触摸能力的轨迹板和监视器的笔记本电脑。 
设备100可包括监视器101、键盘102和鼠标103，以便与用户通信。可选地，该设备可包括用于与用户通信的其它接口设备。应当注意，在本例子中，设备100包括单指点设备(即鼠标103)。由于鼠标只允许一次选择一个空间点，鼠标可以被认为是单指点设备。相反，多触摸传感器面板可被认为是多指点设备，这是由于它允许一次选择多个空间点(例如，通过将两个或更多手指放在面板上的或面板附近的两个或更多不同点处)。本发明的实施例不要求设备100只包括单指点设备，而是可包括多指点设备。设备100可包括CPU和一个或多个存储器。一个或多个存储器可存储指令和数据，并且CPU可执行由存储器所存储的指令。因而，设备100可执行各种软件，包括但不限于软件开发工具包(SDK)软件。 
如上面提到的，设备100可用于开发或测试用于设备110的软件。因此，设备100可被称为测试设备，而设备110可被称为目标设备。 
图2是示出根据本发明的一个实施例的可在测试设备上运行的示例性软件的图。该软件可包括操作系统(OS 200)。该软件还可包括 用户接口应用编程接口(API)201。API 201可以是允许运行在目标设备(即设备110)上的程序与用户通信的应用编程接口。这些API通常运行在目标设备110上，但是可在设备100处执行，以便在设备100处测试为设备110设计的软件。API 201可以与要在目标设备(110)上执行的对应API相同。可选地，可基于在设备110上执行的那些API而修改API 201，以便允许在不同的设备(设备100)上执行。但是，即使在后一种备选方案中，API 201也可向使用它们的软件(例如，本例中的软件202)提供相同或类似的接口。因此，例如，API 201可向软件202提供跟本该由运行在设备110上的类似API所提供的头部相同的头部。 
在本发明的某些实施例中，仿真软件205可用来允许UI API 201在OS 200和设备100上运行。而在其它实施例中，OS 200和运行在目标设备(110)上的OS可以相同或者基本相似，从而仿真软件是不必要的。 
测试设备100也可运行要测试的软件202。该软件可以是最终要在设备110上运行、但是目前还在设备100上开发和测试的软件。要测试的软件可使用UI API 201来与用户通信。UI API可提供在要测试的软件和其上运行该软件的设备之间的所有通信。如上面所提到的，在测试设备上运行的UI API 201可以与在目标设备110上运行的类似API相同或非常相似。从而，UI API可使得要测试的软件就像实际上在设备110上执行一样。或者，换而言之，UI API可允许要测试的软件使用跟假设要测试的软件在目标设备110上运行而将使用的用于与外部世界通信的方法相同的方法。 
通常情况下(即，当在目标设备110上执行时)，UI API 201可与设备110的较低层软件和/或硬件通信，所述较低层软件和/或硬件可执行各种用户接口功能。因而，UI API可与设备110的显示器/多触摸面板111(或控制显示器/多触摸面板的较低层软件)通信，以显示信息或图形，和/或接收指示用户输入的触摸事件。但是，如果UI API正在设备100上执行，则它们可能不能与显示器/多触摸面板111通信， 这是由于设备100可能不包括这样的元件。虽然测试设备100可包括显示器101，但是它可能具有跟目标设备110的显示器不同的类型。而且，设备100不需要包括任何多触摸传感器面板。 
因此，设备模拟器203可用来在设备100处模拟设备110的显示器和/或多触摸传感器面板。设备模拟器可为UI API 201提供这些API在目标设备110中为了连接到显示器/多触摸面板111而与之通信的接口相同类型的一个或多个接口。设备模拟器203可使得在设备100的显示器101上显示窗口104(参见图1)。设备模拟器可在窗口104中输出本该由设备110输出的图形——如果设备110运行了要测试的软件202和UI API 201的话——相同或相似的图形。因此，窗口104可以是对设备110的显示器的模拟。 
类似地，设备模拟器203可接收来自设备100的用户的用户输入并将其转换为本该从设备110的用户接收到的类型。因此，设备模拟器可接收通过设备100的接口设备(例如键盘102和鼠标103)提供的输入并将其转换为本该由多触摸传感器面板产生的输入。下面提供关于设备模拟器如何完成该转换的更多细节。 
在某些实施例中，设备模拟器也可模拟设备110的其它输入/输出功能，诸如声音、传声器、电源或其它按钮、光传感器、加速度传感器，等等。 
在某些实施例中，测试设备100和目标设备110可使用具有不同指令集的不同类型的处理器。在这样的情况下，要测试的软件202和UIAPI可分别包括两个不同版本，一个要在设备100上执行，而另一个要在设备110上执行。两个版本可以作为将相同或相似的高层代码编译成与设备100和110相关联的两个不同指令集的结果(出于这个例子的目的，高层代码可包括任何级别比汇编和机器代码更高的代码)。因此，设备100可用来测试要测试的软件202的高层代码。如果用于设备100和110的编译器不引入任何错误或不一致性的话，这可能已经足够了。 
软件开发工具包(SDK)204也可在设备100上执行。SDK可用来 开发要测试的软件202。而且，UI API(201)和设备模拟器(203)可被认为是SDK中用于测试利用SDK开发的软件的一部分。在可选的实施例中，不需要在设备100上运行SDK。在这些实施例中，设备100可用于测试目的，而不必用于软件开发。 
在某些实施例中，设备100根本不需要用于测试或软件开发。相反，它可仅仅用于执行要用于设备110的软件并提供对设备110的模拟。例如，本发明的一个实施例可用来提供对多触摸使能设备的操作的演示，从而用户可决定是否购买该设备。 
如上面所提到的，模拟软件可接收从用户发出的单指点输入或单指点手势(诸如，例如通过鼠标进行的手势输入)，并将其转换成多触摸手势输入。模拟软件还可允许用户使用键盘键从而在所得到的多触摸手势输入之外给予用户以额外的控制。从用户输入到多触摸手势输入的转换可根据预定义的规则进行。 
通常情况下，多触摸手势可通过在多触摸传感器面板上或附近放置手指、手掌、人体的各种其它部位或物体(例如指示笔或钢笔)来执行。本发明的某些实施例可允许用户输入所有上述类型的模拟手势。一种容易执行的手势集包括在触摸传感器面板的表面上或附近放置和移动两个或更多个指尖。 
当用户正在输入模拟的多触摸手势输入时，设备模拟器203可使得在所模拟的目标设备屏幕(即，窗口104)上出现标记并移动标记，以向用户表明他/她正在利用鼠标和键盘(或设备100的其它接口)输入的手势的类型。这些标记可以是例如小的圆形，用于表示按在多触摸面板上的指尖。下面将更详细地讨论这些标记。 
在某些实施例中，用户可通过输入起始位置(starting position)而开始多触摸手势模拟。图3A和3B示出输入这样的位置的两个例子。图3A和3B是关于通过移动两个触摸点——诸如指尖——而执行的手势。因此，可能需要输入定义两个指尖的初始位置(initial position)的起始位置。 
图3A和3B示出要用于模拟目标设备110的屏幕和/或多触摸面板 的模拟窗口300和301。在某些实施例中，屏幕和多触摸面板是重叠的(superimposed)，因此它们可显示在相同窗口中。因而，窗口300和301可以类似于图1中的窗口104。 
窗口300和301示出输入手势的初始放置阶段。可以各种方式来初始化初始放置阶段，诸如通过按键盘键、点击鼠标按钮(未示出)，或仅仅在模拟窗口(300或301)上移动鼠标光标。圆形302-305代表触摸输入的位置。换而言之，它们代表正在触摸模拟的屏幕/多触摸面板的虚拟指尖的位置。 
在第一种备选方案中(图3A所示)，第一触摸(302)可跟随鼠标指针(308)。第二触摸可位于离第一触摸固定的预定义位移处。例如，第二触摸303可从第一触摸302移位预定义的向量306。向量306可以是例如某个默认值，或者它可以在之前由用户定义。一开始，用户可在窗口300中四处移动光标308并随之引起触摸302和303的运动。从而用户可找到所期望的这些触摸的位置，并指示他/她所期望的触摸的初始位置(这可通过例如点击鼠标按钮来完成)。因此，用户可在仅仅使用单指点输入设备(例如，鼠标)的同时，指定期望的起始位置，该起始位置包括两个触摸。 
在第二种备选方案中，代替预定义的向量306，可使用预定义的中间点(middle point)307。用户仍然可以利用鼠标指针(309)定位第一触摸(304)。在这种备选方案中，第二触摸(305)可以位于跟第一触摸关于中间点307镜像或对称的位置处。换而言之，如果从中间点到第一触摸的位移定义了向量310，则第二触摸305的位置使得在中间点和第二触摸之间的位移定义了相同的向量(310)。同样，用户可四处移动光标以确定期望的位置并指示该期望的起始位置(例如通过点击鼠标按钮)。同样，中间点307可由用户输入，或者可使用默认值(例如窗口的中央)。 
各种实施例可利用任一种上面讨论的备选方案来输入起始位置。某些实施例可实施两种备选方案并允许用户在它们之间进行选择(例如通过按压或点击按钮)。 
在某些实施例中，用户在操纵触摸时可以在这两种备选方案之间切换。例如，用户可开始于图3A的备选方案，并且将触摸302和303的位置移动到所期望的第一组位置。用户然后可切换到第二种备选方案(例如通过按压键盘键)。一旦激活第二种备选方案，可利用第一组位置来定义中间点。例如，中间点可被定义为在第一组位置的触摸302和303的位置之间的点。因此，用户可以很容易地定义所期望的中间点，并继续利用图3B的备选方案来选择起始位置。 
此外，用户也可开始于图3B的备选方案，以便为触摸304和305定义第一组位置。用户然后可切换到图3A的备选方案。可利用第一组位置来定义用于图3A的备选方案的向量306。然后用户可利用图3A的备选方案来定义实际的初始位置。 
在两种备选方案中，设备模拟器可通过例如显示用于指示触摸位置的小的半透明圆形，来指示触摸302-304在模拟窗口中的定位。也可在模拟窗口中指示中间点的位置。图3A所示的定位方法可被称为平行定位(parallel positioning)，而图3B的方法可被称为镜像定位(mirrored positioning)。 
本领域技术人员将认识到，上面讨论的关于图3A和3B的教导可用于定义多于两个触摸的位置。例如，可将多触摸定义为根据不同的预定义的向量从触摸302位移的触摸。除此之外，或可选地，多触摸可被布置在其半径等于触摸304和中间点(307)之间的距离的圆形的周围。然后，通过扩展、收缩或旋转该圆形，触摸304的运动可移动这些触摸。 
图3A和3B以及上面的讨论描述了定义两个或更多触摸的初始位置。但是，手势不必仅仅通过其初始位置来定义。手势可能还需要从初始位置开始的某些运动。因此，多触摸手势可能需要触摸的运动。图4A和4B示出用于在已经定义了触摸的初始位置之后定义触摸的运动的方案。 
如上面提到的，所期望的初始位置可由用户通过点击鼠标按钮来指示。在某些实施例中，可通过在移动鼠标的同时保持鼠标按钮被点 击(或按下)来定义运动。 
可以通过类似于定义初始位置的方式来定义运动。因此，图4A示出用于定义运动的方案，其类似于图3A中示出的用于定义初始位置的方案。相应地，图4A的方案可被称为平行运动定义。位置402和403可代表用户定义的两个触摸的初始位置。如上面提到的，可利用根据图3A和3B所讨论的任一种方法或两种方法来输入这些初始位置。可选地，可使用用于输入初始位置的其它方法。在设置初始位置之后，用户在保持鼠标按钮被按下的同时可沿着路径410引导鼠标。结果，设备模拟器也可沿着路径410引导从位置402开始的触摸的图形表示，直到它到达位置402’。设备模拟器还可沿着相似的路径411移动另一个触摸(从位置403开始的触摸)，直到它到达位置403’。因此，如同图3A所示的情况，当用鼠标光标正在移动一个触摸的同时，模拟器移动另一个触摸，以使其位于距离鼠标光标正在移动的触摸预定义的位移处。位移向量可由触摸的初始定位来定义(即，它可以是在位置402和403之间的向量)。 
图3A和4A的方案之间的一个区别是，在图4A的运动期间，设备模拟器可跟踪两个触摸的运动，将其转换成合适的数据格式并发送到UI API 201作为手势。另一方面，在图3A的过程期间的运动(例如，在按下鼠标按钮之前)不需要被跟踪，这是由于该过程可仅仅被用来定义初始位置而不是特定运动路径。 
图4B示出用于定义运动的方案，其类似于图3B中所示的用于定义初始位置的方案。换而言之，图4B可表示镜像运动定义。在图4B中，两个触摸分别开始于位置404和405。在位置404处的触摸(第一触摸)可通过光标409的运动而沿路径414移动到位置404’。在某些实施例中，当按压鼠标按钮的同时移动光标。 
设备模拟器可以如下方式将从位置405开始的触摸(第二触摸)从位置405移动到位置405’：使得第二触摸的位置与第一触摸的位置相对于中间点407被镜像。因此，第二触摸可沿路径415前进。中间点407可根据两个触摸的初始位置来定义。因此，它可以是初始位置404和 405之间的中间点(如图所示)。再次，设备模拟器可跟踪两个触摸的运动，将其转换成合适的数据格式并将其发送到UI API 201。 
某些实施例可提供图4A和4B这两种用于定义运动的方法，并允许用户通过按压键盘键而在它们之间切换。在某些实施例中，无论初始位置是怎么定义的，都可以使用图4A和4B的运动定义方案。因此，例如，可根据图3A的方案来定义两个触摸的初始位置，而根据图4B的方案来定义触摸的运动。 
在某些实施例中，用户在定义手势期间可在图4A的方案和4B的方案之间切换。因此，手势的一部分可根据图4A的方案来定义，而另一部分可根据图4B的方案来定义。图4A和4B的方法可用于以上面参考图3A和3B所讨论的方式来定义具有多于两个触摸的手势。 
上面讨论的方法对于容易地定义在某些多触摸使能设备中使用的某些类型的手势是有用的。这些手势可包括例如平行地拖动两个手指、收缩和扩展两个手指、转动两个手指(就像转动看不见的旋钮似的)，等等。但是，这些方法可能不能定义利用两个或更多手指的所有可能的手势。由于可能不需要所有可能手势的定义，这不一定是个障碍。只有被所模拟的设备(即，目标设备110)和/或要测试的软件认为是有意义的手势的定义才可能需要被模拟。
不过，图5还是示出了另一种用于模拟手势的方法，其允许更大的灵活性。图5的方法可通过各种实施例来提供以作为手势输入的唯一方法，或者作为上面所讨论的一个或多个方法的备选方法。图5包括可显示定义多触摸手势的不同阶段的屏幕501、502和503。 
根据图5的方案，可通过分别定义多个单触摸手势分量来定义多触摸手势。一开始，可通过移动单触摸来定义第一分量。更特别地，单触摸的初始位置505可通过例如将鼠标光标504放在该位置并按压鼠标按钮而选择。然后可通过例如在鼠标被按下的同时移动鼠标并在手势结束时松开鼠标按钮来定义手势。因而，手势可包括在位置505开始触摸，沿路径506移动触摸，和在位置505’结束触摸。 
从而，可定义多触摸手势的一个作为分量的单触摸手势。随后可 以类似的方式定义一个或多个另外的分量。例如，参考屏幕502，可以在第一手势分量之后，通过一开始在位置506处点击鼠标然后将其沿路径507移动到位置506’来定义第二手势分量。在某些实施例中，当正在定义第二或随后的手势分量时，在定义随后的分量的同时可“回放”一个或多个之前定义的手势分量。这可帮助用户定义相关的分量，因为正在定义的手势假定至少部分同时地执行所有分量。因此，当用户正在通过将光标从位置506移动到位置506’而定义第二分量时，可由设备模拟器同时显示从位置505移动到位置505’的另一个触摸的动画508。 
在输入了第二手势分量之后，可输入第三手势分量。第三手势分量可包括将光标从位置509沿路径510移动到位置509’。类似地，在输入第三手势分量的同时，可“回放”两个之前输入的手势分量的动画511和512。 
本发明的实施例可允许如此输入任意数量的手势分量。在某些实施例中，可输入的手势分量的数量可能是有限的，这与可以预计目标设备110的用户输入手势所使用的手指的数量有关。各种实施例也可允许重新输入或删除一个或多个错误输入的手势分量。 
一旦用户已经输入了所期望数量的手势分量，用户可表明这一点(例如通过点击指定的按钮)。这时，设备模拟器可通过叠加所有的手势分量(即，同时执行它们)而组成单个多触摸手势。因而，基于上面参考图5所讨论的分量，设备模拟器可创建多触摸手势，其包括在向下拖动两个右边的手指的同时向上拖动最左边的手指。 
在某些实施例中，设备模拟器可规范化(normalize)各种手指分量。更特别地，设备模拟器可调节各种分量的速度以使得所有手势分量可以同时开始和结束。在可选的实施例中，可以不调节该速度，使得某些分量可在另一些分量之前结束。在有些实施例中，可允许用户输入在其它手势分量开始之后开始的手势分量。 
图6是根据本发明的某些实施例的用于定义手势的另一个示例性方法的图。类似于图5，单元601和602显示在定义手势时模拟窗口104 的不同阶段。一开始，用户通过将鼠标光标605放在位置603并点击按钮，可定义静态触摸。用户随后可通过例如在位置604点击鼠标光标并将鼠标光标沿路径606移动到位置604’，而定义移动触摸。所得到的手势可表示保持一个手指按在位置603不移动，同时将另一个手指从位置604沿路径605移动到位置604’。可选地，可在定义动态触摸之后定义静态触摸，或者可定义多个静态和/或动态触摸。图6的方法可被提供作为输入多触摸手势的另一种模式，并且可通过相应的控制键或可点击的鼠标按钮来激活。可选地，图6的方法可作为上面参考图5所讨论的方法的一种特定情况来执行。 
图7是示出根据本发明的一些实施例的可利用单指点设备输入的几个示例性的模拟的多触摸手势的图。例子701显示的是收缩。例子702显示的是扩展。例子703显示的是旋转。例子704显示的是旋转的中心705被选择在不同于所模拟的面板中心的位置处的情况。本领域技术人员将认识到，图7的所有例子可利用上面讨论的方法来实施。 
本领域技术人员将认识到，除了上面的方法之外，还可使用用于输入多触摸手势的其它方法。例如，通过例如用鼠标来描绘或者从预定义的选择中选择，可输入触摸轮廓的形状。该形状可表示比仅仅用指尖触摸屏幕更复杂的触摸事件。它可以例如表示用手掌触摸屏幕，或在屏幕上放置物体。一旦输入了该形状，就可以通过移动鼠标光标来将其四处移动以定义多触摸手势。 
虽然上述讨论集中在测试设备仅仅包括单指点设备(例如鼠标)的情况，在某些实施例中，测试设备也可以包括多触摸面板。例如，测试设备可以是具有多触摸使能轨迹板的膝上型电脑。目标设备可包括与显示器组合的多触摸面板(从而允许用户通过与显示器表面交互而输入多触摸输入)。测试设备可通过在允许测试设备的用户利用测试设备的轨迹板输入多触摸输入的同时在测试设备的监视器101的模拟窗口104中提供对目标设备的显示器的模拟，来模拟目标设备。当用户正在通过触摸板输入触摸时，测试设备可在模拟窗口中指示所模拟的触摸的位置(例如通过在模拟窗口中显示小圆形)。 
虽然上面讨论的实施例中的某些实施例是关于将单点手势输入转换成多触摸手势输入，但是本发明不必限制于此。更一般地，本发明的实施例可关于将单点输入转换成多点输入。多点输入可包括多触摸输入，但是也可包括其他类型的输入，例如美国专利申请No.11/649,998中所讨论的多接近输入。 
虽然结合本发明的实施例参考附图而完全描述了本发明，但是要注意的是，对于本领域技术人员而言，各种变化和修改将是显而易见的。这样的变化和修改将被理解为被包括在由所附权利要求所定义的本发明的范围内。 

Claims (62)

1.一种用于模拟在多点传感器面板上的多点输入的系统，所述系统包括：
显示器，用于显示所述多点传感器面板的表示；
单指点用户输入设备；以及
设备模拟器，所述设备模拟器被配置成从所述单指点用户输入设备接收输入并根据预定义的转换规则将所述输入转换成多点输入。
2.如权利要求1所述的系统，其中所述单指点用户输入设备是鼠标。
3.如权利要求1所述的系统，其中所述系统还包括：处理器，所述处理器被配置成执行要在包括所述传感器面板的多点使能设备上执行的软件，所述设备模拟器还被配置成以一格式将转换后的多点输入发送给所述软件，其中所述格式与在所述软件正在所述多点使能设备上执行时所述软件已经以其接收到所述多点输入的格式相同。
4.如权利要求1所述的系统，其中来自所述单指点用户输入设备的所述输入由所述单指点用户输入设备控制的光标的位置来定义。
5.如权利要求4所述的系统，其中所述转换后的多点输入由至少两个不同的点输入来定义，第一点输入由所述单指点设备控制的所述光标的位置来定义，而至少一个另外的点输入由从所述单指点设备控制的所述光标的所述位置导出的位置来定义。
6.如权利要求5所述的系统，其中所述至少一个另外的点输入由从所述单指点设备控制的所述光标移位预定义向量的点所经过的路径来定义。
7.如权利要求5所述的系统，其中所述至少一个另外的点输入由与所述单指点设备控制的所述光标的所述位置关于预定义点对称的位置来定义。
8.如权利要求1所述的系统，其中所述设备模拟器被配置成接收通过所述单指点设备连续输入的多个单点输入作为输入，并且通过以下操作将所述多个单点输入转换成所述多点输入：
将多个接收到的单点输入组合成所述多点输入，以使得所述多点输入表示所述多个单点手势输入的至少部分同时执行。
9.如权利要求1所述的系统，还包括CPU和计算机可读存储器，其中所述设备模拟器是存储在所述计算机可读存储器上并由所述CPU执行的软件。
10.如权利要求9所述的系统，还包括软件开发工具包，所述软件开发工具包被配置成开发用于包括所述多点传感器面板的多点使能设备的软件，所述软件开发工具包存储在所述计算机可读存储器上并由所述CPU执行，所述设备模拟器是所述软件开发工具包的一部分。
11.如权利要求1所述的系统，其中所述多点输入是多触摸输入，并且所述多点传感器面板是多触摸传感器面板。
12.一种用于模拟多点输入的方法，包括：
接收来自单指点设备的单轨迹输入；
响应于接收到的单轨迹输入，根据预定义的转换规则将所述单轨迹输入转换成所模拟的多点输入；以及
显示所述所模拟的多点输入的可视表示，其中所述所模拟的多点输入包括两个或更多所模拟的触摸点。
13.如权利要求12所述的方法，其中所述所模拟的多点输入通过将预定义的规则应用到所述轨迹输入来确定。
14.如权利要求12所述的方法，其中所述单指点设备是鼠标。
15.如权利要求12所述的方法，其中所述单指点设备是单触摸轨迹板。
16.一种用于模拟多点传感器面板上的多点手势的系统，所述系统包括：
显示器，用于显示所述多点传感器面板的表示；
单指点用户输入设备；以及
设备模拟器，所述设备模拟器被配置成从所述单指点用户输入设备接收输入并根据预定义的转换规则将所述输入转换成多点手势输入。
17.如权利要求16所述的系统，其中所述单指点用户输入设备是鼠标。
18.如权利要求16所述的系统，其中所述系统还包括：处理器，所述处理器被配置成执行要在包括所述传感器面板的多点使能设备上执行的软件，所述设备模拟器还被配置成以一格式将转换后的多点手势输入发送给所述软件，其中所述格式与在所述软件正在所述多点使能设备上执行时所述软件已经以其接收到所述多点手势输入的格式相同。
19.如权利要求16所述的系统，其中来自所述单指点用户输入设备的所述输入由所述单指点用户输入设备控制的光标所经过的路径来定义。
20.如权利要求19所述的系统，其中所述转换后的多点手势输入由至少两个不同的点手势输入来定义，第一点手势输入由所述单指点设备控制的所述光标所经过的路径来定义，而至少一个另外的点手势输入由从所述单指点设备控制的所述光标所经过的所述路径导出的路径来定义。
21.如权利要求20所述的系统，其中所述至少一个另外的点手势输入由从所述单指点设备控制的所述光标移位预定义向量的点所经过的路径来定义。
22.如权利要求20所述的系统，其中所述至少一个另外的点手势输入由与所述单指点设备控制的所述光标的所述位置关于预定义的点对称的位置上的点所经过的路径来定义。
23.如权利要求16所述的系统，其中所述设备模拟器被配置成接收通过所述单指点设备连续输入的多个单点手势输入作为输入，并且通过以下操作将所述多个单点手势输入转换成所述多点手势输入：
将多个接收到的单点手势输入组合成所述多点手势输入，以使得所述多点手势输入表示由所述多个单点手势输入定义的多个单点手势的至少部分同时执行。
24.如权利要求16所述的系统，还包括CPU和计算机可读存储器，其中所述设备模拟器是存储在所述计算机可读存储器上并由所述CPU执行的软件。
25.如权利要求24所述的系统，还包括软件开发工具包，所述软件开发工具包被配置成开发用于包括所述多点传感器面板的多点使能设备的软件，所述软件开发工具包存储在所述计算机可读存储器上并由所述CPU执行，所述设备模拟器是所述软件开发工具包的一部分。
26.如权利要求16所述的系统，其中所述多点手势是多触摸手势，所述多点传感器面板是多触摸传感器面板，并且所述多点手势输入是多触摸手势输入。
27.一种用于模拟多点手势的方法，包括：
接收来自单指点设备的单轨迹输入；
响应于接收到的单轨迹输入，根据预定义的转换规则将所述单轨迹输入转换成所模拟的多点手势；以及
显示所述所模拟的多点手势的可视表示，其中所述所模拟的多点手势包括两个或更多所模拟的触摸点。
28.如权利要求27所述的方法，还包括：
接收来自所述单指点设备的初始定位命令；以及
在接收到所述单轨迹输入之前，显示两个或更多所模拟的触摸点的初始位置。
29.如权利要求27所述的方法，其中所述所模拟的多点手势通过将预定义的规则应用到所述轨迹输入来确定。
30.如权利要求27所述的方法，其中所述单指点设备是鼠标。
31.如权利要求27所述的方法，其中所述单指点设备是单触摸轨迹板。
32.一种用于模拟多点输入的设备，包括：
用于接收来自单指点设备的单轨迹输入的装置；
用于响应于接收到的单轨迹输入而根据预定义的转换规则将所述单轨迹输入转换成所模拟的多点输入的装置；以及
用于显示所述所模拟的多点输入的可视表示的装置，其中所述所模拟的多点输入包括两个或更多所模拟的触摸点。
33.如权利要求32所述的设备，其中所述所模拟的多点输入通过将预定义的规则应用到所述轨迹输入来确定。
34.如权利要求32所述的设备，其中所述单指点设备是鼠标。
35.如权利要求32所述的设备，其中所述单指点设备是单触摸轨迹板。
36.一种在第一设备处的用于模拟在多点传感器面板上的多点输入的模拟设备，所述第一设备包括单指点用户输入设备，所述模拟设备包括：
用于通过所述单指点用户输入设备接收单指点输入的装置；
用于根据预定义的转换规则，基于所述单指点输入而生成多点输入的装置；以及
用于显示所述多点输入的装置。
37.如权利要求36所述的模拟设备，其中所述生成多点输入的装置和所述显示所述多点输入的装置在正在接收所述单指点输入的同时实时地工作。
38.如权利要求36所述的模拟设备，其中所述模拟设备还包括：
用于接收控制信号的装置；以及
用于基于所述控制信号而选择多个预定义的转换规则之一作为生成所述多点输入所根据的转换规则的装置。
39.如权利要求36所述的模拟设备，其中所述单指点用户输入设备是鼠标。
40.如权利要求36所述的模拟设备，其中在所述第一设备处还具有要工作在包括所述多点传感器面板的多点使能设备上的第二设备，所述模拟设备还包括：
用于以一格式将所生成的多点输入发送给所述第二设备的装置，其中所述格式与在所述第二设备正在所述多点使能设备上工作时所述第二设备已经以其接收到多点输入的格式相同。
41.如权利要求36所述的模拟设备，其中所述单指点输入由所述单指点设备控制的光标的位置来定义。
42.如权利要求39所述的模拟设备，其中所生成的多点输入由至少两个不同的点输入来定义，第一点输入由所述单指点设备控制的所述光标的位置来定义，并且至少一个另外的点输入由从所述单指点设备控制的所述光标所经过的位置导出的位置来定义。
43.如权利要求42所述的模拟设备，其中所述至少一个另外的点输入由从所述单指点设备控制的所述光标移位预定义的向量的位置来定义。
44.如权利要求42所述的模拟设备，其中所述至少一个另外的点输入由与所述单指点设备控制的所述光标的所述位置关于预定义的点对称的位置来定义。
45.如权利要求36所述的模拟设备，其中所述模拟设备是由软件开发工具包的一部分来实现的。
46.如权利要求36所述的模拟设备，其中所述多点输入是多触摸输入，并且所述多点传感器面板是多触摸传感器面板。
47.一种用于模拟多点手势的设备，包括：
用于接收来自单指点设备的单轨迹输入的装置；
用于响应于接收到的单轨迹输入而根据预定义的转换规则将所述单轨迹输入转换成所模拟的多点手势的装置；以及
用于显示所述所模拟的多点手势的可视表示的装置，其中所述所模拟的多点手势包括两个或更多所模拟的触摸点。
48.如权利要求47所述的设备，还包括：
用于接收来自所述单指点设备的初始定位命令的装置；以及
用于在接收到所述单轨迹输入之前显示两个或更多所模拟的触摸点的初始位置的装置。
49.如权利要求47所述的设备，其中所述所模拟的多点手势通过将预定义的规则应用到所述轨迹输入来确定。
50.如权利要求47所述的设备，其中所述单指点设备是鼠标。
51.如权利要求47所述的设备，其中所述单指点设备是单触摸轨迹板。
52.一种在第一设备处的用于模拟在多点传感器面板上的多点手势的模拟设备，所述第一设备包括单指点用户输入设备，所述模拟设备包括：
用于通过所述单指点用户输入设备接收单指点手势的装置；
用于根据预定义的转换规则基于所述单指点手势而生成多点手势的装置；以及
用于显示所述多点手势的装置。
53.如权利要求52所述的模拟设备，其中所述生成多点手势的装置和所述显示所述多点手势的装置在正在接收所述单指点手势的同时实时地工作。
54.如权利要求52所述的模拟设备，所述模拟设备还包括：
用于接收控制信号的装置；以及
用于基于所述控制信号而选择多个预定义的转换规则之一作为生成所述多点手势所根据的转换规则的装置。
55.如权利要求52所述的模拟设备，其中所述单指点用户输入设备是鼠标。
56.如权利要求52所述的模拟设备，其中在所述第一设备处还具有要工作在包括所述多点传感器面板的多点使能设备上的第二设备，所述模拟设备还包括：
用于以一格式将所生成的多点手势发送给所述第二设备的装置，其中所述格式与在所述第二设备正在所述多点使能设备上工作时所述第二设备已经以其接收到多点手势的格式相同。
57.如权利要求52所述的模拟设备，其中所述单指点手势由所述单指点设备控制的光标所经过的路径来定义。
58.如权利要求53所述的模拟设备，其中所生成的多点手势由至少两个不同的点手势来定义，第一点手势由所述单指点设备控制的所述光标所经过的路径来定义，并且至少一个另外的点手势由从所述单指点设备控制的所述光标所经过的所述路径导出的路径来定义。
59.如权利要求58所述的模拟设备，其中所述至少一个另外的点手势由从所述单指点设备控制的所述光标移位预定义向量的点所经过的路径来定义。
60.如权利要求58所述的模拟设备，其中所述至少一个另外的点手势由与所述单指点设备控制的所述光标的所述位置关于预定义的点对称的位置上的点所经过的路径来定义。
61.如权利要求52所述的模拟设备，其中所述模拟设备是由软件开发工具包的一部分来实现的。
62.如权利要求52所述的模拟设备，其中所述多点手势是多触摸手势，所述多点传感器面板是多触摸传感器面板，并且所述多点手势输入是多触摸手势输入。
CN2009100083431A 2008-02-26 2009-02-26 一种模拟多点输入的系统及方法 Expired - Fee Related CN101520702B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/037,848 2008-02-26
US12/037,848 US20090213083A1 (en) 2008-02-26 2008-02-26 Simulation of multi-point gestures with a single pointing device

Publications (2)

Publication Number Publication Date
CN101520702A CN101520702A (zh) 2009-09-02
CN101520702B true CN101520702B (zh) 2012-05-30

Family

ID=40565391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100083431A Expired - Fee Related CN101520702B (zh) 2008-02-26 2009-02-26 一种模拟多点输入的系统及方法

Country Status (10)

Country Link
US (1) US20090213083A1 (zh)
EP (1) EP2096524A3 (zh)
JP (1) JP2009205685A (zh)
CN (1) CN101520702B (zh)
AU (1) AU2009200298B2 (zh)
CA (1) CA2651409C (zh)
DE (1) DE102009010744A1 (zh)
GB (1) GB2457802B (zh)
IL (1) IL197215A0 (zh)
WO (1) WO2009108584A2 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5448370B2 (ja) * 2008-05-20 2014-03-19 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体
TW201007526A (en) * 2008-08-13 2010-02-16 Elan Microelectronics Corp Signal processing method of multi-fingers touch apparatus having invisible physical button structure
CA2681778A1 (en) * 2008-10-07 2010-04-07 Research In Motion Limited Multi-touch motion simulation using a non-touchscreen computer input device
US8466879B2 (en) 2008-10-26 2013-06-18 Microsoft Corporation Multi-touch manipulation of application objects
US8477103B2 (en) * 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
JP5280965B2 (ja) * 2009-08-04 2013-09-04 富士通コンポーネント株式会社 タッチパネル装置及び方法並びにプログラム及び記録媒体
JP2011053770A (ja) * 2009-08-31 2011-03-17 Nifty Corp 情報処理装置及び入力処理方法
JP2011086035A (ja) * 2009-10-14 2011-04-28 Nec Corp 携帯機器、その画像表示制御方法および装置
US20110157015A1 (en) * 2009-12-25 2011-06-30 Cywee Group Limited Method of generating multi-touch signal, dongle for generating multi-touch signal, and related control system
US20110191787A1 (en) * 2010-02-02 2011-08-04 Sun Microsystems, Inc. System and method for providing sensor data from embedded device to software development environment
US8291408B1 (en) 2010-03-10 2012-10-16 Google Inc. Visual programming environment for mobile device applications
JP5513266B2 (ja) * 2010-06-09 2014-06-04 富士通コンポーネント株式会社 変換装置及びプログラム
US20110310126A1 (en) * 2010-06-22 2011-12-22 Emil Markov Georgiev Method and system for interacting with datasets for display
JP5555555B2 (ja) * 2010-06-28 2014-07-23 本田技研工業株式会社 携帯機器と連携し、該携帯機器に対して可能な入力操作を実現する車載機器
US8922499B2 (en) * 2010-07-26 2014-12-30 Apple Inc. Touch input transitions
JP2012033059A (ja) * 2010-07-30 2012-02-16 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
CN102541336B (zh) * 2010-12-31 2014-05-07 联芯科技有限公司 一种模拟操作触摸屏的方法、装置及系统
TWI461962B (zh) * 2011-01-13 2014-11-21 Elan Microelectronics Corp 用以執行多手指手勢功能之計算裝置及方法
CN102193863A (zh) * 2011-04-26 2011-09-21 青岛海信移动通信技术股份有限公司 一种多点触控操作的实现方法及装置
US9513799B2 (en) * 2011-06-05 2016-12-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US9535817B2 (en) * 2011-06-10 2017-01-03 Microsoft Technology Licensing, Llc Application development environment for portable electronic devices
US8176435B1 (en) * 2011-09-08 2012-05-08 Google Inc. Pinch to adjust
CN102999382A (zh) * 2011-09-09 2013-03-27 鸿富锦精密工业（深圳）有限公司 电子设备及其切换方法
KR20130061993A (ko) * 2011-12-02 2013-06-12 (주) 지.티 텔레콤 터치스크린 상의 화면조작방법
US9116611B2 (en) 2011-12-29 2015-08-25 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
CN104220962B (zh) * 2012-01-09 2017-07-11 莫韦公司 利用触摸手势的手势仿真的设备的命令
US8436829B1 (en) * 2012-01-31 2013-05-07 Google Inc. Touchscreen keyboard simulation for performance evaluation
US20130194197A1 (en) * 2012-02-01 2013-08-01 Ideacom Technology Inc. Electronic Apparatus With Touch Panel and the Operating Method Therefor
JP2013186702A (ja) * 2012-03-08 2013-09-19 Sony Corp 入力処理装置、入力処理プログラム及び入力処理方法
KR101381878B1 (ko) * 2012-04-10 2014-04-07 주식회사 오비고 마우스를 이용하여 터치 입력을 구현하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
CN102707882A (zh) * 2012-04-27 2012-10-03 深圳瑞高信息技术有限公司 虚拟图标触摸屏应用程序的操控转换方法及触摸屏终端
CN102778966B (zh) * 2012-06-29 2016-03-02 广东威创视讯科技股份有限公司 利用鼠标模拟触摸输入的方法及装置
JP5772773B2 (ja) * 2012-09-19 2015-09-02 コニカミノルタ株式会社 画像処理装置、操作標準化方法および操作標準化プログラム
GB2510333A (en) 2013-01-30 2014-08-06 Ibm Emulating pressure sensitivity on multi-touch devices
US9715282B2 (en) * 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
JP2014219867A (ja) * 2013-05-09 2014-11-20 コニカミノルタ株式会社 画像形成装置、画像形成装置が操作方法を案内する方法、プログラム、および、システム
JP6021756B2 (ja) * 2013-07-23 2016-11-09 三菱電機株式会社 ユーザインタフェース模擬装置
CN104423826B (zh) * 2013-09-03 2018-07-31 上海炬力集成电路设计有限公司 一种使用鼠标中键和滚轮实现缩放的方法及装置
WO2015033967A1 (ja) * 2013-09-06 2015-03-12 株式会社ソニー・コンピュータエンタテインメント エミュレーション装置、エミュレーション方法、プログラム及び情報記憶媒体
US10162737B2 (en) 2014-02-20 2018-12-25 Entit Software Llc Emulating a user performing spatial gestures
US10025427B2 (en) * 2014-06-27 2018-07-17 Microsoft Technology Licensing, Llc Probabilistic touch sensing
JP2016024580A (ja) * 2014-07-18 2016-02-08 富士通株式会社 情報処理装置、入力制御方法、および入力制御プログラム
US10255101B2 (en) * 2014-12-11 2019-04-09 Sap Se Device emulator
CN104484117B (zh) * 2014-12-18 2018-01-09 福州瑞芯微电子股份有限公司 人机交互方法及装置
CN104536597B (zh) * 2014-12-22 2018-11-27 合肥联宝信息技术有限公司 一种笔记本电脑实现多点触控的方法及装置
US9961239B2 (en) 2015-06-07 2018-05-01 Apple Inc. Touch accommodation options
CN105739890A (zh) * 2016-01-27 2016-07-06 深圳市奥拓电子股份有限公司 一种触摸屏界面交互方法及装置
CN105975174A (zh) * 2016-04-26 2016-09-28 乐视控股（北京）有限公司 一种无触摸屏下模拟点击操作的系统及方法
US10572026B2 (en) * 2018-06-01 2020-02-25 Adobe Inc. Reference point generation on a vector path
US10921975B2 (en) 2018-06-03 2021-02-16 Apple Inc. Devices, methods, and user interfaces for conveying proximity-based and contact-based input events
WO2020194569A1 (ja) * 2019-03-27 2020-10-01 三菱電機株式会社 変換システム、変換装置及び変換方法
US11965927B2 (en) 2019-05-31 2024-04-23 Apple Inc. Systems and methods of testing adverse device conditions
KR102322067B1 (ko) * 2019-12-27 2021-11-04 주식회사 이누씨 가상 포지셔닝 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582453A (zh) * 2001-11-08 2005-02-16 皇家飞利浦电子股份有限公司 多点触摸屏
CN1942848A (zh) * 2004-04-23 2007-04-04 诺基亚公司 用户接口

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0196043U (zh) * 1987-12-18 1989-06-26
US5805132A (en) * 1991-09-17 1998-09-08 Minolta Co., Ltd. Image editing apparatus capable of setting image processing region on display screen
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5488204A (en) * 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
JP2939392B2 (ja) * 1992-06-09 1999-08-25 株式会社フジクラ エミュレータ
JP3100463B2 (ja) * 1992-06-09 2000-10-16 株式会社フジクラ エミュレータ
US5555369A (en) * 1994-02-14 1996-09-10 Apple Computer, Inc. Method of creating packages for a pointer-based computer system
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5835079A (en) * 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
US6310610B1 (en) * 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
EP1717679B1 (en) * 1998-01-26 2016-09-21 Apple Inc. Method for integrating manual input
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6052110A (en) * 1998-05-11 2000-04-18 Sony Corporation Dynamic control of zoom operation in computer graphics
US6188391B1 (en) * 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
JP2000040345A (ja) * 1998-07-23 2000-02-08 Victor Co Of Japan Ltd 音声データの編集装置及びその制御プログラムを記録したコンピュータ読みとり可能な記録媒体
US6298481B1 (en) * 1998-10-30 2001-10-02 Segasoft, Inc. System for modifying the functionality of compiled computer code at run-time
JP2000347778A (ja) * 1999-06-04 2000-12-15 Nec Corp マルチメディアコンテンツ編集装置
JP2003173237A (ja) * 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6690387B2 (en) * 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
JP4171240B2 (ja) * 2002-04-24 2008-10-22 松下電器産業株式会社 プログラム検証システム
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7366995B2 (en) * 2004-02-03 2008-04-29 Roland Wescott Montague Combination tool that zooms in, zooms out, pans, rotates, draws, or manipulates during a drag
US20050219210A1 (en) * 2004-03-31 2005-10-06 The Neil Squire Society Pointer interface for handheld devices
KR101270847B1 (ko) * 2004-07-30 2013-06-05 애플 인크. 터치 감지 입력 장치용 제스처
US20070061126A1 (en) * 2005-09-01 2007-03-15 Anthony Russo System for and method of emulating electronic input devices
US20070257891A1 (en) * 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface
US8970501B2 (en) * 2007-01-03 2015-03-03 Apple Inc. Proximity and multi-touch sensor detection and demodulation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582453A (zh) * 2001-11-08 2005-02-16 皇家飞利浦电子股份有限公司 多点触摸屏
CN1942848A (zh) * 2004-04-23 2007-04-04 诺基亚公司 用户接口

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
National Instruments.LabVIEW,PDA Module User Manual.<LabVIEW,PDA Module User Manual>.2004,第1-1页、第5-1至5-7页. *
Transas LTD.GMDSS Tutor TGS-4100.<GMDSS Tutor TGS-4100,Version 6.1,User manual>.2007,第20页、第45页. *

Also Published As

Publication number Publication date
AU2009200298B2 (en) 2010-05-13
IL197215A0 (en) 2009-12-24
DE102009010744A1 (de) 2009-09-24
GB2457802A (en) 2009-09-02
WO2009108584A2 (en) 2009-09-03
CA2651409A1 (en) 2009-08-26
US20090213083A1 (en) 2009-08-27
CA2651409C (en) 2016-09-20
GB2457802B (en) 2010-11-03
JP2009205685A (ja) 2009-09-10
GB0902821D0 (en) 2009-04-08
EP2096524A3 (en) 2010-02-03
AU2009200298A1 (en) 2009-09-10
EP2096524A2 (en) 2009-09-02
WO2009108584A3 (en) 2010-03-18
CN101520702A (zh) 2009-09-02

Similar Documents

Publication Publication Date Title
CN101520702B (zh) 一种模拟多点输入的系统及方法
Schneider et al. Reconviguration: Reconfiguring physical keyboards in virtual reality
Hinckley Input technologies and techniques
Ballagas et al. The smart phone: a ubiquitous input device
Yee Two-handed interaction on a tablet display
Karam A taxonomy of gestures in human computer interactions
Harada et al. Characteristics of elderly user behavior on mobile multi-touch devices
CN104220962B (zh) 利用触摸手势的手势仿真的设备的命令
CN112400151A (zh) 通过触摸与虚拟对象和数据的自然交互
CN101438225A (zh) 多重触摸使用、姿势及实现
CN104024983B (zh) 用于间接交互设备的交互模型
Jung et al. PinPad: touchpad interaction with fast and high-resolution tactile output
Katzakis et al. INSPECT: extending plane-casting for 6-DOF control
Lao et al. A gestural interaction design model for multi-touch displays
Fellion et al. Flexstylus: Leveraging bend input for pen interaction
McGill et al. Creating and Augmenting Keyboards for Extended Reality with the K eyboard A ugmentation T oolkit
KR20160097410A (ko) 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치
Lepouras Comparing methods for numerical input in immersive virtual environments
CN103472931A (zh) 鼠标仿真触控屏幕操作的方法
Setthawong et al. Updated Goals Operators Methods and Selection Rules (GOMS) with touch screen operations for quantitative analysis of user interfaces
Desnoyers-Stewart et al. Augmenting a midi keyboard using virtual interfaces
Bauer et al. Marking menus for eyes-free interaction using smart phones and tablets
Li Beyond pinch and flick: Enriching mobile gesture interaction
Lai et al. Virtual touchpad for cursor control of touchscreen thumb operation in the mobile context
Kulik et al. The groovepad: ergonomic integration of isotonic and elastic input for efficient control of complementary subtasks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530