CN1758205A - 轻击手势 - Google Patents

轻击手势 Download PDF

Info

Publication number
CN1758205A
CN1758205A CNA200510109726XA CN200510109726A CN1758205A CN 1758205 A CN1758205 A CN 1758205A CN A200510109726X A CNA200510109726X A CN A200510109726XA CN 200510109726 A CN200510109726 A CN 200510109726A CN 1758205 A CN1758205 A CN 1758205A
Authority
CN
China
Prior art keywords
gesture
pointing device
flick gesture
determining
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200510109726XA
Other languages
English (en)
Other versions
CN1758205B (zh
Inventor
E·K·里马斯-里比考司卡斯
J·W·佩蒂洛斯
L·B·基利
M·R·勒纳
R·邓肯
R·J·贾勒特
S·维基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1758205A publication Critical patent/CN1758205A/zh
Application granted granted Critical
Publication of CN1758205B publication Critical patent/CN1758205B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

描述了一种用于确定是否发生轻击手势的系统和方法。轻击手势是可被容易地检测的简单手势，且以最小化与其它应用程序或手势的冲突为特征。

Description

轻击手势
技术领域
本发明的各方面涉及计算系统。更具体地，本发明的各方面涉及确定何时发生手写手势的过程。
背景技术
计算系统接受各种输入。某些计算机应用程序接受由定点设备形成的手势，以使能够更容易地控制和导航应用程序。然而，使用常规手势识别器的难点是，它们提供太多的假肯定和假否定。当用户正使用一定点设备(例如，指示笔或基于指示笔的计算机的手指或鼠标)时，系统可以将定点设备的正常动作解释为手势，并实现与该手势相关联的功能来迷惑用户。同样，当用户试图执行手势而计算系统没有将用户的行为识别为手势时，用户会感到灰心。在某些情况下，手势被移交给—单独的操作，在该操作中，在手势被识别前用户被迫更改系统的模式。例如，Opera浏览器(由挪威的Opera Software ASA of Oslo提供)允许鼠标手势用于控制浏览器的操作。类似的鼠标手势可通过Firefox浏览器(由加利福尼亚州芒廷维尤的Mozilla Organization提供)的插件来获得。尽管这些浏览器识别手势，但是要求用户切换浏览器的操作模式来明确地通知浏览器将要执行手势。在Opera和Firefox浏览器中，操作模式通过用户在执行手势之前点击鼠标右键(或辅助的鼠标按键)来切换。这里的问题是，必须执行多个步骤来完成所有的手势，即，按下鼠标右键然后拖动鼠标。当使用指示笔时，这些浏览器要求指示笔进入一个备选输入模式，即按下指示笔按键(如果该指示笔有指示笔按键)。这些多个步骤使手势变得麻烦。而且，尽管当压下鼠标或指示笔按键时，这些浏览器可以识别由直线构成的手势，但是在浏览器上可接受的手势通常在更多的环境中不可用，因为当应用于非只读环境(例如，文字处理环境)中时，它们会生成太多的假肯定。
在识别手势并向其分配功能的计算机系统或计算机应用程序中，通常单独使用形状来确定是否发生了手势。单独使用形状的一个问题是，使用慢速指示笔和鼠标的用户可能倾向于执行可被识别为手势的动作，尽管用户的意图是相反的。
标记菜单(也被称为环行菜单)是可以通过与定点设备的交互而访问的菜单。加拿大安大略省多伦多市Alias Systems公司的Maya和Alias应用程序提供了标记菜单的示例。尽管因为它们都包括开始和停止位置，标记菜单类似于手势，但是标记菜单被认为是菜单，因为用户输入的相关部分是按键放开或指示笔放开事件的位置，而不是到该位置的实际路径的形状。
需要能够由手势识别器容易地识别而用户仍能容易执行的改进的手势。
发明内容
本发明的各方面解决上述的一个或多个问题，从而提供健壮地识别手势的过程。
附图说明
本发明是通过示例来示出的，且不限于附图，附图中，同样的参考标号指示类似的元素，在附图中：
图1根据本发明的各方面示出了一个通用计算环境的说明性示例。
图2根据本发明的各方面示出了一个图形输入板计算机的说明性示例。
图3根据本发明的各方面示出了其中可以确定发生了轻击手势的多个区域。
图4根据本发明的各方面示出了用于确定是否发生轻击手势的过程。
图5根据本发明的各方面示出了用于向用户提供指令的说明性教学过程。图6根据本发明的各方面示出了可以与手势识别器一同使用的各种说明性组件。
具体实施方式
本发明的各方面涉及识别轻击手势。
本文档被分成多个章节来帮助读者。这些章节包括：墨迹特征、术语、通用计算环境、手势、轻击手势、轻击手势的确定、训练和说明性实现方式。
注意，在下面的描述中描述了元素之间的各种连接。注意，这些连接一般(除非另外特指)可以是直接的或间接的，且该说明书不旨在限于这方面。
墨迹特征
正如使用墨水笔的用户所知，物理墨迹(使用带有墨水囊的笔在纸上涂写的那一种)可以比由线段连接的一连串坐标传达更多的信息。例如，物理墨迹可以反映笔的压力(通过墨水的浓度来反映)、笔的角度(通过线段或曲线段的形状和围绕离散点的墨迹的形态来反映)、以及笔尖的速度(通过平直性、线宽、以及随线条或曲线的行进而变化的线宽来反映)。更多的示例包括，墨水被吸收至纸张纤维或它所沉积到其上的其它表面的方式。这些微妙的特征也有助于传达以上列出的属性。因为这些额外的属性，与使用点之间统一线宽相比，能够更瞬时地传达情感、个性、强调等等。
电子墨迹(或墨迹)涉及当用户使用基于指示笔的输入设备时捕捉电子信息和对所捕捉的电子信息的显示。电子墨迹指的是，顺序或任意随机的笔划集合，其中每一笔划包括一连串点。笔划可以同时绘制或收集，或者可以在独立时间和位置上为独立的原因绘制或收集。点可以使用各种已知技术来表示，包括笛卡尔坐标(X，Y)、极坐标(r，Θ)和本领域中已知的其它技术。电子墨迹可以包括对真实墨迹的属性，包括压力、角度、速度、颜色、指示笔大小和墨迹不透明度等的表示。电子墨迹还可以包括其它属性，包括墨迹沉积到页面上的顺序(对大多数西方语言，是从左到右然后向下的光栅图)、时间标记(指示何时墨迹沉积)、墨迹作者的指示、以及发端装置(从其上汲取墨水的机器的标识和用来沉积墨迹的笔的标识中的至少一个)。
术语
墨迹      带有属性的笔划序列或笔划集。笔划序列可以包括有序形
          式的笔划。该序列可以按捕捉时间来排序，或按笔划在页
          面上出现的地方来排序，或在协作的情况下按墨迹的作者
          来排序。其它顺序是可能的。笔划集可以包括笔划序列或
          未排序的笔划或其任何组合。此外，某些属性对每一笔划
          或该笔划中的点是唯一的(例如，压力、速度、角度等)。
          这些属性可以在笔划级或点级储存，而不是在墨迹级储存。
墨迹对象  存储带有或不带有属性的墨迹的数据结构。
笔划      捕捉的点序列或点集。例如，当呈现时，点序列可以用线
          条来连接。或者，笔划可以被表示为一个点和指向下一点
          的方向的向量。简言之，笔划旨在包含与墨迹有关的点和
          线段的任何表示，而不考虑点和/或连接点的物质的底层表
          示。
点    定义空间中的位置的信息。例如，点可以相对于捕捉空间
      (例如，在数字化仪上的点)、虚拟墨迹空间(向其中放
      置捕捉到的墨迹的空间中的坐标)和/或显示空间(显示设
      备的点或像素)来定义。
文档  任何含有可查看表示和内容的电子文件。文档可以包括网
      页、文字处理文档、便条页或便条本、电子表格、可视演
      示、数据库记录、图像文件及其组合。
轻击  计算机系统的定点设备的短的、快速的、直线的运动。在
      定点设备是指示笔或手指的情况下，轻击可以在启用指示
      笔的计算机的表面上或在其表面上方发生。在定点设备是
      鼠标的情况下，运动可以随按下鼠标按键或没有按下鼠标
      按键而发生。轻击可以创建上述的笔划。注意，轻击也可
      以由其它活动来创建，这些活动包括，但不限于，使用定
      点设备的绘制或上墨。使用指示笔来执行轻击手势的优点
      是，它允许结合启用笔的计算机(使用活动的笔和静态笔)
      来使用轻击手势。使用鼠标来执行轻击手势的优点是，鼠
      标容易使用且通常能够在大多数计算机中找到。使用手指
      来执行轻击手势的优点是，某些用户相对于基于笔的计算
      机上的指示笔而言更偏好使用手指——允许用户使用他们
      的手指来执行轻击向他们提供轻击的功能而不需使用额外
      的硬件。
通用计算环境
图1示出了可在其上实现本发明的合适的计算系统环境100的示例。计算系统环境100只是合适的计算环境的一个示例，并不旨在对本发明的使用范围或功能提出任何限制。也不应该把计算环境100解释为对示例性操作环境100中示出的任一组件或其组合有任何依赖性或要求。
本发明可用众多其它通用或专用计算系统环境或配置来操作。适合在本发明中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子产品、网络PC、小型机、大型机、包含上述系统或设备中的任一个的分布式计算机环境等。
本发明可在诸如由计算机执行的程序模块等的计算机可执行指令的通用语境下描述。一般而言，程序模块包括例程、程序、对象、组件、数据结构等，它们执行特定任务或实现特定抽象数据类型。本发明也可以在分布式计算环境下实现，其中任务由通过通信网络连接的远程处理设备执行。在分布式计算环境中，程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。
参考图1，用于实现本发明的一个示例性系统包括计算机110形式的通用计算设备。计算机110的组件可以包括，但不限于，处理单元120、系统存储器130和将包括系统存储器在内的各种系统组件耦合至处理单元120的系统总线121。系统总线121可以是若干类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线和使用各种总线体系结构中的任一种的局部总线。作为示例，而非限制，这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、扩展的ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线和外围部件互连(PCI)总线(也被称为Mezzanine总线)。
计算机110通常包括各种计算机可读介质。计算机可读介质可以是能够被计算机110访问的任何可用介质，且包括易失性和非易失性介质、可移动和不可移动介质。作为示例，而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现的用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算机110访问的任何其它介质。通信介质通常具体化为诸如载波或其它传输机制等已调制数据信号中的计算机可读指令、数据结构、程序模块或其它数据，且包含任何信息传递介质。术语“已调制数据信号”指的是这样一种信号，其一个或多个特征以在信号中编码信息的方式被设定或更改。作为示例，而非限制，通信介质包括有线介质，诸如有线网络或直接线连接，以及无线介质，诸如声学、RF、红外线和其它无线介质。上述中任一个的组合也应包括在计算机可读介质的范围之内。
系统存储器130包括易失性或非易失性存储器形式的计算机存储介质，诸如只读存储器(ROM)131和随机存取存储器(RAM)132。基本输入/输出系统133(BIOS)包含有助于诸如启动时在计算机110中元件之间传递信息的基本例程，它通常存储在ROM 131中。RAM 132通常包含处理单元120可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例，而非限制，图1示出了操作系统134、应用程序135、其它程序模块136和程序数据137。
计算机110也可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图1示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器141，从可移动、非易失性磁盘152中读取或向其写入的磁盘驱动器151，以及从诸如CD ROM或其它光学介质等可移动、非易失性光盘156中读取或向其写入的光盘驱动器155。可以在示例性操作环境下使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括，但不限于，盒式磁带、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器141通常由不可移动存储器接口，诸如接口140连接至系统总线121，磁盘驱动器151和光盘驱动器155通常由可移动存储器接口，诸如接口150连接至系统总线121。
以上描述和在图1中示出的驱动器及其相关联的计算机存储介质为计算机110提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图1中，硬盘驱动器141被示为存储操作系统144、应用程序145、其它程序模块146和程序数据147。注意，这些组件可以与操作系统134、应用程序135、其它程序模块136和程序数据137相同或不同。操作系统144、应用程序145、其它程序模块146和程序数据147在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘162和定点设备161(通常指鼠标、跟踪球或触摸垫)向计算机110输入命令和信息。其它输入设备(未示出)可以包括麦克风、操纵杆、游戏垫、圆盘式卫星天线、扫描仪等。这些和其它输入设备通常由耦合至系统总线的用户输入接口160连接至处理单元120，但也可以由其它接口或总线结构，诸如并行端口、游戏端口或通用串行总线(USB)连接。监视器191或其它类型的显示设备也经由接口，诸如视频接口190连接至系统总线121。除监视器以外，计算机也可以包括其它外围输出设备，诸如扬声器197和打印机196，它们可以通过输出外围接口195连接。
计算机110可使用至一个或多个远程计算机，诸如远程计算机180的逻辑连接在网络化环境下操作。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见网络节点，且通常包括上文相对于计算机110描述的许多或所有元件，尽管在图1中只示出存储器存储设备181。图1中所示逻辑连接包括局域网(LAN)171和广域网(WAN)173，但也可以包括其它网络。这样的网络环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连接至局域网171。当在WAN网络环境中使用时，计算机110通常包括调制解调器172或用于通过诸如因特网等WAN 173建立通信的其它装置。调制解调器172可以是内部或外部的，它可以通过用户输入接口160或其它合适的机制连接至系统总线121。在网络化环境中，相对于计算机110所描述的程序模块或其部分可以存储在远程存储器存储设备中。作为示例，而非限制，图1示出了远程应用程序185驻留在存储器设备181上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其它手段。
在某些方面，提供了笔数字化仪165和附属的笔或指示笔166以数字化地捕捉手画线输入。尽管示出了笔数字化仪165和用户输入接口160之间的直接连接，但在实际上，笔数字化仪165可以使用包括无线技术在内的任何技术，直接地、通过并行端口或其它接口以及系统总线130来耦合至处理器单元110。而且，笔166可以含有与之相关联的照相机，以及用于将由该照相机所捕捉到的图像信息无线地发送到与总线130交互的接口的收发器。而且，笔可以含有除照相机之外的或代替照相机的其它传感系统，用于确定电子墨迹的笔划，包括加速计、磁强计和陀螺仪等。可以理解，示出的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其它技术。假定诸如TCP/IP、以太网、FTP、HTTP等各种公知协议的存在，且系统能够在客户机—服务器配置中操作以允许用户从基于web的服务器中检索网页。可使用各种常规web浏览器的任何一种来显示和处理网页上的数据。
图2示出了根据本发明的各方面能够使用的说明性图形输入板PC 201。图1的系统中的任何或所有特征、子系统以及功能能够被包含在图2的计算机中。图形输入板PC 201包括大显示表面202，例如数字化平板显示器，较佳的是液晶显示(LCD)屏，在其上显示多个窗口203。使用指示笔204，用户能够在数字化显示表面202上选择、加亮和/或书写。合适的数字化显示表面202的示例包括诸如Mutoh或Wacom笔数字化仪等电磁笔数字化仪。也可以使用其它类型的笔数字化仪，例如光学数字化仪。图形输入板PC 201解释使用指示笔204做出的手势，以处理数据、输入文本、创建绘图和/或执行诸如电子表格、文字处理程序等的常规计算机应用程序任务。
指示笔204可以配备一个或多个按键或其它特征来增加其选择能力。在一个实施例中，指示笔204能够被实现为“铅笔”或“钢笔”，其中，一端构成了书写部分，而另一端构成了“橡皮”端，且当“橡皮”端在显示器上移动时，指示了显示器上要擦除的部分。能够使用其它类型的输入设备，诸如鼠标、跟踪球等。另外，用户自己的手指可以作为指示笔204，且用于在触敏显示器或邻近性敏感显示器上选择和指示所显示的图像的各部分。因此，如此处所使用的术语“用户输入设备”旨在拥有广泛的定义且包括诸如指示笔204等公知输入设备的众多变体。区域205显示允许用户确定指示笔204在哪里与显示表面202接触的反馈区域或接触区域。
在各种实施例中，该系统提供一种墨迹平台，作为应用程序能够用来捕捉、处理和存储墨迹的一组COM(组件对象模型)服务。一种服务使得应用程序能够使用所揭示的墨迹表示来读出和写入墨迹。该墨迹平台也可以包括标记语言，包括如可扩展标记语言XML等语言。而且，该系统可以使用DCOM作为另一种实现。可以使用其它更多的实现，包括微软公司的Win32编程模型和.Net编程模型。
手势
手势是调用动作的方式，类似于点击工具栏按键或键入键盘快捷键。手势可以使用定点设备(包括但不限于，鼠标、指示笔和/或手指)来执行。手势拥有与之相关联的形状。形状可以如点一般简单(例如，点击鼠标按键)或如一系列运动般复杂。手势也拥有与之相关联的位置。位置可以用来指示手势的范围、目标和/或含义。
轻击手势
多年以来手势用于计算系统中。然而，因为由手势所造成的困难和复杂性，众多开发者和终端用户禁用了手势。例如，手势识别引擎遭受在识别手势时难以接受的大量假肯定和假否定。这些假肯定(当用户输入不打算作为手势时，系统确定用户输入是手势)和假否定(当用户试图执行手势时，系统确定用户输入不是手势)使开发者和终端用户都感到灰心。
如此处所述，轻击手势是包含定点设备的单个运动的简单手势。轻击手势对用户而言是容易记忆和执行的。一旦用户掌握了轻击手势，它能够在多个方向上应用以完成不同任务。而且，轻击手势对于系统而言是容易识别且容易与其它动作(包括拖动、选择等)区分。
开发者和/或用户可以将操作与轻击手势相关联。这些操作可以包括向前导航、向后导航、向上或向下滚动、改变应用程序、右击(可以总是或不总是在基于指示笔的系统中存在)和任意的应用程序命令。任意的应用程序命令是与应用程序有关的命令，它们对于那些应用程序是专用的，而在其它应用程序上一般不可用。而且，轻击手势不需要拥有预定义的含义，而是可以由开发者或用户来定制以实现一个键或键组合，以使用户可以拥有对键盘快捷键或宏的快速访问。启用手势的一个好处是，它使用户在不使用键盘时能够感觉能做更多的事，来克服不能做事的感觉。
轻击手势在操作系统中的所有应用程序上与其相关联的功能中可以是一致的。或者，轻击手势在与之相关联的功能中可以是取决于环境的(其中，与轻击手势绑定的最后得到的操作根据在其中发生该轻击手势的应用程序而变化)。
而且，轻击手势可以专用于应用程序中的位置(例如，在标题栏中)或者是否作出一选择(例如，手势可以执行剪切、复制、粘贴和/或选择性粘贴操作)。另外或可替换地，计算机的状态可以用于确定应当执行与轻击手势相关联的哪个动作。例如，当前选中的对象的颜色、哪一用户登录到系统中、是否有外部监视器连接至系统等—简而言之，计算系统或对象的任何状态或状态组合-可以用于确定响应于轻击手势将要执行什么动作。
而且，不同的输入设备可以修改与轻击手势相关联的动作。例如，当由指示笔执行时，第一组动作可以与轻击手势相关联。当由另一定点设备执行时，第二组动作可以与轻击手势相关联。动作组的数目可以按照不同的输入设备的数目而改变。
而且，可以启用或不启用断字区，在断字区中，轻击可能拥有另一操作。断字区可以包括显示器的特定区域和/或环行菜单。
轻击手势可以是方向不相关的或可以是方向专用的。如果是方向专用的，则该轻击所进入的方向会确定结果。轻击手势的特征可以根据或不根据方向而改变。例如，系统可以仅拥有一组参数，用于识别轻击手势。或者，系统可以拥有任何数量的参数，这些参数取决于轻击的方向而变化，以适应惯用左手或惯用右手、指示笔的角度等等。可以修改这些参数以偏向于在某些方向执行轻击手势的简易性。
一旦用户知道如何执行轻击手势，她仅需知道链接到每一可用方向的动作。与每一方向相关联的动作可以是可定制的，从而允许用户拥有个性化的或最优化的经历。
轻击手势可以被单独使用。或者，轻击手势可以被组合来执行另外的动作。例如，向上的轻击手势可以执行向上翻页的动作，而两个向上的轻击手势可以执行移动至文档顶部的移动动作。
在另一实施例中，可以通过按下指示笔上的按键或按下鼠标上的鼠标右键(辅助鼠标按键)来启用轻击手势，而仍旧满足任何移动或时间阈值。然而，轻击手势的一个优点是，它可以使用鼠标左键点击或使用指示笔或手指来执行而不改变模式。轻击手势可以提高用户的生产率，且允许他们在比先前可用的更有效的级别上与其桌面和应用程序交互。设计手势，使得用户仅需最小级别的训练/记忆来获取显著的益处；一旦用户掌握了手势，他们仅需知道方向和动作的关联。可以基于置于轻击手势上的各种标准和约束来作出对正常鼠标或指示笔运动和轻击手势之间的区分。
轻击手势可以允许用户使用有目标的滚动条或导航按键来实施。这可以包括使用或不使用超链接来阅读文档或导航文档。可以在线和离线地阅读该类型的文档。另外，可以使用轻击手势来执行常见的动作，包括剪切、复制和粘贴。
轻击手势确定
用户可以通过对着屏幕轻击他们的笔来简单地执行轻击手势；可以使用笔的任何活动部分，取决于实现方式(顶端或底部)。轻击手势可以在自然模式中执行，而不必要求用户进入任何模式——尽管可以做出模式要求，例如，要求用户在执行轻击手势时按住笔的按键。轻击手势能够在(例如)8个方向上作出，每一轻击属于8个方向中的一个。可以根据物理或逻辑的x和y的坐标的概图和对照时间制成图表的压力(或位置)来确定轻击手势的发生。简而言之，可以用来确定是否发生轻击手势的三个基本特征包括轻击的方向、轻击的运动以及轻击的时间选择。例如，运动阈值可以大于1cm，而时间阈值大于0.2ms长。这些过程的值可以变化以适应所有的用户。使用这些特征，系统可以计算出轻击的其它方面，这些方面可能更容易与阈值进行比较。例如，系统可以计算速率、加速度、曲率、升程等，并使用这些导出的值或值的集合来确定用户是否执行了轻击手势。
轻击手势可以与其它动作无关地确定，这些动作包括双重激励(双敲或双击)、按下和按住、按住和拖曳以及其它手势。
也可以使用诸如神经网络等其它方法来试图根据从三个基本特征导出的输入特征的组合来对轻击手势分类。
使用这些准则来确定是否发生轻击手势的一个好处是，在最小化轻击手势的检测时间的同时最小化了假肯定和假否定。结合起来，这些好处提供整体改进的系统响应性。例如，可以组织用于确定是否发生轻击的过程，来快速确定轻击不满足轻击手势的资格，并允许输入设备的运动作为正常的输入设备运动来对待。
本发明的各方面可以包括，当系统确定轻击是否的确是轻击手势时，呈现与正常输入设备动作相关联的轻击运动和/或动作。或者，本发明的各方面可以包括在系统确定是否发生轻击手势之前防止输入信息(从操作该定点设备的用户处接收)被处理或呈现。尽管后一方法可能会引起对用户的反馈中的轻微的视觉延迟，但是，它可以改进用户在存在可以用正常输入来处理的对象的情况下执行轻击手势的能力。例如，对于对象执行轻击可能被处理为正常输入，导致拖放该对象，尽管可能打算的是轻击手势。因此，本发明的这些替换方面可以保持数据包(可能是或不是轻击手势)，直到系统确定它们是否为轻击手势。
图3示出可以用于轻击手势的各种说明性方向。所有方向的组如区域301所示。示出了四个基本区域302-305以及四个对角区域306-309。系统可以相对于轻击手势向哪一方向行进的确定，同等地对待所有八个区域。或者，可以偏向某些区域(例如，基本区域)，以将用户输入分类为优先于对角区域而落入这些方向中的一个。不同方向的数量可以是固定的或可更改的。例如，可以作为替代地使用6个或者12个或者任何数量的方向作为对用户可用的方向的数量。
为了确定轻击的方向，下笔点表示了一个圆心，围绕圆心可以有8个同样形状且彼此隔开的区域，例如每一个圆占据圆的45度部分。这些区域不依赖于图形输入板的定向，当图形输入板旋转时随之旋转。
区域不必局限于45度，取决于应用，可以更大或更小。然而，遍及整个系统默认地使用的区域被初始设置为45度。
根据定义，轻击手势在图3所示的圆心开始，因为下笔(或鼠标左击)点是圆心；称作为轻击的短的、快速的、笔直的笔划从下笔点拉出。根据轻击的定义，它短且笔直的，会落入区域中的一个。它被划入哪一个区域可以确定所引起的动作。轻击区域是通过连接同屏幕接触的笔划的起点和终点来确定的，只要笔划满足轻击的性质(可以包括或不包括此处所述的平直性、长度和速度要求)。如果轻击落入分隔区域的精确的线条，那么该轻击可以默认属于非对角区域的区域，即表示水平或垂直方向的那些区域。
在成功识别了轻击手势之后，可以向用户提供或不提供反馈，其中反馈指示用户刚才执行的轻击手势已经被识别，以及正在向操作系统或应用程序发送消息。反馈也可以指示引起的动作。该反馈并不意味着会发生动作，仅仅意味着已经识别出一个成功的轻击且正在发送。例如，如果用户继续执行向下翻页的轻击手势，一旦她达到了页面的底部，她仍然会获得正确的反馈，尽管因为不能再下滚动页面而没有引起任何动作。
一旦识别了一个成功的手势，就会出现该反馈，且反馈会持续一段短的时间(500ms左右)，然后消失。或者，可以不提供任何反馈。而且，在其它替换方面，反馈可以制成动画，以更容易地通知用户已经识别了一个成功的轻击手势。动画可以向用户提供或不提供与所识别的轻击手势相关联的方向的反馈。
图4示出用于确定是否发生轻击的过程。在步骤401处，发生了下笔或按下按键事件。下一步在步骤404处，系统确定是否存在超过运动阈值的运动(例如，超过0.2-0.5cm)。如果不存在，那么如步骤405所示，系统可以确定接收到的输入是某个其它动作或选择。如果在步骤404处存在超过阈值的运动，那么系统确定输入设备的速率是否降低到速度阈值以下(例如，最高速率的20％或更低，或每秒5cm或更低)。该降低可以对于短暂时间间隔(10-200ms)中的速率下降是敏感或不敏感的。或者，该过程可以确定所接收到的手势的速率是否不在下降。
如果对步骤406为“否”，那么在步骤407确定另一动作或选择。如果对步骤406为“是”，那么在步骤408确定发生了一个轻击手势。当前位置可以被认为是沿着该轻击的路径的任何位置，包括但不限于，指示笔或手指从屏幕上抬起或鼠标键被放开的位置。
下文描述了图4的过程的可任选的添加。从步骤401处，系统可以确定一下笔位置是否在上墨区域中。如果是，则如步骤403所示，系统可以相信下笔事件与墨迹的创建有关。这可以包括或不包括附加的操作(例如，实际创建墨迹、选择或擦除墨迹)。
另一可任选步骤包括步骤409。在步骤409处，系统确定可能的轻击手势的路径是否相对较直。这可以包括对手势中的所有点是否位于从初始接触点出发的预先定义的角度中的判断。初识角度可以包括45°或更小。如果否，那么该方法可以在步骤410中得出结论：该输入不是轻击手势。
又一组可任选的步骤(411和412)包括，在定点设备接触屏幕之前和/或之后分析该定点设备的运动。例如，通过注意到指示笔尖离开屏幕后，指示笔继续在直线上行进某一距离，可以进一步改进检测算法的精度。步骤409和412的方法有助于快速除去不是轻击手势的那些轻击。或者，尽管步骤409和411的方法更复杂且功能上更慢(因为该替换方法可以将轻击解释为以前拒绝的轻击手势)，然而它们对于用户运动可以更宽容。
一旦发生成功的轻击，系统可以向系统或应用程序的其它方面警告发生了轻击手势。可以发送消息，使得应用程序可以执行与该动作相关联的行为，如果不存在已分配的行为，那么轻击体系结构可以发送一默认值以供应用程序解释。例如，如果向应用程序发送后退命令，则这可以被解释为浏览器中的后退命令，或被解释为数据库应用程序中的前一条目。更具体地，各种不同的方法可以应用于处理轻击手势。首先，轻击手势可以由操作系统解释并处理。从一给定方向到语义的映射可以由系统执行或可以被省略。第二，轻击到轻击动作的映射可以在操作系统中做出，但是被发送到一个或多个应用程序以供处理。系统可以仅将轻击的原始方向传递(或者通过指示预定义的区域或者轻击的所检测到的精确角度)到一个或多个应用程序、它可以传递语义、或传递两者。第三，系统可以向将轻击解释为轻击手势的一个或多个应用程序发送该轻击。该一个或多个应用程序可以解释预定义的区域、精确角度、语义消息或三者的某种组合。该一个或多个应用程序然后能够处理该轻击手势或将其发送回操作系统以供处理。
轻击手势可以应用于轻击的下笔位置或当前的焦点、前台应用程序、或光标位置。轻击手势不仅限于导航，而且也可以用于执行其它操作。例如，用户可能想让一轻击手势执行在指示笔接触屏幕位置处的右击操作。
开发者可能能够在其应用程序中或其应用程序中诸如滚动条等特定区域中关闭轻击手势。另外，可以防止开发者定制轻击手势，或者可以能够定制轻击手势以在其应用程序中采取特定的动作。此外，也可以允许或不允许轻击手势提供应用程序中的自定义反馈。
训练
图5示出了用于训练用户以使其能够执行轻击手势的说明性过程。可以理解，可以使用任何数量的过程来训练用户以执行轻击手势，其中多个过程使用指示或可任选步骤在图5中示出。而且，系统可以实现如此处所述的轻击手势，而不提供关于如何执行轻击手势的训练。
在步骤501处，系统开始教学过程。在步骤505处，系统确定用户是否执行了一轻击手势N次(大约5次或10次)。如果是，那么系统在步骤510处结束该教学过程。如果对步骤505为“否”，那么该系统为了试图训练用户而请求更多的轻击手势。或者，可以在步骤509处允许用户决定退出更多的训练。
图5也示出了可以包括在训练步骤中的多个附加的可任选成分。在步骤502处，系统可以提供用户能够在其中练习轻击的区域。在步骤503处，系统可以教导用户如何执行轻击手势。在步骤504和508处，系统可以更改图4的阈值，以使轻击手势的识别变得更容易，或更精密地对用户执行的动作建模。在步骤506处，系统可以请求用户重复该手势。或者，或除步骤506处重复手势的请求之外，系统可以显示手势被正确执行的指示。在步骤507处，系统可以向用户重复关于如何正确地执行轻击手势的指令。该指令可以是通用的，或可以包含根据先前的一次或多次对执行轻击手势的尝试用户能够作出的特定改进的解说。例如，该过程可以指示，该轻击手势被正确地执行了，或向用户提供成功地执行轻击的有帮助的提示(例如，更快地轻击或更直地轻击等)。
说明性实现
图6示出了如何将手势识别器与其它组件集成的说明性示例。图6示出了可以试图实时处理来自指示笔或其它输入设备的输入的实时指示笔组件601。
实时指示笔(RTS)是提供给定窗口输入矩形内的给定窗口手柄上的实时指示笔事件的对象。该实时指示笔也能够被认作是一种框架，可以向其添加处理附加功能的插件对象。该插件对象可以根据所需实时指示笔功能的改变而被添加或移除。实时指示笔可以拥有一个或多个接口。在两个接口的情况下，这些接口可以是一个同步接口和一个异步接口。这些接口提供插件可以被连接至实时指示笔的位置。这些接口仅用于说明性的目的。也可以使用其它接口。
插件可以连接至同步和异步接口。插件是可以被添加至实时指示笔对象的功能组件。如果插件被连接至实时指示笔对象的同步接口，则它可以被称为同步插件。如果一个插件被连接至实时指示笔对象的异步接口，则它可以被称为异步插件。
插件可以被组合成集合。一个或多个组中的插件集合被连接至RTS。当存在两个集合，它们可以分别同RTS的同步和异步接口相关联。每一集合可以顺序执行。当存在两个或更多的集合，因为它们可以连接至一个或多个RTS的不同接口，因此它们可以彼此独立地执行。在由每一插件处理之后，数据返回到RTS。集合中插件的顺序可能会影响集合的输出。
实时指示笔组件601可以包括同步插件602-604和异步插件605-606。插件可以被组合成插件集合。同步插件602-604(例如包括动态呈现器)涉及需要快速处理输入的插件。异步插件605-606涉及实时指示笔601的异步线程上的插件。异步插件605-606可以在异步基础上处理来自实时指示笔的信息。
轻击手势识别器可以被置于手势识别器605中，且在异步线程上处理。或者，轻击手势识别器可以与其它同步插件一起被置于同步线程上。当被置于同步线程上，轻击手势识别器603能够在来自实时指示笔的的输入被附加的插件处理和发送给异步线程之前快速地处理该信息。没有被识别为轻击手势的手势应该由异步线程上的手势识别器605识别。
本发明是按照其较佳且示例性的实施例所描述的。本领域的普通技术人员可以从该揭示的阅读中想到在所附权利要求书范围和精神之内的众多其它实施例、修改和变化。

Claims (22)

1.一种用于识别由定点设备创建的手势的过程，包括以下步骤：
由所述定点设备的运动确定发生轻击手势。
2.如权利要求1所述过程，其特征在于，所述定点设备包括鼠标，且接触包括鼠标按键的操作。
3.一种用于识别由定点设备创建的手势的过程，包括以下步骤：
确定所述定点设备在与计算机生成的显示接触后的运动是否超过第一运动阈值；
确定所述定点设备的速率是否没有下降；以及
基于所述确定步骤，确定发生手势。
4.如权利要求3所述过程，其特征在于，所述定点设备包括鼠标，且接触包括鼠标按键的操作。
5.如权利要求3所述过程，其特征在于，所述定点设备包括指示笔，且接触包括与所述计算机生成的显示的表面的物理接触。
6.如权利要求3所述过程，其特征在于，所述定点设备包括用户的手指，且接触包括与所述计算机生成的显示的表面的物理接触。
7.如权利要求3所述过程，其特征在于，所述速率确定步骤包括，确定所述速率是否减少了初始速率的一个百分比。
8.如权利要求3所述过程，其特征在于，所述速率确定步骤包括，确定所述速率是否减少到第一速率阈值以下。
9.如权利要求3所述过程，其特征在于，所述过程还包括以下步骤：
确定所述手势的路径的平直性，
其中，所述手势是基于所述平直性判定被确定发生的。
10.如权利要求3所述过程，其特征在于，所述过程还包括以下步骤：
确定所述手势的开始是否在可上墨区域中发生，
其中，当所述手势没有在所述可上墨区域发生时，所述手势被确定为已经发生。
11.一种用于识别由定点设备创建的手势的系统，包括：
用于确定所述定点设备在与计算机生成的显示接触后的运动是否超过第一运动阈值的装置；
用于确定所述定点设备的速率是否没有下降的装置；以及
用于基于所述确定步骤确定发生手势的装置。
12.如权利要求11所述系统，其特征在于，所述定点设备包括鼠标，且接触包括鼠标按键的操作。
13.如权利要求11所述系统，其特征在于，所述定点设备包括指示笔，且接触包括与所述计算机生成的显示的表面的物理接触。
14.如权利要求11所述系统，其特征在于，所述定点设备包括用户的手指，且接触包括与所述计算机生成的显示的表面的物理接触。
15.如权利要求11所述系统，其特征在于，用于确定速率的所述装置包括，用于确定所述速率是否减少了初始速率的一个百分比的装置。
16.如权利要求11所述系统，其特征在于，用于确定速率的所述装置包括，用于确定所述速率是否减少到第一速率阈值以下的装置。
17.如权利要求11所述系统，其特征在于，还包括：
用于确定所述手势路径平直性的装置，
其中，所述手势是基于所述平直性判定来确定已经发生的。
18.如权利要求11所述系统，其特征在于，所述系统还包括：
用于确定所述手势的开始是否在可上墨区域中发生的装置，
其中，当所述手势没有在所述可上墨区域中发生时，所述手势被确定为已经发生。
19.一种计算系统，包括：
存储；
识别至少三种手势的处理器，所述手势包括：
按下和按住手势；
双重激励手势；以及
轻击手势。
20.如权利要求19所述计算系统，其特征在于，所述处理器至少识别第四种手势，所述第四种手势包括按住和拖曳操作。
21.如权利要求19所述计算系统，其特征在于，所述双重激励手势是鼠标键的双击。
22.如权利要求19所述计算系统，其特征在于，所述双重激励手势是指示笔的双敲。
CN200510109726XA 2004-09-13 2005-09-13 轻击手势 Expired - Fee Related CN1758205B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/938,882 US7761814B2 (en) 2004-09-13 2004-09-13 Flick gesture
US10/938,882 2004-09-13

Publications (2)

Publication Number Publication Date
CN1758205A true CN1758205A (zh) 2006-04-12
CN1758205B CN1758205B (zh) 2013-03-27

Family

ID=35787956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200510109726XA Expired - Fee Related CN1758205B (zh) 2004-09-13 2005-09-13 轻击手势

Country Status (5)

Country Link
US (4) US7761814B2 (zh)
EP (1) EP1645942B1 (zh)
JP (2) JP2006085703A (zh)
KR (1) KR101183381B1 (zh)
CN (1) CN1758205B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102687101A (zh) * 2009-10-12 2012-09-19 拉奥纳克斯株式会社 多点触摸型输入控制系统
CN102947788A (zh) * 2010-06-01 2013-02-27 日本电气株式会社 终端、处理选择方法、控制程序和记录介质
CN103080872A (zh) * 2010-09-02 2013-05-01 高通股份有限公司 用于移动设备中基于手势的用户输入检测的方法和装置
CN103218062A (zh) * 2013-04-24 2013-07-24 伍斌 基于加速度传感器和动作识别的人机交互方法及其设备
CN104035692A (zh) * 2013-03-04 2014-09-10 联想(北京)有限公司 一种信息处理方法及电子设备
CN105027039A (zh) * 2012-12-14 2015-11-04 微软技术许可有限责任公司 减少墨水渲染时的等待时间
CN105144071A (zh) * 2013-03-15 2015-12-09 苹果公司 用于管理同时打开的软件应用程序的设备、方法、和图形用户界面
CN101861562B (zh) * 2006-09-06 2016-05-25 苹果公司 通过应用启发法来确定命令的触摸屏设备、方法和图形用户界面
CN106648217A (zh) * 2015-10-29 2017-05-10 佳能株式会社 信息处理设备及触摸屏的操作管理方法
US10101879B2 (en) 2010-04-07 2018-10-16 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications using a three-dimensional stack of images of open applications
US10310732B2 (en) 2013-03-15 2019-06-04 Apple Inc. Device, method, and graphical user interface for concurrently displaying a plurality of settings controls
US10901601B2 (en) 2010-04-07 2021-01-26 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications

Families Citing this family (276)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US7533338B2 (en) * 2003-08-21 2009-05-12 Microsoft Corporation Electronic ink processing
US8250493B2 (en) * 2005-02-05 2012-08-21 Samsung Electronics Co., Ltd. User interface method, medium, and apparatus with gesture-recognition
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US20100026652A1 (en) * 2005-09-01 2010-02-04 David Hirshberg System and method for user interface
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US20070174416A1 (en) * 2006-01-20 2007-07-26 France Telecom Spatially articulable interface and associated method of controlling an application framework
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US7940250B2 (en) * 2006-09-06 2011-05-10 Apple Inc. Web-clip widgets on a portable multifunction device
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US20080062137A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Touch actuation controller for multi-state media presentation
US9565387B2 (en) * 2006-09-11 2017-02-07 Apple Inc. Perspective scale video with navigation menu
US20080066135A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Search user interface for media device
US8243017B2 (en) 2006-09-11 2012-08-14 Apple Inc. Menu overlay including context dependent menu icon
US20080065722A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Media device playlists
KR100869950B1 (ko) * 2006-12-01 2008-11-24 삼성전자주식회사 휴대 단말기의 확장형 대기화면 배치 구조 및 표시 방법
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US8788954B2 (en) * 2007-01-07 2014-07-22 Apple Inc. Web-clip widgets on a portable multifunction device
US8689132B2 (en) 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US8451232B2 (en) 2007-01-07 2013-05-28 Apple Inc. Portable multifunction device, method, and graphical user interface for interacting with user input elements in displayed content
US7770136B2 (en) 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
KR100815523B1 (ko) * 2007-02-08 2008-03-20 삼성전자주식회사 단말의 음악 재생 및 표시 방법과 이를 이용한 장치
EP2163987A3 (en) 2007-04-24 2013-01-23 Oblong Industries, Inc. Processing of events in data processing environments
KR20080097553A (ko) * 2007-05-02 2008-11-06 (주)멜파스 접촉 감지 패드를 이용하여 전자 기기의 절전 모드를해제하는 방법 및 장치
US7979809B2 (en) * 2007-05-11 2011-07-12 Microsoft Corporation Gestured movement of object to display edge
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US11126321B2 (en) * 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US9619143B2 (en) * 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
EP2045700A1 (en) 2007-10-04 2009-04-08 LG Electronics Inc. Menu display method for a mobile communication terminal
US9083814B2 (en) * 2007-10-04 2015-07-14 Lg Electronics Inc. Bouncing animation of a lock mode screen in a mobile communication terminal
KR101570368B1 (ko) * 2008-08-22 2015-11-20 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
US20090100383A1 (en) * 2007-10-16 2009-04-16 Microsoft Corporation Predictive gesturing in graphical user interface
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
KR20090052673A (ko) * 2007-11-21 2009-05-26 엘지전자 주식회사 단말기, 그 제어 방법 및 이를 위한 기록 매체
US20090138800A1 (en) * 2007-11-23 2009-05-28 Mckesson Financial Holdings Limited Apparatus, method and computer-readable storage medium for directing operation of a software application via a touch-sensitive surface
EP2227737A2 (en) * 2007-11-28 2010-09-15 Koninklijke Philips Electronics N.V. Sensing device and method
JP5239328B2 (ja) 2007-12-21 2013-07-17 ソニー株式会社 情報処理装置及びタッチ動作認識方法
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US9513704B2 (en) * 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
US8390579B2 (en) * 2008-03-14 2013-03-05 France Telecom System for classifying gestures
CN101556501B (zh) * 2008-04-11 2012-10-17 深圳富泰宏精密工业有限公司 计算机鼠标模拟系统及方法
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US8849753B2 (en) * 2008-05-20 2014-09-30 Microsoft Corporation Automating asynchronous programming in single threaded systems
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
US20090327886A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Use of secondary factors to analyze user intention in gui element activation
JP4636131B2 (ja) 2008-07-04 2011-02-23 ソニー株式会社 情報提供装置、情報提供方法、およびプログラム
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US8300020B2 (en) * 2008-08-15 2012-10-30 Apple Inc. Hybrid inertial and touch sensing input device
WO2010032079A2 (en) * 2008-09-17 2010-03-25 Nokia Corp. User interface for augmented reality
US8769427B2 (en) 2008-09-19 2014-07-01 Google Inc. Quick gesture input
US20100087230A1 (en) * 2008-09-25 2010-04-08 Garmin Ltd. Mobile communication device user interface
US9482755B2 (en) 2008-11-17 2016-11-01 Faro Technologies, Inc. Measurement system having air temperature compensation between a target and a laser tracker
US8775971B2 (en) 2008-12-05 2014-07-08 Microsoft Corporation Touch display scroll control
JP5134517B2 (ja) * 2008-12-08 2013-01-30 キヤノン株式会社 情報処理装置及び方法
US8543975B2 (en) * 2008-12-18 2013-09-24 Microsoft Corporation Behavior-first event programming model
US20100162181A1 (en) * 2008-12-22 2010-06-24 Palm, Inc. Interpreting Gesture Input Including Introduction Or Removal Of A Point Of Contact While A Gesture Is In Progress
JP2010152761A (ja) * 2008-12-25 2010-07-08 Sony Corp 入力装置、制御装置、制御システム、電子機器及び制御方法
JP4702475B2 (ja) * 2008-12-25 2011-06-15 ソニー株式会社 入力装置、ハンドヘルド装置及び制御方法
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US9684521B2 (en) * 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9250788B2 (en) * 2009-03-18 2016-02-02 IdentifyMine, Inc. Gesture handlers of a gesture engine
US8468466B2 (en) * 2009-03-27 2013-06-18 International Business Machines Corporation Radial menu selection with gestures
US8627233B2 (en) * 2009-03-27 2014-01-07 International Business Machines Corporation Radial menu with overshoot, fade away, and undo capabilities
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9317128B2 (en) 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
JP5698733B2 (ja) * 2009-05-04 2015-04-08 オブロング・インダストリーズ・インコーポレーテッド 三空間入力の検出、表現、および解釈：自由空間、近接、および表面接触モードを組み込むジェスチャ連続体
US9436380B2 (en) * 2009-05-19 2016-09-06 International Business Machines Corporation Radial menus with variable selectable item areas
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
KR20100134153A (ko) * 2009-06-15 2010-12-23 삼성전자주식회사 터치스크린을 구비한 장치의 터치 인식 방법
JP5552772B2 (ja) * 2009-08-26 2014-07-16 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
EP2480957B1 (en) 2009-09-22 2017-08-09 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8264471B2 (en) * 2009-09-22 2012-09-11 Sony Mobile Communications Ab Miniature character input mechanism
US8780069B2 (en) 2009-09-25 2014-07-15 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8799826B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for moving a calendar entry in a calendar application
US8832585B2 (en) 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
US8766928B2 (en) * 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US8924893B2 (en) 2009-10-14 2014-12-30 At&T Mobility Ii Llc Locking and unlocking of an electronic device using a sloped lock track
US9424444B2 (en) 2009-10-14 2016-08-23 At&T Mobility Ii Llc Systems, apparatus, methods and computer-readable storage media for facilitating integrated messaging, contacts and social media for a selected entity
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US8621380B2 (en) * 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US8698845B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
US8736561B2 (en) 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
CN101770303A (zh) * 2010-01-19 2010-07-07 中兴通讯股份有限公司 一种实现光学手指鼠标方向识别的方法及移动终端
US8683363B2 (en) * 2010-01-26 2014-03-25 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements
US8539386B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for selecting and moving objects
US8612884B2 (en) 2010-01-26 2013-12-17 Apple Inc. Device, method, and graphical user interface for resizing objects
US8539385B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
US9513801B2 (en) 2010-04-07 2016-12-06 Apple Inc. Accessing electronic notifications and settings icons with gestures
US9400170B2 (en) 2010-04-21 2016-07-26 Faro Technologies, Inc. Automatic measurement of dimensional data within an acceptance region by a laser tracker
US9772394B2 (en) 2010-04-21 2017-09-26 Faro Technologies, Inc. Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker
US8422034B2 (en) 2010-04-21 2013-04-16 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US8724119B2 (en) 2010-04-21 2014-05-13 Faro Technologies, Inc. Method for using a handheld appliance to select, lock onto, and track a retroreflector with a laser tracker
US9377885B2 (en) 2010-04-21 2016-06-28 Faro Technologies, Inc. Method and apparatus for locking onto a retroreflector with a laser tracker
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
US8537371B2 (en) 2010-04-21 2013-09-17 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
JP5566190B2 (ja) * 2010-05-31 2014-08-06 東京アナグラム株式会社 検索装置、検索条件生成方法及びプログラム
CN101853133B (zh) * 2010-05-31 2013-03-20 中兴通讯股份有限公司 一种自动识别手势的方法及移动终端
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
US8773370B2 (en) 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
US9098182B2 (en) 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
US9081494B2 (en) 2010-07-30 2015-07-14 Apple Inc. Device, method, and graphical user interface for copying formatting attributes
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US9710154B2 (en) 2010-09-03 2017-07-18 Microsoft Technology Licensing, Llc Dynamic gesture parameters
WO2012032409A2 (en) 2010-09-08 2012-03-15 Telefonaktiebolaget L M Ericsson (Publ) Gesture-based control of iptv system
US9164670B2 (en) * 2010-09-15 2015-10-20 Microsoft Technology Licensing, Llc Flexible touch-based scrolling
US9747270B2 (en) 2011-01-07 2017-08-29 Microsoft Technology Licensing, Llc Natural input for spreadsheet actions
US9021402B1 (en) 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
WO2012037688A1 (en) 2010-09-24 2012-03-29 Research In Motion Limited Transitional view on a portable electronic device
CA2792243C (en) 2010-09-24 2013-11-12 Qnx Software Systems Limited Alert display on a portable electronic device
EP2434389B1 (en) 2010-09-24 2019-01-23 BlackBerry Limited Portable electronic device and method of controlling same
CN101963863B (zh) 2010-09-30 2015-07-08 华为终端有限公司 用户触摸操作模式自适应的方法和装置
US8659562B2 (en) * 2010-11-05 2014-02-25 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US20120131513A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Gesture Recognition Training
JP5479414B2 (ja) 2010-11-24 2014-04-23 キヤノン株式会社 情報処理装置およびその制御方法
KR101725550B1 (ko) * 2010-12-16 2017-04-10 삼성전자주식회사 광학식 터치 패드를 구비하는 휴대용 단말기 및 상기 휴대용 단말기의 데이터 제어방법
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
US10365819B2 (en) 2011-01-24 2019-07-30 Apple Inc. Device, method, and graphical user interface for displaying a character input user interface
US9092132B2 (en) 2011-01-24 2015-07-28 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US20120216152A1 (en) * 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
GB2511236B (en) 2011-03-03 2015-01-28 Faro Tech Inc Target apparatus and method
US9134899B2 (en) * 2011-03-14 2015-09-15 Microsoft Technology Licensing, Llc Touch gesture indicating a scroll on a touch-sensitive display in a single direction
CN102693123B (zh) 2011-03-24 2017-09-22 微软技术许可有限责任公司 提示信息的控制方法及控制装置
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US9686532B2 (en) 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
JP2014516409A (ja) 2011-04-15 2014-07-10 ファロ テクノロジーズ インコーポレーテッド レーザトラッカの改良位置検出器
US9164173B2 (en) 2011-04-15 2015-10-20 Faro Technologies, Inc. Laser tracker that uses a fiber-optic coupler and an achromatic launch to align and collimate two wavelengths of light
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9069459B2 (en) 2011-05-03 2015-06-30 Microsoft Technology Licensing, Llc Multi-threaded conditional processing of user interactions for gesture processing using rendering thread or gesture processing thread based on threshold latency
US8732569B2 (en) 2011-05-04 2014-05-20 Google Inc. Predicting user navigation events
US10120561B2 (en) * 2011-05-05 2018-11-06 Lenovo (Singapore) Pte. Ltd. Maximum speed criterion for a velocity gesture
US8726191B2 (en) 2011-05-23 2014-05-13 International Business Machines Corporation Ephemeral object selections and fast-path gesturing for device control
US9189077B2 (en) 2011-05-24 2015-11-17 Microsoft Technology Licensing, Llc User character input interface with modifier support
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
JP2012252642A (ja) * 2011-06-06 2012-12-20 Sony Corp 情報処理装置、情報処理方法、及びプログラム
KR101162223B1 (ko) * 2011-06-14 2012-07-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8788711B2 (en) 2011-06-14 2014-07-22 Google Inc. Redacting content and inserting hypertext transfer protocol (HTTP) error codes in place thereof
US9769285B2 (en) 2011-06-14 2017-09-19 Google Inc. Access to network content
US8745212B2 (en) 2011-07-01 2014-06-03 Google Inc. Access to network content
US8650139B2 (en) 2011-07-01 2014-02-11 Google Inc. Predicting user navigation events
US8566696B1 (en) * 2011-07-14 2013-10-22 Google Inc. Predicting user navigation events
US8744988B1 (en) 2011-07-15 2014-06-03 Google Inc. Predicting user navigation events in an internet browser
US8806369B2 (en) 2011-08-26 2014-08-12 Apple Inc. Device, method, and graphical user interface for managing and interacting with concurrently open software applications
JP2013065291A (ja) * 2011-08-29 2013-04-11 Kyocera Corp 装置、方法、及びプログラム
US20130067366A1 (en) * 2011-09-14 2013-03-14 Microsoft Corporation Establishing content navigation direction based on directional user gestures
US8655819B1 (en) 2011-09-15 2014-02-18 Google Inc. Predicting user navigation events based on chronological history data
US8600921B2 (en) 2011-09-15 2013-12-03 Google Inc. Predicting user navigation events in a browser using directed graphs
JP6091829B2 (ja) * 2011-09-28 2017-03-08 京セラ株式会社 装置、方法、及びプログラム
US9104664B1 (en) 2011-10-07 2015-08-11 Google Inc. Access to search results
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9360940B2 (en) * 2011-11-14 2016-06-07 Google Inc. Multi-pane interface
US8856675B1 (en) * 2011-11-16 2014-10-07 Google Inc. User interface with hierarchical window display
KR101390083B1 (ko) * 2011-11-28 2014-04-28 에스케이씨앤씨 주식회사 포인터 이동을 기반으로 그래픽 버튼을 선택하는 사용자 인터페이스 방법 및 이를 적용한 전자장치
US9584579B2 (en) 2011-12-01 2017-02-28 Google Inc. Method and system for providing page visibility information
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8793235B2 (en) 2012-01-19 2014-07-29 Google Inc. System and method for improving access to search results
US9638507B2 (en) 2012-01-27 2017-05-02 Faro Technologies, Inc. Measurement machine utilizing a barcode to identify an inspection plan for an object
JP5991509B2 (ja) * 2012-03-02 2016-09-14 コニカミノルタ株式会社 情報処理装置、プログラム
JP5563108B2 (ja) * 2012-03-27 2014-07-30 富士フイルム株式会社 撮影装置、撮影方法およびプログラム
CN102662576B (zh) * 2012-03-29 2015-04-29 华为终端有限公司 基于触摸的信息发送方法及装置
US9529486B2 (en) * 2012-03-29 2016-12-27 FiftyThree, Inc. Methods and apparatus for providing a digital illustration system
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
JP5610644B2 (ja) 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力装置、入力支援方法及びプログラム
JP5461735B2 (ja) * 2012-04-27 2014-04-02 パナソニック株式会社 入力装置、入力支援方法及びプログラム
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
JP5958059B2 (ja) * 2012-05-09 2016-07-27 コニカミノルタ株式会社 フリック操作を受け付ける装置、フリック操作受付方法およびフリック操作受付プログラム
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
KR101683868B1 (ko) 2012-05-09 2016-12-07 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP3594797B1 (en) 2012-05-09 2024-10-02 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
CN108052264B (zh) 2012-05-09 2021-04-27 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
CN108958550B (zh) 2012-05-09 2021-11-12 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
CN106201316B (zh) 2012-05-09 2020-09-29 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US9946792B2 (en) 2012-05-15 2018-04-17 Google Llc Access to network content
JP6024193B2 (ja) * 2012-05-15 2016-11-09 富士ゼロックス株式会社 画像表示装置及びプログラム
TW201351215A (zh) * 2012-06-06 2013-12-16 Areson Technology Corp 滑鼠模擬觸控螢幕操作的方法
US9229539B2 (en) 2012-06-07 2016-01-05 Microsoft Technology Licensing, Llc Information triage using screen-contacting gestures
US8887239B1 (en) 2012-08-08 2014-11-11 Google Inc. Access to network content
US9507513B2 (en) 2012-08-17 2016-11-29 Google Inc. Displaced double tap gesture
JP5928245B2 (ja) 2012-08-23 2016-06-01 カシオ計算機株式会社 データ処理装置及びプログラム
US9141722B2 (en) 2012-10-02 2015-09-22 Google Inc. Access to network content
US8584049B1 (en) 2012-10-16 2013-11-12 Google Inc. Visual feedback deletion
JP5768799B2 (ja) * 2012-10-29 2015-08-26 コニカミノルタ株式会社 表示装置、画像形成装置、表示装置の制御方法、および表示装置の制御プログラム
US8949735B2 (en) 2012-11-02 2015-02-03 Google Inc. Determining scroll direction intent
JP6123107B2 (ja) * 2012-11-13 2017-05-10 シャープ株式会社 情報処理装置、ソフトウェアキーボードの生成方法およびプログラム
JP2014109885A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 表示装置及び通知方法
US20160195975A1 (en) * 2012-12-23 2016-07-07 Microsoft Technology Licensing, Llc Touchscreen computing device and method
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR102301592B1 (ko) 2012-12-29 2021-09-10 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
JP6158947B2 (ja) 2012-12-29 2017-07-05 アップル インコーポレイテッド タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
AU2013368445B8 (en) 2012-12-29 2017-02-09 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or select contents
CN103019611A (zh) * 2012-12-31 2013-04-03 传聚互动(北京)科技有限公司 屏幕触控方法和装置
JP5852592B2 (ja) * 2013-01-07 2016-02-03 株式会社東海理化電機製作所 タッチ操作型入力装置
JP5862967B2 (ja) * 2013-01-16 2016-02-16 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US20140218343A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Stylus sensitive device with hover over stylus gesture functionality
US9785228B2 (en) * 2013-02-11 2017-10-10 Microsoft Technology Licensing, Llc Detecting natural user-input engagement
KR20140112911A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 표시부 미확인 모드에서 액션을 실행하는 모바일 장치 및 그 제어 방법
KR102157332B1 (ko) * 2013-03-15 2020-09-17 삼성전자주식회사 전자 장치에서 줌 기능을 제어하기 위한 방법 및 장치
US9658740B2 (en) 2013-03-15 2017-05-23 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9041914B2 (en) 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9715282B2 (en) * 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US20140372856A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Natural Quick Functions Gestures
US10664652B2 (en) 2013-06-15 2020-05-26 Microsoft Technology Licensing, Llc Seamless grid and canvas integration in a spreadsheet application
US20150067536A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Gesture-based Content Sharing Between Devices
RU2013146467A (ru) * 2013-10-17 2015-04-27 ЭлЭсАй Корпорейшн Способ и устройство распознавания жестов с использованием асинхронной многопоточной обработки
JP6062351B2 (ja) * 2013-11-28 2017-01-18 京セラ株式会社 電子機器
JP6234283B2 (ja) * 2014-03-12 2017-11-22 アルプス電気株式会社 入力装置及び車両用操作装置
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
JP6305147B2 (ja) * 2014-03-25 2018-04-04 キヤノン株式会社 入力装置、操作判定方法、コンピュータプログラム、及び記録媒体
CN112040589A (zh) 2014-06-02 2020-12-04 Xyz 互动技术公司 无触摸切换
US9395174B2 (en) 2014-06-27 2016-07-19 Faro Technologies, Inc. Determining retroreflector orientation by optimizing spatial fit
US20160070455A1 (en) * 2014-09-10 2016-03-10 International Business Machines Corporation Toggle graphic object
US10452157B2 (en) 2014-10-07 2019-10-22 Xyz Interactive Technologies Inc. Device and method for orientation and positioning
US10151600B2 (en) 2014-11-25 2018-12-11 Google Llc Systems and methods for controlling viewport movement in view of user context
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10613732B2 (en) 2015-06-07 2020-04-07 Apple Inc. Selecting content items in a user interface display
US10437410B2 (en) 2016-03-31 2019-10-08 Cisco Technology, Inc. Conversation sub-window
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US11216119B2 (en) 2016-06-12 2022-01-04 Apple Inc. Displaying a predetermined view of an application
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
CN107885450B (zh) * 2017-11-09 2019-10-15 维沃移动通信有限公司 实现鼠标操作的方法和移动终端
US10719230B2 (en) * 2018-09-27 2020-07-21 Atlassian Pty Ltd Recognition and processing of gestures in a graphical user interface using machine learning
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11256822B2 (en) * 2019-07-22 2022-02-22 Whitestar Communications, Inc. Systems and methods of gesture triggered automatic erasure on a private network
JP6651275B1 (ja) * 2019-08-01 2020-02-19 株式会社ディスコ 加工装置
US11403064B2 (en) 2019-11-14 2022-08-02 Microsoft Technology Licensing, Llc Content capture experiences driven by multi-modal user inputs
JP2022090171A (ja) * 2020-12-07 2022-06-17 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法
US11893174B1 (en) 2022-10-28 2024-02-06 Dell Products L.P. Information handling system mouse gesture to support transfer of visual images in a multi-display configuration

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1223366A (en) 1984-09-27 1987-06-23 Abijah S. Fox System for automatic adjustment and editing of handwritten text images
JP2540652B2 (ja) 1990-06-01 1996-10-09 株式会社東芝 半導体装置
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5220649A (en) * 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5848187A (en) * 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
JP3292752B2 (ja) * 1992-10-21 2002-06-17 シャープ株式会社 ジェスチャー処理装置およびジェスチャー処理方法
US5428805A (en) 1992-12-22 1995-06-27 Morgan; Michael W. Method and apparatus for recognizing and performing handwritten calculations
US5511135A (en) * 1993-11-29 1996-04-23 International Business Machines Corporation Stylus-input recognition correction manager
JPH07200155A (ja) * 1993-12-10 1995-08-04 Microsoft Corp ペン型コンピュータシステムの非目的結果検出
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5929840A (en) * 1994-03-04 1999-07-27 Microsoft Corporation System and method for computer cursor control
US5570113A (en) * 1994-06-29 1996-10-29 International Business Machines Corporation Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system
US5495566A (en) * 1994-11-22 1996-02-27 Microsoft Corporation Scrolling contents of a window
JPH08286807A (ja) * 1995-04-18 1996-11-01 Canon Inc データ処理装置及びそのジェスチャ認識方法
JP3161936B2 (ja) * 1995-04-25 2001-04-25 シャープ株式会社 電子機器
US5730602A (en) 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
CN1155876A (zh) 1995-04-28 1997-07-30 伊尔默瑙玻璃技术有限公司 硼硅酸盐玻璃
US5689667A (en) 1995-06-06 1997-11-18 Silicon Graphics, Inc. Methods and system of controlling menus with radial and linear portions
US5694150A (en) * 1995-09-21 1997-12-02 Elo Touchsystems, Inc. Multiuser/multi pointing device graphical user interface system
JPH09237149A (ja) * 1996-03-01 1997-09-09 Matsushita Electric Ind Co Ltd 携帯端末装置および携帯端末装置におけるショートカット処理方法
US5864635A (en) * 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US5862256A (en) * 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5874936A (en) * 1996-12-20 1999-02-23 International Business Machines Corporation Method and apparatus for automatic scrolling by remote control
US6268857B1 (en) * 1997-08-29 2001-07-31 Xerox Corporation Computer user interface using a physical manipulatory grammar
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
IL137478A (en) * 1998-01-26 2005-11-20 Westerman Wayne Method and apparatus for integrating manual input
US6249606B1 (en) * 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
US6104317A (en) * 1998-02-27 2000-08-15 Motorola, Inc. Data entry device and method
WO1999056198A2 (en) * 1998-04-24 1999-11-04 Natural Input Solutions Inc. Pen based edit correction interface method and apparatus
KR100553671B1 (ko) 1998-06-27 2006-05-10 삼성전자주식회사 컴퓨터 시스템의 포인팅 장치 구동 방법
GB2340265B (en) 1998-07-31 2003-04-23 Sony Uk Ltd Data processing
JP2000137571A (ja) * 1998-10-29 2000-05-16 Casio Comput Co Ltd 手書き入力装置及び手書き入力処理プログラムを記録した記録媒体
JP2001117686A (ja) * 1999-10-20 2001-04-27 Toshiba Corp ペン入力装置およびペン入力装置のポインティング処理方法
US20010036619A1 (en) * 1999-10-28 2001-11-01 Kerwin Patrick A. Training method
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体
EP1303805B1 (de) * 2000-07-21 2010-02-10 Speedscript AG Verfahren für ein schnellschreibsystem und schnellschreibgerät
US20020015064A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US6897853B2 (en) * 2000-11-10 2005-05-24 Microsoft Corp. Highlevel active pen matrix
JP2002244794A (ja) * 2001-02-19 2002-08-30 Sony Corp 情報入力装置
US6738045B2 (en) * 2001-02-26 2004-05-18 Microsoft Corporation Method and system for accelerated data navigation
US6621483B2 (en) * 2001-03-16 2003-09-16 Agilent Technologies, Inc. Optical screen pointing device with inertial properties
US6938222B2 (en) 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
JP4031255B2 (ja) 2002-02-13 2008-01-09 株式会社リコー ジェスチャコマンド入力装置
KR100902740B1 (ko) 2002-06-27 2009-06-15 주식회사 케이티 마우스의 움직임을 이용한 클릭신호 자동 입력 장치 및 그방법
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US7088861B2 (en) * 2003-09-16 2006-08-08 America Online, Inc. System and method for chinese input using a joystick
US7436535B2 (en) * 2003-10-24 2008-10-14 Microsoft Corporation Real-time inking
US7365737B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
US20060001656A1 (en) * 2004-07-02 2006-01-05 Laviola Joseph J Jr Electronic ink system
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101861562B (zh) * 2006-09-06 2016-05-25 苹果公司 通过应用启发法来确定命令的触摸屏设备、方法和图形用户界面
CN102687101A (zh) * 2009-10-12 2012-09-19 拉奥纳克斯株式会社 多点触摸型输入控制系统
US10901601B2 (en) 2010-04-07 2021-01-26 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US10891023B2 (en) 2010-04-07 2021-01-12 Apple Inc. Device, method and graphical user interface for shifting a user interface between positions on a touch-sensitive display in response to detected inputs
US10156962B2 (en) 2010-04-07 2018-12-18 Apple Inc. Device, method and graphical user interface for sliding an application view by a predefined amount of sliding based on a touch input to a predefined button of a multifunction device
US10101879B2 (en) 2010-04-07 2018-10-16 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications using a three-dimensional stack of images of open applications
CN102947788A (zh) * 2010-06-01 2013-02-27 日本电气株式会社 终端、处理选择方法、控制程序和记录介质
CN103080872A (zh) * 2010-09-02 2013-05-01 高通股份有限公司 用于移动设备中基于手势的用户输入检测的方法和装置
US9513714B2 (en) 2010-09-02 2016-12-06 Qualcomm Incorporated Methods and apparatuses for gesture-based user input detection in a mobile device
CN105027039B (zh) * 2012-12-14 2017-12-08 微软技术许可有限责任公司 减少墨水渲染时的等待时间
CN105027039A (zh) * 2012-12-14 2015-11-04 微软技术许可有限责任公司 减少墨水渲染时的等待时间
CN104035692A (zh) * 2013-03-04 2014-09-10 联想(北京)有限公司 一种信息处理方法及电子设备
CN105144071A (zh) * 2013-03-15 2015-12-09 苹果公司 用于管理同时打开的软件应用程序的设备、方法、和图形用户界面
US10310732B2 (en) 2013-03-15 2019-06-04 Apple Inc. Device, method, and graphical user interface for concurrently displaying a plurality of settings controls
CN105144071B (zh) * 2013-03-15 2019-11-19 苹果公司 用于管理用户界面的方法和电子设备
US11137898B2 (en) 2013-03-15 2021-10-05 Apple Inc. Device, method, and graphical user interface for displaying a plurality of settings controls
US11989409B2 (en) 2013-03-15 2024-05-21 Apple Inc. Device, method, and graphical user interface for displaying a plurality of settings controls
CN103218062A (zh) * 2013-04-24 2013-07-24 伍斌 基于加速度传感器和动作识别的人机交互方法及其设备
CN106648217A (zh) * 2015-10-29 2017-05-10 佳能株式会社 信息处理设备及触摸屏的操作管理方法
CN106648217B (zh) * 2015-10-29 2020-07-24 佳能株式会社 信息处理设备及触摸屏的操作管理方法
US11042239B2 (en) 2015-10-29 2021-06-22 Canon Kabushiki Kaisha Information processing device and operation management method for a curved touch panel

Also Published As

Publication number Publication date
US20100251116A1 (en) 2010-09-30
EP1645942A3 (en) 2006-08-02
JP2012014746A (ja) 2012-01-19
JP5542774B2 (ja) 2014-07-09
US20060055684A1 (en) 2006-03-16
US20060055685A1 (en) 2006-03-16
KR20060051265A (ko) 2006-05-19
CN1758205B (zh) 2013-03-27
US7761814B2 (en) 2010-07-20
EP1645942A2 (en) 2006-04-12
KR101183381B1 (ko) 2012-09-14
US7627834B2 (en) 2009-12-01
US20060055662A1 (en) 2006-03-16
JP2006085703A (ja) 2006-03-30
EP1645942B1 (en) 2018-04-18
US7614019B2 (en) 2009-11-03
US9417701B2 (en) 2016-08-16

Similar Documents

Publication Publication Date Title
CN1758205A (zh) 轻击手势
EP2756369B1 (en) Soft keyboard interface
CN100336053C (zh) 确定接收到的笔划是否是手势的方法
JP5211211B2 (ja) ハイレベルアクティブペンマトリックス
CN101164054B (zh) 自动提示列表和手写输入
CN1573803A (zh) 通过检查与笔的移动关联的参数检测停留动作
CN1864155A (zh) 带自增长的文本输入窗
US10996843B2 (en) System and method for selecting graphical objects
CN1855013A (zh) 用于识别数据输入终止的系统和方法
JP2019507915A (ja) ジェスチャを用いたノートテイキングのための装置および方法
JP2008250374A (ja) 筆跡判定装置、方法およびプログラム
CN1808361A (zh) 交互式设备和方法
CN1821932A (zh) 按照指示笔位置的系统控制
JP6010253B2 (ja) 電子機器、方法およびプログラム
JP2019512765A (ja) 複数の入力管理のためのシステムおよび方法
US11132122B2 (en) Handwriting input apparatus, handwriting input method, and non-transitory recording medium
US20210365179A1 (en) Input apparatus, input method, program, and input system
CN100481062C (zh) 墨水收集和再现
CN112740201A (zh) 墨水数据生成装置、方法及程序
JP6476732B2 (ja) 文書処理装置、その制御方法、およびプログラム
JP2019008728A (ja) 文書管理システムおよび文書管理装置
JP6039066B2 (ja) 電子機器、手書き文書検索方法およびプログラム
CN1525313A (zh) 用于控制用户接口的插入位置追踪
CN1707509A (zh) 用于亚洲语言的手写输入

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150428

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150428

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20190913