CN102037434A - 利用拖拽操作来平摇内容 - Google Patents

利用拖拽操作来平摇内容 Download PDF

Info

Publication number
CN102037434A
CN102037434A CN2009801192504A CN200980119250A CN102037434A CN 102037434 A CN102037434 A CN 102037434A CN 2009801192504 A CN2009801192504 A CN 2009801192504A CN 200980119250 A CN200980119250 A CN 200980119250A CN 102037434 A CN102037434 A CN 102037434A
Authority
CN
China
Prior art keywords
application program
content
yawing
drag operation
touch screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801192504A
Other languages
English (en)
Other versions
CN102037434B (zh
Inventor
D·A·马修斯
J-K·马尔凯维奇
R·L·陶森
P·德拉托瑞巴尔铁拉
T·A·托尔塞特
J·A·克洛
X·屠
L·B·基利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102037434A publication Critical patent/CN102037434A/zh
Application granted granted Critical
Publication of CN102037434B publication Critical patent/CN102037434B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了用于通过在触摸屏界面上所呈现的内容区域上施加用户发起的输入来直观地调用平摇动作(例如,移动显示区的内容区域内的内容)的计算机可读介质、计算机化方法和计算机系统。最初,用户发起的输入的各方面包括致动位置(例如,触摸屏界面上的触摸点)和手势。在查明致动位置出现在内容区域内且手势是拖拽操作时,基于与触摸屏界面的不间断触觉接触的距离,可启动平摇模式。当处在平摇模式中时并且若在显示区处呈现内容的应用程序支持滚动功能,则该手势将控制内容在内容区域内的移动。具体而言,当显露于触摸屏界面时,手势的拖拽操作将在显示区内平摇内容。

Description

利用拖拽操作来平摇内容
背景
实现触摸屏界面的计算设备(例如,PDA、蜂窝电话、膝上型设备、无线手持式设备等)已经在商业市场上越来越受欢迎。这些触摸屏界面是计算设备区别于其他电子产品的一项重要区别特征,因为它们往往通过集成在其中的软件来提供直观交互。最优地,触摸屏界面应提供能够操纵软件以实现对于常规输入设备可用的所有功能的完整软件体验。然而,所提供的大量软件是在没有考虑触摸的情况下设计的,在下文称之为触摸无知应用程序。例如,在被配置成滚动通过呈现在用户界面(UI)显示器处的显示区中的内容的触摸无知应用程序的情况下,滚动功能并非完全与触摸屏界面集成。即,通过对显示区内的内容区域施加拖拽操作来滚动通过内容的能力对于触摸屏界面是不可用的。相反,鼠标用户通常经由施加于滚动条的常规鼠标输入来滚动内容,而键盘用户使用上翻页或下翻页、如ctrl-end之类的键盘快捷键、或者切换成使用鼠标。这些键盘方法不与触摸界面协作,并且由于用户在施加触摸时一般会有的精度和定标问题,以与鼠标用户相同的方式(即,尝试用定点设备来准确地驱动滚动条)向触摸界面施加触摸是有难度的。
迄今为止,还未开发出使得触摸屏界面的用户能访问触摸无知应用程序的完整功能的解决方案。而且,也没有使施加于触摸屏界面的手势(其在移动方面可能与来自常规输入设备的预期移动不同)适应以经优化的直观方式操纵内容在显示区中的显示的命令的方案。由此,采用手势解释技术来控制触摸无知应用程序的滚动功能将增强用户在对触摸屏界面施加特定手势(例如,显示区的内容区域处的拖拽操作)时平摇内容的体验。一般而言,若一区域包括允许垂直滚动的特征,则根据在触摸界面上检测到的触摸生成平摇消息。否则,触摸界面上的触摸输入生成鼠标消息。
概述
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述不旨在标识出所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
本发明的实施例提供其上包含计算机可执行指令的计算机可读介质、以及计算系统,用于使得触摸屏界面的用户能够访问触摸无知应用程序的滚动功能。具体而言,提供了用于在触摸屏界面处接收到的特定手势(例如,在显示区的内容区域处的拖拽操作)的指示时控制触摸无知应用程序的滚动功能的技术。
一般而言,提供了一种用于平摇(pan)计算设备的UI显示上所呈现的显示区内的内容的方法。最初,检测施加到触摸屏界面的用户发起的输入,并将来自触摸屏界面的致动信息提供给操作系统。通常,触摸屏信息包括触摸位置和手势。与接收到用户发起的输入基本同时地、或在接收到用户发起的输入之前,将应用程序标识为支持滚动功能。操作系统调用手势解释过程来确定是在显示区内平摇内容、在UI显示内平摇显示区、还是执行另一操作。在一个实施例中,手势解释过程包括但不限于查明触摸位置出现在显露于触摸屏界面的显示区的内容区域内,并通过基于自致动位置起的不间断拖拽移动的距离来将拖拽操作与轻击类操作区分开,来该手势识别为拖拽操作。通常,内容区域内的内容是由集成在计算设备内的触摸无知应用程序呈现的,其中触摸无知应用程序未被构建成将内容区域内的拖拽操作识别为对平摇内容的指示。在将该手势识别为拖拽操作并确定应用程序支持滚动功能时,根据该拖拽操作来在显示区的内容区域内平摇内容。可在触摸屏界面或任何其他呈选组件上向用户呈现对平摇内容的指示。
附图简述
下面参考附图详细描述本发明,其中:
图1是适用于实现本发明的各实施例的示例性计算环境的框图;
图2是根据本发明的一实施例的适用于实现本发明的各实施例的示例性系统体系结构的示意图;
图3是根据本发明的一实施例的触摸屏界面上的显示区的图示,该触摸屏界面示出用于平摇其中的内容的方法;以及
图4和5是根据本发明的各实施例的渐进式拖拽操作描绘,该描绘示出执行从平摇内容切换到调用次级动作的拖拽操作的各个阶段。
详细描述
此处用具体细节描述本发明以满足法定要求。然而,该描述本身并非旨在限制本专利的范围。相反,发明人设想所要求保护的主题还可结合其他当前或未来技术按照其他方式来具体化,以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。此外,尽管术语“步骤”和/或“框”可在此处用于指示所采用的方法的不同元素,但除非而且仅当明确描述了各个步骤的顺序时,该术语不应被解释为意味着此处公开的各个步骤之中或之间的任何特定顺序。
本发明的实施例提供其上包含计算机可执行指令的计算机可读介质、计算机系统、和计算机化方法以用于通过在触摸屏界面上施加手势(例如,拖拽操作)来平摇由支持滚动功能的触摸无知应用程序在显示区的内容区域内呈现的内容。
因此,在一方面,本发明的各实施例提供了其上包含计算机可执行指令的一个或多个计算机可读介质,当指令被执行时,执行一种用于平摇设置在计算设备上的触摸屏界面处所呈现的显示区内的内容的方法。在实施例中,该方法包括检测施加于触摸屏界面的用户发起的输入,并接收来自触摸屏界面的致动信息。通常,致动信息包括触摸位置和手势(例如,触摸屏界面内的单指接触、指示笔或笔与触摸屏界面的交互等等)。该方法还包括查明触摸位置出现在显露于触摸屏界面上的显示区的内容区域内。在各实施例中,显示区可由集成在计算设备的操作系统内的应用程序呈现。通常,该应用程序是触摸无知的,即不能在试图操纵对显露内容的滚动或选择时解释施加在触摸屏界面上的手势。在一示例性实施例中,系统通过基于自用户发起的输入在触摸屏界面上的致动位置起的不间断手势移动的距离来将拖拽操作与轻击类操作区分开,来将该手势识别为拖拽操作。作为示例,不间断移动包括在预定义笛卡尔方向上克服阈值距离的对触摸屏界面的扫掠。通过利用应用程序的滚动功能,手势可方面根据拖拽操作来在显示区的内容区域内平摇内容。可在触摸屏界面上呈现对平摇内容的指示。作为示例,呈现对平摇内容的指示可包括揭示内容区域内的内容的平移,或者展示显示区在UI显示上的移动。
一般而言,本发明的实施例涉及触摸屏界面环境内的触摸平摇。如本文讨论的,“触摸平摇”并不是限制性的,而是可涵盖启动应用程序的滚动功能的任何使用动作。在一个实例中,触摸平摇包括以下用户动作:通过触摸内容区域并执行拖拽操作以使得内容与拖拽操作的接触平移基本一致地移动,来滚动通过页面或列表。在应用程序不提供滚动功能的情形中,触摸平摇可调用鼠标拖拽。即,若应用程序包括可垂直或水平滚动的内容,则向应用程序提供平摇消息。否则,生成鼠标消息。实际上,在一个实例中,鼠标消息可触发在UI显示内移动显示区而不是平摇内容的拖拽操作。显示区在屏幕上的平移可以类似于由在检测到常规鼠标的点击+按住+拖拽操作时生成的鼠标消息实现的拖拽动作。由此,避免干扰不滚动的应用程序。
为了方便触摸平摇,可以实现手势识别过程,该过程用于将触摸屏显示器或其他触觉输入设备上的用户发起的输入所涵盖的手势识别为拖拽操作或轻击类操作。如上讨论的,在一个实例中,基于不间断移动的距离来将拖拽操作与轻击类操作区别开。如此处使用的,短语“不间断移动”不意味着是限制性的,且可涵盖重复触摸屏界面的表面上的拖拽接触的任何持续扫掠、准连续输入或递归输入链。在一个实例中,不间断移动可包括物理对象(例如,指示笔、笔、手指的一部分或手指垫等)与触摸屏界面之间的接触。一般而言,若致动位置出现在显示区的内容区域(例如,显露于UI显示的窗口)内且识别出拖拽操作,则调用平摇模式。如下问更详细地讨论的,在平摇模式中,操作系统向呈现内容的应用程序提供平摇消息,而非通常并不发起对内容区域内的内容的平摇的鼠标消息。
在一示例性实施例中,若识别出垂直方向上的拖拽操作,则调用平摇模式,而不管该应用程序是否支持垂直和/或水平滚动。水平拖拽移动将生成鼠标消息,即使该应用程序支持水平滚动。相应地,用户仍可通过以垂直拖拽开始并随后改变方向来实现水平平摇。换言之,垂直拖拽变成平摇,而水平拖拽变为鼠标拖拽。由此,引入了对于大多数应用触发平摇模式的一致移动体验。
在另一实施例中,手势识别过程被配置成执行以下步骤:查明触摸位置是否出现在显露于触摸屏界面的显示区的内容区域内,其中显示区由应用程序呈现,并顺序或并行地查明拖拽操作是否满足预定义系统度量。若触摸位置出现在内容区域内且拖拽操作满足预定义系统度量,则该应用程序进入平摇模式,平摇模式支持显示区的内容区域内的内容的滚动功能。否则,应用程序保持在默认模式中。在默认模式的一方面,允许与手势相关联的原始输入从触摸屏界面流向应用程序,就像它是鼠标输入一样。在另一方面,默认模式促使应用程序以类似于触摸无知应用程序的操作的方式进行操作。可与平摇模式或默认模式相一致地存储该应用程序。
虽然已经描述了生成不间断移动的若干不同的方法,但本领域技术人员应该理解和明白,施加于触摸屏组件的各种其他拖拽类输入在此处被构想为不间断移动,且本发明的各实施例不限于示出和描述的这些方法。例如,在图4-7描绘了手势的其他不间断移动。
在实施例中,本发明涉及解释在触摸屏界面上接收到的手势并基于该解释向应用程序提供消息。术语“应用程序”的使用并不是限制性的,而是可包括由操作系统在操作上控制的任何软件或程序,其中操作系统在检测到用户发起的输入时从触摸屏界面接收输入信息。例如,应用程序可以是在呈现组件和/或触摸屏界面上呈现可滚动内容的第三方应用程序。在此实例中,应用程序被认为支持滚动功能。并且,若在UI显示的显示区内显露滚动条工具,则可检测出滚动功能。
在一个实施例中,应用程序是手势知晓的。手势知晓应用程序是在设计时将触摸考虑在内的一类应用程序,它们通常在不解释触摸屏界面上的手势并在特定消息中将这些手势传递给应用程序的情况下运作。由此,手势知晓应用程序一般在考虑触摸的情况下优化,并能从触摸屏界面接收原始输入。
在另一实施例中,应用程序是触摸无知的,这占到了存在于当前商业市场上的应用程序中的大多数。一般而言,触摸无知应用程序是其中未将平摇特征(例如,通过触摸屏界面上内容区域内的输入来访问滚动功能)构建、实现或写入到应用程序中的应用程序。即,应用程序不知晓它正与触摸屏输入协作,并且具体而言不知晓在触摸屏界面上执行的手势试图平摇由此呈现的内容。仅作为示例,触摸无知应用程序可以是其中用于平摇内容的滚动功能仅通过在滚动条控件处提供输入来调用的传统应用程序(例如,记事本)。
相应地,本发明的各方面方便将触摸平摇能力结合到触摸无知应用程序中,并且很好地适于部署在包括触摸无知应用程序的生态系统的操作系统中。例如,操作系统可充当使触摸屏界面与触摸无知应用程序互连的接口,由此管理它们之间的通信。通过管理该通信,消息(例如,鼠标消息或滚动消息)形式的适当命令可被传递给触摸无知应用程序以适当地调整内容的呈现。由此,经由操作系统的管理一般允许操作系统使得大多数现有触摸无知应用程序是触摸友好的。
在简要描述了本发明的各实施例的概览以及其中的一些窗口状态之后,下面将描述适于实现本发明的示例性操作环境。
概括地参考附图,并首先具体参考图1,示出了用于实现本发明的各实施例的示例性操作环境,并将其概括地指定为计算设备100。计算设备100只是合适的计算环境的一个示例,并且不旨在对本发明的使用范围或功能提出任何限制。也不应该将计算设备100解释为对所示出的任一组件或其组合有任何依赖性或要求。
本发明可以在由计算机或诸如个人数据助理或其他手持式设备之类的其他机器执行的计算机代码或机器可使用指令(包括诸如程序组件之类的计算机可执行指令)的一般上下文中描述。一般而言,包括例程、程序、对象、组件、数据结构等的程序组件指的是执行特定任务或实现特定提取数据类型的代码。本发明的各实施例可以在各种系统配置中实施,这些系统配置包括手持式设备、消费电子产品、通用计算机、专用计算设备等等。本发明的各实施方式也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实施。
继续参考图1,计算设备100包括直接地或间接地耦合以下设备的总线110:存储器112、一个或多个处理器114、一个或多个呈现组件116、输入/输出(I/O)端口118、I/O组件120、以及说明性电源122。总线110可以是一条或多条总线(诸如地址总线、数据总线、或其组合)。尽管为了清楚起见用线条示出了图1的各框,但是,实际上,描绘各组件并不是那样清楚,并且用比喻方法,线条更精确地将是灰色的和模糊的。例如,可以将诸如显示设备等的呈现组件认为是I/O组件。而且,处理器具有存储器。发明人认识到,这是本领域的特性,并且重申,图1的图示只是例示可结合本发明的一个或多个实施例来使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别,它们全部都被认为是在图1的范围之内的并且被称为“计算机”或“计算设备”。
计算设备100通常包括各种计算机可读介质。作为示例而非限制,计算机可读介质可以包括随机存取存储器(RAM);只读存储器(ROM);电可擦除可编程只读存储器(EEPROM);闪存或其它存储器技术;CDROM、数字多功能盘(DVD)或其它光或全息介质;磁带盒、磁带、磁盘存储或其它磁存储设备;或可用于对所需信息进行编码并且可由计算设备100访问的任何其它介质。
存储器112包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的、或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备100包括从诸如存储器112或I/O组件120等各种实体读取数据的一个或多个处理器。呈现组件116向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振荡组件等。I/O端口118允许计算设备100在逻辑上耦合至包括I/O组件120在内的其他设备,其中某些设备可以是内置的。说明性组件包括话筒、操纵杆、游戏板、圆盘式卫星天线、扫描仪、打印机、无线设备等等。
现在转向图2,示出了根据本发明的一实施例的适用于实现本发明的各实施例的示例性系统体系结构200的示意图。本领域技术人员将了解和明白,图2所示出的示例性系统体系结构200只是一个合适的计算环境的示例,而非旨在对本发明的使用范围或功能提出任何限制。该示例性系统体系结构200也不应被解释成对于此处所示出的任一组件或其组合有任何依赖或要求。
最初,提供计算设备215。计算设备215可以采取各种类型的计算设备的形式。仅作为示例,计算设备215可以是个人计算设备(例如,图1的计算设备100)、手持式设备(例如,个人数字助理)、移动设备(例如,膝上型计算机、蜂窝电话、媒体播放器、板式PC)、消费者电子设备、各种服务器等。另外,计算设备可以包括两个或更多被配置成在它们之间共享信息的电子设备。
在各实施例中,呈现组件250、输入设备221、和处理器(例如,基于硬件的组件)可在操作上与计算设备215耦合和/或设置在计算设备215上。通常,操作系统220被安装在该处理器上。计算设备215被配置成在呈现组件250上呈现UI显示。可在操作上耦合至处理组件225的呈现组件250可被配置为能够向用户呈现信息的任何显示设备,诸如监视器、电子显示板、触摸屏、液晶显示器(LCD)、等离子屏、一个或多个发光二极管(LED)、白炽灯、激光、电荧光光源、化学灯、弯曲灯线、和/或荧光灯、或任何其它显示类型、或可包括可视信息在其上投射的反射表面。在一个示例性实施例中,呈现组件250所呈现的UI显示被配置成呈现具有内容区域(未示出)的显示区223,其中应用程序230所呈现的内容显露在该内容区内。在另一示例性实施例中,UI显示能够提供对内容区域内的内容平摇或者在UI显示的一部分上平移显示区223的视觉指示。
在各实施例中,计算设备215在操作上与输入设备221和呈现组件250耦合。由此,输入设备221、呈现组件250、以及操作系统220之间的通信可由诸如远程服务器(未示出)等分布式计算组件或其任意组合来支持。在分布式计算环境中实践的发明的各实施例中,通信通过适当的连接来链接。这些连接可以是有线或无线的。在本发明的范围内,具体有线实施例的示例包括USB连接和电缆链接。本发明的范围内的具体无线实施例的示例包括近程无线网络和射频技术。应该理解和明白,“近程无线网络”的指定不旨在限制,而应该被广泛地解释以至少包括以下技术:协商无线外围(NWP)设备;近程无线空气干扰网络(例如,无线个人区域网(wPAN)、无线局域网(wLAN)、无线广域网(wWAN)、蓝牙TM等);无线对等通信(例如,超宽带);以及支持设备之间的无线数据通信的任何协议。此外,熟悉本发明的领域的人员应该理解,近程无线网络可通过各种数据传送方法来实现(例如,卫星传输、电信网络等)。因此,要强调的是,例如,计算设备215和在操作上与其耦合的远程组件之间的连接的各实施例不受所述示例限制,而是涵盖各种各样的通信方法。
提供输入设备221以接受尤其影响内容区域内的内容平摇的用户发起的输入295。在一示例性实施例中,输入设备221接收在呈现在UI显示上的显示区223处指示的用户发起的输入295。说明性设备包括触摸屏界面(例如,同时被用作呈现组件250)、图1的I/O组件120、触摸数字化器、或能够接收包括手势的用户发起的输入295并将对该输入的指示传递给操作系统220的任何其他组件。仅作为示例,输入设备221可参考GUI上所呈现的项目来确定用户发起的输入295发起与其接触(例如,致动位置)的坐标位置以及用户发起的输入295终止与其接触(例如,释放位置)的坐标位置。可比较这些坐标位置来确定不间断移动的距离及其方向,如以下更全面地讨论的。因此,可从施加于输入设备221的手势中提取拖拽操作。在各实施例中,输入由屏幕驱动程序来进行预处理,该屏幕驱动程序在将输入信息传递给操作系统220之前从原始输入数据导出输入信息。
虽然上文中描述了输入设备221的若干不同配置,但本领域的那些普通技术人员应该理解和明白,可将从物理接触290或以其他方式(例如,在物体接近屏幕但实际上未进行接触时交互/响应的“触摸”系统)接收输入的各种类型的输入设备用作输入设备221,且本发明的实施例不限于所示出并被描述为结合到呈现组件250中的那些输入设备221。例如,呈现组件250可以是在操作上耦合至计算机(例如,计算设备215)的监视器,而输入设备221可以是与计算设备进行无线通信(以上讨论)的独立电容触摸屏。然而,为了简明和清楚起见,输入设备221和呈现组件250以下将被统称为触摸屏界面,即作为单个单元提供显示器和输入元件两者的功能的触摸屏。
操作系统(OS)220一般是指管理处理组件的资源共享并向程序员提供用于访问这些资源的接口的软件。在操作中,操作系统220解释系统数据,并检测用户发起的输入295(例如,经由输入设备210),并通过无特定次序地执行诸如下面的过程之类的过程来作出响应:接收来自触摸屏界面上的物理对象290(例如,单指手势、笔划等)的输入295,确定输入295执行哪一种手势,确定应用程序230支持滚动功能,以及如果手势映射到可滚动方向上的拖拽操作,则过滤输入295至应用230的传递。如本文所使用的,术语“可滚动方向”不意味着是限制性的,而是一般涉及允许在如由应用230管控的内容区域内移动内容的方向。在一个实例中,可滚动方向基本平行于滚动条工具的定向(例如,水平或垂直)。
在一示例性实施例中,操作系统220在处理器上运行且支持包括应用程序230的一个或多个应用程序的执行。在其他实施例中,操作系统220和/或应用程序230可部分地或完全地驻留在远程定位的计算设备上(例如,在另一操作系统上、经由web地址位于服务器上等等)。在各实施例中,操作系统220基于接收自输入设备221的输入信息245来确定是否向应用程序230提供平摇消息。虽然图2中示出从触摸屏界面接收用户发起的输入295,但应该明白和理解,可以接收来自各种其他输入设备(例如,远程触觉输入板)的其他输入并由操作系统220解释;因此,本发明的范围不限于此处描述的输入和输入设备。如果输入295内包括的手势的距离和/或方向满足用于评估是否启动平摇模式的系统度量,则操作系统220可向应用程序230提供致使内容根据该手势来平摇的滚动消息。在此类情形中,自动调用被映射至手势的拖拽操作的应用程序230的平摇功能。
一般而言,应用程序230是可由操作系统220启动和操纵的任何程序。如上文所讨论的,应用程序230管理在UI显示上发布的内容。另外,应用程序230可以是如上讨论的触摸无知的,或者可另选地能够接受来自触摸屏界面的原始输入。
操作系统220的此操作系统结构只是可以在处理器上运行的合适的结构的一个示例,而非旨在对本发明的使用范围或功能提出任何限制。所示出的操作系统220也不应被解释成对于所示出的接收输入信息245形式的用户发起的输入245或提供消息235中的任一个或其组合有任何依赖或要求。此外,应用程序230可被集成到操作系统220中并在本质和数量上是示例性的,且不应该被解释为是限制性的。
在示例性实施例中,操作系统220包括输入组件205、包括校正组件225和选择组件226的手势引擎280、滚动条查找器210、和应用程序接口组件235。
另外,操作系统220可以包括数据存储275。在各实施例中,数据存储275可以驻留在计算设备215上、或者驻留在远程位置处的计算设备上(例如,在另一操作系统上,在经由web地址定位的服务器上等等)。数据存储275可被配置成存储信息,这些信息包括被映射至特定手势的消息、用于从平摇内容切换至选择内容的系统度量(诸如触发边界)、以及与平摇有关的任何其他数据。此外,尽管是作为单个独立组件来示出的,但是数据存储275事实上可以是多个数据库,例如服务器群集。
操作系统220的此操作系统结构只是可以在计算设备215上运行的合适的结构的一个示例,而非旨在对本发明的使用范围或功能提出任何限制。所示出的操作系统220也不应被解释成对于所示出的组件205、210、225、226、280或250中的任一组件或其组合有任何依赖或要求。在一些实施例中,组件205、210、225、226、280或250中的一个或多个可被实现为独立应用程序。在其他实施例中,组件205、210、225、226、280或250中的一个或多个可以直接集成到计算设备215的显示设备221、应用程序230、或其组合中。只作为示例,应用程序接口组件250可以与显示设备221相关联地安置的。本领域普通技术人员可以理解,图2所示的组件205、210、225、226、280或250在本质和数量上是示例性的,并且不应被解释为限制。
在本发明的各实施例的范围内,可以使用任意数量的组件以实现所需功能。虽然为了清楚起见利用线条示出了图2的各组件,但是实际上,描绘各组件/元件的轮廓并不是那样清楚,并且比喻性地来说,线条更精确地将是灰色的和模糊的。此外,虽然图2的某些组件和设备被描述成各单独的框,但是该描绘在本质上和数量上是示例性的,不应该解释为限制(例如,虽然只示出了一个显示设备215,但是,可以有更多的显示设备可操作地耦合到计算设备210,从而协作地运转以呈现UI显示225)。
最初,输入组件205被配置成接收来自触摸屏界面的输入信息245。在一示例性实施例中,输入信息245可从输入290导出。作为示例,输入290可包括当用户触摸(例如,单指手势触摸)触摸屏界面时的用户发起的物理接触。其他实施例中,输入信息245包括触摸屏界面上的致动位置(例如,笛卡尔坐标位置)以及与手势有关的数据(例如,不间断移动的距离、移动方向、致动持续时间等等)。此输入信息245可由将数据传递给输入组件205的屏幕驱动程序(未示出)来进行预处理。输入组件205随后可处理输入信息205,然后将其发送给手势引擎280。
滚动条查找器组件210确定应用程序230是否支持滚动功能。在一个实例中,该确定是通过探查应用程序以识别显示区223内是否存在滚动条工具来执行的。如果应用程序230支持滚动功能,则可向应用程序发送滚动消息以基于接收到的手势的拖拽操作来执行内容的平摇移动。否则,向应用程序230提供标准“鼠标消息”。鼠标消息是提供给触摸无知应用程序(即,未被配置成接受触摸界面上的手势)的未过滤输入295,其以类似于从使用鼠标工具所能预期的方式来控制应用程序。
尽管以上讨论了用于确定应用程序230是否在UI显示处展示滚动功能的方法,但用于作出此判定的其他方法也被涵盖在滚动条查找器组件210的范围内,并且可被应用于各种不同的滚动条实现。
手势引擎280被配置成确定用户正在计算设备215处执行哪一种手势。例如,手势引擎280能够利用计时器来处理手势的连续、不间断移动和/或手势的持续时间。如果手势的持续时间不包括大于预定义距离的不间断移动距离或者不满足预定义的阈值时间段,则该手势被认为是轻击类操作(例如,模拟鼠标点击的轻击)。否则,手势被认为是拖拽操作。
在各实施例中,手势引擎280消除平摇与标准动作之间的歧义。例如,如果手势被认为是拖拽操作,则手势引擎查看应用程序230的UI显示以确定用户是否正在滚动条内容区域内拖拽。在各实施例中,采用了用于标识致动位置,即接触触摸屏界面的触点是否出现在滚动内容区域内的技术和方法。如果致动位置在内容区域内且识别出拖拽操作,则向应用程序发送滚动消息而非发送鼠标消息。在一特定实施例中,在应用程序230支持垂直滚动且在内容区域内检测到致动位置的情况下,垂直拖拽操作可调用触发向上平摇或向下平摇的平摇消息,而水平拖拽操作可调用选择内容区域内的文本、在屏幕上滑动窗口、剪切和/或粘贴等鼠标消息。在另一实施例中,在应用程序230支持水平滚动且在内容区域内检测到致动位置的情况下,水平拖拽操作可调用触发横向平摇的平摇消息,而垂直拖拽操作可调用鼠标消息。
因此,当他/她执行拖拽时,内容区域中的内容与用户手指一起滚动。因此,此办法允许用户在内容区域上拖拽其手指以进行平摇,并使用不同的手势来在内容区域内进行拖拽或选择。例如,用户可通过在表面文件列表上拖拽手指来平摇通过文件资源管理器菜单中的项目列表,并随后执行不同的手势以选择和移动文件(例如,在显示区230的标题栏或边框上执行触摸点)。
如果用户正在应用程序230所呈现的不可滚动的内容区域(例如,标题栏、边框、滚动条工具等)上拖拽,则利用应用程序接口组件250来将鼠标消息发送到应用程序,以使得用手指拖拽起到与用鼠标点击和拖拽相同的作用。这允许用户在屏幕(例如,UI显示)上四处拖拽或平摇显示区223,拖拽可滚动内容区的滑块、重新排列桌面图标等。
一般而言,手势引擎280通过向应用程序230提供适当的消息235来过滤输入。当在可滚动方向上拖拽时,可滚动内容将与触摸屏界面上的接触点一起移动。在各实施例中,对手势内的不稳定或者非故意的移动应用平均机制以平滑该内容的移动。在看到显示区223上所呈现的滚动条工具时,用户被提供平摇内容可用的指示。由此,用户将直观地用一根手指进行拖拽以平摇内容(例如,文档内的页面、或者浏览器内的地图)。当用户在基本平行于滚动条控件的方向上在可滚动内容区域上拖拽其手指时,内容在适当的方向上平摇。平摇继续,直至用户提起其手指、或者中断拖拽操作的连续移动。另外,平摇内容可驱动滚动条控件的滑块以提供正在执行平摇的视觉反馈(例如,自动为用户移动滚动条)。在示例性实施例中,用于控制应用程序230所呈现的内容的平摇的这种对输入295的管理能够与滚动条的各种实现交互。
在操作中,手势引擎280解读正在发生什么类型的手势、该手势源自哪里、以及该手势的其他属性是否可用。在解释此信息后,选择组件226被配置成识别映射至所解读的手势的适当动作。该适当动作被提供给应用程序接口组件250,该组件向应用程序230发送适当消息235。例如,如果手势引擎确定用户正在显示区的不可滚动部分上拖拽,则经由映射调用正常的鼠标左键拖拽动作。如果用户在不滚动的方向上(例如,垂直于滚动条控件)拖拽,则发生鼠标左键拖拽,其在应用程序中通常变成选择或拖放。或者,用户可通过执行用于调用常规鼠标左键拖拽动作的按住然后拖拽手势来选择内容。
在各实施例中,当用户在与滚动条工具相同的大致方向上(对于垂直滚动条为向上或向下)在显示区223(由Internet Explorer、媒体播放器、记事本文档、Word、Outlook、开始菜单、控制面板生成的窗口、或其他应用程序表面UI)的内容区域中拖拽手指或物理对象290时,内容(例如,文件夹列表、电子邮件列表、已分组的电子邮件列表、滚动字体列表)应在手指下平摇。另外,只应影响发起拖拽的所选显示区223的内容。由此,不论该拖拽在何处移动,其他窗格中的其他内容不应滚动或显示悬停状态。同样,不允许滚动的显示区223(例如,youtube.com上的静态图像)中的拖拽将导致整个显示区223在页面上平摇。为了实现这些动作,手势引擎280向应用程序223馈送通信流以确保应用程序223以特殊方式对待输入295。
选择组件226被配置成基于输入信息245来选择适当的动作以发送至应用程序接口组件250。另外,选择组件226被配置成确定用户何时平摇越过滚动区域的末端并提供过平摇(over-panning)动作,该过平摇动作提供视觉反馈以便让用户知晓他/她已经达到可用的可滚动内容的极限。在一个实施例中,该过平摇动作在用户正在触摸屏界面上滑动手指的方向上移动整个窗口。有利地,导致整个显示区223移动的此视觉反馈可被实现或缩放以操纵传统应用程序。具体地,由于操作系统220具有在屏幕上滑动窗口的能力,因此移动UI显示上的显示区的过平摇动作可在没有来自应用程序230的协作或通过应用程序230往复运动的情况下实现。因此,过平滑动作提供了滚动功能可用但已经达到页面末端的清楚指示。
由于新用户常常犯在错误方向上拖拽的错误,所以过平滑动作提供辅助性行为以警告用户不再有内容位于拖拽操作的方向上。而且,过平滑动作提供能够教导用户如何在平滑时控制内容移动的教导行为。因为通过在内容区域中拖拽手指来移动内容的方向与通过在相同方向上拖拉滚动条控件的滑块来移动内容的方向通常相反,所以发生在与用户预期方向相反的方向上平摇的错误。具体而言,当处在文档顶端时,新用户常常在向下方向上拖拽其手指,因为他们习惯于在操作滚动条控件时施加向下的移动。但是,当调用平摇模式时,当用户在此情形中拖拽其手指时,整个窗口,即显示区223将向下滑动。由此,过平摇动作清楚并可视地传达平摇是可用的但用户正在错误的方向上拖拽。然而,当触摸平摇是其中内容基本在拖拽的方向上移动的“直接操纵系统”中,在向上方向上拖拽内容或文档中的页面是向上移动页面的基础。因此,如果不向用户提供过平摇动作或其他反馈,则用户将常常认为滚动功能不可用或不起作用。
尽管描述了过平摇动作的一个实施例,但本领域技术人员应该理解和认识到,也可以采用向用户提供传达滚动功能可用的视觉或音频反馈的其他类型的适合过平摇动作,且本发明的实施例不限于本文描述的这些过平摇动作。另外,过平摇动作的使用唯一地适用于其中每一个运行应用程序存活在显露于UI显示的一个或多个显示区内的窗口化多任务系统(即,在屏幕上具有许多窗口的能力)。此外,如果用户“摇摆”页面(即,施加剧烈拖拽操作)以使得页面滚动至内容区域中的可滚动内容的末端,则可触发此过平摇动作。在各实施例中,摇摆为用户提供了最初在拖拽操作的控制下移动内容并在随后拖拽操作停止时自动地继续平摇内容和/或滑动显示区223,就像内容具有质量并在惯性下移动一样。
校正组件225被配置成在方向基本与滚动条工具对齐时提供对拖拽偏移的容限。例如,当用户开始平摇时(例如,通过在可滚动内容区内向上拖拽),选择组件226将在向上和向下方向上平摇页面,即使用户在尝试垂直滚动时稍微向左或向右偏移。换言之,用户能够垂直地(即,直接向上/下)或者水平地(例如,直接向左/右)平摇,即使在执行拖拽操作时其手指的拖拽运动没有正好在这些方向上移动。如果用户偏好是对角地平摇更为高效,则可以关闭此特征。然而,校正组件225通常是活动的,因为在内容区域中直接向上或向下、或者侧向地平摇内容是更加明了的,并且是对于观看而言更为常规/直观的移动。
由于拖拽期间的摩擦以及移动整个手臂以创建输入的一般人体工程学,用户难以实现触摸屏界面上的精确拖拽。因此,在拖拽交互中存在固有的偏移和/或摆动。在操作中,校正组件225注意到拖拽的摆动和/或偏移并抑制这些输入以使得内容直线地平摇,即,就像是在轨道上。在一个实施例中,抑制是通过确定拖拽操作的方向的主轴来执行的。随后滤除非主轴方向上的附属移动以帮助滚动该拖拽操作的特定方向。因此,用户在拖拽时被提供一定程度的容限以便于以直观和宽松的方式进行平摇。
在如参照图4和5讨论的实施例中,阈值边界可以与主轴相关联,定义阈值边界以使得显著的附属移动(例如,主轴为垂直时的正交拖拽)将触发次级动作,诸如选择位于该触摸点附近的内容。即,如果用户拖拽得偏离主轴足够远,则可以调用次级动作。因此,通过定向地控制非主轴方向上的拖拽,用户能够强加特定于方向的行为,诸如选择文本。
在其中于非预期方向上(例如,有悖于主轴)发生相当量的拖拽的情形中,可以停用校正组件225对此拖拽操作施加的抑制以使得用户可在对应于其实际手势的方向上自由平摇。即,一旦检测到阈值量的偏移,校正组件225就可将动作从受控平摇切换至基于实际手势移动的平摇。或者,用户可通过在施加手势时克服阈值量的偏移来覆盖平摇行为(即,退出平摇模式)。一旦用户克服平摇行为,他/她就能执行“正常拖拽操作”诸如鼠标拖拽类操作。在其他实施例中,在不覆盖校正组件225的情况下,用户仍能执行如上所讨论的次级动作。在各实施例中,用户可在触摸屏界面上执行至少以下操作以执行次级动作:按下并按住预定持续时间,随后拖拽;执行双轻击类操作(在特定时限内),随后拖拽;或者提供多点触摸输入,诸如双手指拖拽。用户可在可滚动内容区域内执行以调用次级动作的其他操作可包括在限于上下滚动的显示区中从左至右地拖拽。在处理次级动作时,应用程序230将表现得就像用户用鼠标进行点击和操作一样。一般而言,此次级动作对于选择应用程序内的文本是有用的。在接收到此次级动作的指示时,应用程序接口组件可向应用程序230发送鼠标消息而不是滚动消息。
如上讨论的,用户可按下并按住且随后拖拽来临时禁用平摇行为。一旦禁用,用户能改为在不调用平摇模式的情况下自由使用拖拽操作来执行次级动作。例如,被解释为按下+按住+拖拽的输入可在临时停止平摇的同时调用方便选择手势的次级动作。在另一实施例中,被解释为按下+按住+释放的接收到输入手势可禁用滚动功能(即,临时或永久停用平摇模式),并允许用户执行鼠标拖拽(例如,触发选择),诸如复制网页中的地址或将文件移动到文件夹中。
现在转到图3,示出了根据本发明的一实施例的触摸屏界面320上的显示区328的图示300,该触摸屏界面示出了一种用于平摇其中的内容的方法。最初,计算设备215或另一计算设备(例如,计算设备100)设有触摸屏界面320。触摸屏界面320被配置成在UI显示305上显露显示区328、337、和341。示出物理对象315(例如,单指手势)正在内容区域325内施加拖拽操作335。通常,拖拽操作335将在拖拽操作335正在行进的方向333上平摇内容327(例如,如图示地基本向下地平移)。拖拽操作包括发起点334、或如上所述的致动位置,以及触摸点336。另外,滚动条工具329可提供对平摇操作的视觉反馈。
在所示示例中,拖拽操作335是在大体向下的方向上移动的手势。因此,内容327将对应地在向下方向333上平摇,由此随物理对象315移动。滚动条工具329可通过从先前位置330自动在向上方向331上移动滑块332来提供对正在发生向下平摇的视觉反馈。如果在向下的拖拽操作335期间出现内容327的末端,则可调用过平摇动作。在一个实例中,过平摇动作可包括在UI显示305内向下平移显示区328。此外,在一示例性实施例中,如果图2的校正组件225是启用的,则内容327可在基本垂直的方向333上滚动,即使此时拖拽操作335包括轻微的偏移。
在显示区328上提供输入时,激活底层应用程序。由于显示区328的底层应用程序是活动的,而显示区337和341的底层应用程序是休眠的,所以显示区337和341不会在显示区328中的平摇期间接收到输入。例如,如果拖拽操作335从触摸点336继续到显示区337的内容区域338中,则显示区338内的内容将不平摇。相反,垂直方向333上的平摇可在物理对象315越出内容区域325的下边缘时停止。或者,整个显示区328可在UI显示305内向下滑动以指示发生越出。
显示区337包括水平滚动条工具339。由此,相比于显示区328的垂直滚动条工具329,内容区域338中的水平拖拽操作将导致平摇动作,而内容区域338中的垂直拖拽操作调用次级动作,诸如用于突出显示内容区域338中的文本的选择功能。
显示区340不包括滚动条。因此,可视地通知用户显示区340的底层应用程序不支持滚动功能。因此,显示区340的边界341内的拖拽操作将导致显示区340结合物理对象315的移动在UI显示305中平移。或者,为了发起显示区328的平移,手势的致动位置应出现在内容区域325的外部,诸如在显示区328的边框/标题栏326内。
现在转到图4和5,示出了根据本发明的各实施例的渐进式拖拽操作描绘,该描绘展示执行从平摇内容切换到调用次级动作的拖拽操作的各阶段。首先,参考图4,建立预定的阈值边框集合420以消除轻击类操作与拖拽操作之间的歧义。即,如果诸如初始拖拽405之类的手势延伸超出该阈值边框集合420中的任一边框,则该手势被认为是拖拽操作。在另一实施例中,如果施加手势并在触摸屏界面上保持长于预定义时间窗口,则该手势被认为是拖拽操作。
如图4所示,初始拖拽405正移至上象限中;由此该手势被认为是向上方向上的垂直拖拽操作。因此,如果应用支持垂直方向上的滚动功能,则内容可结合初始拖拽405移动。在图2的校正组件225是活动的情况下,初始拖拽405中的任何偏移或摆动在不越过阈值边界410和415中任一边界的情况下得到抑制。转到图5,次级拖拽505越过阈值边界515。在一个实施例中,越过阈值边界515暂停平摇功能。在另一实施例中,次级拖拽505越过阈值边界515可调用次级动作或停用图2的校正组件225以停止抑制功能。因此,内容跟随此拖拽操作而不是沿主轴方向移动。
参考各具体实施例描述了本发明,各具体实施例在所有方面都旨在是说明性的而非限制性的。不偏离本发明范围的情况下,各替换实施例对于本发明所属领域的技术人员将变得显而易见。
从前述内容可知,本发明很好地适用于实现前述的所有目的和目标,并且具有对于该系统和方法是显而易见的和固有的其它优点。可以理解,某些特征和子组合是有用的,并且可以在不参考其他特征和子组合的情况下使用。这由权利要求所构想的,并在权利要求的范围内。

Claims (20)

1.一种或多种其上包含计算机可执行指令的计算机可读介质,所述指令在被执行时执行一种用于平摇计算设备上所呈现的显示区内的内容的方法,所述方法包括:
检测施加于触摸屏界面的用户发起的输入;
从所述触摸屏界面接收致动信息,其中触摸屏信息包括触摸位置;
查明所述触摸位置出现在显露于所述触摸屏界面的所述显示区的内容区域内,其中所述显示区是由与所述计算设备的操作系统通信的应用程序呈现的;
将所述应用程序标识为支持滚动功能;
从所述触摸屏信息导出对应于所述触摸位置的手势;
通过基于自所述用户发起的输入在所述触摸屏界面上的致动位置起的不间断拖拽移动的距离和方向来消除拖拽操作与轻击类或其他操作的歧义,来将所述手势识别为所述拖拽操作;
基于所述滚动功能,根据所述拖拽操作来平摇所述显示区的内容区域内的内容或者生成正常鼠标消息。
2.如权利要求1所述的一种或多种计算机可读介质,其特征在于,所述方法还包括呈现对所述触摸屏界面处的平摇的指示。
3.如权利要求2所述的一种或多种计算机可读介质,其特征在于,将所述应用程序标识为支持滚动功能还包括确定呈现在所述触摸屏界面处的显示区是否包括滚动条控件。
4.如权利要求3所述的一种或多种计算机可读介质,其特征在于,呈现对所述触摸屏界面处的平摇的指示包括在基于所述触摸屏界面处的平摇的方向的方向上驱动所述滚动条控件的滑块。
5.如权利要求1所述的一种或多种计算机可读介质,其特征在于,不间断拖拽移动的距离是通过将所述用户发起的输入在所述触摸屏界面处的致动位置的笛卡尔坐标表示与所述拖拽移动的释放位置的笛卡尔坐标表示进行比较来导出的。
6.如权利要求1所述的一种或多种计算机可读介质,其特征在于,通过基于不间断拖拽移动的距离来消除拖拽操作与轻击类操作的歧义来将所述手势识别为拖拽操作包括确定包括所述不间断拖拽移动的对所述触摸屏界面的扫掠是否克服预定义的阈值距离。
7.如权利要求3所述的一种或多种计算机可读介质,其特征在于,通过基于不间断拖拽移动的方向来消除拖拽操作与轻击类操作的歧义来将所述手势识别为拖拽操作包括:
检测所述不间断拖拽移动的方向;
标识所述内容区域的可滚动方向,其中所述可滚动方向是指所述内容被允许在如由所述应用程序管控的内容区域内平摇的方向;以及
查明所述不间断拖拽移动的方向基本平行于所述内容区域的可滚动方向。
8.如权利要求7所述的一种或多种计算机可读介质,其特征在于,所述内容区域的可滚动方向基本与滚动条工具的方向对齐。
9.一种能够向触摸无知应用程序提供触摸平摇能力的计算机系统,所述计算机系统包括其上包含有多个计算机软件组件的计算机存储介质,所述计算机软件组件包括:
用于接收用户发起的输入的输入设备,所述用户发起的输入包括施加于设置在所述输入设备上的触摸屏界面处所呈现的显示区的致动的位置,其中所述触摸屏界面接受物理接触作为所述用户发起的输入;
用于在所述显示区的内容区域内呈现内容的触摸无知应用程序组件,其中所述触摸无知应用程序最初并未被构造成接收平摇输入;
操作系统,其用于担当所述输入设备与所述触摸无知应用程序之间的手势解释接口,由此促进经由所述触摸屏界面处的输入对所述触摸无知应用程序的滚动功能的控制,其中所述操作系统包括:
(a)滚动条查找器组件,其用于检查所述触摸无知应用程序以检测所述触摸无知应用程序是否为至少一种输入设备提供滚动功能;以及
(b)应用程序接口组件,其用于在接收到所述触摸无知应用程序提供所述滚动功能的指示时向所述触摸无知应用程序提供平摇消息,否则向所述触摸无知应用程序提供鼠标消息;以及
呈现组件,其用于向用户揭示对所述滚动功能的指示,其中所述呈现组件与所述输入设备集成。
10.如权利要求9所述的计算机系统,其特征在于,所述操作系统还包括用于从所述输入设备上的屏幕驱动程序接收输入信息的输入组件,其中所述输入信息包括与时间戳相关联的触摸位置。
11.如权利要求10所述的计算机系统,其特征在于,所述操作系统还包括手势引擎,所述手势引擎用于从由所述时间戳汇编的触摸位置导出手势和致动位置,用于查明所述致动位置是否出现在所述内容区域内,以及用于基于源自所述致动位置的基本不间断拖拽移动的方向和距离来查明所述手势是否是拖拽操作,其中所述应用程序接口组件被配置成在接收到所述手势是拖拽操作且所述致动位置始于所述内容区域内的指示时向所述触摸无知应用程序提供平摇消息。
12.如权利要求11所述的计算机系统,其特征在于,向所述触摸无知应用提供平摇消息包括:
解释来自屏幕驱动程序的输入信息;
将经解释的输入信息映射至所述触摸无知应用程序的滚动功能;以及
向所述触摸无知应用程序传达反映所映射的滚动功能的平摇消息。
13.一种用于当在触摸屏界面处接收到手势时实现应用程序的滚动功能的计算机化方法,所述方法包括:
检测施加于所述触摸屏界面的用户发起的手势,其中所述手势包括对于所述触摸屏界面的致动位置以及与其相关联的拖拽操作;
查明所述触摸位置是否出现在显露于所述触摸屏界面的显示区的内容区域内,其中所述显示区是由所述应用程序呈现的;
查明所述拖拽操作是否满足预定义系统度量;
当所述触摸位置出现在所述内容区域内且所述拖拽操作满足预定义系统度量时,使得所述应用程序进入平摇模式,所述平摇模式支持所述显示区的内容区域内的内容的滚动功能;
否则使所述应用程序保持在默认模式中,由此允许与所述手势相关联的原始输入从所述触摸屏界面流向所述应用程序;以及
至少临时与所述平摇模式或所述默认模式相一致地存储所述应用程序。
14.如权利要求13所述的计算机化方法,其特征在于,允许与所述手势相关联的原始输入从所述触摸屏界面流向所述应用程序包括将所述用户发起的手势作为能被触摸无知应用程序识别的鼠标消息传达给所述应用程序,其中所述触摸无知应用程序是不知道它们正与触摸屏界面协作或者在接收到所述触摸屏界面处的输入时不支持滚动功能的应用程序。
15.如权利要求13所述的计算机化方法,其特征在于,查明所述拖拽操作是否满足预定义系统度量包括识别所述拖拽操作包括源自所述致动位置的、持续大于预定义阈值距离的距离的基本不间断拖拽移动,其中所述不间断拖拽移动是由与所述触摸屏界面真实接触的物理对象生成的。
16.如权利要求13所述的计算机化方法,其特征在于,查明所述拖拽操作是否满足预定义系统度量包括:
利用计时器来确定在完成所述基本不间断拖拽移动时所述拖拽操作消耗的时间量;以及
基于所消耗的时间量和所述拖拽操作的距离,消除所述拖拽操作与轻击类操作的歧义。
17.如权利要求16所述的计算机化方法,其特征在于,查明所述拖拽操作是否满足预定义系统度量包括:
基于所述基本不间断拖拽移动的平均方向来标识所述拖拽操作的主轴;
将所述主轴与所述显示区的内容区域的滚动功能所启用的一个或多个滚动方向进行比较;以及
确定所述主轴在预定义容限内与所启用的滚动方向中的一个或多个相当。
18.如权利要求13所述的计算机化方法,其特征在于,使所述应用程序进入支持所述显示区的内容区域内的内容的滚动功能的平摇模式包括向所述应用程序提供平摇消息以发起滚动所述显示区的内容区域内的内容,其中滚动所述内容包括平移与物理对象和所述触摸屏界面之间的接触位置相对应的内容。
19.如权利要求15所述的计算机化方法,其特征在于,还包括:
在执行所述拖拽操作时接收正由所述物理对象生成的基本不间断拖拽移动正越出包围所述内容区域的一个或多个边界的指示;以及
调用过平摇动作,所述过平摇动作向操作者提供指示到达可滚动内容的极限的视觉反馈,其中所述视觉反馈包括在所述基本不间断拖拽移动的大体方向上平移所述触摸屏界面上的显示区。
20.如权利要求19所述的计算机化方法,其特征在于,还包括:
在执行所述拖拽操作时接收所述基本不间断拖拽移动是通过对所述物理对象的剧烈扫掠来施加至所述触摸屏界面的指示;
在释放所述拖拽操作时自动继续在所述基本不间断拖拽移动的方向上滚动所述内容,就像所述内容在随着惯性移动一样;以及
当在所述基本不间断拖拽移动的方向上到达所述内容的末端时,调用所述过平摇动作。
CN200980119250.4A 2008-05-23 2009-04-23 利用拖拽操作来平摇内容 Expired - Fee Related CN102037434B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US5596208P 2008-05-23 2008-05-23
US61/055,962 2008-05-23
US12/245,306 US8375336B2 (en) 2008-05-23 2008-10-03 Panning content utilizing a drag operation
US12/245,306 2008-10-03
PCT/US2009/041541 WO2009142871A2 (en) 2008-05-23 2009-04-23 Panning content utilizing a drag operation

Publications (2)

Publication Number Publication Date
CN102037434A true CN102037434A (zh) 2011-04-27
CN102037434B CN102037434B (zh) 2014-01-29

Family

ID=41340763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980119250.4A Expired - Fee Related CN102037434B (zh) 2008-05-23 2009-04-23 利用拖拽操作来平摇内容

Country Status (8)

Country Link
US (2) US8375336B2 (zh)
EP (1) EP2286320B1 (zh)
JP (1) JP5490106B2 (zh)
KR (1) KR101600643B1 (zh)
CN (1) CN102037434B (zh)
BR (1) BRPI0911185A2 (zh)
RU (1) RU2523169C2 (zh)
WO (1) WO2009142871A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662556A (zh) * 2012-03-07 2012-09-12 中兴通讯股份有限公司 计算机终端的控制方法、装置及系统
CN102955661A (zh) * 2011-08-19 2013-03-06 三星电子株式会社 用于使用指示装置引导屏幕上的内容的方法和设备
CN103823573A (zh) * 2014-02-24 2014-05-28 联想(北京)有限公司 一种信息处理方法、指针定位装置及电子设备
CN103907087A (zh) * 2011-08-02 2014-07-02 微软公司 用于选择和重排的交叉滑动手势
CN105094583A (zh) * 2014-05-13 2015-11-25 中兴通讯股份有限公司 一种触摸屏数字终端的快捷操作方法及装置
CN106663365A (zh) * 2014-07-17 2017-05-10 飞利浦灯具控股公司 基于用户输入获得控制系统的手势区域定义数据的方法
CN111061419A (zh) * 2019-10-23 2020-04-24 华为技术有限公司 一种应用栏显示方法及电子设备
CN114556281A (zh) * 2019-10-01 2022-05-27 微软技术许可有限责任公司 用于跨越显示边界来移动对象的预测性手势优化

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US7856605B2 (en) 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US8201109B2 (en) 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
KR101626037B1 (ko) * 2008-04-14 2016-06-13 구글 인코포레이티드 가상 표면들을 사용하는 패닝
US8375336B2 (en) * 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
US8570279B2 (en) 2008-06-27 2013-10-29 Apple Inc. Touch screen device, method, and graphical user interface for inserting a character from an alternate keyboard
US8847992B2 (en) 2008-08-22 2014-09-30 Google Inc. Navigation in a three dimensional environment using an orientation of a mobile device
US20100071965A1 (en) * 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
US20100107100A1 (en) 2008-10-23 2010-04-29 Schneekloth Jason S Mobile Device Style Abstraction
US8411046B2 (en) 2008-10-23 2013-04-02 Microsoft Corporation Column organization of content
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
KR101582687B1 (ko) * 2009-03-02 2016-01-05 엘지전자 주식회사 이동 통신 단말기에서의 록킹 해제 방법 및 이를 적용한 이동 통신 단말기
US20100235784A1 (en) 2009-03-16 2010-09-16 Bas Ording Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display
US8238876B2 (en) 2009-03-30 2012-08-07 Microsoft Corporation Notifications
US8175653B2 (en) 2009-03-30 2012-05-08 Microsoft Corporation Chromeless user interface
US8836648B2 (en) 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
US9626094B2 (en) * 2009-06-26 2017-04-18 Kyocera Corporation Communication device and electronic device
KR20110011002A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 웹 브라우징 방법 및 장치
US20110039602A1 (en) * 2009-08-13 2011-02-17 Mcnamara Justin Methods And Systems For Interacting With Content On A Mobile Device
US8799775B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for displaying emphasis animations for an electronic document in a presentation mode
CN102741784A (zh) * 2009-12-20 2012-10-17 凯利斯系统有限公司 一种数据输入系统的特征
JP5717270B2 (ja) * 2009-12-28 2015-05-13 任天堂株式会社 情報処理プログラム、情報処理装置および情報処理方法
US20110161892A1 (en) * 2009-12-29 2011-06-30 Motorola-Mobility, Inc. Display Interface and Method for Presenting Visual Feedback of a User Interaction
JP5418232B2 (ja) * 2010-01-04 2014-02-19 ソニー株式会社 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム
US8806362B2 (en) * 2010-01-06 2014-08-12 Apple Inc. Device, method, and graphical user interface for accessing alternate keys
US8786639B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating a collection of objects
KR101669618B1 (ko) * 2010-01-15 2016-10-26 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
KR101673918B1 (ko) * 2010-02-11 2016-11-09 삼성전자주식회사 휴대단말에서 복수의 정보들을 제공하는 방법 및 장치
US9417787B2 (en) * 2010-02-12 2016-08-16 Microsoft Technology Licensing, Llc Distortion effects to indicate location in a movable data collection
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9965165B2 (en) * 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US9477324B2 (en) * 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
CN102236511B (zh) * 2010-04-30 2015-11-25 腾讯科技(深圳)有限公司 响应操作的方法和装置
US20110296304A1 (en) * 2010-05-27 2011-12-01 Palm, Inc. Adaptive Gesture Tutorial
JP2012033059A (ja) * 2010-07-30 2012-02-16 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
US9710154B2 (en) 2010-09-03 2017-07-18 Microsoft Technology Licensing, Llc Dynamic gesture parameters
JP5478439B2 (ja) * 2010-09-14 2014-04-23 任天堂株式会社 表示制御プログラム、表示制御システム、表示制御装置、表示制御方法
JP5160604B2 (ja) * 2010-09-14 2013-03-13 任天堂株式会社 表示制御プログラム、表示制御システム、表示制御装置、表示制御方法
ES2736800T3 (es) * 2010-09-30 2020-01-07 Rakuten Inc Dispositivo de visualización, procedimiento de visualización, medio de registro legible por ordenador no transitorio en el que se registra un programa y programa de secuencia de comandos
CN102446032B (zh) * 2010-09-30 2014-09-17 中国移动通信有限公司 基于摄像头的信息输入方法及终端
CN106843715B (zh) * 2010-10-05 2020-06-26 西里克斯系统公司 用于远程化的应用的触摸支持
EP2625602B1 (en) * 2010-10-05 2019-11-27 Citrix Systems Inc. Gesture support for shared sessions
US9870141B2 (en) 2010-11-19 2018-01-16 Microsoft Technology Licensing, Llc Gesture recognition
JP5775291B2 (ja) * 2010-12-07 2015-09-09 シャープ株式会社 電子機器および表示方法
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US20120159383A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Customization of an immersive environment
KR101523866B1 (ko) * 2010-12-20 2015-05-28 애플 인크. 이벤트 인식
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
KR101662726B1 (ko) * 2010-12-29 2016-10-14 삼성전자주식회사 전자 기기의 스크롤 방법 및 장치
US20120173974A1 (en) * 2010-12-31 2012-07-05 International Business Machines Corporation Socialized help for computing applications
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
JP5418508B2 (ja) * 2011-01-13 2014-02-19 カシオ計算機株式会社 電子機器、表示制御方法及びプログラム
US20120185787A1 (en) * 2011-01-13 2012-07-19 Microsoft Corporation User interface interaction behavior based on insertion point
US8810529B2 (en) 2011-02-11 2014-08-19 Blackberry Limited Electronic device and method of controlling same
EP2487570B1 (en) 2011-02-11 2019-10-16 BlackBerry Limited Electronic device and method of controlling same
US9177266B2 (en) 2011-02-25 2015-11-03 Ancestry.Com Operations Inc. Methods and systems for implementing ancestral relationship graphical interface
US8786603B2 (en) 2011-02-25 2014-07-22 Ancestry.Com Operations Inc. Ancestor-to-ancestor relationship linking methods and systems
KR101728728B1 (ko) * 2011-03-18 2017-04-21 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US8863039B2 (en) 2011-04-18 2014-10-14 Microsoft Corporation Multi-dimensional boundary effects
US8489065B2 (en) 2011-05-03 2013-07-16 Robert M Green Mobile device controller application for any security system
US8773374B2 (en) 2011-05-13 2014-07-08 Blackberry Limited Identification of touch point on touch screen device
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9244605B2 (en) 2011-05-31 2016-01-26 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9229604B2 (en) 2011-09-01 2016-01-05 Sony Corporation User interface element
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US8933952B2 (en) 2011-09-10 2015-01-13 Microsoft Corporation Pre-rendering new content for an application-selectable user interface
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US20130067392A1 (en) * 2011-09-12 2013-03-14 Microsoft Corporation Multi-Input Rearrange
US20130067366A1 (en) * 2011-09-14 2013-03-14 Microsoft Corporation Establishing content navigation direction based on directional user gestures
US9517812B2 (en) * 2011-12-13 2016-12-13 Shimano Inc. Bicycle component operating device for controlling a bicycle component based on a sensor touching characteristic
US8769438B2 (en) * 2011-12-21 2014-07-01 Ancestry.Com Operations Inc. Methods and system for displaying pedigree charts on a touch device
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
US9128605B2 (en) 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
US8928582B2 (en) * 2012-02-17 2015-01-06 Sri International Method for adaptive interaction with a legacy software application
CN103257793B (zh) * 2012-02-20 2016-03-30 联想(北京)有限公司 控制用户界面的方法和装置、以及电子设备
KR101892567B1 (ko) * 2012-02-24 2018-08-28 삼성전자 주식회사 단말기에서 콘텐츠 이동 방법 및 장치
TWI456486B (zh) * 2012-03-06 2014-10-11 Acer Inc 電子裝置及控制電子裝置的方法
AU344203S (en) * 2012-03-30 2012-09-05 Samsung Electronics Co Ltd Display screen with icon for an electronic device
JP5953879B2 (ja) * 2012-03-30 2016-07-20 ブラザー工業株式会社 画像表示装置のプログラム、画像表示装置、画像表示装置の制御方法
US9575652B2 (en) 2012-03-31 2017-02-21 Microsoft Technology Licensing, Llc Instantiable gesture objects
KR101981141B1 (ko) * 2012-04-04 2019-08-28 삼성전자주식회사 펜 방식에 기반한 디스플레이의 좌표 검출 방법 및 장치
CN103428558A (zh) * 2012-05-23 2013-12-04 深圳市同洲电子股份有限公司 分享节目的方法及装置
KR102096070B1 (ko) * 2012-06-22 2020-04-14 삼성전자주식회사 터치 인식 개선 방법 및 그 전자 장치
US9268424B2 (en) * 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
US20140053113A1 (en) * 2012-08-15 2014-02-20 Prss Holding BV Processing user input pertaining to content movement
CN103677503B (zh) * 2012-09-14 2015-10-21 腾讯科技(深圳)有限公司 界面组件的触发运行方法和装置
KR102068043B1 (ko) * 2012-10-12 2020-01-20 에스케이플래닛 주식회사 웹 페이지의 스크롤탑 속성을 이용한 스크롤 수행 시스템 및 방법
US8539387B1 (en) * 2012-10-22 2013-09-17 Google Inc. Using beat combinations for controlling electronic devices
US8949735B2 (en) 2012-11-02 2015-02-03 Google Inc. Determining scroll direction intent
US9335913B2 (en) 2012-11-12 2016-05-10 Microsoft Technology Licensing, Llc Cross slide gesture
US9965162B2 (en) 2012-11-29 2018-05-08 Facebook, Inc. Scrolling across boundaries in a structured document
US10191643B2 (en) 2012-11-29 2019-01-29 Facebook, Inc. Using clamping to modify scrolling
JP5761216B2 (ja) * 2013-01-22 2015-08-12 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
US10120540B2 (en) * 2013-03-14 2018-11-06 Samsung Electronics Co., Ltd. Visual feedback for user interface navigation on television system
US9785240B2 (en) * 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
JP5835255B2 (ja) * 2013-03-19 2015-12-24 カシオ計算機株式会社 グラフ表示装置及びグラフ表示プログラム
US20140298258A1 (en) * 2013-03-28 2014-10-02 Microsoft Corporation Switch List Interactions
US9450952B2 (en) 2013-05-29 2016-09-20 Microsoft Technology Licensing, Llc Live tiles without application-code execution
US9715282B2 (en) * 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
US9910579B2 (en) * 2013-04-15 2018-03-06 Microsoft Technology Licensing, Llc Detection of pan and scaling during multi-finger touch interactions
US10180728B2 (en) 2013-05-17 2019-01-15 Citrix Systems, Inc. Remoting or localizing touch gestures at a virtualization client agent
KR102120651B1 (ko) * 2013-05-30 2020-06-09 삼성전자 주식회사 터치스크린을 구비하는 디바이스에서 화면 표시 방법 및 장치
US9442642B2 (en) 2013-06-14 2016-09-13 Microsoft Technology Licensing, Llc Tethered selection handle
US10366264B2 (en) 2013-08-09 2019-07-30 Korea Advanced Institute Of Science And Technology System and method for transferring content among devices
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
US10289301B2 (en) * 2013-09-14 2019-05-14 Changwat TUMWATTANA Gesture-based selection and manipulation method
US9754018B2 (en) * 2013-09-30 2017-09-05 Microsoft Technology Licensing, Llc Rendering interpreter for visualizing data provided from restricted environment container
KR101531445B1 (ko) * 2013-10-17 2015-06-24 주식회사 엘지유플러스 발신 단말과 수신 단말 간의 컨텐츠를 제공하는 컨텐츠 제공 방법
CN104571788A (zh) * 2013-10-28 2015-04-29 北京网秦天下科技有限公司 用于移动终端的内容显示方法及系统
US9507520B2 (en) 2013-12-16 2016-11-29 Microsoft Technology Licensing, Llc Touch-based reorganization of page element
WO2015149347A1 (en) 2014-04-04 2015-10-08 Microsoft Technology Licensing, Llc Expandable application representation
CN105378582B (zh) 2014-04-10 2019-07-23 微软技术许可有限责任公司 计算设备的可折叠壳盖
KR20160143784A (ko) 2014-04-10 2016-12-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 컴퓨팅 디바이스용 슬라이더 커버
CN104063153B (zh) * 2014-05-04 2018-12-11 南京中兴软件有限责任公司 一种实现人机交互的方法和装置
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US9787812B2 (en) 2014-08-28 2017-10-10 Honda Motor Co., Ltd. Privacy management
US10671275B2 (en) 2014-09-04 2020-06-02 Apple Inc. User interfaces for improving single-handed operation of devices
US10642365B2 (en) 2014-09-09 2020-05-05 Microsoft Technology Licensing, Llc Parametric inertia and APIs
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
FR3026867A1 (fr) * 2014-10-02 2016-04-08 Dav Dispositif et procede de commande pour vehicule automobile
KR101665552B1 (ko) * 2014-10-14 2016-10-13 현대자동차주식회사 사용자 인터페이스 장치, 그를 가지는 차량 및 그의 제어 방법
WO2016065568A1 (en) 2014-10-30 2016-05-06 Microsoft Technology Licensing, Llc Multi-configuration input device
JP6234612B2 (ja) * 2014-12-17 2017-11-22 三菱電機株式会社 遠隔操作システムおよび情報処理方法
KR101962774B1 (ko) * 2015-03-31 2019-07-31 후아웨이 테크놀러지 컴퍼니 리미티드 애플리케이션과 연관된 신규 메시지를 처리하기 위한 방법 및 장치
JP2015167033A (ja) * 2015-04-30 2015-09-24 コニカミノルタ株式会社 表示領域制御装置、方法およびプログラム
US20160364106A1 (en) * 2015-06-09 2016-12-15 Whatsapp Inc. Techniques for dynamic media album display and management
US10310719B2 (en) 2015-06-09 2019-06-04 Whatsapp Inc. Techniques for media album display and management
CN104978110B (zh) * 2015-07-27 2018-06-01 联想(北京)有限公司 显示处理方法和显示处理设备
WO2017030301A1 (ko) * 2015-08-18 2017-02-23 주식회사 이노스파크 반응형 유저인터페이스 제공장치 및 이를 이용한 반응형 유저인터페이스 제공방법
US10379615B2 (en) 2015-12-09 2019-08-13 International Business Machines Corporation Providing haptic feedback to a user of a touch surface display
JP6390657B2 (ja) * 2016-04-07 2018-09-19 トヨタ自動車株式会社 車両用表示装置
US10627953B2 (en) * 2016-08-24 2020-04-21 Sony Corporation Information processing apparatus, program, and information processing system
CN107728918A (zh) * 2017-09-27 2018-02-23 北京三快在线科技有限公司 浏览连续页面的方法、装置及电子设备
US10884614B1 (en) * 2018-11-30 2021-01-05 Zoox, Inc. Actuation interface
US11056112B2 (en) * 2019-04-03 2021-07-06 Citrix Systems, Inc. Voice-based operations
DK180359B1 (en) 2019-04-15 2021-02-03 Apple Inc Accelerated scrolling and selection
CN111970312A (zh) * 2019-05-20 2020-11-20 北京小米移动软件有限公司 文件传输方法、装置及计算机可读存储介质
US11379113B2 (en) 2019-06-01 2022-07-05 Apple Inc. Techniques for selecting text
CN111327769B (zh) 2020-02-25 2022-04-08 北京小米移动软件有限公司 多屏互动方法及装置、存储介质
CN114265540A (zh) * 2020-09-15 2022-04-01 华为技术有限公司 一种电子设备的滑动控制方法及电子设备
JP2023181017A (ja) * 2022-06-10 2023-12-21 圭 大隅 携帯情報端末装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030043114A1 (en) * 2001-09-04 2003-03-06 Miika Silfverberg Zooming and panning content on a display screen
US20070091075A1 (en) * 2005-10-25 2007-04-26 Jia-Yih Lii Method for window operation on a touchpad using a touch defined original point
CN101043685A (zh) * 2006-03-21 2007-09-26 Lg电子株式会社 移动通信终端及其信息显示方法
US20070277126A1 (en) * 2006-05-24 2007-11-29 Ho Joo Park Touch screen device and method of selecting files thereon
US20080082930A1 (en) * 2006-09-06 2008-04-03 Omernick Timothy P Portable Multifunction Device, Method, and Graphical User Interface for Configuring and Displaying Widgets

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3580083B2 (ja) 1997-04-30 2004-10-20 セイコーエプソン株式会社 画像処理装置
US5943052A (en) * 1997-08-12 1999-08-24 Synaptics, Incorporated Method and apparatus for scroll bar control
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6181344B1 (en) * 1998-03-20 2001-01-30 Nuvomedia, Inc. Drag-and-release method for configuring user-definable function key of hand-held computing device
US6590594B2 (en) * 1999-03-25 2003-07-08 International Business Machines Corporation Window scroll-bar
US7142205B2 (en) * 2000-03-29 2006-11-28 Autodesk, Inc. Single gesture map navigation graphical user interface for a personal digital assistant
US6638223B2 (en) * 2000-12-28 2003-10-28 Ge Medical Systems Global Technology Company, Llc Operator interface for a medical diagnostic imaging device
FI117488B (fi) * 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
TWI238348B (en) 2002-05-13 2005-08-21 Kyocera Corp Portable information terminal, display control device, display control method, and recording media
US7369102B2 (en) * 2003-03-04 2008-05-06 Microsoft Corporation System and method for navigating a graphical user interface on a smaller display
JP2005044036A (ja) * 2003-07-24 2005-02-17 Ricoh Co Ltd スクロール制御方法、その方法をコンピュータに実行させるプログラム
US20060012577A1 (en) * 2004-07-16 2006-01-19 Nokia Corporation Active keypad lock for devices equipped with touch screen
US7434173B2 (en) 2004-08-30 2008-10-07 Microsoft Corporation Scrolling web pages using direct interaction
TWI269997B (en) 2005-06-08 2007-01-01 Elan Microelectronics Corp Multi-object detection method of capacitive touch pad
US20070257891A1 (en) * 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface
US7777732B2 (en) * 2007-01-03 2010-08-17 Apple Inc. Multi-event input system
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
KR100894146B1 (ko) * 2007-02-03 2009-04-22 엘지전자 주식회사 이동통신 단말기 및 그 동작 제어방법
US9933937B2 (en) * 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8201109B2 (en) * 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US20090243998A1 (en) * 2008-03-28 2009-10-01 Nokia Corporation Apparatus, method and computer program product for providing an input gesture indicator
US8159469B2 (en) * 2008-05-06 2012-04-17 Hewlett-Packard Development Company, L.P. User interface for initiating activities in an electronic device
US8375336B2 (en) * 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
US20090309847A1 (en) * 2008-06-12 2009-12-17 You I Labs, Inc. Apparatus and method for providing multi-touch interface capability
US20100107116A1 (en) * 2008-10-27 2010-04-29 Nokia Corporation Input on touch user interfaces
KR101021857B1 (ko) * 2008-12-30 2011-03-17 삼성전자주식회사 듀얼 터치 센서를 이용하여 제어 신호를 입력하는 장치 및 방법
US7870496B1 (en) * 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US9684521B2 (en) * 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US20100235784A1 (en) * 2009-03-16 2010-09-16 Bas Ording Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display
US8466887B2 (en) * 2009-12-09 2013-06-18 Htc Corporation Method and system for handling multiple touch input on a computing device
US8810529B2 (en) * 2011-02-11 2014-08-19 Blackberry Limited Electronic device and method of controlling same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030043114A1 (en) * 2001-09-04 2003-03-06 Miika Silfverberg Zooming and panning content on a display screen
US20070091075A1 (en) * 2005-10-25 2007-04-26 Jia-Yih Lii Method for window operation on a touchpad using a touch defined original point
CN101043685A (zh) * 2006-03-21 2007-09-26 Lg电子株式会社 移动通信终端及其信息显示方法
US20070277126A1 (en) * 2006-05-24 2007-11-29 Ho Joo Park Touch screen device and method of selecting files thereon
US20080082930A1 (en) * 2006-09-06 2008-04-03 Omernick Timothy P Portable Multifunction Device, Method, and Graphical User Interface for Configuring and Displaying Widgets

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907087A (zh) * 2011-08-02 2014-07-02 微软公司 用于选择和重排的交叉滑动手势
CN102955661A (zh) * 2011-08-19 2013-03-06 三星电子株式会社 用于使用指示装置引导屏幕上的内容的方法和设备
CN102662556A (zh) * 2012-03-07 2012-09-12 中兴通讯股份有限公司 计算机终端的控制方法、装置及系统
CN103823573A (zh) * 2014-02-24 2014-05-28 联想(北京)有限公司 一种信息处理方法、指针定位装置及电子设备
CN105094583A (zh) * 2014-05-13 2015-11-25 中兴通讯股份有限公司 一种触摸屏数字终端的快捷操作方法及装置
CN105094583B (zh) * 2014-05-13 2020-04-03 中兴通讯股份有限公司 一种触摸屏数字终端的快捷操作方法及装置
CN106663365A (zh) * 2014-07-17 2017-05-10 飞利浦灯具控股公司 基于用户输入获得控制系统的手势区域定义数据的方法
CN106663365B (zh) * 2014-07-17 2019-12-10 飞利浦灯具控股公司 基于用户输入获得控制系统的手势区域定义数据的方法
CN114556281A (zh) * 2019-10-01 2022-05-27 微软技术许可有限责任公司 用于跨越显示边界来移动对象的预测性手势优化
CN111061419A (zh) * 2019-10-23 2020-04-24 华为技术有限公司 一种应用栏显示方法及电子设备
CN111061419B (zh) * 2019-10-23 2023-03-03 华为技术有限公司 一种应用栏显示方法及电子设备
US11868605B2 (en) 2019-10-23 2024-01-09 Huawei Technologies Co., Ltd. Application bar display method and electronic device

Also Published As

Publication number Publication date
EP2286320B1 (en) 2018-09-12
US20090292989A1 (en) 2009-11-26
JP5490106B2 (ja) 2014-05-14
WO2009142871A2 (en) 2009-11-26
EP2286320A2 (en) 2011-02-23
US9329768B2 (en) 2016-05-03
RU2523169C2 (ru) 2014-07-20
US8375336B2 (en) 2013-02-12
KR20110010096A (ko) 2011-01-31
WO2009142871A8 (en) 2010-09-23
BRPI0911185A2 (pt) 2015-10-13
KR101600643B1 (ko) 2016-03-07
CN102037434B (zh) 2014-01-29
JP2012503223A (ja) 2012-02-02
WO2009142871A3 (en) 2010-03-25
US20130147749A1 (en) 2013-06-13
EP2286320A4 (en) 2014-03-26
RU2010147632A (ru) 2012-05-27

Similar Documents

Publication Publication Date Title
CN102037434B (zh) 利用拖拽操作来平摇内容
CN102037436B (zh) 利用拖拽操作来访问菜单
EP2533146B1 (en) Apparatus and method for providing web browser interface using gesture in device
EP3025218B1 (en) Multi-region touchpad
EP3591509B1 (en) Split-screen display method and apparatus, and electronic device thereof
US8810535B2 (en) Electronic device and method of controlling same
CN105453023B (zh) 显示应用的方法和装置
US8650508B2 (en) Mobile terminal and operating method thereof
CN106796480B (zh) 多手指触摸板手势
CN102609184A (zh) 在触摸屏终端中提供鼠标右击功能的方法和装置
CN105630327B (zh) 便携式电子设备和控制可选元素的显示的方法
KR102199356B1 (ko) 멀티-터치 디스플레이 패널 및 이를 제어하는 방법
EP2708997B1 (en) Display device, user interface method, and program
KR20130052749A (ko) 터치 기반 사용자 인터페이스 장치 및 방법
US20130012319A1 (en) Mechanism for facilitating hybrid control panels within gaming systems
CN102622170A (zh) 电子装置及其控制方法
CN105210023A (zh) 装置及相关方法
WO2014034369A1 (ja) 表示制御装置、シンクライアントシステム、表示制御方法および記録媒体
US20190302952A1 (en) Mobile device, computer input system and computer readable storage medium
US11119652B1 (en) Using a stylus to modify display layout of touchscreen displays
KR102157078B1 (ko) 휴대 단말기에서 전자문서 작성 방법 및 장치
TWI543029B (zh) 用於利用拖曳操作平移內容的電腦可讀取硬體裝置、系統及方法
US20130293483A1 (en) Selectable object display method and apparatus
EP2584441A1 (en) Electronic device and method of controlling same
EP2660698A9 (en) Selectable object display method and apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150506

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150506

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140129

Termination date: 20210423

CF01 Termination of patent right due to non-payment of annual fee