CN102725711B - 边缘手势 - Google Patents
边缘手势 Download PDFInfo
- Publication number
- CN102725711B CN102725711B CN201180007100.1A CN201180007100A CN102725711B CN 102725711 B CN102725711 B CN 102725711B CN 201180007100 A CN201180007100 A CN 201180007100A CN 102725711 B CN102725711 B CN 102725711B
- Authority
- CN
- China
- Prior art keywords
- input
- gesture
- identified
- image
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
描述了涉及手势和其他功能的技术。在一个或多个实现中,各技术描述了可用于向计算设备提供输入的手势。构想了各种不同的手势,包括双模手势(例如,使用一种以上类型的输入)和单模手势。另外,手势技术可被配置成利用这些不同的输入类型来增加可用于发起计算设备的操作的手势的数量。
Description
背景技术
可从计算设备获得的功能的数量正在不断增加,如来自移动设备、游戏控制台、电视机、机顶盒、个人计算机等等。然而,曾经用于与计算设备交互的传统技术随着功能数量的增加而变得更低效。
例如,在菜单中包括附加功能可向菜单添加附加级别以及每一级别处的附加选择。因此,在菜单中添加这些功能可能会纯粹由于大量的功能选择而使用户受挫折,且因此导致对附加功能以及采用各功能的设备本身的减少的利用。由此,曾经用于访问功能的传统技术可能会限制各功能对于计算设备的用户的有用性。
发明内容
描述了涉及手势和其他功能的技术。在一个或多个实现中,各技术描述了可用于向计算设备提供输入的手势。构想了各种不同的手势,包括双模手势(例如,使用一种以上类型的输入)和单模手势。另外,手势技术可被配置成利用这些不同的输入类型来增加可用于发起计算设备的操作的手势的数量。
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
参考附图来描述具体实施方式。在附图中,附图标记中最左边的数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。
图1是在一示例实现中的可用于采用手势技术的环境的图示。
图2示出了示例系统200,其示出图1的手势模块104和双模输入模块114被实现为使用于多个设备通过中央计算设备互联的环境。
图3是一示例实现的图示,其中图1的复制手势的各阶段被示为通过与计算设备的交互来输入。
图4是描绘根据一个或多个实施例的复制手势的示例实现中的过程的流程图。
图5是一示例实现的图示,其中图1的图钉手势的各阶段被示为通过与计算设备的交互来输入。
图6是描绘根据一个或多个实施例的图钉手势的示例实现中的过程的流程图。
图7是一示例实现的图示,其中图1的裁剪手势的各阶段被示为通过与计算设备的交互来输入。
图8是描绘根据一个或多个实施例的裁剪手势的示例实现中的过程的流程图。
图9是一示例实现的图示,其中图1的打孔手势的各阶段被示为通过与计算设备的交互来输入。
图10是描绘根据一个或多个实施例的打孔手势的示例实现中的过程的流程图。
图11是一示例实现的图示,其中图1的裁剪手势和打孔手势的组合被示为结合计算设备来输入。
图12是一示例实现的图示,其中图1的撕裂手势的各阶段被示为通过与计算设备的交互来输入。
图13是描绘根据一个或多个实施例的撕裂手势的示例实现中的过程的流程图。
图14是一示例实现的图示,其中图1的边缘手势的各阶段被示为通过与计算设备的交互以便画线来输入。
图15是描绘根据一个或多个实施例的边缘手势的示例实现中的过程的流程图。
图16是描绘根据一个或多个实施例的边缘手势的示例实现中的过程的流程图。
图17是一示例实现的图示,其中图1的边缘手势的各阶段被示为通过与计算设备的交互以便沿着线裁剪来输入。
图18是描绘根据一个或多个实施例的执行裁剪的边缘手势的示例实现中的过程的流程图。
图19是一示例实现的图示,其中图1的盖印手势的各阶段被示为结合计算设备来输入。
图20是描绘根据一个或多个实施例的盖印手势的示例实现中的过程的流程图。
图21是一示例实现的图示,其中图1的画笔手势的各阶段被示为通过与计算设备的交互来输入。
图22是描绘根据一个或多个实施例的画笔手势的示例实现中的过程的流程图。
图23是一示例实现的图示,其中图1的复写手势的各阶段被示为通过与计算设备的交互来输入。
图24是一示例实现的图示,其中图1的复写手势的各阶段被示为结合计算设备来输入。
图25是描绘根据一个或多个实施例的复写手势的示例实现中的过程的流程图。
图26是一示例实现的图示,其中图1的填充手势的各阶段被示为结合计算设备来输入。
图27是描绘根据一个或多个实施例的填充手势的示例实现中的过程的流程图。
图28是一示例实现的图示,其中图1的交叉引用手势的各阶段被示为结合计算设备来输入。
图29是一示例实现的图示,其中示出了一手势的各阶段来使用图28的填充手势访问与图像相关联的元数据。
图30是描绘根据一个或多个实施例的图1的交叉引用手势的示例实现中的过程的流程图。
图31是一示例实现的图示,其中图1的链接手势的各阶段被示为结合计算设备来输入。
图32是描绘根据一个或多个实施例的链接手势的示例实现中的过程的流程图。
图33是一示例实现的图示,其中图1的链接手势的各阶段被示为结合计算设备来输入。
图34是描绘根据一个或多个实施例的链接手势的示例实现中的过程的流程图。
图35描绘了示出用于上下文空间复用的技术的示例实现。
图36是描绘一示例实现中的过程的流程图,其中使用关于输入是指示笔还是触摸输入的标识来标识要结合用户界面执行的操作。
图37是描绘一示例实现中的另一过程的流程图,其中使用关于输入是指示笔还是触摸输入的标识来标识要结合用户界面执行的操作。
图38示出了可被实现为参考图1-37来描述的任何类型的便携式和/或计算机设备来实现此处描述的手势技术的各实施例的示例设备的各个组件。
具体实施方式
概览
曾经用于访问计算设备的功能的常规技术在被扩展来访问数量不断增长的功能时可能变得更低效。因此,这些常规技术会导致关于附加功能的用户挫折感,并且可能导致对于具有这些附加功能的计算设备的降低的用户满意度。例如,对传统菜单的使用可能会迫使用户导航多个级别以及在每一级别处的选择来定位所需功能,这对用户来说既是耗时的又是令人沮丧的。
描述了涉及手势的技术。在以下讨论中,描述了涉及启动计算设备的功能的手势的各种不同的实现。以此方式,用户可用高效且直观的方式来容易地访问各功能,而不会遇到使用常规访问技术所涉及的复杂性。例如,在一个或多个实现中,手势涉及表示手势的双模输入,如通过使用触摸(例如,用户的手指)和指示笔(例如,诸如笔等定点输入设备)的直接手动输入。通过识别哪一输入是触摸输入而不是指示笔输入,以及哪一输入是指示笔输入而不是触摸输入,可支持各种不同的手势。对涉及以及不涉及双模输入的这一实现以及其他实现的进一步讨论可在以下各节中找到。
在以下讨论中,首先描述可用于采用此处描述的手势技术的示例环境。然后描述手势以及涉及手势的过程的示例图示,这些可以在示例环境以及在其他环境中采用。因此,该示例环境不限于执行示例手势和过程。同样,示例过程和手势不限于在示例环境中实现。
示例环境
图1是在一示例实现中的可用于采用手势技术的环境100的图示。所示环境100包括可用各种方式来配置的计算设备102的一个示例。例如,计算设备102可被配置为传统计算机(例如,台式个人计算机、膝上型计算机等)、移动站、娱乐设备、通信耦合到电视机的机顶盒、无线电话、上网本、游戏控制台等等,如关于图2进一步描述的。因而,计算设备102的范围可以是从具有充足存储器和处理器资源的全资源设备(如个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(如传统机顶盒、手持式游戏控制台)。计算设备102还可以与使得计算设备102执行一个或多个操作的软件相关。
计算设备102被示为包括手势模块104。手势模块104代表了标识手势并使得对应于手势的操作被执行的功能。手势可由手势模块104用各种不同方式来标识。例如,手势模块104可被配置成识别诸如用户的手106的手指等接近使用触摸屏功能的计算设备102的显示设备108的触摸输入。
触摸输入还可被识别为包括可用于将触摸输入与手势模块104所识别的其他触摸输入进行区分的属性(例如,移动、选择点等)。这一区分然后可用作从触摸输入中标识手势并因此标识要基于对手势的标识来执行的操作的基础。
例如,用户的手106的手指被示为选择110显示设备108所显示的图像112。对图像112的选择110和用户的手106的手指的后续移动可由手势模块104来识别。手势模块104然后可将该所识别的移动标识为指示将图像112的位置改变到显示画面中用户的手106的手指从显示设备108提起的点的“拖放”操作。由此,对描述对图像的选择的触摸输入、选择点到另一点的移动、然后提起用户的手106的手指的识别可用于标识要启动拖放操作的手势(例如,拖放手势)。
手势模块104可识别各种不同类型的手势,如从单类输入识别的手势(例如,诸如先前描述的拖放手势等触摸手势)以及涉及多种类型的输入的手势。如图1所示,例如,手势模块104被示为包括代表识别输入并标识涉及双模输入的手势的功能的双模输入模块114。
例如,计算设备102可被配置成检测并区分触摸输入(例如,由用户的手106的一个或多个手指提供)和指示笔输入(例如,由指示笔116提供)。该区分可以用各种方式来执行,如通过检测用户的手108的手指接触的显示设备108的量对比指示笔116接触的显示设备108的量。区分也可通过使用照相机从自然用户界面(NUI)中的指示笔输入(例如,将两个手指握在一起来指示一个点)中区分出触摸输入(例如,举起一个或多个手指)来执行。构想了用于区分触摸和指示笔输入的各种其他示例技术,其进一步讨论可关于图38来找到。
由此,手势模块104可通过使用双模输入模块114通过识别并利用指示笔和触摸输入之间的区分来支持各种不同手势技术。例如,双模输入模块114可被配置成将指示笔识别为书写工具,而触摸则用于操纵显示设备108所显示的对象。因此,触摸和指示笔输入的组合可用作指示各种不同手势的基础。例如,可组成触摸原语(例如,轻叩、按住、两个手指按住、抓取、画十字、捏、手或手指手势等等)以及指示笔原语(例如,轻叩、按住并拖走、拖入、画十字、划一笔)来创建直观且语义上丰富的手势的空间。应当注意,通过在指示笔和触摸输入之间进行区分,通过这些手势中的单独每一个而变得可能的手势的数量也增加。例如,尽管移动可能是相同的,但可使用触摸输入对比指示笔输入来指示不同手势(或对于类似命令的不同参数)。
因此,手势模块104可支持各种不同的双模的和其他的手势。此处所描述的手势的示例包括复制手势118、图钉手势120、裁剪手势122、打孔手势124、撕裂手势126、边缘手势128、盖印手势130、画笔手势132、复写手势134、填充手势136、交叉引用手势138以及链接手势140。这些不同手势中的每一个在以下讨论的相应的节中描述。尽管使用了不同的节,但应容易地清楚,这些手势的特征可被组合和/或分开来支持附加手势。因此,本说明书不限于这些示例。
另外,尽管以下讨论可描述触摸和指示笔输入的具体示例,但在各实例中,输入的类型可交换(例如,触摸可用于替换指示笔,反之亦然)甚至移除(例如,两种输入可使用触摸或指示笔来提供)而不背离其精神和范围。此外,尽管在以下讨论的各实例中手势被示为使用触摸屏功能来输入,但手势可以由各种不同设备使用各种不同技术来输入,其进一步讨论可以关于以下附图来找到。
图2示出了示例系统200,其示出图1的手势模块104和双模输入模块114被实现为使用于多个设备通过中央计算设备互联的环境。中央计算设备可以是多个设备本地的,或者可以位于多个设备的远程。在一个实施例中,中央计算设备是“云”服务器农场,其包括通过网络或因特网或其他手段连接到多个设备的一个或多个服务器计算机。在一个实施例中,该互联体系结构使得功能能够递送到多个设备以向多个设备的用户提供公共且无缝的体验。多个设备的每一个可具有不同的物理要求和能力,且中央计算设备使用一平台来使得为设备特制且又对所有设备公用的体验能被递送到设备。在一个实施例中,创建目标设备“类”,且对通用设备类特制体验。设备类可由设备的物理特征或用途或其他公共特性来定义。
例如,如上所述,计算设备102可采取各种不同配置,诸如用于移动202、计算机204和电视机206用途。这些配置中的每一个具有一般对应的屏幕大小,且因此计算设备102可被相应地配置到本示例系统200中的这些设备类中的一个或多个。例如,计算设备102可采取移动202设备类,该设备类包括移动电话、便携式音乐播放器、游戏设备等等。计算设备102还可采取计算机204设备类,该设备类包括个人计算机、膝上型计算机、上网本等等。电视机206配置包括涉及在休闲环境中在一般较大的屏幕上的显示的设备配置,如电视机、机顶盒、游戏控制台等等。由此,此处所描述的技术可由计算设备102的这各种配置来支持,且不限于在以下各节中所描述的具体示例。
云208被示为包括用于web服务212的平台210。平台210抽象出云208的硬件(例如,服务器)和软件资源的底层功能,且因此可用作“云操作系统”。例如,平台210可以抽象资源来将计算设备102与其他计算设备相连接。平台210还可用于抽象资源的缩放来向对经由平台210实现的web服务212的所遇到的需求提供对应的缩放级别。也构想了各种其他示例,如服务器农场中的服务器的负载平衡、针对恶意方(例如,垃圾邮件、病毒和其他恶意软件)的保护等等。由此,可支持web服务212和其他功能而不需要功能“知道”支持硬件、软件和网络资源的细节。
因此,在互联设备的实施例中,手势模块104(以及双模输入模块114)的功能的实现可分布在系统200上。例如,手势模块104可部分地在计算设备102上以及经由抽象云208的功能的平台210来实现。
此外,功能可由计算设备102来支持而不考虑配置。例如,手势模块104所支持的手势技术可使用移动202配置中的触摸屏功能、计算机204配置的跟踪垫功能来检测,在电视机206示例中作为不涉及与具体输入设备的接触的自然用户界面(NUI)的支持的一部分由照相机来检测,等等。此外,检测并识别输入来标识特定手势的操作的执行可分布在系统200上,如由计算设备102来执行和/或由云208的平台210支持的web服务212来执行。对手势模块104所支持的手势的进一步讨论可关于以下各节找到。
一般而言,在此描述的任何功能可使用软件、固件、硬件(例如,固定逻辑电路)、手动处理或这些实现的组合来实现。本文使用的术语“模块”、“功能”和“逻辑”一般表示软件、固件、硬件或其组合。在软件实现的情况下,模块、功能或逻辑表示当在处理器(例如,一个或多个CPU)上执行时执行指定任务的程序代码。程序代码可被储存在一个或多个计算机可读存储器设备中。以下描述的手势技术的各特征是平台无关的,从而意味着这些技术可在具有各种处理器的各种商用计算平台上实现。
复制手势
图3是一示例实现的图示,其中图1的复制手势118的各阶段被示为通过与计算设备102的交互来输入。复制手势118在图3中使用第一阶段302、第二阶段304和第三阶段306来示出。在第一阶段302,由计算设备102的显示设备108显示图像308。图像308被进一步示为使用用户的手106的手指来选择310。例如,用户的手106的手指可被放置并保持在图像308的边界内。该触摸输入因此可由计算设备102的手势模块104识别为选择图像308的触摸输入。尽管描述了用用户手指的选择,但也构想了其他触摸输入而不脱离其精神和范围。
在第二阶段304,仍使用用户的手106的手指来选择图像308,但在其他实施例中,即使在用户的手106的手指提离图像308之后,图像308仍可保持在选中状态。在选择图像308时,使用指示笔116来提供指示笔输入,该指示笔输入包括指示笔在图像308的边界内的放置以及到图像308的边界外部的指示笔的后续移动。该移动在第二阶段304中使用假象线和指示指示笔116与图像308的初始交互点的圆圈来示出。响应于触摸和指示笔输入,计算设备102(通过手势模块104)使得图像308的副本312被显示设备108显示。本例中的副本312跟随与图像308的初始交互点处的指示笔116的移动。换言之,指示笔116与图像308的初始交互点被用作用于操纵副本312使得副本312跟随指示笔的移动的持续点。在一个实现中,一旦指示笔116的移动穿过了图像308的边界,就显示图像308的副本312,但也构想了其他实现,如经过阈值距离的移动、将触摸和指示笔输入识别为指示复制手势118、等等。例如,如果图像的边界边缘位于离指示笔的起始点的最大允许笔画距离之外,则穿过这一最大允许笔画距离可改为触发复制手势的发起。在另一示例中,如果图像的边界边缘比最小允许笔画距离更接近,则指示笔超过最小允许笔画距离的移动同样替换穿过图像边界本身。在又一示例中,可采用移动速度而非距离阈值,例如,对于复制手势将“快速”移动笔,而对于复写手势缓慢移动笔。在再一示例中,可采用在发起移动时的压力,例如,对于复制手势相对“重”地按压笔。
在第三阶段306,指示笔116被示为移得离图像308更远。在所示实现中,副本312移动得更远,副本312的不透明度增加,其一个示例可通过使用灰度级示出的第二阶段304和第三阶段306的比较来注意到。一旦指示笔116从显示设备108移除,则副本312在显示设备108上的位置处被显示为完全不透明,例如,是图像308的“真正副本”。在一个实现中,可通过在例如使用用户的手106的手指选择图像308时重复指示笔116移动来创建另一副本。例如,如果用户的手106的手指保持在图像308上(从而选择图像),则从图像308的边界内到该边界外的指示笔的每一后续移动可导致图像308的另一副本被创建。在一个实现中,直到副本变得完全不透明时该副本才被认为是被完全实现。即,在图像保持半透明时提起指示笔(或将指示笔移回到小于副本创建阈值的距离)在本实现中可取消复制操作。
如上所述,尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行复制手势118,该手势可单独使用触摸或指示笔输入来执行,或者可按住物理键盘、鼠标或面板按钮来代替继续显示设备上的触摸输入,等等。在某些实施例中,完全或部分地与先前选择的图像重叠、在其附近或以其他方式与其相关联的墨水注释或其他对象也可被认为是该“图像”的一部分并且也被复制。
图4是描绘根据一个或多个实施例的复制手势118的示例实现中的过程400的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图3的示例实现300。
将第一输入识别为选择由显示设备显示的对象(框402)。例如,使用用户的手106的手指提供的触摸输入可被手势模块104识别为选择计算设备102的显示设备108显示的图像308。
将第二输入识别为从对象的边界内到该对象的边界外的移动,该移动被识别为在对象被选中时发生(框404)。继续前一示例,可使用指示笔116来提供描述从图像308内的点到图像308的边界外的移动的输入,如图3的第二阶段304中所示。因此,手势模块104可从使用显示设备108的触摸屏功能检测的指示笔输入中识别这一移动。在一个实现中,第一和第二输入是使用计算设备102同时输入并检测的。
从所识别的第一和第二输入中标识复制手势,该复制手势可用于使得对象的副本的显示跟随第二输入的源的后续移动(框406)。通过识别第一和第二输入,手势模块104可标识要使用这些输入来指示的对应的复制手势118。作为响应,手势模块104可使得图像308的副本312被显示设备108显示并跟随指示笔116在显示设备108上的后续移动。以此方式,图像308的副本312可用直观的方式来创建和移动。额外的副本也可使用这些技术来制作。
例如,将第三输入识别为从对象的边界内到该对象的边界外的移动,该移动被识别为在对象被第一输入选中时发生(框408)。由此,在该示例中,对象(例如,图像308)仍使用用户的手106的手指(或其他触摸输入)来选择。然后可接收涉及从图像308内到图像308的边界外的移动的另一指示笔输入。因此,从所识别的第一和第三输入中标识第二复制手势,该复制手势可用于使得对象的第二副本的显示跟随第三输入的源的后续移动(框410)。
继续前一示例,第二副本可跟随指示笔116的后续移动。尽管所描述的该示例继续使用用户的手指106来选择图像308,但该选择甚至在对象的选择未使用该源(例如,用户的手的手指)继续时也可以继续。例如,图像308可被置于“选中状态”,使得不需要用户的手106的手指的继续接触来保持图像308被选中。再一次,应当注意,尽管以上在使用触摸和指示笔输入的复制手势118中描述了一具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。
图钉手势
图5是一示例实现500的图示,其中图1的图钉手势120的各阶段被示为结合计算设备102来输入。图钉手势120在图5中使用第一阶段502、第二阶段504和第三阶段506来示出。在第一阶段502,计算设备102的显示设备108显示第一图像508、第二图像510、第三图像512和第四图像514。用户的手被假象地示为使用触摸输入,如通过使用用户的手“轻叩”图像,来选择第一图像508和第二图像510。
在第二阶段504,第一图像508和第二图像510通过使用环绕图像的假象边框被示为处于选中状态,但也可采用其他技术。用户的手106的手指在第二阶段504中被进一步示为保持第四图像514,如通过将用户的手106的手指放在第四图像514的附近并保持在那里例如至少预定量的时间。
尽管第四图像514被用户的手106的手指保持,但可使用指示笔115在第四图像514的边界内“轻叩”。因此,手势模块104(和双模输入模块114)可从这些输入中标识图钉手势120,例如,选择第一图像508和第二图像510,保持第四图像514,以及使用指示笔116轻叩第四图像514。
响应于对图钉手势120的标识,手势模块104可将第一图像508、第二图像510和第四图像514排列成经整理的显示。例如,第一图像508和第二图像510可按照由显示设备108选择为在被保持的对象(例如,第四图像514)下方的次序来显示。另外,可显示指示516来指示第一图像508、第二图像510和第四图像514被钉在一起。在一个实施例中,指示516可通过保持第四图像514并将指示笔116划过该指示来“移除图钉”来移除。
可重复该手势来向经整理的显示添加附加项目,例如,在第四图像514被保持时选择第三图像512然后使用指示笔116轻叩第四图像514。在另一示例中,可通过使用图钉手势120整理已经钉住的材料的集合来形成书。此外,经整理的对象集合可作为一个组来操纵,如调整大小、移动、旋转等,其进一步讨论可关于以下附图找到。在已经钉住的堆的顶上执行图钉手势可将该堆在已整理和未整理状态之间切换(手势模块104记住整理的项目之间的原始相对空间关系),可向堆添加封套或装订(封面),等等。
如上所述,尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行图钉手势120,该手势可单独使用触摸或指示笔输入来执行,等等。
图6是描绘根据一个或多个实施例的图钉手势的示例实现中的过程600的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图5的示例实现500。
将第一输入识别为选择由显示设备显示的第一对象(框602)。该第一对象可以用各种方式来选择。例如,可用用户的手106的手指、指示笔116、使用光标控制设备等来轻叩第一图像508。
将第二输入识别为在第一输入之后提供并且保持显示设备显示的第二对象(框604)。还将第三输入识别为在保持第二对象期间轻叩第二对象(框606)。继续前一示例,用户的手106的手指可放置并保持在第四图像514的边界内,同时在第四图像514的边界内轻叩指示笔116。另外,这些输入可以在选择了第一图像508之后例如使用触摸输入来接收。
从第一、第二和第三输入中标识图钉手势,该图钉手势可用于使得第一对象被显示为在第二对象下方(框608)。手势模块104可从第一、第二和第三输入中标识图钉手势120。响应于该标识,手势模块104可使得第一输入所选择的一个或多个对象被排列在如第二输入所描述的那样保持的对象下方。该情况的一个示例在图5的系统500的第三阶段506中示出。在一个实现中,经由第一输入选择的一个或多个对象按照对应于选择该一个或多个对象的次序的次序被排列在第二输入的下方。换言之,选择该一个或多个对象的次序被用作在经整理的显示中排列对象的基础。被钉在一起的对象的经整理的显示可以用各种方式来被充分利用。
例如,将第四输入识别为涉及对经整理的显示的选择(框610)。从该第四输入中标识可用于改变经整理的显示的外观的手势(框612)。例如,该手势可涉及调整经整理的显示的大小,移动经整理的显示,旋转经整理的显示,最小化经整理的显示,等等。由此,用户可将该组钉住的对象作为一个组以高效且直观的方式来操纵。
也可重复图钉手势来向一组钉住的对象的经整理的显示添加额外对象,进一步整理已经整理的对象的组,等等。例如,标识可用于引起第三对象在第四对象下方的经整理的显示的第二图钉手势(框614)。然后标识可用于引起第一、第二、第三和第四对象的经整理的显示的第三图钉手势(框616)。以此方式,用户可以通过重复图钉手势120来形成对象的“书”。再一次,应当注意,尽管以上使用触摸和指示笔输入关于图钉手势120描述了一具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。
裁剪手势
图7是一示例实现700的图示,其中图1的裁剪手势122的各阶段被示为通过与计算设备102的交互来输入。裁剪手势122在图7中使用第一阶段702、第二阶段704和第三阶段706来示出。在第一阶段702,由计算设备102的显示设备108显示图像708。在第一阶段702中,用户的手106的手指被示为选择图像708。
在第二阶段704中,接收指示笔输入,该指示笔输入描述指示笔116在图像708被选中时至少两次跨过图像708的一个或多个边界的移动710。该移动708在第二阶段704中通过使用在图像708外开始、穿过图像708的第一边界、继续穿过图像708的至少一部分、并穿过图像708的另一边界、从而离开图像708的界限的虚线来示出。
响应于这些输入(例如,选择图像708的触摸输入和定义移动的指示笔输入),手势模块104可以标识裁剪手势122。因此,如第三阶段706中所示,手势模块104可以使得图像708根据指示笔116的所指示的移动710被显示在至少两个部分712、714中。在一个实现中,这些部分由手势模块104在显示画面中略微移位以便更好地指示出裁剪。尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行裁剪手势122,该手势可单独使用触摸或指示笔输入来执行,等等。
图8是描绘根据一个或多个实施例的裁剪手势的示例实现中的过程800的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图7的示例实现700。
将第一输入识别为选择由显示设备显示的对象(框802)。例如,可用用户的手106的手指、指示笔116、使用光标控制设备等来轻叩图像708。在所示实现中,用户的手106的手指被示为选择图像708。
将第二输入识别为至少两次跨过对象的一个或多个边界的移动,该移动被识别为在对象被选中时发生(框804)。该移动可按各种方式来输入。例如,移动710可涉及指示笔116至少两次跨过图像708的边界(例如,边缘)的、与计算设备102的显示设备108的不间断的接触。另外,尽管移动710被示为在图像708“外”开始,但在本例中,该移动也可以在图像708的边界内开始,然后跨过至少两个边界来指示裁剪。此外,指示笔移动也可包括共同跨过边界的多个笔画(例如,重叠)。以此方式所画出的多个笔画可被模块识别为在一起,因为图像的保持(例如,触摸输入)清楚地指示这些笔画属于一起。为实现这一点,第一(部分)笔画可将选择置于特殊状态,使得在不调用其他手势(例如,复制手势)的情况下允许另外的笔画,直到完成了多个笔画输入的“阶段”。
从所识别的第一和第二输入中标识裁剪手势,该裁剪手势可用于使得对象被显示为沿着第二输入跨过对象的显示的移动的裁剪(框806)。在计算设备102标识了裁剪手势122之后,例如,手势模块104可使得图像106的一个或多个部分表现为从初始位置移开并具有至少部分地对应于指示笔116的移动710的边界。此外,笔的笔画的初始和最终位置(在图像边界外)最初可被手势模块104看作普通“墨水”笔画,但是在裁剪操作期间或之后,这些墨水轨迹可从显示设备移除以便不会因执行裁剪手势而留下记号。
应当认识到,对对象(例如,图像708)的边界每一次后续跨过可被标识为另一裁剪手势。因此,对图像708的边界的每一对跨过可被手势模块104标识为裁剪。以此方式,在图像708被选中时,例如当用户的手106的手指仍放在图像708内时,可执行多个裁剪。再一次,应当注意,尽管以上在使用触摸和指示笔输入的裁剪手势122中描述了一具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。
打孔手势
图9是一示例实现900的图示,其中图1的打孔手势124的各阶段被示为通过与计算设备102的交互来输入。打孔手势124在图9中使用第一阶段902、第二阶段904和第三阶段906来示出。在第一阶段902,图像908被示为使用用户的手106的手指来选择,但如上所述也构想其他实现。
在图像908被选中(例如,处于选中状态)时,接收近似于图像908内的自相交移动910的第二输入。例如,移动910在第二阶段904中被示为使用指示笔116来输入。所示示例中描述移动910的指示笔输入详细描述了通过在图像908上使用虚线来示出的椭圆。在一个实现中,手势模块104可提供这一显示(例如,在完成自相交移动期间或在完成之后)来用作对用户的视觉提示。另外,手势模块104可使用一阈值来标识该移动何时充分接近来近似于自相交移动。在一个实现中,手势模块104包含了移动的阈值大小,例如用于诸如在像素级将打孔限制在阈值大小之下。
在第二阶段904,手势模块104识别移动910是自相交的。在图像908仍被选中(例如,用户的手106的手指保留在图像908内)时,接收涉及在自相交移动910内轻叩的另一输入。例如,用于详细描述自相交移动910的指示笔116然后可用于在自相交移动内轻叩,例如,如第二阶段904中所示的虚线椭圆。从这些输入中,手势模块104可标识打孔手势124。在另一实现中,该轻叩可以在所近似的自相交移动“外”执行以便移除图像的该部分。由此,“轻叩”可用于指示图像的哪一部分要被保留以及哪一部分要被移除。
因此,如第三阶段906中所示,图像908的在自相交移动910中的一部分从图像908中打孔(例如,移除),从而在图像908中留下了洞912。在所示实现中,图像908的被打孔的部分不再被显示设备108显示,但也构想了其他实现。例如,被打孔的部分可被最小化并显示在图像908中的洞912中,可被显示在图像908附近,等等。在图像仍被保持(选中)时的后续轻叩可产生具有与第一次打孔相同形状的额外的打孔——由此该操作可定义一纸孔形状,且用户然后可重复应用该形状来在图像、其他图像、背景中的画布等中打出额外的洞。
如上所述,尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行打孔手势124,该手势可单独使用触摸或指示笔输入来执行,等等。
图10是描绘根据一个或多个实施例的打孔手势的示例实现中的过程1000的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图9的示例实现900。
将第一输入识别为选择由显示设备显示的对象(框1002)。例如,可用用户的手106的手指、指示笔116、通过使用光标控制设备等来轻叩图像708。
将第二输入识别为对象内的自相交移动(框1004)。例如,该自相交移动可以作为穿过自身的连续移动来输入。构想了各种形状和大小的自相交移动,且因此该移动不限于图9所示的示例移动910。在一个实现中,该第二输入还包括在先前关于图9所描述的移动所定义的区域内轻叩。然而,还构想了其他实现,例如,自相交移动910内的部分可以在不轻叩指示笔116的情况下“脱离”。
从所识别的第一和第二输入中标识打孔手势,该打孔手势可用于使得对象被显示为如同该自相交移动导致了对象中的洞一样(框1006)。继续前一示例,洞912可由手势模块104在标识了打孔手势124之后显示。再一次,应当注意,尽管描述了其中打孔手势124是使用触摸和指示笔输入来输入的具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。另外,先前描述的手势的功能可被组合到单个手势中,其一个示例在以下附图中示出。
图11是一示例实现1100的图示,其中图1的裁剪手势122和打孔手势124的组合被示为结合计算设备102来输入。裁剪手势122和打孔手势124通过使用第一阶段1102和第二阶段1104来示出。在第一阶段1102中,将图像1106示为使用用户的手106的手指被选中。指示笔116的移动1108也如上所述通过使用虚线来示出。然而,在这一情况下,移动1108穿过图像1106的两条边界,且在图像1106内自相交。
在第二阶段1104,沿着指示笔116的所描述的移动1108来裁剪图像1106。如同裁剪手势122一样,部分1110、1112、1114被略微位移来示出图像1106“在哪里”被裁剪。另外,移动1118的一部分被标识为自相交,且因此从图像1106中“打孔”掉。然而,在这一情况下,被打孔掉的部分1110被显示在图像1106的其他部分1112、1114附近。应当容易地明白,这仅是手势的组成的各种不同示例中的一个,且构想了此处所描述的手势的各种不同组合而不脱离其精神和范围。
撕裂手势
图12是一示例实现1200的图示,其中图1的撕裂手势126的各阶段被示为通过与计算设备102的交互来输入。撕裂手势126在图12中使用第一阶段1202和第二阶段1204来示出。在第一阶段1202,由计算设备102的显示设备108显示图像1206。用户的手106的第一个和第二个手指以及用户的另一个手1208的第一个和第二个手指被示为选择图像1206。例如,用户的手106的第一和第二个手指可用于指示第一点1210,而用户的另一个手1208的第一和第二个手指可用于指示第二点1212。
移动由手势模块104来识别,其中第一和第二输入可彼此移开。在所示实现中,该移动1214、1216描述了非常像可用于撕裂物理纸张的运动的弧。因此,手势模块104可从这些输入中标识撕裂手势126。
第二阶段1204示出了撕裂手势126的结果。在该示例中,图像1206被撕裂以形成第一部分1218和第二部分1220。另外,在图像的第一部分1210和第二部分1212之间形成裂缝1222,该裂缝一般垂直于所描述的用户的手106、1208的手指远离彼此的移动。在所示示例中,裂缝1222被显示为具有锯齿形边缘,其不同于裁剪手势122的干净边缘,但在其他实现中也构想了干净边缘,例如沿着显示设备108显示的图像中的穿孔线撕裂。如上所述,尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行撕裂手势126,该手势可单独使用触摸或指示笔输入来执行,等等。
图13是描绘根据一个或多个实施例的撕裂手势126的示例实现中的的过程1300的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图12的示例实现1200。
将第一输入识别为选择由显示设备显示的对象的第一点(框1302)。将第二输入识别为选择该对象的第二点(框1304)。例如,用户的手106的手指可选择第一点1210,而来自用户的另一个手1208的手指可选择图像1206的第二点。
识别第一和第二输入的移动为彼此移开(1306)。例如,该移动可包含指示第一和第二输入(且因此第一和第二输入的源)正在移开和/或已经移开的矢量分量。因此,从所识别的第一和第二输入中标识撕裂手势,该撕裂手势可用于使得对象被显示为好像在第一和第二点之间撕裂(框1308)。如图12所示,例如,撕裂1222可形成于第一点1210和第二点1212之间的大致中点处,并且垂直于连接第一点1210和第二点1212的直线(如果如此画的话)而延伸。再一次,应当注意,尽管描述了其中撕裂手势126使用触摸输入的具体示例,但这些输入可被切换到触摸笔输入,可使用多个输入类型(例如,触摸和指示笔),等等。
边缘手势
图14是一示例实现1400的图示,其中图1的边缘手势128的各阶段被示为结合计算设备102来输入以便画线。边缘手势128在图14中使用第一阶段1402、第二阶段1404和第三阶段1406来示出。在第一阶段1402,使用两个接触点来选择图像1408。例如,用户的手106的第一和第二个手指可用于选择图像1408,但也构想了其他示例。通过使用两个接触点而不是一个,手势模块104可在数量增加的手势之间进行区分,但可以容易地明白,本例中也构想了单个接触点。
在第二阶段1404中,使用来自用户的手106的两个接触点来将图像1408从第一阶段1402中的初始位置移动并旋转到第二阶段1404中所示的新位置。指示笔116也被示为移向图像1408的边缘1410附近。因此,手势模块104从这些输入中标识边缘手势128,并使得线1412被显示,如第三阶段1406中所示。
在所示示例中,当发生指示笔116的移动时,线1412被显示为在图像1408的边缘1410所在之处附近。由此,在本例中,图像1408的边缘1410用作直边缘来画出对应的笔直的线1412。在一个实现中,即使在行进越过图像1408的角时,线1412也可以继续跟随边缘1410。以此方式,线1412可被画为具有大于边缘1410的长度的长度。
另外,对边缘手势128的标识可导致线被画到哪里的指示1414的输出,其一个示例在第二阶段1404中示出。例如,手势模块104可输出指示1414,以便给予用户相对于边缘1410线1412要被画到哪里的概念。以此方式,用户可调整图像1408的位置以便进一步细化线要被画到哪里,而不实际画线1412。也可以设想各种其他示例而不背离其精神和范围。
在一个实现中,取决于在线1412下方要显示什么,即线要被画在什么上面,线1412具有不同的特性。例如,线1412可被配置成在被画在用户界面的背景上时显示,而在被画在另一图像上时不显示。另外,图像1408在被用作边缘手势128的一部分时可被显示为部分透明,使得用户可以查看在图像1408下方是什么,且因此更好地知道其中要画线1412的上下文。此外,尽管边缘1410在本例中被示为是笔直的,但是,接着根据先前的示例手势裁剪的、撕裂的、或打孔掉的边缘,边缘可采用各种配置,例如曲线板、圆、椭圆、波浪等等。例如,用户可从各种预配置的边缘中进行选择来执行边缘手势128(如从菜单、显示在显示设备108的侧边区域中的模板等等中选择)。因此,在这些配置中,被画在边缘附近的线可跟随边缘的曲线和其他特征。
如上所述,尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行边缘手势128,该手势可单独使用触摸或指示笔输入来执行,等等。例如,在使用触摸输入来支持手指绘图或颜色涂抹的某些实施例中,这些触摸输入也与由此形成的边缘一致。诸如喷漆器等其他工具也可被扣合到边缘,以便产生沿着约束线的硬边缘以及底层表面上的软边缘。
图15是描绘根据一个或多个实施例的边缘手势128的示例实现中的过程1500的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图14的示例实现1400。
将第一输入识别为选择由显示设备显示的对象(框1502)。如上所述,第一输入可被识别为涉及例如图像1408等对象的显示上的两个接触点的触摸输入。尽管被称为“接触点”,但应当容易明白,并不需要实际接触,例如,接触点可使用自然用户界面(NUI)“在空中”表示并使用照相机来检测。因此,接触点可以指指示接触的意图的指示,而不限于实际接触本身。
将第二输入识别为沿对象边缘的移动,该移动被识别为在对象被选中时发生(框1504)。继续前一示例,可将输入的指示笔输入识别为使用指示笔116在图像1408的所显示的边缘1410附近输入并跟随该边缘。
从所识别的第一和第二输入中识别手势,该手势可用于使得线被示为画在边缘附近且跟随第二输入所描述的移动(框1506)。手势模块104可从这些输入中识别边缘手势128。边缘手势128可用于使得对应于所识别的移动以及跟随指示笔116的后续移动的线被显示。如上所述,使用边缘手势128来画的线并不限于直线,而是相反可以遵循任何所需边缘形状而不脱离其精神和范围。同样,可沿着所选对象的相同或不同的边画出多个笔画。
图16是描绘根据一个或多个实施例的边缘手势128的示例实现中的过程1600的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图14的示例实现1400。
将第一输入识别为使用多个触摸输入来选择由显示设备显示的对象(框1602)。如关于图14所述,第一输入可被识别为涉及例如图像1408等对象的显示上的两个接触点的触摸输入。
将第二输入识别为沿对象边缘的指示笔移动,该移动被识别为在对象被选中时发生(框1604)。在本例中,输入是被识别为使用指示笔116在图像1408的所显示的边缘1410附近且跟随该边缘而输入的一类指示笔输入。
从所识别的第一和第二输入中标识手势,该手势可用于使得对象的边缘用作模板,从而如指示笔输入所指示的那样画在边缘附近的线被显示为跟随该对象的边缘(框1606)。由此,在本例中,对象(例如,图像1408)的边缘用作响应于对边缘手势128的标识而引起线的显示的向导。
图17是一示例实现1700的图示,其中图1的边缘手势128的各阶段被示为结合计算设备102来输入以便沿着线裁剪。边缘手势128在图17中使用第一阶段1702、第二阶段1704和第三阶段1706来示出。在第一阶段1702,使用两个接触点来选择第一图像1708。例如,用户的手106的第一和第二个手指可用于选择图像1708,但也构想了其他示例。
在第二阶段1704中,使用来自用户的手106的两个接触点来将图像1708从第一阶段1702中的初始位置移动到第二阶段1704中所示的新位置,如定位在第二图像1710“上”。另外,第一图像1708被示为部分透明(例如,使用灰度),使得被定位在第一图像1708下方的第二图像1710的至少一部分可被查看。以此方式,用户可调整图像1708的位置来进一步细化裁剪要发生在哪里。
指示笔116被示为在第一图像1708的边缘1712附近沿着“裁剪线”的指示1712移动。因此,手势模块104从这些输入中标识边缘手势128,其结果在第三阶段1706中示出。在一个实现中,要裁剪的对象也(例如,经由轻叩)被选中来指示要裁剪什么。对边缘和裁剪/绘画对象的选择可以用任何次序来执行。
如第三阶段1706中所示,第一图像1708例如使用拖放手势将该图像1708移回到前一位置而从第二图像1710移开。另外,第二图像1710被显示为沿着在第二阶段1704中定位第一图像1708的边缘之处,即沿着指示1712,被裁剪成第一部分1714和第二部分1716。由此,在本例中,第一图像1708的边缘可被用作模板来执行裁剪,而非如上对于裁剪手势122所描述的那样执行“手画线”裁剪。
在一个实现中,由边缘手势128执行的裁剪取决于要在哪里执行裁剪而具有不同的特性。例如,裁剪可用于裁剪显示在用户界面中的对象而不裁剪用户界面的背景。另外,尽管边缘在本例中被示为是直的,但边缘可采取各种配置,例如,曲线板、圆、椭圆、波浪等等。例如,用户可从各种预配置的边缘中进行选择来使用边缘手势128执行裁剪(如从菜单、显示在显示设备108的侧边区域中的模板等等中选择)。因此,在这些配置中,裁剪可跟随对应边缘的曲线和其他特征。同样,可以用手指来执行撕开手势来创建遵循模板的撕开边缘。
如上所述,尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行边缘手势128,该手势可单独使用触摸或指示笔输入来执行,等等。
图18是描绘根据一个或多个实施例的执行裁剪的边缘手势128的示例实现中的过程1800的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图17的示例实现1700。
将第一输入识别为选择由显示设备显示的对象(框1802)。将第二输入识别为沿对象边缘的移动,该移动被识别为在对象被选中时发生(框1804)。如前一样,指示笔输入可被识别为在图像1708例如使用用户的手106的一个或多个手指被选中时使用指示笔116在图像1708的所显示的边缘附近并跟随该边缘输入。
从所识别的第一和第二输入中识别手势,该手势可用于使得裁剪被显示为在边缘附近且跟随第二输入所描述的移动(框1806)。手势模块104可从这些输入中识别边缘手势128。边缘手势128可用于使得对应于所识别的移动以及跟随指示笔116的后续移动的裁剪被显示。例如,图像1710的部分1714、1716可被显示为被略微位移来示出裁剪发生“在哪里”。如上所述,裁剪不限于直线,而是相反可以遵循任何所需边缘形状而不脱离其精神和范围。
再一次,应当注意,尽管描述了其中使用触摸和指示笔输入来输入边缘手势128的图14-18的具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。
盖印手势
图19是一示例实现1900的图示,其中图1的盖印手势130的各阶段被示为结合计算设备102来输入。盖印手势130在图19中使用第一阶段1902、第二阶段1904和第三阶段1906来示出。在第一阶段1902,使用用户的手106的手指来选择图像1908,但也构想了其他实现,例如如上所述的使用多个接触点、光标控制设备等来选择。
在第二阶段1904中,使用指示笔116来指示计算设备102的显示设备108所显示的用户界面中的第一位置1910和第二位置1912。例如,指示笔116可用于在这些位置“轻叩”显示设备108。在本例中,第一位置1910和第二位置1912位于图像1908的边界“外”。然而,应当容易明白,构想了其他示例。例如,一旦第一位置落在图像边界外,则可建立“盖印阶段”,且因此后续的轻叩可落在图像边界内且引入关于例如图钉手势等其他手势的歧义。
响应于这些输入,手势模块104标识盖印手势130,且使得第一副本1914和第二副本1916分别被显示在第一位置1910和第二位置1912处。在一个实现中,显示图像1908的第一副本1914和第二副本1916以给出该图像1908是类似于橡皮图章来使用以便将副本1914、1916盖印到用户界面的背景上的外观。可使用各种技术来给出橡皮图章外观,如粒度、使用一个或多个颜色等等。此外,可使用指示笔轻叩压力和指示笔倾斜角(方位角、高度和转动,只要可用)来对所得的墨水压印加权,确定印记的图像方向,确定喷涂或模糊效果的方向,在所得图像中引入浅到深墨水的渐变,等等。同样,对于触摸输入,也可以有触摸输入的接触面积和方向的相应属性。另外,可使用连续的盖印手势130来响应于在图像1908的边界外执行的连续轻叩创建图像1908的逐渐更淡的副本,任选地下至一最小淡浅度阈值。其一个示例被示为在第二阶段1904中通过使用灰度级,图像1908的第二副本1916被显示为比图像1908的第一副本1914更淡。也构想了其他淡化技术,如使用对比度、明度等等。用户还可通过在盖印阶段期间采用色彩拾取器、色彩图标、效果图标等来“刷新墨水”或改变由印记产生的色彩或效果。
在第三阶段1906中,图像1908被显示为与第一阶段1902和第二阶段1904中的图像1908相比被旋转。因此,在该示例中,第三盖印手势130使得第三副本1918被显示为具有匹配图像1908的方向(例如,旋转后)的方向。也构想了各种其他示例,如操纵图像1908的副本1914-1918的大小、色彩、纹理、视角等。如上所述,尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行盖印手势130(例如,图像1908可使用指示笔116来保持,且使用触摸输入来指示在哪里进行盖印的位置),手势可单独使用触摸或指示笔输入来执行,等等。
图20是描绘根据一个或多个实施例的盖印手势130的示例实现中的过程2000的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图19的系统1900。
将第一输入识别为选择由显示设备显示的对象(框2002)。例如,可用用户的手106的一个或多个手指、指示笔116、使用光标控制设备等来选择图像1908。因此,第一输入描述了这一选择。
将第二输入识别为指示用户界面中在对象边界外的第一位置且在对象被选中时发生(框2004)。例如,第二输入可由手势模块104识别为描述指示笔116在计算设备102的显示设备108所显示的用户界面中的第一位置1910的轻叩的指示笔输入。另外,第一位置可出现在图像1908的边界外。
从所识别的第一和第二输入中标识第一盖印手势,该第一盖印手势可用于引起用户界面中的第一位置处的对象副本的显示(框2006)。继续前一示例,手势模块104可使得图像1908的第一副本1914被显示在第一位置1910处。图像1908的副本1914可用各种不同方式来配置,如表现为如同图像1908被用作橡皮图章来创建副本1914一样。
另外,盖印可用各种方式发起并放置在用户界面中。例如,指示笔116可在显示设备108上“轻轻敲下”来指示初始所需位置,例如第二位置1912。如果指示笔116移动但仍指示与用户界面的所需交互(例如,放置在显示设备108所输出的用户界面附近),则第二副本1916可跟随指示笔116的移动。一旦指示笔116例如通过将指示笔116提离显示设备108来指示了最终放置,则该副本可保留在该位置,可将跟随指示笔所规定的路径的运动模糊/喷涂应用于所得印记,等等。也可制作另外的副本(例如,印记),其一个示例描述如下。
将第三输入识别为指示用户界面中在对象边界外的第二位置且在对象被选中时发生(框2008)。从所识别的第一和第三输入中标识第二盖印手势,该第二盖印手势可用于引起用户界面中的第二位置处的对象的第二副本的显示,该第二副本比第一副本更淡(框2010)。仍然再继续前一示例,手势模块104可使得图像1908的第二副本1916被显示在第二位置1912处。在一个实现中,盖印手势130的连续实现可使得显示设备108显示逐渐更淡的副本,其一个示例使用图19的示例实现中的逐渐更淡的灰度阴影来示出。另外,手势模块104可取决于要盖印“什么”来采用不同的语义。例如,手势模块104可允许副本(例如,印记)出现在背景上,但不允许其出现在显示设备108显示的图标或其他图像上,可将副本限制为在可被用户操纵的数据中实现,等等。
例如,在一个实施例中,可选择工具栏中的图标(例如,保持),然后该图标的实例可被“盖印”到用户界面上,例如绘图程序中的形状。也可以考虑各种其他示例。再一次,应当注意,尽管描述了其中盖印手势130是使用触摸和指示笔输入来输入的具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。
画笔手势
图21是一示例实现2100的图示,其中图1的画笔手势132的各阶段被示为通过与计算设备102的交互来输入。画笔手势132在图21中使用第一阶段2102、第二阶段2104和第三阶段2106来示出。在第一阶段2102中,由计算设备102的显示设备108在用户界面中显示图像2108。本例中的图像2108是具有多个建筑物的城市空中轮廓线的照片。
在第二阶段2104中,使用触摸输入来选择图像2108并选择图像2108中的某一点2110,这被示为使用用户的手106的手指来执行。本例中的指示笔116也被示为提供描述由指示笔116在图像2108的边框外“用画笔画”的一条或多条线的指示笔输入。例如,指示笔116可做出在用户界面中的图像2108的边界外的位置2112处开始的一系列锯齿形线、放在一起的线的组合、超过阈值距离的单条线、等等。手势模块104然后可将这些输入标识为画笔手势132。此时,手势模块104可认为这些输入启动了画笔阶段,使得阈值距离以下的后续的线被允许。
在标识了画笔手势132之后,手势模块104可使用图像2108的位图来作为用于指示笔116所画出的线的填充。另外,在一个实现中,该填充取自图像2108的在图像2108中由触摸输入(例如,用户的手106的手指)所指示的特定点2110处开始的对应的线,但在其范围内构想了源图像到所得画笔笔画的其他视口映射,如通过使用源对象的属性(例如,纹理)等等。这些线的结果被示为使用指示笔116的画笔笔画来复制的图像2108的一部分2114。
在一个实现中,由指示笔116画出的线的不透明度随着在给定区域上画出另外的线而增加。如第三阶段2106中所示的,例如,指示笔116可在从图像2108复制的部分2114上向回画,以增加部分2114的不透明度。这在第三阶段2106中通过增加部分2114与示例实现2100的第二阶段2104中所示的部分2114的暗度相比的暗度来示出。
如上所述,尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行画笔手势132,画笔手势132可单独使用触摸或指示笔输入来执行,等等。
图22是描绘根据一个或多个实施例的画笔手势132的示例实现中的过程2200的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图21的示例实现2100。
将第一输入识别为选择由显示设备显示的对象(框2202)。例如,图像2108可使用触摸输入、指示笔输入、通过使用光标控制设备等来选择。在所示实现中,用户的手106的手指被示为选择图像2108以提供触摸输入。
将第二输入识别为画在对象边界外的线,该线被识别为在对象被选中时画出(框2204)。例如,第二输入可以是描述画在用户界面中的图像2108的边界外的一条或多条线的指示笔输入。
从所识别的第一和第二输入中标识画笔手势,该画笔手势可用于使得所画出的线被显示为对象的对应的线的副本(框2206)。继续前一示例,手势模块104可从输入中标识画笔手势,且因此使用经由第一输入选择的图像2108来作为用于第二输入所描述的线的填充。例如,画笔手势可用于使得对象的对应的线的副本在由第一输入选择的对象中的一点处开始(框2208)。如图21的第二阶段2104中所示,触摸输入可选择一点2110,该点可用作为指示笔在图像2108外的一点2112处开始画出的线提供填充的起始点。尽管描述了要用于触摸输入所做出的画笔手势132的填充的起始点的指示,但也构想了各种其他实现。例如,用于每一画笔手势132的填充点可被设在图像2108中的预定义位置处,如图像2108的左上角、图像2108的中心等等。
另外,画笔手势可用于使得对来自对象的对应的多条线的复制具有与第二输入的多条线的匹配的空间关系(框2210)。在本例中,指示笔输入所描述的线取自图像的对应部分,且保留了图像2108的空间关系。此外,对图像2108的继续选择可使得在显示设备108所显示的用户界面中的别处画出的线保留这一关系,直到接收到不再需要该关系的输入,如通过将用户的手106的手指提离显示设备。因此,即使指示笔116从显示设备108提起并且被放在设备108上的别处来画另外的线,本实施例中用于那些另外的线的填充维持了与前一组线相同的与图像2108的空间关系。也构想了各种其他示例,如再一次使用由触摸输入指示的点2110作为起始点来开始填充过程。再一次,应当注意,尽管描述了其中画笔手势132是使用触摸和指示笔输入来输入的具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。
复写手势
图23是一示例实现2300的图示,其中图1的复写手势134的各阶段被示为通过与计算设备102的交互来输入。复写手势134在图23中使用第一阶段2302、第二阶段2304和第三阶段2306来示出。在第一阶段2302中,由计算设备102的显示设备108在用户界面中显示图像2308。与图21的图像2108一样,本例中的图像2308是具有多个建筑物的城市天空轮廓线的照片。在第一阶段2302中,使用触摸输入,例如用户的手106的手指来选择图像2308,并将其移动到用户界面中的新位置,如第二阶段2304中所示。
在第二阶段2304中,本例中的指示笔116还被示为提供描述由指示笔116在图像2308的边框内“擦掉”的一条或多条线的指示笔输入。例如,如上所述,指示笔116可做出在用户界面中的图像2308的边界内的位置2310处开始的一系列锯齿形线、可使用超过阈值长度的单条线、等等。手势模块104然后可将这些输入(例如,选择和擦除)标识为复写手势134。
在标识了复写手势134之后,手势模块104可使用图像2308的位图、图像的纹理等来作为用于指示笔116所画出的线的填充。另外,这些线可被实现为“穿过”图像2308画出,使得线被显示在图像2308的下方。因此,一旦图像2308如第三阶段2306中所示那样移开,图像2308的被复制到用户界面的一部分2312被示出,例如画在用户界面的背景上。在一个实现中,覆盖图像可被显示为半透明状态,以便允许用户看见覆盖的和底层的图像。由此,像画笔手势132一样,复写手势134可用于复制图像2308中由指示笔116所画出的线所指示的部分。同样,图像2308可按各种方式来用作用于部分2312的填充,如用作制作“真实”副本的位图、使用可由用户指定的一个或多个颜色、等等。尽管本示例实现2400将复写手势134示为被实现成将部分2312“沉积”到用户界面的背景上,但复写手势134也可被实现来将图像2308的一部分“擦掉”,其一个示例在下一附图中示出。
图24是一示例实现2400的图示,其中图1的复写手势134的各阶段被示为通过与计算设备102的交互来输入。像图23一样,复写手势134在图24中使用第一阶段2402、第二阶段2404和第三阶段2406来示出。在第一阶段2402中,由计算设备102的显示设备108在用户界面中显示图像2408。另外,在用户界面中还示出了另一对象2410,在该实例中,该对象出于讨论清楚的目的被示为空白文档,但也构想了其他对象。在第一阶段2402中,使用触摸输入,例如用户的手106的手指来选择对象2410,并诸如通过使用拖放手势将其移动到用户界面中的新位置(如第二阶段2404中所示),如定位在图像2408上。
在第二阶段2404中,本例中的指示笔116被示为提供描述由指示笔116在对象2410和图像2408的边框内“擦掉”的一条或多条线的指示笔输入。例如,指示笔116可做出在对象2410的边界内的一位置处开始的一系列锯齿形线,该对象2410在用户界面内的图像2408上。手势模块104然后可将这些输入(例如,选择、对象2410相对于图像2408的定位、以及擦除)标识为复写手势134。
在标识了复写手势134之后,手势模块104可使用图像2408的位图来作为用于指示笔116所画出的线的填充。另外,这些线可被实现为“擦破”到对象2410上,使得线被显示为对象2410内的一部分2412。因此,一旦对象2410如第三阶段2406中所示那样移开,图像2408的部分2412保持与对象2410在一起。由此,像先前的复写手势134的示例实现2300中的画笔手势132一样,本示例实现2400的复写手势134可用于复制由使用指示笔116所画出的线指示的图像2408的各部分。同样,图像2408可按各种方式来用作用于部分2412的填充,如用作制作“真实”副本的位图、使用可由用户指定的一个或多个颜色、等等。
如上所述,尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行复写手势134,该手势可单独使用触摸或指示笔输入来执行,等等。
图25是描绘根据一个或多个实施例的复写手势134的示例实现中的过程2500的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和分别在图23和24中的实现2300、2400。
将第一输入识别为选择由显示设备显示的对象(框2502)。例如,可用用户的手106的手指、指示笔116、通过使用光标控制设备等来轻叩图像2308。在图23的所示实现中,用户的手106的手指被示为选择图像2408。在图24的所示实现中,图像2408通过使用触摸输入将对象2410定位到图像2408“上”来选择。也可以考虑各种其他示例。
将第二输入识别为在对象被选中时所画的线(框2504)。例如,该第二输入可描述如图23所示画在对象边界外的线。在另一实例中,该第二输入可描述如图24所示画在对象边界内的线。
从所识别的第一和第二输入中标识复写手势,该复写手势用于引起对象的各部分的副本的显示(框2506)。继续先前的实例,复写手势134可用于如图23所示沉积对象2308的各部分,或如图24所示将对象2408的各部分接收到另一对象2410上。应当注意,尽管描述了其中复写手势134是使用触摸和指示笔输入来输入的具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。
填充手势
图26是一示例实现2600的图示,其中图1的填充手势136的各阶段被示为结合计算设备102来输入。填充手势136在图26中使用第一阶段2602、第二阶段2604和第三阶段2606来示出。在第一阶段2602中,由计算设备102的显示设备108在用户界面中显示图像2608,这可用先前或随后描述的一种或多种方式来执行。
在第二阶段2604中,框架2612被示为使用指示笔116来画出,该框架具有通过指示笔116的运动2614来定义的矩形形状。例如,指示笔116可被放在显示设备108上并被拖动来形成框架2612。尽管示出了具有矩形形状的框架2612,但可采用各种不同形状以及用于形成这些形状的各种技术,如圆形、手画线等等。
然后从输入中识别填充手势136,其结果的一个实例在第三阶段2606中示出。在标识了填充手势136之后,手势模块104可使用所选图像2608来填充框架2612,从而形成另一图像2616。填充可以用各种方式来提供,如第三阶段2606中所示的被拉伸以适合框架2612的宽高比、以原始宽高比重复直到填充了框架2612、以原始宽高比重复但被修剪来适合、等等。尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行填充手势136,填充手势136可单独使用触摸或指示笔输入来执行,等等。
图27是描绘根据一个或多个实施例的填充手势的示例实现中的过程2700的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图26的示例实现2600。
将第一输入识别为选择由显示设备显示的对象(框2702)。将第二输入识别为画在对象边界外的框架,该框架被识别为在对象被选中时画出(框2704)。该框架可以用各种方式来画出,如使用指示笔116或触摸输入的手画线来形成自相交线、选择预配置的框架、通过拖放来指定框架的大小、等等。
从第一和第二输入中标识填充手势,该填充手势可用于使用该对象来填充在框架中(框2706)。在标识了填充手势136之后,手势模块104可使用利用第一输入选择的对象来填充从第二输入识别的框架。填充可用各种方式来执行,如拉伸以填充框架2612的宽高比、在框架2612内重复图像2608、收缩图像2608、将图像2608用作位图、等等。此外,应当注意,尽管描述了其中填充手势136是使用触摸和指示笔输入来输入的具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。
交叉引用手势
图28是一示例实现2800的图示,其中图1的交叉引用手势138的各阶段被示为通过与计算设备102的交互来输入。交叉引用手势138在图28中被示为更详细地显示出图1的计算设备102。
显示设备108被示为显示图像2802。用户的手2804的手指也被示为选择图像2802,但如上所述,可使用各种不同技术来选择图像2082。
当图像2802被选中时(例如,在选中状态),指示笔116被示为提供涉及一条或多条线2806的指示笔输入,这些线在本实例中被示为单词“Eleanor”。手势模块104可从这些输入中识别交叉引用手势138来提供各种功能。
例如,手势模块104可使用交叉引用手势138来将线2806与图像2802链接。因此,使得图像2802被显示的操作也可使得线2806被共同显示。在另一示例中,链接将线2806配置为可被选择来导航到图像2802。例如,对线2806的选择可使得图像2802被显示、包含图像2802的文档的一部分被显示(例如,跳转到文档中包含该图像2802的页)、等等。同样,交叉引用手势可用于对对象进行分组,使得对象在拖曳操作期间共同移动,或在文档重排版(reflow)或其他自动或手动布局改变期间保持图像和注释之间的相对空间关系。
在又一示例中,手势模块104可采用墨水分析引擎2808来标识线2806“写了什么”,例如将线转换成文本。例如,墨水分析引擎2808可用于将线2806翻译成拼写出“Eleanor”的文本。另外,墨水分析引擎可用于将要转换成文本的单独的线分组在一起,例如,形成单独字符的线可被分组在一起以便翻译。在一个实现中,一条或多条线可提供由墨水分析引擎2808来解析的暗示,如指示线要被转换成文本的特殊符号。
因此,手势模块104通过执行交叉引用手势138可按各种方式来使用该文本。在一个实现中,该文本被用作所选图像2802的文字说明和/或可以与图像相关联的其他元数据,如用于标识图像2802中的一个或多个人、表示图像2802中所示的位置、等等。链接到图像2802的该元数据(例如,文本)可被访问并充分利用来用于搜索或其他任务,其一个示例在以下附图中示出。
图29是一示例实现2900的图示,其中示出了交叉引用手势138的各阶段来使用图28的填充手势访问与图像2802相关联的元数据。该手势在图29中使用第一阶段2902、第二阶段2904和第三阶段2906来示出。在第一阶段2902中,由计算设备102的显示设备108在用户界面中显示图28的图像2802。图像2802任选地包括有与图像2802相关联的附加元数据可供查看的指示2908。
在第二阶段2904中,用户的手2804的手指被示为选择指示2908,并指示类似于“翻转”图像2802的移动2910。在一个实现中,在标识了这些输入之后,手势模块104可提供动画以给出图像2802正被“翻过来”的外观。或者,可通过与项目相关联的上下文菜单命令,例如“属性……”命令来揭示元数据。
在第三阶段2906中,示出了翻转手势的结果。在本例中,显示图像2802的“背面”2912。背面2912包括与图像2802相关联的元数据的显示,如图像2802是何时拍摄的、图像2802的类型、以及使用图28的交叉引用手势138输入的元数据(本例中是“Eleanor”)。图像2802的背面2912还包括该背面2912可被“翻回去”来返回到第一阶段2902中所示的图像2802的指示2914。尽管关于图29描述了使用翻转手势的图像2802的“翻转”,但应当容易明白,可使用各种不同技术来访问元数据。
如上所述,尽管使用触摸和/或指示笔输入关于图28和29描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换,手势可单独使用触摸或指示笔输入来执行,等等。
图30是描绘根据一个或多个实施例的图1的交叉引用手势138的示例实现中的过程3000的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和分别在图28和29中的实现2800、2900。
将第一输入识别为选择由显示设备显示的对象(框3002)。例如,可用用户的手2804的手指、指示笔116、通过使用光标控制设备等来轻叩图像2802。在所示实现中,用户的手2804的手指被示为选择并保持图像2802。
将第二输入识别为画在对象边界外的一条或多条线,所述一条或多条线被识别为在对象被选中时画出(框3004)。例如,手势模块104可将线2806识别为在图像2802被选中时由指示笔116画出的指示笔输入。另外,应当认识到,线2806可以是连续的,和/或由各段组成,而不脱离其精神和范围。
从所识别的第一和第二输入中标识交叉引用手势,该交叉引用手势可用于使得一条或多条线被链接到对象(框3006)。如上所述,线2806可用各种方式来链接。例如,手势模块104可采用墨水分析引擎2808来将线翻译成文本。该文本然后可结合图像2802来保存、用作到图像2802的链接、显示为图像2802的文字说明、等等。
再一次,应当注意,尽管描述了其中交叉引用手势138是使用触摸和指示笔输入来输入的具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。
链接手势
图31是一示例实现3100的图示,其中图1的链接手势140的各阶段被示为结合计算设备102来输入。链接手势140在图31中使用第一阶段3102、第二阶段3104和第三阶段3106来示出。在第一阶段3102中,计算机102的显示设备108被示为显示第一图像3108、第二图像3110、第三图像3112和第四图像3114。
在第二阶段3104中,第三图像3112被示为使用触摸输入,例如通过使用用户的手106的手指来选择,但也构想了其他实现。指示笔116被示为提供描述在第一图像3108的边界内开始的、通过第二图像3110、并在第三图像3112处结束的移动3118的指示笔输入。例如,移动3116可涉及将指示笔116放在第一图像3108的显示内,并穿过第二图像3110到第三图像3112,在那里指示笔116被提离显示设备108。从这些输入中,手势模块104可标识链接手势140。
链接手势140可用于提供各种不同功能。例如,手势模块104可形成要随第三图像3112包括在一起的链接,其一个示例在第三阶段3106中示出。在该阶段中,示出了图像3112的背面3118,该背面包括与图像3112相关联的元数据的显示,如图像的标题和类型。元数据还包括到第一图像3108和第二图像3110的链接,其被示为从图像中取得的标题“妈妈”和“孩子”。链接可被选择来导航到相应图像,例如,链接“妈妈”可被选择来导航到第一图像3108,等等。因此,链接可使用不涉及用户的手动文本输入的简单手势来形成。各种其他功能也可经由链接手势140而变得可用,其进一步讨论可关于图32-33来找到。
如上所述,尽管使用触摸和指示笔输入描述了一具体实现,但应当容易地明白,也可构想各种其他实现。例如,触摸和指示笔输入可被交换来执行链接手势140,该手势可单独使用触摸或指示笔输入来执行,等等。另外,链接可结合各种不同输入来执行。例如,可例如使用指示笔圈出一集合在多个对象周围画出路径,以便选择该路径内的对象。然后可选择一图标(例如,组图标)来将对象链接和/或分组在一起。也可考虑各种其他实例。
图32是描绘根据一个或多个实施例的链接手势的示例实现中的过程3200的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图31的示例实现3100。
将第一输入识别为选择由显示设备显示的对象(框3202),如通过使用一个或多个触摸输入、指示笔输入等来选择。将第二输入识别为从由显示设备显示的第二对象画到第一对象的线,该线被识别为在第一对象被选中时画出(框3204)。例如,线可被识别为指示笔116从第二对象(例如,第二图像3112)的边界内到由第一输入(例如,在图31的第二阶段3104中的用户的手106的手指)选择的对象的边界内的移动3116。指示笔所经过的中间图像3110或其他对象或者可被认为是也应被一起链接到一共同集合中的附加图像,或者可作为不是链接手势的目标的中间对象而被忽略。链接手势的动态特性(例如,拐点、在拖曳时的瞬间暂停、速度阈值等)可用于在需要时在这些情况之间进行判断。
从所识别的第一和第二输入中标识链接手势,该链接手势可用于在第一和第二对象之间创建链接(框3206)。手势模块104例如可标识链接手势140,并形成涉及第一输入所选择的第一对象和通过第二输入而涉及第一对象的第二对象的链接。链接可采用各种功能,如在第一和第二对象之间导航的超链接、存储链接(例如,与第一或第二对象一起)以供稍后导航、提供链接的存在的指示(例如,通过对第一或第二对象加下划线)、等等。还构想了各种其他链接,其进一步讨论可相关于以下附图找到。
图33是另一示例实现3300的图示,其中图1的链接手势140的各阶段被示为结合计算设备102来输入。计算设备102被示为由显示设备108输出用户界面。该用户界面包括播放列表清单和歌曲清单。
用户的手3302的手指被示为选择播放列表“About Last Night”,且指示笔116被示为从歌曲“My Way”移动到所选播放列表。以此方式,与第二对象(例如,歌曲)相关联的元数据与所选对象(例如,播放列表)相关联,在本实例中这使得该歌曲被添加到该播放列表。由此,手势模块104可从输入中标识链接手势140,并使得对应的操作被执行。尽管本例中描述了播放列表的形成,但可使用链接手势来将各种不同元数据进行关联,如按照类型对电影进行分类、对对象进行分级、等等。
图34是描绘根据一个或多个实施例的链接手势的示例实现中的过程3400的流程图。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图33的示例实现3300。
将第一输入识别为选择由显示设备显示的对象(框3402)。将第二输入识别为从由显示设备显示的第二对象画到第一对象的线,该线被识别为在第一对象被选中时画出(框3404)。例如,线可被识别为从元数据列表画到歌曲、从地点清单画到图像、等等。
从所识别的第一和第二输入中标识链接手势,该链接手势可用于将由第二对象表示的元数据与第一对象相关联(框3406)。继续前一实例,链接手势140可用于使得元数据被存储为第一对象的一部分,例如使得该播放列表包括该歌曲,该图像包括人的名字,等等。
然而再一次,应当注意,尽管在图31-34中描述了其中链接手势140是使用触摸和指示笔输入来输入的具体示例,但这些输入可被交换,可使用单个输入类型(例如,触摸或指示笔)来提供输入,等等。
上下文空间复用
图35描绘了示出用于上下文空间复用的技术的示例实现3500。在先前的示例实现的情况下,使用了不同类型的输入(例如,指示笔输入以及触摸输入)来指定不同手势。例如,可使用双模输入模块114来在输入类型之间进行区分以标识手势,如先前关于图1和后续各节所描述的一个或多个手势。
这些技术也可用于上下文空间复用。上下文空间复用描述了用户界面的特定区域承担用于指示笔或触摸输入的不同功能的技术。例如,用户的手3502的手指被示为在用户界面的初始点选择图像3504。另外,指示笔116被示为书写单词“Eleanor”3506,这也在用户界面中的该初始点开始。由此,双模输入模块114可在输入类型(例如,触摸还是指示笔输入)之间进行区分以便在用户界面中的同一点提供不同功能。
在一个实现中,触摸原语(例如,轻叩、保持、两个手指保持、拖曳、交叉、捏、以及其他手或手指手势)和指示笔原语(例如,轻叩、保持、拖走、拖入、交叉、划过)可由双模输入模块114来组成以创建比单独的指示笔或触摸更大的、直观且语义上丰富的手势的可能空间。例如,直接触摸模式切换可集成模式激活、对象选择、以及将子任务分阶段成单个对象专用模式,例如用于定义如上所述的手势。
另外,可合成各种技术例如以便达到不同手势。例如,选择一个对象连同对子任务分阶段一起提供了多个工具和效果的一起合成。如上对于图14-18的边缘手势128所描述的,例如,描述了使用对象的边缘的绘图和裁剪。在其他情况下,可由手势模块向手势分配优先级来避免潜在歧义,例如,裁剪优先级高于覆盖在项目上的边缘手势128,但不高于画笔手势132。由此,在这些实现中,指示笔书写(或裁剪)且触摸操纵,而指示笔加上触摸的组合产生新的技术。但是在某些上下文中,指示笔和触摸之间的其他划分是可能的,且实际上与用户期望相一致。
例如,计算设备102的显示设备108显示的用户界面可以取决于所涉及的对象区域以及环绕对象和页面(背景)的上下文而不同地反应。例如,用户界面上的墨水注解对于某些触摸输入(例如,选择、直接操纵)可被忽略,以使得在页面上执行两个手指的缩放变得更容易,以及避免诸如墨水笔画等指示笔输入的意外打断。也可考虑对象的大小,例如,超过阈值大小的对象可经由触摸输入来直接操纵。还构想了各种其他实现,其进一步讨论可相关于以下附图找到。
图36是描绘一示例实现中的过程3600的流程图,其中使用输入是指示笔还是触摸输入的标识来标识要结合用户界面执行的操作。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图35的示例实现3500。
确定输入是触摸输入还是指示笔输入,该输入可用于指示与显示设备所显示的用户界面的交互(框3602)。例如,手势模块104可检测使用各种功能的输入,如触摸屏、照相机(例如、随显示设备的多个像素一起包括的照相机)、等等。手势模块104随后可确定该输入是触摸输入(例如,使用用户的手的一个或多个手指输入)还是指示笔输入(例如,使用定点输入设备来输入)。该判定可用各种方式来执行,如通过使用一个或多个传感器检测指示笔116、基于使用指示笔对比使用触摸接触的显示设备108的量、使用图像识别、等等。
至少部分地基于该判定来标识要由计算设备执行的操作,使得所标识的操作基于所确定的输入是触摸输入还是指示笔输入而不同(框3604)。使所标识的操作由计算设备来执行(框3606)。如图35所示,例如,使用来自指示笔116的指示笔输入来进行书写,而来自用户的手3502的手指的触摸输入可用于选择图像3504并将其从用户界面内的同一点移动。也构想了各种其他示例,如基于交互所涉及的对象的配置。例如,手势模块104可被配置成对对象是否是图像、表示歌曲、涉及文档、对象的大小等做出区分,以使得不同操作基于底层和/或附近的对象来执行。作为另一示例,将笔从色盒拖动可留下笔画,而将手指从色盒拖动可留下喷涂或手指绘图笔画。用笔选择色盒、然后用手指来划;或者相反地用手指来选择色盒、然后用笔来划,也可暗示不同命令或命令参数(例如,画笔样式、不透明度等等)。对此类区分的进一步讨论可关于以下附图找到。
图37是描绘一示例实现中的另一过程3700的流程图,其中使用输入是指示笔还是触摸输入的标识来标识要结合用户界面执行的操作。该过程的各方面可用硬件、固件、软件或其组合来实现。该过程在本示例中被示为指定由一个或多个设备执行的操作的一组框,并且其不必限于所示由各框执行操作的次序。在以下讨论的部分中将参考图1的环境100、图2的系统200和图35的示例实现3500。
确定输入是触摸输入还是指示笔输入,该输入可用于指示与显示设备所显示的用户界面的交互(框3702)。该判定可如上以及下文所述地用各种方式来执行。响应于输入是触摸输入的确定,使得第一操作结合用户界面来执行(框3704)。例如,该操作可涉及移动底层对象,例如图35的图像3504。
响应于输入是指示笔输入的确定,使得不同于第一操作的第二操作结合用户界面来执行(框3706)。继续前一示例,指示笔116所提供的指示笔输入可用于在图像3504上书写而不是移动它。另外,应当容易明白,手势模块104也可采用各种其他考虑,如在其他对象附近、涉及输入的交互在用户界面中的“何处”发生、等等。
示例设备
图38示出了可被实现为参考图1和2来描述的任何类型的便携式和/或计算机设备来实现此处描述的手势技术的各实施例的示例设备3800的各个组件。设备3800包括允许设备数据3804(例如,所接收的数据、正被接收的数据、被排定广播的数据、数据的数据分组等)的有线和/或无线通信的通信设备3802。设备数据3804或其他设备内容可包括设备的配置设置、存储在设备上的媒体内容、和/或与设备的用户相关联的信息。存储在设备3800上的媒体内容可包括任何类型的音频、视频和/或图像数据。设备3800包括一个或多个数据输入3806,经由这些数据输入可接收任何类型的数据、媒体内容和/或输入,如用户可选择输入、消息、音乐、电视媒体内容、记录的视频内容、以及从任何内容和/或数据源接收的任何其他类型的音频、视频和/或图像数据。
设备3800还包括通信接口3808,其可被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器、和任何其它类型的通信接口中的任一个或多个。通信接口3808提供了设备3800和通信网络之间的连接和/或通信链路,其他电子、计算和通信设备可通过通信网络与设备3800通信。
设备3800包括一个或多个处理器3810(例如,微处理器、控制器等中的任一个),其处理各种计算机可执行指令来控制设备3800的操作和实现触摸拉入手势的各实施例。作为替换或补充,设备3800可以用结合概括地在3812处标识的处理和控制电路来实现的硬件、固件、或固定逻辑电路中的任何一个或组合来实现。尽管并未示出,但设备3800可包括将该设备内的各组件进行耦合的系统总线或数据传输系统。系统总线可包括不同总线结构中的任何一个或组合,如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任一种的处理器或局部总线。
设备3800还可包括计算机可读介质3814,如一个或多个存储器组件,存储器组件的示例包括随机存取存储器(RAM)、非易失性存储器(例如,只读存储器(ROM)、闪存、EPROM、EEPROM等中的任一个或多个)、以及盘存储设备。盘存储设备可被实现为任何类型的磁性或光学存储设备,如硬盘驱动器、可记录和/或可重写紧致盘(CD)、任何类型的数字多功能盘(DVD)等等。设备3800还可包括大容量存储介质设备3816。
计算机可读介质3814提供数据存储机制以便存储设备数据3804、以及各种设备应用3818和与设备3800的各操作方面有关的任何其它类型的信息和/或数据。例如,操作系统3820可以用计算机可读介质3814作为计算机应用程序来维护并在处理器3810上执行。设备应用3818可包括设备管理器(例如,控制应用、软件应用、信号处理和控制模块、特定设备本机的代码、用于特定设备的硬件抽象层等等)。设备应用3818还包括实现此处所描述的手势技术的各实施例的任何系统组件或模块。在本例中,设备应用3818包括被示为软件模块和/或计算机应用程序的接口应用3822和手势捕捉驱动程序3824。手势捕捉驱动程序3824代表了用于提供与被配置成捕捉手势的设备(如触摸屏、跟踪垫、照相机等)的接口的软件。另选地或另外地,接口应用3822和手势捕捉驱动程序3824可被实现为硬件、软件、固件或其任意组合。另外,手势捕捉驱动程序3824可被配置成支持多个输入设备,如分别捕捉触摸和指示笔输入的单独设备。例如,设备可被配置成包括双显示设备,其中一个显示设备被配置成捕捉触摸输入而另一个被配置成捕捉指示笔输入。
设备3800还包括向音频系统3828提供音频数据和/或向显示系统3830提供视频数据的音频和/或视频输入-输出系统3826。音频系统3828和/或显示系统3830可包括处理、显示、和/或以其它方式呈现音频、视频、和图像数据的任何设备。视频信号和音频信号可经由RF(射频)链路、S-视频链路、复合视频链路、分量视频链路、DVI(数字视频接口)、模拟音频连接、或其它类似的通信链路来从设备3800传输给音频设备和/或传输给显示设备。在一个实施例中,音频系统3828和/或显示系统3830被实现为设备3800外部的组件。或者,音频系统3828和/或显示系统3830被实现为示例设备3800的集成组件。
结论
虽然已经用对结构特征和/或方法动作专用的语言描述了本发明,但是应该理解,在所附权利要求中定义的本发明不必限于所述的具体特征或动作。相反,这些具体特征和动作是作为实现所要求保护的本发明的示例形式而公开的。
Claims (33)
1.一种方法,包括:
将第一输入识别为选择由显示设备显示的对象;
将第二输入识别为沿所述对象的边缘的移动,所述移动被识别为在所述对象被选中时发生;以及
从所识别的第一和第二输入中标识手势,所述手势能用于使得线被显示为画在所述边缘附近且跟随所述第二输入所描述的移动,所述手势能用于使得所述对象的边缘用作模板,从而画在所述边缘附近的线被显示为跟随所述对象的边缘。
2.如权利要求1所述的方法,其特征在于,所述第一输入被识别为选择所述对象的两个点。
3.如权利要求2所述的方法,其特征在于,所述第一输入被识别为触摸输入,所述第二输入被识别为指示笔输入。
4.如权利要求1所述的方法,其特征在于:
所述第一输入是触摸输入或指示笔输入中的一个;以及
所述第二输入是所述触摸输入或所述指示笔输入中的另一个。
5.如权利要求1所述的方法,其特征在于:
所述对象的所述边缘被显示为出现在第二对象和背景上;以及
所述线表现为被画在所述第二对象和所述背景上。
6.如权利要求1所述的方法,其特征在于,所述第一输入和所述第二输入是使用照相机来检测的。
7.如权利要求1所述的方法,其特征在于,所述第一输入还被识别为在所述第二输入的所述识别之前所述对象在所述显示设备所显示的图像内的移动。
8.如权利要求1所述的方法,其特征在于,所述手势还能用于使得所述线的显示继续跟随已穿过了所述对象的所述边缘的所述第二输入的源的后续移动。
9.如权利要求1所述的方法,其特征在于,所述手势还能用于使用部分透明指示所述对象被选中并致使跟随所述对象的所述边缘并继续越过所述对象的另一边缘的线的显示。
10.一种方法,包括:
将第一输入识别为选择由显示设备显示的对象;
将第二输入识别为沿所述对象的边缘的移动,所述移动被识别为在所述对象被选中时发生;以及
从所识别的第一和第二输入中标识手势,所述手势能用于使得裁剪被显示为在所述边缘附近且跟随所述第二输入所描述的移动。
11.如权利要求10所述的方法,其特征在于,所述第一输入还被识别为所述对象在所述显示设备所显示的图像内的移动被置于第二对象上,所述对象的所述移动被识别为在所述第二输入的所述识别之前发生。
12.如权利要求11所述的方法,其特征在于,所述第一输入被识别为选择所述对象的两个点。
13.如权利要求12所述的方法,其特征在于,所述第一输入被识别为触摸输入,所述第二输入被识别为指示笔输入。
14.如权利要求10所述的方法,其特征在于:
所述第一输入是触摸输入或指示笔输入中的一个;以及
所述第二输入是所述触摸输入或所述指示笔输入中的另一个。
15.如权利要求10所述的方法,其特征在于:
所述对象的所述边缘被显示为出现在第二对象上;以及
所述裁剪表现为在所述第二对象上执行。
16.一种方法,包括:
将第一输入识别为选择由显示设备显示的对象;
将第二输入识别为画在所述对象的边界外的一条或多条线,所述一条或多条线被识别为在所述对象被选中时画出;以及
从所识别的第一和第二输入中标识交叉引用手势,所述交叉引用手势能用于使得所述一条或多条线被链接到所述对象,所述链接能用于将所述一条或多条线配置为能被选择来导航到所述对象。
17.如权利要求16所述的方法,其特征在于,所述交叉引用手势能用于使得所述一条或多条线响应于所述对象的显示而通过所述显示设备显示。
18.如权利要求16所述的方法,其特征在于,所述交叉引用手势能用于使得分析引擎被采用以将所述一条或多条线翻译成文本并使得所述一条或多条线作为所述文本被连接到所述对象。
19.如权利要求16所述的方法,其特征在于,所述交叉引用手势能用于使得所述一条或多条线与所述对象一起存储。
20.如权利要求16所述的方法,其特征在于,所述交叉引用手势能用于使得所述一条或多条线被分组到一起。
21.如权利要求20所述的方法,其特征在于,所述一条或多条线在被分组到一起时被配置成提供用于由分析模块将所述一条或多条线翻译成文本的解析的暗示。
22.如权利要求20所述的方法,其特征在于,所述一条或多条线在被分组到一起时被配置成用于使用单个操作操纵所述分组。
23.一种方法,包括:
将第一输入识别为选择由显示设备显示的对象;
将第二输入识别为画在所述对象的边界外的文本,所述文本被识别为在所述对象被选中时画出;以及
从所识别的第一和第二输入中标识交叉引用手势,所述交叉引用手势能用于使得所述文本作为所述对象的文字说明而被链接到所述对象,所述链接能用于将所述文本配置为能被选择来导航到所述对象。
24.如权利要求23所述的方法,其特征在于,所述交叉引用手势能用于使得所述文本与所述对象一起存储。
25.如权利要求23所述的方法,其特征在于,所述交叉引用手势能用于使得分析引擎被采用以将由所述第二输入所描述的一条或多条线翻译为所述文本。
26.一种方法,包括:
将作为触摸输入的第一输入识别为选择由显示设备显示的对象中的一点;
将作为指示笔输入的第二输入识别为画在所述对象的边界外的线,所述线被识别为在所述对象被选中时画出且在所述点处开始从所述对象复制;以及
从所识别的第一和第二输入中标识画笔手势,所述画笔手势能用于使得所画出的多条线被显示为所述对象的在所述点处开始的对应的多条线的副本且被显示为具有与所述对象的所述对应的多条线的匹配的空间关系。
27.如权利要求26所述的方法,其特征在于,还包括使用照相机来检测所述第一和第二输入。
28.如权利要求26所述的方法,其特征在于,所述对象被识别为在用户界面中具有方向,且所述画笔手势还能用于使得所述对象被复制为具有所述方向。
29.如权利要求26所述的方法,其特征在于,所述画笔手势能用于使用所述对象来作为填充。
30.一种方法,包括:
将作为触摸输入的第一输入识别为选择由显示设备显示的对象中的一点;
将作为指示笔输入的第二输入识别为画在所述对象的边界内的线,所述线被识别为在所述对象被选中时画出;以及
从所识别的第一和第二输入中标识复写手势,所述复写手势能用于使多条线被显示为绘制成所述对象的对应的多条线的副本且被显示为具有与所述对象的对应的多条线的匹配的空间关系,穿过其来画所述线的所述对象的各部分的副本的显示被显示为出现在所述对象的显示上方或下方。
31.如权利要求30所述的方法,其特征在于,所述第一输入被识别为选择所述对象的两个点。
32.如权利要求30所述的方法,其特征在于,所述对象被识别为在用户界面中具有方向,且所述复写手势还能用于使得所述对象被复制为具有所述方向。
33.如权利要求30所述的方法,其特征在于,所述复写手势能用于使用所述对象来作为填充。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/695,064 US8239785B2 (en) | 2010-01-27 | 2010-01-27 | Edge gestures |
US12/695,064 | 2010-01-27 | ||
PCT/US2011/020410 WO2011094044A2 (en) | 2010-01-27 | 2011-01-06 | Edge gestures |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102725711A CN102725711A (zh) | 2012-10-10 |
CN102725711B true CN102725711B (zh) | 2019-06-04 |
Family
ID=44309941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180007100.1A Active CN102725711B (zh) | 2010-01-27 | 2011-01-06 | 边缘手势 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8239785B2 (zh) |
EP (1) | EP2529288B1 (zh) |
CN (1) | CN102725711B (zh) |
HK (1) | HK1177020A1 (zh) |
WO (1) | WO2011094044A2 (zh) |
Families Citing this family (114)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8018440B2 (en) | 2005-12-30 | 2011-09-13 | Microsoft Corporation | Unintentional touch rejection |
US8210331B2 (en) * | 2006-03-06 | 2012-07-03 | Hossein Estahbanati Keshtkar | One-way pawl clutch with backlash reduction means and without biasing means |
EP2309369B1 (en) * | 2008-07-25 | 2016-09-28 | NEC Corporation | Information processing device, information processing program, and display control method |
US8803474B2 (en) * | 2009-03-25 | 2014-08-12 | Qualcomm Incorporated | Optimization of wireless power devices |
US8836648B2 (en) | 2009-05-27 | 2014-09-16 | Microsoft Corporation | Touch pull-in gesture |
US8261213B2 (en) | 2010-01-28 | 2012-09-04 | Microsoft Corporation | Brush, carbon-copy, and fill gestures |
US9411504B2 (en) | 2010-01-28 | 2016-08-09 | Microsoft Technology Licensing, Llc | Copy and staple gestures |
US9519356B2 (en) | 2010-02-04 | 2016-12-13 | Microsoft Technology Licensing, Llc | Link gestures |
US20110191719A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Cut, Punch-Out, and Rip Gestures |
US20110191704A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Contextual multiplexing gestures |
US20110209098A1 (en) * | 2010-02-19 | 2011-08-25 | Hinckley Kenneth P | On and Off-Screen Gesture Combinations |
US8799827B2 (en) | 2010-02-19 | 2014-08-05 | Microsoft Corporation | Page manipulations using on and off-screen gestures |
US9274682B2 (en) | 2010-02-19 | 2016-03-01 | Microsoft Technology Licensing, Llc | Off-screen gestures to create on-screen input |
US9367205B2 (en) | 2010-02-19 | 2016-06-14 | Microsoft Technolgoy Licensing, Llc | Radial menus with bezel gestures |
US9965165B2 (en) | 2010-02-19 | 2018-05-08 | Microsoft Technology Licensing, Llc | Multi-finger gestures |
US9310994B2 (en) | 2010-02-19 | 2016-04-12 | Microsoft Technology Licensing, Llc | Use of bezel as an input mechanism |
US20110209089A1 (en) * | 2010-02-25 | 2011-08-25 | Hinckley Kenneth P | Multi-screen object-hold and page-change gesture |
US9454304B2 (en) | 2010-02-25 | 2016-09-27 | Microsoft Technology Licensing, Llc | Multi-screen dual tap gesture |
US8707174B2 (en) | 2010-02-25 | 2014-04-22 | Microsoft Corporation | Multi-screen hold and page-flip gesture |
US9075522B2 (en) | 2010-02-25 | 2015-07-07 | Microsoft Technology Licensing, Llc | Multi-screen bookmark hold gesture |
US8751970B2 (en) | 2010-02-25 | 2014-06-10 | Microsoft Corporation | Multi-screen synchronous slide gesture |
US20110209101A1 (en) * | 2010-02-25 | 2011-08-25 | Hinckley Kenneth P | Multi-screen pinch-to-pocket gesture |
US8473870B2 (en) | 2010-02-25 | 2013-06-25 | Microsoft Corporation | Multi-screen hold and drag gesture |
US8539384B2 (en) * | 2010-02-25 | 2013-09-17 | Microsoft Corporation | Multi-screen pinch and expand gestures |
US20110291964A1 (en) * | 2010-06-01 | 2011-12-01 | Kno, Inc. | Apparatus and Method for Gesture Control of a Dual Panel Electronic Device |
TW201203193A (en) * | 2010-07-13 | 2012-01-16 | Pegatron Corp | Electronic book and control method thereof |
US20120054667A1 (en) * | 2010-08-31 | 2012-03-01 | Blackboard Inc. | Separate and simultaneous control of windows in windowing systems |
JP5625642B2 (ja) * | 2010-09-06 | 2014-11-19 | ソニー株式会社 | 情報処理装置、データ分割方法及びデータ分割プログラム |
KR101705872B1 (ko) * | 2010-09-08 | 2017-02-10 | 삼성전자주식회사 | 모바일 디바이스의 화면상의 영역 선택 방법 및 장치 |
EP2622446A4 (en) * | 2010-10-01 | 2015-06-10 | Z124 | LONG PULL ON A USER INTERFACE |
US20120159395A1 (en) | 2010-12-20 | 2012-06-21 | Microsoft Corporation | Application-launching interface for multiple modes |
US20120159383A1 (en) | 2010-12-20 | 2012-06-21 | Microsoft Corporation | Customization of an immersive environment |
US8612874B2 (en) | 2010-12-23 | 2013-12-17 | Microsoft Corporation | Presenting an application change through a tile |
US8689123B2 (en) | 2010-12-23 | 2014-04-01 | Microsoft Corporation | Application reporting in an application-selectable user interface |
US9477311B2 (en) | 2011-01-06 | 2016-10-25 | Blackberry Limited | Electronic device and method of displaying information in response to a gesture |
US9471145B2 (en) | 2011-01-06 | 2016-10-18 | Blackberry Limited | Electronic device and method of displaying information in response to a gesture |
US9423878B2 (en) | 2011-01-06 | 2016-08-23 | Blackberry Limited | Electronic device and method of displaying information in response to a gesture |
US9766718B2 (en) | 2011-02-28 | 2017-09-19 | Blackberry Limited | Electronic device and method of displaying information in response to input |
US9015641B2 (en) | 2011-01-06 | 2015-04-21 | Blackberry Limited | Electronic device and method of providing visual notification of a received communication |
US9465440B2 (en) * | 2011-01-06 | 2016-10-11 | Blackberry Limited | Electronic device and method of displaying information in response to a gesture |
US20120297339A1 (en) * | 2011-01-27 | 2012-11-22 | Kyocera Corporation | Electronic device, control method, and storage medium storing control program |
US9213421B2 (en) | 2011-02-28 | 2015-12-15 | Blackberry Limited | Electronic device and method of displaying information in response to detecting a gesture |
US8893033B2 (en) | 2011-05-27 | 2014-11-18 | Microsoft Corporation | Application notifications |
US9104440B2 (en) | 2011-05-27 | 2015-08-11 | Microsoft Technology Licensing, Llc | Multi-application environment |
US20120304107A1 (en) * | 2011-05-27 | 2012-11-29 | Jennifer Nan | Edge gesture |
US9158445B2 (en) | 2011-05-27 | 2015-10-13 | Microsoft Technology Licensing, Llc | Managing an immersive interface in a multi-application immersive environment |
US9658766B2 (en) | 2011-05-27 | 2017-05-23 | Microsoft Technology Licensing, Llc | Edge gesture |
US9843665B2 (en) | 2011-05-27 | 2017-12-12 | Microsoft Technology Licensing, Llc | Display of immersive and desktop shells |
US20120304132A1 (en) | 2011-05-27 | 2012-11-29 | Chaitanya Dev Sareen | Switching back to a previously-interacted-with application |
US9104307B2 (en) | 2011-05-27 | 2015-08-11 | Microsoft Technology Licensing, Llc | Multi-application environment |
US10417018B2 (en) * | 2011-05-27 | 2019-09-17 | Microsoft Technology Licensing, Llc | Navigation of immersive and desktop shells |
KR101859100B1 (ko) * | 2011-07-19 | 2018-05-17 | 엘지전자 주식회사 | 휴대 전자기기 및 이의 제어방법 |
US9727227B2 (en) * | 2011-07-28 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-touch remoting |
US8812980B2 (en) * | 2011-08-26 | 2014-08-19 | Microsoft Corporation | Objectizing and animating images |
US20130057587A1 (en) | 2011-09-01 | 2013-03-07 | Microsoft Corporation | Arranging tiles |
US8933952B2 (en) | 2011-09-10 | 2015-01-13 | Microsoft Corporation | Pre-rendering new content for an application-selectable user interface |
US9146670B2 (en) | 2011-09-10 | 2015-09-29 | Microsoft Technology Licensing, Llc | Progressively indicating new content in an application-selectable user interface |
CN103019426A (zh) * | 2011-09-28 | 2013-04-03 | 腾讯科技(深圳)有限公司 | 触摸终端中的交互方法及装置 |
US8760423B2 (en) | 2011-10-28 | 2014-06-24 | Nintendo Co., Ltd. | Computer-readable storage medium, information processing apparatus, information processing system, and information processing method |
EP2587348B1 (en) * | 2011-10-28 | 2020-12-02 | Nintendo Co., Ltd. | Information processing program, information processing system, and information processing method |
US8773382B2 (en) | 2011-10-28 | 2014-07-08 | Nintendo Co., Ltd. | Computer-readable storage medium, coordinate processing apparatus, coordinate processing system, and coordinate processing method |
JP5827870B2 (ja) | 2011-10-28 | 2015-12-02 | 任天堂株式会社 | 座標処理プログラム、座標処理装置、座標処理システムおよび座標処理方法 |
KR20130061510A (ko) * | 2011-12-01 | 2013-06-11 | 삼성전자주식회사 | 디지털 영상 처리장치 및 이를 포함하는 디지털 촬영장치 |
US9645733B2 (en) | 2011-12-06 | 2017-05-09 | Google Inc. | Mechanism for switching between document viewing windows |
US9223472B2 (en) | 2011-12-22 | 2015-12-29 | Microsoft Technology Licensing, Llc | Closing applications |
US9619038B2 (en) | 2012-01-23 | 2017-04-11 | Blackberry Limited | Electronic device and method of displaying a cover image and an application image from a low power condition |
US9058168B2 (en) | 2012-01-23 | 2015-06-16 | Blackberry Limited | Electronic device and method of controlling a display |
JP2015511834A (ja) | 2012-02-06 | 2015-04-23 | ホットヘッド ゲームズ インコーポレイテッド | 仮想競争グループ管理システム及び方法 |
JP6243356B2 (ja) * | 2012-02-06 | 2017-12-06 | ホットヘッド ゲームズ インコーポレイテッド | カードのボックス及びパックの仮想的な開封 |
US9164779B2 (en) | 2012-02-10 | 2015-10-20 | Nokia Technologies Oy | Apparatus and method for providing for remote user interaction |
US9128605B2 (en) | 2012-02-16 | 2015-09-08 | Microsoft Technology Licensing, Llc | Thumbnail-image selection of applications |
KR101442140B1 (ko) | 2012-06-04 | 2014-09-19 | 연세대학교 산학협력단 | 스티커 인터페이스 방법 및 시스템 |
US9696879B2 (en) | 2012-09-07 | 2017-07-04 | Google Inc. | Tab scrubbing using navigation gestures |
TWI475440B (zh) * | 2012-09-10 | 2015-03-01 | Elan Microelectronics Corp | 觸控裝置及其手勢判斷方法 |
CN104956308A (zh) * | 2012-10-04 | 2015-09-30 | 英特尔公司 | 管理用户登录界面的方法、设备和系统 |
US9582122B2 (en) | 2012-11-12 | 2017-02-28 | Microsoft Technology Licensing, Llc | Touch-sensitive bezel techniques |
KR102133410B1 (ko) * | 2013-01-31 | 2020-07-14 | 삼성전자 주식회사 | 멀티태스킹 운용 방법 및 이를 지원하는 단말기 |
KR102104910B1 (ko) | 2013-02-28 | 2020-04-27 | 삼성전자주식회사 | 입력 유닛에 촉각 피드백을 제공하는 휴대 장치 및 그 방법 |
US9690476B2 (en) | 2013-03-14 | 2017-06-27 | Blackberry Limited | Electronic device and method of displaying information in response to a gesture |
US20140298258A1 (en) * | 2013-03-28 | 2014-10-02 | Microsoft Corporation | Switch List Interactions |
US9507495B2 (en) | 2013-04-03 | 2016-11-29 | Blackberry Limited | Electronic device and method of displaying information in response to a gesture |
US9152321B2 (en) * | 2013-05-03 | 2015-10-06 | Barnes & Noble College Booksellers, Llc | Touch sensitive UI technique for duplicating content |
US10481769B2 (en) * | 2013-06-09 | 2019-11-19 | Apple Inc. | Device, method, and graphical user interface for providing navigation and search functionalities |
US20150033193A1 (en) * | 2013-07-25 | 2015-01-29 | Here Global B.V. | Methods for modifying images and related aspects |
US9740923B2 (en) * | 2014-01-15 | 2017-08-22 | Lenovo (Singapore) Pte. Ltd. | Image gestures for edge input |
US9477337B2 (en) | 2014-03-14 | 2016-10-25 | Microsoft Technology Licensing, Llc | Conductive trace routing for display and bezel sensors |
WO2015149347A1 (en) | 2014-04-04 | 2015-10-08 | Microsoft Technology Licensing, Llc | Expandable application representation |
WO2015154273A1 (en) | 2014-04-10 | 2015-10-15 | Microsoft Technology Licensing, Llc | Collapsible shell cover for computing device |
WO2015154276A1 (en) | 2014-04-10 | 2015-10-15 | Microsoft Technology Licensing, Llc | Slider cover for computing device |
US10592080B2 (en) | 2014-07-31 | 2020-03-17 | Microsoft Technology Licensing, Llc | Assisted presentation of application windows |
US10254942B2 (en) | 2014-07-31 | 2019-04-09 | Microsoft Technology Licensing, Llc | Adaptive sizing and positioning of application windows |
US10678412B2 (en) | 2014-07-31 | 2020-06-09 | Microsoft Technology Licensing, Llc | Dynamic joint dividers for application windows |
US9674335B2 (en) | 2014-10-30 | 2017-06-06 | Microsoft Technology Licensing, Llc | Multi-configuration input device |
KR101780792B1 (ko) | 2015-03-20 | 2017-10-10 | 네이버 주식회사 | 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램 및 만화 데이터 표시 장치 |
US10795558B2 (en) | 2015-06-07 | 2020-10-06 | Apple Inc. | Device, method, and graphical user interface for providing and interacting with a virtual drawing aid |
CN105677223B (zh) * | 2016-01-07 | 2019-07-02 | Oppo广东移动通信有限公司 | 一种按压触控方法和装置 |
US10209821B2 (en) | 2016-04-05 | 2019-02-19 | Google Llc | Computing devices having swiping interfaces and methods of operating the same |
US9919213B2 (en) | 2016-05-03 | 2018-03-20 | Hothead Games Inc. | Zoom controls for virtual environment user interfaces |
US11003345B2 (en) | 2016-05-16 | 2021-05-11 | Google Llc | Control-article-based control of a user interface |
US10010791B2 (en) | 2016-06-28 | 2018-07-03 | Hothead Games Inc. | Systems and methods for customized camera views and customizable objects in virtualized environments |
US10004991B2 (en) | 2016-06-28 | 2018-06-26 | Hothead Games Inc. | Systems and methods for customized camera views in virtualized environments |
CN109062483B (zh) * | 2018-07-27 | 2021-02-19 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
CN109241284A (zh) * | 2018-08-27 | 2019-01-18 | 中国人民解放军国防科技大学 | 一种文档分类方法及装置 |
KR20200078932A (ko) * | 2018-12-24 | 2020-07-02 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
CN113924568A (zh) | 2019-06-26 | 2022-01-11 | 谷歌有限责任公司 | 基于雷达的认证状态反馈 |
JP7316383B2 (ja) | 2019-07-26 | 2023-07-27 | グーグル エルエルシー | Imuおよびレーダーを介した認証管理 |
US11868537B2 (en) | 2019-07-26 | 2024-01-09 | Google Llc | Robust radar-based gesture-recognition by user equipment |
US11385722B2 (en) | 2019-07-26 | 2022-07-12 | Google Llc | Robust radar-based gesture-recognition by user equipment |
KR20220005081A (ko) | 2019-07-26 | 2022-01-12 | 구글 엘엘씨 | Imu 및 레이더를 기반으로 한 상태 감소 |
CN113892072A (zh) | 2019-08-30 | 2022-01-04 | 谷歌有限责任公司 | 用于暂停的雷达姿势的视觉指示器 |
US11467672B2 (en) | 2019-08-30 | 2022-10-11 | Google Llc | Context-sensitive control of radar-based gesture-recognition |
KR102416386B1 (ko) | 2019-08-30 | 2022-07-05 | 구글 엘엘씨 | 다중 입력 모드에 대한 입력 모드 통지 |
CN118192796A (zh) | 2019-08-30 | 2024-06-14 | 谷歌有限责任公司 | 移动设备的输入方法 |
US11054943B1 (en) | 2020-08-17 | 2021-07-06 | Microsoft Technology Licensing, Llc | Touch restriction region for touch-sensitive display |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599002A (zh) * | 2008-06-04 | 2009-12-09 | 佳能株式会社 | 用户接口的控制方法和信息处理装置 |
CN101615102A (zh) * | 2008-06-26 | 2009-12-30 | 鸿富锦精密工业(深圳)有限公司 | 基于触摸屏的输入方法 |
Family Cites Families (154)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4843538A (en) * | 1985-04-30 | 1989-06-27 | Prometrix Corporation | Multi-level dynamic menu which suppresses display of items previously designated as non-selectable |
US5237647A (en) * | 1989-09-15 | 1993-08-17 | Massachusetts Institute Of Technology | Computer aided drawing in three dimensions |
US5898434A (en) * | 1991-05-15 | 1999-04-27 | Apple Computer, Inc. | User interface system having programmable user interface elements |
US5349658A (en) * | 1991-11-01 | 1994-09-20 | Rourke Thomas C O | Graphical user interface |
US5351995A (en) | 1992-01-29 | 1994-10-04 | Apple Computer, Inc. | Double-sided, reversible electronic paper |
US5661773A (en) * | 1992-03-19 | 1997-08-26 | Wisconsin Alumni Research Foundation | Interface for radiation therapy machine |
US6097392A (en) * | 1992-09-10 | 2000-08-01 | Microsoft Corporation | Method and system of altering an attribute of a graphic object in a pen environment |
US5463725A (en) | 1992-12-31 | 1995-10-31 | International Business Machines Corp. | Data processing system graphical user interface which emulates printed material |
JPH06282368A (ja) * | 1993-02-01 | 1994-10-07 | Wacom Co Ltd | 情報処理装置の位置情報入力システム |
DE69430967T2 (de) * | 1993-04-30 | 2002-11-07 | Xerox Corp | Interaktives Kopiersystem |
DE69432199T2 (de) * | 1993-05-24 | 2004-01-08 | Sun Microsystems, Inc., Mountain View | Graphische Benutzerschnittstelle mit Verfahren zur Schnittstellebildung mit fernsteuernden Einrichtungen |
US5583984A (en) * | 1993-06-11 | 1996-12-10 | Apple Computer, Inc. | Computer system with graphical user interface including automated enclosures |
US5497776A (en) * | 1993-08-05 | 1996-03-12 | Olympus Optical Co., Ltd. | Ultrasonic image diagnosing apparatus for displaying three-dimensional image |
US5596697A (en) * | 1993-09-30 | 1997-01-21 | Apple Computer, Inc. | Method for routing items within a computer system |
US5491783A (en) * | 1993-12-30 | 1996-02-13 | International Business Machines Corporation | Method and apparatus for facilitating integrated icon-based operations in a data processing system |
EP0667567B1 (en) * | 1993-12-30 | 2001-10-17 | Xerox Corporation | Apparatus and method for supporting the implicit structure of freeform lists, outlines, text, tables, and diagrams in a gesture-based input system and editing system |
US5555369A (en) | 1994-02-14 | 1996-09-10 | Apple Computer, Inc. | Method of creating packages for a pointer-based computer system |
JPH07281810A (ja) * | 1994-04-02 | 1995-10-27 | Wacom Co Ltd | マルチデバイス入力システムを有するコンピュータシステム |
US5664128A (en) | 1995-02-23 | 1997-09-02 | Apple Computer, Inc. | Object storage apparatus for use with data sets in computer applications |
JPH0926769A (ja) * | 1995-07-10 | 1997-01-28 | Hitachi Ltd | 画像表示装置 |
JPH10192A (ja) | 1996-04-15 | 1998-01-06 | Olympus Optical Co Ltd | 超音波画像診断装置 |
US5969720A (en) | 1997-03-07 | 1999-10-19 | International Business Machines Corporation | Data processing system and method for implementing an informative container for a file system |
US6920619B1 (en) * | 1997-08-28 | 2005-07-19 | Slavoljub Milekic | User interface for removing an object from a display |
WO1999028811A1 (en) * | 1997-12-04 | 1999-06-10 | Northern Telecom Limited | Contextual gesture interface |
US6310610B1 (en) | 1997-12-04 | 2001-10-30 | Nortel Networks Limited | Intelligent touch display |
US6037937A (en) * | 1997-12-04 | 2000-03-14 | Nortel Networks Corporation | Navigation tool for graphical user interface |
US20010047263A1 (en) | 1997-12-18 | 2001-11-29 | Colin Donald Smith | Multimodal user interface |
US7800592B2 (en) | 2005-03-04 | 2010-09-21 | Apple Inc. | Hand held electronic device with multiple touch sensing devices |
US9292111B2 (en) * | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
KR100595926B1 (ko) | 1998-01-26 | 2006-07-05 | 웨인 웨스터만 | 수동 입력 통합 방법 및 장치 |
US8479122B2 (en) * | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
US6639577B2 (en) * | 1998-03-04 | 2003-10-28 | Gemstar-Tv Guide International, Inc. | Portable information display device with ergonomic bezel |
US6239798B1 (en) * | 1998-05-28 | 2001-05-29 | Sun Microsystems, Inc. | Methods and apparatus for a window access panel |
US6337698B1 (en) | 1998-11-20 | 2002-01-08 | Microsoft Corporation | Pen-based interface for a notepad computer |
US6507352B1 (en) * | 1998-12-23 | 2003-01-14 | Ncr Corporation | Apparatus and method for displaying a menu with an interactive retail terminal |
US6545669B1 (en) * | 1999-03-26 | 2003-04-08 | Husam Kinawi | Object-drag continuity between discontinuous touch-screens |
US6992687B1 (en) | 1999-12-07 | 2006-01-31 | Microsoft Corporation | Bookmarking and placemarking a displayed document in a computer system |
JP4803883B2 (ja) | 2000-01-31 | 2011-10-26 | キヤノン株式会社 | 位置情報処理装置及びその方法及びそのプログラム。 |
US6859909B1 (en) * | 2000-03-07 | 2005-02-22 | Microsoft Corporation | System and method for annotating web-based documents |
JP2001265523A (ja) | 2000-03-21 | 2001-09-28 | Sony Corp | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 |
US7290285B2 (en) * | 2000-06-30 | 2007-10-30 | Zinio Systems, Inc. | Systems and methods for distributing and viewing electronic documents |
JP2004525675A (ja) * | 2001-01-24 | 2004-08-26 | インターリンク エレクトロニクス インコーポレイテッド | ゲーム及びホーム・エンターテイメント・デバイス遠隔制御 |
US20020101457A1 (en) * | 2001-01-31 | 2002-08-01 | Microsoft Corporation | Bezel interface for small computing devices |
US20020116421A1 (en) * | 2001-02-17 | 2002-08-22 | Fox Harold L. | Method and system for page-like display, formating and processing of computer generated information on networked computers |
US7085274B1 (en) * | 2001-09-19 | 2006-08-01 | Juniper Networks, Inc. | Context-switched multi-stream pipelined reorder engine |
US20030179541A1 (en) | 2002-03-21 | 2003-09-25 | Peter Sullivan | Double screen portable computer |
US7158675B2 (en) * | 2002-05-14 | 2007-01-02 | Microsoft Corporation | Interfacing with ink |
US7330184B2 (en) * | 2002-06-12 | 2008-02-12 | Smart Technologies Ulc | System and method for recognizing connector gestures |
US7656393B2 (en) * | 2005-03-04 | 2010-02-02 | Apple Inc. | Electronic device having display and surrounding touch sensitive bezel for user interface and control |
US20090143141A1 (en) * | 2002-08-06 | 2009-06-04 | Igt | Intelligent Multiplayer Gaming System With Multi-Touch Display |
US9756349B2 (en) * | 2002-12-10 | 2017-09-05 | Sony Interactive Entertainment America Llc | User interface, system and method for controlling a video stream |
US8373660B2 (en) * | 2003-07-14 | 2013-02-12 | Matt Pallakoff | System and method for a portable multimedia client |
US20050101864A1 (en) * | 2003-10-23 | 2005-05-12 | Chuan Zheng | Ultrasound diagnostic imaging system and method for 3D qualitative display of 2D border tracings |
US7532196B2 (en) * | 2003-10-30 | 2009-05-12 | Microsoft Corporation | Distributed sensing techniques for mobile devices |
TWI275041B (en) * | 2003-12-10 | 2007-03-01 | Univ Nat Chiao Tung | System and method for constructing large-scaled drawings of similar objects |
US7743348B2 (en) * | 2004-06-30 | 2010-06-22 | Microsoft Corporation | Using physical objects to adjust attributes of an interactive display application |
US8381135B2 (en) * | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
US7728821B2 (en) * | 2004-08-06 | 2010-06-01 | Touchtable, Inc. | Touch detecting interactive display |
US8169410B2 (en) * | 2004-10-20 | 2012-05-01 | Nintendo Co., Ltd. | Gesture inputs for a portable display device |
US7454717B2 (en) | 2004-10-20 | 2008-11-18 | Microsoft Corporation | Delimiters for selection-action pen gesture phrases |
US20060092177A1 (en) * | 2004-10-30 | 2006-05-04 | Gabor Blasko | Input method and apparatus using tactile guidance and bi-directional segmented stroke |
JP4603931B2 (ja) * | 2005-05-16 | 2010-12-22 | 任天堂株式会社 | オブジェクト移動制御装置およびオブジェクト移動制御プログラム |
US20060262188A1 (en) | 2005-05-20 | 2006-11-23 | Oded Elyada | System and method for detecting changes in an environment |
WO2006137078A1 (en) * | 2005-06-20 | 2006-12-28 | Hewlett-Packard Development Company, L.P. | Method, article, apparatus and computer system for inputting a graphical object |
US7574628B2 (en) * | 2005-11-14 | 2009-08-11 | Hadi Qassoudi | Clickless tool |
US7636071B2 (en) * | 2005-11-30 | 2009-12-22 | Hewlett-Packard Development Company, L.P. | Providing information in a multi-screen device |
US7603633B2 (en) * | 2006-01-13 | 2009-10-13 | Microsoft Corporation | Position-based multi-stroke marking menus |
US20070097096A1 (en) * | 2006-03-25 | 2007-05-03 | Outland Research, Llc | Bimodal user interface paradigm for touch screen devices |
US20100045705A1 (en) * | 2006-03-30 | 2010-02-25 | Roel Vertegaal | Interaction techniques for flexible displays |
US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
US20080040692A1 (en) * | 2006-06-29 | 2008-02-14 | Microsoft Corporation | Gesture input |
US7831727B2 (en) * | 2006-09-11 | 2010-11-09 | Apple Computer, Inc. | Multi-content presentation of unassociated content types |
US8963842B2 (en) * | 2007-01-05 | 2015-02-24 | Visteon Global Technologies, Inc. | Integrated hardware and software user interface |
US7956847B2 (en) * | 2007-01-05 | 2011-06-07 | Apple Inc. | Gestures for controlling, manipulating, and editing of media files using touch sensitive devices |
US8970503B2 (en) * | 2007-01-05 | 2015-03-03 | Apple Inc. | Gestures for devices having one or more touch sensitive surfaces |
US10437459B2 (en) | 2007-01-07 | 2019-10-08 | Apple Inc. | Multitouch data fusion |
US7978182B2 (en) | 2007-01-07 | 2011-07-12 | Apple Inc. | Screen rotation gestures on a portable multifunction device |
US8607167B2 (en) * | 2007-01-07 | 2013-12-10 | Apple Inc. | Portable multifunction device, method, and graphical user interface for providing maps and directions |
US20080249682A1 (en) | 2007-04-06 | 2008-10-09 | Visteon Global Technologies, Inc. | Touch control bezel for display devices |
WO2008138030A1 (en) | 2007-05-11 | 2008-11-20 | Rpo Pty Limited | User-defined enablement protocol |
JP2008305087A (ja) | 2007-06-06 | 2008-12-18 | Toshiba Matsushita Display Technology Co Ltd | 表示装置 |
MY154070A (en) | 2007-07-19 | 2015-04-30 | Choy Heng Kah | Dual screen presentation notebook computer |
US20090033632A1 (en) * | 2007-07-30 | 2009-02-05 | Szolyga Thomas H | Integrated touch pad and pen-based tablet input system |
US8181122B2 (en) * | 2007-07-30 | 2012-05-15 | Perceptive Pixel Inc. | Graphical user interface for large-scale, multi-user, multi-touch systems |
KR20090013927A (ko) | 2007-08-03 | 2009-02-06 | 에스케이 텔레콤주식회사 | 전자책 뷰어화면 상에서의 메모 실행 방법 및 이에적용되는 장치 |
US20090054107A1 (en) * | 2007-08-20 | 2009-02-26 | Synaptics Incorporated | Handheld communication device and method for conference call initiation |
US7778118B2 (en) * | 2007-08-28 | 2010-08-17 | Garmin Ltd. | Watch device having touch-bezel user interface |
US8122384B2 (en) * | 2007-09-18 | 2012-02-21 | Palo Alto Research Center Incorporated | Method and apparatus for selecting an object within a user interface by performing a gesture |
US20090079699A1 (en) * | 2007-09-24 | 2009-03-26 | Motorola, Inc. | Method and device for associating objects |
EP2045700A1 (en) * | 2007-10-04 | 2009-04-08 | LG Electronics Inc. | Menu display method for a mobile communication terminal |
TWI358028B (en) * | 2007-12-25 | 2012-02-11 | Htc Corp | Electronic device capable of transferring object b |
US8395584B2 (en) * | 2007-12-31 | 2013-03-12 | Sony Corporation | Mobile terminals including multiple user interfaces on different faces thereof configured to be used in tandem and related methods of operation |
TW200943140A (en) | 2008-04-02 | 2009-10-16 | Asustek Comp Inc | Electronic apparatus and control method thereof |
KR20090106755A (ko) | 2008-04-07 | 2009-10-12 | 주식회사 케이티테크 | 메모 입력 기능을 제공하는 방법, 단말 및 그 방법을실행하는 프로그램이 기록된 기록매체 |
US20090284478A1 (en) | 2008-05-15 | 2009-11-19 | Microsoft Corporation | Multi-Contact and Single-Contact Input |
EP2304588A4 (en) | 2008-06-11 | 2011-12-21 | Teliris Inc | SYSTEM, METHOD AND DEVICE FOR SURFACE COMPUTING COLLABORATION |
US20090327975A1 (en) | 2008-06-27 | 2009-12-31 | Stedman Roy W | Multi-Touch Sorting Gesture |
US8245156B2 (en) * | 2008-06-28 | 2012-08-14 | Apple Inc. | Radial menu selection |
WO2010005423A1 (en) * | 2008-07-07 | 2010-01-14 | Hewlett-Packard Development Company, L.P. | Tablet computers having an internal antenna |
JP5606669B2 (ja) * | 2008-07-16 | 2014-10-15 | 任天堂株式会社 | 3次元パズルゲーム装置、ゲームプログラム、3次元パズルゲームシステムおよびゲーム制御方法 |
US8159455B2 (en) * | 2008-07-18 | 2012-04-17 | Apple Inc. | Methods and apparatus for processing combinations of kinematical inputs |
US8390577B2 (en) * | 2008-07-25 | 2013-03-05 | Intuilab | Continuous recognition of multi-touch gestures |
US8924892B2 (en) * | 2008-08-22 | 2014-12-30 | Fuji Xerox Co., Ltd. | Multiple selection on devices with many gestures |
US8686953B2 (en) * | 2008-09-12 | 2014-04-01 | Qualcomm Incorporated | Orienting a displayed element relative to a user |
US8600446B2 (en) * | 2008-09-26 | 2013-12-03 | Htc Corporation | Mobile device interface with dual windows |
US9250797B2 (en) * | 2008-09-30 | 2016-02-02 | Verizon Patent And Licensing Inc. | Touch gesture interface apparatuses, systems, and methods |
KR101586627B1 (ko) * | 2008-10-06 | 2016-01-19 | 삼성전자주식회사 | 멀티 터치를 이용한 리스트 관리 방법 및 장치 |
KR101503835B1 (ko) * | 2008-10-13 | 2015-03-18 | 삼성전자주식회사 | 멀티터치를 이용한 오브젝트 관리 방법 및 장치 |
JP4683110B2 (ja) * | 2008-10-17 | 2011-05-11 | ソニー株式会社 | 表示装置、表示方法及びプログラム |
KR20100050103A (ko) * | 2008-11-05 | 2010-05-13 | 엘지전자 주식회사 | 맵 상에서의 3차원 개체 제어방법과 이를 이용한 이동 단말기 |
JP5268595B2 (ja) * | 2008-11-28 | 2013-08-21 | ソニー株式会社 | 画像処理装置、画像表示方法及び画像表示プログラム |
US20100185949A1 (en) * | 2008-12-09 | 2010-07-22 | Denny Jaeger | Method for using gesture objects for computer control |
US8279184B2 (en) * | 2009-01-27 | 2012-10-02 | Research In Motion Limited | Electronic device including a touchscreen and method |
US8219937B2 (en) * | 2009-02-09 | 2012-07-10 | Microsoft Corporation | Manipulation of graphical elements on graphical user interface via multi-touch gestures |
TWI370473B (en) * | 2009-02-20 | 2012-08-11 | Wistron Corp | Switch structure mounted on the sidewall of circuit boards for electronic devices and manufacturing methods of the circuit boards thereof |
CA2753300A1 (en) * | 2009-02-23 | 2010-08-26 | Provo Craft And Novelty, Inc. | System for controlling an electronic cutting machine |
US9250788B2 (en) | 2009-03-18 | 2016-02-02 | IdentifyMine, Inc. | Gesture handlers of a gesture engine |
US8370762B2 (en) | 2009-04-10 | 2013-02-05 | Cellco Partnership | Mobile functional icon use in operational area in touch panel devices |
JP5229083B2 (ja) | 2009-04-14 | 2013-07-03 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9405456B2 (en) | 2009-06-08 | 2016-08-02 | Xerox Corporation | Manipulation of displayed objects by virtual magnetism |
US20110055753A1 (en) * | 2009-08-31 | 2011-03-03 | Horodezky Samuel J | User interface methods providing searching functionality |
US9262063B2 (en) * | 2009-09-02 | 2016-02-16 | Amazon Technologies, Inc. | Touch-screen user interface |
US9274699B2 (en) * | 2009-09-03 | 2016-03-01 | Obscura Digital | User interface for a large scale multi-user, multi-touch system |
US20110126094A1 (en) * | 2009-11-24 | 2011-05-26 | Horodezky Samuel J | Method of modifying commands on a touch screen user interface |
US20110143769A1 (en) * | 2009-12-16 | 2011-06-16 | Microsoft Corporation | Dual display mobile communication device |
US20110167336A1 (en) * | 2010-01-04 | 2011-07-07 | Hit Development Llc | Gesture-based web site design |
US8261213B2 (en) * | 2010-01-28 | 2012-09-04 | Microsoft Corporation | Brush, carbon-copy, and fill gestures |
US20110185299A1 (en) * | 2010-01-28 | 2011-07-28 | Microsoft Corporation | Stamp Gestures |
US9411504B2 (en) * | 2010-01-28 | 2016-08-09 | Microsoft Technology Licensing, Llc | Copy and staple gestures |
US20110185320A1 (en) * | 2010-01-28 | 2011-07-28 | Microsoft Corporation | Cross-reference Gestures |
US20110191719A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Cut, Punch-Out, and Rip Gestures |
US20110191704A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Contextual multiplexing gestures |
US9519356B2 (en) * | 2010-02-04 | 2016-12-13 | Microsoft Technology Licensing, Llc | Link gestures |
US20110199386A1 (en) | 2010-02-12 | 2011-08-18 | Honeywell International Inc. | Overlay feature to provide user assistance in a multi-touch interactive display environment |
US20110231796A1 (en) | 2010-02-16 | 2011-09-22 | Jose Manuel Vigil | Methods for navigating a touch screen device in conjunction with gestures |
US9965165B2 (en) | 2010-02-19 | 2018-05-08 | Microsoft Technology Licensing, Llc | Multi-finger gestures |
US9274682B2 (en) | 2010-02-19 | 2016-03-01 | Microsoft Technology Licensing, Llc | Off-screen gestures to create on-screen input |
US9367205B2 (en) | 2010-02-19 | 2016-06-14 | Microsoft Technolgoy Licensing, Llc | Radial menus with bezel gestures |
US20110209098A1 (en) | 2010-02-19 | 2011-08-25 | Hinckley Kenneth P | On and Off-Screen Gesture Combinations |
US9310994B2 (en) | 2010-02-19 | 2016-04-12 | Microsoft Technology Licensing, Llc | Use of bezel as an input mechanism |
US8799827B2 (en) | 2010-02-19 | 2014-08-05 | Microsoft Corporation | Page manipulations using on and off-screen gestures |
US20110209101A1 (en) | 2010-02-25 | 2011-08-25 | Hinckley Kenneth P | Multi-screen pinch-to-pocket gesture |
US9454304B2 (en) | 2010-02-25 | 2016-09-27 | Microsoft Technology Licensing, Llc | Multi-screen dual tap gesture |
US8539384B2 (en) | 2010-02-25 | 2013-09-17 | Microsoft Corporation | Multi-screen pinch and expand gestures |
US8473870B2 (en) | 2010-02-25 | 2013-06-25 | Microsoft Corporation | Multi-screen hold and drag gesture |
US8751970B2 (en) | 2010-02-25 | 2014-06-10 | Microsoft Corporation | Multi-screen synchronous slide gesture |
US20110209089A1 (en) | 2010-02-25 | 2011-08-25 | Hinckley Kenneth P | Multi-screen object-hold and page-change gesture |
US9075522B2 (en) | 2010-02-25 | 2015-07-07 | Microsoft Technology Licensing, Llc | Multi-screen bookmark hold gesture |
US20110209058A1 (en) | 2010-02-25 | 2011-08-25 | Microsoft Corporation | Multi-screen hold and tap gesture |
US8707174B2 (en) | 2010-02-25 | 2014-04-22 | Microsoft Corporation | Multi-screen hold and page-flip gesture |
US20110291964A1 (en) | 2010-06-01 | 2011-12-01 | Kno, Inc. | Apparatus and Method for Gesture Control of a Dual Panel Electronic Device |
USD631043S1 (en) * | 2010-09-12 | 2011-01-18 | Steven Kell | Electronic dual screen personal tablet computer with integrated stylus |
EP2437153A3 (en) * | 2010-10-01 | 2016-10-05 | Samsung Electronics Co., Ltd. | Apparatus and method for turning e-book pages in portable terminal |
US8495522B2 (en) * | 2010-10-18 | 2013-07-23 | Nokia Corporation | Navigation in a display |
-
2010
- 2010-01-27 US US12/695,064 patent/US8239785B2/en active Active
-
2011
- 2011-01-06 WO PCT/US2011/020410 patent/WO2011094044A2/en active Application Filing
- 2011-01-06 EP EP11737428.0A patent/EP2529288B1/en active Active
- 2011-01-06 CN CN201180007100.1A patent/CN102725711B/zh active Active
-
2013
- 2013-04-05 HK HK13104183.4A patent/HK1177020A1/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599002A (zh) * | 2008-06-04 | 2009-12-09 | 佳能株式会社 | 用户接口的控制方法和信息处理装置 |
CN101615102A (zh) * | 2008-06-26 | 2009-12-30 | 鸿富锦精密工业(深圳)有限公司 | 基于触摸屏的输入方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2529288A4 (en) | 2013-12-04 |
EP2529288A2 (en) | 2012-12-05 |
WO2011094044A3 (en) | 2011-11-17 |
US20110185318A1 (en) | 2011-07-28 |
HK1177020A1 (zh) | 2013-08-09 |
WO2011094044A2 (en) | 2011-08-04 |
EP2529288B1 (en) | 2015-11-04 |
US8239785B2 (en) | 2012-08-07 |
CN102725711A (zh) | 2012-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102725711B (zh) | 边缘手势 | |
US9857970B2 (en) | Copy and staple gestures | |
US10282086B2 (en) | Brush, carbon-copy, and fill gestures | |
US20170052699A1 (en) | Link Gestures | |
US20110191719A1 (en) | Cut, Punch-Out, and Rip Gestures | |
US20110191704A1 (en) | Contextual multiplexing gestures | |
US20110185299A1 (en) | Stamp Gestures | |
US20110185320A1 (en) | Cross-reference Gestures | |
US11048333B2 (en) | System and method for close-range movement tracking | |
US20100251189A1 (en) | Using gesture objects to replace menus for computer control | |
US20130014041A1 (en) | Using gesture objects to replace menus for computer control | |
JP5508269B2 (ja) | コンピュータディスプレイ上でデジタル画像を操作するためのシステム及び方法 | |
CN110427236A (zh) | 一种渲染方法及装置 | |
US20130069984A1 (en) | Method and device for showing page tore-off effect | |
CN108628455A (zh) | 一种基于触摸屏手势识别的虚拟沙画绘制方法 | |
CN103927110B (zh) | 显示控制设备、显示控制方法和计算机可读记录介质 | |
JP5667334B2 (ja) | 図形評価プログラムおよび図形評価装置 | |
KR102240410B1 (ko) | 학습장치 및 학습 방법 | |
KR20200069115A (ko) | 학습장치 및 학습 방법 | |
Ulrich | Flash CS4 Professional for Windows and Macintosh: Visual QuickStart Guide |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150729 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20150729 Address after: Washington State Applicant after: Micro soft technique license Co., Ltd Address before: Washington State Applicant before: Microsoft Corp. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |