CN104823144A - 交叉滑动手势 - Google Patents

Abstract

讨论了涉及滚动、对象选择和对象移动的技术。由用户输入划击，例如通过使用触敏表面。划击针对其中具有对象的可滚动表面。在满足条件之前结束的划击选择对象，并且在满足条件之后结束的划击则移动对象或其表示。条件可以是距离。选择可以仅在划击满足阈值条件时发生，所述阈值条件诸如具有特定方向（例如垂直于用于滚动表面的方向）或移动最小距离。在滚动方向上（例如水平）的划击可以在该方向上滚动表面，并且在另一方向上（例如竖直）的划击可以选择和移动对象二者。所选择的对象可以在移动之前在轨道上滑动。

Description

交叉滑动手势

背景技术

在图形用户界面（GUI）的领域中，已经使用许多技术来滚动或平移（pan）显示器上所显示的项目。另外，通常便利的是允许用户移动项目并且将项目选择为诸如删除、激活等等之类的操作的目标。例如，许多GUI环境包括具有可以一起滚动、激活和重新布置的图标或铺块（tile）的启动界面或图形桌面。典型地，不同类型的输入手势被用于与可滚动表面及其项目的这些类型的交互中的每一个。也就是说，可以存在分别用以滚动、选择和重新布置的不同输入手势。使这些类型的交互流线化的机会之前尚未被领会到。增加不同类型的输入设备（特别地触敏显示器（还作为二维数字化器起作用的显示器））的使用已引入改进可滚动项目集的直观性和可用性的机会。

以下讨论涉及高效地选择和重新布置可滚动集合中的项目的技术。

发明内容

仅仅为了引入在以下具体实施方式中讨论的一些概念而包括以下发明内容。该发明内容不是详尽的并且不意图描绘所要求保护的主题的范围，所要求保护的主题的范围由结尾处所呈现的权利要求来阐明。

讨论了涉及滚动、对象选择和对象移动的技术。由用户输入划击（stroke），例如通过使用触敏表面。划击针对其中具有对象的可滚动表面。在满足条件之前结束的划击选择对象，并且在满足条件之后结束的划击则移动对象或其表示。条件可以是距离，尽管可以使用其它条件，诸如速度、接触几何形状、随时间的增量等。选择可以仅在划击满足阈值条件时发生，所述阈值条件诸如具有特定方向（例如垂直于用于滚动表面的方向）或移动最小距离。在滚动方向上（例如水平）的划击可以在该方向上滚动表面，并且在另一方向上（例如竖直）的划击可以选择和移动对象二者。所选择的对象可以在移动之前在轨道上滑动。

在下文将参照结合附图考虑的以下详细描述来解释许多随附特征。

附图说明

本描述将从根据附图阅读的以下详细说明被更好地理解，其中相同参考标记被用来指代随附描述中的相同部分。

图1示出平移用户界面。

图2示出移动操作的示例。

图3示出选择和移动项目的单划击多手势方案。

图4示出使用图3的手势方案的过程。

图5示出不同方向上的划击可以如何映射到不同手势或命令。

图6示出曲折的划击可以如何选择或移动目标项目的附加细节。

图7示出使用减速带来减慢拖拽目标项目或其表示的速度的实施例。

图8示出其中划击选择目标项目但是目标项目不滑动的实施例。

图9示出用于实现本文所描述的实施例的计算设备。

具体实施方式

以下所讨论的实施例涉及允许划击输入选择或移动可滚动表面中所显示的项目。将首先描述可滚动表面的细节。接着将描述讨论然后将转向可以如何动态地监视进行中的划击的特性以在不同阶段处将划击映射到不同操作（例如选择、移动）。

图1示出平移用户界面。如帧A中所示，用户界面具有视图区域100，以及包含项目104的表面102。表面102具有边缘——边缘1 106和边缘2 108。表面102可以比视图区域100更大，并且用户可以平移或滚动表面102以查看不同项目104。平移可以涉及显示表面102通过视图区域100的平滑或连续移动。存在用户可以发起、控制和终止表面102的平移的众多方式。考虑以下示例。用户可以利用通过输入设备所输入的划击来拖拽表面102。输入设备可能是鼠标、二维手势检测系统（例如触摸表面）、三维手势检测系统（例如微软公司的Kinect（TM））、数字笔或其它输入设备。划击的终止可以使表面102利用惯性滑行到停止、突然停止或“弹跳”。用户可以通过保持/释放物理按钮、维持/终了触摸手势、激活/去激活用户界面按钮、保持/改变3D手势等等来连续地激活/去激活平移。出于本文中的讨论的目的，划击将被视为由用户控制的移动生成的输入。划击输入可以例如从以下得到：在接触或压力感测表面上移动的手指或触笔、鼠标移动、被相机识别的物理对象或身体部分、操纵杆、或允许用户在两个或三个维度上控制任意输入点或线的位置的任何其它系统。基于诸如在时间和/或位置方面的紧密度之类的启发法，这样的输入点的序列可以被内插为线或者可以成组为单元。

表面102的平移动作可以看似是平滑或连续的（可能具有某个最小移动增量）。平移动作还可以在平移结束处变化。例如，当平移要结束时，表面102可以自动对齐到最近点，诸如标记、分页符、内容特征等。或者，表面102可以突然停止、略微“弹跳”或逐渐滑行至停息。在一些情形中，表面102可以平移到内容104的任何任意点，而在其它情形中可以约束平移停止点。在一些实施例中，平移可以根据用户输入、根据平移到视图中的内容特征或标记而在速度方面变化。

虽然本文所描述的示例可以示出矩形窗口和具有从左向右平移的矩形平移表面的视图区域，但是本文所描述的实施例可以实现为具有不同的窗口和表面形状并且具有不同的平移方向。例如，当水平平移或滚动时，或者甚至当表面在所有方向上都比视图区域大并且表面可以在任意方向上平移时，可以使用本文所描述的概念和实施例。此外，窗口或观看区域的任何提及可以是指显示器的正式定义的子区以及显示器的整个区域。

返回到图1，将描述默认平移行为。在图1的帧A中，用户能够在第一方向（从边缘1 106到边缘2 108的方向）或第二方向（从边缘2 108到边缘1 106的方向）上平移表面102。当存在指示第二方向上的平移的诸如水平划击之类的用户输入时，如帧B中所示，边缘2 108朝向视图区域100移动。当边缘2 108到达（靠近、触及或进入）视图区域100时，默认平移行为是自动停止平移。帧C示出在第一方向上平移之后表面的位置。当用户提供输入以在第二方向上平移时，表面102类似地向视图区域100移动并且在视图区域100处停止。

图2示出移动操作的示例。在帧A处，例如通过用户的划击、点击或其它输入来选择目标项目104A。一旦被选择，如帧B处所示，就由用户相对于视图区域100移动目标项目104A。在一个实施例中，通过选择目标项目104A并且然后滚动表面102同时目标项目104A相对于视图区域100保持就位，可以完成相对移动。在帧C处，用户输入使目标项目104A的移动结束，并且在帧D处，项目104被重新布置以适应目标项目104A在由用户指定的槽或位置处的放置。虽然图2示出被显示为移动的铺块或图标，但是移动操作也可以利用其它技术执行，诸如显示目标项目104A的重像、光标或任何其它种类的图形表示。在一个实施例中，表面102已定义将项目104自动放置到的槽或位置。也就是说，表面102可以具有项目104被约束到的预定义的位置（一维或二维）、坐标（例如排列或次序）或区（例如网格的框）。项目104的添加、移动或删除可以导致附近槽或位置中的项目移位。

实施例可以关于显示什么以及何时的细微之处而变化。例如，在已开始交叉滑动手势（在选择/移动方向上或逆着平移方向的划击）之后，目标项目可以立即跳出其在表面上的集合并且其它项目被重新布置以闭合目标项目之前所占据的空间。允许项目在父容器内的两个维度上自由移动；当其这样做时，其它项目可以在其移动时被重新布置在其周围。

图3示出选择和移动项目104的单划击多手势方案。最初，例如通过应用、操作系统或其组合检测划击120。目标项目104A被标识为划击120的目标（即与划击120相关联）。虽然划击120被示出为发生在目标项目104A上（例如物理表面上的触摸或GUI指针的拖拽），但是划击120可以与目标项目104A以任何方式相关联，诸如通过确定目标项目104A是距划击120最近的项目104，确定划击处于目标项目104A的给定范围内，确定划击120源自与目标项目104A相关联的边界内，或用于使输入与项目104相关联的任何其它基础。

当划击120到达阈值选择距离122时，则认为目标项目104A被选择。术语“距离”可以例如是指划击120的开始和结束点之间的直线距离、诸如竖直或水平之类的给定方向上的位移（例如划击120的“x”或“y”幅度）、划击的路径长度（例如划击120的点之间的累计距离）或者其它。在一个实施例中，在阈值选择距离122之后，目标项目104A或代表性图形（阴影、光标、标记等）可以根据划击120的连续移动而线性移动。在另一实施例中，划击120仅仅继续而不显示移动指示符（在又一实施例中，目标项目104A还在选择距离122的满足之前滑动并且在划击120在其终止时未能满足选择距离122的情况下滑动回到其原始位置）。如果划击在阈值选择距离122和移动阈值距离124之间结束，则目标项目104A被选择并且不移动。选择可以通过在图形上区分目标项目104A来指示，诸如通过改变目标项目104A的图形内容（例如“x”或校验标记的添加），通过使目标项目104A重新着色、闪光或变灰，增强或添加界线，更改或添加表面外部的图形等等。

如果划击102到达移动阈值距离124，则可以开始每次划击120的移动的目标项目104A（或其图形表示）的自由形式移动（例如划击120拖拽目标项目104A或其表示）。可以使用释放阈值距离126。如果划击120经过释放阈值距离126而结束，则目标项目104A将根据划击120的结束位置而移动。如果划击120在释放阈值距离126之前结束，则目标项目104A的移动不发生，这可能通过在其原始位置（或可能地略微更改的位置以指示其已被选择）处显示目标项目104A，通过不显示目标项目104A的表示等来指示。当目标项目104A的移动发生时，目标项目104A可能重定位到其包含表面中的另一位置或槽。可以类似地复制目标项目104A。其它项目104可能被重新布置以适应目标项目104A在新位置或槽处的放置。移动可以替代性地导致目标项目104A从其包含表面被移动或复制，例如到另一GUI元件。移动可以可替换地导致目标项目104A被添加或移动到文件夹类型的项目104。

图4示出使用图3的手势方案的过程。在步骤140处，划击120开始并且确定划击120与目标项目104A相关联。过程进入监视循环141，其监视划击120以确定其映射到哪些手势或其调用哪些操作。在步骤142处，接收划击120的更新（例如新接触点或点集）。在步骤144处，确定划击120是否已终止（例如“向上”事件），并且如果是这样，则采取适当的动作，其在下文描述。否则，过程进行到步骤146，其中确定划击是否已移动或到达选择阈值距离122。如果尚未到达选择阈值距离122，则循环继续等待划击120的下一更新。如果已到达选择阈值距离122，则在步骤148处，目标项目104A被指定为选择或给定被选状态（可选地目标项目104A或其表示可以在该阶段“在轨道上”移动）。在步骤150处，确定是否已到达移动阈值距离124。如果已到达，则在步骤152处，目标项目104A（或其表示）依照划击120自由地移动（例如根据划击120的最新点的移动而移动）。在一个实施例中，在步骤144处，可以使用释放阈值距离126来确定目标项目104A是否已移动或其是否替代性地仅已被选择。

图5示出不同方向上的划击170,172,174,176可以如何映射到用于可滚动表面的不同手势或命令。尽管在图4中未示出，但是其过程也可以涉及基本上在第一方向（例如上下）上移动的划击与基本上在第二方向（例如左右）上移动的划击之间的区别。诸如第一方向上的水平划击174,176之类的划击可以映射到滚动手势，并且诸如竖直划击170,172之类的划击可以映射到选择/移动手势。在一个实施例中，第一和第二方向可以基本上垂直。例如，在竖直的45度内的划击170,172被视为选择/移动手势和划击，并且在水平的45度内的划击174,176被视为滚动表面102的滚动手势。要指出的是，第一和第二方向不需要垂直，并且可以使用除45度之外的公差。

总结来说，任意划击在其进行时被评估，例如通过手势识别引擎。根据划击的方向（例如平均或内插方向、靠近划击的引领点的方向、从开始点到最新点的矢量等），划击滚动或平移表面102，或者划击被评估为潜在的选择或移动手势，如例如图4中那样。在一个阶段，划击可以映射到选择手势，并且在另一阶段，相同的连续划击可以映射到移动手势以允许目标项目的移动。为了帮助标识手势的类型，划击的初始部分可以被快速分析以确定划击的方向，并且然后该方向被用来选择平移表面或选择/移动目标项目。

图5示出基本上在一个方向上的滚动或平移表面102的划击170,172，以及基本上在另一方向上的选择或移动目标项目104A的划击174,176。也就是说，使用类似于图4的那个的过程，但是还存在确定划击相对于表面102的方向的步骤。如果划击基本上在第一方向（例如左或右）上移动，则由划击平移或滑动或滚动表面。如果划击基本上在第二方向（例如上或下）上移动，则划击选择或移动目标项目。要指出的是，方向可以具有相对于表面102的任何任意取向。

图6示出曲折划击190可以如何选择或移动目标项目104A的附加细节。假定划击190的方向已经被分析并且划击190不是滚动手势。在帧A处，对照阈值方向距离192评估划击190。当划击190经过阈值方向距离192时，目标项目104A被选择并且可选地开始在与选择/移动手势相关联的选择/移动方向（例如竖直）上滑动。如帧B中所示，划击190具有部分190A，其延伸超出阈值方向距离192并且具有在选择/移动方向上移动的距离194；目标项目104A（或其表示）可以滑动距离194。帧C对应于划击190在划击190（在选择/移动方向上）移动小于重新定位阈值距离196的距离之前结束的时候。帧D对应于划击190（在选择/移动方向上）移动大于重新定位阈值距离196的距离的时候。在帧D中，目标项目104A或其表示从“轨道”被移除并且开始根据划击190的连续进行而自由移动（参见划击190的第二部分190B）。

图7示出使用减速带来减慢拖拽目标项目104A或其表示的速度的实施例。减速带是其中相对于控制划击的移动速率而言，滑动目标项目104A或其表示的移动速率减小的区，例如从1比1的比率到3比1的比率（划击的3个像素移动目标项目104A或其表示1个像素）。这样的减速带200可以在选择阈值距离124处或靠近它的某一地方实现以为用户提供项目即将从选择转变到移动的某种反馈，并且可能地还提供选择模式与移动模式之间的某种描绘；希望仅选择项目的用户将不大可能将项目拖拽得太远而开始移动项目。

图8示出其中划击220选择目标项目104A但是目标项目104A不在选择与自由移动之间滑动的实施例。在帧A处，划击220开始但是尚未满足选择条件（例如在选择方向上移动的距离）。在帧B处，划击220已被确定为满足选择条件并且目标项目104A被选择和增强以指示其选择（例如通过阴影、目标项目104A的增强界线、动画、图形标记的添加等）。在帧C处，划击220继续，并且在帧D处，当划击满足移动条件时（例如足够的距离或可能地在方向上的改变），诸如光标222或目标项目104A之类的图形根据划击220移动。在一个实施例中，特别地在如图8中所示的项目104的列表的情形中，划击的移动仅在受约束的方向上移动图形，诸如在滚动方向上（在图8中，水平地移动）。

在另一实施例中，选择条件和移动条件是同一个。换言之，一旦选择项目，其就立即处于其中它通过选择划击而自由移动（或可能地约束在滚动方向上）的模式，并且移动是否实际发生由在划击结束时发现的条件（例如如果划击在有效目标处或附近结束）来确定。

关于针对阈值和条件的具体值，值可以根据实现细节而变化，诸如显示器大小和分辨率、输入设备、开发者设定的参数等等。在一个实施例中，一个阈值可以从另一阈值计算，或者两个阈值可以是基值的比率。

结论

图9示出用于实现本文所描述的实施例的计算设备。计算设备可以具有显示器310、包括处理器312的处理组件311、易失性存储装置（存储器）313、非易失性存储装置314和一个或多个输入设备316。输入设备316可以是触敏表面（可能地与显示器310集成）、鼠标、3D运动传感器（例如相机）、压敏平板表面等等。

上文所讨论的实施例和特征可以以存储在存储装置易失性和/或非易失性计算机或设备可读媒体中的信息的形式来实现。这被认为至少包括诸如光学存储装置（例如紧致盘只读存储器（CD-ROM））、磁性媒体、闪速只读存储器（ROM）之类的媒体，或者以物理形式的物理数字信息的其它手段（不被解释为包括能量或信号本身）。所存储的信息可以是以机器可执行指令（例如经编译的可执行二进制代码）、源代码、字节代码、或可以被用来使得计算设备能够或者配置计算设备以执行上文所讨论的各个实施例的任何其它信息的形式。此外，这还被认为至少包括诸如随机存取存储器（RAM）之类的易失性存储器和/或存储诸如在程序的运行期间实行实施例的中央处理单元（CPU）指令之类的信息的虚拟存储器，以及存储允许加载和运行程序或可执行文件的信息的非易失性媒体。实施例和特征可以在任何类型的计算设备上执行，包括便携式设备、工作站、服务器、移动无线设备等。

Claims (10)

1.一种显示可平移表面的方法，方法由包括输入设备和显示器的计算设备执行，方法包括：

在显示器上在其中表面的部分被显示和平移的视图区域中显示表面，其中表面根据用户输入平移以导致表面的部分在视图区域中被显示和平移，表面包括多个图形项目，其中用户能够在表面内选择和重新布置图形项目；

从输入设备接收由用户输入的划击输入，划击输入与图形项目之一相关联；

确定划击输入已满足第一阈值条件并且作为响应导致图形项目被选择；以及

在划击输入已满足第一阈值条件之后，确定划击输入已满足第二阈值条件并且作为响应使得相同划击输入能够移动图形项目或其图形表示。

2.根据权利要求1的方法，其中表面仅在相对于视图区域的一个维度上可平移，并且方法还包括仅在划击并不基本上处于所述一个维度上时或仅在划击基本上垂直于所述一个维度时，允许划击输入导致图形项目被选择。

3.根据权利要求1的方法，还包括响应于确定已达到第一阈值，将图形项目或其表示显示为依照划击输入移动。

4.根据权利要求3的方法，其中仅允许表面在相对于视图区域的一个维度上平移，并且方法还包括将图形项目的移动约束到垂直于所述一个维度的维度，同时在划击输入满足第二阈值条件之前由划击输入移动图形项目或其表示。

5.根据权利要求4的方法，其中在划击输入满足第二阈值条件之后，允许通过划击输入在相对于其它图形项目的任意方向上移动图形对象，其中图形对象可通过划击输入如此移动或者通过另一划击输入如此移动，所述另一划击输入与所述划击输入并发并且相对于视图区域平移表面，同时图形项目根据第一划击输入而定位在视图区域中。

6.一种由处理设备执行的方法，方法包括：

在计算设备的显示器上显示可滚动区域，其中在给定时间段期间，允许可滚动区域仅在相对于显示器的一个维度上滚动，其中可滚动区域包括由计算设备的用户可选择和可重新定位的图形对象，其中可滚动区域包括相对于可滚动区域固定的多个槽，并且其中当用户完成重新定位图形对象时，图形对象自动定位在槽之一中；

当输入划击由用户输入时通过使用计算设备监视输入划击，输入划击基本上垂直于所述一个维度，监视使得：

　　在满足第一条件之前结束的第一输入划击选择对应图形对象而不导致图形对象改变槽；以及

　　在满足第一条件之后结束的第二输入划击导致对应图形对象通过根据第二输入划击改变槽而重新定位。

7.根据权利要求6的方法，其中执行监视使得在满足第二条件之前结束的输入划击不选择任何图形对象并且不使任何图形对象重新定位。

8.根据权利要求6的方法，还包括允许通过输入划击仅在基本上垂直于一个方向的方向上移动图形对象，直到确定输入划击满足第一条件为止，在此之后，输入划击在任意方向上控制图形对象的移动。

9.一种计算设备，包括：

处理器；

显示器；

输入设备；

存储包括用户可选择和用户可移动的对象的用户可滚动表面的存储装置，表面在由处理器运行时允许计算设备的用户利用输入设备在第一方向上滚动表面，使得显示器示出在显示器上滚动的对象；以及

在利用输入设备输入划击时监视划击的处理器，划击瞄准对象，其中监视将瞄准对象的划击映射到多阶段手势，使得划击的第一部分映射到选择对象的选择手势并且划击的第二阶段映射到移动手势。

10.根据权利要求9的移动设备，其中划击的第一部分在受约束的路径上移动对象或其图形表示，并且划击的第二部分在没有约束的情况下移动对象或其图形表示。