CN103492998A

CN103492998A - 分层级区域中的多输入手势

Info

Publication number: CN103492998A
Application number: CN201280020262.3A
Authority: CN
Inventors: S.H.赖特; A.帕特尔; P.A.胡弗; N.R.沃戈纳; M.J.佩滕
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2011-04-27
Filing date: 2012-04-26
Publication date: 2014-01-01
Also published as: US20120278712A1; EP2702463A2; WO2012149229A2; WO2012149229A3; KR20140031234A; JP2014514668A; EP2702463A4

Abstract

本发明描述了用于分层级区域中多输入手势的技术和装置。这些技术使得应用程序能够适当地响应针对应用程序界面的一个或多个分层级相关区域做出的多输入手势。

Description

分层级区域中的多输入手势

背景技术

多输入手势允许用户选择性地操控诸如网页之类的应用程序界面内的区域。这些多输入手势允许许多用单输入手势很难或不可能完成的操控。例如，多输入手势可以允许放大或缩小网页中地图、平移通过电子表格界面上的列表、或者旋转图形界面的图片。然而，用于处理多输入手势的常规技术经常将手势与用户不预期的区域关联。

发明内容

本文献描述了用于分层级区域中多输入手势的技术。这些技术确定了多个分层级相关区域中关联多输入手势的适当区域。通过这样做，用户可以将多输入手势输入到应用程序界面中，并且作为响应，应用程序界面逻辑地且/或按照用户的预期操控区域。

本发明内容被提供来介绍在下面的具体实施方式中进一步描述的用于分层级区域中多输入手势的简化构思。本发明内容不旨在标识要求保护的主题的基本特征，也不旨在用于确定要求保护的主题的范围。用于分层级区域中多输入手势的技术和/或装置在本文中也单独地或以组合方式被称为如上下文所允许的“技术”。

附图说明

参照附图描述用于分层级区域中多输入手势的实施例。贯穿附图，使用相同的数字指示相似的特征和组件：

图1图示了可以在其中实现用于分层级区域中多输入手势的技术的示例系统。

图2图示了图1的计算设备的示例实施例。

图3图示了图1的远程提供者的示例实施例。

图4图示了用于分层级区域中多输入手势的示例方法。

图5更详细地图示了图1的触摸屏显示器和应用程序界面。

图6图示了针对图1和图5的应用程序界面之一做出的多输入手势和来自上级（superior）区域的扩展触摸屏显示器内应用程序界面的响应。

图7图示了用于分层级区域中多输入手势的示例方法，其可以与图4中图示的方法的部分分离地操作、与之协力操作或作为图4图示的方法的部分的更详细的示例而操作。

图8图示了对通过图1、5或6的应用程序界面之一做出的多输入手势的响应，该响应是来自下级（inferior）区域的扩展应用程序界面内的该区域的响应。

图9图示了可以在其中实现用于分层级区域中多输入手势的技术的示例设备。

具体实施方式

概述

本文献描述了用于分层级区域中多输入手势的技术和装置。这些技术使得应用程序能够适当地响应针对应用程序界面的一个或多个分层级相关区域做出的多输入手势。

例如，假设用户希望扩展应用程序界面以适合用户的屏幕。也假设应用程序具有三个不同的区域，其中一个在层级上优于其他两个。如果用户做出放大（例如展开或发散）多输入手势，其中他或她的手指应用于不同区域，则当前技术经常扩展该应用程序界面内的下级区域之一或者平移两个下级区域。

然而，本文描述的技术适当地将多输入手势与上级区域关联，从而使得应用程序界面充满用户的屏幕。这些技术在某些情况下可以基于区域的层级和每个区域关于接收到的多输入手势的能力来这样做。

这只是所述技术使得用户能够操控应用程序界面的区域的许多方式中的一个示例。下面描述许多其他示例以及所述技术操作的方式。

该讨论继续描述在其中所述技术可以操作的示例环境、所述技术可执行的方法以及示例装置。

示例环境

图1图示了其中可以体现用于分层级区域中多输入手势的技术的示例环境100。环境100包括计算设备102、远程提供者104和通信网络106，该通信网络实现了这些实体之间的通信。在该图示中，计算设备102在触摸屏显示器112上呈现应用程序界面108和110，二者包括分层级相关的区域。计算设备102接收针对应用程序界面110且通过触摸屏显示器112做出的多输入手势114。注意到，示例触摸屏显示器112不旨在限制接收到的手势。多输入手势可以包括一个或多个手、手指或物体并且可以比如通过直接触摸屏或间接触摸屏或诸如体感或相机系统之类的设备被直接或间接接收。因此，术语“触摸”适用于如本文所述的对触摸屏的直接触摸，而且适用于间接触摸、体感接收的输入、相机接收的输入和/或笔/触针触摸，仅举几例。还注意到，相同或不同类型的触摸可以是同一手势的部分。

图2图示了图1的计算设备102的示例实施例，其被用六个示例设备图示：膝上型计算机102-1、平板计算机102-2、智能电话102-3、机顶盒102-4、台式机102-5和游戏设备102-6，但是也可以使用诸如服务器和上网本之类的其他计算设备和系统。

计算设备102包括或有权访问计算机处理器202、计算机可读存储介质204（介质204）和一个或多个显示器206，图2中示出了其四个示例。介质204包括操作系统208、手势管理器210和应用程序212，其中每一个能够提供应用程序界面214。在一些情况下，比如当本地应用程序是浏览器并且远程设备包括网络使能的服务提供者时，应用程序212与远程设备协力提供应用程序界面214。

手势管理器210能够使通过应用程序界面（例如，界面108、110和/或214）接收的多输入手势114以该界面的应用程序的区域为目标。

图3图示了远程提供者104的示例实施例。为了视觉上简洁，远程提供者104被示为单数实体，但是所述技术可以设想多个提供者。远程提供者104包括或有权访问提供者处理器302和提供者计算机可读存储介质304（介质304）。介质304包括服务306，其通过计算设备102的（例如在显示器206或触摸屏显示器112上显示的）应用程序界面214与用户交互。这些应用程序界面214可以与图2的应用程序212的一个或多个分离地或与之结合地被提供。

下面更详细地阐述图1-3的实体行动和交互的方式。所图示的用于计算设备102和/或远程提供者104的实体可以是分离的或集成的，比如手势管理器210是与操作系统208、应用程序212或服务306集成的或是与它们分离的。

示例方法

图4描绘了用于分层级区域中多输入手势的方法400。在下面的讨论的部分中，可以参照图1的且如图2-3中详述的环境100，例如仅参照它。

方框402从与应用程序界面关联的应用程序接收关于应用程序界面的多个区域的信息。该信息可以包括分层级关系，比如哪些区域优于哪些其他区域、应用程序界面和/或显示器（其像素是每个区域的）内每个像素的尺寸、位置和取向以及针对每个区域的多输入手势的响应能力。

通过示例的方式，考虑图5，其图示了触摸屏显示器112和应用程序界面108和110，所有与图1中相同但是被更详细地示出。应用程序界面110由图2的浏览器类型的应用程序212结合图3的服务306提供。应用程序界面110包括至少四个区域，即上级区域502，其被示出包括下级区域504、506和508。这些分层级关系可以是用于上级区域502的根节点与用于区域504、506和508的子节点的分层级关系，比如在各种分层级或结构化文档（例如遵循像可扩展标记语言（XML）那样的许多计算语言的结构的标记语言文档）中所见的。在过分简单的伪代码中，这可以被示出如下：

上级区域502

下级区域504

下级区域506

下级区域508

结束上级区域502。

对该示例，假设手势管理器210接收分层级关系和每个区域可以接受那些多输入手势。这里，所有的四个区域可以接受收缩/展开、会聚/发散手势（经常用于缩小或放大），在区域502的情况下，发散手势扩展所有应用程序界面110 （例如，扩展到触摸屏显示器112的尺寸），并且区域504、506和508中的每一个接收该发散手势以扩展与应用程序界面110的当前尺寸内的该区域关联的新闻文章。然而，注意到，其他响应也可以或作为替代可以被使用，以便在同尺寸区域中示出更高分辨率的内容，在此情况下该内容中的一些可能不再显示。

方框404接收具有针对具有上级区域和至少一个下级区域的应用程序界面做出的两个或多个最初触摸（直接的、间接的或不管怎样接收的）的多输入手势。在一些情况下，从诸如触摸屏显示器112之类的设备直接接收多输入手势，而在其他情况下，从与应用程序界面关联的应用程序或操作系统接收该手势。因此，针对多输入手势的接收的形式可以改变—它可以被接收为指示通过其接收手势的应用程序界面上的位置的触碰（touch hit）。在其他情况下，比如当从应用程序212接收时，作为替代可以接收具有在哪些区域接收到最初触摸的指示的多输入手势（例如一个触摸针对上级区域502且一个触摸针对下级区域508）。

方法400阐述了其中接收具有在应用程序界面的哪些区域做出最初触摸的指示的多输入手势的场景。遵循方法400描述的图7的方法700描述了可替代情况。

继续进行中的实施例，考虑图6，其示出通过触摸屏显示器112针对应用程序界面110做出的多输入手势602。该多输入手势602具有分别针对上级区域502和下级区域504的两个最初触摸604和606。如所注意的，这里假设手势管理器210从图2的浏览器类型的应用程序212接收每个最初触摸在哪个区域做出的指示（502和504）。

方框406使多输入手势以适当的区域为目标。一般地，如果上级区域能够响应多输入手势并且两个或更多最初触摸中的至少一个针对该上级区域做出，或者上级区域能够响应多输入手势并且两个或更多最初触摸针对至少两个不同的下级区域做出，则方框406以上级区域为目标。

在一些情况下，方框406也在这两种情况之外以上级区域为目标，比如如果上级区域能够响应多输入手势并且两个或更多最初触摸针对相同或不同下级区域做出，但是所述相同的下级区域或不同的下级区域不能够响应多输入手势。

因此，存在其中使多输入手势不以上级区域为目标的情况。例如，如果下级区域能够响应多输入手势并且两个或更多最初触摸仅针对该下级区域做出，则方框406可以使多输入手势以下级区域为目标。

方框406的目标确定基于在方框402处接收的信息中的至少一些。在上面的一般情况下，手势管理器210基于针对其做出最初触摸的区域的层级和至少上级区域的能力而以适当的区域为目标。作为方框406的一部分，与应用程序界面关联的应用程序被告知所述目标确定，比如利用哪个区域应当响应多输入手势的指示。这如何执行部分地取决于手势管理器210是与应用程序212、操作系统208、服务306和/或诸如触摸屏显示器112的驱动器之类的特定于设备的软件集成的还是分离的。

再次考虑图6中图示的进行中的示例。这里，注意到，两个最初触摸被应用程序212接收，其然后向手势管理器210指示哪些区域（502和504）接收触摸。手势管理器210然后基于上级区域开始能够响应多输入手势以及最初触摸位于上级区域502和下级区域504中来确定将使该手势以上级区域502为目标。

手势管理器210然后向应用程序212指示该目标确定有效，以便使得应用程序212响应多输入手势，在此情况下所述多输入手势是（箭头608处示出的）展开/发散手势。终止进行中的示例，应用程序212通过将应用程序界面110扩展到较大尺寸（这里是触摸屏显示器112的屏幕的大部分，也如图6中610处示出）响应发散手势。

注意到，在一些情况下，多输入手势的最初触摸之一在其他触摸之前被接收。在这种情况下，所述技术可以立即使第一最初触摸以在其中接收它的区域为目标。通过这样做，即使造成任何用户可感知延迟，也是很小的，因为应用程序可以快速响应该第一最初触摸。然后，如果没有做出其他触摸或者不能使用后续触摸（例如它被认为是一个错误或者没有区域可以响应它），则该区域仍然快速响应。当第二最初触摸被接收时，所述技术然后如方法400中指出的那样确定目标。

变更上面的示例，假设首先接收最初触摸606。手势管理器210使该触摸以在其中接收它的下级区域504为目标。应用程序212然后开始例如通过经由在标题为：Social Networking IPO Expected Next Week的文章中向下滚动变更区域而做出响应。当第二触摸被接收时，如图6中610处所示上面的操作继续。在此情况下，应用程序界面110可以基于不预期是单输入手势以滚动下级区域504中的文章的那个最初触摸而示出部分滚动或逆转该变更（例如，将其回滚）。

图7描绘了用于分层级区域中多输入手势的方法700，其可以与方法400的各部分分离地操作、与之结合操作或作为其更详细的示例而操作。

方框702接收关于应用程序界面的多个区域的信息，包括每一个区域的尺寸、位置和/或取向。方框702类似于方法400的方框402，因为它也接收关于区域的层级和能力的信息。

方框704接收与用于通过应用程序界面接收的一个或多个多输入手势的两个或更多最初触摸关联的触碰，所述触碰指示接收触碰的应用程序界面上的位置信息。因此，手势管理器210例如可以接收指示显示器的哪个或哪些像素最初被触摸的位置信息、X-Y坐标、或者足以确定预期触摸哪个区域的其他位置信息。这些触碰可以从应用程序212接收，直接从设备或设备驱动器接收，或间接从操作系统208接收，仅举几例。

方框706基于触碰确定所述两个或更多最初触摸关联到所述区域中的哪些。手势管理器210可以以各种方式这样做，比如通过将像素或坐标碰撞与在方框702处接收的位置信息进行比较。

方框708基于关联的区域、关联区域的层级和关联区域的响应能力将关联区域中至少一个区域确定为目标。因此，手势管理器210可以确定上级区域502应当响应接收的多输入手势。

方框710以目标区域为目标，以有效地使得应用程序响应通过目标区域的多输入手势。方框710提供例如针对应用程序的目标区域，此后该应用程序响应通过目标区域的一个多输入手势。如图6中610处所示，应用程序212通过上级区域502响应以扩展应用程序界面110。然而，这仅是一个示例，因为下级区域可以作为替代被扩展，或者一些其他手势可以被响应，例如以便缩放到映射区域中或旋转图像，仅举几例。更甚者，如果超过一个区域被基于一个或多个多输入手势而确定为目标，则这些区域中的每一个被确定为目标以有效地使得应用程序响应一个或多个手势。

通过另外的示例的方式，考虑其中手势管理器210使多输入手势以下级区域506为目标的情况，由于下级区域506能够接收多输入手势和降落在图5的区域506内的两个最初触摸（未示出）。在这种情况下，手势管理器210向浏览器类型的应用程序212指示s使多输入手势以区域506为目标。应用程序212然后基于最初和后续触摸（例如，最初触摸的发散）将区域506扩展到应用程序界面110内的更大尺寸。应用程序212可以通过经过网络106请求来自服务406的附加内容来这样做，如果计算设备102上缓存的内容是不足的。这仅是一个示例，因为本地应用程序也可以被使用（具有多个分层级区域的开始菜单和字处理或电子表格应用程序界面，等等）。该特定示例的结果在图8中802处示出，应用程序界面110具有来自图5的下级区域506的扩展的下级区域804。

前述讨论描述了与分层级区域中多输入手势相关的方法。这些方法的各方面可以在硬件（例如固定逻辑电路）、固件、软件、人工处理或其任意组合中实现。软件实现方式表示在被计算机处理器执行时执行指定任务的程序代码。示例方法可以在计算机可执行指令的一般背景下描述，所述指令可以包括软件、应用程序、例程、程序、对象、组件、数据结构、过程、模块、函数等等。程序代码可以存储在对计算机处理器而言本地和/或远程的一个或多个计算机可读存储器设备中。所述方法也可以在分布式计算模式中由多个计算设备实施。而且本文描述的特征是平台独立的并且可以在具有多种处理器的多种计算平台上实现。

这些技术可以体现在包括如图2或图3中的详述的图1的环境100中示出的实体中的一个或多个和/或下面描述的示例设备900上体现，所述示例设备900可以进一步划分、组合等等。因此，环境100和/或设备900图示了能够采用所描述的技术的许多可能的系统或装置中的一些。环境100的实体和/或设备900一般地表示软件、固件、硬件、完整的设备或网络或其组合。在软件实现方式的情况下，例如这些实体（例如，手势管理器210、应用程序212和服务306）表示在处理器（例如，处理器202和/或302）上执行时执行指定任务的程序代码。该程序代码可以存储在一个或多个计算机可读存储器设备中，比如介质204、提供者介质304或图9的计算机可读介质914。

示例设备

图9图示了示例设备900的各种组件，该示例设备可以被实现为如参照先前的图1-8描述的任意类型的客户端、服务器和/或计算设备以便实现用于在分层级区域中多输入手势的技术。在实施例中，设备900可以被实现为有线和/或无线设备之一或组合、实现为电视客户端设备（例如，电视机顶盒、数字视频记录器（DVR）等）、消费型设备、计算机设备、服务器设备、便携式计算机设备、用户设备、通信设备、视频处理和/或再现设备、电器设备、游戏设备、电子设备和/或另一种类型的设备的形式。设备900也可以与操作该设备的用户（例如，人）和/或实体关联，使得设备描述包括用户、软件、固件和/或设备的组合的逻辑设备。

设备900包括实现设备数据904（例如，接收到的数据、正被接收的数据、被调度用于广播的数据、数据的数据分组等）的有线和/或无线通信的通信设备902。设备数据904或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容和/或与设备的用户关联的信息。设备900包括一个或多个数据输入906，经由此，可以接收任意类型的数据、媒体内容和/或输入，比如人类话语、用户可选择的输入、消息、音乐、电视媒体内容、记录的视频内容和从任意内容和/或数据源接收的任何其他类型的数据。

设备900也包括通信接口908，其可以实现为串行和/或并行接口、无线接口、任意类型的网络接口、调制解调器中的任意一个或多个，以及实现为任意其他类型的通信接口。通信接口908提供设备900与通信网络之间的连接和/或通信链路，其他电子、计算和通信设备通过该连接和/或通信链路而与设备900传送数据。

设备900包括一个或多个处理器910（例如，微处理器、控制器等中任意一个），其处理各种计算机可执行指令以控制设备900的操作并实现用于分层级区域中多输入手势的技术。可替换地或此外，设备900可以利用与一般地在912处标识的处理和控制电路关联地实现的硬件、固件或固定逻辑电路中任意一个或组合来实现。尽管未被示出，但是设备900可以包括耦合设备内的各种组件的系统总线或数据传输系统。系统总线可以包括不同的总线结构中的任意一种或组合，比如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用多种总线架构中任意一种的处理器或局部总线。

设备900也包括计算机可读存储介质914，比如一个或多个实现永久和/或非瞬时数据存储（即，与纯粹的信号传输对比）的存储器设备，其示例包括随机存取存储器（RAM）、非易失性存储器（例如，只读存储器（ROM）、闪存、EPROM、EEPROM等中任意一个或多个）和盘存储设备。盘存储设备可以实现为任意类型的磁或光学存储设备，比如硬盘驱动器、可记录和/或可重写压缩盘（CD）、任意类型的数字多用途盘（DVD）等等。设备900也可以包括大容量存储介质设备916。

计算机可读存储介质914提供数据存储机构以存储设备数据904以及各种设备应用程序918和与设备900的操作方面相关的任何其他类型的信息和/或数据。例如，操作系统920可以作为计算机应用程序利用计算机可读存储介质914保持并且在处理器910上执行。设备应用程序918可以包括设备管理器，比如任意形式的控制应用程序、软件应用程序、信号处理和控制模块、特定设备特有的代码、用于特定设备的硬件抽象层等等。

设备应用程序918也包括实现用于分层级区域中多输入手势的技术的任何系统组件、引擎或模块。在该示例中，设备应用程序918可以包括手势管理器210和应用程序212。

结论

尽管已经以特定于特征和/或方法的语言描述了用于分层级区域中多输入手势的技术和装置的实施例，但是应当理解，所附权利要求的主题不一定限于所描述的特定特征或方法。相反，特定特征和方法被公开为用于多层级区域中多输入手势的示例实现方式。

Claims

1.一种计算机实现的方法，包括：

接收针对具有上级区域和至少一个下级区域的应用程序界面做出的多输入手势，该多输入手势具有两个或更多最初触摸；

在下述情况下使所述多输入手势以上级区域为目标：

该上级区域能够响应多输入手势并且所述两个或更多最初触摸中至少一个针对上级区域做出，或者

该上级区域能够响应多输入手势并且所述两个或更多最初触摸针对至少两个不同的下级区域做出。

2.如权利要求1所述的计算机实现的方法，进一步包括如果该下级区域能够响应多输入手势并且所述两个或更多最初触摸仅针对该下级区域做出，使多输入手势以下级区域为目标。

3.如权利要求1所述的计算机实现的方法，进一步包括如果所述上级区域不能够响应多输入手势，使所述两个或更多最初触摸中的每一个之一分别以两个不同下级区域中每一个之一为目标。

4.如权利要求1所述的计算机实现的方法，进一步包括在下述情况下使多输入手势以上级区域为目标：

该上级区域能够响应多输入手势；

所述两个或更多最初触摸仅针对下级区域做出；并且

该下级区域不能够响应多输入手势。

5.如权利要求1所述的计算机实现的方法，其中多输入手势的所述两个或更多最初触摸是不接触其上显示应用程序界面的屏幕的间接触摸。

6.如权利要求1所述的计算机实现的方法，其中针对上级或下级区域中的第一个的所述两个或更多最初触摸中的第一个被接收并且在所述两个或更多最初触摸的第二个之前，并且进一步包括在确定多输入手势的目标之前使第一触摸以第一区域为目标。

7.如权利要求6所述的计算机实现的方法，其中针对下级区域的第一触摸被接收，并且使第一触摸以第一区域为目标使得应用程序界面响应于第一触摸改变下级区域。

8.如权利要求7所述的计算机实现的方法，其中使多输入手势以上级区域为目标使得应用程序界面逆变对下级区域的改变。

9.如权利要求1所述的计算机实现的方法，进一步包括确定上级区域能够在确定多输入手势的目标之前响应多输入手势。

10.如权利要求9所述的计算机实现的方法，其中确定响应于从与应用程序界面关联的应用程序接收指示上级区域能够响应多输入手势的信息。