CN102929507A - 运动控制的列表滚动 - Google Patents

Abstract

运动控制的列表滚动。运动控制的列表滚动包括向显示设备输出包括多个可选择的项目的用户界面以及接收人类主体的手的世界空间位置。响应于人类主体的手的位置在第一区域内，多个可选择的项目以第一方向滚动。响应于人类主体的手的位置在第二区域内，多个可选择的项目以第二方向滚动。响应于人类主体的手的世界空间位置在第三区域内，多个可选择的项目被保持，其中该多个可选择的项目中的一个被标识以供选择。

Description

运动控制的列表滚动

技术领域

本申请涉及运动控制的列表滚动。

背景技术

用户界面包括多个可选择的项目是普遍的。通常，可选择的项目的数量足够大使得它们不被全部地显示在同一视图中，而用户必须滚动来查看感兴趣的项目。许多移动设备、计算机、游戏控制台等被配置成输出这样的界面。

用户可通过经由各种输入设备提供输入来滚动。一些输入设备可能使用起来很麻烦，并可需要大量重复的用户动作来滚动列表。

发明内容

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

根据本公开的一个方面，滚动包括向显示设备输出包括多个可选择的项目的用户界面。可从深度相机接收包括人类主体的世界空间场景的一个或多个深度图像。另外，可接收人类主体的手的世界空间位置。响应于人类主体的手的世界空间位置在第一区域内，多个可选择的项目在用户界面内以第一方向滚动。类似地，响应于人类主体的手的世界空间位置在第二区域内，多个可选择的项目在用户界面内以与第一方向相反的第二方向滚动。并且，响应于人类主体的手的世界空间位置在第一区域和第二区域之间的第三区域内，多个可选择的项目被保持，其中该多个可选择的项目中的一个被标识以供选择。

附图说明

图1示意性地示出了根据本公开的一实施例的示例滚动环境。

图2示出根据本公开的一实施例的深度图像处理流水线。

图3A、3B和3C示出了响应于示例虚拟骨架的示例用户界面滚动。

图4示出了根据本公开的一实施例的在用户界面内滚动的示例方法。

图5A、5B和5C示意性地示出了根据本公开的一实施例的示例用户界面。

图6示意性地示出了用于执行图4的方法的计算系统。

具体实施方式

本申请涉及滚动用户界面内的多个可选择的项目。本申请进一步涉及通过输入设备来滚动，这些输入设备允许自然的用户运动和姿势用作对于滚动的推动（impetus）。

图1显示了示例滚动环境，包括人类主体110、计算系统120、深度相机130、显示设备140和用户界面150。显示设备140可通过计算系统120的显示输出来操作地连接到计算系统120。例如，计算系统120可包括HDMI或其它合适的显示输出。计算系统120可被配置成向显示设备140输出包括多个可选择的项目的圆盘传送带（carousel）用户界面150。

计算系统102可被用于玩各种不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用和/或操作系统。在示出的实施例中，显示设备140是电视机，其可被用于向用户和观察者呈现画面。

深度相机130可通过一个或多个输入被操作地连接到计算系统120。作为非限制的示例，计算系统120可包括深度相机130可被连接到的通用串行总线。计算系统120可从深度相机130接收包括人类主体110的世界空间场景的一个或多个深度图像。深度图像可采取基本上任何合适的数据结构的形式，包括但不限于，像素矩阵，其中每个像素都包括指示在该像素处所观察到的对象的深度的深度信息。可以使用基本上任何深度寻找（depth finding）技术而不背离本公开的范围。

深度图像可被用于将人类主体110建模为虚拟骨架。图2显示了简化的处理流水线，其中深度相机被用于提供深度图像220，该深度图像220被用于将人类主体210建模为虚拟骨架230。可以理解，与图2中所描绘的那些步骤相比，处理流水线可包括附加的步骤和/或替代步骤，而不背离本发明的范围。

如图2中示出的，人类主体210的三维外观以及所观察到的场景的其余部分可由深度相机成像。在图2中，深度图像220被示意性地示为人类主体210的轮廓的像素化网格。这一例示是出于理解简明的目的、而不是出于技术精确性的目的。要理解，深度图像一般包括所有像素的深度信息，而不是仅仅对人类主体210成像的像素的信息。

虚拟骨架230可从深度图像220中导出，以提供人类主体210的机器可读表示。换言之，从深度图像230导出虚拟骨架220以对人类主体210建模。可以用任何合适方式来从深度图像220中导出虚拟骨架230。在某些实施例中，可以对深度图像应用一种或多种骨架适应算法。本发明与基本上任何骨架建模技术兼容。

虚拟骨架230可包括多个关节，每一关节可对应于人类主体210的一部分。根据本发明的虚拟骨架可包括基本上任何数量的关节，每个关节都可与基本上任何数量的参数（例如三维关节位置、关节旋转、对应身体部位的身体姿势（例如手张开、手合上等）等）相关联。应当理解，虚拟骨架可采取如下数据结构的形式：该数据结构包括多个骨架关节中的每个关节的一个或多个参数（例如包含每个关节的x位置、y位置、z位置和旋转的关节矩阵）。在一些实施例中，可使用其他类型的虚拟骨架（例如线框、一组形状图元等等）。

替代于或除了使用虚拟骨架来对人类主体建模，可使用其它机制来确定人类主体的身体部位的位置。作为非限制的示例，用户可拿住运动控制设备（例如，游戏棒），并且人类主体的手的位置可由所观察到的运动控制设备的位置来推断。

返回图1，计算系统120可被配置成标识人类主体110的手的世界空间位置。可使用任何数量的技术（诸如如以上描述的通过虚拟骨架）来标识手的世界空间位置。计算系统120可被配置成根据手的位置来滚动或保持由用户界面150呈现的可滚动的项目。

例如，图3A、3B和3C分别示出了人类主体110的虚拟骨架310、320和330以及相应的圆盘传送带用户界面150，其中每个都处于不同的时刻。虚拟骨架中的每个都对应于人类主体110可作出的滚动或保持可选择的项目的姿势。

所显示的姿势可被用于滚动或保持用户界面150的可滚动的项目。例如，响应于人类主体的手的世界空间位置在中间区域340内（如图3A中的虚拟骨架310所示），多个可选择的项目可保持在固定或缓慢移动的位置，其中该多个可选择的项目中的一个被标识以供选择。

在示出的实施例中，项目350通过以下性质被标识为供选择：其位置在用户界面的前方中间、相对于其它项目的大的尺寸、以及视觉上强调的呈现。可以理解，在不背离本公开的范围的情况下，项目可用基本上任何方式被标识以供选择。此外，即使多个可选择的项目在滚动，也通常总是标识一个项目以供选择。

响应于人类主体的手的世界空间位置在中间区域340的外部（从用户的角度来看）的第一边（如图3B中虚拟骨架320所示的），多个可选择的项目可被顺时针方向地滚动，并且响应于人类主体的手的世界空间位置在中间区域340的外部的第二边（如图3C中虚拟骨架330所示的），多个可选择的项目可被逆时针方向地滚动。

顺时针和逆时针方向两者上的滚动速度可以是任何合适的速度，诸如恒定速度或与手离开中间区域340的距离成比例的速度。被标识以供选择的项目可由人类主体110用基本上任何合适的方式来选择，诸如通过执行推姿势。

图400示出了用于控制包括多个可选择的项目的用户界面（包括但不限于图1的用户界面150）的方法400的实施例。在410，方法400可包括向显示设备输出包括多个可选择的项目的用户界面。显示设备可以是任何适于可视地显示数据的设备，诸如移动设备、计算机屏幕或电视机。可选择的项目可与任何合适的数据对象相关联，诸如例如歌曲、图片、应用或视频。作为非限制示例，选择一项目可触发歌曲被播放或图片被显示。

用户界面可显示多个以各种不同的方式组织的可选择的项目。一些示例用户界面被显示在图5A、5B和5C中。尤其，图5A显示了示例性圆盘传送带510，图5B显示了示例性1维（1-D）列表520，图5C显示了示例性2维（2-D）列表530。用户界面中的每个被显示在滚动之前的时间t0处以及在滚动之后的时间t1处。用户界面可从时间t0到t1改变外观。例如，圆盘传送带510可看起来被可视地旋转来标识项目511以供选择，1维列表520可具有被标识以供选择的不同的项目521，并且2维列表530可呈现具有被标识为以供选择的另一项目531的另一列532。

标识一项目以供选择可包括提供随后的用户输入将发起与选择该项目相关联的动作的线索。这样的线索可以是可视的，诸如突出显示或以其它方式标记该项目，或通过将该项目显示得比其它项目更为显著。在一些实施例中，线索可以是可听的。应当理解，可使用基本上任何标识一项目以供选择的方法而不背离本公开的范围。

在一些实施例中，滚动导致显示来示出先前没有在显示上被显示的新的项目。例如，1维列表可总是将中间项目标识为以供选择，而滚动可导致一组新的项目来填充该列表，从而标识另一项目为以供选择。

所显示的用户界面实际上是示例性的，并旨在用于方便理解。应当理解，适合本公开的用户界面可包括更多或更少的图形、图标或在图5A、5B和5C中未显示的其它项目，并且基本上，可使用任何用户界面让不背离本公开的范围。

返回图4，方法400可包括在420，接收人类主体的身体部位的世界空间放置。如在此使用的，世界空间指的是人类主体所存在于其中的物理空间（例如，起居室）。放置可包括该用户的身体部位的3-D位置和/或定向。例如，放置可包括头的定向、手的3-D位置和/或定向、和/或人类正面向的方向。在一些实施例中，放置可涉及多于一个的身体部位，诸如一个手到另一手的距离和/或一个人的身体部分相对于另一身体部位或人的位置/定向。

在一些实施例中，放置可包括1-D位置。例如，身体部位的世界空间放置可指身体部位关于世界空间中第一轴的放置，独立于身体部位关于不与该第一轴平行的其它轴的放置。换言之，出于滚动的目的，身体部位的离轴移动可被忽略。例如，可不关于手的向上和向下或向前和向后的位置来考虑手的向左和向右的位置。通过这种方式，人可以在一方向上移动他们的手（或任何身体部位）而不必需要将该身体部位的运动限制为另一方向。

如421处指示的，可从深度相机接收包括人类主体的世界空间场景的一个或多个深度图像。深度图像可被处理来确定身体部位的世界空间放置。例如，如参考图3描述的，虚拟骨架可被用于建模人类主体，并且该虚拟骨架的关节和/或其它方面可被用于确定人类主体的相应身体部位的世界空间放置。可使用其它方法和设备来确定身体部位的世界空间放置而不背离本公开的范围。例如，可使用能够观察和输出可见光数据的传统相机。可见光数据可被处理来确定身体部位的世界空间放置。例如，面部识别、对象识别和对象跟踪可被采用来处理可见光数据。

如在422处指示的，人类主体的手的世界空间位置可被标识。例如，可使用虚拟骨架来标识手的位置。在这种情况下，虚拟骨架的手关节的位置可被用于确定人类主体的真实手的世界空间位置。虽然人类主体的手的位置可被标识，但是手的位置不需要被可视地呈现给人类主体。例如，用户界面可以是没有指示手的位置的可视元素的无光标的用户界面。可以相信在一些情况下，无光标的用户界面可向该界面的用户提供更直观的体验。

方法400可包括在430，响应于主体具有对应于一方向的身体部位的世界空间放置，以该方向来滚动可选择的项目。以一方向来滚动可选择的项目可包括实际上任何用于对可选择的项目的显示进行重新组织的合适的方法，诸如那些参考图5A、5B和5C描述的方法。然而，也可以利用其它滚动技术。例如，三维滚动可由用户切换到查看另一组可选择的项目或从列表显示改变到圆盘传送带显示来发起。可实现更高维度的滚动，诸如通过以两个对角线方向、以水平方向以及以垂直方向滚动。应当理解，可使用基本上任何数量的滚动技术而不背离本公开的范围。

在一些实施例中，多个可选择的项目用根据人类主体的身体部位的放置的函数的滚动速度来滚动。例如，该函数可以是人类主体的身体部位的世界空间放置的阶梯函数（step function）（例如，手离开中间区域的距离）或随着离开区域（诸如中间区域）的距离来增加的另一函数。中间区域可以是在其中滚动速度为零的区域。换言之，如果人类主体的身体部位被放置在中间区域内，滚动可被停止或放慢，同时多个项目可被保持，其中一个项目被标识以供选择。例如，图3A、3B和3C示出与直接在人类主体前面的世界空间位置相对应的虚拟位置中的中间区域340。在这样的示例中，虚拟骨架的手向左或向右移动得离开中间区域340越远，则可选择的项目可滚动的越快。应当理解，可使用任何以可预测的方式将身体部位的世界空间放置映射到滚动速度的合适的函数而不背离本公开的范围。

针对任何合适的用户界面，可通过任何合适的方法来将身体部位的放置映射到滚动方向和速度。例如，响应于人类主体的身体部位的世界空间放置具有第一放置（例如，中间区域的左边），多个可选择的项目可在用户界面内以第一方向滚动（例如，逆时针），并且响应于人类主体的身体部位的世界空间放置具有第二放置（例如，中间区域的右边），多个可选择的项目可在用户界面内以与第一方向相反的第二方向滚动（例如，顺时针）。

滚动方向可通过任何合适的方法来确定。一般而言，滚动方向可被选择来与和人类主体的直觉（intuition）匹配的世界空间方向相对应。例如，向左滚动可通过将手向左移动来实现，而向下滚动可通过将手向下移动来实现。基本上可建立世界空间身体部位放置和滚动方向之间的任何相关。

此外，身体部位的放置不必要被限制为由该身体部位的世界空间位置来表征。放置可由身体部位的属性来表征。这样的属性可包括例如眼睛的眨眼、头的定向或面部表情。多个可选择的项目可响应于身体部位的属性的状态来滚动。一个状态可导致项目以第一方向滚动，而另一状态可导致项目以另一方向滚动。例如，闭上左眼可导致列表向左滚动，而闭上右眼可导致列表向右滚动。应当理解，如上描述的，属性可以是手的世界空间放置。此外，身体部位的属性可包括该身体部位的第一部分相对于该身体部位的第二部分的位置的位置。例如，人类主体可将一个手指移动地离开另一手指以实现想要的滚动效果。

在一些实施例中，响应于人类主体的身体部位的世界空间放置具有在第一放置和第二放置中间的第三放置，多个可选择的项目被保持，其中该多个可选择的项目中的一个被标识以供选择。作为示例，图3A显示虚拟骨架310，其具有直接向前保持在中间区域340内的左手。在该示例中，中间手放置导致用户界面150保持多个可选择的项目，其中可选择的项目350被标识以供选择。

在440，方法400可包括响应于用户输入来选择被标识为以供选择的项目。用户输入可包括基本上任何输入，诸如姿势或声音。例如，用户可作出推姿势来选择被标识为以供选择的项目。可使用其它姿势，诸如移步或例如点头。替代地，用户可以说话，通过诸如说出选择或进行。可诸如通过鼓掌来使用姿势和声音的组合。在选择项目后，可采取任意数量的动作，诸如播放歌曲、呈现新的数据、显示新的列表、播放视频、呼叫朋友等。

在一些实施例中，可将以上所描述的方法和过程捆绑到包括一个或多个计算机的计算系统。具体而言，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库、和/或其他计算机程序产品。

图6示意性示出了可以执行上述方法和过程之中的一个或更多个的非限制性计算系统600。以简化形式示出了计算系统600。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统600可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。图1的计算系统120是计算系统600的非限制性示例。

计算系统600包括逻辑子系统602和数据保持子系统604。计算系统600可以任选地包括显示子系统606、通信子系统608和/或在图6中未示出的其他组件。计算系统600还可以任选地包括诸如下列用户输入设备：例如键盘、鼠标、游戏控制器、相机、话筒和/或触摸屏等等。

逻辑子系统602可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。

逻辑子系统可包括被配置为执行软件指令的一个或多个处理器。附加地或替代地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。

数据保持子系统604可包括一个或多个物理的、非瞬时的设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统604的状态（例如，以保持不同的数据）。

数据保持子系统604可包括可移动介质和/或内置设备。数据保持子系统604尤其可以包括光学存储器设备（例如，CD、DVD、HD-DVD、蓝光盘等）、半导体存储器设备（例如，RAM、EPROM、EEPROM等）和/或磁存储器设备（例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等）。数据保持子系统604可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统602和数据保持子系统604集成到一个或更多个常见设备中，如专用集成电路或片上系统。

图6还示出以可移动计算机可读存储介质612形式的数据保持子系统的一方面，可移动计算机可读存储介质可用于存储和/或传输可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质612尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘形式。

可以明白，数据保持子系统604包括一个或多个物理的、非瞬时的设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号（例如电磁信号、光信号等）传播。此外，与本发明有关的数据和/或其他形式的信息可以通过纯信号传播。

当被包括时，显示子系统606可用于呈现由数据保持子系统604所保持的数据的可视表示。在此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态时，同样可以变换显示子系统606的状态以在视觉上表示底层数据的改变。显示子系统606可以包括使用实际上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统602和/或数据保存子系统604一起组合在共享封装中，或此类显示设备可以是外围显示设备。

当包括通信子系统608时，通信子系统608可以被配置成将计算系统600与一个或多个其他计算设备可通信地耦合。通信子系统608可包括与一个或多个不同的通信协议相兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统600经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。

在一些实施例中，传感器子系统610可包括深度相机614。深度相机614可包括例如立体视觉系统的左和右相机。来自两个相机的时间解析的图像可被相互注册并可被组合来产生深度解析的视频。

在其它实施例中，深度相机614可以是结构化的光深度相机，被配置成投影结构化的包括多个离散的特征（例如，线或点）的红外照明。深度相机614可被配置成对从结构化的照明被投影到其之上的场景中反射的结构化的照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图像。

在其它实施例中，深度相机614可以是飞行时间相机，其被配置成将脉冲的红外照明投影到该场景上。深度相机可包括两个相机，被配置成检测从场景反射的脉冲照明。两个相机均可包括与脉冲照明同步的电子快门，但用于相机的集成时间可不同，使得脉冲照明的从源到场景再接着到相机的像素解析的飞行时间可从在两个相机的相应的像素中接收到的相对光的量中辨别。

在一些实施例中，传感器子系统610可包括可见光相机616。可以使用基本上任何类型的数字相机技术而不背离本公开的范围。作为非限制的示例，可见光相机616可包括电荷耦合的设备图像传感器。

在一些实施例中，传感器子系统610可包括一个或多个运动传感器618。示例运动传感器包括但不限于，加速计、陀螺仪以及全球定位系统。

应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下被省略。同样，可以改变上述过程的次序。

本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物的所有新颖和非显而易见的组合和子组合。

Claims (10)

1.一种保持指令的数据保持子系统，所述指令可由逻辑子系统执行以：

向显示设备输出包括多个可选择的项目的用户界面；

从深度相机接收包括人类主体的世界空间场景的一个或多个深度图像；

标识所述人类主体的手的世界空间位置；

响应于所述人类主体的手的世界空间位置在第一区域内，在所述用户界面内以第一方向滚动所述多个可选择的项目；

响应于所述人类主体的手的世界空间位置在第二区域内，在所述用户界面内以与所述第一方向相反的第二方向滚动所述多个可选择的项目；

响应于所述人类主体的手的世界空间位置在所述第一区域和所述第二区域之间的中间区域内，保持所述多个可选择的项目，其中所述多个可选择的项目中的一个被标识以供选择。

2.如权利要求1所述的数据保持子系统，其特征在于，还保持可由所述逻辑子系统执行以执行以下操作的指令：

响应于用户输入来选择所述被标识以供选择的项目。

3.如权利要求2所述的数据保持子系统，其特征在于，所述用户输入是世界空间内的推姿势。

4.如权利要求1所述的数据保持子系统，其特征在于，所述多个可选择的项目以某一滚动速度来滚动，所述滚动速度根据所述手离开所述中间区域的距离的函数来增加。

5.如权利要求1所述的数据保持子系统，其特征在于，所述手的世界空间位置指所述手关于世界空间内第一轴的位置，独立于所述手关于不与所述第一轴平行的其它轴的位置。

6.如权利要求1所述的数据保持子系统，其特征在于，所述用户界面是没有指示所述手的位置的可视元素的无光标用户界面。

7.一种控制包括一个或多个可选择的项目的用户界面的方法，所述方法包括：

接收人类主体的身体部位的属性，所述身体部位的属性可在两个或更多个不同的状态之间改变；

响应于所述人类主体的身体部位的属性具有第一状态，在所述用户界面内以第一方向滚动所述多个可选择的项目；

响应于所述人类主体的身体部位的属性具有不同于所述第一状态的第二状态，保持所述多个可选择的项目，其中所述多个可选择的项目中的一个被标识以供选择。

8.如权利要求7所述的方法，其特征在于，所述身体部位的属性包括所述人类主体的头的定向。

9.如权利要求7所述的方法，其特征在于，所述身体部位的属性包括所述人类主体的面部表情。

10.如权利要求7所述的方法，其特征在于，所述身体部位的属性包括所述身体部位的第一部分相对于所述身体部位的第二部分的位置的位置。

Images