CN102934066B - 用姿势进行交互的方法 - Google Patents

用姿势进行交互的方法 Download PDF

Info

Publication number
CN102934066B
CN102934066B CN201180028086.3A CN201180028086A CN102934066B CN 102934066 B CN102934066 B CN 102934066B CN 201180028086 A CN201180028086 A CN 201180028086A CN 102934066 B CN102934066 B CN 102934066B
Authority
CN
China
Prior art keywords
control
equipment
output
search bar
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180028086.3A
Other languages
English (en)
Other versions
CN102934066A (zh
Inventor
M·D·施韦辛格
J·埃尔斯布里
M·C·米勒
G·西蒙内特
S·I·A·N·赫德
东根 N·万
N·万东根
E·J·勒雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN102934066A publication Critical patent/CN102934066A/zh
Application granted granted Critical
Publication of CN102934066B publication Critical patent/CN102934066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

描述了内容姿势。在实现中，由计算设备输出用于控制内容输出并且用于在用户界面中显示的一个或多个控件。由计算设备将通过使用相机检测到的输入识别为用于与控件中的特定一个控件进行交互以控制内容的输出的姿势。

Description

用姿势进行交互的方法
背景
用户能访问各种不同的设备来与媒体交互。例如，用户可利用光标控制设备来与由桌面计算机输出的媒体进行交互、利用遥控设备来与电视上的媒体进行交互、等等。因此，这些不同的设备中的每一个可能具有支持不同特征的不同按钮布局，这对于用户而言会造成困扰。
此外，这些设备中的一些可能被错误放置并且难以重新安置。例如，用户可能将电视的遥控设备放错地方。另外，遥控设备可被配置为电视的主输入设备，以使得一些功能通过使用遥控设备而专有可用。因此，用户可能花费相当量的时间来尝试寻找该设备，这可能导致用户受挫且降低的用户体验。
概述
描述了内容姿势。在实现中，由计算设备输出用于控制内容的输出并且用于在用户界面中显示的一个或多个控件。由计算设备将通过使用相机检测到的输入识别为用于与控件中的特定一个交互以控制内容的输出的姿势。
在实现中，由计算设备将通过使用相机检测到输入识别为选择搜索条中的记号符的姿势，该记号符描述由搜索条所描述的内容输出中的位置。响应于所述识别，由计算设备缩放所述搜索条的显示，以更详细地显示媒体回放中的时间量。
在各实现中，一种或多种计算机可读介质包括响应于计算设备上的执行而使得所述计算设备执行以下操作的指令：由计算设备输出用于控制媒体回放的搜索条；以及将通过使用相机检测到的输入识别为用于通过与搜索条的交互来选择媒体回放中的特定点的姿势。
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图简述
参考附图来描述详细描述。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。
图1是在一示例实现中的可用于采用本文中所述的内容输出技术的环境的图示。
图2示出了示出在多个设备通过中央计算设备而互联的环境中实现图1的媒体回放控制模块的示例系统。
图3是其中姿势被用来发起与媒体控件交互的模式以控制图1的计算设备的媒体回放的示例系统的例示。
图4是其中姿势被用来发起与被配置为搜索条的媒体控件的交互以控制图1的计算设备对媒体的回放的示例系统的例示。
图5例示了其中另一姿势被用来移动在图4的示例实现中被选中的搜索条的记号符以控制媒体回放的示例系统。
图6例示了其中沿搜索条的导航是从图5的系统继续进行的示例系统。
图7例示了其中搜索条中的位置被选中以用于媒体输出的示例系统。
图8是描绘了其中一个或多个姿势被用来控制计算设备的媒体回放的流程图。
图9示出了可被实现为参考图1-9来描述的任何类型的便携式和/或计算机设备以实现此处所描述的媒体回放控制技术的各实施例的示例设备的各个组件。
详细描述
概览
开发了遥控设备以帮助用户在内容的输出中进行导航。然而，当用户期望控制内容的输出时(诸如要回放特定电视节目时)，这些设备可能常常被放错地方或放在远离用户之处。这对于用户而言可能是低效的，因为用户可能难以确定遥控装置的为止并难以导航至内容内的所需位置。
在实现中，计算设备向用户提供了使用姿势来控制内容输出的能力。例如，用户可使用一手部姿势来衔接搜索条系统，使用第二手部姿势来拖曳搜索条上的把柄以改变内容将要被输出的位置，以及随后使用第三手部姿势来开始内容的回放。这允许用户在不与遥控设备(例如，按压物理按钮)或其他设备直接交互的情况下控制内容输出。
另外，搜索条可提供缩放功能以允许对用户选择的增强控制。例如，用户可选择搜索条中指示要被输出的媒体的回放内的当前位置的记号符。响应于此选择，搜索条可更详细地示出搜索条的至少一部分。由此，用户可在搜索条上自动地细化他们的选择。
此外，搜索条还可包括沿搜索条在不同位置处的媒体缩略图预览。例如，用户可沿搜索条移动记号符。作为相应，计算设备可提供与记号符可在其中移动的媒体回放中的位置相对应的缩略图输出。这向用户给予了媒体内容的快速查看，而无需迫使用户放弃正观看的当前媒体，此正观看的当前媒体可作为背景被显示。构想了各种不同功能，其进一步讨论可相关于以下章节找到。
在以下讨论中，首先描述可操作用于采用此处描述的媒体回放控制技术的示例环境。随后描述技术和过程的示例图示，该技术和过程可在示例环境中以及在其他环境中采用。因此，该示例环境并不限于执行示例技术和过程。同样，该示例技术和过程并不限于在示例环境中的实现。
示例环境
图1是在一示例实现中的可用于采用内容输出技术的环境100的图示。尽管以下描述了媒体(例如，视频、音乐、电视秀)的输出，但是这些技术也可用于各种其他类型的内容，诸如文档中的页、图片集等等。所示的环境100包括可通过各种方式来配置的计算设备102的示例。例如，计算设备102可被配置为传统计算机(例如，台式个人计算机、膝上型计算机等)、移动站、娱乐设备、通信耦合到所示的显示设备104(例如，电视)的游戏控制台、无线电话、上网本等等，如关于图2进一步描述的。因此，计算设备102的范围可以是从具有充足存储器和处理器资源的全资源设备(例如，个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如，常规机顶盒、手持式游戏控制台)。计算设备102还可与使得计算设备102执行一个或多个操作的软件相关。
计算设备102被示为包括输入/输出模块106。输入/输出模块106表示与经由计算设备102的识别输入和/或供应输出相关的功能。例如，输入/输出模块106可被配置成从键盘、鼠标接收输入以标识姿势并且使得对应于姿势的操作得以执行，等等。输入可由输入/输出模块106以各种不同的方式来检测。
输入/输出模块106可被配置成经由与硬件设备(如所示出的控制器108)的触摸交互来接收一个或多个输入。触摸交互可涉及按下按钮、移动操纵杆、跨跟踪垫的移动、使用显示设备104的触摸屏(例如，检测用户的手的手指或指示笔)，等等。输入/输出模块106可以利用对触摸输入的识别来与由计算设备102输出的用户界面进行交互，以与游戏、应用进行交互、浏览因特网、改变计算设备102的一个或多个设置，等等。也构想了涉及与设备的触摸交互的各种其他硬件设备。这样的硬件设备的示例包括光标控制设备(例如，鼠标)、遥控器(例如，电视遥控器)、平板计算机、移动通信设备(例如，被配置成控制计算设备102的一个或多个操作的无线电话)、以及涉及在用户或物体一方上的触摸的其他设备。
输入/输出模块106也可被配置成提供可识别不涉及触摸的交互的自然用户界面(NUI)。例如，计算设备102可包括NUI输入设备110。NUI输入设备110可按各种方式来配置以便检测输入而无需用户触摸特定设备，诸如通过使用话筒来识别音频输入。例如，输入/输出模块106可被配置成执行语音识别以识别特定话语(例如，口述命令)，以及识别提供该话语的特定用户。
在另一示例中，NUI输入设备110可被配置成通过使用相机来识别姿势、所呈现的对象、图像，等等。例如，相机可被配置成包括多个镜头，使得各不同的观察点可被捕捉。不同的观察点随后可被用来确定距NUI输入设备110的相对距离并且因而可被用来确定该相对距离的改变。各不同的观察点可被计算设备102用作深度感知。这些图像还可被输入/输出模块106用来提供各种其他功能，如标识特定用户(例如通过面部识别)、对象等的技术。
输入-输出模块106可利用NUI输入设备110来执行沿着对人体的诸个特定点的特征提取(例如，48个骨架点)的骨架映射，以跟踪一个或多个用户(例如，同时跟踪4个用户)来进行运动分析。例如，NUI输入设备110可捕捉图像，这些图像由输入/输入模块106来分析以识别由用户作出的一个或多个动作和/或身体部位或其他对象的移动和/或定位，包括什么身体部位被用来作出运动以及哪个用户作出该运动。通过识别用户的手部112的一个或多个手指的定位和移动和/或识别用户的手部112整体的移动或定位来示出了一示例。运动和/或定位可被输入/输出模块106标识为发起对应的操作的姿势。
可识别各种不同类型的姿势，诸如从单类输入所识别的姿势以及涉及多类输入(例如，手部姿势和语音识别)的姿势。因而，输入/输出模块106可通过识别和利用输入之间的分界来支持各种不同的姿势技术。应当注意，通过在自然用户界面(NUI)的输入之间进行区分，通过这些姿势中的单独每一个而变得可能的姿势的数量也增加。例如，尽管移动可能是相同的，但可使用不同类型的输入来指示不同的姿势(或对于类似命令的不同参数)。因而，输入/输出模块106可提供自然用户界面，即NUI，该NUI支持不涉及触摸的各种用户交互。
因此，尽管以下讨论描述了输入的示例，但是在实例中，不同类型的输入也可被使用，而不背离本发明的精神和范围。此外，尽管在以下讨论中的实例中姿势被示为使用NUI来输入，但姿势可由各种不同的设备使用各种不同的技术来输入，比如采用平板计算机或移动通信设备(例如，无线电话)的触摸屏功能。
计算设备102还被例示为包括媒体回放控制模块114，媒体回放控制模块114表示与对媒体回放的控制有关的功能。例如，媒体回放控制模块114可被配置成接受来自控制器108和/或NUI输入设备110的输入，以控制计算设备102对媒体(诸如在此例中当前正被显示的媒体116)的输出。例如，如显示设备104上所例示的，媒体回放控制模块114可显示一个或多个控件，这些控件可被选择来控制媒体回放，诸如搜索条117和其他控件，其示例包括多个暂停按钮120和停止按钮122。
通过与这些控件交互，用户能控制计算设备对内容的输出，并且在实现中可经由媒体回放控制模块114所识别的一个或多个姿势来间接地(例如，在没有物理操纵另一设备的情况下)地这样进行。因而，媒体回放控制模块114可被用来支持与计算设备102的自然交互以控制媒体116的输出，其进一步的讨论可在以下关于实现示例的内容中找到。
再次地，尽管在此示例中就本文中所描述的技术描述了媒体，但是这些技术可被用于各种其他用途来控制内容的输出。例如，搜索条118可被用来“扫动(scrub)”文档中的页(例如，缩略图可表示章节标题，如以下进一步讨论的)、一组图片、地图上的位置等等。因此，由搜索条显示的单元可以各种方式来配置，诸如离散的数目(例如，文档中的页数)、距离(例如，街道视图导航应用中距起始处的距离)、对数缩放比例、非数值比例(例如，诸如电影流派之类的类别)等等。
图2示出了包括参考图1描述的计算设备102的示例系统200。示例系统200实现了用于当在个人计算机(PC)、电视机设备和/或移动设备上运行应用时的无缝用户体验的普遍存在的环境。服务和应用在所有三个环境中基本相似地运行，以便当使用应用、玩视频游戏、看视频等时在从一个设备转换到下一设备时得到共同的用户体验。
在示例系统200中，多个设备通过中央计算设备互联。中央计算设备可以是多个设备本地的，或者可以位于多个设备的远程。在一个实施例中，中央计算设备可以是通过网络、因特网或其他数据通信链路连接到多个设备的一个或多个服务器计算机的云。在一个实施例中，该互联架构使得功能能够跨多个设备递送以向多个设备的用户提供共同且无缝的体验。多个设备的每一个可具有不同的物理要求和能力，且中央计算设备使用一平台来使得为设备特制且又对所有设备共同的体验能被递送到设备。在一个实施例中，创建目标设备的类，且使体验适应于设备的通用类。设备类可由设备的物理特征、用途类型、或其他共同特性来定义。
在各实现中，客户端设备102可采取各种不同配置，诸如用于计算机202、移动204、和电视机206用途。这些配置中的每一个包括可具有一般不同的构造和能力的设备，并且因而计算设备102可根据不同的设备类中的一个或多个来配置。例如，计算设备102可被实现为计算机类202设备，该计算机设备类包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等。
计算设备102还可被实现为移动类202设备，该移动类设备包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备。计算设备102还可被实现为电视机类206设备，该电视机类设备包括在休闲观看环境中具有或连接到一般更大的屏幕的设备。这些设备包括电视机、机顶盒、游戏控制台等。此处所述的媒体回放控制技术可由客户机设备102的这些各种配置来支持，并且不限于此处所述的媒体回放控制技术的具体示例。
云208包括和/或表示内容服务210的平台212。平台210抽象云208的硬件(如，服务器)和软件资源的底层功能。内容服务212可包括可在计算机处理在位于客户端设备102远程的服务器上执行时利用的应用和/或数据。内容服务212可作为因特网上和/或通过诸如蜂窝或Wi-Fi网络之类的订户网络上的服务来提供。
平台210可抽象资源和功能以将计算设备102与其他计算设备相连接。平台210还可用于抽象资源的缩放以向经由平台212实现的内容服务210所遇到的需求提供对应的缩放级别。因此，在一个互联设备实施例中，媒体回放控制模块114的功能的实现可遍及系统200地分布。例如，媒体回放控制模块114可部分地在计算设备102上实现以及经由对云208的功能进行抽象化的平台210来实现。
一般而言，此处描述的任何功能可使用软件、固件、硬件(例如，固定逻辑电路)、或这些实现的组合来实现。本文使用的术语“模块”、“功能”和“逻辑”一般表示软件、固件、硬件或其组合。在软件实现的情况下，模块、功能或逻辑表示当在处理器(例如，一个或多个CPU)上执行时执行指定任务的程序代码。程序代码可被储存在一个或多个计算机可读存储器设备中。以下描述的媒体回放控制技术的各特征是平台无关的，从而意味着这些技术可在具有各种处理器的各种商用计算平台上实现。
媒体回放控制实现示例
图3例示了其中姿势被用来发起与媒体控件交互的模式以控制图1的计算设备对媒体的回放的示例系统300。在此实现中，搜索条118被显示在显示设备104上以供用户进行查看，并且是与媒体116的输出并发地被显示的。尽管显示在媒体之上，但是搜索条118可以被显示在各个位置并且使用各种技术按需显示在显示设备104上，诸如使用各种不透明度被显示在显示器的底部或侧边，以保持正向用户显示的当前媒体的视图。
在此示例中，搜索条118描述了媒体项的总回放持续时间，在此示例中该媒体是一个小时的电视秀，但是也可构想其他媒体项，诸如音乐、(本地存储或通过网络流送的)视频、游戏等等。还构想了其他示例，诸如显示比输出一媒体所花的总持续时间要少的该媒体项的回放时间量，诸如用于流送视频、播放游戏的流逝时间等。
搜索条118还包括记号符202，该记号符指示媒体116的输出中的当前位置，并且由此在以下讨论中也可被称为当前位置记号符202。这允许用户查看已观看了媒体的多少以及当前可播放的内容量，诸如用于渐进下载、现场回放、或其他实施例。因此，当前可播放的媒体量可随着时间的改变而改变。也可在搜索条中显示媒体回放的质量。
为了发起与搜索条118的交互，用户可作出指示用户期望与媒体回放控制模块114的媒体控制功能交互的姿势。由此，媒体回放控制模块114可有助于限制对由用户作出的不经意姿势的识别。如以上所描述的，姿势可被定义为用户的手部或其他身体部位的移动和/或位置。因而，媒体回放控制模块114可支持各个不同的姿势，用以输入媒体回放控制模式。
在此示例中，在用户界面中显示指示204，用以指示显示设备104中与媒体回放控制模块14所识别的用户的手部相对应的位置。由此，媒体回放控制模块114可向用户提供反馈以帮助用户在用户界面中进行导航。在此示例系统300中，用户已作出发起与一个或多个媒体控件交互的模式的姿势。参照以下附图对与一个或多个媒体控件的示例交互进行了进一步的描述。
图4例示了其中姿势被用来发起与被配置为搜索条的媒体控件的交互以控制图1的计算设备102的媒体回放的示例系统400。在此示例中，使用由用户的手112作出的姿势来衔接(engage)当前位置记号符202。在此示例中，用户的手112被例示为当在用户界面中指示204被布置为具有当前位置记号符202时通过握成拳头来作出抓住运动。当衔接当前位置记号符202时，媒体的回放可被停止。因而，用户界面中的暂停按钮120可改变为播放按钮402以使其是可选择的以再次发起对媒体116的回放，但是也可构想其他实施例，诸如通过另一姿势。替换地，在当前位置记号符被衔接时，用户可执行另一手部移动来暂停媒体。
另外，搜索条118可通过提供“缩放”功能来提供对用户选择的更大控制。在选择当前位置记号符202之后，例如，搜索条302可进行放大以更详细地示出整个媒体116的(例如，时间量的)一部分。例如，如图3中所示的，搜索条118被例示为表示从零至60分钟的时间量，而由图4中的搜索条118表示的时间量是从10至30分钟并由此允许在使用搜索条118选择特定时间时的更精细的粒度。
在“缩放”时搜索条118所表示的时间量可以各种方式来配置，诸如媒体回放的整体持续时间的百分比、设定间隔、等等。例如，如果所配置的时间量小于整个媒体的时间，则缩放可能不被执行。
在一实现中，所配置的时间量可以是一致的，诸如区域从左到右表示相同时间量。另外，搜索条118可被扩展横跨显示设备104，诸如扩展成充满显示设备104的宽度以提供更详细细节。因而，缩放功能可通过在媒体116的回放中更详细地对特定位置的选择来向用户提供搜索条302上的更精细的选择。因而，在此示例系统400中，用户已选择搜索条118的记号符202，该记号符可在随后被移动以选择搜索条118中的一位置来输出相对应的媒体116，如接下来的附图中进一步描述的。
图5例示了其中另一姿势被用来移动图4的示例实现中所选中的搜索条的记号符以控制媒体回放的示例系统500。当用用户界面中户衔接当前位置记号符202时，用户可通过执行姿势来向右或向左移动记号符202。在实施例中，将搜索条118上的记号符202移动至不同的位置(或者进行扫动)，允许用户在媒体回放中在媒体116内移动至不同的位置。如图5的示例系统500中所示出的，通过使用箭头，用户的手112被指示为向右移动。因此，记号符202被媒体回放控制模块114沿着搜索条118向右移动，也如使用箭头所例示的那样。因而，搜索条118可充当描述媒体116的回放的媒体时间线。
扫动可包括各种其他技术。在一示例中，如果用户扫动至显示设备104上的搜索条118的边缘，则搜索条18可自动地滚动，以带入时间线的另一部分。此外，如果用户进行扫动直至时间线的末尾，则滚动可停止。在另一实施例中，用户的手部112运动可被媒体回放控制模块114用来确定滚动速度。例如，如果用户的手部112离左侧很远，则向左的滚动速度可能较快。滚动速度以及滚动的其他特征也可由用户来配置。
媒体回放控制模块114也被例示为在沿搜索条118的与记号符202在被移动时的诸个位置相对应的不同位置处提供媒体116的缩略图502预览。例如，图5的缩略图502包括在媒体的回放中的点“12:04”处从媒体获取的图像。这向用户给出了媒体在沿搜索条118的不同位置处的快速查看，而无需迫使用户放弃正被观看的当前媒体116。
图6是其中沿搜索条的导航是从图5的系统500继续进行的示例实现中的系统600。如图所例示的，用户的手部112继续向右移动。因此，记号符202已被媒体回放控制模块114移动相应的量。此外，在此示例中，搜索条118描述媒体116的回放中从40分钟至60分钟的新的时间间隔。如以上所描述的，例如，记号符202可被导航至搜索条118的边缘，这会导致回放中的新的时间间隔被表示。
缩略图602再次被显示在记号符202的邻近，并且包括在回放期间的该时间点处从媒体116获取的图像。在此实例中，记号符202的当前位置是用户所期望观看的。缩略图602还被例示为包括搜索条118的“未经缩放”的表示602，以使得用户可在媒体的整个回放中“保持对其位置的跟踪”。相应地，如图7的系统700中所示的，用户可执行与搜索条“脱离”(disengage)的姿势(用户的手部112的握紧打开运动)并从缩略图602中的帧开始媒体回放。图6的缩略图602被放大至全频，并且媒体116回放可从缩略图帧继续进行。
在一实现中，用户可比由计算设备102取得并呈现缩略图要更快地执行扫动姿势。在这样的一实现中，缩略图作为图像的模糊动画来输出。在另一实现中，缩略图预览可被隐藏，并且由此只是示出当前位置。另外，用户可将系统配置成禁用缩略图预览，而不背离本发明的精神和范围。
如图所示的，搜索条118还可在媒体的输出中包含特定时间点的指示符，例如，出现在搜索条118上的章节标记，如所例示的实例中的记号(tick)标记，但是可假定各种其他特征。指示符可位于媒体的回放中的普通参考点处(例如，在广告之后、在特定数目的画面之后)、位于可配置的时间增量处，等等。
另外，指示符可利用某些“重力”或“粘性”，这被媒体回放控制模块114用来促进对指示符114的选择。例如，媒体回放控制模块114可被配置成将记号符202定位在指示符处——该记号符202在指示符的预定义范围内被释放。因而，当用户在媒体116内拖曳搜索条118的记号符202经过诸个指示符时，媒体回放控制模块114可将选择“拉”向指示符。这允许用户轻松地选择指示符。在实现中，指示符可由用户配置成增大或减小对搜索条118的记号符202的拉力。
媒体回放控制模块114可在位于用户界面的消息域中向用户提供反馈。例如，如果计算设备102改变状态，则消息域可通知用户，并且如果用户尝试执行不被支持的动作，则消息域可显示“动作不被支持”消息。一些示例状态改变包括：播放、暂停、快进(例如，2x、4x、8x、16x、32x)、倒卷(例如，2x、4x、8x、16x、32x)等等。另外，消息域可显示符号以向用户传递信息。
媒体回放控制模块114可支持与搜索条118有关的各种其他功能。例如，用户可从搜索条118移开，并返回所显示的媒体116。在一示例中，用户可在当前把柄(handle)处执行开始回放的运动。在另一示例中，用户可执行将记号符202留在当前位置而不进行回放的运动。另外，如果用户不与计算设备102交互达一时间段，则设备可自动超时，并从显示设备104的显示上移除控件。
在另一实现中，用户可作出选择显示设备104上的其他控件的运动。可支持各种不同的控件以及相对应的姿势，诸如停止、向前跳跃、向后跳跃、暂停或播放。向前跳跃和向后跳跃可涉及指定的时间段、章节跳跃、内容跳跃等等。另外，媒体回放控制模块114可被配置成允许用户对控件的指定。此外，当媒体处于某些状态时可启用控件，例如，当内容被暂停且以其他方式不被启用时，跳跃控件被启用。可由媒体回放模块支持各种不同控件，其示例可在与以下章节相关联的内容中找到。
在一实施例中，媒体回放控制模块114被实现为提供用于控制对基于时间的媒体的回放的用户界面。媒体回放控制模块114可处理用户输入并显示被配置成供用户进行交互的屏幕覆盖图。用户输入源可包括控制器(例如，控制器108)、遥控器、NUI输入设备110(例如，运动检测器相机)等等。屏幕覆盖图可包括进度条、状态消息、以及用于供用户进行操纵的可视控件。
媒体回放控制模块114可向应用提供应用编程接口(API)。由此，应用自身可负责对媒体的实际呈现并管理其传输状态，但是其自身不关心用于控制媒体回放的用户体验的细节。
尽管针对搜索条118描述了媒体控件的几个示例，但是搜索条118可支持与回放有关的各种其他功能。例如，搜索条118可包括下载指示符，描述流逝和剩余时间，并包括质量计。例如，质量计可涉及对当前被呈现的媒体内容的质量(保真度)的视觉表示。质量可针对流送媒体(此时质量可能因宽带状况而改变)，并且也可被用于在所下载的媒体上区分标准清晰度相对高清晰度质量。
也可构想其他控件，诸如运送(transport)按钮栏，该运送按钮栏包括运送控件，诸如播放/暂停、前一章、倒卷、停止、快进、下一章、显示模式、音频语言、字幕语言、和信息。另外，控件中的一个或多个可通过使用控制器108(诸如运送按钮栏的左/右聚焦导航)来发起、使用“A”按钮来调用缩放功能、等等。
因而，如图3-7中所示的，当用户靠近记号符202时，搜索条118“放大”，这使得用户在选择位置时有更高精确度。随着搜索条118缩放，其原始位置可被调节以使记号符202在显示设备104上维持在相同的相对位置。搜索条118的高度和宽度两者可按比例缩放以达成所需的缩放程度。当标识器118被选择(例如，附着)时，对媒体的回放可被自动停止。
记号符202可沿整个搜索条118平滑地移动，但是时间指示器和缩略图也可“快闪(snap)”至特定时间指示(例如，以15秒的间隔)或章节位置，无论哪个更近的。拖曳至极左或极右可能导致搜索条118滚动(直至到达媒体116的开头或末尾为止)。在被附着时，记号符202的当前所选位置的缩略图402可如图4中所示的那样来显示。当记号符202被移开(例如，用户的手部112被放低来作为姿势或者就图7所描述的其他姿势)时，与记号符202的当前位置相对应的媒体116被回放。另外，当记号符被移开时，其他媒体控件可被禁用，并且保持禁用直至在移开之后的一短延迟(例如，一秒)，以减少移开姿势期间对其他媒体控件的意外附着。
示例性过程
以下讨论描述了可利用上述系统和设备来实现的媒体回放控制技术。这些过程中每一过程的各方面可用硬件、固件、软件、或其组合来实现。过程被示为一组框，它们指定由一个或多个设备执行的操作，不一定仅限于所示出的用于由相应的框执行操作的顺序。在以下讨论的各部分中，将参考图1的环境100和图2-4的系统200-700。
图8描绘了其中一个或多个姿势被用来控制计算设备对内容的输出的示例实现中的过程800。使用相机检测到的输入被计算设备识别为发起控制内容输出的模式的姿势(框802)。例如，NUI输入设备110可将用户的身体的一个或多个部位的移动和/或定位识别为姿势。在此实例中，姿势指示控制诸如书籍、导航应用、媒体回放等内容的输出的意图。
由计算设备输出用于控制内容输出的一个或多个控件来显示在用户界面中(框804)。继续先前示例，可响应于对以上姿势的识别而输出一个或多个控件。各种控件可被输出，诸如如以上所描述的按钮(例如，暂停按钮120、停止按钮122)、搜索条118、等等。
由计算设备将通过使用相机检测到的输入识别为用于与一个或多个控件交互以控制内容输出的姿势(框806)。例如，可将输入识别为选择搜索条中的记号符，该记号符可经由该姿势来操纵以指定内容输出中的位置(框808)。在另一实例中，响应于对选择的识别，对搜索条的显示被缩放以便示出与在对选择的识别之前的搜索条的显示相比更详细的时间量(框810)。响应于由输入所描绘的记号符移动，还示出与内容输出中由记号符所指示的时间点相对应的媒体的缩略图视图(框812)。还构想了各种其它示例，诸如按压按钮的姿势、指示值的姿势、等等。例如，用户可抬起他的手部来发起对搜索条118的显示，移动手部来将记号符202拖曳至内容116的输出中的所期望位置，以及放下手部来在由记号符202所指示的位置处开始媒体116的回放。
示例设备
图9示出了可被实现为参考图1和2来描述的任何类型的便携式和/或计算机设备以实现此处描述的姿势技术的各实施例的示例设备900的各种组件。设备900包括允许设备数据904(例如，接收到的数据、正被接收的数据、安排用于广播的数据、数据的数据包等)的有线和/或无线通信的通信设备902。设备数据904或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容、和/或与设备的用户相关联的信息。存储在设备900上的媒体内容可以包括任何类型的音频、视频和/或图像数据。设备900包括一个或多个数据输入906，经由数据输入可接收任何类型的数据、媒体内容、和/或输入，诸如用户可选输入、消息、音乐、电视媒体内容、记录的视频内容、以及从任何内容源和/或数据源接收的任何其他类型的音频、视频和/或图像数据。
设备900还包括通信接口908，该通信接口可被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器、以及任何其他类型的通信接口中的任何一个或多个。通信接口908提供设备900和通信网络之间的连接和/或通信链路，其他电子、计算和通信设备通过所述连接和/或通信链路来与设备900传递数据。
设备900包括一个或多个处理器910(例如，微处理器、控制器等中的任一个)，该处理器处理各种计算机可执行指令来控制设备900的操作并实现本文所述的实施例。作为补充或替换，设备900可被实现为具有与在912处概括标识的处理和控制电路有关地实现的硬件、固件、或固定逻辑电路中的任何一个或组合。虽然未示出，但是设备900可包括耦合设备内的各种组件的系统总线或数据传输系统。系统总线可包括不同总线结构中的任一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任一种的处理器或局部总线。
设备900还包括计算机可读介质914，诸如一个或多个存储器组件，存储器组件的示例包括随机存取存储器(RAM)、非易失性存储器(例如，只读存储器(ROM)、闪存、EPROM、EEPROM等中的任一个或多个)、以及盘存储设备。盘存储设备可被实现为任何类型的磁性或光学存储设备，如硬盘驱动器、可记录和/或可重写紧致盘(CD)、任何类型的数字多功能盘(DVD)等等。设备900还可包括大容量存储介质设备916。
计算机可读介质914提供数据存储机制以存储设备数据904，以及各种设备应用918和与设备900的各操作方面相关的任何其他类型的信息和/或数据。例如，操作系统920可以用计算机可读介质914作为计算机应用来维护并且在处理器910上执行。设备应用918可包括设备管理器(例如，控制应用、软件应用、信号处理和控制模块、特定设备本机的代码、特定设备的硬件抽象层等)。设备应用918还包括实现本文描述的姿势技术的实施例的任何系统组件或模块。在该示例中，设备应用程序918包括被示为软件模块和/或计算机应用程序的接口应用程序922和输入/输出模块924(其可与输入/输出模块114相同或不同)。输入/输出模块924表示用于给接口提供被配置成捕捉输入的诸如触摸屏、跟踪垫、照相机、麦克风等设备的软件。另选地或另外地，接口应用程序922和输入/输出模块924可被实现为硬件、软件、固件、或其任何组合。此外，输入/输出模块924可被配置成支持多个输入设备，诸如分别捕捉视觉和音频输入的单独设备。
设备900还包括向音频系统926提供音频数据和/或向显示系统928提供视频数据的音频和/或视频输入-输出系统930。音频系统928和/或显示系统930可包括处理、显示、和/或以其他方式呈现音频、视频和图像数据的任何设备。视频信号和音频信号可以通过RF(射频)链路、S-video(S-视频)链路、复合视频链路、分量视频链路、DVI(数字视频接口)、模拟音频连接，或其它类似的通信链路，从设备900传递到音频设备和/或显示设备。在一实施例中，音频系统928和/或显示系统930被实现为设备900的外部组件。或者，音频系统928和/或显示系统930被实现为示例设备900的集成组件。
结论
虽然已经用对结构特征和/或方法动作专用的语言描述了本发明，但是应该理解，在所附权利要求中定义的本发明不必限于所述的具体特征或动作。相反，这些具体特征和动作是作为实现所要求保护的本发明的示例形式而公开的。

Claims (12)

1.一种用姿势进行交互的方法，包括：
由计算设备输出用于控制内容输出的一个或多个控件来显示在用户界面中，其中所述控件中的至少一个控件被配置成具有记号符的搜索条，所述记号符是可经由姿势来操纵以指定媒体回放中的位置；
由计算设备将通过使用相机检测到的输入识别为用于在靠近而无需点选所述记号符的情况下控制所述记号符的移动的姿势以对所述媒体回放进行导航；以及
响应于所述识别，放大所述搜索条的显示以更详细地示出所述媒体回放的整个时间量的一部分以允许在用所述搜索条选择特定时间时的更精细的粒度。
2.如权利要求1所述的方法，其特征在于，所述搜索条包括所述内容输出中的时间点的一个或多个指示符，并且还包括当所述记号符被放置在相应的所述指示符的已定义范围内时由所述计算设备将所述记号符定位在相应的所述指示符处。
3.如权利要求1所述的方法，其特征在于，还包括响应于由所述输入所描述的所述记号符的移动，输出与所述内容输出中由所述记号符所指示的时间点相对应的内容的缩略图视图。
4.如权利要求3所述的方法，其特征在于，在所述记号符的移动期间，暂停所述内容输出。
5.如权利要求1所述的方法，其特征在于，所述一个或多个控件被配置成播放控件、暂停控件、快进控件、倒卷控件、停止控件、前一章控件、或后一章控件。
6.如权利要求1所述的方法，其特征在于，所述姿势涉及用户的一个或多个身体部位的定位。
7.如权利要求1所述的方法，其特征在于，还包括将另一输入识别为发起所述一个或多个控件在所述用户界面中的输出的运动。
8.一种用姿势进行交互的方法，包括：
由计算设备将通过使用相机检测到输入识别为在靠近而无需点选搜索条中的记号符的情况下控制所述记号符的姿势，所述记号符描述由所述搜索条所描述的内容输出中的位置；以及
响应于所述识别，由所述计算设备放大所述搜索条的显示，以更详细地显示所述内容输出的整个时间量的一部分以允许在用所述搜索条选择特定时间时的更精细的粒度。
9.如权利要求8所述的方法，其特征在于，所述时间量与由所述记号符所描述的所述内容输出中的当前位置相关联。
10.如权利要求8所述的方法，其特征在于，当所述记号符未被控制时，所显示的时间量小于由所述搜索条所描述的所述内容输出的总持续时间。
11.如权利要求8所述的方法，其特征在于，所述搜索条包括所述内容输出中的时间点的一个或多个指示符，并且还包括当所述记号符被放置在相应的所述指示符的已定义范围内时由所述计算设备将所述记号符定位在相应的所述指示符处。
12.如权利要求8所述的方法，其特征在于，还包括响应于所述记号符的移动，输出与所述内容输出中由所述记号符所指示的时间点相对应的内容的缩略图视图。
CN201180028086.3A 2010-06-10 2011-05-30 用姿势进行交互的方法 Active CN102934066B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US35362610P 2010-06-10 2010-06-10
US61/353,626 2010-06-10
US12/854,708 US9009594B2 (en) 2010-06-10 2010-08-11 Content gestures
US12/854,708 2010-08-11
PCT/US2011/038478 WO2011156161A2 (en) 2010-06-10 2011-05-30 Content gestures

Publications (2)

Publication Number Publication Date
CN102934066A CN102934066A (zh) 2013-02-13
CN102934066B true CN102934066B (zh) 2016-08-17

Family

ID=45098584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180028086.3A Active CN102934066B (zh) 2010-06-10 2011-05-30 用姿势进行交互的方法

Country Status (6)

Country Link
US (1) US9009594B2 (zh)
EP (1) EP2580650A4 (zh)
JP (1) JP5779243B2 (zh)
CN (1) CN102934066B (zh)
CA (1) CA2799440C (zh)
WO (1) WO2011156161A2 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363579B2 (en) * 2010-12-22 2016-06-07 Google Inc. Video player with assisted seek
US20120173979A1 (en) * 2010-12-31 2012-07-05 Openpeak Inc. Remote control system and method with enhanced user interface
US20130334300A1 (en) 2011-01-03 2013-12-19 Curt Evans Text-synchronized media utilization and manipulation based on an embedded barcode
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
KR101568347B1 (ko) * 2011-04-12 2015-11-12 한국전자통신연구원 지능형 로봇 특성을 갖는 휴대형 컴퓨터 장치 및 그 동작 방법
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
JP5804956B2 (ja) * 2012-01-26 2015-11-04 Kddi株式会社 パラメータ設定部をエミュレートしたユーザインタフェース装置、パラメータ設定方法及びプログラム
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
US10389779B2 (en) 2012-04-27 2019-08-20 Arris Enterprises Llc Information processing
US10198444B2 (en) * 2012-04-27 2019-02-05 Arris Enterprises Llc Display of presentation elements
KR101413286B1 (ko) * 2012-05-02 2014-07-01 주식회사 팬택 전자 장치 및 이를 위한 잠금 해제 장치와 방법
US20150212694A1 (en) * 2012-05-02 2015-07-30 Google Inc. Internet browser zooming
US9632685B2 (en) * 2012-05-31 2017-04-25 Eric Qing Li Method of navigating through a media program displayed on a portable electronic device in a magnified time scale
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9430937B2 (en) 2012-07-03 2016-08-30 Google Inc. Contextual, two way remote control
KR20140005688A (ko) * 2012-07-06 2014-01-15 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US9110562B1 (en) * 2012-07-26 2015-08-18 Google Inc. Snapping a pointing-indicator to a scene boundary of a video
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
CN103677605A (zh) * 2012-09-18 2014-03-26 英业达科技有限公司 手持式装置的文件页码精确定位系统及其方法
KR101951228B1 (ko) 2012-10-10 2019-02-22 삼성전자주식회사 멀티 디스플레이 장치 및 그 촬상 방법
KR102083918B1 (ko) 2012-10-10 2020-03-04 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
KR102063952B1 (ko) 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20150212647A1 (en) 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
KR102083937B1 (ko) 2012-10-10 2020-03-04 삼성전자주식회사 멀티 디스플레이 장치 및 그 툴 제공 방법
KR102061881B1 (ko) 2012-10-10 2020-01-06 삼성전자주식회사 멀티 디스플레이 장치 및 그 디스플레이 제어 방법
US9501140B2 (en) * 2012-11-05 2016-11-22 Onysus Software Ltd Method and apparatus for developing and playing natural user interface applications
KR102004884B1 (ko) * 2013-01-07 2019-07-29 삼성전자주식회사 전자 장치에서 움직이는 사진 제어 장치 및 방법
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US20140245200A1 (en) * 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
KR102118091B1 (ko) * 2013-03-06 2020-06-04 삼성전자주식회사 오브젝트에 대한 사전 실행 기능을 가지는 모바일 장치 및 그 제어방법
US9298266B2 (en) * 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10394444B2 (en) * 2013-10-08 2019-08-27 Sony Interactive Entertainment Inc. Information processing device
US9542544B2 (en) * 2013-11-08 2017-01-10 Microsoft Technology Licensing, Llc Correlated display of biometric identity, feedback and user interaction state
US10620796B2 (en) * 2013-12-19 2020-04-14 Barnes & Noble College Booksellers, Llc Visual thumbnail scrubber for digital content
TW201543268A (zh) * 2014-01-07 2015-11-16 Thomson Licensing 用於使用手勢控制媒體播放之系統及方法
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
CN105917640B (zh) 2014-09-05 2018-03-16 奥林巴斯株式会社 数据再现装置、数据再现装置的控制方法
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
US9990113B2 (en) 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
US9928029B2 (en) 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
WO2017059596A1 (zh) * 2015-10-10 2017-04-13 深圳迈瑞生物医疗电子股份有限公司 医用监护系统、显示监护数据的方法和监护显示装置
JP6672458B2 (ja) * 2016-07-12 2020-03-25 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
US11259088B2 (en) 2017-10-27 2022-02-22 Google Llc Previewing a video in response to computing device interaction
FR3074938B1 (fr) * 2017-12-08 2019-12-27 Sagemcom Broadband Sas Procede d'interaction avec un sous-titre affiche sur un ecran de television, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en œuvre d'un tel procede
US11922006B2 (en) 2018-06-03 2024-03-05 Apple Inc. Media control for screensavers on an electronic device
US11599146B2 (en) 2020-10-05 2023-03-07 Onanoff Limited Company (Ltd.) System, method, and apparatus for downloading content directly into a wearable device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1672405A (zh) * 2002-07-24 2005-09-21 汤姆森特许公司 在个人录像机中导航到特定节目或规定的时间增量
CN101501614A (zh) * 2006-08-08 2009-08-05 微软公司 用于视觉显示器的虚拟控制器
CN101702941A (zh) * 2007-04-23 2010-05-05 数字源泉公司 用于视频内容的低带宽播放位置预览的方法和装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5786814A (en) * 1995-11-03 1998-07-28 Xerox Corporation Computer controlled display system activities using correlated graphical and timeline interfaces for controlling replay of temporal data representing collaborative activities
JP2002109863A (ja) * 2000-09-28 2002-04-12 Toshiba Corp 情報記録再生装置
JP2002116859A (ja) * 2000-10-11 2002-04-19 Sony Corp 情報処理装置、命令認識処理方法及びプログラム格納媒体
US6904561B1 (en) * 2001-07-19 2005-06-07 Microsoft Corp. Integrated timeline and logically-related list view
US20030095154A1 (en) 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
US6990637B2 (en) * 2003-10-23 2006-01-24 Microsoft Corporation Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data
US7733962B2 (en) * 2003-12-08 2010-06-08 Microsoft Corporation Reconstructed frame caching
JP2005267279A (ja) * 2004-03-18 2005-09-29 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
US20050212753A1 (en) * 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US20060064300A1 (en) 2004-09-09 2006-03-23 Holladay Aaron M Audio mixing method and computer software product
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
US8238287B1 (en) * 2004-10-06 2012-08-07 Marvell International Ltd. Method and apparatus for providing quality of service (QoS) in a wireless local area network
KR100687737B1 (ko) 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US8954852B2 (en) * 2006-02-03 2015-02-10 Sonic Solutions, Llc. Adaptive intervals in navigating content and/or media
US7877690B2 (en) 2006-09-20 2011-01-25 Adobe Systems Incorporated Media system with integrated clip views
JP2008135825A (ja) * 2006-11-27 2008-06-12 Toshiba Corp データ再生装置及びデータ再生方法
US7827490B2 (en) 2006-11-30 2010-11-02 Microsoft Corporation Media state user interface
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
JP4829839B2 (ja) * 2007-05-08 2011-12-07 シャープ株式会社 携帯通信端末
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP2009205462A (ja) * 2008-02-28 2009-09-10 Toyota Motor Corp 情報システム
US20100150520A1 (en) * 2008-12-17 2010-06-17 Dolby Laboratories Licensing Corporation Method and system for controlling playback of a video program including by providing visual feedback of program content at a target time
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8359537B2 (en) * 2009-04-30 2013-01-22 Apple Inc. Tool for navigating a composite presentation
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1672405A (zh) * 2002-07-24 2005-09-21 汤姆森特许公司 在个人录像机中导航到特定节目或规定的时间增量
CN101501614A (zh) * 2006-08-08 2009-08-05 微软公司 用于视觉显示器的虚拟控制器
CN101702941A (zh) * 2007-04-23 2010-05-05 数字源泉公司 用于视频内容的低带宽播放位置预览的方法和装置

Also Published As

Publication number Publication date
JP2013529802A (ja) 2013-07-22
JP5779243B2 (ja) 2015-09-16
US20120042246A1 (en) 2012-02-16
EP2580650A4 (en) 2016-12-28
EP2580650A2 (en) 2013-04-17
CN102934066A (zh) 2013-02-13
WO2011156161A2 (en) 2011-12-15
CA2799440A1 (en) 2011-12-15
CA2799440C (en) 2018-04-03
US9009594B2 (en) 2015-04-14
WO2011156161A3 (en) 2012-04-05

Similar Documents

Publication Publication Date Title
CN102934066B (zh) 用姿势进行交互的方法
US9501140B2 (en) Method and apparatus for developing and playing natural user interface applications
EP2417517B1 (en) Directional touch remote
CN103299645B (zh) 具有辅助寻找的视频播放器
EP2812776B1 (en) Information processing apparatus, and information processing method
CN103649900B (zh) 边缘手势
US20130014053A1 (en) Menu Gestures
US9852766B2 (en) User interface for syncronizing audio with video data
CN103384873A (zh) 用于生成媒体收集的方法
CN103403655A (zh) 与上下文有关的用户界面
US20110304649A1 (en) Character selection
JP2013522797A (ja) 複数軸ナビゲーション
WO2012092247A1 (en) Method and system for providing additional content related to a displayed content
WO2018069985A1 (ja) 採点支援プログラム、採点支援装置および採点支援方法
US20150121194A1 (en) Web content navigation using tab switching
JP2014522012A (ja) ビジュアル検索及び推奨ユーザインタフェース及び装置
CN105074613A (zh) 用于内容发现的方法和系统
TW201621852A (zh) 用於提供互動內容之方法及裝置
EP2753094B1 (en) Method and apparatus for controlling contents in electronic device
US10366528B2 (en) Interactive points of interest for 3D-representations
CN105916035A (zh) 一种快速定位播放时间点的显示方法及装置
JP5844697B2 (ja) 映像再生装置、映像再生方法、および映像再生用プログラム
Lee et al. Físchlár on a PDA: handheld user interface design to a video indexing, browsing and playback system
CN111078089A (zh) 基于触摸一体机的快速截图方法、电子设备、计算机可读存储介质
CN103077013B (zh) 控件展示

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150803

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150803

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant