CN104350446B - 上下文用户界面 - Google Patents

上下文用户界面 Download PDF

Info

Publication number
CN104350446B
CN104350446B CN201380028950.9A CN201380028950A CN104350446B CN 104350446 B CN104350446 B CN 104350446B CN 201380028950 A CN201380028950 A CN 201380028950A CN 104350446 B CN104350446 B CN 104350446B
Authority
CN
China
Prior art keywords
user
interface
user interface
context
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380028950.9A
Other languages
English (en)
Other versions
CN104350446A (zh
Inventor
S·库帕拉
M·艾斯普斯托
C·康咖
K·P·马尔卡希
M·A·梅达克
N·W·布莱克
A·D·图托
E·C·沃里斯
W·F·希费尔贝因
Z·许
K·A·洛伯
R·O·小普斯那
J·R·塔克
H·G·布罗迪
S·P·斯塔取涅克
J·D·埃利奥特
C·C-W·伍
R·P·松科
H·B·纳格
J·C·扎纳
M·V·哈达
A·J·索勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104350446A publication Critical patent/CN104350446A/zh
Application granted granted Critical
Publication of CN104350446B publication Critical patent/CN104350446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/493—Resuming a game, e.g. after pausing, malfunction or power failure
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Selective Calling Equipment (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明的各实施例分析了上下文，在该上下文中用户与计算机界面交互并自动针对该上下文优化界面。用户选择的用于交互的控制器或控制模式可部分定义上下文。控制模式的各示例，包括摆姿势、音频控制、同伴设备的使用、以及诸如游戏控制台和遥控器的专用控制设备的使用。针对不同任务设计不同输入设备。尽管如此，用户将频繁地尝试使用不适于任务的控制输入来执行该任务。本发明的各实施例改变用户界面的特性，使用户更易使用用户选择的输入设备完成所预期的任务。

Description

上下文用户界面
用于电视机、游戏控制台、媒体播放器、个人计算机、以及其它设备的用户界面已经变得越来越复杂。设备拥有越来越多的应用和程序，用户通过这些应用和程序访问不断扩张的量的内容。此外，用户具有与界面交互的多种机制。适用一种形式的交互的界面可能不适合第二类交互或并非对第二类交互最优化。
概述
提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。该发明内容不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在独立地用于帮助确定所要求保护的主题的范围。
本发明的各实施例分析了用户在其中与计算机界面进行交互的上下文，并针对该上下文自动优化界面。用户选择的用于交互的控制器或控制模式可部分定义上下文。控制模式的各示例，包括摆姿势、音频控制、同伴设备的使用、以及诸如游戏控制器和遥控器的专用控制设备的使用。针对不同任务设计不同输入设备。尽管如此，用户将频繁地尝试使用不适于任务的控制输入来执行该任务。本发明的各实施例改变用户界面的特性，使用户更易使用用户选择的输入设备完成所预期的任务。
除了将界面适应所选的交互机制，界面还可以基于环境条件进行优化。环境条件包括，一个人相对于房间里其他人和物体的位置，以及显示在一个或多个界面上的内容。例如，交互菜单将被呈现在没有被物体或站在屏幕和尝试与屏幕上内容交互的用户之间的人遮挡的部分屏幕上。因此，如果屏幕右下角被一个人挡住，那么帮助信息将被呈现在屏幕上的不同部分。类似，如果用户在他们的右手有电话或其它物体，那么基于姿势的菜单可被优化以供左手使用。例如，菜单对象可被移到屏幕的左手侧，使得用户不必跨过他们的身体伸出手来虚拟选择界面对象。
本发明的各实施例可使用各种信号来确定当前上下文。示例信号包括从摄像机收集的彩色图像数据、从深度相机或其它具有3D能力的获取设备收集的3D图像数据、音频信号、以及来自附近的一个或多个计算设备和控制器的状态信息。
附图简述
以下参考附图详细描述本发明的各实施例，附图中：
图1是适用于实现本发明的各实施例的示例性计算环境的框图；
图2是示出根据本发明的一个实施例的，在游戏控制台、游戏服务、和同伴设备之间的各种通信介质的示意图；
图3是示出根据本发明的一个实施例的，适合用于使用交互上下文优化用户界面的计算环境的示意图；
图4是示出根据本发明的一个实施例的，与针对使用姿势进行了优化的界面进行交互的用户的示意图；
图5是示出根据本发明的一个实施例的，用户与为了使用由游戏控制台识别到的同伴设备进行了自动优化的界面进行交互的示意图；
图6是示出根据本发明的一个实施例的，用户与为了使用游戏控制器而进行了优化的帮助界面进行交互的示意图；
图7是示出根据本发明的一个实施例的，用户与为了使用音频控制而进行了优化的帮助界面进行交互的示意图；
图8是示出根据本发明的一个实施例的，用户与为了使用同伴设备而进行了优化的帮助界面进行交互的示意图；
图9是示出根据本发明的一个实施例的，用户与针对惯用左手姿势进行了优化的界面进行交互的示意图；
图10是示出根据本发明的一个实施例的，用户与针对惯用右手姿势进行了优化的界面进行交互的示意图；
图11是示出根据本发明的一个实施例的，用户与作为由用户处理的对象的结果进行了优化的界面进行交互的示意图；
图12是示出根据本发明的一个实施例的，使用环境内对象或服装的标识来生成对应界面的示意图；
图13是示出根据本发明的一个实施例的，呈现针对当前上下文进行了优化的界面的方法的流程图；
图14是示出根据本发明的一个实施例的，呈现针对当前上下文进行了优化的界面的方法的流程图；以及
图15是示出根据本发明的一个实施例的，呈现针对当前上下文进行了优化的界面的方法的流程图。
具体实施方式
此处用细节来描述本发明的各实施例的主题以满足法定要求。然而，该描述本身并非旨在限制本专利的范围。相反，发明人已设想所要求保护的主题还可结合其它当前或未来技术以其它方式来实施，以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。此外，尽管术语“步骤”和/或“框”可在此处用于指示所采用的方法的不同元素，但除非而且仅当明确描述了各个步骤的顺序时，该术语不应被解释为意味着此处公开的各个步骤之中或之间的任何特定顺序。
本发明的各实施例分析了用户在其中交互以与计算机界面交互的上下文，并自动针对该上下文优化界面。与用户界面的用户交互可包括对界面给予不同程度的注意力，范围从忽视该界面到完全关注。用户选择的用于交互的控制器或控制模式可部分定义上下文。控制模式的各示例，包括摆姿势、音频控制、同伴设备的使用、以及诸如游戏控制器和遥控器的专用控制设备的使用。针对不同任务设计不同输入设备。尽管如此，用户将频繁地尝试使用不适于任务的控制输入来执行该任务。本发明的各实施例改变用户界面的特性，使用户更易使用用户选择的输入设备完成所预期的任务。
除了将界面适应所选的交互机制，界面还可以基于环境条件进行另外优化。环境条件包括，一个人相对于房间里其他人和物体的位置，以及显示在一个或多个界面上的内容。例如，交互菜单可被呈现在没有被物体或站在屏幕和尝试与屏幕上内容交互的用户之间的人遮挡的部分屏幕上。因此，如果屏幕右下角被一个人挡住，那么帮助信息将被呈现在屏幕上的不同部分。类似，如果用户在他们的右手有电话或其它物体，那么基于姿势的菜单可被优化以供左手使用。例如，菜单对象可被移到屏幕的左手侧，使得用户不必跨过他们的身体伸出来虚拟选择界面对象。
本发明的各实施例可使用各种信号来确定当前上下文。示例信号包括从摄像机收集的彩色图像数据、从深度相机或其它具有3D能力的获取设备收集的3D图像数据、音频信号、以及来自附近的一个或多个计算设备和控制器的状态信息。
在简要描述了本发明的各实施例的概览后，以下描述适用于实现本发明的各实施例的示例性操作环境。
示例性操作环境
概括地参考附图，并首先具体参考图1，示出了用于实现本发明的各实施例的示例性操作环境，并将其概括地指定为计算设备100。计算设备100只是合适的计算环境的一个示例，并且不旨在对本发明的使用范围或功能提出任何限制。也不应该将计算设备100解释为对所示出的任一组件或其组合有任何依赖性或要求。
本发明可以在由计算机或诸如个人数据助理或其他手持式设备之类的其他机器执行的计算机代码或机器可使用指令(包括诸如程序组件之类的计算机可执行指令)的一般上下文中描述。一般而言，包括例程、程序、对象、组件、数据结构等的程序组件指的是执行特定任务或实现特定抽象数据类型的代码。本发明的各实施方式可以在各种系统配置中实施，这些系统配置包括手持式设备、消费电子产品、通用计算机、专用计算设备等等。本发明也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实施。
继续参考图1，计算设备100包括直接或间接耦合以下设备的总线110：存储器112、一个或多个处理器114、一个或多个呈现组件116、输入/输出(I/O)端口118、I/O组件120、说明性电源122、无线电124、和传感器126。总线110表示可以是一条或多条总线(诸如地址总线、数据总线、或其组合)。虽然为了清楚起见利用线条示出了图1的各框，但是实际上，各组件的轮廓并不是那样清楚，并且比喻性地来说，线条更精确地将是灰色的和模糊的。例如，可以将诸如显示设备的呈现组件认为是I/O组件120。而且，处理器也具有存储器。发明人关于此点认识到这是本领域的特性，并重申，图1的图示只是可以结合本发明的一个或多个实施方式来使用的示例性计算设备的说明。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别，它们全部都被认为是在图1的范围之内并且被称为“计算机”或“计算设备”。
计算设备100通常包括各种计算机可读介质。计算机可读介质可以是可由计算设备100访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法和技术实现的易失性和非易失性、可移动和不可移动介质。
计算机存储介质包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁存储设备。计算机存储介质不包括被传播的数据信号。
通信介质通常以诸如载波或其他传输机制之类的已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传送介质。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。上述的任意组合也应包含在计算机可读介质的范围内。
存储器112包括易失性和/或非易失性存储器形式的计算机存储介质。存储器112可以是可移动的、不可移动的、或其组合。示例性存储器包括固态存储器、硬盘驱动器、光盘驱动器等等。计算设备100包括从诸如总线110、存储器112或I/O组件120之类的各种实体读取数据的一个或多个处理器114。呈现组件116向用户或其他设备呈现数据指示。示例性呈现组件116包括显示设备、扬声器、打印组件、振动组件等等。I/O端口118允许计算设备100在逻辑上耦合至包括I/O组件120的其他设备，其中某些设备可以是内置的。说明性I/O组件120包括话筒、操纵杆、游戏手柄、扫描仪、软/硬按钮、触摸屏显示等等。
无线电124发送并接收无线电通信。计算设备100可以是适合于通过各种无线网络接收到的通信和介质的无线终端。计算设备100可通过无线协议(诸如码分多址“CDMA”、全球移动系统“GSM”，或时分多址“TDMA”等等)通信，以与其它设备(图1未示出)进行通信。无线电通信可以是近程连接、远程连接，或近程和远程无线电信连接两者的组合。当我们谈到“近”和“远”类型的连接时，我们不意指两个设备之间的空间关系。相反，我们通常称近程和远程为不同类别或类型的连接(即主要连接和次要连接)。近程连接包括到提供对无线通信网络的访问的设备(例如，移动热点)的连接，诸如使用802.11协议的WLAN连接。到另一计算设备的蓝牙连接是近程连接的第二个示例。远程连接可包括使用CDMA、GPRS、GSM、TDMA和802.16协议的一个或多个的连接。
传感器126观察设备和环境特性和条件。示例传感器包括加速计、陀螺仪、GPS/位置、邻近度传感器、光传感器，和振动传感器。
多设备用户体验
现在转到图2，根据本发明的各实施例的，包括可提供同伴体验的多个计算设备的联网操作环境200被示出。环境200包括主设备210、同伴设备252、254、256和258、无线路由器250、基站260、网络230和同伴体验服务器220。这些设备仅仅是示例性的，并且不旨在是限制性的。
主设备210可以是游戏控制台、媒体控制台，或呈现标题的其它合适的计算设备。标题可以是游戏、电影、应用、音乐、视频、电视节目，和其它媒体内容。游戏控制台可被耦合到显示器，诸如电视机。
同伴设备252、254、256和258是计算设备。同伴设备，如此应用中使用的，是提供第二显示的个人计算设备。示例包括膝上电脑、个人电脑、上网本、智能电话、电子阅读器、PDA，和平板电脑。同伴体验允许用户通过同伴设备上的界面与和主设备210上播放的媒体相关的内容进行交互。同伴体验还可以允许用户通过同伴设备上的界面来控制媒体呈现。
同伴体验服务器220通过提供同伴内容、同伴应用、注册并授权同伴设备、促进主设备和同伴设备之间的通信，以及执行其它任务来促进同伴体验。同伴体验服务器可通过广域网(诸如互联网)来被访问。
同伴设备252、254、256和258可通过蓝牙或通过有线连接直接与主设备210通信。同伴设备还可通过由无线路由250生成的本地无线网络进行通信。这些连接可以是直接的，或者它们可通过同伴体验服务器来路由。同伴设备还可通过由基站260推动的数据服务来与主设备进行通信。通过主设备正在使用的任何到互联网230的通信，基站260可将通信路由到主设备。如果主设备正在使用同一个数据服务，基站260还可与主设备直接通信。
上下文专用界面引擎
现在转到图3，根据本发明的一个实施例的，带有适合用于检测交互上下文并优化用户界面的各组件的上下文专用界面引擎300被示出。引擎300包括上下文确定组件310、上下文数据存储312、用户数据存储314、个人识别组件316、对象识别组件318、设备识别组件320、和界面激活组件322。上下文专用界面引擎300只是一个合适的架构的示例，并不旨在就本发明的使用范围或功能提出任何限制。该上下文专用界面引擎300也不应被解释成对于此处所示出的任一组件或其组合有任何依赖或要求。上下文专用界面引擎300可驻留在单个计算设备或跨包括连接在家庭网、局域网、或广域网中的多个设备分布。各个组件的各部分可部分驻留在客户机上部分驻留在服务器上，或者以其他方式跨多个设备分布。
上下文确定组件310确定用户的当前交互上下文。上下文包括用户动作和用户与各设备、其它人、和正被显示在一个或多个设备上的内容的交互。上下文确定组件310可使用上下文模板来标识并标注上下文。上下文模板可描述上下文的特性并推荐针对上下文优化的界面特征。上下文的特性被用于标识当前上下文。所推荐的界面特性是那些针对上下文被优化或推荐的。
上下文确定组件310可涉及基于在使用系统时观察的用户动作来构建或优化上下文模板。用户对经优化的界面的响应可被跟踪并被用于改变上下文模板。例如，当用户不与添加到经优化的界面的特征进行交互，那些特征可从该模板移除。如果用户频繁地从第一界面特征导航到第二界面上的第二特征，那么第一和第二界面特征可被组合到新的经优化的界面。
在一个实施例中，来自用户与一个界面的交互的数据可被发送到基于服务器的机器学习和分析，所述基于服务器的机器学习和分析组合来自多个用户的信息以创建并修改模板。接着可将模板与类似处境的人相关联，并将模板用于识别交互，该交互指示用户以特定方式与界面进行交互的意图。例如，上下文模块可与右手使用游戏手柄的30－35岁男人相关联以导航媒体选择界面。用户特征可被观察或从帐户数据、检索到的对应的模板、和根据模板优化的界面来收集。上下文模块可被存储在服务器中并根据要求访问或周期性地发送到计算设备。
例如，姿势输入上下文模块将姿势输入作为特性。姿势输入在用户用他们的身体或部分身体以由输入设备(诸如深度相机)识别的姿势进行运动时发生。例如，用户可执行拇指朝上拨的姿势，旨在调响电视机音量。在任何情况中，上下文模板可包括上下文特性，该上下文特性包括用户没有正在握住控制设备，或用户除了作出可识别的姿势没有显得与被握着的控制设备进行交互。作为响应，经优化的用户界面特征可包括更大的可选对象。因此，用户界面可被缩放或可选对象可被尺寸放大。在另一个实施例中，围绕各对象的选择区域增加。每个上下文具有不同的特性和经优化的界面特征。一些上下文可与其它上下文和经优化的界面特征共享特性。
输入模式只是一个上下文特征。例如，可以有整个一类的基于姿势(包括惯用右手姿势、惯用左手姿势、被遮挡的姿势、和多人姿势)的上下文。上下文确定组件310可将输入模式用作选择上下文类的开始点。随着接收到更多的信息，上下文可被更新并据此调整界面。界面可随着上下文情形中的置信度的提升或降低而被动态更新。一般而言，特定上下文中的更低置信度可导致更一般的界面(没有针对特定上下文优化但适于用在不同上下文中)被显示。
专用设备输入的使用是另一个上下文类。专用设备包括遥控器和游戏控制器，并往往非常专用且更不灵活。被用来确定专用设备正被使用的各特性包括用户拿起专用设备和专用设备的使用。这不同于设备被放置起来或仅仅是重新定位。除了使用相机来确定用户是否显得正在将设备用作控制机制，从专用设备接收到的信号可确认图像数据观察到什么。在这个情况下，界面可被适配或优化用以使用所选专用设备。上下文确定组件310可与设备识别组件320一起使用来标识特定专用设备。
同伴交互是另一个上下文类。同伴交互涉及同伴设备(诸如智能电话或平板电脑)的使用。同伴设备可具有触摸屏，允许用户作出精细或更细粒度选择，并查看附加内容。同伴设备还可具有硬或软键盘，允许用户输入文本。同伴设备交互的特性包括拿起同伴设备。同伴设备可被其外观和设备接收到的信号数据来标识。例如，在建立通信会话期间从同伴设备发送的数据包可包括标识设备和设备特性的URL。
在一个实施例中，人识别组件316被用来将各设备与人相关联。例如，多个人与多个设备可在房间里。人识别组件316可帮助确定哪个人正在对他们的设备干啥。例如，第一人可与放在桌子上被忽视的设备相关联。在此情况下，用户界面将不想向这个人的同伴设备推送相关内容，或移到为同伴设备的控制而优化的界面上下文。在另一方面，如果第二人正在查看他/她的同伴设备，补充内容可被推送到该设备以增强或扩充第二人的查看体验或控制界面的能力(如果想要)。
本发明的各实施例试图预言该用户将想要使用同伴设备作为界面交互的一部分。例如，正在使用姿势试图导航web浏览器界面的用户可在选择文本框后立刻拿起同伴设备。本发明的各实施例可自动打开该同伴设备上的软键盘以允许用户使用同伴设备键入。无需用户做除了拿起同伴设备以外的任何事情，或者如果他们已经握住了同伴设备则无需用户以指示他们准备使用它的方式移动，优化就会发生。在此情况下上下文还考虑浏览器应用的状态。在此情况下，上下文包括活跃文本框。如果用户没有正握住该同伴设备，软键盘将不被打开，而作为替代，主显示上的姿势键盘将被打开。
音频上下文是另一上下文类，其中界面可被优化。例如，区分在室内讲话的人和想要开始使用音频命令来控制界面的人是困难的。在一个实施例中，音频界面在检测到用户正在使用语音命令直接与界面交互时开启。用户对界面的注意力可通过确定用户正在看着界面(而不是与其他人交谈)的图像数据来确认。其他人在室内的出现也可帮助确定该上下文。例如，人们可能不太会自言自语，当房间里只有一个人时，任何讲出来的词都将打开音频识别系统。相反，当多个人在房间里时，可能不希望在没有来自用户的更清楚的命令时打开音频识别系统。
除了优化界面的虚拟外观，在确定上下文时可呈现完整的全新界面。例如，如果一用户正在使用姿势与web浏览器进行交互，接着拿起游戏控制器，作出用户想要玩游戏而不是使用游戏控制器来与web浏览器交互的上下文判定。在此情况下，可呈现游戏主页或其它关于游戏的界面，而不是为了使用游戏控制器而优化web浏览器。在一个实施例中，用户自动被带到他们最后玩的游戏。
上下文确定组件310可利用一个或多个机器学习算法来识别上下文情况并将它们与合适的上下文模板相关联。具体而言，上下文确定组件310可输入存储在用户数据存储314中的各种用户特性来帮助标识合适的上下文。以此方式，用户过去的行为和偏好可被结合到上下文确定过程中。
上下文数据存储312存储上下文特性和附加信息。上下文特性可被确定或存储为上下文模板。在一个实施例中，用户的上下文使用被存储在上下文数据存储312中。换言之，可为特定用户确定最常用的上下文，并在将来使用来消除上下文确定的歧义。上下文数据存储312可驻留在单个计算设备或跨包括连接在家庭网、局域网、或广域网中的多个设备分布。与上下文数据存储312相关联的数据可部分驻留在客户端上并且部分驻留在服务器上或以其他方式跨多个设备分布。
对象识别组件318使用图像数据来识别房间里的无生命对象。这与使用人识别组件316识别人不同。对象识别组件318可识别游戏对象或对确定当前上下文而言特别感兴趣的其它对象。例如，对象识别组件318可识别游戏对象，诸如网球拍或巫师帽。一旦识别了网球拍，就以用户可使用该拍子玩的方式立刻打开网球游戏。在巫师帽的例子中，本发明的各实施例可选择用户喜欢的包括巫师的游戏并基于帽子选择角色。在有不同角色的游戏里，不同的显眼的衣服部分或游戏道具可被用作自动打开游戏或选特定角色的提示。在另一个实施例中，对象识别组件318识别用户正在与之交互的各种对象并建立合适的上下文。例如，用用户的右手喝可乐的用户可能想要用左手摆姿势而不将可乐放下。在此情况中，姿势界面可针对左手使用而被优化。
设备识别组件320识别包括专用设备和同伴设备的控制输入设备。使用与由对象识别组件318使用的类似的图像数据，但也可利用从同伴设备和专用设备接收的信号数据，来识别不同设备。信号数据可结合相机数据一起使用来标识环境内的特定设备。例如，几个游戏控制器可能看起来相似。然而，使用示出用户交互(诸如按按钮或移动游戏杆)的相机数据，特定控制器可通过将图像和控制数据相关联来被标识。在一个实施例中，个人识别组件316被利用来将特定人或用户与特定设备相关联。以此方式，通过简单地拿起控制器，玩家就可被带到他们最近的进度点或游戏状态。
通过同伴设备，登录数据或其它用户特性也可被评估，以将该设备与在主设备上的帐户的特定人或玩家相关联。此外，类似游戏控制器，观察到的用户与设备的交互可与从设备接收到的控制数据进行同步来将设备连同特定用户放置在环境内。
界面激活组件322激活对由上下文确定组件310所确定的上下文的合适的界面。在一个实施例中，界面激活组件322在合适时与活动应用通信，并提供应当用于上下文的新界面设置。界面设置可从上下文模板中抽出。
上下文界面
图4和5示出了本发明的一个实施例，该实施例基于检测用户与内容交互的方法的改变而自动优化界面。用户的交互方法是上下文的一个示例。取决于由用户所采用的与界面进行交互的输入机制，不同的界面可被优化。例如，优化了的姿势界面，诸如由深度相机提供，包括大按钮和其它大界面对象。相反，触摸屏、游戏杆、按钮，或提供更细粒度的控制的其它控制器，可能能够示出更多信息和更小的交互对象。
图4描绘了坐在他们的长椅上的用户405与显示在显示设备400上的界面415进行交互。输入机制是姿势界面，它具有由相机410捕捉的性能区域。405用户用他们的手、脚、整个身体、或其组合摆出姿势来操纵界面对象，诸如框E、F、G和H。
图5示出了类似的场景，除了用户405已经拿起了游戏控制器510。本发明的各实施例不限于游戏控制器。用户可拿起同伴设备，诸如平板电脑或智能电话。如可以看到的，新界面515提供与游戏控制器510兼容的附加选项。例如，用户可通过按控件A或B来水平滚动。此外，E、F、G和H框更小了，因为用控件选择它们更容易，这允许用户通过游戏杆或上和下的箭头来操纵选择器或光标。
本发明的各实施例包括两个步骤。第一个步骤是检测用户已经改变了他们的界面交互方法。例如，当用户从姿势切换到控制器时，活动上下文可被更新。第二个步骤是更新用户界面以适应新的输入方法。可使用几种不同检测方法。例如，相机可被用来活跃地跟踪用户并观察他们当前正在使用什么输入方法。在一个示例中，深度相机可被用来标识并跟踪用户的输入或交互方法。基于视觉的系统可被用来检测输入设备上的特定标记以确定它是否是平板电脑、智能电话、电视机遥控器、或游戏控制器。
系统还将确定用户正握着的设备的类型。算法，例如，机器学习深度形状检测器，可被用来确定用户握住的设备的类型。潜在地，为了使得系统更好区分设备，一系列唯一标记或内部传感器被放置在设备内或设备上。其它标记可被添加以帮助系统在两个相同设备(诸如两个游戏控制器)之间高效地进行区分。由于输入设备内的传感器的数量和位置，不同设备可生成不同陀螺仪或加速计输出。该输出可形成图案。用户拿起的设备内的内部传感器(诸如陀螺仪)的读取，可与已知图案库相关并被用来确定用户握住的精确的外部输入设备。
检测还可通过评估设备发送的无线电信号内的设备标识信息来进行。控制器或其它设备与控制用户界面的计算设备之间的通信会话的打开，还可包括设备标识信息。例如，如先前描述的，同伴设备可连接到游戏控制台。依据该连接，游戏控制台和同伴设备能够通信。即使用户没有活跃地使用该同伴设备，该连接也可被打开。因此，当用户拿起同伴设备时，深度相机可检测用户已经从姿势界面转走了。
相机可作出概括性的确定：用户已经拿起了与一个或多个同伴设备一致的已经打开与用户通信会话的设备。相机可接着将从设备接收到的输入与检测到的运动关联。例如，相机可确定用户正在触摸同伴设备上的触摸屏，同时触摸屏输入通过打开连接被接收。此时，可作出决定性确定：用户已经转到特定同伴设备输入体验。一旦作出确定，用户界面可被转变到针对与该同伴设备交互进行了优化的一个界面。
不考虑用于检测同伴设备的确切方法，下一步是改变用户界面。一旦系统已经确定用户正与新的输入设备交互，UI被通知并相应更新以反映新的输入。例如，当用户正在支持姿势控制和语音控制的设备上看电影，他们可使用他们的声音和手部姿势来导航用户界面。如果他们看电影厌倦了并决定拿起控制器改为玩些什么，那么上下文改变被检测。一旦系统检测到他们已经拿起控制器，那么出现控制器可导航的用户界面，允许他们启动一组基于控制器的游戏。
在另一个示例中，用户正在玩最初用控制器控制但有诸如显示附加信息的平板电脑的之类的辅助设备的游戏。当与标题交互时，用户拿起平板电脑，而且标题自动切换到扩展平板体验的显示，诸如地图或项目管理屏幕。该示例示出了用户界面可以这样的方式转变：基于在用户拿起新控制器时可能要执行的任务，按照大小或可用控件进行优化和生成具有不同内容的完全不同的界面两者。因此，UI可基于输入设备能力和用该设备执行的可能的任务来被优化。控制器和设备使用的用户历史可被分析，以确定优化用户界面。
图6、7、和8示出被优化以与不同输入交互的帮助界面。如所述，输入是界面针对其进行优化的上下文特性。
图6描述了根据本发明的一个实施例，针对游戏控制器510进行了优化的帮助界面。如可以看到的，用户405正在尝试使用游戏控制器510与界面615进行交互。活跃输入机制可通过组合由相机410收集的图像数据和从游戏控制器510接收的信号数据的组合来确定。如可以看到的，界面615包括陈述了“按A获取更多信息”的帮助消息630。“A”描述了在游戏控制器510上有按钮的标签。用户可通过在特定上下文中按A访问菜单或不同界面。界面615中所示的整个媒体呈现将不会从一种上下文改变到另一种上下文。例如，如果所示的轿车是商业的或电影的一部分，那么它的外观将从一种上下文到另一种上下文保持相同。界面615的帮助覆盖和其它交互特征可随上下文改变。
现在转到图7，根据本发明的一个实施例的，针对音频控制进行了优化的帮助界面被示出。图7的特征与先前参照图6描述的那些类似。然而，注意到用户405不再握着控制器。尽管未示出，用户可说出命令以指示听得见的界面应被激活。界面715包括陈述了“说‘更多’获取更多信息”的帮助界面730。在经优化的音频模式中，对用户可用的各种音频命令可基于用户显得要完成的任务而被建议。
现在转到图8，根据本发明的一个实施例的，针对使用同伴设备进行了优化的帮助界面或覆盖被示出。界面815类似先前结合图6和7描述的界面，但是包括陈述了“在平板电脑上选择“车”图标获取更多信息”的帮助覆盖。该消息指的是当前正被显示在用户同伴设备810上的图标。这帮助覆盖不仅考虑用户正在尝试使用哪种类型的设备以控制界面，还考虑当前显示在设备上的内容。上下文界面可通过在运行在同伴设备810上和生成界面815的设备上的各应用之间交换状态信息来构建。
相机410可被用来确定用户实际上正在握着同伴设备810，并且期望在界面被改变以针对同伴设备810使用进行优化之前把它用作控制机制。例如，同伴设备810置于桌上，上下文将不同于当被用户握着时。
现在转到图9，根据本发明的一个实施例的，基于游戏环境内人的位置进行了优化的上下文界面被示出。图9包括玩显示在显示设备900上的视频游戏的玩家924和922。显示设备900可以是电视机。每个玩家与他们自己的分屏界面相关联。玩家922与分屏界面912相关联，而玩家924与界面914相关联。
相机910可以是深度相机，或其它能够生成可用于识别人或物体的数据的其它设备。箭头指示如果玩家922和924更换位置，分屏界面912和914可更换位置。该转变可在一旦确定上下文被改变时就自动发生。在该情况下，改变上下文是改变两个玩家的位置。以此方式，玩家总是暴露给分屏界面的他们正与之交互的直接视图，而不管他们的移动。
除了在玩游戏期间在不同界面位置之间转变，通过进行人识别并理解哪个人与游戏里的哪个用户文件相关联，最初的安装可在玩游戏前被优化。尽管未示出，玩家922和924可使用游戏控制器或同伴设备来与视频游戏进行交互。在另一个实施例中，他们正在使用姿势用于音频控制以玩视频游戏。无论如何，他们相对位置可被标识并且界面被相应优化。
现在转到图10和图11，根据本发明的一个实施例的，针对惯用右手或惯用左手进行了优化的用户界面被示出。图10示出了看着显示在显示设备1000上的内容的人1040。内容包括主显示1020和辅助内容窗口1030。辅助内容窗口1030包括可选对象1032、可选对象1034，和可选对象1036。图标和按钮是可选对象的示例。相机1010能够捕捉被用于标识人和物体的数据。此外，信息可被用于确定人的移动，诸如与姿势相关联的那些。在此情况中，左边有可选按钮的界面针对惯用左手姿势的使用被优化。如可以看到的，玩家940正在举起他们的左手1042来摆姿势。
用户的惯用右手或惯用左手偏好可以多种不同方式被确定。在一个实施例中，用户的历史被分析以确定他们的惯用右手或惯用左手偏好。将向知晓是惯用右手或惯用左手或在摆姿势时更频繁使用他们的右手或左手的用户自动呈现针对他们的手的偏好优化了的界面。
除了先前的使用，当前用户状况可被评估以确定用户可能想要使用哪个手。在一个实施例中，用户被认为是不可能使用当前正被用于不同用途的手。例如，如果手是右手正握着玻璃杯、电话，或在衣兜里，那么可作出假定用户希望使用左手并且经惯用左手优化的界面被呈现。与右手或左手相关联的上下文模板可查看多个因素来确定用户想要用哪个手。
现在转到图11，与图10所示的相同的(除了现在是针对右手使用优化的)界面被示出。如可以看见的，用户1040使他们的右手1044举起并且正使用它来与显示器交互。在一个示例中，在预期用户姿势妨碍另一个人时，惯用右手或惯用左手界面被呈现。例如，如果从图像数据显示为了用他们的右手摆姿势用户将不得不将他们的右手放在另外一个人的脸前面，那么可呈现惯用左手界面以鼓励用户使用左手。在另一个实施例中，如果从相机1010的视角显得用户的右手将被站在他们的右手之前的另一个人或物体阻挡，那么惯用左手界面将再次被呈现以鼓励左手的使用并避免由妨碍物造成的遮挡问题。以此方式，上下文确定可试图通过创造针对避免在环境上下文中检测到的问题来优化的界面来避免问题。
现在转到图12，根据本发明的一个实施例的，要生成对应界面的环境内的对象或服装的标识被示出。在图12中，用户1220在显示设备1200和相机1210前握起网球拍1222。相机1210捕捉被用于识别网球拍1222和可能识别人1220的图像。作为响应，网球游戏自动显示在界面1212中。这防止了用户需要导航通过各个界面来玩虚拟网球游戏，玩虚拟网球游戏是用户在界面前展示网球拍1122的最可能的原因。可替换地，网球拍可被用作人1220想要看网球的线索。用户偏好和查看历史可被用来消除上下文的歧义。
在一个实施例中，服装类别被识别并被用于建立上下文并呈现合适的界面。在一个实施例中，球队运动衫被识别并被用来在视频游戏内自动选择类似颜色的运动衫或甚至是精确的相同球队。例如，有美国国家足球联盟NFL球队的视频游戏可通过用户玩他们的运动衫上所指示的他们的球队来开始。在多个玩家设置中，多个人可被分派对应于他们的运动衫的球队。当精确匹配不可能时，类似的颜色可被自动分派到他们正在控制的队伍。
取决于其它上下文因素，诸如涉及从服装标识的球队正在进行的运动事件，该运动事件的呈现可自动被呈现在用户界面上。例如，如果涉及在人的运动衫上指示的该球队的足球比赛当前可用，那么它可被示出。如果比赛正在进行，但是因用户的有线电视包而当前不可用，例如，观看比赛的机制(诸如对特定有线电视包的订阅)可被呈现给用户并自动设置。可替代地，显示比赛更新的web页可被自动显示。
消除玩视频游戏和看比赛上下文的歧义，可以以涉及相关球队的运动事件是否可用为转移。因此，上下文因素可不仅包括当前环境中正在发生什么，而且包括可能对用户感兴趣的或在特定时间对用户可用的各种内容的评估。当多个上下文可用时，用户先前的观看历史可被考虑来帮助消除选择企歧义。也可向用户呈现替换的界面。例如，用户可被询问他们是否想要看他们的球队正在进行的比赛或玩视频游戏。
在另一个实施例中，与各种视频游戏相关联的服装可被用于自动选择角色或各种可用游戏。例如，戴着巫师帽的人在他们开始包括巫师的游戏时可被自动分配巫师角色。在微小的变化中，响应于戴着巫师帽，包括巫师的游戏可被打开而不选择特定角色。当多个包括巫师的游戏可用时，最近玩过的包括巫师的游戏可被选择并呈现。
生成上下文界面的各方法
现在转到图13，根据本发明的一个实施例的，呈现针对当前上下文进行了优化的界面的方法被示出。方法1300的界面可以是显示在电视机、监视器，或其它显示设备上的计算机界面。该界面可被游戏控制台、媒体播放器、个人计算机或其它类似设备来生成。
在步骤1310，用户界面的当前上下文通过分析描绘接近用户界面的环境的图像数据来确定。在一个实施例中，接近用户界面的环境是描绘在图像数据中的空间体。在另一个实施例中，环境延伸到由图像数据捕捉的区域之后并通过诸如房间或住宅(诸如房子或公寓)里的那些物理边界来区分。尽管这些其它区域可能不在捕捉图像数据的相机的视野内，但来自环境中的各设备的信号以及来自不在相机视野内的各用户的听得见的命令可被接收。在一个实施例中，图像数据是诸如被深度相机捕捉的三维图像数据。图像数据可被描述为深度云。三维数据允许对象的大小、形状和运动在数据内被检测。深度云可被用来识别由用户作出的姿势。姿势可以是手的运动、身体的运动、面部表情，或由姿势解释组件识别的其它动作，以控制界面。
在步骤1320，通过当前上下文优化了的用户界面被生成。用户界面被输出以向用户显示。各种优化用户界面的方法先前已经描述了。例如，用户界面可针对使用特定控制模式来优化。在各种控制模式中，用户打算通过该界面完成的任务可被预期并且用户界面被相应更新。打算的任务是从评估环境获得的上下文的一部分。用户与环境内物体的交互也可以被用来确定上下文。
现在转到图14，根据本发明的一个实施例的，呈现针对当前上下文进行了优化的界面的方法1400被示出。在步骤1410，用户界面的当前上下文通过分析接近用户界面的人的动作来确定。该动作包括对界面使用控制模式。示例控制模式包括使用姿势、使用同伴设备、使用专用设备，和听得见的控制。当前上下文可能比特定控制模式更精细。例如，在姿势控制模式中，上下文可确定更偏好惯用右手姿势或惯用左手姿势。
在步骤1420，针对当前上下文优化了的用户界面被生成。用户界面被输出以向用户显示。前面描述了考虑当前上下文来优化用户界面的方法。
现在转到图15，根据本发明的一个实施例的，呈现针对当前上下文进行了优化的界面的方法1500被示出。在步骤1510，用户界面的当前上下文通过分析描绘接近用户界面的环境的图像数据来确定。前面参考图13等已经描述了当前上下文和确定当前上下文的图像数据的使用。
在步骤1520，针对当前上下文优化了的当前用户界面被生成。当前用户界面被输出以向用户显示。
在步骤1530，用户界面的新上下文通过分析描绘接近用户界面的环境的图像数据来确定。图像数据描绘了导致新上下文的环境的变化。在步骤1540，用户界面自动针对新上下文进行优化。
本发明的各实施例已被描述为说明性的而非限制性的。可理解的是，某些特征和子组合是有用的，并且可以加以利用而无需参考其它特征和子组合。这由权利要求所构想的，并在权利要求的范围内。

Claims (9)

1.一种用于呈现针对当前上下文进行了优化的界面的方法，所述方法包括：
通过分析描绘接近用户界面的环境的图像数据来确定所述用户界面的当前上下文，所述当前上下文显示用户正在用一只手做出姿势来与所述用户界面交互；
基于所述图像数据确定从相机的视角所述用户的该只手被另一用户或物体遮挡或者将挡住另一用户的脸；以及
在确定从相机的视角所述用户的该只手被另一用户或物体遮挡或者将挡住另一用户的脸之后，自动生成经更新的用户界面，其中所述经更新的用户界面鼓励所述用户使用另一只手来执行姿势。
2.如权利要求1所述的方法，其特征在于，所述当前上下文包括用户正在利用来与所述用户界面进行交互的控制模式。
3.如权利要求1所述的方法，其特征在于，所述当前上下文包括用户正在与之交互的物体。
4.一种用于呈现针对当前上下文进行了优化的界面的方法，所述方法包括：
通过分析描绘接近用户界面的人的动作来确定所述用户界面的当前上下文，所述动作包括对界面使用控制模式,所述当前上下文显示该人正在用一只手做出姿势来与所述用户界面交互；
确定从相机的视角该人的该只手被另一用户或物体遮挡或者将挡住另一用户的脸；以及
在确定从相机的视角该人的该只手被另一用户或物体遮挡或者将挡住另一用户的脸之后，自动生成经更新的用户界面，其中所述经更新的用户界面鼓励该人使用另一只手来执行姿势。
5.如权利要求4所述的方法，其特征在于，所述控制模式包括无控制设备的姿势、使用同伴设备，和听得见的控制的一个或多个。
6.如权利要求4所述的方法，其特征在于，还包括一旦确定所述界面的新上下文就自动重新优化所述用户界面。
7.一种用于呈现针对当前上下文进行了优化的界面的方法，所述方法包括：
通过分析描绘接近用户界面的环境的图像数据来确定所述用户界面的当前上下文，所述当前上下文显示用户正在用一只手做出姿势来与所述用户界面交互；
生成针对所述当前上下文优化了的当前用户界面；
通过分析描绘接近所述用户界面的环境的图像数据来确定所述用户界面的新上下文，所述新上下文指示从相机的视角所述用户的该只手被另一用户或物体遮挡或者将挡住另一用户的脸；以及
自动针对所述新上下文对所述用户界面进行优化，其中自动针对所述新上下文对所述用户界面进行优化包括更新所述用户界面以鼓励所述用户使用另一只手来执行姿势。
8.如权利要求7所述的方法，其特征在于，使用与所述用户界面的先前用户交互，所述新上下文被消除了与多个可能上下文的歧义。
9.如权利要求7所述的方法，其特征在于，分析接近所述用户界面的环境包括确定被用户利用来与所述用户界面进行交互的控制模式。
CN201380028950.9A 2012-06-01 2013-05-24 上下文用户界面 Active CN104350446B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261654638P 2012-06-01 2012-06-01
US61/654,638 2012-06-01
US13/725,925 US9170667B2 (en) 2012-06-01 2012-12-21 Contextual user interface
US13/725,925 2012-12-21
PCT/US2013/042547 WO2013181073A2 (en) 2012-06-01 2013-05-24 Contextual user interface

Publications (2)

Publication Number Publication Date
CN104350446A CN104350446A (zh) 2015-02-11
CN104350446B true CN104350446B (zh) 2018-04-24

Family

ID=49669578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380028950.9A Active CN104350446B (zh) 2012-06-01 2013-05-24 上下文用户界面

Country Status (11)

Country Link
US (7) US9170667B2 (zh)
EP (2) EP3657312A1 (zh)
JP (1) JP6157603B2 (zh)
KR (1) KR102126595B1 (zh)
CN (1) CN104350446B (zh)
AU (1) AU2013267703B2 (zh)
BR (1) BR112014029915B1 (zh)
CA (1) CA2874667C (zh)
MX (1) MX340692B (zh)
RU (1) RU2644142C2 (zh)
WO (1) WO2013181073A2 (zh)

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055746B1 (en) 2011-06-24 2018-08-21 The Directv Group, Inc. Method and system for obtaining feedback for a content recommendation by various algorithms
US9788069B1 (en) 2011-06-24 2017-10-10 The Directv Group, Inc. Method and system for recording recommended content within a user device
WO2012177413A1 (en) 2011-06-24 2012-12-27 The Directv Group, Inc. Method and system for obtaining viewing data and providing content recommendations at a set top box
US9032451B2 (en) 2011-09-01 2015-05-12 The Directv Group, Inc. Method and system for using a second screen device for interacting with a set top box to enhance a user experience
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US10543422B1 (en) * 2012-05-07 2020-01-28 CP Studios Inc. Providing synchronized and integrated video gaming
US9170667B2 (en) 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
US9381427B2 (en) * 2012-06-01 2016-07-05 Microsoft Technology Licensing, Llc Generic companion-messaging between media platforms
US9323755B2 (en) * 2012-07-30 2016-04-26 Verizon Patent And Licensing Inc. Secondary content
US20140032537A1 (en) * 2012-07-30 2014-01-30 Ajay Shekhawat Apparatus, system, and method for music identification
KR20140029049A (ko) * 2012-08-31 2014-03-10 삼성전자주식회사 디스플레이 장치 및 이를 이용한 입력 신호 처리 방법
US20140114919A1 (en) * 2012-10-19 2014-04-24 United Video Properties, Inc. Systems and methods for providing synchronized media content
US9678617B2 (en) 2013-01-14 2017-06-13 Patrick Soon-Shiong Shared real-time content editing activated by an image
US20140258372A1 (en) * 2013-03-11 2014-09-11 Say Media, Inc Systems and Methods for Categorizing and Measuring Engagement with Content
US20140258373A1 (en) 2013-03-11 2014-09-11 Say Media, Inc. Systems and Methods for Managing and Publishing Managed Content
US10003780B1 (en) 2013-03-14 2018-06-19 The Directv Group, Inc. Method and system for recording recommended content within a user device and indicating recording capacity
US9420343B2 (en) 2013-03-15 2016-08-16 Echostar Technologies L.L.C. Systems and methods for providing information related to tagged items represented in video stream content
US10341275B2 (en) 2013-04-03 2019-07-02 Dropbox, Inc. Shared content item commenting
WO2014176744A1 (en) * 2013-04-28 2014-11-06 Tencent Technology (Shenzhen) Company Limited An information collection, storage, and sharing platform
US9509758B2 (en) 2013-05-17 2016-11-29 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Relevant commentary for media content
KR101761633B1 (ko) * 2013-08-28 2017-07-26 엘지전자 주식회사 신호 송신 장치 및 제어 방법
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US20150128194A1 (en) * 2013-11-05 2015-05-07 Huawei Device Co., Ltd. Method and mobile terminal for switching playback device
US9519525B2 (en) 2013-11-14 2016-12-13 Dropbox, Inc. File-level commenting
CN105900443B (zh) * 2013-12-11 2020-01-14 瑞典爱立信有限公司 用于同步媒体流的方法和系统
US9560449B2 (en) 2014-01-17 2017-01-31 Sony Corporation Distributed wireless speaker system
US9288597B2 (en) 2014-01-20 2016-03-15 Sony Corporation Distributed wireless speaker system with automatic configuration determination when new speakers are added
US9369801B2 (en) 2014-01-24 2016-06-14 Sony Corporation Wireless speaker system with noise cancelation
US9426551B2 (en) 2014-01-24 2016-08-23 Sony Corporation Distributed wireless speaker system with light show
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
US9232335B2 (en) 2014-03-06 2016-01-05 Sony Corporation Networked speaker system with follow me
US9483997B2 (en) 2014-03-10 2016-11-01 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using infrared signaling
US20150268820A1 (en) * 2014-03-18 2015-09-24 Nokia Corporation Causation of a rendering apparatus to render a rendering media item
CN103941982B (zh) * 2014-05-12 2016-08-24 腾讯科技（深圳）有限公司 一种分享界面处理的方法及终端
US9696414B2 (en) 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
US9554189B2 (en) 2014-06-30 2017-01-24 Microsoft Technology Licensing, Llc Contextual remote control interface
US10666748B2 (en) * 2014-08-04 2020-05-26 Adobe Inc. Real-time calculated and predictive events
DE212015000194U1 (de) 2014-08-06 2017-05-31 Apple Inc. Verkleinerte Benutzeroberflächen für Batteriemanagement
EP3373122B1 (en) 2014-09-02 2022-04-06 Apple Inc. Reduced-size interfaces for managing alerts
WO2016036552A1 (en) 2014-09-02 2016-03-10 Apple Inc. User interactions for a mapping application
WO2016100408A1 (en) * 2014-12-15 2016-06-23 Vessel Group, Inc. Processing techniques in audio-visual streaming systems
US10721540B2 (en) 2015-01-05 2020-07-21 Sony Corporation Utilizing multiple dimensions of commerce and streaming data to provide advanced user profiling and realtime commerce choices
US10812869B2 (en) 2015-01-05 2020-10-20 Sony Corporation Personalized integrated video user experience
US10694253B2 (en) 2015-01-05 2020-06-23 Sony Corporation Blu-ray pairing with video portal
US10901592B2 (en) 2015-01-05 2021-01-26 Sony Corporation Integrated multi-platform user interface/user experience
US20160301748A1 (en) * 2015-01-13 2016-10-13 John Joseph Conley Method and system for consuming synchronized digital content among a plurality of users over a network
US20160224973A1 (en) 2015-02-01 2016-08-04 Apple Inc. User interface for payments
US9894120B2 (en) * 2015-02-06 2018-02-13 International Business Machines Corporation Partial likes of social media content
DE102015001622A1 (de) * 2015-02-09 2016-08-11 Unify Gmbh & Co. Kg Verfahren zur Übertragung von Daten in einem Multimedia-System, sowie Softwareprodukt und Vorrichtung zur Steuerung der Übertragung von Daten in einem Multimedia-System
US9574896B2 (en) 2015-02-13 2017-02-21 Apple Inc. Navigation user interface
US9895611B2 (en) * 2015-04-27 2018-02-20 Sony Interactive Entertainment America Llc Interactive events platform
US9792268B2 (en) * 2015-05-15 2017-10-17 Sap Se Zoomable web-based wall with natural user interface
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
CN104936035B (zh) * 2015-06-19 2018-04-17 腾讯科技（北京）有限公司 一种弹幕处理方法及系统
US20170017700A1 (en) * 2015-07-17 2017-01-19 International Business Machines Corporation Creating a dynamic visual display of social network activity
US20170017323A1 (en) * 2015-07-17 2017-01-19 Osterhout Group, Inc. External user interface for head worn computing
CA3002369A1 (en) 2015-10-20 2017-04-27 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US20170116047A1 (en) * 2015-10-25 2017-04-27 Khozem Z. Dohadwala Further applications of Reading State control - A method for repositioning reading material on electronic devices
US9693168B1 (en) 2016-02-08 2017-06-27 Sony Corporation Ultrasonic speaker assembly for audio spatial effect
US9826332B2 (en) 2016-02-09 2017-11-21 Sony Corporation Centralized wireless speaker system
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
US9693169B1 (en) 2016-03-16 2017-06-27 Sony Corporation Ultrasonic speaker assembly with ultrasonic room mapping
US11150798B2 (en) 2016-03-28 2021-10-19 Apple Inc. Multifunction device control of another electronic device
JP5988286B1 (ja) * 2016-04-01 2016-09-07 株式会社Ｃｙｇａｍｅｓ プログラム及び画像処理装置
WO2017197365A1 (en) 2016-05-13 2017-11-16 Microsoft Technology Licensing, Llc Contextual windows for application programs
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
CN107436869B (zh) * 2016-05-25 2021-06-29 北京奇虎科技有限公司 一种印象评论生成方法及装置
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
CN106095516B (zh) * 2016-06-23 2020-03-24 联想(北京)有限公司 一种数据处理方法及电子设备
WO2018004453A1 (en) 2016-06-29 2018-01-04 Razer (Asia-Pacific) Pte. Ltd. Communication methods, computer-readable media, communication devices, and servers
US11032471B2 (en) * 2016-06-30 2021-06-08 Nokia Technologies Oy Method and apparatus for providing a visual indication of a point of interest outside of a user's view
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
US10521502B2 (en) * 2016-08-10 2019-12-31 International Business Machines Corporation Generating a user interface template by combining relevant components of the different user interface templates based on the action request by the user and the user context
WO2018045319A1 (en) * 2016-09-01 2018-03-08 Catalyft Labs, Inc. Multi-functional weight rack and exercise monitoring system for tracking exercise movements
US9842330B1 (en) 2016-09-06 2017-12-12 Apple Inc. User interfaces for stored-value accounts
US20180071634A1 (en) * 2016-09-09 2018-03-15 Microsoft Technology Licensing, Llc Contextual gamer profile
US10075791B2 (en) 2016-10-20 2018-09-11 Sony Corporation Networked speaker system with LED-based wireless communication and room mapping
US9854362B1 (en) 2016-10-20 2017-12-26 Sony Corporation Networked speaker system with LED-based wireless communication and object detection
US9924286B1 (en) 2016-10-20 2018-03-20 Sony Corporation Networked speaker system with LED-based wireless communication and personal identifier
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
WO2018083627A1 (en) * 2016-11-02 2018-05-11 Onshape Inc. Second touch zoom control
US11023252B2 (en) * 2017-01-12 2021-06-01 Roger Wagner Method and apparatus for bidirectional control connecting hardware device action with URL-based web navigation
US10318071B2 (en) * 2017-03-23 2019-06-11 Intel Corporation Method and apparatus for a blob angle orientation recognition in a touch device
US20180329597A1 (en) 2017-05-15 2018-11-15 Microsoft Technology Licensing, Llc Ink Anchoring
US11221823B2 (en) 2017-05-22 2022-01-11 Samsung Electronics Co., Ltd. System and method for context-based interaction for electronic devices
CN107241644B (zh) * 2017-05-31 2018-09-07 腾讯科技（深圳）有限公司 一种视频直播过程中的图像处理方法和装置
US10318109B2 (en) 2017-06-09 2019-06-11 Microsoft Technology Licensing, Llc Emoji suggester and adapted user interface
CN107563177A (zh) * 2017-09-05 2018-01-09 深圳天珑无线科技有限公司 密码处理方法、装置及计算机可读存储介质
EP3680769A4 (en) * 2017-09-08 2020-09-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. INFORMATION DISPLAY METHOD, DEVICE, AND TERMINAL
EP4155988A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric authentication for performing a respective function
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
US20190087060A1 (en) * 2017-09-19 2019-03-21 Sling Media Inc. Dynamic adjustment of media thumbnail image size based on touchscreen pressure
US11134312B2 (en) 2017-12-14 2021-09-28 Google Llc Methods, systems, and media for presenting contextual information in connection with media content
KR102448382B1 (ko) * 2018-01-22 2022-09-28 삼성전자주식회사 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
EP3729781B1 (en) 2018-01-22 2023-11-01 Apple Inc. Secure login with authentication based on a visual representation of data
CN108170611B (zh) * 2018-01-23 2019-07-16 网易（杭州）网络有限公司 自动化测试方法及装置、存储介质、电子设备
US10939182B2 (en) * 2018-01-31 2021-03-02 WowYow, Inc. Methods and apparatus for media search, characterization, and augmented reality provision
US11490429B2 (en) 2018-02-13 2022-11-01 Apple Inc. Companion assistance and efficient link selection for wearable devices
US11717760B2 (en) * 2018-03-12 2023-08-08 Roblox Corporation Chat application using a gaming engine
US11669345B2 (en) * 2018-03-13 2023-06-06 Cloudblue Llc System and method for generating prediction based GUIs to improve GUI response times
US20190347084A1 (en) * 2018-05-10 2019-11-14 Dell Products, Lp Method to Dynamically Create Plug and Play Identifiers in Firmware to Facilitate Deployment of Windows Services
CN110489635B (zh) * 2018-05-15 2023-05-05 阿里巴巴集团控股有限公司 数据对象搜索控制方法、装置及系统
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11243679B2 (en) * 2018-06-03 2022-02-08 Apple Inc. Remote data input framework
KR102123593B1 (ko) * 2018-07-23 2020-06-16 스노우 주식회사 실시간 라이브 영상과 이벤트의 동기화를 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
WO2020086337A1 (en) 2018-10-22 2020-04-30 Sony Interactive Entertainment LLC Data model for uniform data platform
WO2020086393A1 (en) * 2018-10-23 2020-04-30 Sony Interactive Entertainment LLC Cross-platform spoiler block service
US10623859B1 (en) 2018-10-23 2020-04-14 Sony Corporation Networked speaker system with combined power over Ethernet and audio delivery
WO2020086666A1 (en) 2018-10-25 2020-04-30 Sony Interactive Entertainment LLC Cross-platform consumption of in-game objects
US11270067B1 (en) 2018-12-26 2022-03-08 Snap Inc. Structured activity templates for social media content
US11593826B1 (en) * 2018-12-28 2023-02-28 Snap Inc. Messaging and gaming applications rewards
US11501348B1 (en) 2018-12-28 2022-11-15 Snap Inc. Virtual currency in a native application environment
JP7212071B2 (ja) * 2019-01-24 2023-01-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
CN110013673B (zh) * 2019-04-08 2023-04-14 北京视游互动科技有限公司 一种应用折叠显示屏进行游戏的方法、装置及存储介质
CN111836111A (zh) 2019-04-17 2020-10-27 微软技术许可有限责任公司 生成弹幕的技术
US11546647B2 (en) 2019-06-07 2023-01-03 Roku, Inc. Content-modification system with probability-based selection feature
GB2586059B (en) * 2019-08-01 2023-06-07 Sony Interactive Entertainment Inc System and method for generating user inputs for a video game
CN110460868B (zh) * 2019-08-13 2021-07-13 中国联合网络通信集团有限公司 广告投放方法和广告投放系统
WO2021049048A1 (ja) * 2019-09-11 2021-03-18 拓也 木全 映像提供システムおよびプログラム
US11093256B2 (en) 2019-09-12 2021-08-17 Dell Products L.P. System and method for dynamically installing driver dependencies
US11564431B2 (en) 2020-04-09 2023-01-31 Briggs Belt Systems, Llc Protective belt apparatus
US10750806B1 (en) 2020-04-09 2020-08-25 Briggs Belt Systems, Llc Protective belt apparatus
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
WO2022108019A1 (en) 2020-11-23 2022-05-27 Samsung Electronics Co., Ltd. Electronic device and method for optimizing user interface of application
CN112973116B (zh) * 2021-03-04 2023-05-12 腾讯科技（深圳）有限公司 虚拟场景画面展示方法、装置、计算机设备及存储介质
CN112915537B (zh) * 2021-04-06 2023-06-27 腾讯科技（深圳）有限公司 虚拟场景画面展示方法、装置、计算机设备及存储介质
US11847293B2 (en) * 2021-08-05 2023-12-19 Rolland & Hamann Innovations, LLC Selectable input alterations
US11677906B2 (en) 2021-09-10 2023-06-13 Zoom Video Communications, Inc. Secondary mode device software access for primary mode device users

Family Cites Families (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH088681B2 (ja) * 1985-03-18 1996-01-29 ソニー株式会社 ビデオテックスの端末装置
JP3033081B2 (ja) 1992-05-21 2000-04-17 日本電気株式会社 コンソ−ル接続方式
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5872859A (en) 1995-11-02 1999-02-16 University Of Pittsburgh Training/optimization of computer aided detection schemes based on measures of overall image quality
US6546405B2 (en) 1997-10-23 2003-04-08 Microsoft Corporation Annotating temporally-dimensioned multimedia content
US6956593B1 (en) 1998-09-15 2005-10-18 Microsoft Corporation User interface for creating, viewing and temporally positioning annotations for media content
US7418504B2 (en) 1998-10-30 2008-08-26 Virnetx, Inc. Agile network protocol for secure communications using secure domain names
US9116544B2 (en) 2008-03-26 2015-08-25 Pierre Bonnat Method and system for interfacing with an electronic device via respiratory and/or tactual input
US6256019B1 (en) 1999-03-30 2001-07-03 Eremote, Inc. Methods of using a controller for controlling multi-user access to the functionality of consumer devices
US6709330B1 (en) 1999-08-20 2004-03-23 Ameritrade Holding Corporation Stock simulation engine for an options trading game
US20030046401A1 (en) 2000-10-16 2003-03-06 Abbott Kenneth H. Dynamically determing appropriate computer user interfaces
EP1351748A4 (en) 2000-11-28 2007-04-04 Ods Properties Inc SYSTEMS AND METHODS FOR REALIZING PARIS WITH FIXED RANGES AND MUTUAL PARISES
US20020065715A1 (en) * 2000-11-30 2002-05-30 Christopher Tennyson Integrated broadcasting and impulse purchasing system
US7774817B2 (en) 2001-01-31 2010-08-10 Microsoft Corporation Meta data enhanced television programming
US6816897B2 (en) 2001-04-30 2004-11-09 Opsware, Inc. Console mapping tool for automated deployment and management of network devices
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US20030028390A1 (en) 2001-07-31 2003-02-06 Stern Edith H. System to provide context-based services
KR100474724B1 (ko) 2001-08-04 2005-03-08 삼성전자주식회사 터치스크린을 가지는 장치 및 그 장치에 외부디스플레이기기를 연결하여 사용하는 방법
US20030046398A1 (en) 2001-08-29 2003-03-06 Charles Buckley Method and system for managing a plurality of console devices in a network
AU2001284628A1 (en) * 2001-08-31 2003-03-10 Kent Ridge Digital Labs Time-based media navigation system
US7127613B2 (en) 2002-02-25 2006-10-24 Sun Microsystems, Inc. Secured peer-to-peer network data exchange
US20030182663A1 (en) 2002-03-25 2003-09-25 Sony Corporation System and method for sharing user comments on TV screens
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US20040019292A1 (en) 2002-07-29 2004-01-29 Drinan Darrel Dean Method and apparatus for bioelectric impedance based identification of subjects
US6773349B2 (en) 2002-07-31 2004-08-10 Intec, Inc. Video game controller with integrated video display
US9352222B2 (en) 2002-12-10 2016-05-31 Sony Interactive Entertainment America Llc System and method for capturing text for an online application
US7571469B2 (en) 2002-12-24 2009-08-04 Nokia Corporation Method for communication control in a communication network, communication control entity, key management entity, terminal and gateway entity
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
KR101157308B1 (ko) 2003-04-30 2012-06-15 디즈니엔터프라이지즈,인크. 휴대 전화 멀티미디어 제어기
US20040263639A1 (en) 2003-06-26 2004-12-30 Vladimir Sadovsky System and method for intelligent image acquisition
JP3698711B1 (ja) 2004-05-07 2005-09-21 株式会社ソニー・コンピュータエンタテインメント ネットワーク識別子設定方法、通信方法および無線通信端末装置
US9065930B2 (en) 2004-09-09 2015-06-23 Link Us All, Llc Method and system for presence detection in a communication system
US8064670B2 (en) 2004-09-29 2011-11-22 Northrop Grumman Systems Corporation Analysis of multidimensional data
US7500154B2 (en) 2004-12-17 2009-03-03 Cisco Technology, Inc. Method and system for generating a console log
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US7702006B2 (en) * 2005-07-05 2010-04-20 Microsoft Corporation Adjustment of transmission data rate based on data errors and/or latency
US7625287B2 (en) 2005-10-05 2009-12-01 Nintendo Co., Ltd. Driving game steering wheel simulation method and apparatus
US7512677B2 (en) 2005-10-20 2009-03-31 Uplogix, Inc. Non-centralized network device management using console communications system and method
US7523226B2 (en) 2005-11-09 2009-04-21 Microsoft Corporation Controlling an auxiliary display user interface based on usage context
CN100493091C (zh) 2006-03-10 2009-05-27 清华大学 基于会话初始化协议的流媒体直播p2p网络方法
WO2007128003A2 (en) * 2006-03-28 2007-11-08 Motionbox, Inc. System and method for enabling social browsing of networked time-based media
US9002018B2 (en) 2006-05-09 2015-04-07 Sync Up Technologies Corporation Encryption key exchange system and method
US7954049B2 (en) * 2006-05-15 2011-05-31 Microsoft Corporation Annotating multimedia files along a timeline
US20070300185A1 (en) * 2006-06-27 2007-12-27 Microsoft Corporation Activity-centric adaptive user interface
US8970503B2 (en) 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
KR20070015239A (ko) 2007-01-13 2007-02-01 (주)아루온게임즈 휴대전화와 유저 게임공통단말기가 연동된 게임시스템 및그 방법
US20080248845A1 (en) * 2007-04-06 2008-10-09 Henry Paul Morgan Contextual Gamer Options Menu
WO2008134745A1 (en) 2007-04-30 2008-11-06 Gesturetek, Inc. Mobile video-based therapy
US9542394B2 (en) 2007-06-14 2017-01-10 Excalibur Ip, Llc Method and system for media-based event generation
US20130198321A1 (en) 2012-01-31 2013-08-01 Paul W. Martin Content associated with primary content
TWI333156B (en) 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
US20090055739A1 (en) 2007-08-23 2009-02-26 Microsoft Corporation Context-aware adaptive user interface
CN103442201B (zh) 2007-09-24 2018-01-02 高通股份有限公司 用于语音和视频通信的增强接口
US8572199B2 (en) 2007-09-26 2013-10-29 Microsoft Corporation Dynamic instant comments
JP4907483B2 (ja) 2007-09-28 2012-03-28 パナソニック株式会社 映像表示装置
JP5456683B2 (ja) 2007-10-24 2014-04-02 ラントロニクス・インコーポレイテツド 仮想ｉｐアドレスを割り当てるための中央ステーションのための種々の方法および装置
JP5844044B2 (ja) 2007-11-21 2016-01-13 クアルコム，インコーポレイテッド デバイスアクセス制御
WO2009067670A1 (en) 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8340492B2 (en) 2007-12-17 2012-12-25 General Instrument Corporation Method and system for sharing annotations in a communication network
KR20090085791A (ko) 2008-02-05 2009-08-10 삼성전자주식회사 멀티미디어 컨텐츠 서비스 장치 및 방법, 이를 포함하는멀티미디어 컨텐츠 서비스 제공시스템
US20090276475A1 (en) 2008-03-01 2009-11-05 Roald Ramsey Secure data access and backup
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20090235298A1 (en) 2008-03-13 2009-09-17 United Video Properties, Inc. Systems and methods for synchronizing time-shifted media content and related communications
US20130215116A1 (en) * 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
KR101454025B1 (ko) 2008-03-31 2014-11-03 엘지전자 주식회사 영상표시기기에서 녹화정보를 이용한 영상 재생 장치 및 방법
US9582049B2 (en) 2008-04-17 2017-02-28 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
US8200795B2 (en) 2008-06-05 2012-06-12 Sony Computer Entertainment Inc. Mobile phone game interface
US8839327B2 (en) 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
WO2009156978A1 (en) 2008-06-26 2009-12-30 Intuitive User Interfaces Ltd System and method for intuitive user interaction
US20100050129A1 (en) 2008-08-19 2010-02-25 Augusta Technology, Inc. 3D Graphical User Interface For Simultaneous Management Of Applications
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
WO2010028690A1 (en) 2008-09-12 2010-03-18 Nokia Corporation Session initiation for device-to-device communication
KR101541561B1 (ko) 2008-09-29 2015-08-03 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체
WO2010045507A2 (en) 2008-10-16 2010-04-22 Troy Barnes Remote control of a web browser
US8073909B2 (en) * 2008-11-04 2011-12-06 iGware Inc., Hybrid platform for video games
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US20100162139A1 (en) 2008-12-19 2010-06-24 Palm, Inc. Multi-function status indicator for content receipt by a mobile computing device
US7870496B1 (en) 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8751955B2 (en) 2009-03-28 2014-06-10 International Business Machines Corporation Scrollbar user interface for multitouch devices
US8639096B2 (en) * 2009-04-15 2014-01-28 Cbs Interactive Inc. System and method of managing a digital video recorder using a user television broadcast list
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8595781B2 (en) 2009-05-29 2013-11-26 Cognitive Media Networks, Inc. Methods for identifying video segments and displaying contextual targeted content on a connected television
US20100318520A1 (en) * 2009-06-01 2010-12-16 Telecordia Technologies, Inc. System and method for processing commentary that is related to content
US9014685B2 (en) 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
KR20110003146A (ko) 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
KR101584058B1 (ko) 2009-08-07 2016-01-12 삼성전자주식회사 현재 상황에 적합한 사용 환경을 제공하는 휴대 단말기 및 이의 운용 방법
US20110078001A1 (en) * 2009-09-30 2011-03-31 Verizon Patent And Licensing, Inc. Feedback system for television advertisements
US8990142B2 (en) 2009-10-30 2015-03-24 The Nielsen Company (Us), Llc Distributed audience measurement systems and methods
US8255006B1 (en) 2009-11-10 2012-08-28 Fusionone, Inc. Event dependent notification system and method
US8880623B2 (en) * 2009-12-02 2014-11-04 Redux, Inc. Prioritization in a continuous video playback experience
KR101670352B1 (ko) 2009-12-03 2016-10-28 엘지전자 주식회사 이동 단말기, 전자 기기 및 전자 기기의 제어 방법
US20110158605A1 (en) 2009-12-18 2011-06-30 Bliss John Stuart Method and system for associating an object to a moment in time in a digital video
US9477667B2 (en) * 2010-01-14 2016-10-25 Mobdub, Llc Crowdsourced multi-media data relationships
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8864581B2 (en) 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8339364B2 (en) 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
KR101154636B1 (ko) 2010-02-03 2012-06-08 닌텐도가부시키가이샤 표시 장치, 게임 시스템 및 게임 처리 방법
US20110239142A1 (en) 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing content over multiple displays
US20110258545A1 (en) 2010-04-20 2011-10-20 Witstreams Service for Sharing User Created Comments that Overlay and are Synchronized with Video
US8494439B2 (en) 2010-05-04 2013-07-23 Robert Bosch Gmbh Application state and activity transfer between devices
US9294800B2 (en) 2010-05-10 2016-03-22 Comcast Cable Communications, Llc Intelligent remote control
US8515077B2 (en) * 2010-05-12 2013-08-20 Research In Motion Limited Automatic application management in a short-range wireless system
US20110279368A1 (en) 2010-05-12 2011-11-17 Microsoft Corporation Inferring user intent to engage a motion capture system
US8640020B2 (en) 2010-06-02 2014-01-28 Microsoft Corporation Adjustable and progressive mobile device street view
US20110300930A1 (en) 2010-06-08 2011-12-08 Hsu Kent T J Video game controller with an auxiliary display
US20120028625A1 (en) 2010-06-21 2012-02-02 Sony Ericsson Mobile Communications Ab System and method for generating a message notification based on sensory detection
US9086727B2 (en) 2010-06-22 2015-07-21 Microsoft Technology Licensing, Llc Free space directional force feedback apparatus
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9134799B2 (en) 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
WO2012017525A1 (ja) 2010-08-04 2012-02-09 パイオニア株式会社 処理装置及びコマンド入力支援方法
US8656062B2 (en) 2010-08-18 2014-02-18 Snap-On Incorporated System and method for wireless pairing via wired connection
US8745154B1 (en) 2010-08-24 2014-06-03 Amazon Technologies, Inc. Item download customization
US20120072504A1 (en) 2010-09-22 2012-03-22 Infineon Technologies Ag Devices and methods for managing collaborative communications sessions
US20120151320A1 (en) * 2010-12-10 2012-06-14 Mcclements Iv James Burns Associating comments with playback of media content
US8958018B2 (en) 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
US8731902B2 (en) * 2010-12-23 2014-05-20 Sap Ag Systems and methods for accessing applications based on user intent modeling
US8793730B2 (en) * 2010-12-30 2014-07-29 Yahoo! Inc. Entertainment companion content application for interacting with television content
US9800941B2 (en) * 2011-01-03 2017-10-24 Curt Evans Text-synchronized media utilization and manipulation for transcripts
EP2490446A1 (en) 2011-02-15 2012-08-22 Eldon Technology Limited Copy protection
US9265450B1 (en) 2011-02-21 2016-02-23 Proxense, Llc Proximity-based system for object tracking and automatic application initialization
US20140218300A1 (en) 2011-03-04 2014-08-07 Nikon Corporation Projection device
US8965986B1 (en) * 2011-03-08 2015-02-24 Google Inc. Device dependent user notification
US9667713B2 (en) 2011-03-21 2017-05-30 Apple Inc. Apparatus and method for managing peer-to-peer connections between different service providers
US8814697B2 (en) 2011-04-19 2014-08-26 Sony Computer Entertainment America Llc Method and apparatus for use in preserving a game state
US9440144B2 (en) 2011-04-21 2016-09-13 Sony Interactive Entertainment Inc. User identified to a controller
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US8856355B2 (en) 2011-05-09 2014-10-07 Samsung Electronics Co., Ltd. Systems and methods for facilitating communication between mobile devices and display devices
JP5937789B2 (ja) 2011-05-24 2016-06-22 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム及びゲーム処理方法
JP6058643B2 (ja) 2011-05-27 2017-01-11 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 複数のスクリーンによるメディア体験を提供する方法、装置およびシステム
US10225617B2 (en) 2011-06-22 2019-03-05 Time Warner Cable Enterprises Llc Methods and apparatus for presenting social network content in conjunction with video content
US9160837B2 (en) 2011-06-29 2015-10-13 Gracenote, Inc. Interactive streaming content apparatus, systems and methods
US9066145B2 (en) * 2011-06-30 2015-06-23 Hulu, LLC Commenting correlated to temporal point of video data
US20130019192A1 (en) 2011-07-13 2013-01-17 Lenovo (Singapore) Pte. Ltd. Pickup hand detection and its application for mobile devices
US9384101B2 (en) 2011-07-26 2016-07-05 Apple Inc. Web application architecture
CN103890695B (zh) 2011-08-11 2017-10-13 视力移动技术有限公司 基于手势的接口系统和方法
US9032451B2 (en) 2011-09-01 2015-05-12 The Directv Group, Inc. Method and system for using a second screen device for interacting with a set top box to enhance a user experience
US11210610B2 (en) 2011-10-26 2021-12-28 Box, Inc. Enhanced multimedia content preview rendering in a cloud content management system
US8750852B2 (en) 2011-10-27 2014-06-10 Qualcomm Incorporated Controlling access to a mobile device
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
US20130174191A1 (en) 2011-12-29 2013-07-04 United Video Properties, Inc. Systems and methods for incentivizing user interaction with promotional content on a secondary device
JP5898999B2 (ja) 2012-02-21 2016-04-06 任天堂株式会社 情報処理システム、制御装置、情報処理プログラム及び画像表示方法
US20130239041A1 (en) 2012-03-06 2013-09-12 Sony Corporation Gesture control techniques for use with displayed virtual keyboards
US8760426B1 (en) 2012-03-26 2014-06-24 Amazon Technologies, Inc. Dominant hand detection for computing devices
US9986273B2 (en) * 2012-03-29 2018-05-29 Sony Interactive Entertainment, LLC Extracting media content from social networking services
US9170667B2 (en) 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
US9381427B2 (en) 2012-06-01 2016-07-05 Microsoft Technology Licensing, Llc Generic companion-messaging between media platforms
US9699485B2 (en) * 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US8924735B2 (en) 2013-02-15 2014-12-30 Microsoft Corporation Managed biometric identity
WO2018093375A1 (en) * 2016-11-18 2018-05-24 Rovi Guides, Inc. Systems and methods for slowing down fast-access playback operations

Also Published As

Publication number Publication date
US20160004301A1 (en) 2016-01-07
BR112014029915A8 (pt) 2021-05-25
KR102126595B1 (ko) 2020-06-24
US20130325954A1 (en) 2013-12-05
EP2856295B1 (en) 2020-01-15
WO2013181073A3 (en) 2014-02-06
EP3657312A1 (en) 2020-05-27
US20130321268A1 (en) 2013-12-05
US9690465B2 (en) 2017-06-27
US20130326376A1 (en) 2013-12-05
RU2014148164A (ru) 2016-06-20
US10248301B2 (en) 2019-04-02
US20130326563A1 (en) 2013-12-05
JP2015524110A (ja) 2015-08-20
MX2014014621A (es) 2015-02-12
CA2874667A1 (en) 2013-12-05
US20180300050A1 (en) 2018-10-18
BR112014029915A2 (pt) 2017-06-27
CA2874667C (en) 2020-11-03
CN104350446A (zh) 2015-02-11
US11875027B2 (en) 2024-01-16
US10963147B2 (en) 2021-03-30
BR112014029915B1 (pt) 2021-11-23
MX340692B (es) 2016-07-20
AU2013267703B2 (en) 2018-01-18
EP2856295A2 (en) 2015-04-08
JP6157603B2 (ja) 2017-07-05
US10025478B2 (en) 2018-07-17
US20190220181A1 (en) 2019-07-18
AU2013267703A1 (en) 2014-12-11
US9170667B2 (en) 2015-10-27
WO2013181073A2 (en) 2013-12-05
RU2644142C2 (ru) 2018-02-07
US9798457B2 (en) 2017-10-24
KR20150018603A (ko) 2015-02-23

Similar Documents

Publication Publication Date Title
CN104350446B (zh) 上下文用户界面
CN108255304B (zh) 基于增强现实的视频数据处理方法、装置和存储介质
CN104603719B (zh) 扩增实境表面显示
CN104520849B (zh) 使用外在物理表达的搜索用户界面
CN104487916B (zh) 有形对象与扩增实境对象的交互
CN109670397A (zh) 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN102981603A (zh) 图像处理装置、图像处理方法和程序
CN103116397A (zh) 运动识别装置、运动识别方法、操作装置、电子装置和程序
CN107533363A (zh) 手势识别装置、手势识别方法以及信息处理装置
CN107025045A (zh) 移动终端及其控制方法
CN108762497A (zh) 体感交互方法、装置、设备及可读存储介质
KR20170083415A (ko) 영상처리장치 및 그 제어방법
CN109495616A (zh) 一种拍照方法及终端设备
CN108460817A (zh) 一种拼图方法及移动终端
CN111641861B (zh) 视频播放方法及电子设备
CN109246351A (zh) 一种构图方法及终端设备
CN105468249B (zh) 智能互动系统及其控制方法
CN109104573A (zh) 一种确定对焦点的方法及终端设备
KR20140088286A (ko) Nui 장치를 이용한 온라인 게이트볼 게임 서비스 시스템 및 방법
CN112005197A (zh) 信息处理装置、信息处理方法和程序
WO2020107355A1 (zh) 柔性服饰、货架、显示控制方法及系统
US11503361B1 (en) Using signing for input to search fields
CN116943184A (zh) 虚拟角色的状态显示方法、装置、设备、存储介质及产品
You Vision-based multiple user interaction with in-home large displays

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150408

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150408

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant