CN102270043B - 协调设备交互来增强用户体验 - Google Patents

协调设备交互来增强用户体验 Download PDF

Info

Publication number
CN102270043B
CN102270043B CN201110184625.4A CN201110184625A CN102270043B CN 102270043 B CN102270043 B CN 102270043B CN 201110184625 A CN201110184625 A CN 201110184625A CN 102270043 B CN102270043 B CN 102270043B
Authority
CN
China
Prior art keywords
user
computing equipment
host computer
computer device
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110184625.4A
Other languages
English (en)
Other versions
CN102270043A (zh
Inventor
S·N·巴思彻
S·J·库帕拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102270043A publication Critical patent/CN102270043A/zh
Application granted granted Critical
Publication of CN102270043B publication Critical patent/CN102270043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/843—Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/404—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection
    • A63F2300/405—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection being a wireless ad hoc network, e.g. Bluetooth, Wi-Fi, Pico net
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了协调设备交互来增强用户体验的技术。本发明提供了一种用于为参与交互式活动的用户协调一个或多个计算设备之间的交互的方法。在物理表面上经由主计算设备标识参考点。主计算设备可包括移动计算设备。物理表面用于为一个或多个用户呈现交互式活动。参考点经由主计算设备传送至一个或多个辅计算设备。主计算设备和辅计算设备之间的交互利用参考点来协调。经由主计算设备和辅计算设备在物理表面上为用户呈现相对于参考点的交互式游戏的用户透视图像。

Description

协调设备交互来增强用户体验
技术领域
本发明涉及通过协调设备交互来增强用户体验的技术。
发明背景
诸如个人台式助理、个人数字助理、移动电话、手持和袖珍型计算机、以及平板个人计算机的移动计算设备向用户提供访问并交换信息的平台。移动计算设备是紧凑的，易于传输并提供诸如通信、信息存储和检索以及多媒体娱乐的特征和服务的主机。用户通常经由移动计算设备上的诸如触敏屏的显示屏和一个或多个物理控制与移动计算设备中的应用程序和特征交互。然而，与例如电视机或台式计算机的监视器的大小相比，经由显示屏可用于用户交互的面积仍然相对较小。
发明内容
本发明公开了一种基于协调与用户相关联的一个或多个计算设备之间的交互来增强参与交互式活动的用户的用户体验的技术。在一个实施例中，交互式活动是交互式游戏，如用户可能希望参与的多玩家游戏。计算设备可包括例如一个或多个移动计算设备，如蜂窝电话、启用Web的智能电话、个人数字助理、掌上型计算机、膝上型计算机、一个或多个头戴式设备、或一个或多个投影设备。通过建立相对于可向用户呈现交互式活动的物理表面上的参考点的计算设备之间的协调，来实现计算设备之间的交互。相对于物理表面上的参考点，将交互式游戏的图像呈现给用户。所呈现的图像向用户提供在参与交互式活动时的增强的观看体验。
在一个实施例中，公开了一种为参与交互式活动的一个或多个用户协调一个或多个计算设备之间的交互的方法。在物理表面上经由主计算设备标识参考点。主计算设备可包括移动计算设备。物理表面用于为一个或多个用户呈现交互式活动。在一个实施例中，交互式活动可以是交互式游戏。参考点经由主计算设备传送至一个或多个辅计算设备。辅计算设备可包括，但不限于，一个或多个附加移动计算设备、头戴式设备、或投影设备。主计算设备和辅计算设备之间的交互利用参考点来协调。相对于参考点的交互式游戏的用户透视图像经由主计算设备和辅计算设备在物理表面上或在一个或多个辅计算设备上向用户呈现。
提供本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图说明
图1A示出了用于实现所公开技术的操作的示例性计算设备。
图1B示出了图1A所示的计算设备的后视图。
图2是示出图1所示的移动计算设备的功能组件的系统的框图。
图3是示出可用于执行所公开技术的一个或多个操作的头戴式显示设备的功能组件的系统的框图。
图4A示出基于协调一个或多个计算设备之间的交互，为参与交互式活动的用户增强用户体验的合适环境。
图4B是示出图4A所示的环境的示例性实现的示意框图。
图5是示出用于协调与交互式活动的一个或多个用户相关联的一个或多个计算设备之间的交互的所公开技术执行的一个或多个操作的流程图。
图6是示出可用于执行所公开技术的一个或多个操作的投影设备的功能组件的系统的框图。
图7是示出根据所公开技术的另一实施例，用于基于协调一个或多个计算设备为参与交互式活动的用户增强用户体验的合适环境的示意框图。
图8是示出用于协调与交互式活动的一个或多个用户相关联的一个或多个计算设备之间的交互的所公开技术执行的一个或多个操作的流程图。
图9A和9B示出用于实现所公开技术的另一实施例的合适环境。
图10是示出根据所公开技术的又一实施例，用于基于协调一个或多个计算设备为参与活动的用户增强用户体验的合适环境的示意框图。
具体实施方式
本发明公开了一种用于为计算设备提供交互式机制以增强交互式活动中的用户体验的方法和系统。在一个实施例中，通过标识可呈现诸如交互式游戏的交互式活动的物理表面上的参考点，来协调计算设备之间的交互。经由计算设备上的一个或多个传感器感应呈现交互式活动的物理表面上的用户姿势。向用户显示与呈现交互式活动的物理表面上的用户姿势相关联的动作的结果。在所公开技术执行的一组操作中，经由物理上耦合至一个或多个移动计算设备的头戴式显示(HMD)设备向用户呈现交互式游戏的用户透视图像。在所公开技术执行的另一组操作中，经由耦合至移动计算设备的投影设备，相对于参考点将交互式游戏投影到呈现交互式游戏的物理表面上。在所公开技术执行的又一组操作中，可经由主移动计算设备相对于参考点将投影图像呈现在物理表面上。可经由辅移动计算设备为用户将投影图像的一部分重新投影为放大图像，从而增强用户与物理表面上呈现的活动交互时的体验。
图1A示出了用于实现本公开技术的操作的示例性计算设备。在一个实施例中，计算设备是移动计算设备100，它可包括，但不限于，蜂窝电话、启用Web的智能电话、个人数字助理、掌上型计算机、膝上型计算机、或经由无线信号通信的任何类似设备。移动计算设备100可包括输入元件和输出元件两者。输入元件可包括允许用户将信息输入移动计算设备100的触摸屏显示器102和输入按钮104。移动计算设备100还结合允许进一步用户输入的侧输入元件106。侧输入元件106可以是旋转开关、按钮、或任何其他类型的手动输入元件。在替换实施例中，移动计算设备100可结合更多或更少的输入元件。例如，在某些实施例中，显示器102可以不是触摸屏。移动计算设备100还可包括可任选的键区112。可任选键区112可以是物理键区或在触摸屏显示器上生成的“软”键区。可集成到移动计算设备100的又一输入设备是机载照相机114。
图1B示出了图1A所示的计算设备的后视图。在一个实施例中，移动计算设备100包括背面照相机115。背面照相机115可相对于触摸屏显示器102设置，以使用户能够在显示器102上观看越过移动计算设备100的照片对象。移动计算设备100还可包括背面输入元件，如图1B所示的充电接口117和电池116。
移动计算设备100结合输出元件，如可显示图形用户界面(GUI)的显示器102。其他输出元件包括扬声器108和LED灯110。另外，移动计算设备100可包含振动模块(未示出)，该振动模块使得移动计算设备100振动以将事件通知给用户。在又一实施例中，移动计算设备100可结合耳机插孔(未示出)，用于提供提供输出信号的另一手段。
尽管此处组合移动计算设备100来描述，但在替换实施例中，所公开技术还可用于组合任何数量的计算机系统，如在台式环境中、膝上型或笔记本计算机系统、多处理器系统、基于微处理器或可编程消费电子产品、网络PC、小型计算机、大型计算机等。总而言之，具有多个环境传感器、向用户提供通知的多个输出元件和多个通知事件类型的任何计算机系统可结合本发明的实施例。
图2是示出诸如图1所示的移动计算设备100的移动计算设备的功能组件的系统的框图。如图2所示，实现移动计算设备100的系统200可包括可具有一个或多个处理器210的控制电路212和存储或存储器214，例如，诸如ROM的非易失性存储器和诸如RAM的易失性存储器。存储器214存储由控制电路212的一个或多个处理器210执行的处理器可读代码，以实现所公开技术的操作。一个或多个应用程序可载入存储器214，如电话拨号器程序、电子邮件程序、PIM(个人信息管理)程序、因特网浏览器应用程序、视频游戏应用程序等。
控制电路212可包括通信接口209，它控制移动计算设备和其它设备之间的无线的或经由有线连接的信号发射和接收。如图所示，在一个实施例中，通信接口209可包括用于无线信号的发射和接收的射频(RF)发射/接收电路206和/或红外发射/接收电路208。在发射模式期间，控制电路212可向发射/接收电路206提供语音和其它数据信号。发射/接收电路206可经由天线202将该信号发射到远程站(例如固定站、运营商、其它移动计算设备等)。
控制电路212也可与一个或多个传感器216、用户界面/键区屏幕218、音频接口220和视频接口222通信。传感器216例如可包括诸如加速计的运动检测传感器，压力传感器、邻近度传感器、电容触摸传感器等。加速计被结合到移动设备中，以用于实现诸如让用户通过姿势输入命令的智能用户界面，以及在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能之类的应用程序，并用于实现检测设备的定向并当旋转移动设备时自动地将显示从纵向变为横向。例如通过构建在半导体芯片上的微机电系统(MEMS)来提供加速计。经由加速计可感应加速方向、以及定向、振动和震动。
用户界面键区/屏幕218可包括诸如按钮数字拨号盘区(如在典型的电话上)或多按键键盘(如常规键盘)的键区。UI键区/屏幕218还可以是触敏的，并包括液晶显示器(LCD)或在移动设备中常用的任何其它类型的显示器。音频接口220可用于向用户提供听觉信号并从用户接受听觉信号。音频接口220可耦合至扬声器224、话筒225和响铃器/振动器226。响铃器/振动器226可被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信号。响铃器/振动器226可发出由用户选择的一个或多个铃声和/或触觉振动。在接收模式期间，发射/接收电路206通过天线202接收来自远程站的语音或其它数据信号。所接收的语音信号可被提供给扬声器222，同时所接收到的其它数据信号也被适当地处理。话筒225可包括可接收声音并将其转换成电信号的换能器。话筒225也可包括压力传感器或音频传感器以便于感应用户姿势并控制通知。
视频接口222可用于向用户提供视频、图像和其它信号。视频接口222也可用于从照相机228和投影仪229接收视频、图像和其它信号。照相机228可用于捕捉可在用户界面屏幕218上显示的图像和/或视频。照相机228也可包括一个或多个深度传感器，它可捕捉、感应或检测在移动计算设备的视野中的用户的动作或姿势。投影仪229可任选地集成在移动计算设备中，以允许在可放置移动计算设备的物理表面上投影和显示照相机228捕捉的图像。
系统200可包括电源204，其可被实现为一个或多个电池。电源204还可包括外部功率源，如补充电池或对电池重新充电的AC适配器或加电对接托架。移动计算设备实现系统200可具有附加特征或功能。例如，设备还可包括附加数据存储设备(可移动的/或不可移动的)，诸如磁盘、光盘或磁带。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。
图3是示出可用于执行所公开技术的一个或多个操作的头戴式显示设备的功能组件的系统的框图。可以理解，头戴式显示(HMD)设备通常表示可安置在用户头部的一种设备。HMD设备可包括显示屏，当用户戴上HMD设备时显示屏可在用户眼前显示视频图像。HMD设备另外可包括两个框杆(frame-rod)部，其可从显示屏延伸并且在用户戴上HMD设备时可置于用户的耳朵上。在一个实施例中，实现HMD设备的系统300可包括可具有一个或多个处理器310的控制电路312和存储或存储器314，例如，诸如ROM的非易失性存储器和诸如RAM的易失性存储器。存储器314存储由控制电路312的一个或多个处理器310执行的处理器可读代码，以实现所公开技术的操作。在一个实施例中，存储器314可用于存储可在HMD设备的显示屏318上显示的基于图像的内容。
控制电路312可包括通信接口309，它控制HMD设备和其它设备之间的无线的或经由有线连接的信号发送和接收。如图所示，在一个实施例中，通信接口309可包括用于无线信号的发射和接收的射频(RF)发射/接收电路306和/或红外发射/接收电路308。在发射模式期间，控制电路312可向发射/接收电路306提供语音和其它数据信号。发射/接收电路306可经由天线302将该信号发射到远程站(例如固定站、运营商、移动计算设备等)。
控制电路312也可与一个或多个传感器316、显示屏318、音频接口320和视频接口322通信。传感器316例如可包括可检测戴上HMD设备的用户头部运动的诸如加速计的运动检测传感器，可检测用户是否已戴上HMD设备的压力或触摸传感器、和可检测用户周围的一个或多个对象或可耦合至HMD设备的其它设备的邻近度传感器。
显示屏318可包括可在为用户显示图像时增强用户观看体验的光学组件(未示出)。显示屏318可放置在用户眼前的HMD设备的框架内。在一个实施例中，如以下将要详细讨论的，HMD设备可耦合至便携式电子设备，如图1A所示的移动计算设备100，以在用户参与诸如交互式游戏的交互式活动时为用户提供增强的观看体验。因此，在一个实施例中，当HMD设备戴在用户头上时，HMD设备的显示屏318可利用图1A所示的移动计算设备100的显示屏来为用户显示图像。在一个实施例中，显示屏318可被配置成在物理表面上为用户呈现交互式游戏的用户透视图像，以向用户提供增强的观看体验。
音频接口320可用于向用户提供听觉信号并从用户接受听觉信号。在一个实施例中，音频接口320可耦合至扬声器324和话筒325。在接收模式期间，发射/接收电路306通过天线302接收来自远程站的语音或其它数据信号。所接收的语音信号可被提供给扬声器324，同时所接收到的其它数据信号也被适当地处理。话筒325可包括可接收声音并将其转换成电信号的换能器或传感器。话筒325也可包括压力传感器或音频传感器以便于感应用户姿势并控制通知。
视频接口322可用于向用户提供视频、图像和其它信号。视频接口322也可用于从照相机328接收视频、图像和其它信号。照相机328可用于捕捉可在显示屏318上被观看的图像和/或视频。照相机328也可包括一个或多个深度传感器，它可捕捉、感应或检测在HMD设备的视野中的用户的动作或姿势。
系统300可包括电源304，其可被实现为一个或多个电池。电源304还可包括外部功率源，如补充电池或对电池重新充电的AC适配器或加电对接托架。实现HMD设备的系统300可具有附加特征或功能。例如，系统300还可包括附加数据存储设备(可移动的和/或不可移动的)，如磁盘、光盘或磁带。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。
图4A示出基于协调一个或多个计算设备之间的交互，为参与交互式活动的用户增强用户体验的合适环境400。根据所公开技术，用户402、404和406可通过从他们各自的移动计算设备中调用游戏应用程序来参与诸如交互式游戏430的交互式活动。可通过标识可呈现交互式游戏430的物理表面450上的参考点440，来建立计算设备之间的协调。可相对于物理表面450上的参考点440，经由用户的计算设备将交互式游戏430的用户透视图像呈现给用户402、404和406。在图4B中详细描述环境400的示例性实现。
图4B是示出图4A所示环境400示例性实现的示意框图，环境400用于基于协调一个或多个计算设备之间的交互为参与交互式活动的用户增强用户体验。在一个实施例中，计算设备可包括例如图1和2中所讨论的移动计算设备或图3中所讨论的头戴式显示设备。在所示实施例中，用户402、404和406可经由其各自的移动计算设备408、410和412彼此通信，以及口头通信和个人间通信，以参与交互式活动，例如通过从他们各自的移动计算设备中调用游戏应用程序而参与交互式游戏。可使用本领域中公知的任何有线或无线通信协议，如蓝牙TM、射频等，来最初建立移动计算设备408、410和412之间的通信。关于建立移动计算设备之间的连接的附加特征在2006年8月29日提交的发明名称为“移动设备的动态连接(Dynamic Interconnection of Mobile Devices)”的共同待审的公开专利申请US20070191028中描述，该申请通过引用整体结合于此。
根据所公开技术，可通过标识可呈现交互式游戏430的物理表面上的参考点，来建立移动计算设备408、410和412之间的协调。然后，可相对于参考点，经由移动计算设备408、410和412将交互式游戏430的用户透视图像呈现给每个用户402、404和406。如下所述，所公开的呈现用户透视图像的技术在用户参与交互式游戏430时向用户402、404和406提供增强的观看体验。
物理表面450上的示例性参考点440在图4B中示出。参考点440可包括例如任何物理参考系，如可放置在物理表面450上的物理对象、传感设备或另一移动计算设备。传感设备可包括一个或多个活动信标传感器，它发出结构化的光、脉冲红外光或可视光到物理表面450上并检测来自物理表面450上的一个或多个对象的反向散射光。物理表面450可包括例如可用作游戏输入区域的桌面或者可向用户402、404和406呈现交互式游戏430的交互式表面区域。在一个实施例中，移动计算设备408、410或412之一作为主移动计算设备来将一个参考点标识为移动计算设备408、410和412可相对于它彼此协调的物理参考系。一旦标识后，主移动计算设备可将该参考点传送至一个或多个辅计算设备。移动计算设备408、410和412可利用任何合适的算法来将特定移动计算设备指定为主移动计算设备。在一个实施例中，通过确定移动通信设备408、410和412相对于物理表面450上的参考点的邻近度和移动计算设备408、410和412相对于彼此的邻近度，主移动计算设备可将参考点标识为移动计算设备408、410和412可相对于它彼此协调的物理参考系。然后，可经由移动计算设备408、406和412将相对于参考点的交互式游戏430的用户透视图像在物理表面450上呈现给每个用户402、404和406。
在一个实施例中，交互式游戏430的用户透视图像可经由头戴式显示(HMD)设备414、416和418呈现给用户402、404和406，HMD设备414、416和418可分别物理上耦合至移动计算设备408、410和412。具体而言，HMD设备414、416和418中的显示屏可利用与移动计算设备408、410和412中显示的交互式游戏相关的基于图像的内容，来为用户402、404和406显示交互式游戏430用户透视图像。如下所述，HMD设备414、416和418可向用户402、404和406呈现相对于物理表面450上的参考点440的交互式游戏430的用户透视图像。例如，如图4B中的示例性说明所示，相对于物理表面450上的参考点440的交互式游戏430投影经由HMD设备414向用户402呈现视角422处的用户透视图像，其中交互式游戏430中的对象1和4可表现为比交互式游戏430中的对象2和3更接近用户402。类似地，相对于物理表面450上的参考点440的交互式游戏430投影经由HMD设备416向用户404呈现视角424处的用户透视图像，其中对象3和4可表现为比对象1和2更接近用户404，并且相对于物理表面450上的参考点440的交互式游戏430投影经由HMD设备418向用户406呈现视角426处的用户透视图像，其中对象2和3可表现为比对象1和4更接近用户406。
HMD设备414、416和418至移动计算设备408、410和412的物理耦合可使用设备之间的有线连接或无线连接来实现。诸如图2中所讨论的接口209的通信接口可用于实现移动计算设备408、410和412至各个HMD设备414、416和418的通信和可操作性。通信接口可通过使用例如本领域中公知的任何无线协议，如蓝牙TM、射频等，在设备之间发射/接收所需信号来实现设备之间的通信。
在物理表面450上呈现的交互式游戏430可由用户402、404和406用作游戏输入区域以参与交互式游戏430。移动计算设备408、410和412中的照相机(如系统200中的照相机228)或HMD设备414、416和418中的照相机(如系统300中的照相机328)可捕捉与交互式游戏430的用户交互。另外，移动计算设备408、410和412中的照相机中的一个或多个传感器或者移动计算设备408、410和412中的一个或多个其它传感器(如系统200中的传感器216)可感应可呈现交互式游戏430的物理表面450上的用户姿势。作为替换，HMD设备414、416和418中的一个或多个传感器(如系统300中的传感器316)或者HMD设备414、416和418中的照相机中的一个或多个传感器也可用于感应用户姿势。或者，例如，可经由移动计算设备408、410和412中包括的一个或多个电容触摸传感器直接感应用户姿势。在一个实施例中，也可由参考点本身来感应用户姿势，在一个实施例中，参考点可包括传感设备。此外，传感器(如传感器216或316或照相机228和328中的传感器)可使用悬停或触摸传感技术来检测并感应物理表面450上的用户姿势。关于本技术中使用的感应和检测用户姿势的进一步细节在2009年9月4日提交的发明名称为“具有投影视觉的紧凑交互式桌面(Compact Interactive Tabletop withProjection-Vision)”的共同待审的公开专利申请US20100066675中描述，该申请通过引用整体结合于此。
移动计算设备408、410和412可处理用户姿势。与用户姿势相关联的动作的结果可经由用户各自的HMD设备414、416和418为用户402、404和406显示在交互式游戏430上。作为替换，与用户姿势相关联的动作的结果可呈现在HMD设备414、416和418上。在一个实施例中，HMD设备414、416和418的显示屏可被配置成通过将私人信息重叠在与交互式游戏430相关联的公共或共享信息之上，从而为用户402、404和406呈现与交互式游戏430相关联的私人信息。因此，与交互式游戏430相关联的私人信息可经由例如用户的HMD设备中的显示屏对每个单独的用户是可见的，而与交互式游戏430相关的公共或共享信息可为用户402、404和406呈现在物理表面450上。
图5是示出用于协调与交互式游戏的一个或多个用户相关联的一个或多个计算设备之间的交互的所公开技术执行的一个或多个操作的流程图。在一个实施例中，图5的步骤可由实现诸如图1A所示移动计算设备100的移动计算设备的系统中的诸如处理器210的处理器中的可执行指令来执行。作为替换，图5的步骤可由实现诸如图3所讨论头戴式设备的计算设备的系统中的诸如处理器310的处理器中的可执行指令来执行。在步骤500中，经由主计算设备在可为一个或多个用户呈现交互式游戏的物理表面上标识参考点。在一个实施例中，主计算设备可以是如图4B所讨论的移动计算设备。参考点440可包括例如任何物理参考系，如可放置在可呈现交互式游戏的物理表面上的物理对象、传感设备或另一移动计算设备。物理表面可包括例如可用作游戏输入区域的桌面或者可向用户呈现交互式游戏的交互式表面区域。
在步骤502中，经由主计算设备将参考点传送至一个或多个辅移动计算设备。在步骤504中，参考点用于协调主计算设备和辅移动计算设备之间的交互，如图4B中所讨论的。在步骤506中，经由主计算设备和辅计算设备在物理表面上为用户呈现相对于参考点的交互式游戏的用户透视图像。在步骤508中，呈现交互式游戏的物理表面上的用户姿势被感应。如图4B中所讨论的，主移动计算设备或辅移动计算设备中的一个或多个传感器可用于执行感应。在步骤510中，将用户姿势传送至主计算设备和辅计算设备。在步骤512中，经由主计算设备和辅计算设备在为用户呈现交互式游戏的物理表面上显示与用户姿势相关联的动作的结果。
在另一实施例中，通过协调耦合至移动计算设备的投影设备之间的交互，来提供一种用于在参与交互式活动时提供增强用户体验的技术。图6是示出可用于执行所公开技术的一个或多个操作的投影设备的功能组件的系统的框图。在一个实施例中，如以下将要详细讨论地，投影设备可耦合至移动计算设备，如图1A所示的移动计算设备100，以在用户参与诸如交互式游戏的交互式活动时为用户提供增强的观看体验。可以理解，投影设备通常是指被配置成在屏幕或其它平面上显示视频、图像或计算机数据的设备。在一个实施例中，实现投影设备的系统600可包括一个或多个处理器610和存储或存储器614，例如，诸如ROM的非易失性存储器和诸如RAM的易失性存储器。存储器614存储由控制电路612的一个或多个处理器610执行的处理器可读代码，以实现所公开技术的一个或多个操作。
在一个实施例中，存储器614可用于存储从其它设备接收到的诸如视频、图像、或演示数据的基于图像的内容，其它设备例如是存储设备、DVD(数字通用盘)播放器、电视机、服务器(如有线服务提供者服务器)、图像捕捉设备、数码相机、摄像机、游戏控制台、或其它计算设备(如膝上型、台式或移动计算设备)等。基于图像的内容当被接收并然后由投影仪618投影时也可临时存储在存储器614中，或者可直接馈送投影仪618，在适当或需要时。
控制电路612可包括通信接口609，它控制投影设备和其它设备之间的无线的或经由有线连接的信号发送和接收。如图所示，在一个实施例中，通信接口609可包括用于无线信号的发射和接收的射频(RF)发射/接收电路606和/或红外发射/接收电路608。在发射模式期间，控制电路612可向发射/接收电路606提供诸如演示数据的基于图像的内容和其它数据信号。发射/接收电路606可经由天线602将该数据和信号发射到远程站(例如固定站、运营商、移动计算设备等)。
在一个实施例中，控制电路612也可与一个或多个传感器616、投影仪618、音频接口620和视频接口624通信。传感器616可被配置成区分与投影仪618可投影图像的投影表面的各种不同模式的物理接触。传感器616例如可包括诸如加速计的运动检测传感器，压力传感器、邻近传感器等。投影仪可包括液晶显示(LCD)投影仪、硅上液晶(LCOS)投影仪、或用于在投影表面上显示视频、图像或计算机数据的某些其它类型的投影仪。投影仪618还可允许操纵图像或用户与图像的其它交互。
音频接口620可用于向用户提供听觉信号并从用户接受听觉信号。在一个实施例中，音频接口620可耦合至扬声器624和话筒625。在接收模式期间，发射/接收电路606通过天线602接收来自远程站的语音或其它数据信号。所接收的语音信号可被提供给扬声器624，同时所接收到的其它数据信号也被适当地处理。话筒625可包括可接收声音并将其转换成电信号的换能器或传感器。话筒625也可包括压力传感器或音频传感器以便于感应投影表面上的用户姿势。
视频接口622可用于提供视频或可用作交互式视频环境的一部分的其它信号。在一个实施例中，视频接口622可耦合至照相机628。照相机628可用于捕捉可有投影仪618投影在投影表面上的图像和/或视频。照相机628也可包括一个或多个深度传感器，它可捕捉、感应或检测在投影表面上的用户的动作或姿势。
系统600可包括电源604，其可被实现为一个或多个电池。电源604还可包括外部功率源，如补充电池或对电池重新充电的AC适配器或加电对接托架。实现投影设备的系统600可具有附加特征或功能。例如，系统600还可包括附加数据存储设备(可移动的和/或不可移动的)，如磁盘、光盘或磁带。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。
图7是示出根据所公开技术的另一实施例，用于基于协调一个或多个计算设备为参与交互式游戏的用户增强用户体验的合适环境700的示意框图。如图所示，主计算设备740可在物理表面750上呈现交互式游戏730，主计算设备740可为用户702、704和706将交互式游戏730投影到物理表面750。在一个实施例中，主计算设备740是移动计算设备，它可耦合至投影设备735以将交互式游戏730投影到物理表面750上。移动计算设备740可用作参考点，以实现该实施例中的辅移动计算设备708、710和712的协调。可使用本领域中公知的任何有线或无线通信协议，如蓝牙TM、射频等，来建立移动计算设备708、710和712与740之间的通信。
可以理解，投影设备735在一个实施例中可以是物理上耦合至移动计算设备740的分离单元，或者在另一个实施例中可以集成入移动计算设备740中。移动计算设备740至投影设备735的物理耦合可使用设备之间的有线连接或无线连接来实现。诸如图2中所讨论的接口209的通信接口可用于实现移动计算设备740至投影设备735的通信和可操作性。通信接口可通过使用例如本领域中公知的任何无线协议，如蓝牙TM、射频等，在设备之间发射/接收所需信号来实现设备之间的通信。
在物理表面750上呈现的交互式游戏730可由用户702、704和706用作游戏输入区域以参与交互式游戏730。移动计算设备740中的照相机(如系统200中的照相机228)或投影设备735中的照相机(如系统600中的照相机628)可捕捉与交互式游戏730的用户交互。呈现交互式游戏730的投影表面750上的用户姿势也可由照相机中的一个或多个传感器、移动计算设备中的一个或多个传感器或投影设备中的一个或多个传感器来感应，如图4B中所讨论的。此外，照相机328、628中的传感器可检测相对于物理表面750上的参考点740的用户姿势的实际位置(在该实施例中，参考点是移动计算设备740)，以由移动计算设备740处理。
此外，移动计算设备740中的话筒(如系统200中的话筒225)或投影设备735中的话筒中一个或多个传感器可用于感应用户姿势。例如，话筒225、325中的压力传感器或音频传感器可检测与物理表面750上的用户姿势相关的音频输入或振动输入。例如当用户轻叩或刮擦呈现交互式游戏730的物理表面750时，可接收音频输入或振动输入。因此，所公开技术可通过组合从可检测在物理表面上的何处接收到用户姿势的实际位置的照相机328、628中的一个或多个传感器接收到的视觉信息和从可检测与物理表面上的用户姿势相关联的实际接触的话筒325、625中的一个或多个传感器接收到的音频信息和/或振动信息，来提供对用户姿势的检测。
用户姿势可由移动计算设备740处理，并传送至其它计算设备708、710和712，其它计算设备可用作设备控制器以使用户702、704和706能够参与交互式游戏730。经由移动计算设备740，在被投影到物理表面750上交互式游戏730上向用户402、404和406显示与用户姿势相关联的动作的结果。在一个实施例中，计算设备708、710和712可被配置成捕捉物理表面750上显示的交互式游戏730的投影图像，并将投影图像重叠它们各自显示屏上的与交互式游戏相关联的私人信息上。
图8是示出用于协调与交互式活动的一个或多个用户相关联的一个或多个计算设备之间的交互的所公开技术执行的一个或多个操作的流程图。在一个实施例中，图8的步骤可由实现诸如图1A所示移动计算设备100的移动计算设备的系统中诸如处理器210的处理器中的可执行指令来执行。作为替换，图8的步骤可由实现诸如图6所讨论投影设备的计算设备的系统中的诸如处理器610的处理器中的可执行指令来执行。
在步骤800中，经由主计算设备将相对于参考点的诸如交互式游戏的交互式活动投影在物理表面上。在一个实施例中，主计算设备可以是耦合至如图6所讨论的投影设备的移动计算设备。如上所述，参考点可包括例如任何物理参考系，如可放置在可呈现交互式游戏的物理表面上的物理对象、传感设备或移动计算设备。物理表面可包括例如可用作游戏输入区域的桌面，或者可向用户呈现交互式游戏的交互式表面区域。
在步骤802中，经由主计算设备将参考点传送至一个或多个辅移动计算设备。在步骤804中，参考点用于协调主计算设备和辅移动计算设备之间的交互，如图4B中所讨论的。在步骤806中，感应呈现交互式游戏的物理表面上的用户姿势。如图6中所讨论的，主移动计算设备或投影设备中的一个或多个传感器可用于执行感应。在步骤808中，将用户姿势传送至主计算设备和辅计算设备。在步骤810中，经由主计算设备和辅计算设备在为用户投影交互式游戏的物理表面上显示与用户姿势相关联的动作的结果。
在所公开技术的另一实施例中，两个或更多移动计算设备可彼此连接以在物理表面上投影与交互式游戏相关联的更大的交互式表面区域。图9A示出由移动计算设备902投影到物理表面950上的交互式游戏930。例如，移动计算设备902可以与投影设备集成，如图7所讨论的，以将交互式游戏930投影到物理表面950上。图9B示出当移动计算设备902连接至一个或多个计算设备904、906和908时，投影到物理表面950上的交互式游戏930的平铺显示表面。如上所述，移动计算设备902、904、906和908可利用本领域中公知的任何有线或无线通信协议，如蓝牙TM、射频等，来建立彼此之间的连接。另外，移动计算设备902、904、906和908中的加速计可用于导出移动计算设备902、904、906和908相对于彼此的位置和定向。关于建立一个或多个移动计算设备之间的连接以在移动计算设备之间通信信息的附加特征在2006年8月29日提交的发明名称为“移动设备的动态连接(Dynamic Interconnection of Mobile Devices)”的共同待审的公开专利申请US20070191028中描述，该申请通过引用整体结合于此。
在一个实施例中，移动计算设备902、904、906或908中的任一个可用作主移动计算设备，以经由一个或多个辅移动计算设备来协调物理表面950上的交互式游戏930的平铺显示表面的投影。如图9B所示，例如，主移动计算设备902与辅移动计算设备904、906和908通信，以协调物理表面950上的交互式游戏930的不同部分的投影。经由辅移动设备906投影的交互式游戏930的示例性部分910在图9B中示出。主移动计算设备905可类似地经由每个辅移动计算设备904、906和908来协调投影图像的每一部分的投影，以将交互式游戏930的平铺显示表面投影到物理表面950上。在一个实施例中，移动计算设备902、904、906和908中的照相机(如照相机228)可倾斜或定向为将交互式游戏930投影到物理表面950上，以为与交互式游戏930交互的用户提供最佳视野。任何合适的算法可用于确定移动计算设备902、904、906和908中的照相机的最佳倾斜角度，以在用户与物理表面上投影的交互式游戏930交互时为用户提供最佳视野。另外，移动计算设备902、904、906和908中的照相机中的传感器可用于感应呈现交互式游戏930的物理表面950上的用户姿势，如上所述。
图10是示出根据所公开技术的又一实施例，用于基于协调一个或多个计算设备为参与活动的用户增强用户体验的合适环境1000的示意框图。在所示实施例中，图像1030可经由主移动计算设备1002投影到物理表面1050上。在一个实施例中，投影图像1030可包括例如地面图(surface map)的图像。在替换实施例中，物理图像也可投影到物理表面1050上。在另一实施例中，投影图像1030也可包括用户希望与之交互的诸如交互式游戏的交互式活动的图像。用户可经由辅移动计算设备1004，通过在投影图像1030上移动辅移动计算设备1004来选择投影图像1030的一部分1010。主移动计算设备1002然后可确定用户选择的投影图像1030的一部分1010相对于呈现投影图像1030的物理表面上的参考点1040的一组位置坐标(x-y坐标)。主移动计算设备1002可将坐标信息传送至辅移动计算设备1004。辅移动计算设备1004然后可为用户将投影图像1030的一部分1010重新投影为放大的、高分辨率投影图像1012。作为替换，用户可经由主计算设备1002，通过在投影图像1030上保持主计算设备1002或通过在投影图像1030上直接设置主计算设备1002来选择投影图像1030的一部分1010。主计算设备1002然后可确定投影图像1030的一部分1010的一组位置坐标，并为用户将投影图像1030的一部分1010重新投影为放大的、高分辨率投影图像1012。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围由所附的权利要求进行定义。

Claims (15)

1.一种用于为参与交互式活动的一个或多个用户协调一个或多个计算设备之间的交互的方法，所述方法包括：
经由主计算设备标识物理表面上的参考点，其中所述物理表面用于为一个或多个用户呈现交互式活动，其中所述交互式活动是交互式游戏，通过由所述主计算设备确定所述一个或多个计算设备相对于所述物理表面上的参考点的邻近度和所述一个或多个计算设备相对于彼此的邻近度，所述参考点被所述主计算设备标识为所述一个或多个计算设备可相对于它彼此协调的物理参考系；
经由所述主计算设备将所述参考点传送至一个或多个辅计算设备；
利用参考点协调所述主计算设备和所述一个或多个辅计算设备之间的交互；以及
经由所述主计算设备和所述一个或多个辅计算设备，在所述物理表面或所述一个或多个辅计算设备中的至少一个上为所述一个或多个用户呈现相对于所述参考点的所述交互式游戏的用户透视图像。
2.如权利要求1所述的方法，其特征在于，所述主计算设备包括移动计算设备，所述辅计算设备至少包括一个或多个移动计算设备、一个或多个头戴式显示(HMD)设备、一个或多个液晶显示(LCD)设备或一个或多个投影设备。
3.如权利要求1所述的方法，其特征在于，所述表面包括平面、不规则表面或三维表面中的至少一个。
4.如权利要求1所述的方法，其特征在于，所述参考点包括物理对象、传感设备或计算设备中的至少一个。
5.如权利要求1所述的方法，其特征在于，包括经由耦合至所述主计算设备和所述一个或多个辅计算设备的一个或多个头戴式显示(HMD)设备，在所述物理表面上向所述一个或多个用户呈现相对于所述参考点的所述交互式游戏的用户透视图像。
6.如权利要求5所述的方法，其特征在于，包括在耦合至所述主计算设备和所述一个或多个辅计算设备的一个或多个头戴式显示(HMD)设备上呈现相对于所述参考点的所述交互式游戏的用户透视图像。
7.如权利要求1所述的方法，其特征在于，包括感应在呈现所述交互式游戏的所述物理表面上或附近的用户姿势，其中经由所述主计算设备和所述辅计算设备中的一个或多个传感器感应所述用户姿势。
8.如权利要求7所述的方法，其特征在于，包括将所述用户姿势传送至所述主计算设备和所述辅计算设备，并且经由所述主计算设备和所述辅计算设备在呈现所述交互式游戏的所述物理表面和所述一个或多个辅计算设备中的至少一个上显示与所述用户姿势相关联的动作的结果。
9.如权利要求1所述的方法，其特征在于，包括经由所述主计算设备和所述辅计算设备为所述一个或多个用户呈现与所述交互式游戏相关联的私人信息和公共信息中的至少一个。
10.一种用于为参与交互式活动的一个或多个用户协调一个或多个计算设备之间的交互的方法，所述方法包括：
经由主计算设备将相对于参考点的交互式活动投影在物理表面上，其中所述物理表面用于为一个或多个用户呈现所述交互式活动，通过由所述主计算设备确定所述一个或多个计算设备相对于所述物理表面上的参考点的邻近度和所述一个或多个计算设备相对于彼此的邻近度，所述参考点被所述主计算设备标识为所述一个或多个计算设备可相对于它彼此协调的物理参考系；
将所述参考点传送至一个或多个辅计算设备；
利用所述参考点协调所述主计算设备和所述一个或多个辅计算设备之间的交互；以及
感应呈现所述交互式活动的所述物理表面上的用户姿势；
将所述用户姿势传送至所述主计算设备和所述辅计算设备；以及
经由所述主计算设备和所述辅计算设备，为所述一个或多个用户在投影所述交互式活动的所述物理表面上显示与所述用户姿势相关联的动作的结果。
11.如权利要求10所述的方法，其特征在于，所述参考点包括所述主计算设备，并且所述主计算设备是移动计算设备。
12.如权利要求10所述的方法，其特征在于，包括为所述一个或多个用户在所述物理表面上投影所述交互式活动的平铺显示表面，其中所述交互式活动的所述平铺显示表面是通过使用至少两个移动计算设备将所述交互式活动投影在所述物理表面上而产生的。
13.如权利要求12所述的方法，其特征在于，包括检测所述移动计算设备的定向以为所述一个或多个用户产生所述交互式活动的所述平铺显示表面。
14.如权利要求10所述的方法，其特征在于，感应所述用户姿势包括检测与呈现所述交互式活动的所述物理表面上的所述用户姿势相关联的音频输入、振动输入和视觉输入中的至少一个，其中所述音频输入、所述振动输入和所述视觉输入由所述主计算设备或所述一个或多个辅计算设备中的一个或多个话筒、照相机和一个或多个传感器来检测。
15.一种用于为参与交互式活动的一个或多个用户协调一个或多个计算设备之间的交互的方法，所述方法包括：
经由主计算设备在物理表面上呈现相对于参考点投影图像，通过由所述主计算设备确定所述一个或多个计算设备相对于所述物理表面上的参考点的邻近度和所述一个或多个计算设备相对于彼此的邻近度，所述参考点被所述主计算设备标识为所述一个或多个计算设备可相对于它彼此协调的物理参考系；
经由辅计算设备接收对所述物理表面上呈现的所述投影图像的一部分的用户选择；
确定所述投影图像的所述一部分相对于所述参考点的位置坐标；
经由所述主计算设备将所述位置坐标传送至所述辅计算设备；以及
经由所述辅计算设备为所述用户将所述投影图像的所述一部分重新投影为放大图像。
CN201110184625.4A 2010-06-23 2011-06-23 协调设备交互来增强用户体验 Active CN102270043B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/821,972 2010-06-23
US12/821,972 US9586147B2 (en) 2010-06-23 2010-06-23 Coordinating device interaction to enhance user experience

Publications (2)

Publication Number Publication Date
CN102270043A CN102270043A (zh) 2011-12-07
CN102270043B true CN102270043B (zh) 2015-02-04

Family

ID=45052365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110184625.4A Active CN102270043B (zh) 2010-06-23 2011-06-23 协调设备交互来增强用户体验

Country Status (2)

Country Link
US (1) US9586147B2 (zh)
CN (1) CN102270043B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11136234B2 (en) 2007-08-15 2021-10-05 Bright Cloud International Corporation Rehabilitation systems and methods
US20090131225A1 (en) * 2007-08-15 2009-05-21 Burdea Grigore C Rehabilitation systems and methods
US20120179994A1 (en) * 2011-01-12 2012-07-12 Smart Technologies Ulc Method for manipulating a toolbar on an interactive input system and interactive input system executing the method
WO2012151471A2 (en) * 2011-05-05 2012-11-08 Net Power And Light Inc. Identifying gestures using multiple sensors
JP5821464B2 (ja) * 2011-09-22 2015-11-24 セイコーエプソン株式会社 頭部装着型表示装置
WO2013048479A1 (en) * 2011-09-30 2013-04-04 Intel Corporation Mechanism for facilitating context-aware model-based image composition and rendering at computing devices
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US20130215132A1 (en) * 2012-02-22 2013-08-22 Ming Fong System for reproducing virtual objects
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
IL219907A (en) * 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US9413950B2 (en) * 2013-01-25 2016-08-09 Hewlett-Packard Development Company, L.P. Determining a device identifier from a light signal emitted by a device
DE102013102327B3 (de) * 2013-03-08 2014-07-31 Krohne Messtechnik Gmbh Feldgerät
US9294539B2 (en) 2013-03-14 2016-03-22 Microsoft Technology Licensing, Llc Cooperative federation of digital devices via proxemics and device micro-mobility
JP6108926B2 (ja) * 2013-04-15 2017-04-05 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
US20150062158A1 (en) * 2013-08-28 2015-03-05 Qualcomm Incorporated Integration of head mounted displays with public display devices
KR102165818B1 (ko) 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
JP6355081B2 (ja) * 2014-03-10 2018-07-11 任天堂株式会社 情報処理装置
CN104951200B (zh) * 2014-03-26 2018-02-27 联想(北京)有限公司 一种执行界面操作的方法和装置
US9459454B1 (en) 2014-05-23 2016-10-04 Google Inc. Interactive social games on head-mountable devices
WO2016057943A1 (en) * 2014-10-10 2016-04-14 Muzik LLC Devices for sharing user interactions
GB2545275A (en) * 2015-12-11 2017-06-14 Nokia Technologies Oy Causing provision of virtual reality content
CN110290368A (zh) * 2019-08-02 2019-09-27 北京小狗智能机器人技术有限公司 一种投影型设备的控制方法及装置
US11106328B1 (en) * 2020-07-28 2021-08-31 Qualcomm Incorporated Private control interfaces for extended reality
CN112767615B (zh) * 2021-01-14 2022-06-14 广州乐摇摇信息科技有限公司 游乐设备启动方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0558006B1 (en) * 1992-02-27 1999-08-04 Toyota Jidosha Kabushiki Kaisha Teamwork CAD system and process for teamwork designing
CN1964766A (zh) * 2004-06-03 2007-05-16 索尼爱立信移动通讯股份有限公司 用于视频游戏的移动电子设备以及相关的游戏设备与方法
CN101499108A (zh) * 2009-02-20 2009-08-05 腾讯科技（深圳）有限公司 桌面多人游戏制作装置及方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652472B2 (ja) * 1984-07-23 1994-07-06 インターナショナル・ビジネス・マシーンズ・コーポレーション イメージ処理方法
US5187776A (en) * 1989-06-16 1993-02-16 International Business Machines Corp. Image editor zoom function
DE69418908T2 (de) * 1993-01-26 2000-01-20 Sun Microsystems Inc Verfahren und Gerät zum Informationsanschauen in einer Rechnerdatenbank
US5818455A (en) * 1993-07-21 1998-10-06 Xerox Corporation Method and apparatus for operating on the model data structure of an image to produce human perceptible output using a viewing operation region having explicit multiple regions
JP3890621B2 (ja) * 1995-04-21 2007-03-07 ソニー株式会社 画像表示装置及び方法
US5754348A (en) * 1996-05-14 1998-05-19 Planetweb, Inc. Method for context-preserving magnification of digital image regions
JP3713696B2 (ja) * 1997-06-02 2005-11-09 ソニー株式会社 デジタルマップの拡大縮小表示方法、デジタルマップの拡大縮小表示装置、及びデジタルマップの拡大縮小表示プログラムを格納した格納媒体
US6417867B1 (en) * 1999-05-27 2002-07-09 Sharp Laboratories Of America, Inc. Image downscaling using peripheral vision area localization
US6982728B1 (en) * 2000-05-18 2006-01-03 Palm, Inc. Portable electronic system having multiple display modes for reorienting the display of data on a display screen
US20030005302A1 (en) * 2001-03-02 2003-01-02 Scott Searle Theft resistant graphics
EP3086288B1 (en) * 2001-04-30 2021-05-26 Activemap LLC Interactive electronically presented map
US20030062675A1 (en) * 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
JP4054585B2 (ja) * 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
US7151530B2 (en) * 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
JP4474106B2 (ja) * 2003-02-27 2010-06-02 キヤノン株式会社 画像処理装置、画像処理方法、記録媒体及びプログラム
US7911409B1 (en) * 2003-10-07 2011-03-22 Adobe Systems Incorporated Independent views generated for multiple display devices by a software application
US7242407B2 (en) * 2004-05-28 2007-07-10 Lockheed Martin Corporation Reprojecting map images using graphical techniques
US20070210937A1 (en) * 2005-04-21 2007-09-13 Microsoft Corporation Dynamic rendering of map information
WO2007030733A2 (en) * 2005-09-09 2007-03-15 Wms Gaming Inc. Wagering game system with community gaming system
US8031206B2 (en) * 2005-10-12 2011-10-04 Noregin Assets N.V., L.L.C. Method and system for generating pyramid fisheye lens detail-in-context presentations
US20070085981A1 (en) * 2005-10-14 2007-04-19 Anders Malthe Assemblies and methods for displaying an image
US7817991B2 (en) 2006-02-14 2010-10-19 Microsoft Corporation Dynamic interconnection of mobile devices
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US20080129894A1 (en) * 2006-12-02 2008-06-05 Electronics And Telecommunications Research Institute Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same
WO2008102873A1 (ja) * 2007-02-23 2008-08-28 Nikon Corporation 投影システムおよびプロジェクタ
WO2008143790A2 (en) * 2007-05-14 2008-11-27 Wms Gaming Inc. Wagering game
KR101265950B1 (ko) * 2007-09-18 2013-05-23 삼성전자주식회사 프로젝터 및 상기 프로젝터의 프로젝션 제어 방법
WO2009051847A1 (en) * 2007-10-19 2009-04-23 Calin Caluser Three dimensional mapping display system for diagnostic ultrasound machines and method
KR101537598B1 (ko) * 2008-10-20 2015-07-20 엘지전자 주식회사 영상 프로젝터를 구비한 휴대 단말기 및 그 제어 방법
KR20100060428A (ko) * 2008-11-27 2010-06-07 엘지전자 주식회사 영상 프로젝터를 구비한 이동 단말기 및 손떨림 보정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0558006B1 (en) * 1992-02-27 1999-08-04 Toyota Jidosha Kabushiki Kaisha Teamwork CAD system and process for teamwork designing
CN1964766A (zh) * 2004-06-03 2007-05-16 索尼爱立信移动通讯股份有限公司 用于视频游戏的移动电子设备以及相关的游戏设备与方法
CN101499108A (zh) * 2009-02-20 2009-08-05 腾讯科技（深圳）有限公司 桌面多人游戏制作装置及方法

Also Published As

Publication number Publication date
US9586147B2 (en) 2017-03-07
CN102270043A (zh) 2011-12-07
US20110319166A1 (en) 2011-12-29

Similar Documents

Publication Publication Date Title
CN102270043B (zh) 协调设备交互来增强用户体验
CN110917614B (zh) 基于区块链系统的云游戏系统及云游戏的控制方法
CN104520787B (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
CN108629579B (zh) 一种支付方法及移动终端
CN110109608B (zh) 文本显示方法、装置、终端及存储介质
EP4068691A1 (en) Method and apparatus for creating group
US20210210986A1 (en) Wireless charging method and device, foldable-screen electronic device and storage medium
WO2021104261A1 (zh) 付款码共享方法及电子设备
CN109144703A (zh) 一种多任务的处理方法及其终端设备
CN110856152A (zh) 播放音频数据的方法、装置、电子设备及介质
CN111106997B (zh) 消息提醒方法、装置、设备及存储介质
CN113536063A (zh) 信息处理方法、装置、设备及存储介质
CN109806583B (zh) 用户界面显示方法、装置、设备及系统
CN111158576A (zh) 基于直播场景的社交关系建立方法、装置及存储介质
CN109446794A (zh) 一种密码输入方法及其移动终端
CN112330380B (zh) 订单创建方法、装置、计算机设备及计算机可读存储介质
CN111031555A (zh) 在线教学控制方法、装置、电子设备及介质
KR101773464B1 (ko) 멀티플레이어 게임을 제공하는 휴대 단말기 및 그 동작방법
CN110708582B (zh) 同步播放的方法、装置、电子设备及介质
KR101691650B1 (ko) 이동단말기용 이동식 멀티미디어장치 및 그 제어방법
KR101675730B1 (ko) 멀티플레이어 게임을 제공하는 휴대 단말기 및 그 동작방법
CN113391865A (zh) 剧情聊天方法、装置、终端、服务器及存储介质
CN114826799A (zh) 信息获取方法、装置、终端及存储介质
CN107004388A (zh) 外部led面板、移动设备及经由外部led面板交互和通信的方法
CN114245148A (zh) 直播互动方法、装置、终端、服务器及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150728

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.