CN106664401A - 用于在与内容交互时向用户提供反馈的系统和方法 - Google Patents

用于在与内容交互时向用户提供反馈的系统和方法 Download PDF

Info

Publication number
CN106664401A
CN106664401A CN201580043581.XA CN201580043581A CN106664401A CN 106664401 A CN106664401 A CN 106664401A CN 201580043581 A CN201580043581 A CN 201580043581A CN 106664401 A CN106664401 A CN 106664401A
Authority
CN
China
Prior art keywords
locus
user
body part
hmd
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580043581.XA
Other languages
English (en)
Other versions
CN106664401B (zh
Inventor
J.R.斯塔福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN106664401A publication Critical patent/CN106664401A/zh
Application granted granted Critical
Publication of CN106664401B publication Critical patent/CN106664401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/825—Fostering virtual characters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明描述了用于向用户提供反馈的系统和方法。所述方法中的一者包括发送交互性数据以便在头戴式显示器(HMD)上再现。所述HMD被配置成用于附接到用户的头部以便玩游戏。所述方法进一步包括在所述用户佩戴所述HMD且所述HMD再现交互性内容时接收与所述用户的身体部分相关联的图像数据。所述方法包括从所述用户的所述图像数据跟踪与所述用户的所述身体部分相关联的空间位置。在所述方法中，在所述HMD中将远程控制的装置在与所述用户的所述身体部分相关联的所述空间位置处的物理放置再现为与所述交互性内容中的物体的虚拟接触。

Description

用于在与内容交互时向用户提供反馈的系统和方法
技术领域
本公开涉及用于在与内容交互时向用户提供反馈的系统和方法。
背景技术
已经创造了多种装置以便向用户提供各种能力。举例来说，用户可以在看到人的图像的同时经由因特网与那个人说话。作为另一实例，用户可以使用紧紧保持的显示装置播放视频游戏。作为又另一实例，用户可以使用智能电话访问因特网，或者访问各种计算机编程应用，或者经由因特网发送或接收图像。
可以使用这些装置玩多种游戏。然而，即使已经产生那么多游戏，但用户有时仍然感到无聊并且寻求不同的体验。举例来说，用户正在寻求将让用户沉浸于这些游戏中的体验。
而且，在用户正在使用这些装置用于多种目的时，用户有时在使用这些装置期间会很投入，使得用户可能发生事故。举例来说，在用户使用紧紧保持的显示装置时，用户会撞上玻璃桌子或者尖角物体。
发明内容
本公开的实施例提供用于在与内容交互时向用户提供反馈的系统和方法。
在一些实施例中，在用户经由图像与计算机应用交互时，处理器确定图像中显示的用户的身体部分与图像中的另一虚拟物体之间的空间关系。在所述空间关系在预先界定的范围内(例如，处于虚拟触摸、处于虚拟接触等，其中表示身体部分的图像靠近虚拟物体的图像)时，处理器确定控制远程控制的装置(例如，车辆、机器、机器人、无人机等)以便与用户的身体部分进行物理接触。所述接触在与图像交互期间向用户提供反馈。而且，在用户处于危险的情况下(例如，将要与锋利的物体碰撞、将要跌落楼梯等)，所述反馈降低事故的可能性。
所述方法中的一者包括发送交互性数据以便在头戴式显示器(HMD)上再现。所述HMD被配置成用于附接到用户的头部以便玩游戏。所述方法进一步包括在用户佩戴所述HMD且所述HMD再现交互性内容时接收与用户的身体部分相关联的图像数据。所述方法包括从与用户的身体部分相关联的图像数据跟踪与用户的身体部分相关联的空间位置，且针对所述HMD的再现状态且针对与身体部分相关联的空间位置，控制远程控制的装置(RCD)的位置，以便将RCD放置成接近与身体部分相关联的空间位置。在所述方法中，在HMD中将RCD在与用户的身体部分相关联的空间位置处的物理放置再现为与所述交互性内容中的物体的虚拟接触。
在一些实施例中，与身体部分相关联的图像数据包括位置装置的图像数据，所述位置装置例如为手持式控制器、操纵杆、遥控器、光发射器、发光二极管、手套控制器、SonyComputer EntertainmentTM公司制造的PlayStation MoveTM控制器等。所述位置装置附接到(例如，经由VelcroTM附接、胶粘到、佩戴在)用户的身体部分上，或者由用户用他的/她的手握持。
在各种实施例中，与身体部分相关联的空间位置包括位置装置的空间位置。在若干实施例中，与身体相关联的空间位置包括身体部分的空间位置。
一种系统包括用于显示游戏的HMD。所述HMD用于安装在用户的头部上以便玩游戏。所述系统进一步包括耦合到HMD的游戏控制台。所述游戏控制台包括游戏处理器。所述游戏处理器用于发送交互性内容以便在HMD中再现、在用户佩戴HMD且HMD再现交互性内容时接收与用户的身体部分相关联的图像数据，以及从所述图像数据跟踪与用户的身体部分相关联的空间位置。所述游戏处理器还用于基于所述HMD的当前再现状态和与身体部分相关联的空间位置而产生指令，并且将所述指令发送到RCD以便控制所述RCD的位置，从而将所述RCD放置成接近与身体部分相关联的空间位置。而且，在HMD中将RCD在与用户的身体部分相关联的空间位置处的物理放置再现为与交互性内容中的物体的虚拟接触。
一种RCD包括用于从游戏控制台接收指令的通信电路。所述RCD进一步包括机械组件、接触表面，和耦合到所述机械组件和所述通信电路的位置控制器。所述位置控制器用于基于所述指令来控制接触表面的位置，且用于控制所述机械组件以便进一步控制接触表面的位置。所述位置控制器还控制接触表面的位置，以便在玩具有交互性内容的游戏期间将接触表面放置成接近与用户的身体部分相关联的空间位置。在HMD中将接触表面在与用户的身体部分相关联的空间位置处的物理放置再现为与交互性内容中的物体的虚拟接触。
通过结合附图进行的以下详细描述，本公开的其他方面将变得显而易见，以下详细描述举例说明本公开中描述的实施例的原理。
附图说明
通过参考结合附图进行的以下描述来最佳地理解本公开的各种实施例，其中：
图1是根据本公开的一个实施例的用于使用远程控制的装置(RCD)让用户与交互性内容交互地参与的系统的图。
图2是用于说明根据本公开的一个实施例的用户与无人机的交互的系统的图。
图3A是根据本公开的一个实施例的从第三者的视角看到的用于在头戴式显示器(HMD)中显示的场景的图。
图3B是根据本公开的一个实施例的以与图3A的场景类似的方式产生的场景的实施例的图。
图4A是根据本公开的一个实施例的以与图3A和3B的场景类似的方式产生的场景的实施例的图。
图4B是根据本公开的一个实施例的从第一者的视角看到的用于在HMD中显示的场景的实施例的图。
图5A是根据本公开的一个实施例的其中化身与场景中的虚拟怪物握手的场景的图。
图5B是根据本公开的一个实施例的类似于图5A的场景，但是是从第一者的视角来观察的场景的实施例的图。
图6是根据本公开的一个实施例的用于说明将要触及用户的头部的无人机的系统的图。
图7是根据本公开的一个实施例的在HMD中显示的场景的图。
图8是根据本公开的一个实施例的在HMD中显示的场景的图。
图9A是根据本公开的一个实施例的在用户正在使用他的/她的头部玩虚拟游戏时在HMD中的第三者视角中显示的场景的图。
图9B是根据本公开的一个实施例的类似于图9A的场景，但是是从第一者的视角来观察的场景的图。
图10是根据本公开的一个实施例的其中在与HMD中显示的场景交互时使用机械臂向用户提供更好的体验的系统的图。
图11是根据本公开的一个实施例的其中用户经由他的/她的脚与接触物体的表面接触的系统的图。
图12是根据本公开的一个实施例的其中由用户经由他的/她的控制器控制的化身展现对抗其虚拟对手的武术的场景的图。
图13是根据本公开的一个实施例的在武术游戏期间在图12的场景在HMD中显示之后显示的场景的图。
图14A是根据本公开的一个实施例的其中用户的化身踢另一用户的化身的场景的图。
图14B是根据本公开的一个实施例的类似于图14A的场景，但是是从第一者的视角来观察的场景的图。
图15是根据本公开的一个实施例的用于基于存储在RCD上的电荷而使用RCD的系统的图。
图16是根据本公开的一个实施例的用于基于无人机的电池电量而在无人机之间切换的系统的图。
图17A是根据本公开的一个实施例的其中化身试图阻止两个虚拟墙壁彼此收缩的场景的图。
图17B是根据本公开的一个实施例的类似于图17A的场景，但是是从第一者的观点来观察的场景的图。
图18是根据本公开的一个实施例的用于基于用户与交互性程序的交互来控制健身器的系统的图。
图19是根据本公开的一个实施例的用于基于用户的身体部分的空间位置和/或交互性数据来控制RCD的系统的图。
图20是根据本公开的一个实施例的对与控制器和HMD介接兼容的游戏控制台的框图。
图21是根据本公开的一个实施例的HMD的实施例的框图。
图22说明根据本公开的一个实施例的向在地理上分散且经由计算机网络连接的用户递送众多信息服务的信息服务提供商架构(ISP)的实施例。
具体实施方式
描述用于在与内容交互时向用户提供反馈的系统和方法。应注意，在没有一些或所有这些特定细节的情况下实践本公开的各种实施例。在其他例子中，未详细描述众所周知的过程操作，以便不会没有必要地使本公开的各种实施例混淆不清。
在一个实施例中，所述系统包括计算机、控制器和显示器。在各种实施例中，所述计算机是通用计算机、专用计算机，或者执行交互性程序(例如，计算机软件程序、计算机软件应用等)以便产生交互性数据的其他此类装置，所述交互性数据经再现以便在显示装置上显示所述交互性内容。在一些实施例中，使用游戏控制台来替代计算机。游戏控制台的实例包括由Sony Computer EntertainmentTM公司和其他制造商制造的游戏控制台。显示装置的实例包括电视、监视器、投影仪显示器、头戴式显示器(HMD)，或者能够接收并再现从计算机输出的视频的其他此类显示器和显示系统。用户通过操作控制器而将输入提供给交互性程序。在一些实施例中，控制器与计算机无线地通信，因为与有线连接相比，这提供控制器的更大的移动自由度。在各种实施例中，所述控制器包括用于将输入提供给交互性程序的各种特征中的任一者，例如按钮、操纵杆、方向垫、触发器、触摸垫、触摸屏、手套、标记器或者其他类型的输入机构。控制器的一个实例是由索尼计算机娱乐公司制造的SonyDualshock 4TM控制器。标记器的实例包括发光二极管(LED)、彩带、光发射器、红外(IR)光发射器、向后反射标记器等。
此外，在一些实施例中，控制器是使得用户能够与交互性程序介接并且通过移动控制器向交互性程序提供输入的运动控制器。运动控制器的一个实例是PlayStationMoveTM控制器。采用各种技术来检测运动控制器的空间位置和移动。举例来说，运动控制器包括各种类型的运动检测硬件，例如加速度计、陀螺仪和磁力计。
在一些实施例中，运动控制器包括一个或多个相机，其捕获固定参考物体的图像。随后通过分析由一个或多个相机捕获的图像来确定运动控制器的空间位置和移动。
在若干实施例中，运动控制器包括经由具有固定位置的相机跟踪的照明元件。
图1是通过使用远程控制的装置(RCD)102让用户110与交互性内容交互地参与的系统100的实施例的图。系统100包括HMD 104、游戏控制台106和图像捕获装置109。系统100进一步包括控制器108，例如，手套108A和手套108B。手套108A和108B缠绕在用户110的手周围。
RCD 102的实例包括无人机、四轴无人机、机器人、机械臂、机械脚等。在一些实施例中，无人机是无人的且由机载计算机或游戏控制台106自主地控制的飞行器。举例来说，游戏控制台106与无人机通信以便使无人机升空或着陆或者将无人机定位在空间位置。
在各种实施例中，机器人是机械代理，通常是由计算机程序或电子电路(例如，游戏控制台106的游戏处理器112等)引导的机电机器。
在若干实施例中，HMD 104是显示装置，其佩戴在用户110的头部上或者作为在一只眼睛或每只眼睛前方具有小显示镜片的头盔的部分。HMD 104的实例包括光学头戴式显示器(OHMD)，其为能够投影图像并且允许用户110通过OHMD看到的可穿戴显示器。HMD 104的其他实例包括眼镜和/或帽舌。举例来说，HMD 104具有带镜片的一个或两个小显示装置。显示装置经过微型化并且包括显示屏幕，例如，阴极射线管(CRT)显示屏幕、液晶显示器(LCD)显示屏幕、硅上液晶(LCos)显示屏幕、LED显示屏幕等。HMD 104能够显示计算机产生的图像(CGI)，或者能够展示来自现实世界环境的实况图像，或者以上两者的组合。CGI是虚拟图像。CGI与实况图像的组合的实例包括叠加在现实世界视图上的CGI，例如，现实世界环境的照片、现实世界环境的所捕获图像等。在CGI叠加在现实世界视图上时，产生增强现实(AR)或者混合现实图像。
图像捕获装置109的实例包括数码相机、红外相机、摄像机、电话相机和平板计算机相机。
在一些实施例中，作为图像捕获装置109的替代或补充，使用一定数目的光传感器(例如，光检测器、红外光检测器等)来确定用户110的身体部分的位置(例如，xyz坐标系中的位置)。
在各种实施例中，使用游戏控制器来替代手套108A和108B。游戏控制器的实例包括操纵杆，或键盘，或鼠标，或一组标记器，或游戏垫，或追踪球，或操纵轮，或轭，或触摸屏，或PlayStation MoveTM控制器，或运动控制器，或导航控制器，或光枪，或剑状控制器，或刀状控制器，或锤状控制器，或笔状控制器，或吉他控制器，或节奏游戏控制器。游戏控制器是与游戏或娱乐系统一起使用以便向视频游戏提供输入来控制游戏中的物体或人物的装置。
在一些实施例中，游戏控制器是由用户110握持，或者附接到用户110的身体部分，例如，手、腿、手掌、手指、脚趾等。举例来说，控制器108是配合用户110的手指的LED条带。
游戏控制台106包括游戏处理器112、游戏存储器114、通信装置116，和通信装置117。如本文所使用，处理器的实例包括中央处理单元(CPU)、微处理器、专用集成电路(ASIC)，和可编程逻辑装置(PLD)。而且，如本文所使用，存储器的实例包括只读存储器(ROM)、随机存取存储器(RAM)，或其组合。存储器是易失性存储器或非易失性存储器。存储器的其他实例包括快闪存储器、存储盘的冗余阵列(RAID)、硬盘、缓存、虚拟存储器等。而且，如本文所使用，通信装置是经由有线媒体(例如，一个或多个物理电导体等)与另一装置通信的有线通信装置，或与另一装置无线地通信的无线通信装置。无线通信的实例包括射频(RF)通信、无线数据通信、Wi-Fi通信、蓝牙通信、使用声能的通信、使用光能的通信，和使用磁能的通信。有线通信装置应用标准(例如，以太网、电气和电子工程师协会(IEEE)1394、串行、并行、通用串行总线(USB)等)以便在两个装置之间传递数据。
HMD 104包括显示装置120、图像处理单元(IPU)122、图形存储器装置124，和通信装置126。上文提供显示装置120的实例。而且，RCD 102包括通信装置134、处理器136、位置控制器138、位置驱动器140、机械组件系统142，和传感器系统144。
在一些实施例中，IPU 122是在HMD 104的显示装置120上显示图像的电子电路。在这些实施例中，用于显示的图像的帧是由游戏控制台106的图形处理单元(GPU)产生并且发送到IPU 122以供在显示装置120上显示。在一些实施例中，游戏控制台106的GPU集成在游戏处理器112内。
在各种实施例中，IPU 122是专门的电子电路，其被设计成快速地操纵和改变图形存储器装置124中的数据，以便加速既定用于输出到显示装置120的帧缓冲器中的帧的产生。
应注意，在各种实施例中，使用CPU来替代IPU 122以便执行由IPU 122执行的操作。
在各种实施例中，位置控制器138包括处理器和存储器装置。位置控制器138经由机械组件142和位置驱动器142控制RCD 102的接触表面的空间位置，例如，x位置、y位置，和z位置等。举例来说，位置控制器138是控制机械组件142的旋转速度以便改变RCD 102的接触表面距地面的高度的速度控制器。作为另一实例，位置控制器138是控制机械组件142的旋转的加速度以便改变到达距地面的高度所花费的时间量的加速度控制器。传感器系统144包括测量RCD 102的速度和加速度的一定数目的传感器，且通过传感器系统144将速度和加速度发送到处理器136。处理器136基于所述速度或加速度、接触表面的先前已知的空间位置以及自从接触表面在所述空间位置以来的时间周期而确定RCD 102的接触表面的空间位置。如果所确定的空间位置与预先确定的空间位置不匹配，那么处理器136将指示速度量和/或加速度量的信号发送到位置控制器138以便实现所述预先确定的空间位置。
在若干实施例中，传感器系统144包括指南针、全球定位系统(GPS)、陀螺仪、磁力计、测量气压的传感器等。处理器136从气压传感器接收气压且处理器136从所述气压确定y空间位置，例如，高度保持等。而且，将由GPS测得的RCD 102的GPS位置提供给处理器136。处理器136基于从速度和加速度确定的GPS位置和/或空间位置而控制RCD 102的接触表面的空间位置。
图像捕获装置109捕获RCD 102的接触表面的图像数据。经由通信装置117将展示RCD 102的接触表面的空间位置的图像数据提供给游戏处理器112。游戏处理器112从RCD102的接触表面的图像数据确定现实世界环境中的RCD 102的接触表面的空间位置，以便确定接触表面是否处于现实世界环境中的对应于在HMD 104中显示的场景中的虚拟世界物体的空间位置的空间位置。下文提供虚拟世界物体和场景的实例。
在一些实施例中，通过处理器136执行本文描述成由位置控制器138执行的功能。在这些实施例中，RCD 102不具有位置控制器138。
在各种实施例中，RCD 102包括一定数目的机械组件，和相同数目的位置驱动器、相同数目的传感器系统，和相同数目的位置控制器。处理器136耦合到位置控制器。在这些实施例中，每个位置控制器控制对应的机械组件，且每个传感器系统测量环绕所述对应机械组件的环境的气压，或对应机械组件的定向，或对应机械组件的速度，或对应机械组件的加速度，或对应机械组件的空间位置，或对应机械组件移动的方向，或其组合。每个传感器系统从所述测量产生信号。处理器136从所述测量确定对应机械组件的对应空间位置，或者接收对应空间位置，并且在从处理器136接收空间位置之后，位置控制器138控制对应机械组件的速度和/或加速度以便进一步控制对应机械组件的空间位置。
对多个机械组件的速度和加速度进行控制以便实现RCD 102的接触表面的空间位置和/或定向中的改变。举例来说，RCD 102的第一推进器比RCD 102的第二推进器旋转得更快，以便实现从身体部分与RCD 102的一个接触表面到RCD 102的另一接触表面的接触的空间位置和/或定向中的改变。
如本文所使用，位置驱动器140包括基于施加到一个或多个晶体管的电压而产生电流的一个或多个晶体管。所述电流用于驱动(例如，开始、停止)机械组件142的旋转、改变旋转的方向、改变移动的方向、改变平移运动的方向等。
机械组件142的实例包括马达与推进器的组合、马达与机械臂的组合、马达与机械腿的组合，和马达与另一机械装置的组合。
游戏处理器112执行存储在游戏存储器114中的交互性程序，以便产生交互性数据，所述交互性数据在一些实施例中存储在游戏存储器114中。
在一些实施例中，将交互性数据作为由HMD 104的外部相机146捕获的一个或多个图像的图像数据进行接收。经由通信装置126和117将由HMD 104的外部相机146捕获的图像数据发送到游戏处理器112以便存储在游戏存储器114中。
应注意，在一些实施例中，HMD 104包括任何数目的外部相机。在各种实施例中，HMD 104包括捕获用户104的头部的运动或用户104的眼睛的运动或用户104的嘴的运动的任何数目的内部相机。内部相机面向用户104以便捕获用户的身体部分(例如，嘴、眼睛、头部等)的图像，且外部相机面向环绕用户104的现实世界环境(例如，房间、办公室、陆标、室外场所、室内场所等)以便捕获现实世界环境的图像。
在各种实施例中，通过通信装置116经由计算机网络(例如，因特网、内联网、广域网、局域网等)从计算装置接收交互性数据，且将所述交互性数据提供给游戏处理器112以便存储在游戏存储器114中。计算装置的实例包括智能电话、手机、平板计算机、桌上型计算机、膝上型计算机等。
在一些实施例中，交互性数据是用于玩虚拟游戏的游戏数据。虚拟游戏的实例包括剑术游戏、足球游戏、完成任务游戏、军队游戏、杀手游戏、网球游戏、运动游戏、暴力游戏、非暴力游戏、涉及技巧的游戏、涉及数学的游戏等。
在若干实施例中，通过游戏处理器112处理交互性数据以便产生虚拟游戏的游戏状态。虚拟游戏的游戏状态是交互性数据的实例。举例来说，用户110向控制器108提供输入，例如，手指姿势、手的姿势、手移动、脚移动、身体移动、身体部分姿势等。在一些实施例中，向HMD 104提供输入来作为控制器108的替代或补充。图像捕获装置109捕获由用户110提供的输入的图像。经由通信装置117将所述输入的图像从图像捕获装置109发送到游戏处理器112。游戏处理器112基于所述图像和交互性数据(例如，虚拟游戏的当前状态)而执行存储在存储器装置114中的交互性程序(例如，游戏程序等)以便产生交互性程序的下一个状态等。交互性程序的下一个状态是由游戏处理器112执行以便产生交互性数据的状态的实例。举例来说，游戏处理器112执行游戏程序以便在虚拟游戏中产生虚拟的剑。作为另一实例，游戏处理器112执行所述游戏程序以便允许虚拟游戏中的虚拟用户跳过虚拟的墙壁。
交互性程序的状态的实例包括活动、闲置等。活动状态是在由游戏处理器112执行交互性程序以便确定交互性程序的另一状态时的状态。执行每个活动状态以便在HMD 104中产生场景。闲置状态是在游戏处理器112不执行交互性程序时的状态。举例来说，在交互性程序等待用户110经由控制器108的输入时，交互性程序处于闲置状态。
在一些实施例中，游戏处理器112经由通信装置117接收由HMD 104的外部相机146捕获的图像数据。由外部相机146捕获的图像数据是环绕用户110的现实世界环境的图像数据。游戏处理器112将虚拟图像数据(例如，CGI数据等)叠加在关于环绕用户110的现实世界环境的图像数据上以便产生AR数据。AR数据是交互性数据的另一实例。
游戏处理器112经由通信装置116将交互性数据发送到HMD 104以便在HMD 104的显示装置120的一个或多个显示屏幕上显示。HMD 104的通信装置126接收交互性数据且将所述交互性数据提供给IPU 122。IPU 122将交互性数据存储在存储器装置124中。IPU 122再现所述交互性数据以便产生交互性内容，例如，交互性图像、交互性视频、交互性AR场景、交互性虚拟现实(VR)场景、经由计算机网络流式传输的流媒体、本文中所描述的任何场景等。交互性VR场景是CGI的实例。通过IPU 122在显示装置120的一个或多个显示屏幕上显示交互性内容。
当在显示装置120上显示交互性内容时，通过处理器136控制RCD 102以便进行操作。举例来说，当在显示装置120上显示交互性内容时，RCD 102在空中在距用户110的身体部分预先确定的距离内飞行(例如，在一海拔下巡航)。作为另一实例，当在显示装置120上显示交互性内容时，RCD 102是静止的，且在距用户110的身体部分预先确定的距离内。为了进一步说明，当在显示装置120上显示交互性内容时，RCD 102对接在充电站处(例如，对接站处)等。
当在显示装置120上显示交互性内容时，用户110移动他的/她的身体部分和/或控制器108以便与交互性内容交互。举例来说，用户110想要触摸虚拟游戏中的虚拟花朵，或者捡起虚拟游戏中的虚拟的剑，或者与虚拟游戏中的虚拟英雄握手。
在用户110与HMD 104中显示的交互性内容交互时，图像捕获装置109捕获用户110的身体部分的空间位置的图像。举例来说，图像捕获装置109拍下控制器108的照片或视频。作为另一实例，图像捕获装置109拍下用户110的身体部分的照片或视频。
图像捕获装置109经由通信装置117将用户110的身体部分的空间位置的图像提供给游戏处理器112。在接收到用户110的身体的空间位置的图像之后，游戏处理器112从所述图像的图像数据确定身体部分的空间位置。举例来说，游戏处理器112基于现实世界环境和虚拟世界与图像数据中的身体部分的空间位置之间的缩放而确定现实世界环境中的身体部分的空间位置。所述缩放(例如，缩放量、缩放水平等)存储在游戏存储器114中。作为另一实例，游戏处理器112将缩放应用于图像数据的各种物体之间的距离以便产生现实世界环境中的相同物体之间的距离，以便确定现实世界环境中的身体部分的空间位置。
游戏处理器112进一步基于图像数据中的身体部分的空间位置而确定是否从用户110接收到输入。举例来说，在存在与交互性应用的状态相关联的图像数据中的身体部分的空间位置中的改变时，游戏处理器112确定接收到改变所述状态的输入。从用户110接收的输入会影响(例如，改变、修改等)交互性数据的状态。在确定接收到输入之后，游戏处理器112基于所述输入和交互性数据的当前状态而确定交互性程序的下一个状态。交互性数据的当前状态受到从用户110接收的输入影响，从而产生交互性应用的下一个状态。
在确定使用图像捕获装置109捕获的图像数据中的身体部分的空间位置之后，游戏处理器112将所述空间位置关联(例如，转译、转换等)到场景中的身体部分的表示的空间位置。所述场景是交互性内容的实例。举例来说，在所述图像数据展示用户110的身体部分在一方向上移动时，游戏处理器112在于HMD 104中显示的场景中在相同方向上移动所述身体部分的表示。作为另一实例，在所述图像数据展示用户110的身体部分在一方向上移动时，游戏处理器112在于HMD 104中显示的场景中包括所述身体部分的表示。场景中的身体部分的表示的实例包括身体部分的虚拟表示、身体部分的视频图像等。场景包括虚拟世界物体，其在场景中具有相对于场景中的身体部分的表示的空间位置的空间位置。
游戏处理器112确定场景中的身体部分的表示的空间位置是否在于场景中显示的虚拟世界物体的空间位置的预先确定的距离内，例如，距离为0、距离为1毫米、距离在1毫米到5毫米的范围内等。在确定所述空间位置在预先确定的距离内之后，游戏处理器112经由通信装置116和134将指令发送到处理器136，以便控制机械组件142来实现RCD 102的接触表面在现实世界中的空间位置。RCD 102的接触表面的空间位置实现为在现实世界中距用户110的身体部分预先确定的距离内。从由图像捕获装置109捕获的身体部分的图像数据确定用户110的身体部分的位置。
应注意，在一些实施例中，在游戏存储器114中，包括虚拟世界物体的交互性数据的每个状态与RCD 102的空间位置相关联。举例来说，将包括虚拟世界物体的交互性数据的当前状态映射到RCD 102的接触表面的第一空间位置或第一组空间位置，且将包括虚拟世界物体的交互性数据的下一个状态映射到RCD 102的接触表面的第二空间位置或第二组空间位置。作为另一实例，当在HMD 104中显示包括虚拟世界物体的交互性数据的当前状态时，通过处理器136控制RCD 102以便实现所述第一空间位置或第一组空间位置，且当在HMD104中显示包括虚拟世界物体的交互性数据的下一个状态时，通过处理器136控制RCD 102以便实现所述第二空间位置或第二组空间位置。
经由通信装置116和126将交互性数据的下一个状态发送到IPU 122以便在显示装置120上再现与所述下一个状态相关联的交互性内容。而且，除了将交互性数据的下一个状态发送到HMD 104之外，游戏处理器112经由通信装置116和134将指示将在显示装置120上显示与所述下一个状态相关联的交互性内容的信号发送到处理器136。
处理器136经由通信装置116和134从游戏处理器112接收交互性数据的下一个状态的指示，且将信号发送到空间位置控制器138以便改变RCD 102的接触表面的空间位置，从而实现RCD 102的接触表面的所述第二空间位置或第二组空间位置。将实现的RCD 102的接触表面的所述第二空间位置或第二组空间位置与所述下一个状态相关联。
空间位置控制器138确定机械组件142的速度和/或加速度以便实现所述第二空间位置或第二组空间位置；进一步确定或识别将由位置驱动器140产生以便实现所述速度和/或加速度的电流量；以及将所述电流量发送到位置驱动器140。应注意，在一些实施例中，位置、速度、加速度与电流量之间的对应性存储在位置控制器138的存储器装置中。位置驱动器140将具有所述电流量的电流信号发送到机械组件142，以便以所述速度和/或加速度操作机械组件142来实现所述第二空间位置或第二组空间位置。
在各种实施例中，处理器136控制RCD 102以便将RCD 102放置成接近身体部分。举例来说，处理器136控制RCD 102，使得RCD的接触表面触及现实世界环境中的身体部分。作为另一实例，处理器136控制RCD 102，使得RCD 102的接触表面具有与现实世界环境中的身体部分的空间位置相同的空间位置。作为又另一实例，处理器136控制RCD 102，使得RCD102的接触表面在身体部分的预先确定的距离内。所述预先确定的距离存储在RCD 102的存储器装置(未示出)内。RCD 102的存储器装置耦合到处理器136。在一些实施例中，预先确定的距离存储在游戏存储器114中，且由游戏处理器112经由通信装置116和134将所述预先确定的距离提供给处理器136以便将RCD 102定位在距身体部分预先确定的距离处。
在一些实施例中，现实世界空间位置包括x坐标、y坐标和z坐标。在各种实施例中，虚拟世界(例如，AR场景、VR场景、视频、图像等)中的空间位置包括x坐标位置和y坐标位置。
在若干实施例中，虚拟世界中的空间位置包括x坐标、y坐标和z坐标。在这些实施例中，使用多个图像捕获装置来捕获用户110的身体部分的空间位置，所述空间位置包括深度信息，例如，z坐标等。图像捕获装置经由通信装置117连接到游戏处理器112以便将图像数据提供给游戏处理器112进行分析。
在一些实施例中，使用计算机或智能电视来替代游戏控制台106。所使用的计算机的实例包括桌上型计算机、膝上型计算机、平板计算机，或智能蜂窝式电话。
应注意，作为在HMD 104(图1)的显示装置120(图1)上显示图像的替代，在一些实施例中，在装置的显示装置(例如，电视的显示装置、计算机的显示装置、智能电话的显示装置、平板计算机的显示装置等)上显示所述图像。
在各种实施例中，作为在游戏控制台106内包括游戏处理器112(图1)和游戏存储器114的替代，在HMD 104内包括游戏处理器112和游戏存储器114。举例来说，HMD 104包括执行本文描述为由游戏处理器112执行的所有功能。在这些实施例中，HMD 104经由通信装置(例如，网络接口卡、网络接口控制器等)与计算机网络通信。举例来说，HMD 104的处理器经由通信装置从计算机网络的服务器接收交互性数据。
在一些实施例中，用户110携带计算装置，例如，手机、平板计算机、膝上型计算机等。计算装置从计算机网络的服务器接收交互性数据并且将所述交互性数据提供给HMD104的IPU 122以便在HMD 104的显示装置120上显示所述交互性内容。在这些实施例中，不使用游戏控制台106。在所述实施例中，通过所述计算装置的处理器和存储器执行本文描述为由游戏处理器112和游戏存储器114执行的功能。
图2是用于说明用户110与无人机202(其为RCD 102(图1)的实例)的交互的系统200的实施例的图。无人机202包括中央主体203、一个或多个推进器204，和接触物体206A和206B。一个或多个推进器204向无人机202提供升力。每个接触物体206A和206B附接到中央主体203的相对的侧面。
在一些实施例中，每个接触物体206A和206B附接到中央主体203的任何侧面。举例来说，接触物体206A附接到中央主体203的第一侧面，且接触物体296B附接到中央主体203的第二侧面。所述第二侧面邻近于所述第一侧面。
在各种实施例中，作为接触物体附接到中央主体203的侧面的替代，接触物体是封围无人机且附接到无人机的外壳。所述外壳的实例包括具有壁的笼子或外壳。
在各种实施例中，一定数目的中央物体(例如，三个、四个等)附接到中央主体203。
每个接触物体具有面向与中央主体203的侧面相对的侧面的接触表面。举例来说，接触物体206A具有接触表面208A，且接触物体206B具有另一接触表面208B。
接触表面被设计成向用户110的身体部分提供反馈。举例来说，接触表面208A具有触觉反馈机构，其在接触表面208A触及身体部分时向用户110的身体部分提供触觉反馈。作为另一实例，接触表面208B具有电气反馈机构，其向用户110的身体部分提供电流。作为又另一实例，接触表面208B是由粗糙材料制成(例如，是肋状表面、是砖砌表面等)，或者由平滑材料制成(例如，是平坦表面、是金属表面等)。作为另一实例，接触表面208B是由用户110触摸起来感到舒适的材料(例如，布、钢、木材等)制成。为了说明，接触表面208B是附接到无人机或机器人的吊袋的表面。作为又另一实例，接触表面208A是外形与身体部分相符的人体工程学接触表面，接触表面208A被设计成接触用户的身体部分。
在一些实施例中，接触物体206A不同于接触物体206B。举例来说，接触物体206A是由与接触物体206B的材料不同的材料制成。作为另一实例，接触物体206A包括触觉反馈机构，且接触物体206B没有触觉反馈机构。作为又另一实例，接触表面208A是平滑的，且接触表面208B是肋状的。
在若干实施例中，游戏处理器112确定在HMD 104中显示的场景中的用户110的身体部分的表示是否与第一类型或第二类型的虚拟物体进行虚拟接触。第一类型的虚拟物体的实例包括具有粗糙表面的虚拟物体，且第二类型的虚拟物体的实例包括具有平滑表面的虚拟物体。在确定用户110的身体部分的表示与虚拟物体的平滑表面接触之后，游戏处理器112向处理器136发送信号，以便控制机械组件142而将接触表面208A进一步定位成与用户110的身体部分接触。另一方面，在确定用户110的身体部分的表示与虚拟物体的粗糙表面接触之后，游戏处理器112向处理器136发送信号，以便控制机械组件142而将接触表面208B进一步定位成与用户110的身体部分接触。
系统200进一步包括相机210，其为图像捕获装置109(图1)的实例。相机210被支撑在房间内的支撑件(例如，架子、电视、电子设备等)上。
在一些实施例中，使用一定数目的相机(例如，两个、三个等)捕获用户110的身体部分和/或用户110佩戴的手套108A和108B的图像。
在各种实施例中，手套108A和108B具有允许将相机210的图像捕获简易化的标记器。举例来说，所述标记器是彩色的或发射光。为了进一步说明，所述标记器是LED。作为另一实例，所述标记器反射光且是向后反射的。在若干实施例中，手套108A和108B不具有任何标记器。
在一些实施例中，使用传感器(例如，光学传感器、光探测器等)来作为相机的替代或补充以便检测光，且将光转换为电信号。举例来说，手套108A和108B与光发射器配合，且通过传感器检测从发射器发射的光以便将所述光转换为电信号。向游戏处理器112提供所述电信号以便进行分析，例如，确定现实世界中的用户110的身体部分的空间位置。
在各种实施例中，使用惯性传感器(例如，陀螺仪、加速度计等)来作为光传感器的替代或补充。惯性传感器装配在手套108A和108B上或中或装配在控制器108上以便测量用户110的手的位置和/或定向。经由通信装置117将位置和/或定向传送到游戏处理器112。
在若干实施例中，使用惯性传感器来作为使用图像捕获装置109的替代或补充。惯性传感器装配到用户110的身体部分或手套108A和108B以便提供用户110的身体部分的位置和/或定向。经由通信装置116将从惯性传感器提供的位置和/或定向提供给RCD 102的处理器136。处理器136将所述位置和/或定向发送到位置控制器136。位置控制器136基于定向而确定机械组件142的速度和/或加速度，且进一步确定或识别用于实现所述速度和/或加速度的电流量。应注意，在一些实施例中，定向、速度、加速度与电流量之间的对应性存储在位置控制器138的存储器装置中。将所述电流量提供给位置驱动器140，其产生用于控制机械组件142以便实现所述定向的电流量。
游戏控制台106将交互性数据发送到HMD 104以便显示交互性内容。用户110与在HMD 104的一个或多个显示屏幕上显示的交互性内容交互。在用户110与交互性内容交互时，无人机202在用户110附近飞行。在用户110移动他的/她的手时，手套108A和108B移动。手和/或手套108A和108B的移动位于相机210的视野(FOV)内，且被相机210捕获以便产生图像数据。手和/或手套108A和108B的移动是提供给游戏控制台106的输入的实例。将由相机210捕获的图像数据提供给游戏控制台106。游戏控制台106解析所述图像数据以便从所述图像数据识别输入。游戏控制台106进一步确定所识别的输入如何影响交互性数据的当前状态，以便进一步确定交互性数据的下一个状态。游戏控制台106将交互性数据的下一个状态发送到HMD 104，以便将所述下一个状态显示为交互性内容。
而且，游戏控制台106从游戏控制台106的存储器装置114(图1)内识别映射到交互性数据的下一个状态的空间位置或一组空间位置。将由游戏控制台106识别的空间位置或所述组空间位置从游戏控制台106发送到无人机202。在一些实施例中，与发送交互性数据的下一个状态同时地将所识别的所述空间位置或所述组空间位置发送到HMD 104。在各种实施例中，在发送交互性数据的下一个状态的预先确定的时间周期内(例如，在其之前、之后等)将所识别的所述空间位置或所述组空间位置发送到HMD 104。无人机202控制一个或多个推进器204的速度和/或加速度以便实现无人机202的接触表面208A或208B的所述空间位置或所述组空间位置。
应注意，在用户110在HMD 104的一个或多个显示屏幕上观看对应于交互性数据的下一个状态的交互性内容时，使用无人机202实现对应于所述下一个状态的所述空间位置或所述组空间位置。举例来说，当用户110触及虚拟游戏中的虚拟怪物时，将无人机202定位成使得用户110佩戴的手套108B触及接触表面208A。作为另一实例，当用户110举起虚拟游戏中的虚拟枪时，将无人机202定位在用户110附近，使得用户110佩戴的手套108A触及接触表面208B。
对接触表面206A和/或接触表面206B的触及允许用户110在与交互性内容交互时有与现实世界一样的体验。
图3A是从第三者的视角(例如，从旁观者的观点)看到的场景302的实施例的图。在HMD 104(图1)中显示场景302。举例来说，当游戏处理器112(图1)执行游戏程序时，在HMD104中显示场景302。场景302展示化身304走向虚拟墙壁306。化身304是用户110(图1)的虚拟表示。举例来说，游戏处理器112执行交互性程序以便产生虚拟图像数据，所述虚拟图像数据经由游戏控制台106的通信装置116(图1)和HMD 106的通信装置126被发送到IPU 122(图1)以便显示化身304。而且，在游戏处理器112执行交互性程序且IPU 122执行再现程序以便显示虚拟墙壁306时，在HMD 104的一个或多个显示屏幕上显示虚拟墙壁306。
应注意，用户110移动他的/她的手和/或腿，且化身304在场景302中与手和/或腿的移动同时地移动。举例来说，图像捕获装置109(图1)捕获用户110的手和/或腿的移动以便产生图像数据，所述图像数据经由游戏控制台106的通信装置117被提供给游戏处理器112。游戏处理器112执行交互性程序以便以与用户110的手和/或腿的移动类似的方式移动化身304的手和/或腿。举例来说，在用户110抬起他的/她的右手时，化身304抬起他的/她的右手。作为另一实例，在用户110抬起他的/她的左腿时，化身304抬起他的/她的左手。作为又另一实例，在用户110停止移动他的/她的手和/或他的/她的腿时，化身304停止走动，且在用户110开始移动他的/她的手和/或他的/她的腿时，化身开始走动。
应注意，在若干实施例中，对于化身304在场景302中走动，用户110实际上并未走动。举例来说，用户110移动他的/她的手来让化身304在场景302中走动。在一些实施例中，对于化身304在场景302中走动，用户110实际上是走动的。
图3B是以与场景302的方式类似的方式产生的场景310的实施例的图。从第三者的视角显示且在HMD 104(图1)中显示场景310。在场景310中，与化身304相对于场景302中的虚拟墙壁306的空间位置相比，化身304移动成更接近虚拟墙壁306。与针对化身304所展现的为了实现场景302(图3A)中说明的空间位置的手和/或腿的移动相比，在用户110展现进一步的手和/或腿移动时，化身304移动成更接近虚拟墙壁306。
图4A是以与场景302和310(图3A和3B)的方式类似的方式产生的场景402的实施例的图。从第三者的视角显示且在HMD 104(图1)中显示场景402。另外，在图4A中，游戏处理器112(图1)执行交互性程序且IPU 122(图1)执行再现程序以便在HMD 104的显示装置120(图1)上显示虚拟钱包。与化身304距场景310(图3B)中的虚拟墙壁306的位置相比，化身304移动成更接近虚拟墙壁306。举例来说，与为了到达场景310中的空间位置而针对化身304移动的手和/或腿相比，用户110(图1)更多地移动他的/她的手和/或他的/她的腿。用户110的此进一步移动导致化身304到达与虚拟墙壁306的表面308相距一距离处的空间位置，如场景402中说明。
用户110抬起他的/她的手以便允许化身304触及表面308。图像捕获装置109(图1)捕获抬起他的/她的手的用户110的图像以便产生图像数据，所述图像数据经由游戏控制台106(图1)的通信装置117(图1)被发送到游戏处理器112(图1)。游戏处理器112分析所述图像数据以便确定与在先前捕获的图像中捕获的用户110的手的先前空间位置(例如，前面的空间位置等)相比，用户110的手的空间位置是抬起的(例如，更高、超过预先确定的阈值等)，且执行交互性程序以便产生表示化身304触及表面308的图像数据。经由HMD 104的通信装置116和通信装置126(图1)发送所产生的图像数据，以便在HMD 104的显示装置120(图1)上显示化身304触及表面308。
而且，除了将图像数据发送到HMD 104以便显示场景402之外，游戏处理器112确定RCD 102(图1)相对于用户110的空间位置与化身304和表面308之间的距离是相同的。举例来说，当在化身304的手与表面308之间没有距离时，游戏处理器112确定在现实世界中在用户110的手与无人机202(图2)之间没有距离。经由游戏控制台106的通信装置116和RCD 102的通信装置134(图1)将现实世界中的RCD 102的空间位置发送到RCD 102的处理器136(图1)。在接收到RCD 102的空间位置之后，处理器136控制RCD 102的机械组件142(图1)以便将RCD 102的接触表面的空间位置实现为触摸用户110。举例来说，在接收到RCD 102的空间位置之后，无人机202(图2)的处理器136控制一个或多个推进器204(图2)以便允许接触表面208A(图2)触及用户110佩戴的手套108B(图2)。
当用户110经由手套108B或经由他的/她的手触及RCD 102(例如，接触表面208A等)时，用户110从RCD 102获得关于所述触及的反馈。这向用户110提供与交互性内容交互的更好的体验。举例来说，当化身304触及虚拟墙壁306时，用户110实际上感觉他/她在触及现实世界墙壁。
图4B是以与产生场景402(图4A)的方式类似的方式产生的场景410的实施例的图。场景410是从第一者的观点(例如，用户110(图1)的观点等)看到，且在HMD 104(图1)中显示。场景410包括虚拟墙壁306的表面308(图4A)。如网状效果412说明，当化身304(图4A)的手414触及虚拟墙壁306时，会影响表面308。当化身304的手414触及虚拟墙壁306时，用户110触及RCD 102的接触表面(图1)。当游戏控制台106(图1)的游戏处理器112(图1)执行交互性程序且IPU 122(图1)执行再现程序时，产生所述网状效果412。
在一些实施例中，作为本文中所描述的网状效果的替代，当用户110触及RCD时，在HMD 104中显示任何其他形状的效果，例如，波纹状效果、云状效果、波状效果、雨状效果等。
图5A是其中化身304与虚拟怪物504(例如，虚拟机器人等)握手的场景502的实施例的图。场景502提供第三者的视角。当游戏控制台106(图1)的游戏处理器112(图1)执行交互性程序且IPU 122执行再现程序时，产生场景502。
基于用户110(图1)的手和/或腿移动而产生场景502中的化身304的空间位置。在用户110移动他的/她的腿和/或手以便展现步行或跑步运动时，通过图像捕获装置109捕获用户110的空间位置。经由游戏控制台106的通信装置117(图1)从图像捕获装置109以图像数据的形式将用户110的空间位置发送到游戏处理器112。分析表示用户110的空间位置的图像数据(例如，与在前面的图像数据中表示的用户110的空间位置相比，等等)，以便确定用户110相对于虚拟怪物504的空间位置中的改变。当游戏处理器112从图像捕获装置109接收到所述图像数据和前面的图像数据时，虚拟怪物504在虚拟游戏中具有相同的空间位置。在一些实施例中，当游戏处理器112从图像捕获装置109接收到所述图像数据和前面的图像数据时，虚拟怪物504在虚拟游戏中具有不同的空间位置。
游戏处理器112还基于从图像捕获装置109接收的图像数据而确定用户110的空间位置是否已经改变到化身304触及虚拟怪物504的程度。举例来说，游戏处理器112确定在化身304与虚拟怪物504之间是不是没有距离。作为另一实例，游戏处理器112确定虚拟怪物504的图像当在HMD 104的一个或多个显示屏幕上显示时将占据与HMD 104中的化身304占据的像素相同的像素。
在确定在执行交互性程序期间用户110的空间位置已经改变成使得化身304触及虚拟怪物504之后，游戏处理器112确定RCD 102(图1)触及用户110的对应空间位置。举例来说，游戏处理器112将所述空间位置发送到RCD 102以便让RCD 102的处理器136(图1)控制RCD 102的机械组件142和/或其他机械组件，从而允许接触表面208A(图2)触及手套108B(图2)。
图5B是在HMD 104(图1)的显示装置120(图1)上从图像数据产生的场景510的实施例的图，所述图像数据是经由通信装置116和126(图1)从游戏控制台106(图1)的游戏处理器112(图1)被发送到HMD 104的IPU 122(图1)。场景510是从第一者的视角的观点显示。如所示，用户110能够以第一者的视角在HMD 104的一个或多个显示屏幕上面对面地看到虚拟怪物504。在场景510中，化身304(图5A)的手414触及虚拟怪物504的虚拟手512。
图6是用于说明将要触及用户110的头部的无人机602的系统600的实施例的图。无人机602具有主体604(例如，外壳、笼子、封围物、外壳封围物等)和一个或多个推进器607。无人机602具有附接到外壳604的底表面的接触物体606。接触物体606具有接触表面608。无人机602类似于无人机202(图2)，且接触物体606类似于接触物体206A或接触物体206B(图2)。无人机602是RCD 102(图1)的实例。
用户110在使用HMD 104和游戏控制台106玩英式足球的游戏(图1)。英式足球游戏是虚拟游戏的实例。在玩在HMD 104的一个或多个显示屏幕上显示的英式足球游戏期间，用户110跳过房间612的地面610。
用户110的头部的空间位置在用户110跳跃时从空间位置P1改变为空间位置P2，从而撞击在英式足球游戏中显示的虚拟英式足球的球。在头部的空间位置改变时，相机210捕获空间位置P2的图像。经由游戏控制台106的通信装置117(图1)将表示空间位置P2的图像数据从相机210发送到游戏控制台106的游戏处理器112(图1)。
游戏处理器112基于图像数据中的空间位置P2的表示而确定在HMD 104的一个或多个显示屏幕上显示的用户110的虚拟头部的空间位置触及所述虚拟英式足球的球。举例来说，游戏处理器112确定虚拟英式足球的球的空间位置和用户110的虚拟头部的空间位置将占据HMD 104的一个或多个显示屏幕上的相同像素。
在例如在下一个视频帧中确定用户110的虚拟头部的空间位置触及虚拟英式足球的球之后，游戏处理器112将无人机602的空间位置发送到无人机602。通过处理器136(图1)例如经由一个或多个推进器607等控制无人机602，以便将其空间位置从空间位置P3改变为空间位置P2，从而允许接触物体606的表面608触及用户110的头部。如所示，空间位置P3在空间位置P2上方，且空间位置P2在空间位置P1上方。
在一些实施例中，作为将无人机602的空间位置从空间位置P3进行改变的替代，应注意，无人机602的空间位置从另一空间位置改变，例如，充电站处的空间位置、与空间位置P3相比进一步远离空间位置P2的空间位置，等等。
图7是在HMD 104的显示装置104(图1)上显示的场景702的实施例的图。当游戏控制台106(图1)的游戏处理器121(图1)执行交互性程序时，场景702是从第三者的视角看到，且在HMD 104(图1)的一个或多个显示屏幕上显示。在场景702中，化身704将要把虚拟英式足球的球706踢离虚拟英式足球场的虚拟场地708。在一些实施例中，当用户110将要向相机210(图6)展现踢的运动时，化身704将会踢虚拟英式足球的球706。化身704正在与化身304玩虚拟英式足球游戏。举例来说，化身304和化身704两者都属于同一个队伍或对立的队伍。
图8是在HMD 104(图1)的一个或多个显示器屏幕上显示的场景802的实施例的图。以与场景702(图7)的产生的方式类似的方式产生场景802。举例来说，基于跟在用于产生场景702的视频帧之后的视频帧而产生场景802。每个场景是由HMD 104的IPU 122(图1)基于从游戏控制台106(图1)的游戏处理器112(图1)接收的图像数据而产生。虚拟英式足球的球706与场景702中的虚拟英式足球的球的空间位置相比更接近化身302的虚拟头部。虚拟英式足球的球706将会着陆在化身304的虚拟头部上。举例来说，用户110执行动作(例如，移动他的/她的头部和/或跳跃等)来改变他的/她的头部的空间位置。通过相机210(图6)捕获所述动作以便产生图像数据，经由游戏控制台106的通信装置117(图1)将所述图像数据发送到游戏控制台106的游戏处理器112(图1)。游戏处理器112执行交互性程序以便从用户110的头部的空间位置确定化身304的虚拟头部的对应空间位置。游戏处理器112经由通信装置116和126(图1)将化身304的空间位置发送到IPU 122。IPU 122将化身304显示为在场景802中具有对应空间位置。
图9A是在观看用户110的第三者的第三者视角(例如，从旁观者的观点等)中显示的场景902的实施例的图。如场景902所示，虚拟英式足球的球902触及化身304的虚拟头部。以与场景802(图8)的产生的方式类似的方式产生场景902。举例来说，通过IPU 122(图1)基于跟在用于产生场景802的视频帧之后的视频帧而产生场景902。基于从游戏控制台106(图1)接收的图像数据而在HMD 104(图1)的一个或多个显示屏幕上显示场景902。在所述场景中，虚拟英式足球的球706触及化身304的虚拟头部。
图9B是在HMD 104(图1)的一个或多个显示器屏幕上产生的场景910的实施例的图。场景901是从第一者视角(例如，从用户110(图1)的观点等)显示，且以与场景902(图9A)的产生方式类似的方式产生。场景910包括在虚拟空间中跳动的虚拟英式足球的球706。
图10是其中使用机械臂1002向用户110提供在与HMD 104内显示的场景交互时的更好的体验的系统1000的实施例的图。机械臂1002是RCD 102(图1)的实例。
用户110与在HMD 104的一个或多个显示屏幕上显示的场景交互。举例来说，用户110在玩虚拟中国功夫游戏，或虚拟英式足球游戏，或虚拟武术游戏，或任何其他虚拟游戏。在执行交互性程序期间，游戏处理器112经由游戏控制台106的通信装置116(图1)和HMD104的通信装置126(图1)将例如从图像数据产生的关于用户110的腿的空间位置的交互性数据发送到HMD 104的IPU 122(图1)。IPU 122再现从游戏处理器112接收的交互性数据以便在HMD 104的显示装置120(图1)上产生场景的图像。
在用户110在HMD 104中与交互性程序交互期间(例如，在玩虚拟游戏期间、在观看AR场景时、在观看虚拟现实场景时，等等)移动他的/她的腿时，出现用户110的腿的空间位置中的改变。通过相机210监视腿的空间位置中的改变。当用户110经由移动他的/她的腿而撞击在HMD 104中显示的场景中的虚拟世界物体(例如，虚拟物体、AR物体等)时，游戏处理器112经由RCD 102的通信装置116和通信装置134(图1)将机械臂1002的空间位置发送到RCD 102的处理器136(图1)。处理器136控制机械臂1002以便允许机械臂1002触及用户110的腿。当机械臂1002触及用户110的腿时，用户110感觉好像用户110是在现实世界中而不是在HMD 104上玩游戏。
机械臂1002附接到桌子1004。举例来说，机械臂1004经由附接机构(例如，经由螺杆、螺母、螺栓、胶水、钉子等)附接到桌子1004的表面。在一些实施例中，机械臂1002附接到另一现实世界物体(例如，地面、墙壁、天花板、楼梯、支撑件、椅子等)的表面。在各种实施例中，作为附接到现实世界物体的替代，机械臂1004是远程控制的机器人的一部分。举例来说，所述机器人可以在轨道或轮子或其他移动机构上移动。
应注意，在一些实施例中，机械臂1002的触及会防止用户110发生事故。举例来说，当机械臂1002连接到楼梯时，机械臂1002触及将要在与交互性内容交互时滚下楼梯的用户110的腿。当用户110佩戴HMD 104时，用户110无法看到楼梯。
图11是其中用户110经由他的/她的脚接触接触物体206A的表面208A的系统1100的实施例的图。举例来说，用户110正在HMD 104上玩武术游戏，例如，空手道游戏、中国功夫游戏等。所述武术游戏是虚拟游戏的实例。当游戏控制台106的游戏处理器112(图1)经由游戏控制台106的通信装置116(图1)和HMD 104的通信装置126(图1)将图像数据发送到IPU122(图1)以便在HMD 104的显示装置120(图1)上显示时，产生武术游戏。
在玩所述武术游戏期间，在用户110的脚接触表面208A时，用户110的化身的虚拟脚在武术游戏中接触虚拟对手的虚拟身体部分。举例来说，用户110将他的/她的脚从空间位置P4移动到空间位置P5，其为接触物体206A的表面208A的空间位置。当脚到达空间位置P5时，用户110的脚接触表面208A。
而且，当所述脚处于空间位置P4时，接触表面208A处于空间位置P6或处于另一空间位置，例如，充电站上的空间位置、与参考点(例如，现实世界环境的参考坐标、现实世界环境的坐标的原点(0,0,0)等)相比或与空间位置P5相比进一步远离空间位置P6的位置、与空间位置P6相比朝向空间位置P5的位置等。相机210捕获指示脚已经到达空间位置P5的图像数据。经由游戏控制台106的通信装置117(图1)将指示脚的空间位置P5的图像数据发送到游戏控制台106的游戏处理器112(图1)。游戏处理器112解析图像数据以便确定脚处于空间位置P5。在确定脚的空间位置处于P5之后且在确定由用户110控制的化身在踢武术游戏中的另一化身之后，游戏处理器112将空间位置P5发送到无人机202。无人机202的处理器136(图1)控制一个或多个推进器204以便促进表面208A实现空间位置P5，从而允许脚接触表面208A。
在一些实施例中，用户110在经由他的/她的脚与交互性程序交互时会在他的/她的脚上佩戴脚配件，例如，鞋套、鞋配件、脚套、标记器、发光体、鞋、鞋标记器、鞋发光体、一个或多个LED等。佩戴脚配件来作为佩戴在用户110的手上的手套108A和108B的替代或补充。经由相机210将脚配件成像以便确定现实世界环境中的用户110的脚的空间位置。
在各种实施例中，所述脚配件包括惯性传感器，例如，陀螺仪、加速度计、磁力计等，其感测用户的脚的位置和/或定向，且经由通信装置116将所述位置和/或定向传送到游戏处理器112(图1)。在一些实施例中，使用脚加速器的惯性的惯性传感器来作为使用相机210的替代或补充以便确定用户110的脚的空间位置。
图12是其中用户110经由他的/她的控制器108(图1)控制的化身1204展现武术来对抗其虚拟对手(其也是化身1206)的场景1202的实施例的图。场景1202是从第三者的观点看到。化身1206表示经由计算机网络与用户110玩武术游戏的另一用户。举例来说，另一用户和用户110访问计算机网络和虚拟网络(例如，社交网络用户账户、电子邮件用户账户、游戏网络用户账户等)以便从服务器或虚拟机(VM)访问武术游戏。另一用户和用户110向虚拟网络提供他们的相应认证信息，例如，用户名、口令等。当所述认证信息经过虚拟网络认证时，用户110和另一用户访问虚拟网络中的武术游戏。一旦访问武术游戏，另一用户从可用于武术游戏的化身群组中选择化身1206，且用户110从所述化身群组中选择化身1204。
在一些实施例中，不是表示另一用户，化身1206表示执行交互性程序的游戏控制台106(图1)等。举例来说，化身1206的移动是由游戏处理器112(图1)而不是另一用户控制。
图13是当在显示武术游戏期间在显示装置120上产生场景1202之后在HMD 104的显示装置120(图1)上产生的场景1302的实施例的图。场景1302是从第三者的观点看到，且以与场景1202(图12)的产生的方式类似的方式产生。举例来说，通过IPU 122(图1)从与用于再现场景1202的视频帧紧邻的视频帧再现场景1302。在场景1302中，化身1204将要踢化身1206。举例来说，用户110提起他的/她的脚，使得化身1204将要踢化身1206。脚的提起被相机210捕获并且经由通信装置117(图1)作为图像数据被发送到游戏处理器112。游戏处理器112执行交互性程序以便产生交互性数据，所述交互性数据是基于指示脚的提起的图像数据。经由通信装置116和126(图1)将所述交互性数据传送到IPU 122以便在HMD 104中再现。
图14A是其中用户110的化身1204踢另一用户的化身1206的场景1402的实施例的图。场景1402是从第三者的观点看到。通过HMD 104(图1)的IPU 122(图1)以与场景1302(图13)的产生类似的方式产生场景1402。举例来说，从跟在用于产生场景1302的视频帧之后的视频帧产生场景1402。在场景1402中，在化身1204的虚拟脚与化身1206的虚拟手之间存在接触。
图14B是其中化身1204踢化身1206的场景1410的实施例的图。场景1410是从用户110的观点(其是从第一者的视角)产生。通过IPU 122(图1)以与场景1402(图14A)的产生的方式类似的方式产生场景1410。在HMD 104的显示装置120(图1)上显示场景1410。用户110提起他的脚以便实现空间位置P5(图11)。当脚处于空间位置P5时，化身1204(图14A)的虚拟脚1415踢化身1206。而且，当脚处于空间位置P5时，游戏处理器112控制无人机1202(图11)以便促进接触物体206A(图11)的表面208A实现空间位置P5。当表面208A处于空间位置P5时，用户110的脚接触表面208A以便在玩虚拟武术游戏期间向用户110提供现实世界武术的体验。
图15是用于基于存储在RCD 102和1502上的电荷来控制RCD 102和1502的系统1500的实施例的图。RCD 102包括电池1504和电池电量指示器1506。电池1504的实例包括镍-金属氢化物电池、镍-镉电池、锂离子电池、可再充电电池、非可再充电电池、电池组等。电池电量指示器1506的实例包括电池指示器、电压计、电池状况仪表、电流计等。
电池1504向位置驱动器140、传感器系统144、位置控制器138、处理器136、通信装置136和电池电量指示器1506提供电力。在一些实施例中，另一电池向电池电量指示器1506提供电力。在各种实施例中，使用不同的电池向RCD 102的不同组件提供电力。举例来说，电池1504向位置控制器138提供电力，且另一电池向传感器系统144提供电力。电池电量指示器1506测量电池的参数(例如，电压、电流等)，且经由RCD 102的通信装置134和游戏控制台106的通信装置116将所述参数发送到游戏处理器112。
RCD 1502包括通信装置1505、电池电量指示器1507、处理器1508、电池1510、位置控制器1512、位置驱动器1514、传感器系统1516，和机械组件1518。RCD 1502类似于RCD102。举例来说，RCD 1502是无人机或远程控制的机器人。而且，电池电量指示器1507类似于电池电量指示器1506，通信装置1505类似于通信装置134，电池1510类似于电池1504，处理器1508类似于处理器136，位置控制器1512类似于位置控制器138，位置控制器1514类似于位置驱动器140，传感器系统1516类似于传感器系统144，且机械组件1518类似于机械组件142。
游戏处理器112确定从RCD 102接收的参数是否小于存储在游戏存储器114中的预先确定的阈值。在确定从RCD 102接收的参数小于预先确定的阈值之后，游戏处理器112经由通信装置116和通信装置134将信号发送到处理器136。所述信号指示将实现的RCD 102的现实世界空间位置，且所述现实世界空间位置是充电站(未示出)的空间位置。
如本文所使用，充电站用于向RCD的电池充电。充电站是直流(DC)充电站或交流(AC)充电站。
在接收到指示RCD 102的现实世界空间位置的信号之后，处理器136将所述空间位置发送到位置控制器138。位置控制器138确定RCD 102的机械组件142以及其他机械组件的速度和/或加速度；进一步确定将由位置驱动器140产生以便实现所述速度和/或加速度的电流量；以及将指示所述电流量的信号发送到位置驱动器140。在一些实施例中，位置控制器138基于RCD 102的现实世界空间位置与用于向电池1504充电的充电站之间的距离以及行进所述距离所花费的时间来确定速度和/或加速度和/或电流量。游戏处理器112经由通信装置116和1134将RCD 102的现实世界空间位置与用于向电池1504充电的充电站之间的距离提供给处理器136，所述处理器将所述距离发送到位置控制器138。游戏处理器112基于通过图像捕获装置109捕获的RCD 102和充电站的图像数据以及现实世界环境的坐标系与通过图像捕获装置109捕获的图像的坐标系之间的缩放来确定RCD 102的现实世界空间位置与用于向电池1504充电的充电站之间的距离。位置驱动器140接收指示电流量的信号。位置驱动器140将具有所述电流量的电流信号发送到机械组件142，以便以所述速度和/或加速度移动(例如，旋转、平移等)机械组件142，以便进一步实现用于向RCD 102充电的充电站的空间位置。
在发送指示将实现以便向电池1504充电的空间位置的信号的预先确定的时间量内(例如，同时地、在1秒到5秒之间、在1毫秒到5毫秒之间、1毫秒到5毫秒等)，游戏处理器112经由通信装置116和1505将信号发送到处理器1508。发送到处理器1508的信号指示将实现的RCD 1502的空间位置。将实现的RCD 1502的空间位置是在RCD 102发送指示将实现以便向RCD 102充电的空间位置的信号之前的RCD 102的空间位置。举例来说，将实现的RCD1502的空间位置包括来自其中用户110与HMD 104交互的房间内的现实世界参考点(例如，原点(0,0,0)等)的x坐标、y坐标和z坐标。作为另一实例，当场景中的身体部分的虚拟表示接触虚拟物体时，将实现的RCD 1502的空间位置是用户110的身体部分的空间位置。作为又另一实例，在玩虚拟游戏期间，当RCD 102的表面208A接触手套108B(图2)时，将实现的RCD1502的空间位置将与手套108B接触。作为另一实例，在玩虚拟游戏期间，当RCD 102的表面208A远离手套108B(图2)一距离时，将实现的RCD 1502的空间位置将处于与手套108B相距所述距离处。
处理器1508接收将实现的RCD 1502的空间位置，且将所述空间位置发送到位置控制器1512。位置控制器1512基于将实现的空间位置而确定RCD 1502的速度和/或加速度；进一步确定用于实现所述速度和/或加速度的电流量；以及将所述电流量发送到位置控制器1514。所述速度和/或加速度促进在一时间周期内实现RCD 1502的空间位置。举例来说，RCD1502的速度和/或加速度是这样的速度和/或加速度，其允许RCD 1502在RCD 102将空间位置从接触用户110的身体部分或控制器108改变为处于充电站的时间之前到达RCD 102的空间位置。作为另一实例，RCD 1502的速度和/或加速度是这样的速度和/或加速度，其允许RCD 1502在RCD 102将空间位置从接触用户110的身体部分或控制器108改变为处于充电站的时间处到达RCD 102的空间位置。作为另一实例，RCD 1502的速度和/或加速度是这样的速度和/加速度，其允许RCD 1502在RCD 102将其空间位置从预先确定的距离内改变为处于充电站的时间之前到达用户110的身体部分或控制器108的空间位置的预先确定的距离内。
位置控制器1512将指示电流量的信号发送到位置控制器1514。在从位置控制器1512接收到指示所述电流量的信号之后，位置控制器1514将具有所述电流量的电流信号发送到机械组件1518，使得所述机械组件1518以所述速度和/或加速度操作以便允许RCD1502实现空间位置。
通过使用大于一个的数目的RCD(例如，两个RCD、三个RCD、四个RCD等)，并且通过切换一些RCD以便对一些剩余RCD再充电，与当在用户110与交互性内容交互期间不对RCD再充电时相比，用户110能够在更长的时间周期内与交互性内容交互。
图16是用于基于无人机202、1602、1604和1606的电池电量而在无人机202、1602、1604和1606之间进行切换的系统1600的实施例的图。系统1600包括用于对无人机202、1602、1604和1606中的一者或多者进行充电的充电站1608和1610。
将无人机202、1602、1604和1606的电池的充电水平(例如，充电量等)从无人机202、1602、1604和1606发送到游戏控制台106。游戏控制台106基于所述充电水平而确定改变无人机202、1602、1604和1606的空间位置。举例来说，当无人机202和1602具有小于预先确定的水平的充电水平时，通过游戏控制台106控制无人机202和1602以便从与用户110相距预先确定的距离内重新定位成处于充电站1610和1608。举例来说，无人机202经过控制以便从与手套108A接触的空间位置返回到充电站1610，且无人机1602经过控制以便从与手套108B接触的空间位置返回到充电站1608。
在无人机202和1602处于与用户110相距预先确定的距离处时，在充电站1608和1610处充电的无人机1604和1606经过控制，以便从充电站1608和1610脱离(例如，离开等)而到达所述预先确定的距离。在一些实施例中，无人机1604和1606经过控制以便在无人机202和1602到达所述预先确定的距离之后从与用户110相距预先确定的距离移离以便到达充电站1610和1608。无人机202、1602、1604和1606的此类切换向用户110提供与交互性程序的不中断的交互。举例来说，用户110在无人机1604和1606与无人机202和1602的切换期间感觉不到虚拟游戏中的中断。
应注意，虽然在图16中示出两个充电站，但在一些实施例中，使用任何数目的充电站。举例来说，在系统1600中包括四个充电站，每个无人机202、1602、1604和1606一个充电站。作为另一实例，使用用于所有无人机202、1602、1604和1606的一个充电站。
在各种实施例中，在系统1600中使用任何数目的无人机而不是四个无人机202、1602、1604和1608。举例来说，在系统1600中使用三个无人机202、1602和1604。
图17A是其中化身304对抗两个虚拟墙壁306和1704的场景1702的实施例的图。场景1702是从第三者的观点看到。在场景1702中，化身304对抗试图围住化身304的两个虚拟墙壁306和1704。在HMD 104(图1)的一个或多个显示屏幕上显示场景1702。
在化身304对抗虚拟墙壁306和1704时，手套108A(图16)接触无人机1604(图16)的接触物体的表面，且手套108B(图16)接触无人机1606(图16)的接触物体的表面。举例来说，游戏处理器112(图1)确定在虚拟游戏一阶段期间，化身304的手1714将接触虚拟墙壁306a的表面308，且化身304的手1718将接触虚拟墙壁1704的表面1706。在如此确定之后，游戏处理器112将指示无人机1606的空间位置的信号发送到无人机1606的处理器136(图1)，且将指示无人机1604的空间位置的另一信号发送到无人机1604的处理器1508(图15)。处理器136控制无人机1606以便实现所述空间位置，使得无人机1606的接触物体的接触表面接触手套108B。而且，无人机1604的处理器1508控制无人机1604以便实现从游戏处理器112接收的所述空间位置，使得无人机1604的接触物体的接触表面接触手套108A。而且，在一些实施例中，无人机1604和1606向手套108A和108B施加压力(例如，推挤等)，使得用户110(图1)在与交互性程序交互时感觉好像用户110在对抗两个真的墙壁。与两个无人机1604和1606的此双重接触与和一个RCD 102的单个接触的情况相比，使用户110进一步沉浸在虚拟世界中。
而且，在一些实施例中，所述双重接触防止用户110发生事故，其中在现实世界环境中在用户110的两侧存在楼梯或桌子或椅子或锋利的物体或地面水平中的改变。
图17B是从第一者(例如，用户110(图1))的观点看到的场景1710的实施例的图。通过游戏处理器112(图1)产生场景1710以便在HMD 104(图1)的一个或多个显示屏幕上显示。场景1710包括两个视图：示出化身304的手1714(图17B)触及表面308的俯视图1712；和示出化身304的手1718触及表面1706的仰视图1716。如通过网状效果1720所说明，当化身304的手1714触及虚拟墙壁306时会影响表面308，且当化身304的手1718触及虚拟墙壁1704(图17A)时会影响表面1706。
在各种实施例中，图3A、3B、4A、5A、7、8、9A、12、13、14A和17A的场景中显示用户110的视频图像，而不是化身304。当图像捕获装置109(图1)捕获用户110的图像数据且经由游戏控制台106的通信装置117(图1)将所述图像数据传递到游戏控制台106的游戏处理器112时，产生视频图像。游戏处理器112经由HMD 104的通信装置116(图1)和通信装置126将所述图像数据发送到IPU 122以便在HMD 104的显示装置12(图1)上显示用户110的视频。
在一些实施例中，在图4B、5B、9B、14B和17B的场景中显示用户110的身体部分的视频图像，而不是化身的身体部分。当图像捕获装置109(图1)捕获用户110的身体部分的图像数据且经由游戏控制台106的通信装置117将所述图像数据传递到游戏控制台106的游戏处理器112时，产生视频图像。游戏处理器112经由HMD 104的通信装置116和通信装置126将所述图像数据发送到IPU 122以便在HMD 104的显示装置12(图1)上显示用户110的身体部分的视频。
图18是用于基于用户110与交互性程序的交互而控制健身器1802的系统1800的实施例的图。健身器1802是RCD 102(图1)的实例。虽然将健身器1802说明为跑步机，但健身器的其他实例包括健身脚踏车、划船机器、椭圆交叉训练机、练习机器等。健身器1802包括扶手1804A和1804B、跑步区域1804和显示装置1808。
相机210捕获用户110的身体部分(例如，用户110的手、用户110的腿、用户110的头部、用户110的身体等)和健身器1802的至少一部分的图像。举例来说，相机210捕获示出用户110的身体部分相对于机械组件(例如，扶手1804A、扶手1804B、跑步区域1806等)的空间位置的图像。
游戏控制台106将交互性数据发送到HMD 104以便在HMD 104中显示交互性内容。交互性内容的实例包括其中用户110攀登或降下虚拟地形(例如，虚拟山坡、虚拟雪坡)的虚拟游戏。游戏控制台106进一步发送指示跑步区域1806相对于房间的在上面放置健身器1802的地面1810的空间位置的信号。跑步区域1806定位成相对于地面1810形成角度θ1，或定位成相对于地面1802形成角度θ2。举例来说，如果虚拟游戏包括化身304(图3A)爬虚拟雪山的显示，那么游戏控制台106将信号发送到健身器1802，以便相对于地面1802以正角(例如，角度θ1等)定位跑步区域1806。作为另一实例，如果虚拟游戏包括化身304下虚拟雪山的显示，那么游戏控制台106将信号发送到健身器1802，以便相对于地面1802以负角(例如，角度θ2等)定位跑步区域。作为另一实例，游戏控制台106将信号发送到健身器1802，以便收缩活塞和汽缸机构1812A和1812B和/或扩张活塞和汽缸机构1812C和1812D(图18中不可见)，从而相对于地面1910形成正角。作为另一实例，游戏控制台106将信号发送到健身器1802，以便扩张活塞和汽缸机构1812A和1812B和/或收缩活塞和汽缸机构1812C和1812D(图18中不可见)，从而相对于地面1910形成负角。
活塞和汽缸机构的实例包括气压缸和液压缸。在一些实施例中，活塞和汽缸机构包括活塞和汽缸。活塞可以在汽缸内部移动以便延伸到汽缸中或者延伸到汽缸外部。活塞和汽缸机构包括增压空气腔室，经由阀门控制空气从所述增压空气腔室的外出。经由通过位置控制器进一步控制的驱动器以电磁方式控制所述阀门。通过位置控制器控制所述阀门以便进一步控制从增压空气腔室进入汽缸的腔室中的空气的量。空气的量经过控制以便改变汽缸中的活塞的空间位置。活塞和汽缸机构进一步包括集成在汽缸的侧壁内的另一阀门。经由通过位置控制器进一步控制的驱动器所产生的电磁能量来控制所述另一阀门。所述另一阀门经过控制以便从汽缸的腔室排出空气，从而从腔室缩回活塞。
在各种实施例中，位置和汽缸机构包括活塞、汽缸、马达、一定数目的杆、活塞和汽缸。所述杆连接到马达以便将马达的旋转移动转换为杆的平移移动。连接到活塞的杆的平移移动控制活塞进出汽缸的平移移动。位置控制器经由驱动器来控制旋转马达。
而且，基于通过相机210捕获的用户110的身体部分的空间位置的图像数据，游戏控制台106发送信号来定位扶手1804A和1804B，从而进一步保护用户110不会失去对健身器1802的控制。举例来说，相机210将用户110的腹部的图像数据和跑步区域1806的图像发送到游戏控制台106。基于所述图像数据，游戏控制台106确定腹部不位于跑步区域1806的规定界限内。游戏控制台106将信号发送到健身器1802来定位扶手1804A和1804B以便防止用户110跌落跑步区域1806。举例来说，扶手1804A和1804B连接到通过位置控制器经由驱动器控制的活塞和汽缸机构。在此实例中，活塞和汽缸机构经过控制以便沿着图18中示出的x轴移动扶手1804A和1804B，从而围住用户110以便防止用户110跌落跑步区域1806。在一些实施例中，活塞和汽缸机构经过控制以便沿着x轴移动扶手1804A和1804B而移动远离用户110。
在一些实施例中，作为发送信号以便定位扶手1804A和1804B的替代，游戏控制台106将信号发送到健身器1802以便相对于扶手1804A和1804B定位跑步区域1806，从而防止用户110跌落跑步区域1806。举例来说，跑步区域1806连接到一定数目的活塞和汽缸机构以便例如沿着图18的x轴等相对于地面1810平移跑步区域1806，从而防止用户110跌落跑步区域1806。
在各种实施例中，每个扶手1804A和1804B具有任何其他形状，例如，弯曲形状、弯曲形状与笔直形状的组合等，而不是具有笔直形状。
图19是用于基于用户110的身体部分的空间位置和/或交互性数据来控制RCD1902的系统1900的实施例的图。健身器1802(图18)是RCD 1902的实例。举例来说，活塞和汽缸机构1812A、1812B、1812C或1812D是机械组件142的实例。作为另一实例，扶手1804A或1804B是健身器1802的机械组件1906的实例。
在用户110观看HMD 104的一个或多个显示屏幕上的交互性内容时，图像捕获装置109捕获用户110的身体部分的图像数据。而且，还捕获关于机械组件142的接触表面和/或机械组件1902的接触表面的空间位置的图像数据。经由通信装置117(图1)将所有所捕获的图像数据(例如，用户110的身体部分的图像数据以及机械组件142和1902的图像数据等)发送到游戏处理器112。基于所述图像数据，游戏处理器112确定用户110的身体部分的空间位置是否在机械组件142的接触表面或机械组件1902的接触表面的空间位置的预先确定的界限之外。举例来说，游戏处理器112从所述图像数据确定用户110的身体部分是否接触扶手1804A(图18)或扶手1804B(图18)。作为另一实例，游戏处理器112从所述图像数据确定用户110的腿是否在跑步区域1806(图18)的边缘处。
在确定用户110的身体部分的空间位置在机械组件142或机械组件1902的接触表面的空间位置的预先确定的界限之外之后，游戏处理器112经由通信装置116和134将指示机械组件142的接触表面的空间位置和/或机械组件1906的接触表面的空间位置的信号发送到RCD 1902的处理器136。处理器136将指示所述空间位置的信号发送到位置控制器138。位置控制器138确定用于操作机械组件142的因素，例如，速度、加速度、压力等，且基于所述因素而进一步确定将发送到位置驱动器140的电流量。而且，位置控制器138确定用于操作机械组件1906的因素，且基于所述因素而进一步确定将发送到位置控制器1904的电流量。
位置驱动器140将信号发送到机械组件142以便使用从位置控制器138接收的对应电流量驱动机械组件142，且位置控制器1904将信号发送到机械组件1906以便使用从位置控制器138接收的对应电流量驱动机械组件1906。
HMD 104在HMD 104的一个或多个显示屏幕上显示交互性内容。游戏处理器112产生交互性数据，所述交互性数据被所述IPU 122处理以便产生交互性内容。在显示交互性内容期间，游戏处理器112确定机械组件142的接触表面和机械组件1906的接触表面的空间位置，以便向用户110提供与交互性内容交互(例如，在现实世界中玩游戏等)的现实世界体验。基于所述交互性数据而确定空间位置。举例来说，当虚拟游戏的场景涉及下虚拟山的虚拟斜坡时，游戏处理器112确定机械组件142的接触表面的空间位置以角度θ2(图18)倾斜，且机械组件1906的接触表面的空间位置环绕或触及用户110。
游戏处理器112经由通信装置116和134将机械组件142和1906的接触表面的空间位置发送到处理器136。处理器136将所述空间位置发送到位置控制器138以便进一步控制机械组件142和1906的因素，如上文描述。
应注意，虽然一些上文描述的实施例涉及发送用户110的身体部分的图像数据，但在若干实施例中，作为用户110的身体部分的图像数据的替代或补充，通过图像捕获装置109捕获控制器108的图像数据，且经由通信装置117将其发送到游戏处理器112。
在各种实施例中，使用两个或更多位置控制器来替代位置控制器136以便控制位置驱动器140和1904。在各种实施例中，RCD不包括处理器136。而是，将指示RCD的机械组件的空间位置的信号从游戏处理器112发送到RCD的位置控制器。在一些实施例中，通过RCD的处理器136执行从RCD的机械组件的空间位置确定因素的操作，且通过RCD的位置控制器执行确定供应给驱动器的电流量的操作。
在各种实施例中，作为使用图像捕获装置109来确定用户110的身体部分的空间位置的替代或补充，在用户的身体部分内装配位置传感器(例如，陀螺仪、磁力计等)来确定用户110的身体部分的空间位置和定向。举例来说，作为使用图像捕获装置109来确定用户110的头部的空间位置的替代或补充，在HMD 104内装配陀螺仪来确定用户110的头部的定向。位置传感器经由通信装置117将指示用户110的身体部分的空间位置和/或定向的所感测数据提供给游戏处理器112。
图20是对与控制器108和HMD 2005(其为HMD 104(图1)的实例)介接兼容的游戏控制台2000的实施例的框图。游戏控制台2000用于执行并且再现交互性程序的一部分。游戏控制台2000对使控制器108和HMD 2005与交互性程序介接兼容。向游戏控制台2000提供可以连接到游戏控制台2000的各种外围装置。游戏控制台2000具有动态随机存取存储器(XDRAM)单元2026、单元处理器2028、具有专用视频随机存取存储器(VRAM)单元2032的现实合成器图形处理器单元2030，和输入/输出(I/O)桥2034。游戏控制台2000还具有Blu磁盘只读存储器(BD-ROM)光盘读取器2040，以便从磁盘2040a和可以通过I/O桥2034存取的可移除吸入式硬盘驱动器(HDD)2036进行读取。任选地，游戏控制台2000还包括存储卡读取器2038，以便读取紧凑型快闪存储器卡、Memory存储器卡和类似者，其类似地可以通过I/O桥2034存取。
I/O桥2034还连接到通用串行总线(USB)端口2024、千兆以太网端口2022、IEEE802.11b/g无线网络(Wi-Fi)端口2020，和能够支持蓝牙连接的无线链接端口2018。
在操作中，I/O桥2034处置所有无线、USB和以太网数据，包括来自一个或多个游戏控制器2002和2003和来自HMD 2005的数据。举例来说，当用户110(图1)在玩通过执行交互性程序的一部分而产生的虚拟游戏时，I/O桥2034经由蓝牙链接从游戏控制器2002或2003或从HMD 2005接收输入数据，且将所述输入数据引导到单元处理器2028，所述单元处理器相应地更新虚拟游戏的当前状态。每个游戏控制器2002和2003是控制器108的实例。
无线、USB和以太网端口还为除了游戏控制器2002和2003以及HMD 2005之外的其他外围装置(例如，遥控器2004、键盘2006、鼠标2008、便携式娱乐装置2010(例如，例如SonyPlaystation 娱乐装置)、摄像机(例如，摄像机2012)、麦克风头戴式耳机2014，和麦克风2015)提供连接性。摄像机2012是图像捕获装置109(图1)的实例。在各种实施例中，此类外围装置无线地连接到游戏控制台2000。举例来说，便携式娱乐装置2010经由Wi-Fi特设连接进行通信，而麦克风头戴式耳机2014经由蓝牙链接进行通信。
这些接口的提供意味着游戏控制台2000还潜在地与其他外围装置(例如，数字视频记录仪(DVR)、机顶盒、数码相机、便携式媒体播放器、IP语音电话、移动电话、打印机和扫描仪)兼容。
另外，在一些实施例中，传统存储读卡器2016经由USB端口2024中的一者连接到游戏控制台2000，使得能够读取由游戏控制台2000使用的种类的存储器卡2048。
游戏控制器2002和2003以及HMD 2005可以操作以便经由蓝牙链接与游戏控制台2000无线地通信，或者连接到USB端口2024中的一者，进而还提供电力，通过所述电力向游戏控制器2002和2003以及HMD 2005的电池充电。在一些实施例中，游戏控制器2002和2003以及HMD 2005中的每一者包括存储器、处理器、存储器卡读取器、永久存储器(例如，快闪存储器)、光发射器、麦克风和用于超声通信的扬声器、声室、数码相机、内部时钟、可辨识的形状(例如，面向游戏控制台2000的球面区段)，和使用协议(例如，蓝牙、Wi-Fi等)的无线通信装置。光发射器的实例包括LED、红外灯等。
游戏控制器2002被设计成与用户110的两只手一起使用，且游戏控制器2003是具有附件的单手控制器。HMD 2005被设计成装配在用户110的头顶上和/或眼睛前方。除了一个或多个模拟操纵杆和常规的控制按钮之外，每个游戏控制器2002和2003易受三维空间位置确定影响。类似地，HMD 2005易受三维空间位置确定影响。因此，游戏控制器2002和2003以及HMD 2005的用户110的姿势和移动被转译为虚拟游戏的输入，以便作为常规的按钮或操纵杆命令的补充或替代。任选地，将例如PlaystationTM便携式装置等其他无线地启用的外围装置用作控制器。在PlaystationTM便携式装置的情况下，在装置的显示屏幕上提供额外的游戏或控制信息(例如，控制指令或命的数目)。在一些实施例中，还使用其他替代性或补充性控制装置，例如，跳舞垫(未示出)、光枪(未示出)，和操纵轮和踏板(未示出)或定制的控制器，例如，用于快速问答游戏(也未示出)的单个或若干大的按钮。
遥控器2004还可以操作以便经由蓝牙链接与游戏控制台2000无线地通信。遥控器2004包括适合于操作Blu RayTM磁盘BD-ROM读取器2040并且适合于导航磁盘内容的控制件。
Blu RayTM磁盘BD-ROM读取器2040可以操作以便除了常规的预录和可记录的CD和所谓的超级音频CD之外还读取与游戏控制台2000兼容的CD-ROM。读取器2040还可以操作以便除了常规的预录和可记录的DVD之外还读取与游戏控制台2000兼容的数字视频磁盘-ROM(DVD-ROM)。读取器2040进一步可以操作以便读取与游戏控制台2000兼容的BD-ROM，以及常规的预录和可记录的蓝光磁盘。
游戏控制台2000可以操作以便通过音频连接器2050和视频连接器2052将经由现实合成器图形单元2030产生或解码的音频和视频供应给显示和声音输出装置2042，例如，计算机监视器、HMD 2005的显示和声音输出装置、电视机等。显示和声音输出装置204具有显示屏幕2044和一个或多个扬声器2046等。音频连接器2050包括常规的模拟和数字输出，而视频连接器2052包括分量视频、S-视频、合成视频以及一个或多个高清晰度多媒体接口(HDMI)输出等。因此，视频输出是呈多个格式，例如，逐行倒相(PAL)、国家电视系统委员会(NTSC)、520p、1080i、1080p高清晰度等。
通过单元处理器2028执行音频处理(产生、解码等等)。游戏控制台2000的操作系统支持5.1环绕声、剧场环绕(DTS)，和来自磁盘的7.1环绕声的解码。
在一些实施例中，摄像机(例如，摄像机2012等)包括单个电荷耦合装置(CCD)、LED指示器，和基于硬件的实时数据压缩和编码设备，使得以适当的格式(例如，基于图像内的MPEG(运动图片专家组))传输压缩的视频数据，以便由游戏控制台2000进行解码。摄像机2012的LED指示器被布置成响应于来自游戏控制台2000的适当的控制数据而进行照明，(例如)以便预示不利的光照条件。摄像机2012的一些实施例经由USB、蓝牙或Wi-Fi通信端口不同地连接到游戏控制台2000。摄像机的一些实施例包括一个或多个相关联的麦克风且能够传输音频数据。在摄像机的实施例中，CCD具有适合于高清晰度视频捕获的分辨率。在使用中，由摄像机捕获的图像(例如)并入虚拟游戏内或者被解译为游戏控制输入。在另一实施例中，摄像机是适合于检测红外光的红外相机。
在各种实施例中，为了让外围装置(例如，摄像机或遥控器)经由游戏控制台2000的通信端口中的一者进行成功的数据通信，提供一个适当的软件，例如装置驱动程序。
参考图21，示出说明头戴式显示器2102的实例组件的图。HMD 2102是HMD 104(图1)的实例。应理解，在各种实施例中，HMD 2102包括或不包括更多或更少的组件，这取决于所启用的配置和功能。HMD 2102包括用于执行程序指令的处理器2100。提供存储器2102以用于存储目的，且在一些实施例中，包括易失性和非易失性存储器两者。包括显示器2104，且所述显示器提供用户110观看的视觉接口。显示器2104是由一个单个显示器界定，或者呈用于每只眼睛的单独的显示屏幕的形式。当提供两个显示屏幕时，有可能单独地提供左眼内容和右眼视频内容。向用户110的每只眼睛单独地呈现视频内容提供对三维(3D)内容的沉浸式控制。在一个实施例中，通过使用用于一只眼睛的输出而向显示器2104的屏幕提供HMD 2102的屏幕内容，并且随后将所述内容格式化以便以2D格式显示。在一个实施例中，所述一只眼睛是左眼视频馈送，但在其他实施例中，是右眼视频馈送。
提供电池2106而作为HMD 2102的电源。在其他实施例中，所述电源可以包括到电力的插座连接。在其他实施例中，提供到电力和电池2106的插座连接。运动检测模块2108包括各种运动敏感硬件(例如，磁力计2110、加速度计2112，和陀螺仪2114)中的任一者。
加速度计是用于测量加速度和重力诱发的反作用力的装置。单轴和多轴(例如，六轴)模型能够检测不同方向上的加速度的量值和方向。使用加速度计来感测倾斜度、振动和冲击。在一个实施例中，使用三个加速度计2112来提供重力的方向，其给出对两个角度(世界空间俯仰和世界空间横滚)的绝对参考。
磁力计测量HMD 2102的邻近的磁场的强度和方向。在一个实施例中，在头戴式显示器内使用三个磁力计2110，从而确保对世界空间偏航角度的绝对参考。在一个实施例中，磁力计被设计成跨越地球磁场，其为±80微特斯拉。磁力计受到金属影响，且提供与实际偏航单调的偏航测量。磁场由于环境中的金属而歪曲，其导致偏航测量中的歪曲。在一些实施例中，使用来自例如陀螺仪或相机等其他传感器的信息来校准此歪曲。在一个实施例中，加速度计2112与磁力计2110一起使用以便获得HMD 2102的倾斜度和方位角。
陀螺仪是用于基于角动量的原理来测量或维持定向的装置。在一个实施例中，在一个实施例中，三个陀螺仪2114基于惯性感测而提供关于跨相应轴(x,y和z)的移动的信息。陀螺仪有助于检测快速的旋转。然而，在一些实施例中，陀螺仪在没有绝对参考的情况下随时间漂移。通过将陀螺仪周期性地复位来解决所述漂移，这是使用其他可用的信息来进行，例如基于对物体的视觉跟踪、加速度计、磁力计等的位置/定向确定。
提供相机2116来捕获现实世界环境的图像和图像流。任选地，在HMD 2102中包括一个以上相机，包括：面向后的相机，其在用户110观看HMD 2102的显示器时背向用户110；以及面向前的相机，其在用户观看HMD 2102的显示器时指向用户。另外，在头戴式显示器2102中包括深度相机2118以便感测现实世界环境中的物体的深度信息。
HMD 2102包括用于提供音频输出的扬声器2120。而且，包括麦克风2122以便从现实世界环境捕获音频，包括来自周围环境的声音、用户110的话音等。HMD 2102包括触觉反馈模块2124以便向用户110提供触觉反馈。在一个实施例中，触觉反馈模块2124能够导致HMD 2102的移动和/或振动以便向用户110提供触觉反馈。
提供LED 2126而作为HMD 2102的状态的视觉指示器。举例来说，LED指示电池电量、通电等。提供读卡器2128以便使得HMD 2102能够从存储器卡读取信息并且将信息写入到存储器卡。包括USB接口2130而作为用于启用外围装置的连接或到其他装置(例如，例如其他便携式装置、计算机、游戏控制台等)的连接的接口的一个实例。在HMD 2102的各种实施例中，包括各种接口中的任一者以便启用HMD 2102的更大的连接性。
包括Wi-Fi模块2132以便启用经由无线连网技术到计算机网络的连接。而且，HMD2102包括蓝牙模块2134以便启用到其他装置的无线连接。还包括通信链接2136以便连接到其他装置。在一个实施例中，通信链接2136利用红外传输用于无线通信。在其他实施例中，通信链接2136利用用于与其他装置通信的各种无线或有线传输协议中的任一者。
包括输入按钮/传感器2138以便为用户110提供输入接口。在一些实施例中，包括各种输入接口中的任一者，例如按钮、触摸垫、操纵杆、追踪球等。在HMD 2102中包括超声波通信模块2140以便经由超声波技术促进与其他装置的通信。
包括生物传感器2142以便启用对来自用户110的生理数据的检测。在一个实施例中，生物传感器2142包括用于通过用户的皮肤、语音检测、视网膜检测来检测用户110的生物电信号的一个或多个干电极，从而识别用户/外形等。
已经将HMD 2102的前述组件描述为在HMD 2102中包括的示例性组件。在一些实施例中，HMD 2102包括或不包括一些各种前述组件。举例来说，HMD 2102不包括触觉反馈模块2124。作为另一实例，HMD 2102不包括磁力计2110，或加速度计2112，或陀螺仪2114，或其组合。作为又另一实例，HMD 2102不包括生物传感器2142。在各种实施例中，HMD 2102包括目前未描述但在本领域中已知的其他组件，以便促进本公开中描述的多个方面。
在一些实施例中，如本文提及的客户端和/或客户端装置包括HMD、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、信息站、无线装置、数字衬垫、独立装置、手持式玩游戏装置，和/或类似者。客户端接收经编码的视频流、解码所述视频流，且向用户(例如，游戏玩家)呈现所得的视频。接收经编码的视频流和/或解码所述视频流的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。在与客户端成一体的显示器上或在例如监视器或电视等单独的装置上向用户呈现视频流。
客户端任选地被配置成支持一个以上游戏玩家，例如，用户110等。举例来说，游戏控制台支持两个、三个、四个或更多同时的玩家(例如，P1、P2、…Pn)。这些玩家中的每一者接收或共享视频流，或单个视频流包括特定针对每个玩家而产生(例如，基于每个玩家的视点而产生)的帧的区。任何数目的客户端在本地(例如，位于同一地点)或在地理上分散。游戏系统中包括的客户端的数目广泛地变化，从一个或两个到数千个、数万个，或更多。如本文所使用，使用术语“游戏玩家”来指玩游戏的人，且使用术语“玩游戏装置”来指用于玩游戏的装置。
在一些实施例中，玩游戏装置是指进行协作以便向用户110递送游戏体验的多个计算装置。举例来说，游戏控制台106和HMD 104与视频服务器系统进行协作以便递送通过HMD 104观看的游戏。在一个实施例中，游戏控制台106从视频服务器系统接收视频流，且游戏控制台106将所述视频流转发到HMD 104和/或电视以便再现，或对所述视频流进行更新。
在各种实施例中，客户端包括用于修改所接收的视频的系统。举例来说，客户端执行进一步再现、将一个视频图像覆盖在另一视频图像上、修剪视频图像，和/或类似者。在若干实施例中，客户端接收各种类型的视频帧，例如I帧、P帧和B帧，且将这些帧处理成图像以便向用户110显示。在一些实施例中，客户端对视频流执行进一步再现、着色、转换为3-D、转换为2D、移除失真、调整大小，或类似的操作。客户端任选地被配置成接收一个以上音频或视频流。
客户端的输入装置包括(例如)单手游戏控制器、双手游戏控制器、姿势辨识系统、注视辨识系统、语音辨识系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、相机、待开发的输入装置，和/或类似者。
视频源包括再现逻辑，例如，硬件、固件，和/或存储在计算机可读媒体(例如，存储装置)上的软件。此再现逻辑被配置成基于游戏状态而产生视频流的视频帧。所有或部分再现逻辑任选地安置在一个或多个图形处理单元(GPU)内。所述再现逻辑包括用于基于游戏状态和观点而确定物体之间的三维空间关系和/或用于施加适当的纹理等的处理阶段。再现逻辑产生经编码的原始视频。举例来说，所述原始视频是根据以下标准而被编码：Adobe标准、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3，或类似者。编码过程产生视频流，所述视频流任选地经过打包以便递送到装置上的解码器。通过帧大小和帧速率来表征所述视频流。帧大小的实例包括800×600、1280×720(例如，720p)、1024×768、1080p。帧速率是每秒的视频帧的数目。
在一些实施例中，视频流包括不同类型的视频帧。举例来说，H.264标准包括“P”帧和“I”帧。I帧包括用于刷新显示装置上的所有宏块/像素的信息，而P帧包括用于刷新其子集的信息。P帧在数据大小方面比I帧小。如本文使用，术语“帧大小”打算是指帧内的像素的数目。术语“帧数据大小”用于指用于存储帧的字节的数目。
在一些实施例中，客户端是通用计算机、专用计算机、游戏控制台、个人计算机、膝上型计算机、平板计算机、移动计算装置、便携式游戏装置、蜂窝式电话、机顶盒、流媒体接口/装置、智能电视或连网显示器，或能够被配置成实现本文所界定的客户端的功能性的任何其他计算装置。在一个实施例中，云游戏服务器检测用户110所利用的客户端装置的类型，并且提供对于用户110所使用的客户端装置适当的云游戏体验。举例来说，针对用户110所使用的客户端装置对图像设定、音频设定和其他类型的设定进行优化。
图22说明信息服务提供商(ISP)架构的实施例。ISP 2202将众多信息服务递送给在地理上分散且经由网络2206(例如，计算机网络等)连接的用户2204-1、2204-2、2204-3和2204-4。用户110(图1)是用户2204-1或用户2204-2或用户2204-3或用户2204-4的实例。ISP递送一种类型的服务(例如，股票价格更新)，或多种服务(例如，广播媒体、新闻、体育、游戏等)。
在一些实施例中，每个ISP所提供的服务是动态的，例如，在任何时间点添加或解除服务。因此，向特定个体提供特定类型的服务的ISP会随时间改变。举例来说，当用户110在她的家乡时，通过用户110附近的ISP服务用户110，且当用户110去到不同的城市时，通过不同的ISP服务用户110。家乡的ISP将把信息和数据传递到新的ISP，使得用户信息“跟随”用户110到达新的城市，从而使得所述数据更接近用户110且更容易访问。
在各种实施例中，在主ISP(其管理用户110的信息)与服务器ISP(其在主ISP的控制下与用户110直接地介接)之间确立主-服务器关系。在若干实施例中，在客户在世界各地移动时，所述数据从一个ISP被传递到另一ISP，从而使得处于服务用户110的更好的位置的ISP是递送这些服务的ISP。
ISP 2202包括应用服务提供商(ASP)2208，其经由计算机网络向客户提供基于计算机的服务。使用ASP模型提供的软件有时还被称为按需软件或软体即服务(SaaS)。提供对特定应用程序(例如，客户关系管理)的访问的一种形式是通过使用标准协议，例如，超文本传输协议(HTTP)。应用软件驻留在供应商的系统上，并且由用户2204-1、2204-2、2204-3和2204-4通过使用超文本置标语言(HTML)的网络浏览器、通过由供应商提供的专用客户端软件，或其他远程接口(例如，瘦客户端)进行访问。
在广阔地理区域上递送的服务经常使用云计算。云计算是其中经由因特网将动态可缩放且常常虚拟化的资源提供为服务的一类型计算。用户2204-1、2204-2、2204-3和2204-4不需要在支持他们的“云”中的技术基础结构方面是专家。在一些实施例中，在不同服务中划分云计算，例如基础结构即服务(IaaS)、平台即服务(PaaS)，和软体即服务(SaaS)。云计算服务常常在线提供从网络浏览器访问的普通的商业应用，而软件和数据存储在服务器上。基于在计算机网络中如何描绘因特网，术语云被用作因特网的隐喻(例如，使用服务器、存储装置和逻辑)，且是其隐藏的复杂基础结构的抽象化。
此外，2202 2270包括游戏处理服务器(GPS)2210，其由游戏客户端用于玩单玩家和多玩家视频游戏。在计算机网络上玩的大多数视频游戏经由到游戏服务器的连接而操作。一些游戏使用专用服务器应用，其从玩家收集数据并且向其他玩家分发所述数据。这比对等布置更高效和有效，但是其使用单独的服务器来操控服务器应用。在另一实施例中，GPS 2210在玩家之间建立通信，且它们的相应玩游戏装置在不依赖于集中的GPS的情况下交换信息。
在一些实施例中，专用GPS是与客户端独立地运行的服务器。此类服务器在位于数据中心的专用硬件上运行，从而提供更多的带宽和专用的处理能力。专用服务器是针对大多数便携式基于计算机(基于PC)的多玩家游戏来操控游戏服务器的方法。大量多玩家在线游戏在通常由拥有游戏标题的软件公司操控的专用服务器上运行，从而允许它们控制和更新内容。
广播处理服务器(BPS)2212向听众分发音频或视频信号。向较窄范围的听众进行广播有时被称为窄播。广播分发的最后一站是信号如何到达听众或观看者，并且与无线电台或TV台一样在空中由天线和接收器接收，或者经由所述台通过有线电视(TV)或缆线无线电(或“无线缆线”)或者从计算机网络直接地接收。在一些实施例中，计算机网络尤其通过多播将无线电或TV带给接收者，从而允许共享信号和带宽。在历史上，广播已经受到地理地域定界，例如国家广播或地区广播。然而，随着快速因特网的扩散，广播不受地理位置界定，因为交互性内容能够到达世界的几乎任何国家。
存储服务提供商(SSP)214提供计算机存储空间和相关的管理服务。SSP还提供周期性备份和存档。通过将存储提供为服务，用户2204-1、2204-2、2204-3和2204-4按需定购更多的存储。另一主要的优势是SSP包括备份服务，且用户在他们的计算机的硬盘驱动器失效的情况下将不会失去所有他们的数据。此外，多个SSP可以具有用户数据的全部或部分的副本，从而允许用户2204-1、2204-2、2204-3和2204-4与用户110所处的地方或在哪里使用装置访问数据无关地以高效的方式访问数据。举例来说，用户110在用户110移动的同时访问家用计算机中以及移动电话中的个人文件。
通信提供商2216提供到用户2204-1、2204-2、2204-3和2204-4的连接性。一种通信提供商是因特网服务提供商，其提供对计算机网络的访问。ISP使用对于递送因特网协议数据报适当的数据传输技术(例如，拨号、数字订户线(DSL)、缆线调制解调器、光纤、无线或专用高速互连)来连接其客户。在一些实施例中，通信提供商2216还提供消息接发服务，例如电子邮件、即时消息接发和短消息服务(SMS)文本。另一类型的通信提供商是网络服务供应者(NSP)，其通过提供对计算机网络的直接主干访问而出售带宽或网络访问。网络服务提供商的实例包括电信公司、数据运营商、无线通信提供商、因特网服务提供商、提供高速因特网访问的有线电视经营商等。
数据交换2218将ISP 2202内部的若干模块互连，且经由网络2206将这些模块连接到用户2204-1、2204-2、2204-3和2204-4。数据交换2218覆盖其中ISP 2202的所有模块紧密接近的较小的区域，或者当不同的模块在地理上分散时覆盖较大的地理区域。举例来说，数据交换2218包括数据中心的机柜内的快速千兆位以太网(或更快)，或洲际虚拟区域网络(VLAN)。
用户2204-1、2204-2、2204-3和2204-4使用对应的客户端装置2220访问远程服务，所述客户端装置中的每一者包括至少CPU、显示器和I/O。客户端装置的实例包括PC、移动电话、上网本、平板计算机、游戏系统、HMD、个人数字助理(PDA)、游戏控制台等。在一个实施例中，ISP 2202辨识客户端所使用的装置的类型，且调整所采用的通信方法。在其他情况下，客户端装置2220使用标准的通信方法(例如，HTTP)来访问ISP 2202。
应注意，虽然上文参考用户110(图1)的身体部分的空间位置描述了一些实施例，但在一些实施例中，所述实施例还适用于与身体部分相关联的空间位置，例如，位置装置的空间位置、身体部分的空间位置等。位置装置的实例包括手持式控制器、操纵杆、PlayStation MoveTM控制器、手套控制器等。手套控制器的实例包括手套108A和手套108B(图1)。
使用各种计算机系统配置来实践本公开的实施例，包括手持式装置、微处理器系统、基于微处理器或可编程的消费者电子器件、小型计算机、主机计算机和类似者。本公开的若干实施例还可以在分布式计算环境中实践，其中通过经由基于电线的或无线的网络链接的远程处理装置来执行任务。
在了解了以上实施例的情况下，应理解，本公开的若干实施例采用涉及计算机系统中存储的数据的各种计算机实施的操作。这些操作是涉及对物理量的物理操纵的操作。形成本公开的各种实施例的部分的本文中所描述的操作中的任一者是有用的机器操作。本公开的若干实施例还涉及用于执行这些操作的装置或设备。所述设备被特别构造成用于所需的目的，或者所述设备是由计算机中存储的计算机程序选择性地激活或配置的通用计算机。在一些实施例中，各种通用机器与根据本文的教导而编写的计算机程序一起使用，或者构造更专门的设备来执行所需的操作会更加便利。
本公开的各种实施例被体现为非暂时性计算机可读媒体上的计算机可读代码。非暂时性计算机可读媒体是可以存储数据的任何数据存储装置，所述数据其后由计算机系统读取。非暂时性计算机可读媒体的实例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器(ROM)、随机存取存储器、压缩光盘-ROM(CD-ROM)、CD-可录(CD-R)、CD-可重写(RW)、磁带，和其他光学和非光学数据存储装置。在一些实施例中，非暂时性计算机可读媒体包括计算机可读有形媒体，其分布在网络耦合的计算机系统上，使得计算机可读代码以分布的方式存储和执行。
在一些实施例中，上文描述的实施例中的任一者与上文描述的剩余实施例中的任一者进行组合。
虽然以特定次序描述方法操作，但应理解，在一些实施例中，其他内务操作是在操作之间执行的，或者对操作进行调整，使得它们在略微不同的时间出现，或者分布在系统中，其允许处理操作以与处理相关联的各种间隔出现，只要是以所要的方式执行覆盖操作的处理即可。
虽然已经出于理解清楚起见而在本公开中稍微详细地描述了各种实施例，但将明白，在所附权利要求书的范围内实践某些改变和修改。因此，本实施例将被视为说明性而非限制性的，且本公开中描述的各种实施例不限于本文给出的细节，而是在所附权利要求书的范围和等效物内修改。

Claims (20)

1.一种方法，其包括：
发送交互性数据以便在头戴式显示器(HMD)上再现，所述HMD被配置成用于附接到用户的头部以便玩游戏；
在所述用户佩戴所述HMD且所述HMD再现交互性内容时，接收与所述用户的身体部分相关联的图像数据；
从与所述用户的所述身体部分相关联的所述图像数据跟踪与所述用户的所述身体部分相关联的空间位置；以及
针对所述HMD的再现状态且针对与所述身体部分相关联的所述空间位置，控制远程控制的装置(RCD)的位置，以便将所述RCD放置成接近与所述身体部分相关联的所述空间位置，其中在所述HMD中将所述RCD在与所述用户的身体部分相关联的所述空间位置处的物理放置再现为与所述交互性内容中的物体的虚拟接触。
2.如权利要求1所述的方法，其进一步包括：
确定在所述交互性内容内显示的所述物体的空间位置；
确定所述身体部分的表示的空间位置，在所述交互性内容内显示所述身体部分的所述表示；
确定所述身体部分的所述表示的所述空间位置是否在所述物体的所述空间位置的预先确定的范围内，
其中在所述身体部分的所述表示的所述空间位置在所述物体的所述空间位置的所述预先确定的范围内时，执行控制所述RCD的所述位置。
3.如权利要求1所述的方法，其进一步包括将在所述图像数据内表示的所述身体部分的位置缩放到与所述用户所处的现实世界内的所述身体部分相关联的所述空间位置。
4.如权利要求1所述的方法，其中与所述身体部分相关联的所述图像数据包括从捕获所述身体部分的图像或者附接到所述身体部分的位置装置的图像的图像捕获装置接收的图像数据。
5.如权利要求1所述的方法，其中所述身体部分包括所述用户的手或腿或所述头部。
6.如权利要求1所述的方法，其中当所述用户佩戴所述HMD且所述HMD再现所述交互性内容时接收与所述用户的所述身体部分相关联的图像数据包括：在所述HMD显示所述交互性内容且所述用户佩戴所述HMD时从图像捕获装置接收所述图像数据。
7.如权利要求1所述的方法，其中从所述图像数据跟踪与所述身体部分相关联的所述空间位置包括：从现实世界环境中的参考点确定所述身体部分或附接到所述身体部分的位置装置的x、y和z坐标。
8.如权利要求1所述的方法，其中所述交互性数据包括用于再现虚拟游戏的图像数据。
9.如权利要求1所述的方法，其中所述HMD的所述再现状态是基于交互性程序的状态，执行所述交互性程序以便产生所述交互性数据，进一步再现所述交互性数据以便显示所述交互性内容。
10.如权利要求1所述的方法，其中所述交互性内容包括虚拟现实场景，或增强现实场景，或视频，或流式传输数据。
11.如权利要求1所述的方法，其中所述RCD包括无人机，或机器人，或健身器。
12.如权利要求1所述的方法，其中在所述RCD的接触表面触及所述身体部分或附接到所述身体部分的位置装置时，所述RCD接近与所述身体部分相关联的所述空间位置。
13.如权利要求1所述的方法，其中在所述RCD的接触表面具有与所述身体部分或附接到所述身体部分的位置装置的位置相同的位置时，所述RCD接近与所述身体部分相关联的所述空间位置。
14.如权利要求1所述的方法，其中在所述RCD的接触表面在所述身体部分或附接到所述身体部分的位置装置的预先确定的距离内时，所述RCD接近与所述身体部分相关联的所述空间位置。
15.一种系统，其包括：
头戴式显示器(HMD)，其用于显示游戏，所述头戴式显示器用于安装在用户的头部上以便玩所述游戏；以及
游戏控制台，其耦合到所述头戴式显示器，所述游戏控制台包括用于以下操作的游戏处理器：
发送交互性内容以便在所述HMD中再现；
在所述用户佩戴所述HMD且所述HMD再现所述交互性内容时，接收与所述用户的身体部分相关联的图像数据；
从所述图像数据跟踪与所述用户的所述身体部分相关联的空间位置；
基于所述HMD的当前再现状态和与所述身体部分相关联的所述空间位置而产生指令；以及
将所述指令发送到远程控制的装置(RCD)以便控制所述RCD的位置，从而将所述RCD放置成接近与所述身体部分相关联的所述空间位置，其中在所述HMD中将所述RCD在与所述用户的身体部分相关联的所述空间位置处的物理放置再现为与所述交互性内容中的物体的虚拟接触。
16.如权利要求15所述的系统，其中所述游戏处理器用于：
确定在所述交互性内容内显示的所述物体的空间位置；
确定所述身体部分的表示的空间位置，在所述交互性内容内显示所述表示；以及
确定所述身体部分的所述表示的所述空间位置是否在所述物体的所述空间位置的预先确定的范围内，
其中在所述身体部分的所述表示的所述空间位置在所述物体的所述空间位置的所述预先确定的范围内时，执行发送所述指令以便控制所述RCD的所述位置。
17.如权利要求15所述的系统，其中所述游戏处理器用于：
从所述图像数据确定所述身体部分的表示的空间位置；
使所述图像数据中的所述身体部分的所述表示的所述空间位置与所述交互性内容中的所述身体部分的表示的空间位置相关联；
确定所述交互性内容中的虚拟物体的空间位置；
确定所述交互性内容中的所述身体部分的所述表示的所述空间位置是否在所述交互性内容中的所述虚拟物体的所述空间位置的预先确定的距离内，
其中在所述交互性内容中的所述身体部分的所述表示的所述空间位置在所述交互性内容中的所述虚拟物体的所述空间位置的所述预先确定的范围内时，执行发送所述指令以便控制所述RCD的所述位置。
18.如权利要求15所述的系统，其中所述RCD包括无人机，或机器人，或健身器。
19.一种远程控制的装置(RCD)，其包括：
通信电路，其用于从游戏控制台接收指令；
机械组件；
接触表面；以及
位置控制器，其耦合到所述机械组件和所述通信电路，所述位置控制器用于基于所述指令而控制所述接触表面的位置，所述位置控制器用于控制所述机械组件以便进一步控制所述接触表面的所述位置，所述位置控制器用于在玩游戏期间控制所述接触表面的所述位置以便将所述接触表面放置成接近与用户的身体部分相关联的空间位置，所述游戏具有交互性内容，其中在头戴式显示器(HMD)中将所述接触表面在与所述用户的所述身体部分相关联的所述空间位置处的物理放置再现为与所述交互性内容中的物体的虚拟接触。
20.如权利要求19所述的RCD，其中所述机械组件包括机械臂，或无人机的推进器，或健身器的扶手。
CN201580043581.XA 2014-08-19 2015-07-28 用于在与内容交互时向用户提供反馈的系统和方法 Active CN106664401B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462039374P 2014-08-19 2014-08-19
US62/039,374 2014-08-19
US14/503,275 2014-09-30
US14/503,275 US9746984B2 (en) 2014-08-19 2014-09-30 Systems and methods for providing feedback to a user while interacting with content
PCT/US2015/042540 WO2016028450A1 (en) 2014-08-19 2015-07-28 Systems and methods for providing feedback to a user while interacting with content

Publications (2)

Publication Number Publication Date
CN106664401A true CN106664401A (zh) 2017-05-10
CN106664401B CN106664401B (zh) 2019-07-26

Family

ID=55348307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580043581.XA Active CN106664401B (zh) 2014-08-19 2015-07-28 用于在与内容交互时向用户提供反馈的系统和方法

Country Status (4)

Country Link
US (2) US9746984B2 (zh)
EP (1) EP3183042B1 (zh)
CN (1) CN106664401B (zh)
WO (1) WO2016028450A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277494A (zh) * 2017-08-11 2017-10-20 北京铂石空间科技有限公司 立体显示系统及方法
CN107291103A (zh) * 2017-08-07 2017-10-24 联想(北京)有限公司 一种控制方法和电子设备
CN108452521A (zh) * 2018-01-18 2018-08-28 安徽三弟电子科技有限责任公司 一种基于vr虚拟现实的游戏系统
CN108475064A (zh) * 2017-05-16 2018-08-31 深圳市大疆创新科技有限公司 用于设备控制的方法、设备和计算机可读存储介质
CN110135841A (zh) * 2018-02-08 2019-08-16 触信（厦门）智能科技有限公司 一种基于全景vr的区块链货币转移方法
CN111565810A (zh) * 2018-01-15 2020-08-21 环球城市电影有限责任公司 本地交互系统和方法
TWI706594B (zh) * 2017-11-22 2020-10-01 美商谷歌有限責任公司 具有重複單位格之平面射頻天線
CN112424728A (zh) * 2018-07-20 2021-02-26 索尼公司 信息处理装置、信息处理方法和程序
CN112527008A (zh) * 2020-12-21 2021-03-19 福州大学 基于低复杂度规定性能的作业型飞行机器人控制方法
CN112915549A (zh) * 2019-12-06 2021-06-08 丰田自动车株式会社 图像处理装置、显示系统、记录介质以及图像处理方法
CN113302575A (zh) * 2018-08-17 2021-08-24 S·希特曼 增强现实娃娃

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026165B1 (en) * 2011-07-05 2018-07-17 Bernard Fryshman Object image recognition and instant active response
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
KR102236203B1 (ko) * 2014-05-27 2021-04-05 삼성전자주식회사 서비스를 제공하는 방법 및 그 전자 장치
CN106797438B (zh) * 2014-10-17 2020-03-06 索尼公司 控制设备、控制方法和飞行器设备
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9659411B2 (en) * 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US10459524B2 (en) * 2015-04-14 2019-10-29 Northrop Grumman Systems Corporation Multi-sensor control system and method for remote signaling control of unmanned vehicles
US10328852B2 (en) * 2015-05-12 2019-06-25 University Of North Dakota Systems and methods to provide feedback to pilot/operator by utilizing integration of navigation and physiological monitoring
US9836117B2 (en) * 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US10721280B1 (en) * 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US20170038829A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
US9901816B2 (en) * 2015-08-24 2018-02-27 Htc Corporation Interactive game system with an HMD and a ground pad
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US11263461B2 (en) * 2015-10-05 2022-03-01 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
WO2017064926A1 (ja) * 2015-10-15 2017-04-20 ソニー株式会社 情報処理装置及び情報処理方法
US10133343B2 (en) * 2015-12-02 2018-11-20 Tactonic Tecnologies, LLC Foot operated navigation and interaction for virtual reality experiences
US20170185142A1 (en) * 2015-12-25 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method, system and smart glove for obtaining immersion in virtual reality system
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US10682574B2 (en) * 2016-03-23 2020-06-16 Intel Corporation Immersive gaming
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
US9916496B2 (en) * 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10289207B1 (en) * 2016-05-03 2019-05-14 Charles Henry Alastair Sainty Methods and systems for hands free control in a virtual world
US10455215B2 (en) * 2016-06-22 2019-10-22 International Business Machines Corporation System, method, and recording medium for a closed-loop immersive viewing technology coupled to drones
US10709975B2 (en) * 2016-06-29 2020-07-14 Intel Corporation Systems and methods for manipulating a virtual object
KR102593344B1 (ko) 2016-07-06 2023-10-25 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치의 화면 제어 방법
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
JP6612700B2 (ja) * 2016-09-09 2019-11-27 合同会社ユー・エス・ジェイ 仮想現実装置
US10659279B2 (en) * 2016-10-04 2020-05-19 Htc Corporation Method and device for displaying video corresponding to physical object
US10593116B2 (en) * 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
CN106528020B (zh) * 2016-10-26 2019-05-31 腾讯科技（深圳）有限公司 一种视角模式切换方法及终端
CN118034499A (zh) * 2016-12-21 2024-05-14 瑞典爱立信有限公司 用于处理触觉反馈的方法和装置
GB2558278A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Virtual reality
EP4270325A3 (en) * 2017-01-09 2023-12-20 Snap Inc. Augmented reality object manipulation
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10726574B2 (en) * 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US20190007726A1 (en) * 2017-06-30 2019-01-03 Intel Corporation Audio, video, and actuation (a/v/a) synchronization for mixed reality
EP3649429A4 (en) * 2017-07-07 2021-04-14 Gameface Labs Inc. SYSTEMS AND PROCEDURES FOR POSITION AND LAYING DETERMINATION AND MONITORING
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
JP7005224B2 (ja) * 2017-08-22 2022-01-21 キヤノン株式会社 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
US10362299B1 (en) * 2017-08-28 2019-07-23 Disney Enterprises, Inc. System for introducing physical experiences into virtual reality (VR) worlds
US10675766B1 (en) 2017-08-28 2020-06-09 Disney Enterprises, Inc. System for introducing physical experiences into virtual reality (VR) worlds
US10777008B2 (en) * 2017-08-31 2020-09-15 Disney Enterprises, Inc. Drones generating various air flow effects around a virtual reality or augmented reality user
US10926056B2 (en) * 2017-09-14 2021-02-23 Advanced Micro Devices, Inc. Method, apparatus and system for mitigating motion sickness in a virtual reality environment
US11262838B2 (en) * 2018-01-30 2022-03-01 Sony Corporation Information processing device and information processing method
JP6908573B2 (ja) * 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US10981052B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
CN108536300B (zh) * 2018-04-16 2020-07-24 京东方科技集团股份有限公司 可穿戴设备、电子系统及设备、触感反馈方法及存储介质
US10845879B2 (en) * 2018-05-02 2020-11-24 Intel IP Corporation Deformable objects for haptic feedback
CN112106020B (zh) * 2018-05-03 2024-05-10 苹果公司 用于合成现实布景的声音处理的方法和设备
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
GB2575096B (en) 2018-06-29 2021-12-15 Sony Interactive Entertainment Inc Motion restriction system and method
CN108958507A (zh) * 2018-07-03 2018-12-07 芜湖瑞芬莱网络科技有限公司 一种ar设备用控制指环
CN109842849A (zh) * 2018-07-20 2019-06-04 上海赋锦信息技术有限公司 一种机场轮挡及人员定位系统
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US10912995B2 (en) * 2018-10-09 2021-02-09 Ivan Mauricio Buritica Suarez System and method for emulating an electronic game to play in a physical gaming environment
CN111045209A (zh) * 2018-10-11 2020-04-21 光宝电子(广州)有限公司 使用无人机的旅游系统与方法
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
FR3092416B1 (fr) * 2019-01-31 2022-02-25 Univ Grenoble Alpes Système et procédé d’interaction avec des robots dans des applications de réalité mixte
SE543332C2 (en) 2019-02-19 2020-12-01 Tobii Ab Method, computer program and head mountable arrangement for assisting a subject to acquire spatial information about an environment
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
US10978019B2 (en) 2019-04-15 2021-04-13 XRSpace CO., LTD. Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
EP3734415A1 (en) * 2019-04-30 2020-11-04 XRSpace CO., LTD. Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
FR3096470A1 (fr) * 2019-06-18 2020-11-27 Orange Procédé de génération d'une représentation virtuelle d'un environnement réel, dispositifs et système correspondant.
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US20230259197A1 (en) * 2020-07-02 2023-08-17 VirtuReal Pty Ltd A Virtual Reality System
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US20220314112A1 (en) * 2021-04-06 2022-10-06 Sony Interactive Entertainment LLC Adjustable robot for providing scale of virtual assets and identifying objects in an interactive scene
US20220409996A1 (en) * 2021-06-24 2022-12-29 Microsoft Technology Licensing, Llc Mobile Haptic Robots
JP2022160980A (ja) * 2021-07-26 2022-10-20 任天堂株式会社 スポーツゲームシステム、スポーツゲームプログラム、スポーツゲーム装置、およびスポーツゲーム処理方法
CN114768242A (zh) * 2022-04-07 2022-07-22 武狄实业(上海)有限公司 一种电竞娱乐系统
CN115097984B (zh) * 2022-06-22 2024-05-17 北京字跳网络技术有限公司 交互方法、装置、电子设备和存储介质
US20240071000A1 (en) * 2022-08-25 2024-02-29 Snap Inc. External computer vision for an eyewear device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6152854A (en) * 1996-08-27 2000-11-28 Carmein; David E. E. Omni-directional treadmill
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
CN103116451A (zh) * 2013-01-25 2013-05-22 腾讯科技（深圳）有限公司 一种智能终端的虚拟角色交互方法、装置和系统
CN103635869A (zh) * 2011-06-21 2014-03-12 英派尔科技开发有限公司 用于增强现实的基于手势的用户接口
CN103785169A (zh) * 2013-12-18 2014-05-14 微软公司 混合现实的竞技场

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5890995A (en) * 1993-02-02 1999-04-06 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
EP1712981A1 (en) 2005-04-15 2006-10-18 Herman Bailey Interactive augmented reality system
KR20080098464A (ko) * 2007-05-05 2008-11-10 전홍석 로봇 팔에 헬멧장착표시기를 부착한 가상현실장치
US20130176192A1 (en) 2011-09-30 2013-07-11 Kenneth Varga Extra-sensory perception sharing force capability and unknown terrain identification system
JP2010231290A (ja) * 2009-03-26 2010-10-14 National Institute Of Advanced Industrial Science & Technology 頭部運動による入力装置及び方法
WO2010148078A2 (en) 2009-06-16 2010-12-23 Simquest Llc Hemorrhage control simulator
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9298985B2 (en) 2011-05-16 2016-03-29 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
US8690750B2 (en) 2010-05-14 2014-04-08 Wesley W. O. Krueger System and method for measuring and minimizing the effects of vertigo, motion sickness, motion intolerance, and/or spatial disorientation
US9056240B2 (en) * 2012-03-09 2015-06-16 Matthew Carrell Apparatus for simulating motion in a virtual environment
US20130342572A1 (en) 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
GB2507097A (en) * 2012-10-19 2014-04-23 Sony Corp Providing customised supplementary content to a personal user device
WO2015109145A1 (en) 2014-01-17 2015-07-23 Osterhout Group, Inc. See-through computer display systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6152854A (en) * 1996-08-27 2000-11-28 Carmein; David E. E. Omni-directional treadmill
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
CN103635869A (zh) * 2011-06-21 2014-03-12 英派尔科技开发有限公司 用于增强现实的基于手势的用户接口
CN103116451A (zh) * 2013-01-25 2013-05-22 腾讯科技（深圳）有限公司 一种智能终端的虚拟角色交互方法、装置和系统
CN103785169A (zh) * 2013-12-18 2014-05-14 微软公司 混合现实的竞技场

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475064A (zh) * 2017-05-16 2018-08-31 深圳市大疆创新科技有限公司 用于设备控制的方法、设备和计算机可读存储介质
CN107291103A (zh) * 2017-08-07 2017-10-24 联想(北京)有限公司 一种控制方法和电子设备
CN107277494A (zh) * 2017-08-11 2017-10-20 北京铂石空间科技有限公司 立体显示系统及方法
TWI706594B (zh) * 2017-11-22 2020-10-01 美商谷歌有限責任公司 具有重複單位格之平面射頻天線
CN111565810A (zh) * 2018-01-15 2020-08-21 环球城市电影有限责任公司 本地交互系统和方法
CN111565810B (zh) * 2018-01-15 2023-04-18 环球城市电影有限责任公司 本地交互系统和方法
CN108452521A (zh) * 2018-01-18 2018-08-28 安徽三弟电子科技有限责任公司 一种基于vr虚拟现实的游戏系统
CN110135841A (zh) * 2018-02-08 2019-08-16 触信（厦门）智能科技有限公司 一种基于全景vr的区块链货币转移方法
CN112424728A (zh) * 2018-07-20 2021-02-26 索尼公司 信息处理装置、信息处理方法和程序
CN113302575A (zh) * 2018-08-17 2021-08-24 S·希特曼 增强现实娃娃
CN112915549A (zh) * 2019-12-06 2021-06-08 丰田自动车株式会社 图像处理装置、显示系统、记录介质以及图像处理方法
CN112915549B (zh) * 2019-12-06 2024-03-08 丰田自动车株式会社 图像处理装置、显示系统、记录介质以及图像处理方法
CN112527008A (zh) * 2020-12-21 2021-03-19 福州大学 基于低复杂度规定性能的作业型飞行机器人控制方法
CN112527008B (zh) * 2020-12-21 2023-05-02 福州大学 基于低复杂度规定性能的作业型飞行机器人控制方法

Also Published As

Publication number Publication date
US20170322655A1 (en) 2017-11-09
WO2016028450A1 (en) 2016-02-25
CN106664401B (zh) 2019-07-26
EP3183042A1 (en) 2017-06-28
EP3183042B1 (en) 2021-06-02
US20160054837A1 (en) 2016-02-25
US9746984B2 (en) 2017-08-29
US10228811B2 (en) 2019-03-12

Similar Documents

Publication Publication Date Title
CN106664401B (zh) 用于在与内容交互时向用户提供反馈的系统和方法
EP3682307B1 (en) Robot as personal trainer
US11724177B2 (en) Controller having lights disposed along a loop of the controller
US20230293994A1 (en) Head Mounted Displays (HMDs) With Front Facing Cameras for Transitioning Between Non-Transparent Modes and Transparent Modes
JP6538897B2 (ja) 空間感知を備えるゲーム機
TWI594174B (zh) 頭戴顯示器之追蹤系統、方法及裝置
CN109475774B (zh) 虚拟现实环境中的视图位置处的观众管理
EP3347795B1 (en) Tactile interaction in virtual environments
US20170308166A1 (en) Signal generation and detector systems and methods for determining positions of fingers of a user
CN103930180B (zh) 对游戏控制器校准和偏置的系统和方法
US10166477B2 (en) Image processing device, image processing method, and image processing program
CN104759095A (zh) 一种虚拟现实头戴显示系统
CN101484933A (zh) 基于一个或多个视觉的、听觉的、惯性的和混合的数据来应用传动效应到输入的方法和设备
CN104010706A (zh) 视频游戏的方向输入
CN110832442A (zh) 注视点渲染系统中的优化的阴影和自适应网状蒙皮
Greuter et al. Spacewalk: Movement and interaction in virtual space with commodity hardware
Loviscach Playing with all senses: Human–Computer interface devices for games
Pereira et al. Contributions of sensor networks to improve gaming experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant