CN107407965A - 连接至移动计算设备的虚拟现实头戴设备 - Google Patents

连接至移动计算设备的虚拟现实头戴设备 Download PDF

Info

Publication number
CN107407965A
CN107407965A CN201680014601.5A CN201680014601A CN107407965A CN 107407965 A CN107407965 A CN 107407965A CN 201680014601 A CN201680014601 A CN 201680014601A CN 107407965 A CN107407965 A CN 107407965A
Authority
CN
China
Prior art keywords
computing device
mobile computing
helmets
screen
spaces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680014601.5A
Other languages
English (en)
Inventor
安德鲁·纳尔特克尔
小克莱顿·伍德沃德·巴沃尔
亚历山大·詹姆斯·法堡
格伦·墨菲
安德烈·多罗尼切夫
克里斯蒂安·普拉格曼
陈世琦
乔恩·迈克尔·威利
曼纽尔·克里斯蒂安·克莱蒙特
墨菲·斯泰因
塞缪尔·马克·马特森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107407965A publication Critical patent/CN107407965A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/3833—Hand-held transceivers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在一个总体方面，一种用于提供虚拟现实(VR)空间的系统可以包括移动计算设备，以及操作耦合至所述移动计算设备且包括屏幕的VR头戴设备。所述移动计算设备可以被配置为执行VR应用，以及提供内容以便在VR空间中在所述VR头戴设备的屏幕上进行显示。

Description

连接至移动计算设备的虚拟现实头戴设备
相关申请的交叉引用
本申请要求于2016年02月24日提交的题为“VIRTUAL REALITY HEADSETCONNECTED TO A MOBILE COMPUTING DEVICE”的美国非临时专利申请No.15/052,054的优先权，并且作为该美国非临时专利申请No.15/052,054的继续申请，上述申请的公开的全部内容通过引用合并于此。本申请依据35U.S.C.§119(e)(1)要求于2015年03月09日提交的美国临时申请序列号No.62/130,602的优先权，上述申请的全部内容被合并于此。
技术领域
本公开总体上涉及移动计算设备在虚拟现实(VR)空间中的使用。
背景技术
通常，虚拟现实能够将人包围和沉浸在计算机生成的三维(3D)环境之中。人能够通过与具体电子设备进行交互和/或以物理方式穿戴具体电子设备来进入该环境。示例电子设备可以包括但并不局限于包括屏幕的头盔、用户在查看屏幕(例如，显示设备或监视器)时看过去的眼镜或护目镜、配备有传感器的手套、以及包括传感器的外部手持设备。一旦人进入了VR空间，此人就能够以对其而言似乎真实的方式(例如，物理方式)与该3D环境进行交互。
发明内容
在一个总体方面，一种用于提供虚拟现实(VR)空间的系统可以包括移动计算设备，以耦合至该移动计算设备且包括屏幕的VR头戴设备。该移动计算设备可以被配置为执行VR应用，以及提供内容以便在VR空间中在该VR头戴设备的屏幕上进行显示。
示例实施方式可以包括以下特征中的一个或多个。例如，所述移动计算设备可以使用系带式有线连接耦合至所述VR头戴设备。所述系带式有线连接可以包括被配置为确定所述移动计算设备的位置的形状感应线缆。所述移动计算设备可以使用无线连接耦合至所述VR头戴设备。所述VR头戴设备可以包括另一个移动计算设备。包括在所述VR头戴设备中所包括的另一个移动计算设备中的显示设备可以是屏幕。所述另一个计算设备可以被配置为对所提供的内容进行渲染以便在所述显示设备上进行显示。所述VR头戴设备可以进一步包括被配置为确定所述移动计算设备的位置的位置检测设备。所述位置检测设备可以是相机。所述移动计算设备可以包括显示设备。所述移动计算设备可以进一步被配置为在所述显示设备上显示快速响应(QR)码。所述相机可以检测在所述移动计算设备的显示设备上显示的QR码的定向。所述位置检测设备可以是被配置为检测来自多个红外(IR)发光二极管(LED)的输出的IR传感器。所述系统可以进一步包括可以容纳所述移动计算设备的壳体。所述壳体可以包括多个IR LED。所述移动计算设备可以被置于所述壳体中。所述VR应用可以基于对来自所述多个IR LED的输出的检测来确定所述移动计算设备的位置。所述移动计算设备可以包括触摸屏。所述多个IR LED可以位于所述触摸屏后面。所述VR应用可以基于对来自所述多个IR LED的输出的检测来确定所述移动计算设备的位置。所述多个IR LED可以被嵌入在所述触摸屏内。所述VR应用可以基于对来自所述多个IR LED的输出的检测来确定所述移动计算设备的位置和定向。
在另一个总体方面，一种用于提供虚拟现实(VR)空间的方法可以包括将移动计算设备操作耦合至包括屏幕的VR头戴设备，由所述移动计算设备执行VR应用，以及由所述计算设备提供内容以便在VR空间中在所述VR头戴设备的屏幕上进行显示。
示例实施方式可以包括以特征中的一个或多个。例如，所述方法可以进一步包括基于所检测到的所述移动计算设备的位置对所述移动计算设备的一个方面进行渲染以便包括在VR空间中，以及将所述移动计算设备被渲染的方面与所述内容进行整合以便在所述VR头戴设备的屏幕上进行显示。所述方法可以进一步包括检测用户与所述移动计算设备的交互，以及基于所检测到的交互改变所述内容以便在所述VR头戴设备的屏幕上进行显示。提供内容以便在VR空间中在所述VR头戴设备的屏幕上进行显示可以包括由所述移动计算设备对所述移动计算设备的一个方面进行渲染以便包括在所述VR空间中，以及将所述移动计算设备被渲染的方面与所述内容进行整合以便作为整合内容在所述VR空间中进行显示。所述移动计算设备被渲染的方面可以与在所述移动计算设备中所包括的显示设备上显示的内容不同。
在又另一个总体方面，一种非暂时性的机器可读介质具有存储于其上的指令。所述指令在被处理器执行时能够使得移动计算设备与耦合至所述移动计算设备的VR头戴设备操作对接，所述VR头戴设备包括屏幕，执行VR应用，以及提供内容以便在虚拟现实(VR)空间中在所述VR头戴设备的屏幕上进行显示。
示例实施方式可以包括以下特征中的一个或多个。例如，所述指令在被处理器执行时能够进一步使得移动计算设备基于所检测到的所述移动计算设备的位置对所述移动计算设备的一个方面进行渲染以便包括在VR空间中，以及将所述移动计算设备被渲染的方面与内容进行整合以便在所述VR头戴设备的屏幕上进行显示。所述指令在被处理器执行时能够进一步使得移动计算设备检测用户与所述移动计算设备的交互，以及基于所检测到的交互改变所述内容以便在所述VR头戴设备的屏幕上进行显示。
在以下附图和描述中给出一种或多种实施方式的细节。根据描述和附图以及权利要求，其它特征将会是显而易见的。
附图说明
图1是图示其中用户与移动计算设备上的内容进行交互的系统的示图。
图2是图示其中计算设备充当内容的提供方以及内容的控制器的在显示设备或监视器上显示内容的系统的示图。
图3A是图示将移动计算设备连接至VR头戴设备的示图。
图3B是图示用户在他们准备戴上VR头戴设备时拿住所述VR头戴设备的示图。
图3C是图示用户在将移动计算设备拿在VR头戴设备前方的同时将所述VR头戴设备放在用户眼睛上方的示图。
图4A是图示用户能够在VR头戴设备的屏幕上查看的第一图像的示图。
图4B是图示用户在他们在VR头戴设备的屏幕上查看第一图像时的示图。
图5A是图示用户能够在VR头戴设备的屏幕上查看的第二图像的示图。
图5B是图示用户在他们在VR头戴设备的屏幕上查看第二图像时的示图。
图6A是图示用户能够在VR头戴设备的屏幕上查看的第三图像的示图。
图6B是图示用户在他们在VR头戴设备的屏幕上查看第三图像时的示图。
图7A是图示用户能够在VR头戴设备的屏幕上查看的第四图像的示图。
图7B是图示用户在他们在VR头戴设备的屏幕上查看第四图像时的示图。
图8A是图示用户与计算系统进行交互的示图。
图8B是图示用户在他们查看膝上计算设备时的示图。
图8C是图示用户能够在VR头戴设备的屏幕上查看的第五图像的示图。
图8D是图示用户能够在VR头戴设备的屏幕上查看的第六图像的示图。
图9是图示用于将计算设备在计算机生成的3D环境(VR空间)中进行对接的方法的流程图。
图10示出了能够被用来实施本文所描述的技术的计算机设备和移动计算机设备的示例。
各图中同样的附图标记指示同样的要素。
具体实施方式
在一些实施方式中，用户(人)可能想要使用他们已经拥有的一个或多个计算设备，并且将它们用于其它目的以便与计算机生成的3D环境进行对接。示例计算设备可以包括但并不局限于移动计算设备，诸如移动电话、平板计算机、笔记本计算机或膝上计算机。例如，用户能够带上VR头戴设备或其它VR设备以便查看(进入)计算机生成的3D环境(VR空间)。在一些实施方式中，VR设备可以包括能够执行VR应用的移动计算设备。在这些实施方式中，移动计算设备提供了用户在与计算机生成的3D环境进行交互时所查看的屏幕。VR应用的非限制性示例可以是电影、游戏，或者地理位置的虚拟航空或街道水平的巡游(例如，城市的街道级别巡游、博物馆巡游)。
在一些实施方式中，移动计算设备能够对接/连接至VR头戴设备。在一些实施方式中，移动计算设备能够执行VR应用。此外，在这些情况下，移动计算设备能够在VR空间中与计算机生成的3D环境进行对接。在这些实施方式中，VR头戴设备包括屏幕。在一些实施方式中，VR头戴设备能够使用一种或多种高速有线和/或无线通信协议(例如，WiFi、蓝牙、蓝牙低功耗(LE)、通用串行总线(USB)、USB 3.0、USB Type-C，等等)连接至移动计算设备/与移动计算设备进行通信。附加地或替选地，VR头戴设备能够使用诸如高清多媒体接口(HDMI)的音频/视频接口与移动计算设备进行连接/通信。在一些实施方式中，在VR头戴设备中所包括的屏幕上为用户显示的内容也可以在移动计算设备中所包括的显示设备上进行显示。这允许其他人看到用户可以在VR空间中进行怎样的交互。
一旦用户进入了VR空间，所述用户就能够直接在所述VR空间中与移动计算设备进行交互。在一些实施方式中，移动计算设备能够用作VR空间中的控制器。控制器可以是VR剑、VR指针设备、VR发射器、VR触摸键盘，或者与计算机生成的3D环境相关的一些其它类型的控制器。在一些实施方式中，移动计算设备也可以被用作与计算机生成的3D环境相关的接口设备，诸如相机或剑。在这些实施方式中，用户能够以与计算机生成的3D环境相关的操作模式在VR空间中与移动计算设备进行交互。
移动计算设备上所包括的一个或多个传感器能够向VR空间提供输入。传感器可以包括但并不局限于触摸屏、加速计、陀螺仪、压力传感器、生物计量传感器、温度传感器、湿度传感器和外部光线传感器。移动计算设备能够使用所述传感器来确定移动计算设备的绝对位置和/或检测移动计算设备的旋转，它们随后能够被用作针对VR空间的输入。例如，移动计算设备可以作为激光指示器或剑而被整合到VR空间中。用户在移动计算设备被整合到VR空间中时对所述移动计算设备的定位能够允许用户在VR空间中定位所述激光指示器或剑。
在一些实施方式中，移动计算设备上所包括的一个或多个输入设备能够被用作针对VR空间的输入。所述输入设备能够包括但并不局限于触摸屏、键盘、一个或多个按钮、轨迹板、触摸板、指针设备、鼠标、轨迹球、操纵杆、相机和麦克风。用户在移动计算设备被整合到VR空间中时与所述移动计算设备上所包括的输入设备的交互能够使得VR空间中发生特定动作。例如，移动计算设备可以作为导弹发射器控制器而被整合到VR空间中。用户按压移动计算设备上的特定按钮可以发射导弹。在另一个示例中，用户可以在VR空间中观看电影。移动计算设备上的按钮可以被整合到VR空间中以控制电影的音频的音量。
在一些实施方式中，移动计算设备的触摸屏能够在VR空间中被渲染为触摸板。用户能够与移动计算设备的触摸屏进行交互。所述交互能够被渲染为VR空间中所渲染的触摸板上的移动。所渲染的移动能够控制VR空间中的对象。在一些实施方式中，在移动计算设备的触摸屏在VR空间中被渲染时，所述VR空间中所渲染的用户可以在触碰所述触摸屏时与之进行交互一个或多个控件可以仅在VR空间中被渲染/显示，而并不在移动计算设备的触摸屏上被渲染/显示。例如，移动计算设备的触摸屏可以是空白的，可以处于精简操作模式，或者可以显示另一种真实图像(例如，跟踪图像)。
在一些实施方式中，移动计算设备上所包括的一个或多个输出设备能够在VR空间中向移动计算设备的用户提供输出和/或反馈。所述输出和反馈可以是视觉的、触觉的或音频。所述输出和/或反馈可以包括但并不局限于振动、一个或多个灯或闪光灯的的开关或者闪光和/或闪烁、鸣响警报、播放蜂鸣声、播放歌曲以及播放音频文件。输出设备可以包括但并不局限于振动电机、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。参考作为激光指示器或剑而被整合到VR空间之中的移动计算设备的示例，所述移动计算设备能够在剑与VR空间中的对象形成接触时振动。参考作为导弹发射器而被整合到VR空间之中的移动计算设备的示例，所述移动计算设备可以在所发射的导弹到达或摧毁目标时输出声音(例如，警报或蜂鸣声)和/或闪动LED和/或闪烁闪光灯。在一些情况下，闪动的LED和/或闪烁的闪光灯可能无法被VR空间中的用户所看到。
在一些实施方式中，移动计算设备可以表现为计算机生成的3D环境中的另一个对象。如以上示例中所描述的，所述移动计算设备可以表现为VR空间中的激光指示器或剑。用户与所述移动计算设备的交互(例如，旋转、摇晃、触碰触摸屏，将手指划过触摸屏)能够被解释为与VR空间中的对象的交互。在VR空间中的激光指示器或剑的示例中，移动计算设备表现为计算机生成的3D环境中的虚拟激光指示器或剑。在用户操控移动计算设备时，VR空间中的用户看到所述激光指示器或剑的移动。用户在移动计算设备上接收来自在VR环境中与所述移动计算设备的交互的反馈。
在一些实施方式中，移动计算设备可以包括触摸屏。例如，用户能够以能够利用VR空间中所发生的状况对触摸屏上所发生的状况进行模拟的特定方式来与触摸屏进行交互。例如，用户可以使用手势来缩放触摸屏上所显示的内容。触摸屏上的所述手势运动能够使得VR空间中所提供的信息得以被缩放。在另一个示例中，移动计算设备可以在计算机生成的3D环境中被渲染为虚拟图书。在VR空间中，所述图书的页面能够被显示在VR空间中，并且用户手指跨触摸屏的划动能够被解释为翻动/翻过所述虚拟图书的页面。在每个页面被翻动/翻过时，除了看到页面内容的变化之外，用户还可以被提供以音频反馈，诸如翻动图书中的页面的声音。
在一些实施方式中，除了所述移动计算设备之外的一个或多个输入设备(例如，鼠标、键盘)能够在计算机生成的3D环境中被渲染。所渲染的输入设备(例如，所渲染的鼠标、所渲染的键盘)能够如在VR空间中所渲染的那样被用来控制VR空间中的对象。
在一些实施方式中，所述移动计算设备可以是触摸输入控制器。所述触摸输入控制器可以包括触摸屏以及对接至所述触摸屏的能够控制所述触摸屏的操作的控制器。用户能够以能够利用VR空间中所发生的状况对触摸屏上所发生的状况进行模拟的特定方式来与触摸屏进行交互。附加地或替选地，所述触摸屏能够被渲染为VR空间中的触摸板。在这些情况下，与所述触摸屏的用户交互能够被渲染为VR空间中所渲染的触摸板上的移动。
在一些实施方式中，所述移动计算设备可以是触摸输入控制器，其能够包括一个或多个输入设备、输出设备和/或传感器。输入设备可以包括但并不局限于一个或多个按钮、相机和麦克风。输入设备可以在移动计算设备被整合到VR空间中时使得特定动作在VR空间中发生。输出设备可以包括但并不局限于振动电机、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。输出设备可以在移动计算设备被整合到VR空间中时向移动计算设备的用户提供反馈和/或输出。所述反馈和/或输出可以是视觉的、触觉的或音频。传感器可以包括但并不局限于加速计、陀螺仪、压力传感器、生物计量传感器、温度传感器、湿度传感器和外部光线传感器。传感器能够在移动计算设备被整合到VR空间中的同时提供与移动计算设备有关的信息(例如，定向、温度)。
触摸输入控制器能够提供与移动电话、平板计算机、笔记本计算机或膝上计算机相比更少的功能。包括较少的功能能够使得其较不昂贵，并且在一些情况下导致例如与移动电话或平板计算机相比更小封装的设备。触摸输入控制器可以不提供诸如移动电话所提供的那些蜂窝通信功能。触摸输入设备可以不运行(执行)各种应用。连接至触摸输入控制器和/或与之对接的VR头戴设备能够在所述VR现实头戴设备中包括的计算设备上运行(执行)VR应用。在这种情况下，触摸输入控制器并不需要运行(执行)VR应用。
移动计算设备可以包括能够被VR头戴设备用来跟踪移动计算设备的位置和定向的一个或多个设备。在一些实施方式中，移动计算设备中所包括的显示设备(显示屏)能够显示一个或多个快速响应(QR)码和/或等同标记。在一些实施方式中，红外发光二极管(IRLED)能够被安装/包括在壳体中，上述壳体能够容纳所述移动计算设备。VR头戴设备能够在处于壳体中的同时使用IR LED来跟踪移动计算设备的位置和定向。在一些实施方式中，移动计算设备能够使用形状感应线缆连接/接合至VR头戴设备从而将所述移动计算设备接合(tether)至所述VR头戴设备。所述VR头戴设备能够通过感应在物理上将移动计算设备连接至VR头戴设备的线缆的形状来跟踪所述移动计算设备的位置和定向。在一些实施方式中，当移动计算设备包括触摸屏(例如，触摸输入控制器)时，IR LED(跟踪LED)能够被作为背部照明的形式被安装在触摸屏/触摸板后方。所述VR头戴设备能够使用IR LED来跟踪移动计算设备的位置和定向。
在一些实施方式中，当移动计算设备包括触摸屏(例如，触摸输入控制器)时，IR像素能够被包括/嵌入在移动计算设备的触摸屏中。所述VR头戴设备能够使用包括/嵌入在触摸屏之中的IR像素来跟踪移动计算设备的位置和定向。
图1是图示其中用户与移动计算设备104上的内容102进行交互的系统100的示图。在图1所示的示例中，用户能够在移动计算设备104中所包括的显示设备106上观看电影(内容102)。在一些实施方式中，一个或多个内容服务器(例如，内容服务器110)以及一个或多个计算机可读存储设备(例如，内容库集112)能够使用网络114与移动计算设备104进行通信从而向移动计算设备104提供内容102。内容102能够被存储在移动计算设备104上。例如，内容102能够是VR应用，诸如电影、游戏，或者地理位置的虚拟航空或街道水平的巡游。
在一些实施方式中，网络114可以是公共通信网络(例如，互联网、蜂窝数据网络、电话网络上的拨号调制解调器)或者私有通信网络(例如，私有LAN、租用线路)。在一些实施方式中，移动计算设备104能够使用一种或多种高速有线和/或无线通信协议(例如，802.11变化形式、WiFi、蓝牙、传输控制协议/互联网协议(TCP/IP)、以太网、IEEE802.3，等等)与网络114进行通信。
图2是图示在显示设备或监视器206上显示内容202的系统200，其中计算设备(例如，移动计算设备104)充当内容202的提供方以及内容202的控制器。在图2所示的示例中，控件208a-c被显示在移动计算设备104上所包括的显示设备106上。显示设备106可以是触摸屏。
在一些实施方式中，移动计算设备104能够在web浏览器应用的标签或页面中显示内容202。web浏览器应用能够向支持投射(cast)的设备(例如，监视器206)提供或“投射”标签或页面。支持投射的设备能够使用诸如WiFi、蓝牙或蓝牙LE的高速无线协议与网络(例如，网络114)进行通信。例如，web浏览器应用能够提供用于发起并控制标签的投射的用户界面。移动计算设备104的用户能够通过选择用于发起标签投射的web浏览器应用的用户界面上所包括的图标来提供或“投射”标签以便在监视器206上查看。能够通过使用高速无线协议(例如，WiFi、蓝牙、蓝牙LE)而利用网络114将内容202从内容服务器110提供至监视器206。移动计算设备104通过使用高速无线协议(例如，WiFi、蓝牙、蓝牙LE)而利用网络114与内容服务器110进行通信以便控制内容202。
在一些实施方式中，支持投射的应用能够在移动计算设备104上显示内容。例如，支持投射的应用能够提供用于发起并控制标签的投射的用户界面。移动计算设备104的用户能够通过选择发起投射的支持投射的应用的用户界面上所包括的图标来提供或“投射”内容以便在监视器206上查看。
移动计算设备104能够充当监视器206上所显示的内容202的控制器。例如，内容202可以是电影，并且用户能够触摸(接触、敲击)播放图标208a以播放所述电影，触摸(接触、敲击)快进图标208b以快进所述电影，以及触摸(接触、敲击)回退图标208c以回退所述电影。
图3A是图示将移动计算设备(例如，移动计算设备104)连接至VR头戴设备308的示图。在图3所示的示例中，使用线缆316将移动计算设备104连接至VR头戴设备308。能够使用一种或多种高速通信协议将移动计算设备104连接至VR头戴设备308和/或与之通信，例如，上述通信协议诸如USB 2.0、USB 3.0和USB 3.0。在一些情况下，移动计算设备104能够使用音频/视频接口连接至VR头戴设备308和/或与之通信，作为示例，上述音频/视频接口诸如高清多媒体接口(HDMI)。在一些情况下，移动计算设备104能够使用USB Type-C标准接口的DisplayPort Alternate模式连接至VR头戴设备308和/或与之通信。所述DisplayPortAlternate模式可以包括高速USB通信接口和DisplayPort功能。
在一些实施方式中，移动计算设备104能够在无需线缆(例如，线缆316)的情况下无线连接至VR头戴设备308。移动计算设备104能够使用一种或多种高速通信协议无线连接至VR头戴设备308和/或与之通信，作为示例，上述高速通信协议诸如WiFi、蓝牙或蓝牙LE。
线缆316能够包括任一端上的适当连接器以便插入到VR头戴设备308和移动计算设备104。例如，所述线缆能够在两端都包括通用串行总线(USB)连接器。所述USB连接器可以是相同USB类型的连接器，或者所述USB连接器可以均为不同类型的USB连接器。各种类型的USB连接器能够包括但并不局限于USB A型连接器、USB B型连接器、微型USB A连接器、微型USB B连接器、微型USB AB连接器、USB五针Mini-b连接器、USB四针Mini-b连接器、USB3.0A型连接器、USB 3.0B型连接器、USB 3.0微型B连接器以及USB C型连接器。
VR应用的非限制示例可以是电影、游戏，或者地理位置的虚拟航空或街道水平的巡游(例如，城市的街道水平巡游)。在一些实施方式中，VR头戴设备308能够包括电路(例如，处理器和存储器)，所述电路能够执行VR应用以渲染/创建计算机生成的3D环境(VR空间)。在这些实施方式中，移动计算设备104能够被用作所述VR空间中的控制器。附加地或替选地，移动计算设备104能够向所述VR空间提供输入并且能够从所述VR空间接收反馈/输出。附加地或替选地，移动计算设备104能够表现为所述VR空间中的对象(例如，激光指示器、剑)。
在一些实施方式中，VR头戴设备308能够包括可移除计算设备，后者能够执行VR应用。所述可移除计算设备能够类似于移动计算设备104。所述可移除计算设备能够被整合在VR头戴设备(例如，VR头戴设备308)的壳体或框架内，上述VR头戴设备随后能够被VR头戴设备308的用户所穿戴。在这些实施方式中，所述可移除计算设备能够提供用户在与计算机生成的3D环境(VR空间)交互时查看的显示器或屏幕。如以上所描述的，移动计算设备104能够使用有线或无线接口协议连接至VR头戴设备308。移动计算设备104可以是VR空间中的控制器，能够表现为VR空间中的对象，能够向VR空间提供输入，并且能够从VR空间接收反馈/输出。
在一些实施方式中，移动计算设备104能够执行VR应用，并且能够向VR头戴设备308提供数据以便创建VR空间。在一些实施方式中，在VR头戴设备308中所包括的屏幕上向用户显示的VR空间的内容也可以被显示在移动计算设备104中所包括的显示设备106上。这允许其他人看到用户可以在VR空间中进行怎样的交互。
VR头戴设备308能够提供指示移动计算设备104的位置和定向的信息和数据。VR应用能够接收位置和定向数据并且将其用作VR空间内的用户交互的指示。
图3B是图示用户在他们准备戴上VR头戴设备时拿住所述VR头戴设备或VR设备(例如，VR头戴设备308)的示图。用户能够通过将VR头戴设备308放在用户眼睛上方而戴上VR头戴设备308。VR头戴设备308和移动计算设备104如图3A所示的那样进行连接(使用线缆316)。如参考图1、2和3A所示，在一些实施方式中，VR头戴设备308能够使用高速无线通信接口与移动计算设备104进行对接/连接。
在一些实施方式中，移动计算设备104能够执行VR应用，后者能够向VR头戴设备308提供用于计算机生成的3D环境(VR空间)的内容(例如，内容202)。移动计算设备104能够辨识出针对VR头戴设备308的接口并且能够作为响应而执行VR应用，所述VR应用在包括内容202的计算机生成的3D环境(VR空间)中渲染用户的方面(例如，用户的手)以及移动计算设备104。例如，移动计算设备104能够在线缆316的一端被插入VR头戴设备308且线缆316的另一端被插入移动计算设备104时辨识或识别出VR头戴设备308。在另一个示例中，在VR头戴设备308能够使用高速无线通信接口与移动计算设备104对接/连接的情况下，移动计算设备104能够使用高速无线通信协议来识别或发现VR头戴设备308。移动计算设备104能够在VR头戴设备308和移动计算设备104处于距彼此的某个距离(例如，10米、60米)时识别或发现VR头戴设备308。
在图3B所示的示例中，用户能够将移动计算设备104拿在左手318中。所述用户能够将VR头戴设备308拿在右手322中，同时将其放在所述用户的眼睛上方。在其它情况下，用户能够将移动计算设备104拿在右手322中，并且能够将VR头戴设备308拿在左手318中。
图3C是图示用户320在将移动计算设备104拿在VR头戴设备308前方的同时将VR头戴设备308放在用户320眼睛上方的示图。在图3C所示的示例中，用户320将VR头戴设备308拿在左手318中，并且用户将移动计算设备104拿在右手322中。在一些情况下，用户420能够将VR头戴设备308拿在右手322中而将移动计算设备104拿在左手318中。
VR头戴设备308能够包括在移动计算设备104被置于VR头戴设备308前方或者被固定在相对于VR头戴设备308的位置范围之内时能够辨识、监视和跟踪移动计算设备104的3D移动的硬件和/或软件。例如，位置能够包括但并不局限于VR头戴设备308前方的位置，VR头戴设备308任一侧的位置，以及VR头戴设备308上方和下方的位置。VR头戴设备308能够包括一个或多个传感器，上述传感器能够实时跟踪移动计算设备104的3D移动(位置和定向)。VR头戴设备308能够将实时位置和定向数据提供至VR应用，而使得VR应用能够以移动计算设备104的所检测位置和定向来在VR空间中实时渲染移动计算设备104。在一些实施方式中，VR头戴设备308能够将实时位置和定向数据提供至在VR头戴设备308上执行的VR应用。在一些实施方式中，VR头戴设备308能够将实时位置和定向数据提供至在移动计算设备104上执行的VR应用。
例如，VR头戴设备308能够包括相机，后者能够在移动计算设备104被置于头戴设备308前方或者被固定在相对于VR头戴设备308的位置范围之内时能够辨识、监视和跟踪移动计算设备104的3D移动。相机的非限制性示例可以包括彩色相机、单色相机、黑白相机、3D深度感应相机、立体相机和渡越时间(ToF)相机。
如图3C所示，在一些实施方式中，移动计算设备104能够在移动计算设备104的显示设备106上显示一个或多个标记(例如，快速响应(QR)码334)。VR头戴设备308能够包括扫描QR码334的硬件和软件。VR头戴设备308能够通过确定QR码334的大小来确定移动计算设备104相对于VR头戴设备308的位置。例如，QR码334的大小越小，移动计算设备104就被放置得距VR头戴设备308越远。VR头戴设备308能够通过确定QR码334的定向来确定移动计算设备104相对于VR头戴设备308的定向。
在一些实施方式中，在移动计算设备104和VR头戴设备308通过线缆(例如，如图3A-C所示的线缆316)进行连接时的情况下，VR头戴设备308中所包括的硬件和软件能够测量线缆316的弯曲和旋转。所测量的线缆316的弯曲和旋转能够被用来确定移动计算设备104相对于VR头戴设备308的位置和定向。在使用多个标记时，可以基于标记的相对位置和定向来确定移动计算设备104的位置和定向。
在一些实施方式中，VR头戴设备308和/或移动计算设备104能够包括用于使用红外(IR)技术来跟踪移动计算设备104的位置和定向的硬件和软件。在一些实施方式中，红外发光二极管(IR LED)能够被安装/包括在能够容纳移动计算设备104的壳体中。VR头戴设备308能够包括在使用IR LED的情况下的跟踪移动计算设备104的位置和定向的硬件和软件。在一些实施方式中，移动计算设备104中所包括的显示设备106可以是触摸屏。IR LED(跟踪LED)能够被以背部照明的形式被安装在触摸屏后方。VR头戴设备308能够使用IR LED来跟踪移动计算设备104的位置和定向。在一些实施方式中，移动计算设备104中所包括的显示设备106可以是包括多个IR像素的触摸屏。所述IR像素能够被包括/嵌入在移动计算设备104的触摸屏中。VR头戴设备308能够使用包括/嵌入在触摸屏中的IR像素来跟踪移动计算设备104的位置和定向。
在一些实施方式中，VR头戴设备308和/或移动计算设备104能够包括用于使用超声跟踪系统来跟踪移动计算设备104的位置和定向的硬件和/或软件。在一些实施方式中，VR头戴设备308和/或移动计算设备104能够包括使用磁性跟踪系统来跟踪移动计算设备104的位置和定向的硬件和/或软件。
在一些实施方式中，在将移动计算设备104与VR头戴设备308对接时使用的硬件和/或软件能够被包括在移动计算设备104和VR头戴设备308中的任一个或二者上。
例如，在移动计算设备104上执行的VR应用能够在移动计算设备104上所包括的显示设备106上显示控件328a-c。所述VR应用随后能够在计算机生成的3D环境(VR空间)中渲染控件328a-c。在一些实施方式中，控件328a-c可以在VR空间中被渲染而并不在显示设备106上进行显示。在这些实施方式中，显示设备106可以是空白的，或者显示设备106可以显示其它信息。在沉浸于VR空间中的同时，用户320能够与移动计算设备104的触摸屏进行交互、与显示设备106上的控件328a-c进行交互。所述VR应用能够在VR空间中实时渲染，这使得动作得以在VR空间中被执行。
在一些实施方式中，移动计算设备104能够在VR头戴设备308所提供的VR空间中被渲染为界面或控制器。此外，移动计算设备104能够向VR头戴设备308提供用于VR空间的内容。
图4A是图示用户能够在VR头戴设备(例如，如图3A-C中所示的VR头戴设备308)的屏幕上查看的图像400的示图。图4B是图示用户420在他们在VR头戴设备308的屏幕上查看图像400时的示图。参考图1、2以及3A-C，用户420能够在拿着移动计算设备104的同时在VR头戴设备308的屏幕上查看包括内容202的图像400。在一些实施方式中，如本文所描述的，移动计算设备104能够执行渲染/创建计算机生成的3D环境(VR空间)的VR应用。移动计算设备104能够向VR头戴设备308提供表示所述VR空间的数据。VR头戴设备308能够使用所述数据来向穿戴/拿着VR头戴设备308的用户提供计算机生成的3D环境(VR空间)。
在一些情况下，用户能够如图4B所示那样将移动计算设备104拿在或置于VR头戴设备308前方。例如，图像400将用户投影至VR空间中。在用户如图4B所示那样将移动计算设备104实际拿在VR头戴设备308前方时，图像400包括拿着移动计算设备104的渲染426的用户420的手和手指(例如，左手318)的渲染424。
如本文所描述的，VR头戴设备308能够包括一个或多个传感器，所述一个或多个传感器能够实时跟踪移动计算设备104的3D移动(位置和定向)。VR头戴设备308能够将实时位置和定向数据提供至VR应用，而使得所述VR应用能够在VR空间中以所检测的移动计算设备104的位置和定向实时地渲染移动计算设备104。
VR应用能够在移动计算设备104上所包括的显示设备106上显示控件428a-c。VR应用随后能够将控件428a-c渲染为所渲染计算设备426上的所渲染控件430a-c。例如，用户420在被投影到电影的VR空间中的同时能够与移动计算设备104的触摸屏进行交互。用户420能够触摸(接触、敲击)播放图标428a以播放所述电影。用户420与移动计算设备104的触摸屏的所述交互能够如图像400中所示在VR空间中被实时渲染。
在一些实施方式中，移动计算设备104的触摸屏能够在VR空间中被渲染为一个或多个软按钮。例如，穿戴VR头戴设备308的用户能够使用眼睛追踪和头部位置来选择VR空间中的对象。被渲染为软按钮的移动计算设备104能够被用作“点击”以完成或确认对象的选择。用户能够触摸或敲击移动计算设备104中所包括的触摸屏，这被渲染为用户按下VR空间中所渲染的按钮。用户按下所渲染的按钮执行“点击”或者对象选择的确认。
图5A是图示用户能够在VR头戴设备(例如，如图3A-C所示的VR头戴设备308)的屏幕上查看的可替换图像500的示图。图5B是图示用户在他们查看图像500时的示图。图像500包括用户420在他们如图5B所示的那样实际将移动计算设备104拿在VR头戴设备308前方时的手和手指的渲染524，所述用户420的渲染524拿着移动计算设备104的渲染526。
VR应用能够在移动计算设备104上所包括的显示设备106上显示控件528a-c。在一些情况下，显示设备106可以是触摸屏。VR应用随后能够将控件528a-c渲染为所渲染计算设备526上的所渲染控件530a-c。在图4A-B和5A-B所示的示例中，在被投影到电影的VR空间中的同时，用户420能够触摸(接触、敲击)移动计算设备104的触摸屏上的快进图标528b。快进图标528b的触摸(接触、敲击)能够将电影快进至图像500。用户420与移动计算设备104的触摸屏的所述交互能够如图像400和图像500中所示在VR空间中被实时渲染。图像500示出了与所渲染的快进图标530b相接触的所渲染的用户420的手指。
参考图1、2、3A-C、4A-B和5A-B，用户(例如，用户420)可能决定返回查看移动计算设备104上的内容(例如，内容202)。例如，用户420能够取下VR头戴设备308并且能够将VR头戴设备308从移动计算设备104断开连接。将VR头戴设备308断开连接能够使得内容在移动计算设备104的显示设备106上进行显示，这为用户420提供了内容查看的连续性。例如，将VR头戴设备308断开连接能够使得移动计算设备104停止向VR头戴设备308提供内容。
图6A是图示用户能够在VR头戴设备的屏幕上查看的图像600的示图。图6B是图示用户620在查看图像600时的示图。用户620能够在将移动计算设备604拿在VR头戴设备608前方的同时在VR头戴设备608的屏幕上查看包括内容的图像600。例如，图像600将用户投影到VR空间中。图像600包括用户620在他们如图6B所示的那样实际将移动计算设备604拿在VR头戴设备608前方时的手和手指的渲染624，所述用户620的渲染624拿着移动计算设备604的渲染626。
用户620的手和手指的渲染624以及移动计算设备604的渲染626能够使用本文参考图1、2、3A-C、4A-B和5A-B所描述的一种或多种过程和方法来执行。
在一些实施方式中，VR头戴设备608能够包括能够在移动计算设备604被置于VR头戴设备608前方或者被拿在相对于VR头戴设备608的位置范围之内时辨识、监视并跟踪移动计算设备604的3D移动的硬件和软件。VR头戴设备608能够向VR应用提供实时位置和定向数据，而使得所述VR应用能够在VR空间中以所检测的移动计算设备604的位置和定向实时地渲染移动计算设备604。
在图6A-B所示的示例中，用户620能够正在玩视频游戏，并且可以作为战斗机而在VR空间中进行交互。VR应用能够在移动计算设备604上所包括的显示设备606上显示控件628a-d。所述VR应用随后能够将移动计算设备604上的控件628a-d渲染为所渲染控件630a-d(请注意，控件630d位于所渲染的用户的手的手指(拇指)(渲染624)下方)。例如，用户与控件在628a-d的交互能够被转换为VR空间中的战斗机632的移动。
例如，穿戴VR头戴设备608的用户能够使用眼睛跟踪和头部位置来选择VR空间中的对象。移动计算设备604的一侧上的一个或多个按钮634a-b中的每一个能够控制所述对象在VR空间中行进的速度。例如，按压第一按钮634a可以提高所选择对象的移动速度，而按压第二按钮634b则可以降低所述对象的移动速度。用户可以多次按压每个按钮来控制提高和降低所述对象在VR空间中的移动速度。在一些情况下，按钮可以在VR空间中被渲染为示出提高和降低对象速度的程度的控制旋钮。
在一些实施方式中，参考图1、2、3A-C、4A-B、5A-B和6A-B，计算设备(例如，移动计算设备104)能够包括屏幕或显示设备(例如，显示设备106)，其能够显示信息、图像、文本和数据。移动计算设备104能够在VR空间中被呈现，其在所渲染的移动计算设备104的屏幕上显示信息。在一些实施方式中，根据显示信息中所包括文本的大小，用户可能需要在处于VR空间中时对计算设备的屏幕上所显示的信息进行放大以便使得经渲染的显示在屏幕上的信息在VR空间中是易读的。例如，用户可以通过将移动计算设备104移动更接近于VR头戴设备来进行放大。用户可以通过将移动计算设备104移动更远离VR头戴设备来进行缩小。在另一个示例中，当显示设备106是触摸屏时，用户可以应用特定的触摸动作或手势来放大显示设备106上所显示的信息。
在一些实施方式中，参考图1、2、3A-C、4A-B、5A-B和6A-B，计算设备(例如，移动计算设备104)能够包括屏幕或显示设备(例如，显示设备106)，其能够显示信息、图像、文本和数据。用户可能想要在VR空间中与所述显示设备上所显示的内容进行交互。例如，用户能够使用划动运动或手势将内容从移动计算设备104拖拽到VR空间。
在一些实施方式中，参考图1、2、3A-C、4A-B、5A-B和6A-B，用户可以与计算设备(例如，移动计算设备104)进行交互以在VR空间中输入文本。在一些实施方式中，用户能够在软键盘操作模式中与计算设备进行交互。在一些实施方式中，计算设备能够包括键盘，并且用户能够在VR空间中与所述键盘进行交互以便向VR空间中录入文本数据。在一些实施方式中，触摸板可以是可与计算设备分离的输入设备。触摸板能够在VR空间中被渲染为虚拟或软键盘从而使得用户能够在VR空间中与所述触摸板进行交互以录入文本数据。在一些实施方式中，键盘(例如，机械键盘)可以是可与计算设备分离的输入设备。键盘能够在VR空间中被渲染为键盘从而使得用户能够在VR空间中与所述键盘进行交互以录入文本数据。
能够在VR空间中渲染移动计算设备104以及移动计算设备104的屏幕(例如，显示设备106)上所包括的信息能够允许移动计算设备104在VR空间中提供辅屏幕。例如，用户可能在玩虚拟现实游戏(如图6A-B中所示的示例)。VR头戴设备608能够包括主屏幕，所述主屏幕例如显示图像600，在所述图像600中移动计算设备604被渲染为辅VR屏幕，其例如可以显示所述游戏的库存项列表。在另一个示例中，用户可能在看电影(如图4A-B中所示的示例)。VR头戴设备308能够包括主屏幕，其例如显示图像400，所述图像400中移动计算设备104被渲染为辅VR屏幕，其例如可以显示与用户正在看的电影有关的信息。
参考图6A-B，用户(例如，用户620)可能决定返回查看移动计算设备604上的内容(例如，玩视频游戏)。例如，用户620能够取下VR头戴设备608并且能够将VR头戴设备608从移动计算设备604断开连接。将VR头戴设备608断开连接能够使得内容(例如，视频游戏)在移动计算设备604的显示设备606上进行显示，这为用户620提供了内容查看的连续性。
图7A是图示用户能够在VR头戴设备的屏幕上查看的图像700的示图。图7B是图示用户720在他们查看图像700时的示图。用户720能够在将计算设备704置于键盘740的近处、旁边或附近的同时查看包括VR头戴设备708的屏幕上的内容的图像700。在一些实施方式中，移动计算设备704能够使用本文所描述的无线通信协议中的一个对接至键盘740并与之进行通信。移动计算设备704和键盘740能够被置于VR头戴设备708前方。在一些情况下，移动计算设备704能够被接驳(docked)至键盘740。
例如，图像700将用户投影到VR空间中。图像700包括用户720在他们如图6B所示的那样实际将移动计算设备704拿在VR头戴设备708前方/与之进行交互时的第一手和手指的渲染724，所述用户720的第一手和手指的渲染724拿着移动计算设备704的渲染726。图像700还包括用户720与键盘740的渲染744——例如控制面板750——进行交互的第二手和手指的渲染742，
在图7A-B所示的示例中，用户720的第一手和手指的渲染724和移动计算设备704的渲染726，以及用户720的第二手和手指的渲染742和键盘740的渲染744能够使用本文参考图1、2、3A-C、4A-B、5A-B和6A-B所描述的过程和方法中的一种或多种来执行。
用户720能够在控制VR空间中所执行的动作时与移动计算设备704和键盘740进行交互。例如，键盘740能够在VR空间中被渲染为将在飞机驾驶员座舱中进行显示的VR控件或控制面板750。用户720可以在VR空间中通过移动、旋转和/或摇动移动计算设备704来与移动计算设备704进行交互，从而以其它方式进一步控制VR空间中的飞机的移动。
VR应用能够将移动计算设备704上的控件728a-d渲染为所渲染的控件730a-d(请注意，控件730d位于所渲染的用户的手的手指(拇指)(渲染724)下方)。例如，用户与控件728a-d的交互能够被转换为VR空间中的战斗机的移动。附加地或替选地，VR应用能够将键盘740渲染为控制面板750中的所渲染的控件744。例如，与所渲染的控件744的用户交互能够被转换为对VR空间中的战斗机的功能的控制。
在一些实施方式中，计算设备(例如，移动计算设备104、604和704)的一种或多种功能能够在VR空间中实施。例如，计算设备可以包括相机。VR空间中所渲染的计算设备能够被用作相机，其拍摄VR空间中的活动的截屏。例如，当用户发起照片拍摄(用户可能在VR头戴设备的屏幕上查看的的截屏)时，VR应用实施VR头戴设备的屏幕上正在显示的数据的捕捉。例如，用户能够通过按压虚拟按钮(VR空间中所渲染的按钮)来发起照片拍摄。
在一些实施方式中，用户可以与VR空间中的在线购物网站进行交互。用户可以选择项进行购买。VR应用能够将计算设备渲染为VR空间中的所述项。用户通过移动和旋转计算设备来与VR空间中的计算设备进行交互，这允许用户在VR空间中看到所述项的各种不同视图、侧面和方面。
在一些实施方式中，用户可以以他们在非VR空间中与计算设备交互的相同方式(例如，以标准、典型的方式)来与VR空间中的计算设备进行交互。例如，用户可以就像他们在非VR空间中正常使用相同应用那样来使用VR空间中的计算设备上的应用。
在一些实施方式中，计算设备能够在VR空间中被完整渲染。在一些实施方式中，计算设备的某些方面能够在VR空间中被渲染。例如，计算设备的触摸屏的触摸表面可以在VR空间中被渲染。在另一个示例中，计算设备的编结可以在VR空间中被渲染。在另一个示例中，用于计算设备的界面(例如，输入控件)可以在VR空间中被渲染。
虽然图4A-B、5A-B、6A-B和7A-B中所示的示例示出了并未分别使用线缆接合至VR头戴设备308、608的移动计算设备104、604，但是在一些实施方式中，移动计算设备104、604可以分别使用线缆接合至VR头戴设备308、608。
如本文中所包括的附图和示例中所示，移动计算设备能够对接/连接至VR头戴设备。在一些实施方式中，移动计算设备能够执行VR应用，并且附加地，移动计算设备能够在VR空间中与计算机生成的3D环境进行对接。用户能够用一只手将VR头戴设备拿在用户眼睛上方，并且用另一只手拿着移动计算设备。替选地，用户能够使用与VR头戴设备相连并围绕用户头部的带子来戴上所述VR头戴设备，以将所述VR头戴设备适当固定在用户眼睛上方。这释放了用户的一只手。用户能够在体验VR空间并与之交互的同时进行移动。在一些其它情形中，可能需要并不移动的附加计算系统来执行VR应用并且与VR头戴设备对接，这对用户在体验VR空间并与之交互时的移动有所限制。
图8A是图示用户与计算系统800进行交互的示图。例如，计算系统800可以包括膝上计算设备802，所述膝上计算设备802包括键盘804、轨迹板806和鼠标814。在计算系统800中，鼠标814处于膝上计算设备802的外部。膝上计算设备802包括显示设备810，其在膝上计算设备802上执行的电子邮件应用中显示信息812(例如，电子邮件消息)。
图8B是图示用户820在他们查看膝上计算设备802时的示图。用户820能够在与键盘804和轨迹板806交互的同时在VR头戴设备808的屏幕上查看膝上计算设备802。VR头戴设备808能够使用本文所描述的一种或多种有线和/或无线通信接口连接/对接至膝上计算设备802。
图8C是图示用户820能够在VR头戴设备808的屏幕上查看的图像830的示图。例如，图像830将用户投影至VR空间中。图像830包括显示设备810上所显示的信息812的渲染832以及与键盘804的渲染836进行交互的用户820的手和手指的渲染834。此外，可以在用户820与膝上计算设备802进行交互时在显示设备810上替选地进行显示的其它窗口可以被渲染(例如，所渲染窗口838)，并且连同如显示设备810上所显示的信息812的渲染832一起在VR空间中呈现给用户820。
图8D是图示用户820能够在VR头戴设备808的屏幕上查看的图像840的示图。例如，图像840将用户投影至VR空间中。图像840包括能够在显示设备810上显示的信息的渲染842以及与键盘804的渲染846进行交互的用户820的第一手和手指的渲染844。图像840包括与轨迹板806的渲染850进行交互的用户820的第二手和手指的渲染848。
在图8C-D所示的示例中，能够使用本文参考图1、2、3A-C、4A-B、5A-B、6A-B和7A-B所描述的一种或多种过程和方法来执行渲染832、834、836、838、842、844、846和850。在控制VR空间中所执行的动作时，用户820能够与膝上计算设备802(特别是键盘804和轨迹板806)进行交互。
图9是图示用于将计算设备在计算机生成的3D环境(VR空间)中进行对接的方法900的流程图。在一些实施方式中，本文所描述的系统、方法和过程能够实施方法900。例如，方法900能够参考图1、2、3A-C、4A-B、5A-B、6A-B、7A-B和8A-D进行描述。
移动计算设备被操作耦合至包括屏幕的VR头戴设备(框902)。例如，参考图3A，移动计算设备104能够使用线缆316连接至VR头戴设备308/与之对接。所述移动计算设备能够执行VR应用(框904)。例如，参考图4A-B，移动计算设备104能够在VR空间中执行/运行/播放电影。移动计算设备能够在VR空间中在VR头戴设备的屏幕上显示内容(框906)。例如，参考图4A-B，图像400能够被显示在头戴设备308的屏幕上。
图10示出了可以被用来随本文所描述的技术使用的通用计算设备1000和通用移动计算设备1050的示例。计算设备1000意在表示各种形式的数字计算机，诸如膝上计算机、台式机、工作站、个人数字助理、服务器、刀锋服务器、大型机和其它适当计算机。计算设备1050意在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算设备。这里所示出的组件、其连接和关系以及其功能仅意在是示例性的，而并非意在对本文中所描述和/或要求保护的发明的实施方式进行限制。
计算设备1000包括处理器1002、存储器1004、存储设备1006、连接到存储器1004和高速扩展端口1010的高速接口1008，以及连接到低速总线1014和存储设备1006的低速接口1012。每个组件1002、1004、1006、1008、1010和1012使用各种总线进行互连，并且可以安装在共用主板上，或者以其它适宜方式进行安装。处理器1002能够处理指令以便在计算设备1000内执行以在诸如耦合到高速接口1008的显示器1016的外部输入/输出设备上显示用于GUI的图形信息，所述指令包括存储在存储器1004中或者存储设备1006上的指令。在其它实施方式中，可以在适当情况下使用多个处理器和/或多个总线，以及多个存储器和存储器类型。而且，多个计算设备1000可以与提供各部分必要操作的每个设备进行连接(例如，作为服务器组、刀锋服务器群组或多处理器系统)。
存储器1004将信息存储在计算设备1000内。在一种实施方式中，存储器1004是一个或多个易失性存储单元。在另一实施方式中，存储器1004是一个或多个非易失性存储单元。存储器1004还可以是其它形式的计算机可读介质，诸如磁盘或光盘。
存储设备1006能够为计算设备1000提供大型存储。在一种实施方式中，存储设备1006可以是或者可包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、磁带设备、闪存或其它类似固态存储设备、或者设备阵列，包括存储域网络或其它配置中的设备。计算机程序产品可有形地体现在信息载体中。所述计算机程序产品还可包含指令，所述指令当被执行时，执行诸如以上所描述的一种或多种方法。所述信息载体是计算机或机器可读介质，诸如存储器1004、存储设备1006，或者处理器1002上的存储器。
高速控制器1008管理用于计算设备1000的带宽密集操作，而低速控制器1012管理较低带宽密集的操作。这样的功能分配仅是示例性的。在一种实施方式中，高速控制器1008耦合到存储器1004、显示器1016(例如，通过图形处理器或加速器)，并且耦合到可接受各种扩展卡(未示出)的高速扩展端口1010。在所述实施方式中，低速控制器1012耦合到存储设备1006和低速扩展端口1014。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可耦合到一个或多个输入/输出设备，诸如键盘、指针设备、扫描仪，或者例如通过网络适配器耦合到诸如交换机和路由器的联网设备。
如图所示，计算设备1000能够以各种不同形式来实施。例如，其可以实施为标准服务器1020，或者这种服务器分组中多次实施。其还可以被实施为机架式服务器系统1024的一部分。此外，其还可以在诸如膝上计算机1022的个人计算机中实施。替选地，来自计算设备1000的组件可以与诸如设备1050的移动设备(未示出)中的其它组件组合。每个这样的设备可包含计算设备1000、1050中的一个或多个，并且整个系统可由多个彼此通信的计算设备1000、1050所构成。
除其它组件之外，计算设备1050包括处理器1052、存储器1064、诸如显示器1054的输入/输出设备、通信接口1066和收发器1068。设备1050还可提供以诸如微驱动器或其它设备的存储设备以提供附加存储。每个组件1050、1052、1064、1054、1066和1068使用各种总线进行互连，并且若干组件可安装在共用主板上或者以其它适宜方式进行安装。
处理器1052能够执行计算设备1050内的指令，包括存储在存储器1064中的指令。所述处理器可被实施为包括单独且多个的模拟和数字处理器的芯片的芯片集。例如，所述处理器可提供设备1050的其它组件的协同，诸如用户接口的控制、设备1050所运行的应用程序以及设备1050的无线通信。
处理器1052可以通过耦合到显示器1054的控制接口1058和显示接口1056与用户进行通信。例如，显示器1054可以是TFT LCD(薄膜晶体管液晶显示器)显示器或OLED(有机发光二极管)显示器，或者其它适当的显示技术。显示接口1056可以包括用于驱动显示器1054向用户显呈现图形和其它信息的适当电路。控制接口1058可以从用户接收命令并且对其进行转以便提交至处理器1052。此外，可以提供与处理器1052进行通信的外部接口1062，从而使得设备1050能够与其它设备进行近域通信。例如，外部接口1062在一些实施方式中可提供有线通信，或者在其它实施方式中提供无线通信，并且也可使用多个接口。
存储器1064将信息存储在计算设备1050内。存储器1064可以实施为以下中的一个或多个：计算机可读介质或介质、一个或多个易失性存储器单元或者一个或多个非易失性存储器单元。也以提供扩展存储器1074并通过扩展接口1072连接到设备1050，例如，所述扩展接口1072可以包括SIMM(单列存储组模)卡接口。这样的扩展存储器1074可为设备1050提供额外的存储空间，或者还可以为设备1050存储应用程序或其它信息。特别地，扩展存储器1074可以包括指令以执行或补充以上所描述的过程，并且还可以包括安全信息。因此，例如，扩展存储器1074可被提供作为设备1050的安全模块，并且可以利用许可对设备1050进行安全使用的指令进行编程。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可遭受攻击的方式将识别信息置于在SIMM卡上。
例如，如以下所描述的，所述存储器可以包括闪存和/或NVRAM存储器。在一种实施方式中，计算机程序产品有形地被实施在信息载体中。所述计算机程序产品还可包含指令，所述指令当被执行时，执行诸如以上所描述的一个或多个方法。所述信息载体是计算机或机器可读介质，诸如存储器1064、扩展存储器1074，或者处理器1052上的存储器，其例如可以通过收发器1068或外部接口1062被接收。
设备1050可通过通信接口1066进行无线通信，在必要时，通信接口1066包括数字信号处理电路。通信接口1066可在各种模式或协议下提供通信，除其它之外，所述模式或协议诸如GSM语音呼叫、SMS、EMS或MMS消息发送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS(。例如，这样通信可通过射频收发器1068发生。此外，诸如可使用蓝牙、WiFi或其它这样的收发器(未示出)进行短范围通信。此外，GPS(全球定位系统)接收器模块1070可为设备1050提供附加的导航和位置相关的无线数据，其可由设备1050上运行的应用程序适当使用。
设备1050还使用音频编解码器1060进行可听通信，所述音频编解码器1060接收来自用户的话音信息并且将其转换为可用的数字信息。音频编解码器1060同样可以诸如通过扬声器为用户生成可听声音，例如在设备1050的听筒中。这样的声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括设备1050上操作的应用程序所生成的声音。
如图所示，计算设备1050可以以多种不同方式来实施。例如，其可以实施为蜂窝电话1080。其还可以实施为智能电话1082、个人数字助理或其它类似移动设备的一部分。
因此，这里所描述的系统和技术的各种实施方式可以以数字电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合的形式来实现。这些各种实施方式可以包括一个或多个计算机程序中的实施方式，所述计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，所述可编程系统可以为专用或通用，其耦合以从存储系统、至少一个输入设备以及至少一个输出设备接收数据和指令并且向存储系统、至少一个输入设备以及至少一个输出设备传送数据和指令。
这些计算机程序(也称作程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且能够以高级程序和/或面向对象编程语言来实施，和/或以汇编/机器语言来实施。如这里所使用的，术语“机器可读介质”、“计算机可读介质”是指用来向可编程处理器提供机器指令和/或数据的任意计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备PLD)，其包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指被用来为可编程处理器提供机器指令和/或数据的任意信号。
为了提供与用户的交互，这里所描述的系统和技术可在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)和用户能够通过其为计算机提供输入的键盘和指针设备(例如，鼠标或轨迹球)的计算机上实施。也可以使用其它类型的设备来提供与用户的交互；例如，提供给用户的反馈可以为任意形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且来自用户的输入可以以任意形式接收，包括声音、话音或触觉输入。
这里所描述的系统和技术可以在计算系统中实施，所述计算系统包括后端组件(例如，作为数据服务器)，或者其包括中间件组件(例如，应用服务器)，或者其包括前端组件(例如，具有用户能够通过其与这里所描述的系统和技术的实施方式进行交互的图形用户界面或web浏览器的客户端计算机)，或者这些后端、中间件或前端组件的任意组合。所述系统的组件可通过数字数据通信(例如，通信网络)的任意形式或介质进行互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络进行交互。客户端和服务器的关系通过在相应的计算机上运行的计算机程序所建立并且彼此具有客户端-服务器关系。
已经详细描述了多个实施例。然而，将要理解的是，可以在不背离本发明的精神和范围的情况下进行各种修改。
此外，附图中所描绘的逻辑流程并非必然要求所示出的特定顺序或连续顺序来实现所期望的结果。此外，可以提供其它步骤，或者可以从所描述流程中删除步骤，并且可以向所描述的系统添加其它组件或者从所描述的系统移除组件。因此，其它实施例也落入以下权利要求的范围之内。

Claims (20)

1.一种用于提供虚拟现实(VR)空间的系统，包括：
移动计算设备；以及
操作耦合至所述移动计算设备且包括屏幕的VR头戴设备；
所述移动计算设备被配置为：
执行VR应用；以及
提供内容以便在所述VR空间中在所述VR头戴设备的所述屏幕上进行显示。
2.根据权利要求1所述的系统，其中所述移动计算设备使用系带式有线连接耦合至所述VR头戴设备。
3.根据权利要求2所述的系统，其中所述系带式有线连接包括被配置为确定所述移动计算设备的位置的形状感应线缆。
4.根据权利要求1所述的系统，其中所述移动计算设备使用无线连接被耦合至所述VR头戴设备。
5.根据权利要求1至4中任一项所述的系统，其中所述VR头戴设备包括另一个移动计算设备。
6.根据权利要求5所述的系统，
其中包括在所述VR头戴设备中所包括的所述另一个移动计算设备中的显示设备是所述屏幕，以及
其中所述另一个计算设备被配置为对所提供的内容进行渲染以便在所述显示设备上进行显示。
7.根据权利要求1至6中任一项所述的系统，其中所述VR头戴设备进一步包括被配置为确定所述移动计算设备的位置的位置检测设备。
8.根据权利要求7所述的系统，其中所述位置检测设备是相机。
9.根据权利要8所述的系统，
其中所述移动计算设备包括显示设备，
其中所述移动计算设备进一步被配置为在所述显示设备上显示快速响应(QR)码，以及
其中所述相机检测在所述移动计算设备的所述显示设备上显示的QR码的定向。
10.根据权利要求7所述的系统，其中所述位置检测设备是被配置为检测来自多个红外(IR)发光二极管(LED)的输出的红外传感器。
11.根据权利要求10所述的系统，进一步包括容纳所述移动计算设备的壳体，所述壳体包括所述多个红外发光二极管，
其中所述移动计算设备被置于所述壳体中，以及
其中所述VR应用基于对来自所述多个红外发光二极管的所述输出的所述检测来确定所述移动计算设备的位置。
12.根据权利要求10所述的系统，
其中所述移动计算设备包括触摸屏，
其中所述多个红外发光二极管位于所述触摸屏后面，以及
其中所述VR应用基于对来自所述多个红外发光二极管的所述输出的所述检测来确定所述移动计算设备的位置。
13.根据权利要求10所述的系统，
其中所述移动计算设备包括触摸屏，
其中所述多个红外发光二极管被嵌入在所述触摸屏内，以及
其中所述VR应用基于对来自所述多个红外发光二极管的所述输出的所述检测来确定所述移动计算设备的位置和定向。
14.一种用于提供虚拟现实(VR)空间的方法，包括：
将移动计算设备操作耦合至包括屏幕的VR头戴设备；
由所述移动计算设备执行VR应用；以及
由所述移动计算设备提供内容以便在所述VR空间中在所述VR头戴设备的所述屏幕上进行显示。
15.根据权利要求14所述的方法，进一步包括：
基于所检测到的所述移动计算设备的位置对所述移动计算设备的一个方面进行渲染以便包括在所述VR空间中；以及
将所述移动计算设备被渲染的方面与所述内容进行整合以便在所述VR头戴设备的所述屏幕上进行显示。
16.根据权利要求14至15中任一项所述的方法，进一步包括：
检测用户与所述移动计算设备的交互；以及
基于所检测到的交互改变所述内容以便在所述VR头戴设备的所述屏幕上进行显示。
17.根据权利要求14至16中任一项所述的方法，其中提供内容以便在所述VR空间中在所述VR头戴设备的所述屏幕上进行显示包括：
由所述移动计算设备对所述移动计算设备的一个方面进行渲染以便包括在所述VR空间中；以及
将所述移动计算设备被渲染的方面与内容进行整合以便作为整合内容在所述VR空间中进行显示，其中所述移动计算设备被渲染的方面与在所述移动计算设备中所包括的显示设备上显示的内容不同。
18.一种具有存储于其上的指令的非暂时性的机器可读介质，所述指令在被处理器执行时使得移动计算设备：
与耦合至所述移动计算设备的VR头戴设备操作对接，所述VR头戴设备包括屏幕；
执行VR应用；以及
提供内容以便在虚拟现实(VR)空间中在所述VR头戴设备的所述屏幕上进行显示。
19.根据权利要求18所述的介质，其中所述指令在被处理器执行时进一步使得所述移动计算设备：
基于所检测到的所述移动计算设备的位置对所述移动计算设备的一个方面进行渲染以便包括在所述VR空间中；以及
将所述移动计算设备被渲染的方面与所述内容进行整合以便在所述VR头戴设备的所述屏幕上进行显示。
20.根据权利要求18至19中任一项所述的介质，其中所述指令在被处理器执行时进一步使得所述移动计算设备：
检测用户与所述移动计算设备的交互；以及
基于所检测到的交互改变所述内容以便在所述VR头戴设备的所述屏幕上进行显示。
CN201680014601.5A 2015-03-09 2016-02-25 连接至移动计算设备的虚拟现实头戴设备 Pending CN107407965A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562130602P 2015-03-09 2015-03-09
US62/130,602 2015-03-09
US15/052,054 US10102674B2 (en) 2015-03-09 2016-02-24 Virtual reality headset connected to a mobile computing device
US15/052,054 2016-02-24
PCT/US2016/019603 WO2016144560A1 (en) 2015-03-09 2016-02-25 Virtual reality headset connected to a mobile computing device

Publications (1)

Publication Number Publication Date
CN107407965A true CN107407965A (zh) 2017-11-28

Family

ID=55913684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680014601.5A Pending CN107407965A (zh) 2015-03-09 2016-02-25 连接至移动计算设备的虚拟现实头戴设备

Country Status (4)

Country Link
US (1) US10102674B2 (zh)
EP (1) EP3268846B1 (zh)
CN (1) CN107407965A (zh)
WO (1) WO2016144560A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111989643A (zh) * 2018-04-19 2020-11-24 惠普发展公司，有限责任合伙企业 从触摸表面设备向虚拟现实设备的输入
CN114207559A (zh) * 2019-08-03 2022-03-18 高通股份有限公司 计算设备和扩展现实集成
US11340460B2 (en) 2020-05-18 2022-05-24 Google Llc Low-power semi-passive relative six-degree-of- freedom tracking

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
EP3318050B8 (en) 2015-07-03 2020-08-05 Telecalm, Inc. Telephone system for impaired individuals
US10398976B2 (en) * 2016-05-27 2019-09-03 Samsung Electronics Co., Ltd. Display controller, electronic device, and virtual reality device
EP3299930A1 (en) * 2016-09-21 2018-03-28 Alcatel Lucent Virtual reality interaction
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
CN106598472A (zh) * 2016-10-26 2017-04-26 捷开通讯(深圳)有限公司 快速启动vr应用的方法及系统、移动控制终端
US10459519B2 (en) 2017-01-19 2019-10-29 Google Llc Function allocation for virtual controller
CN106873159A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
CN107025820A (zh) * 2017-05-12 2017-08-08 宇龙计算机通信科技(深圳)有限公司 练车模拟操作方法及用户设备
CN107238930A (zh) * 2017-07-19 2017-10-10 北京小米移动软件有限公司 虚拟现实眼镜
CN107275904A (zh) * 2017-07-19 2017-10-20 北京小米移动软件有限公司 虚拟现实眼镜的数据连接线
JP2019036914A (ja) * 2017-08-21 2019-03-07 ウエストユニティス株式会社 連携表示システム
US10754496B2 (en) 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
US10409444B2 (en) 2017-09-01 2019-09-10 Microsoft Technology Licensing, Llc Head-mounted display input translation
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
US10818097B2 (en) 2017-12-12 2020-10-27 Disney Enterprises, Inc. Spatial position calculation system for objects in virtual reality or augmented reality environment
GB2569325B (en) 2017-12-13 2020-05-06 Imperial Innovations Ltd Ear examination apparatus
CN110166764B (zh) 2018-02-14 2022-03-01 阿里巴巴集团控股有限公司 虚拟现实vr直播中的视角同步方法及装置
US10467981B1 (en) 2018-06-13 2019-11-05 Dell Products, Lp Method and apparatus for providing interface between dedicated discrete graphics processing unit and head mounted display using type-C universal standard bus
US11036284B2 (en) * 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
KR102620702B1 (ko) * 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
US11086392B1 (en) * 2019-04-09 2021-08-10 Facebook Technologies, Llc Devices, systems, and methods for virtual representation of user interface devices
US20220021863A1 (en) * 2020-07-14 2022-01-20 Chad Lee Methods and systems for facilitating population of a virtual space around a 2d content
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
US11558711B2 (en) * 2021-03-02 2023-01-17 Google Llc Precision 6-DoF tracking for wearable devices
US20230013539A1 (en) * 2021-07-15 2023-01-19 Qualcomm Incorporated Remote landmark rendering for extended reality interfaces

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169928A1 (en) * 2010-01-08 2011-07-14 Kopin Corporation Video eyewear for smart phone games
CN102934049A (zh) * 2010-06-09 2013-02-13 微软公司 使用触摸敏感控制表面与桌面进行间接用户交互
US20140160002A1 (en) * 2012-12-07 2014-06-12 Research In Motion Limited Mobile device, system and method for controlling a heads-up display
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
CN104238738A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐美国公司 在头戴式系统内产生增强虚拟现实场景的系统和方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI102867B1 (fi) 1996-03-20 1999-02-26 Helsingin Puhelin Oyj Menetelmä ja laitteisto virtuaalitodellisuuden ja reaalimaailman kytkemiseksi toisiinsa reaaliaikaisen tietoliikenneyhteyden, kuten esimerkiksi puhelinyhteyden muodostamiseksi
US7215322B2 (en) 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
US6967566B2 (en) * 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20040106504A1 (en) 2002-09-03 2004-06-03 Leonard Reiffel Mobile interactive virtual reality product
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US20060017654A1 (en) 2004-07-23 2006-01-26 Romo Justin R Virtual reality interactivity system and method
US9317108B2 (en) 2004-11-02 2016-04-19 Pierre A. Touma Hand-held wireless electronic device with accelerometer for interacting with a display
KR101019569B1 (ko) 2005-08-29 2011-03-08 에브릭스 테크놀로지스, 인코포레이티드 모바일 이미지 인식을 통한 상호작용
US20090046140A1 (en) 2005-12-06 2009-02-19 Microvision, Inc. Mobile Virtual Reality Projector
KR100735566B1 (ko) 2006-04-17 2007-07-04 삼성전자주식회사 이동 통신 단말기를 포인터로 이용하는 시스템 및 그 방법
US7636900B2 (en) 2006-10-25 2009-12-22 Samsung Electronics Co., Ltd. Personalized virtual reality home screen for mobile devices
DE08713883T1 (de) 2007-01-22 2010-04-15 Bell Helicopter Textron, Inc., Fort Worth System und verfahren zur steuerung einer virtuellen realität durch einen darsteller in der virtuellen realität
IL183637A (en) 2007-06-04 2013-06-27 Zvi Lapidot Head display system
JP4404927B2 (ja) * 2007-10-10 2010-01-27 シャープ株式会社 表示システムおよび指示位置の検出方法
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
EP2193825B1 (en) 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
US8425289B2 (en) 2009-09-23 2013-04-23 Disney Enterprises, Inc. Traveling virtual pet game system
TW201126397A (en) * 2010-01-18 2011-08-01 Acer Inc Optical touch control display and method thereof
US8442502B2 (en) 2010-03-02 2013-05-14 Empire Technology Development, Llc Tracking an object in augmented reality
KR101303948B1 (ko) 2010-08-13 2013-09-05 주식회사 팬택 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
US9024843B2 (en) 2011-06-30 2015-05-05 Google Inc. Wearable computer with curved display and navigation tool
KR101407670B1 (ko) 2011-09-15 2014-06-16 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법
ES2656868T3 (es) 2011-10-05 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositivo portátil, sistema y método de realidad virtual
JP2013110514A (ja) 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US8894484B2 (en) 2012-01-30 2014-11-25 Microsoft Corporation Multiplayer game invitation system
ES2422056B1 (es) 2012-03-05 2014-11-04 Vodafone España, S.A.U. Método para introducir un objeto físico en un mundo virtual
US8767016B2 (en) 2012-03-15 2014-07-01 Shun-Ching Yang Virtual reality interaction system and method
KR101974652B1 (ko) 2012-08-09 2019-05-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 오디오 출력과 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이 및 그 제어 방법
KR20180035243A (ko) 2012-08-24 2018-04-05 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 가상 현실 어플리케이션
US9129429B2 (en) 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US20140168261A1 (en) 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
US20140313294A1 (en) * 2013-04-22 2014-10-23 Samsung Display Co., Ltd. Display panel and method of detecting 3d geometry of object
US20160291687A1 (en) * 2013-05-21 2016-10-06 Sony Corporation Display control device, display control method, and recording medium
GB201310373D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable Apparatus and systems
GB201314984D0 (en) 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169928A1 (en) * 2010-01-08 2011-07-14 Kopin Corporation Video eyewear for smart phone games
CN102934049A (zh) * 2010-06-09 2013-02-13 微软公司 使用触摸敏感控制表面与桌面进行间接用户交互
US20140160002A1 (en) * 2012-12-07 2014-06-12 Research In Motion Limited Mobile device, system and method for controlling a heads-up display
CN104238738A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐美国公司 在头戴式系统内产生增强虚拟现实场景的系统和方法
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOMASZ MAZURYK,MICHACL GERVAUTZ: "Virtual Reality History ,Applications,Technology and Future", 《TUWIEN》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111989643A (zh) * 2018-04-19 2020-11-24 惠普发展公司，有限责任合伙企业 从触摸表面设备向虚拟现实设备的输入
CN114207559A (zh) * 2019-08-03 2022-03-18 高通股份有限公司 计算设备和扩展现实集成
US11340460B2 (en) 2020-05-18 2022-05-24 Google Llc Low-power semi-passive relative six-degree-of- freedom tracking
US11567329B2 (en) 2020-05-18 2023-01-31 Google Llc Low-power semi-passive relative six-degree-of-freedom tracking

Also Published As

Publication number Publication date
EP3268846B1 (en) 2020-08-19
EP3268846A1 (en) 2018-01-17
US20160267712A1 (en) 2016-09-15
WO2016144560A1 (en) 2016-09-15
US10102674B2 (en) 2018-10-16

Similar Documents

Publication Publication Date Title
CN107407965A (zh) 连接至移动计算设备的虚拟现实头戴设备
US20210405761A1 (en) Augmented reality experiences with object manipulation
US11670267B2 (en) Computer vision and mapping for audio applications
CN107209568B (zh) 控制虚拟现实空间中的投影的方法、系统以及其存储介质
CN115917498A (zh) 使用语音和文字字幕的增强现实体验
CN110427110B (zh) 一种直播方法、装置以及直播服务器
CN108700941A (zh) 用于在虚拟现实环境中对准组件的方法和设备
CN107646098A (zh) 用于在虚拟现实中跟踪手持式设备的系统
US11954200B2 (en) Control information processing method and apparatus, electronic device, and storage medium
CN102270043A (zh) 协调设备交互来增强用户体验
US20210405772A1 (en) Augmented reality eyewear 3d painting
US11740852B2 (en) Eyewear including multi-user, shared interactive experiences
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US11803239B2 (en) Eyewear with shared gaze-responsive viewing
US20240082697A1 (en) Context-sensitive remote eyewear controller
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US11900058B2 (en) Ring motion capture and message composition system
US20220365344A1 (en) Augmented reality gaming using virtual eyewear beams
CN114115544A (zh) 人机交互方法、三维显示设备及存储介质
US11733789B1 (en) Selectively activating a handheld device to control a user interface displayed by a wearable device
CN117676070A (zh) 多媒体会议的开展方法和装置
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
CN114647316A (zh) 人机交互方法、系统、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Google Inc.

Address before: California, USA

Applicant before: Google Inc.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20171128

RJ01 Rejection of invention patent application after publication