CN110851095B - 虚拟和增强现实中的多屏幕交互 - Google Patents

虚拟和增强现实中的多屏幕交互 Download PDF

Info

Publication number
CN110851095B
CN110851095B CN201910764805.6A CN201910764805A CN110851095B CN 110851095 B CN110851095 B CN 110851095B CN 201910764805 A CN201910764805 A CN 201910764805A CN 110851095 B CN110851095 B CN 110851095B
Authority
CN
China
Prior art keywords
user device
primary user
primary
virtual
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910764805.6A
Other languages
English (en)
Other versions
CN110851095A (zh
Inventor
托德·迈克尔·格雷厄姆
约翰·H·克罗克
埃利奥特·H·鲍姆巴赫
艾米·E·纳尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN110851095A publication Critical patent/CN110851095A/zh
Application granted granted Critical
Publication of CN110851095B publication Critical patent/CN110851095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及虚拟和增强现实中的多屏幕交互。用于在交互式应用中提供多屏幕交互的技术。主用户设备建立应用会话。应用会话包括与主用户设备所在的物理环境相关的虚拟环境。主用户设备被配置为显示与虚拟环境的主虚拟相机视图相关的图形图像。确定与主虚拟相机视图相关的虚拟环境的辅助虚拟相机视图。主用户设备将与辅助虚拟相机视图相关的图像数据从主用户设备发送到辅助用户设备，辅助用户设备被配置为基于图像数据来显示图形图像。响应于从辅助用户设备接收交互请求，主用户设备基于交互请求来控制应用会话。

Description

虚拟和增强现实中的多屏幕交互
技术领域
本公开总体涉及虚拟现实(VR)和增强现实(AR)，并且更具体地但非排他地，涉及具有交互式AR或VR应用的多屏幕交互。
背景技术
许多AR和VR应用使用头戴式显示器来向用户提供与用户所在的物理环境相对应的虚拟环境。但AR和VR应用的消费者有时只购买一个头戴式显示器，一次只允许一个消费者使用该应用。例如，AR或VR视频游戏可能需要头戴式显示器。然后，仅购买一个头戴式显示器的消费者将被限制为单个玩家游戏体验。这可能将玩家与周围的人隔离，并且可能限制游戏玩法选项。
发明内容
本文描述的实施例包括一种在交互式应用中提供多屏幕交互的方法。该方法包括使用主用户设备来建立应用会话。应用会话包括与主用户设备所在的物理环境相关的虚拟环境。主用户设备被配置为显示与虚拟环境的主虚拟相机视图相关的图形图像。该方法还包括确定虚拟环境的辅助虚拟相机视图。辅助虚拟相机视图与主虚拟相机视图相关。该方法还包括将与辅助虚拟相机视图相关的图像数据从主用户设备发送到辅助用户设备。辅助用户设备被配置为基于图像数据来显示与辅助虚拟相机视图相关的图形图像。该方法还包括响应于从辅助用户设备接收交互请求，由主用户设备基于交互请求来控制应用会话。
本文描述的实施例还包括一种用于在交互式应用中提供多屏幕交互的计算机程序产品。该计算机程序产品包括计算机可读存储介质，其具有与其一起实现的计算机可读程序代码，该计算机可读程序代码可由一个或多个计算机处理器执行以执行操作。该操作包括使用主用户设备来建立应用会话。应用会话包括与主用户设备所在的物理环境相关的虚拟环境。主用户设备被配置为显示与虚拟环境的主虚拟相机视图相关的图形图像。该操作还包括确定虚拟环境的辅助虚拟相机视图。辅助虚拟相机视图与主虚拟相机视图相关。该操作还包括将与辅助虚拟相机视图相关的图像数据从主用户设备发送到辅助用户设备。辅助用户设备被配置为基于图像数据来显示与辅助虚拟相机视图相关的图形图像。该操作还包括响应于从辅助用户设备接收交互请求，由主用户设备基于交互请求来控制应用会话。
本文描述的实施例还包括一种系统。该系统包括处理器和存储器，该存储器存储程序，该程序在处理器上被执行时执行操作。该操作包括使用主用户设备来建立应用会话。应用会话包括与主用户设备所在的物理环境相关的虚拟环境。主用户设备被配置为显示与虚拟环境的主虚拟相机视图相关的图形图像。该操作还包括确定虚拟环境的辅助虚拟相机视图。辅助虚拟相机视图与主虚拟相机视图相关。该操作还包括将与辅助虚拟相机视图相关的图像数据从主用户设备发送到辅助用户设备。辅助用户设备被配置为基于图像数据来显示与辅助虚拟相机视图相关的图形图像。该操作还包括响应于从辅助用户设备接收交互请求，由主用户设备基于交互请求来控制应用会话。
附图说明
为了获得并且可以详细理解上述方面的方式，可以通过参考附图对上面简要概述的本发明的实施例进行更具体的描述。
然而，应注意，附图仅示出了本发明的典型实施例，因此不应视为限制本发明的范围，因为本发明可允许其他同等有效的实施例。
图1是根据本文描述的一个实施例的示例性交互式环境的图示。
图2是示出根据本文描述的一个实施例的主用户设备和辅助用户设备的框图。
图3是示出根据本文描述的一个实施例的头戴式显示器的框图。
图4A和4B是根据本文描述的一个实施例的在AR/VR应用中向主用户和辅助用户提供的视图的图示。
图5是示出根据本文描述的一个实施例的AR/VR应用中的第二屏幕交互的流程图。
图6是示出根据本文描述的一个实施例的在AR/VR应用中协调主相机视图和辅助相机视图的流程图。
图7是示出根据本文描述的一个实施例的在AR/VR应用中辅助玩家确定他或她相对于玩家的位置的流程图。
图8是根据本文描述的一个实施例的在AR/VR应用中支持第二屏幕交互的网络消息的图示。
图9是根据本文描述的一个实施例的在AR/VR应用中支持第二屏幕交互的网络消息的进一步图示。
具体实施方式
第二屏幕可以促进与AR/VR应用的多用户交互。例如，AR/VR视频游戏的主用户可以生成与主用户的物理环境相关的虚拟环境。主用户可以使用头戴式显示器来查看虚拟环境并与之交互。辅助用户可以使用具有传统二维显示器的设备(例如，智能电话、平板电脑、电视或计算机)来查看视频游戏中的虚拟环境并与之交互。在实施例中，辅助用户既可以与主用户一起查看游戏中的虚拟环境，又可以与主用户一起与游戏进行交互。
然而，与AR/VR应用的多用户交互可能引起许多技术问题。例如，主用户和辅助用户可能位于不同的物理位置(例如，房间中的不同位置)。AR/VR应用可包括与特定物理位置相关联的虚拟对象或字符。主用户和辅助用户的不同物理位置可以提供这些虚拟对象或角色的不同透视图，这可能需要被考虑以准确地向每个玩家显示虚拟对象或角色。例如，虚拟对象可以基于主用户的物理位置从面向前方的视角出现在主用户的显示器的一部分中，并且可以基于辅助用户的位置从侧面轮廓的视角出现在辅助用户的显示器的不同部分中。本文公开的一种或多种技术有助于协调主显示器和辅助显示器来准确地描绘主用户和辅助用户的不同物理视角。
作为另一示例，可能存在与在具有用于跟踪物理世界的不同组件的用户设备之间建立参考框架相关联的技术挑战。例如，主用户可能使用具有两个相机的头戴式显示器(例如，下面讨论的头戴式显示器300)，而辅助用户可能使用具有单个相机的智能电话或平板电脑。本文公开的一种或多种技术有助于在这些不同的设备之间建立参考框架，从而考虑到不同的组件。
在实施例中，主用户的AR/VR游戏设备(例如，主用户的头戴式显示器或智能电话)充当网络服务器。然后，一个或多个辅助用户可以使用他们自己的游戏设备连接到主用户的游戏设备。辅助用户设备充当网络客户端。在实施例中，可以由主用户和辅助用户的设备在本地控制游戏设置。替代地，游戏设置可以由中央服务器(包括云服务器)部分(或完全)控制。
在实施例中，辅助用户可以查看虚拟环境的定制版本。在实施例中，主用户和辅助用户可以位于同一物理环境中，并且虚拟环境可以对应于共享物理环境。在实施例中，可以向辅助用户提供与提供给主用户的视图类似(或相同)的虚拟环境的视图。
替代地，可以向辅助用户提供与主用户不同的他或她自己的虚拟环境视图。在实施例中，该辅助视图可以与辅助用户在主用户的共享物理环境中的位置相对应。在实施例中，AR/VR应用可以协调主用户和辅助用户在共享物理环境中的物理位置，并且可以向辅助用户提供与辅助用户相对于主用户的物理位置相关的AR/VR应用的视图。替代地，AR/VR应用可以为辅助用户提供对他或她的视图的控制。
此外，在实施例中，辅助用户不仅可以查看应用，还可以与应用交互。例如，如果主用户正在玩AR/VR视频游戏，则可以向辅助用户提供补充动作以辅助游戏设置。在该示例中，辅助用户可以经由辅助用户设备提供输入(例如，通过敲击或滑动触敏屏幕)，这将影响AR/VR应用的状态(例如，在视频游戏中提供攻击或其他交互以协助主用户)。此外，辅助用户可以向主用户提供关于游戏设置的文本、图形或音频评论。
在下文中，参考本发明的实施例。然而，应该理解，本发明不限于具体描述的实施例。相反，无论是否与不同的实施例相关，都可以预期以下特征和元件的任何组合来实现和实践本发明。此外，尽管本发明的实施例可以实现优于其他可能的解决方案和/或优于现有技术的优点，但是给定实施例是否实现特定优点不是对本发明的限制。因此，以下方面、特征、实施例和优点仅是说明性的，并且不被认为是所附权利要求的要素或限制，除非在(一个或多个)权利要求中明确叙述。同样地，对“本发明”的引用不应被解释为对本文公开的任何发明主题的概括，并且除非在(一个或多个)权利要求中明确叙述，否则不应认为是所附权利要求的要素或限制。
如本领域技术人员将理解的，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)、或者组合软件和硬件方面的实施例的形式，这些实施例在本文通常可以被称为“电路”、“模块”或“系统”。此外，本发明的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质具有体现在其上的计算机可读程序代码。
在计算机可读介质上体现的程序代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤电缆、RF等，或者前述项的任何合适的组合。用于执行本发明的各方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，包括诸如Java、Smalltalk、C++等之类的面向对象的编程语言，以及诸如“C”编程语言或类似的编程语言之类的传统过程编程语言。程序代码可以完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立的软件包、部分在用户的计算机上并且部分在远程计算机上执行、或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网)。
下面参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。将理解，流程图和/或框图中的每个框以及流程图和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得指令通过计算机或其他可编程数据处理装置的处理器来执行以创建用于实现流程图和/或一个或多个框图框中指定的功能/动作的装置。
这些计算机程序指令还可以被存储在计算机可读介质中，该计算机可读介质可以指示计算机、其他可编程数据处理装置、或其他设备以特定方式起作用，使得存储在计算机可读介质中的指令产生制品，其包括实现流程图和/或一个或多个框图框中指定的功能/动作的指令。
计算机程序指令还可以被加载到计算机、其他可编程数据处理装置、或其他设备上，以使得在计算机、其他可编程装置、或其他设备上执行一系列操作步骤以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或框一个或多个框图框中指定的功能/动作的过程。
本发明的实施例可以通过云计算基础设施提供给终端用户。云计算通常是指将可扩展计算资源作为服务在网络上提供。更正式地，云计算可以被定义为提供计算资源与其底层技术架构(例如，服务器、存储装置、网络)之间的抽象的计算能力，从而能够方便地按需网络访问可配置计算资源的共享池，其可以通过最少的管理工作或服务提供商交互来快速提供和释放。因此，云计算允许用户访问“云”中的虚拟计算资源(例如，存储装置、数据、应用、甚至完整的虚拟化计算系统)，而不考虑用于提供计算资源的基础物理系统(或那些系统的位置)。
通常，基于按使用付费的方式向用户提供云计算资源，其中仅针对实际使用的计算资源(例如，用户或由用户实例化的多个虚拟化系统所消耗的存储量)向用户收费。用户可以随时并且从互联网上的任何位置访问驻留在云中的任何资源。在本发明的上下文中，用户可以访问云中可用的应用(例如，AR/VR应用240或中央服务器950应用)或相关数据。例如，AR/VR应用240可以在云中的计算系统上执行并控制应用的使用。在这种情况下，AR/VR应用240可以控制应用的用户并将与应用有关的数据存储在云中的存储位置。这样做允许用户从附接到云所连接的网络(例如，互联网)的任何计算系统来访问该信息。
图1是根据本文描述的一个实施例的示例性交互式环境的图示。在图1所示的示例实施例中，交互式环境是AR/VR视频游戏，但是本文的实施例可以与任何合适的AR/VR应用一起使用。在系统100内，头戴式显示器300由主用户102穿戴并与主用户设备200通信。该通信可以通过通信或任何其他合适的方法无线地完成。此外，头戴式显示器300可以直接或通过有线连接来连接到主用户设备200。例如，头戴式显示器300可以通过USB接口连接到主用户设备200。在实施例中，数据可以周期性地(例如，60Hz)在头戴式显示器300和主用户设备200之间传输。
头戴式显示器300可以是主用户102穿戴的头戴式耳机，或者可以是包括任何合适类型的视觉显示器的任何设备。例如，头戴式显示器300可以包括能够向用户显示视觉界面的任何类型的动态显示器，并且可以包括任何类型的发光二极管(LED)、有机LED(OLED)、阴极射线管(CRT)、液晶显示器(LCD)、等离子、电致发光(EL)、或其他显示技术。头戴式显示器可以包括部分或完全透明的窗口，用户可以通过该窗口查看物理世界。头戴式显示器300将在下面参考图3进一步讨论。
在一些实施例中，头戴式显示器300与主用户设备200分离，但被配置为将虚拟图像叠加到用户视野中的物理对象上。例如，如图1所示，头戴式显示器300可以是体戴式设备。头戴式显示器300还包括用于主用户设备200的保持器310。例如，主用户设备200可以是诸如智能电话或平板电脑之类的便携式设备。主用户设备200可以在游戏过程中插入到头戴式显示器300中的保持器310中。参考图2更详细地描述主用户设备200。
头戴式显示器300还可以被配置为穿戴在用户眼前的目镜或镜头。在另一示例中，头戴式显示器300可以集成到由用户携带或操纵的其他设备中，或者在游戏体验期间具有任何其他合适的用户交互。例如，在参与游戏时，用户可以携带包括用于瞄准的光学瞄准器的玩具爆破器，并且头戴式显示器300可以集成在光学瞄准器中。
在一些实施例中，主用户设备200以AR模式操作，通常被配置为使用头戴式显示器300将诸如角色、对象、和/或动态视觉效果之类的虚拟图像叠加到用户的自然环境视野中。通常使用诸如视觉传感器302之类的传感器设备来确定用户的视野。在一些实施例中，主用户设备200被配置为以VR模式操作，通常使用头戴式显示器300用虚拟图像来替换用户的自然环境视野。
例如，头戴式显示器300可以叠加虚拟角色以表现为坐在环境中检测到的物理椅子上。虚拟角色在头戴式显示器300上的显示基于用户的视野(方向)、所确定的从用户的椅子深度等来动态调整。作为另一示例，头戴式显示器300可以叠加从用户手中握持的外围设备400(例如，剑柄)延伸的虚拟刀片。在一个实施例中，虚拟图像可以由主用户设备200生成并且在头戴式显示器300上显示为反射图像。头戴式显示器300可以包括诸如镜子、分束器等之类的光学元件以便于显示反射图像。头戴式显示器300还可包括透镜或其他光学元件。
在一些实施例中，主用户设备200被配置为基于感测到的环境特征和/或基于游戏玩法来动态地选择AR模式和VR模式中的一个。例如，视觉传感器302可以检测到环境非常明亮(例如，当用户处于直射阳光下时)，这对于用户来说可能难以使用头戴式显示器300来查看重叠信息。在另一示例中，游戏设置可以指定夜间设置。在这些示例中，可以启用VR模式，以便基本上将用户的视野与周围的物理环境隔离，从而减少从环境接收的光量。在这两种情况下，动态选择AR/VR显示模式可以改善游戏环境的沉浸性，无论是通过确保用户能够适当地查看重叠信息还是通过提供与游戏的虚拟设置一致的更真实设置。
头戴式显示器300提供紧凑AR/VR显示器，其可在游戏期间由用户携带或穿戴。如上所述，头戴式显示器300可以包括与主用户设备200的显示器分离的设备。使用智能电话或其他移动计算设备的紧凑型AR/VR显示器的实现方式提供了若干优点。例如，能够适配用户的智能电话的实现方式提供了紧凑AR/VR显示器的降低的制造成本，因为不需要包括单独的计算硬件。包括在智能电话中的相机可以用作视觉传感器302，以动态地提供关于物理环境和用户的视野的信息。使用智能电话还可以为用户提供增加的便利性，并且可以提供相对大的显示器以供查看。
许多考虑因素影响使用移动计算设备的紧凑AR/VR显示器的设计。通常，紧凑AR/VR显示器包括光学装置，其被配置为将移动计算设备的一些或全部显示传输到用户的眼睛。取决于当前选择的模式(AR或VR)，光学装置还被配置为将来自物理环境的一些或全部光传输到用户的眼睛。将紧凑AR/VR显示器设计成具有相对小的尺寸和重量可能是有益的。较小和较轻的体戴式实施方式允许年轻用户或具有减小大小和/或力量的其他用户来使用，并且通常在使用期间不那么疲劳。还可以选择移动计算设备和/或光学装置的定位以减少用户的力矩。例如，在头戴式紧凑型AR/VR显示器中，与其中智能电话被定位远离用户的头部的实现方式相比，在更靠近用户头部的位置处包括智能电话提供更小的力矩(例如，对应于颈部或上身的张力)。紧凑(小型)实现方式还通过减少材料和工艺要求降低了制造成本。与大型或体实现方式相比，紧凑实现方式对于用户而言在美学上也更令人愉悦。
系统100还包括跟踪信标130。跟踪信标130包括可以由主用户设备200和/或头戴式显示器300用作参考点的灯。头戴式显示器300中的视觉传感器302可用于跟踪来自跟踪信标130的光，以便提供用户的物理位置中的地板的参考点。此外，跟踪信标130可以通过合适的无线或有线通信协议与主用户设备200和/或头戴式显示器300通信。
系统100还包括外围设备400。在图1所示的AR/VR视频游戏中，外围设备400用作游戏控制器，向用户模拟剑或工作人员。外围设备400可以与主用户设备200、头戴式显示器300、和/或跟踪信标130通信。该通信可以通过蓝牙通信无线地完成、经由有线连接、或通过任何其他合适的方法。
系统100还包括由第二用户104操作的辅助用户设备250。在一个实施例中，系统100包括主用户102和一个辅助用户104。替代地，系统可以包括多个辅助用户104和多个辅助用户设备250。在实施例中，辅助用户设备250是智能电话、平板电脑、计算机、或提供显示器254的其他设备。在实施例中，显示器254向第二用户104提供显示给主用户102的AR/VR应用的辅助视图。在实施例中，辅助用户设备250包括输入组件，例如，触摸屏、键盘或鼠标。替代地，显示器254可以是电视，并且用户设备250可以包括单独的输入设备，例如，遥控器、智能电话应用、或视频游戏控制器。关于图2更详细地讨论了辅助设备250。
图2是示出根据本文描述的一个实施例的主用户设备和辅助用户设备的框图。主用户设备200可以是智能电话、平板电脑或任何其他合适的设备。主用户设备200可以与头戴式显示器300分离，或者主用户设备200和头戴式显示器300可以集成在一起以形成组合设备。主用户设备200包括相机202。相机202可以被配置为感测可见光和/或红外光。替代地，相机202可以是任何其他形式的合适的视觉传感器。主用户设备200还包括显示器204。显示器204可以包括能够向用户显示视觉界面的任何类型的动态显示器，并且可以包括任何类型的LED、OLED、CRT、LCD、等离子体、电致发光、或其他显示技术。
主用户设备200还包括网络接口210。在实施例中，网络接口210包括足以通过通信网络建立连接的硬件和软件。在实施例中，网络接口210可以使用任何合适的通信网络，包括互联网、本地接入网络、或宽接入网络。网络接口210可以是有线或无线网络。网络接口210可以使用任何合适的通信协议，包括任何合适的无线协议。例如，网络接口210可以使用IEEE Wi-Fi标准(如802.11标准)、另一Wi-Fi标准、蜂窝协议(包括3G、LTE、4G等)、蓝牙等。此外，网络接口210可以使用几种不同的通信协议。
主用户设备200还包括处理器206，其通常取回并执行存储在存储器230中的编程指令。包括处理器206以代表单个中央处理单元(CPU)、多个CPU、具有多个处理核的单个CPU、具有多个执行路径的图形处理单元(GPU)等。通常包括存储器230以代表任何(一个或多个)合适类型的电子存储装置，包括随机存取存储器或非易失性存储装置。
存储器230通常包括用于执行与游戏相关的各种功能的程序代码。程序代码通常被描述为存储器230内的各种功能“应用”或“模块”，但是替代实现方式可以具有不同的功能和/或功能组合。在存储器230内，AR/VR应用240通常被配置为控制用户的AR/VR应用。AR/VR应用240例如可以是AR/VR视频游戏，或任何其他合适的AR/VR应用。
AR/VR应用240包括交互服务器模块242和交互客户端模块244。在实施例中，交互服务器模块242通常被配置为充当网络服务器以促进与AR/VR的第二屏幕交互。在实施例中，交互服务器模块242通常被配置为充当网络客户端以促进与AR/VR应用240的第二屏幕交互。关于图5-9更详细地讨论了这些项中的每一个。在实施例中，AR/VR应用240包括交互服务器模块242和交互客户端模块244二者。替代地，主用户设备200的存储器230中的AR/VR应用仅包括交互服务器模块242。
主用户设备200包括惯性测量单元(IMU)212。IMU 212包括用于测量主用户设备200的位置和取向的传感器。例如，IMU 212可包括测量加速度力的加速计214，该加速度力源于主用户设备200在用户的物理环境中的移动。IMU 212还可以包括陀螺仪216，其测量主用户设备200在用户的物理环境中的取向。IMU 212还可以包括磁力计218，其测量主用户的物理环境中的磁场的特性。加速度计214、陀螺仪216和磁力计218仅仅是可以包括在IMU212内的传感器的示例。在实施例中，IMU 212可以包括另外的合适的传感器，或者可以包括更少的传感器。
辅助用户设备250可以是智能电话、平板电脑、计算机、或任何其他合适的设备。此外，辅助用户设备可以由多个组件(例如，电视和智能电话或游戏控制器)组成。辅助用户设备250包括相机252。相机252可以配置为感测可见光和/或红外光。替代地，相机252可以是任何其他形式的合适的视觉传感器。辅助用户设备250还包括显示器254。显示器254可以包括能够向用户显示视觉界面的任何类型的动态显示器，并且可以包括任何类型的LED、OLED、CRT、LCD、等离子体、电致发光、或其他显示技术。
辅助用户设备还包括输入设备258。在实施例中，输入设备258被集成到辅助用户设备中。例如，输入设备258可以是集成到智能电话、平板电脑、或计算机中的触摸屏或键盘。替代地，输入设备258是多组件设备中的单独的组件。例如，显示器254可以是电视或其他单独的屏幕，并且输入设备258可以是单独的智能电话、遥控器或游戏控制器。
辅助用户设备250还包括网络接口260。在实施例中，网络接口260包括足以通过通信网络建立连接的硬件和软件。在实施例中，网络接口260可以使用任何合适的通信网络，包括互联网、本地接入网络或宽接入网络。网络接口260可以是有线或无线网络。网络接口260可以使用任何合适的通信协议，包括任何合适的无线协议。例如，网络接口260可以使用IEEE Wi-Fi标准(如802.11标准)、另一Wi-Fi标准、蜂窝协议(包括3G、LTE、4G等)、蓝牙等。此外，网络接口260可以使用几种不同的通信协议。
辅助用户设备250还包括处理器256，其通常取回并执行存储在存储器270中的编程指令。包括处理器256以代表单个中央处理单元(CPU)、多个CPU、具有多个处理核的单个CPU、具有多个执行路径的图形处理单元(GPU)等。通常包括存储器270以代表任何(一个或多个)合适类型的电子存储装置，包括随机存取存储器或非易失性存储装置。
存储器270通常包括用于执行与游戏相关的各种功能的程序代码。程序代码通常被描述为存储器270内的各种功能“应用”或“模块”，但是替代实现方式可以具有不同的功能和/或功能组合。在存储器270内，AR/VR应用280通常被配置为控制用户的AR/VR应用。AR/VR应用280例如可以是AR/VR视频游戏，或任何其他合适的AR/VR应用。在实施例中，辅助用户设备中的AR/VR应用280与主用户设备中的AR/VR应用240相同。替代地，AR/VR应用280与AR/VR应用240不同。
AR/VR应用280包括交互服务器模块282和交互客户端模块284。在实施例中，交互服务器模块282通常被配置为充当网络服务器以促进与AR/VR应用280的第二屏幕交互。在实施例中，交互服务器模块282通常被配置为充当网络客户端以促进与AR/VR应用280的第二屏幕交互。关于图5-9更详细地讨论了这些项中的每一个。在实施例中，AR/VR应用280包括交互服务器模块282和交互客户端模块284二者。替代地，辅助用户设备250的存储器270中的AR/VR应用仅包括交互客户端模块284。
辅助用户设备250包括IMU 262。IMU 262包括用于测量主用户设备200的位置和取向的传感器。例如，IMU 262可以包括测量加速度力的加速计264，该加速度力源于辅助用户设备250在用户的物理环境中的移动。IMU 262还可以包括陀螺仪266，其测量辅助用户设备250在用户的物理环境中的取向。IMU 262还可以包括磁力计268，其测量主用户的物理环境中的磁场的特性。加速度计264、陀螺仪266和磁力计268仅是可以包括在IMU 262内的传感器的示例。在实施例中，IMU 262可以包括另外的合适的传感器，或者可以包括更少的传感器。
图3示出了根据一个实施例的示例性头戴式显示器300。头戴式显示器300可以与用户设备200分离，或者用户设备200和头戴式显示器300可以集成在一起以形成组合设备。头戴式显示器300包括一个或多个视觉传感器302。视觉传感器302可以被配置为感测可见光和/或红外光。替代地，视觉传感器302可以是任何其他形式的合适的视觉传感器。头戴式显示器300还包括显示器304。显示器304可以包括能够向用户显示视觉界面的任何类型的动态显示器，并且可以包括任何类型的LED、OLED、CRT、LCD、等离子体、电致发光、或其他显示技术。
头戴式显示器300包括光学器件308。光学器件308可包括镜子、透镜、分束器和其他合适的组件。光学器件308可用于促进向用户显示虚拟和物理环境。头戴式显示器300包括音频输出350。音频输出350可以是扬声器、耳机、或任何其他合适的输出音频的设备。头戴式显示器300还包括音频输入360。音频输入360可以是麦克风或任何其他合适的音频输入设备。在实施例中，音频输出350和音频输入360是用户设备200的组件(例如，移动电话或平板电脑中的麦克风和扬声器)。在另一实施例中，音频输出350和音频输入360是头戴式显示器300中的单独的组件。
在实施例中，头戴式显示器300可以是轻型显示器，其不包括其自己的处理器和存储器，而是依赖于主用户设备200进行操作。例如，头戴式显示器300可以是滑入式显示器，其中主用户设备200的处理器206和存储器230控制AR/VR应用的显示和操作。
替代地，头戴式显示器300可以包括其自己的处理器306，其通常取回并执行存储在存储器330中的编程指令。包括处理器306以代表单个中央处理单元(CPU)、多个CPU、具有多个处理核的单个CPU、具有多个执行路径的图形处理单元(GPU)等。通常包括存储器330以代表任何(一个或多个)合适类型的电子存储装置，包括随机存取存储器或非易失性存储装置。
存储器330通常包括用于执行与游戏相关的各种功能的程序代码。程序代码通常被描述为存储器330内的各种功能“应用”或“模块”，但是替代实现方式可以具有不同的功能和/或功能组合。在存储器330内，AR/VR应用340通常被配置为控制用户的AR/VR应用。AR/VR应用340例如可以是AR/VR视频游戏，或任何其他合适的AR/VR应用。头戴式显示器300中的AR/VR应用240通常可以与主用户设备200中的AR/VR应用240相同。或者，头戴式显示器300中的AR/VR应用240可以与主用户设备200中的AR/VR应用240不同。
AR/VR应用240包括交互服务器模块242和交互客户端模块244。在实施例中，交互服务器模块242通常被配置为充当网络服务器以促进与AR/VR应用240的第二屏幕交互。在实施例中，交互服务器模块242通常被配置为充当网络客户端以促进与AR/VR应用240的第二屏幕交互。关于图5-9更详细地讨论了这些项中的每一个。在实施例中，AR/VR应用240包括交互服务器模块242和交互客户端模块244二者。替代地，头戴式显示器300的存储器330中的AR/VR应用仅包括交互服务器模块242。
头戴式显示器300包括IMU 312。如图3所示，IMU 312与包括在主用户设备200中的IMU 212分离。替代地，头戴式显示器300可以依赖于主用户设备200中的IMU 212。IMU 312包括用于测量头戴式显示器300的位置和方向的传感器。例如，IMU 312可包括测量加速度力的加速度计314，该加速度力源于头戴式显示器300在用户的物理环境中的运动。IMU312还可以包括陀螺仪316，其测量头戴式显示器300在用户的物理环境中的取向。IMU 312还可以包括磁力计318，其测量用户物理环境中的磁场的特性。加速度计314、陀螺仪316和磁力计318仅是可以包括在IMU312内的传感器的示例。在实施例中，IMU可以包括另外的合适的传感器，或者可以包括更少的传感器。例如，IMU 312可以仅包括磁力计318，而不包括加速度计或陀螺仪。
图4A和图4B是根据本文描述的一个实施例的在AR/VR应用中向主用户和辅助用户提供的视图的图示。在实施例中，图4A和图4B描绘了对应于共享物理环境的共享虚拟环境，其中主用户和辅助用户都位于其中。例如，主用户和辅助用户可以位于同一物理房间中。在实施例中，AR/VR应用(例如，图2中所示的AR/VR应用240和280)是视频游戏。替代地，AR/VR应用可以是任何其他合适的AR/VR应用。
图4A示出了主用户(例如，图1中所示的主用户102)的AR/VR应用240的视图400。在实施例中，可以使用头戴式显示器300和主用户设备200将视图400提供给主用户102。视图400包括面向用户102的持有剑414的游戏角色412。视图400还包括信标416(例如，图1中所示的信标130)。
图4B示出了辅助用户(例如，图1中所示的辅助用户104)的AR/VR应用(例如，AR/VR应用280)的视图450。在实施例中，可以使用辅助用户设备250将视图450提供给辅助用户104。视图450包括相同的虚拟环境，其中游戏角色412持有剑414，这次是站在对于用户104的侧面中。视图450还包括相同的物理环境，包括信标416(例如，图1中所示的信标130)。在实施例中，辅助视图450向辅助用户104提供与提供给主用户102的相同的虚拟环境的视图。在实施例中，辅助视图450从与主视图400不同的视角描绘AR/VR应用280。替代地，辅助视图450可以匹配(或部分匹配)主视图400的透视图。
图5是示出根据本文描述的一个实施例的AR/VR应用中的第二屏幕交互的流程图。在框502处，用户(例如，图1中所示的主用户102或辅助用户104)启动多用户会话。在实施例中，主用户102可以使用主用户设备200来启动多用户会话。替代地，辅助用户104可以使用辅助用户设备250来启动多用户会话。
在框504处，AR/VR应用(例如，AR/VR应用240)使用网络接口(例如，主用户设备200中的网络接口210和辅助用户设备250中的网络接口260)来初始化主用户设备(例如，主用户设备200)和(一个或多个)辅助用户设备(例如，辅助用户设备250)之间的网络通信。如上所述，在实施例中，主用户设备200与单个辅助用户设备250交互。替代地，主用户设备200与多个辅助用户设备250交互。在实施例中，交互服务器模块(例如，主用户设备200中的交互服务器模块242)发起与交互客户端模块(例如，辅助用户设备250中的交互客户端模块284)的网络连接。在实施例中，交互服务器模块242可以搜索附近的辅助用户设备250并自动建立网络连接。替代地，主用户102可以输入辅助用户设备250的标识符或地址。
在实施例中，主用户设备200和辅助用户设备250之间的网络连接可以使用任何合适的通信网络，包括互联网、本地接入网络或宽接入网络。网络连接可以是有线或无线网络。通信网络可以使用任何合适的通信协议，包括任何合适的无线协议。例如，通信网络可以使用IEEE Wi-Fi标准(如802.11标准)、另一Wi-Fi标准、蜂窝协议(包括3G、LTE、4G等)、蓝牙等。此外，通信网络可以使用几种不同的通信协议。
替代地，辅助用户设备250可以初始化与主用户设备260的网络连接。在实施例中，辅助用户设备250上的交互客户端模块284可以搜索附近的主用户设备200并自动建立网络连接。替代地，辅助用户104可以输入主用户设备200的标识符或地址。
在框506处，AR/VR应用(例如，AR/VR应用240)确定是否同步主用户和(一个或多个)辅助用户之间的相机视图。如上所述，在实施例中，系统包括主用户102和一个辅助用户104。替代地，系统可以包括多个辅助用户104。在实施例中，主用户102指示AR/VR应用240是否同步主用户设备和辅助用户设备之间(例如，在主用户设备200和辅助用户设备250之间)的视图。替代地，AR/VR应用240可以被配置为自动同步设备之间的相机视图，或者自动不同步设备之间的视图。
如果AR/VR应用(例如，AR/VR应用240)确定同步相机视图，则在框508处，AR/VR应用(例如，AR/VR应用240)已确定同步相机视图，因此AR/VR应用240将辅助相机视图与主相机视图进行协调。在实施例中，AR/VR应用240标识辅助用户设备250与主用户设备200相比的相对物理位置，并配置辅助用户设备250的相机视图以匹配该相对物理位置。这将结合图6更详细地讨论。在实施例中，主用户设备200中的AR/VR应用240协调相机视图。替代地，辅助用户设备250中的AR/VR应用280(单独、或与AR/VR应用240结合)协调相机视图。
如果AR/VR应用(例如，AR/VR应用240或280)确定不同步相机视图，则在框510处，AR/VR应用针对辅助用户启用手动查看。在实施例中，辅助用户104可以从用于手动视图的若干选项中进行选择。在实施例中，辅助用户104可以使用反映主用户102的视图的第一人称视图。在该示例中，主用户设备200可以将视觉数据发送到辅助用户设备250以提供反映显示在主用户设备200上视图的视图。
在另一实施例中，辅助用户104可以使用反映主用户设备200的视觉传感器之一的第一人称视图。在实施例中，主用户设备200可以与头戴式显示器300一起使用。头戴式显示器300可包括多个视觉传感器302。例如，头戴式显示器300可包括两个视觉传感器302，主用户102的每只眼睛一个。在该实施例中，主用户设备200可以将这些视觉传感器302之一提供的视图传输到辅助用户设备250-例如，这可以向辅助用户104提供反映主用户102的眼睛之一的视图。
在另一实施例中，AR/VR应用(例如，AR/VR应用240或280)允许辅助用户104来控制观看主用户102的虚拟第三人称相机。例如，在实施例中，AR/VR应用是视频游戏。主用户设备200向主用户102提供游戏的第一人称视图。对于辅助用户104，AR/VR应用默认地将虚拟相机视图配置为在主玩家之上和之后。辅助用户设备250向辅助用户104提供主玩家的运动和动作的第三人称视图，以及周围环境。在实施例中，辅助用户104可以手动控制该相机视图(例如，围绕主用户移动相机视角、缩放等)。替代地，该第三人称相机视图可以在任何合适的位置开始，或者默认位置可以由用户配置。
在框512处，AR/VR应用(例如，AR/VR应用240)建立多用户会话。在实施例中，主用户设备200使用交互服务器模块242充当会话的网络服务器。在实施例中，辅助用户设备250使用交互客户端模块284充当会话的网络客户端。在实施例中，AR/VR应用240还使用中央服务器来控制会话(例如，图9中所示的中央服务器950)。此外，在实施例中，辅助用户设备250可以通过与主用户设备200的通信来与AR/VR应用240交互。例如，AR/VR应用可以是视频游戏，并且辅助用户设备250可以发起游戏攻击或其他游戏交互(例如，辅助用户104可以点击或滑动辅助用户设备250中的触敏屏幕以发起攻击)。将结合图8和图9进一步讨论主用户设备200和辅助用户设备250之间的交互。
在框510处，AR/VR应用(例如，AR/VR应用240或280)确定多用户会话是否完成。如果会话未完成，则流程返回到框512并继续会话。如果会话完成，则流程结束。
图6是示出根据本文描述的一个实施例的在AR/VR应用中协调主相机视图和辅助相机视图的流程图。在实施例中，图6对应于图5中所示的框508。在框602处，AR/VR应用(例如，AR/VR应用240)确定参考标记在物理世界中的位置。在实施例中，参考标记可以是发光信标(例如，图1中所示的信标130)。在该实施例中，AR/VR应用240可以使用两个视觉传感器(例如，头戴式显示器300中的视觉传感器302)来对信标130在物理世界中的物理位置进行三角测量。这允许AR/VR应用240确定主用户102相对于信标130的位置。
替代地，AR/VR应用240使用两个标记(例如，两个信标130)。在实施例中，两个信标130可以以不同的颜色点亮。然后，AR/VR应用240可以使用视觉传感器(例如，头戴式显示器300中的视觉传感器302)来确定每个信标130的位置。此外，AR/VR应用240可以使用两个视觉传感器302来确定信标130之间的距离。在实施例中，AR/VR应用240可以使用增强现实API工具包来辅助使用视觉传感器302标识信标130。
在框604处，辅助用户设备250上的AR/VR应用280确定辅助用户104相对于主用户102的位置。在实施例中，AR/VR应用280使用视觉传感器(例如，相机252)来定位标记(例如，信标130)。然后，AR/VR应用280可以使用该标记相对于主用户设备200和辅助用户设备250中的每一个的位置来确定辅助用户设备250相对于主用户设备200的位置。
在实施例中，辅助用户设备仅包含一个视觉传感器252，因此辅助用户设备250不能对到信标130的距离进行三角测量。在该实施例中，仅来自视觉传感器252的视图可能不足以确定辅助用户设备250与信标130的距离。在该实施例中，辅助用户设备250可以依赖来自主用户设备200的数据来完成该确定。例如，主用户设备200可以向辅助用户设备250提供附加数据，以允许辅助用户设备250来确定从辅助用户设备250到信标130的距离。
在另一实施例中，代替(或除了)依赖于信标130，在辅助用户设备250中运行的AR/VR应用280可以依赖于主用户设备200显示的字形。这关于图7来更详细讨论。在该实施例中，辅助用户设备250可以标识该字形并使用其位置来确定主用户设备200的位置。
在框606处，AR/VR应用(例如，AR/VR应用240和280)使用IMU数据来确定用户设备所面向的(一个或多个)方向。在实施例中，在框602和604处，AR/VR应用确定辅助用户设备250和主用户设备200的相对位置。然而，这可能未确定每个用户设备面向哪个方向。在实施例中，AR/VR应用240和280可以使用IMU数据(例如，来自IMU 212、262或312中的一个或多个的数据)来确定每个用户设备所面向的方向。例如，在主用户设备200中运行的AR/VR应用240可以使用来自IMU 212的数据来确定主用户设备200面向的方向。如果头戴式显示器300包括IMU，则可以利用来自头戴式显示器300中的IMU 312的数据来补充或替换该数据。作为另一示例，在辅助用户设备250中运行的AR/VR应用280可以使用来自IMU 262的数据来确定辅助用户设备250面向的方向。
在框608处，AR/VR应用确定要由辅助用户设备250显示的视图。在实施例中，AR/VR应用使用(上面在框602和604处确定的)用户设备200和250的物理位置，以及(上面在框606处确定的)用户设备200和250面向的方向来生成辅助用户设备250的相机视图，其模仿物理世界中辅助用户104相对于主用户104的位置。例如，AR/VR应用104可以是视频游戏。主用户设备200可以向主用户102显示游戏角色(例如，坏人)。在实施例中，游戏角色可以看起来直接在主用户102的前面。辅助用户104可以位于主用户102的一侧-例如，在沙发上的主用户的右侧。在框608处，AR/VR应用生成游戏的视图，其中，辅助用户设备250从右侧视角显示游戏角色的视图，如果游戏角色物理地存在于房间中，则模拟该视图。
在实施例中，在主用户设备200上运行的AR/VR应用240可以确定辅助相机视图。例如，如关于图8和图9进一步讨论的，主用户设备200可以用作网络服务器，将视频数据的帧发送到辅助用户设备250以供显示。替代地，在辅助用户设备250上运行的AR/VR应用280可以确定辅助相机视图。作为另一替代方案，主用户设备200和辅助用户设备250可以一起确定辅助相机视图。
在框610处，AR/VR应用(例如，AR/VR应用240、280，或两者)使用IMU数据来维护辅助相机视图。在实施例中，主用户102和辅助用户104可以在整个物理世界中移动，使得参考标记(例如，信标130)不再在视野中。在该实施例中，IMU数据可用于跟踪每个用户的移动，并预测和更新辅助相机视图，而不依赖于信标130。例如，AR/VR应用240可以使用来自IMU212和312的数据来跟踪主用户102的移动。作为另一示例，AR/VR应用280可以使用来自IMU262的数据来跟踪辅助用户104的移动。然后，AR/VR应用可以预测和更新辅助视图以匹配用户的不断变化的物理位置。
图7是示出根据本文描述的一个实施例的辅助玩家在AR/VR应用中确定他或她相对于玩家的位置的流程图。如上面关于图6中所示的框604所讨论的，在实施例中，AR/VR应用通过使用视觉传感器(例如，相机252)将信标130标识为参考标记来确定辅助用户设备250相对于主用户设备200的物理位置。在另一实施例中，辅助用户设备250不能(或不)使用相机252来标识信标130。例如，辅助用户设备250可能无法注册与头戴式显示器300组合的主用户设备200可用的斑点检测标记。
在该替代实施例中，在框702处，AR/VR应用(例如，AR/VR应用280)标识替代参考标记并记录参考标记的位置。在一个实施例中，AR/VR应用280标识由主用户设备200和头戴式显示器300显示的字形或符号。例如，如上所述，在实施例中，头戴式显示器300包括透明显示器，通过该透明显示器，使用光学器件308来反射和聚焦主用户设备200的显示器204。在该实施例中，通过头戴式显示器300的透明部分，使用头戴式显示器300显示给主用户102的项对于辅助用户104也是可见的。
AR/VR应用240可以在多用户会话的开始处生成特定字形(或符号)，并将字形显示给主用户102。通过头戴式显示器300的透明显示器，字形对于辅助用户设备250也是可见的。AR/VR应用280可以使用辅助用户设备250(例如，相机252)中的视觉传感器来捕获和标识字形。AR/VR应用280记录字形的位置，并使用该位置作为辅助用户设备250的坐标系的参考点。
在替代实施例中，AR/VR应用280将物理环境中的另一对象标识为辅助用户设备250的参考标记，而不是字形。例如，AR/VR应用280可以使用相机252来标识主用户102所穿戴的头戴式显示器30。作为另一示例，AR/VR应用280可以使用相机252来标识主用户102所持有的外围设备400。
在框704处，AR/VR应用(例如，AR/VR应用240和280)记录参考标记(例如，字形)相对于主用户设备200的坐标系中的另一固定参考点(例如，信标130)的位置。例如，AR/VR应用240记录字形相对于固定信标130的位置。AR/VR应用240将虚拟对象相对于信标130放置在坐标系中。
在框706处，AR/VR应用240将虚拟对象的位置从主坐标系(对于主用户设备200)转换到辅助坐标系(对于辅助用户设备250)。在实施例中，AR/VR应用240使用信标130的存储位置和字形的位置来在坐标帧之间转换虚拟对象的位置。在该实施例中，信标130的位置允许坐标帧之间的转换-字形(或来自框702的其他参考标记)用作已知的中间点，以允许在辅助用户设备250未标识信标130时进行转换。
图8是根据本文描述的一个实施例的在AR/VR应用中支持第二屏幕交互的网络消息的图示。如上所述，在实施例中，AR/VR应用允许辅助用户设备250不仅查看应用，还与应用交互。在实施例中，主用户设备200用作网络服务器，而一个或多个辅助用户设备250用作网络客户端。交互客户端模块(例如，辅助用户设备250中的交互客户端模块284)将会话开始请求802发送到交互服务器模块(例如，主用户设备200中的交互服务器模块242)。
在实施例中，会话开始请求802包括与辅助用户设备250有关的信息。在实施例中，该信息可以用于改善AR/VR应用240和280的用户体验。例如，会话开始请求802可以包括关于辅助用户设备250的处理能力，辅助用户设备250的I/O能力、辅助用户设备250的相机能力的信息、或其他相关信息。主用户设备200可以基于该信息来优化AR/VR应用240和280。例如，主用户设备200可以向具有较大处理能力的辅助设备250提供较高质量的图像，并且可以向具有较小处理能力的辅助用户设备250提供较低质量的图像。替代地，主用户设备200可以通过另一网络消息(代替会话开始请求802，或者在会话开始请求802之外)，通过来自用户102的输入或以其他合适的方式接收关于辅助用户设备250的该信息。交互服务器模块242利用会话开始响应804来响应会话开始请求802。
这发起多用户会话。在实施例中，交互服务器模块242将图像数据810A发送到交互客户端模块284。在实施例中，主用户设备200中的AR/VR应用240确定应由辅助用户设备250显示的图像，并将图像发送到辅助用户设备250。例如，在实施例中，图像数据810A由压缩图像构成，以供辅助用户设备显示。替代地，辅助用户设备250中的AR/VR应用280可以生成用于在辅助用户设备中显示的图像。在该实施例中，图像数据810A可以包括参考值以允许辅助用户设备250生成正确的图像(例如，描述应该显示什么的数据，辅助用户设备250中的AR/VR应用280使用该数据生成用于显示的图像)。例如，在实施例中，图像数据810包括描述虚拟物品的身份、当前状态和坐标位置的游戏状态数据，以供辅助用户设备250显示。在该实施例中，辅助用户设备250中的AR/VR应用280基于所接收的游戏状态数据生成用于显示的图像。
当辅助用户104希望与应用交互时，交互客户端模块284将交互请求822从辅助用户设备250发送到主用户设备200。交互请求822包括描述交互的数据。例如，交互请求822可以描述应该在视频游戏中采取的动作(例如，攻击或使用由虚拟玩家持有的物品)。替代地，交互请求822可以包括要呈现给主用户102的文本或音频消息。交互服务器模块242将交互响应824从主用户设备200发送到辅助用户设备250。例如，交互响应824可以是接收到交互的确认。
在实施例中，辅助用户设备250可以在整个应用操作期间与AR/VR应用240交互。例如，交互服务器模块242可以在交互之后继续将图像数据810B从主用户设备200发送到辅助用户设备250。当应用结束时，交互服务器模块242将会话结束830消息从主用户设备200发送到辅助用户设备250。
图9是根据本文描述的一个实施例的在AR/VR应用中支持第二屏幕交互的网络消息的进一步图示。如上面关于图8所讨论的，主用户设备200可以用作网络服务器，而一个或多个辅助用户设备250用作网络客户端。如图9所示，AR/VR应用还可以使用中央服务器950来促进应用的多人使用。
主用户设备200上的AR/VR应用240发送会话开始请求902以发起应用会话。中央服务器950上的应用(例如，适配交互服务器模块242)用会话开始响应904来响应主用户设备。交互客户端模块(例如，辅助用户设备上的交互客户端模块284)发送多用户会话开始请求906。在实施例中，交互客户端模块284将多用户会话开始请求906发送到中央服务器950。交互服务器模块(例如，中央服务器950上的交互服务器模块242)通过从中央服务器950向辅助用户设备250发送多用户会话开始响应908来进行响应。替代地，主用户设备200可以充当辅助用户设备250和中央服务器之间的中介。
AR/VR应用(例如，AR/VR应用240)将图像数据910A发送到中央服务器950。如上面关于图8所讨论的，该图像数据910A可以包括压缩图像、游戏状态数据以允许交互客户端模块284生成合适的图形图像或其他合适的数据。然后，中央服务器950用作图像数据的中继，将图像数据910B发送到辅助用户设备250。在实施例中，图像数据910B与从主用户设备200发送到中央服务器950的图像数据910A相匹配。在应用会话结束时，AR/VR应用240将会话结束930消息从主用户设备200发送到中央服务器950，并且中央服务器950以会话结束932消息响应辅助用户设备250。
附图中的流程图和框图示出了根据本发明的各个实施例的系统、方法和计算机程序产品的可能的实现方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示代码的模块、片段或部分，其包括用于实现所指定的(一个或多个)逻辑功能的一个或多个可执行指令。还应注意，在一些替代实现方式中，框中所提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或者这些方框有时可以以相反的顺序或不按顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图说明的每个框，以及框图和/或流程图说明中的框的组合可以由执行特定功能或动作的基于专用硬件的系统、或专用硬件和计算机指令的组合来实现。
虽然前述内容针对本发明的实施例，但是可以在不脱离本发明的基本范围的情况下设计本发明的其他和进一步的实施例，并且本发明的范围由所附权利要求确定。

Claims (13)

1.一种在交互式应用中提供多屏幕交互的方法，包括：
使用主用户设备来建立应用会话，所述应用会话包括与所述主用户设备所在的物理环境相关的虚拟环境，其中，所述主用户设备被配置为显示与所述虚拟环境的主虚拟相机视图相关的一个或多个图形图像；
基于使用辅助用户设备识别虚拟字形，来确定所述辅助用户设备相对于所述主用户设备的物理位置，其中，所述虚拟字形包括使用所述辅助用户设备生成的计算机生成符号，其中，所述虚拟字形被生成为在所述主用户设备和所述辅助用户设备处都是可见的，并且其中，所述虚拟字形被配置为通过所述主用户设备的透明显示器对于所述辅助用户设备是可见的；
确定所述虚拟环境的辅助虚拟相机视图，其中，所述辅助虚拟相机视图与所述主虚拟相机视图相关，并且所述辅助虚拟相机视图基于所确定的所述辅助用户设备相对于所述主用户设备的物理位置；
将与所述辅助虚拟相机视图相关的图像数据从所述主用户设备发送到所述辅助用户设备，其中，所述辅助用户设备被配置为基于所述图像数据来显示与所述辅助虚拟相机视图相关的第一图形图像；以及
响应于从所述辅助用户设备接收交互请求，由所述主用户设备基于所述交互请求来控制所述应用会话，
其中，所述辅助用户设备还被配置为：
基于在所述辅助用户设备处从惯性测量单元(IMU)接收到的数据，来生成与所述辅助虚拟相机视图相关的第二图形图像，以及
显示所述第二图形图像。
2.根据权利要求1所述的方法，其中，所述应用会话与增强现实(AR)应用和虚拟现实(VR)应用之一相关，其中，所述主用户设备包括头戴式显示器，并且其中，所述辅助用户设备不包括头戴式显示器。
3.根据权利要求1所述的方法，其中，确定所述辅助用户设备相对于所述主用户设备的所述物理位置还包括：
使用与所述主用户设备相关的第一视觉传感器来捕获物理参考对象的第一图像；
使用一个或多个计算机处理器来标识所述物理参考对象在所述第一图像中的第一位置；
使用一个或多个计算机处理器基于在所述应用会话期间由所述辅助用户设备捕获的第二图像来标识所述物理参考对象的第二位置；以及
基于所述物理参考对象的所述第一位置和所述第二位置来确定所述辅助用户设备相对于所述主用户设备的所述物理位置。
4.根据权利要求1所述的方法，其中，确定所述辅助用户设备相对于所述主用户设备的所述物理位置还包括：
使用与所述主用户设备相关的第一视觉传感器来捕获第一物理参考对象的第一图像；
使用一个或多个计算机处理器来标识所述第一物理参考对象在所述第一图像中的第一位置；
使用一个或多个计算机处理器基于在所述应用会话期间由所述辅助用户设备捕获的第二图像来标识第二物理参考对象的第二位置；以及
基于所述第一物理参考对象的所述第一位置和所述第二物理参考对象的所述第二位置来确定所述辅助用户设备相对于所述主用户设备的所述物理位置。
5.根据权利要求1所述的方法，还包括：
建立所述主用户设备与所述辅助用户设备之间的网络通信会话，其中，所述主用户设备用作控制所述应用会话的网络服务器，并且所述辅助用户设备用作网络客户端，
其中，所述主用户设备使用所述网络通信会话将所述图像数据发送到所述辅助用户设备，其中，所述辅助用户设备使用所述网络通信会话将所述交互请求发送到所述主用户设备，并且其中，所述交互请求包括指示与所述交互请求相关的信息的网络消息。
6.根据权利要求1所述的方法，还包括：
使用所述主用户设备来生成与所述辅助虚拟相机视图相关的所述第一图形图像，其中，从所述主用户设备发送到所述辅助用户设备的所述图像数据包括所生成的第一图形图像。
7.一种非暂态计算机可读存储介质，所述计算机可读存储介质具有与其一起实现的计算机可读程序代码，所述计算机可读程序代码可由一个或多个计算机处理器执行以执行操作，所述操作包括：
使用主用户设备来建立应用会话，所述应用会话包括与所述主用户设备所在的物理环境相关的虚拟环境，其中，所述主用户设备被配置为显示与所述虚拟环境的主虚拟相机视图相关的一个或多个图形图像；
基于使用辅助用户设备识别虚拟字形，来确定所述辅助用户设备相对于所述主用户设备的物理位置，其中，所述虚拟字形包括使用所述辅助用户设备生成的计算机生成符号，其中，所述虚拟字形被生成为在所述主用户设备和所述辅助用户设备处都是可见的，并且其中，所述虚拟字形被配置为通过所述主用户设备的透明显示器对于所述辅助用户设备是可见的；
确定所述虚拟环境的辅助虚拟相机视图，其中，所述辅助虚拟相机视图与所述主虚拟相机视图相关，并且所述辅助虚拟相机视图基于所确定的所述辅助用户设备相对于所述主用户设备的物理位置；
将与所述辅助虚拟相机视图相关的图像数据从所述主用户设备发送到所述辅助用户设备，其中，所述辅助用户设备被配置为基于所述图像数据来显示与所述辅助虚拟相机视图相关的第一图形图像；以及
响应于从所述辅助用户设备接收交互请求，由所述主用户设备基于所述交互请求来控制所述应用会话，
其中，所述辅助用户设备还被配置为：
基于在所述辅助用户设备处从惯性测量单元(IMU)接收到的数据，来生成与所述辅助虚拟相机视图相关的第二图形图像，以及
显示所述第二图形图像。
8.根据权利要求7所述的非暂态计算机可读存储介质，其中，所述应用会话与增强现实(AR)应用和虚拟现实(VR)应用之一相关，其中，所述主用户设备包括头戴式显示器，并且其中，所述辅助用户设备不包括头戴式显示器。
9.根据权利要求7所述的非暂态计算机可读存储介质，其中，确定所述辅助用户设备相对于所述主用户设备的所述物理位置还包括：
使用与所述主用户设备相关的第一视觉传感器来捕获物理参考对象的第一图像；
标识所述物理参考对象在所述第一图像中的位置；
基于在所述应用会话期间由所述辅助用户设备捕获的第二图像来标识所述虚拟字形的位置；并且
基于所述物理参考对象的位置和所述虚拟字形的位置来确定所述辅助用户设备相对于所述主用户设备的所述物理位置。
10.根据权利要求7所述的非暂态计算机可读存储介质，所述操作还包括：
建立所述主用户设备与所述辅助用户设备之间的网络通信会话，其中，所述主用户设备用作控制所述应用会话的网络服务器，并且所述辅助用户设备用作网络客户端，
其中，所述主用户设备使用所述网络通信会话将所述图像数据发送到所述辅助用户设备，其中，所述辅助用户设备使用所述网络通信会话将所述交互请求发送到所述主用户设备，并且其中，所述交互请求包括指示与所述交互请求相关的信息的网络消息。
11.一种系统，包括：
处理器；以及
存储器，所述存储器存储程序，所述程序在所述处理器上被执行时执行操作，所述操作包括：
使用主用户设备来建立应用会话，所述应用会话包括与所述主用户设备所在的物理环境相关的虚拟环境，其中，所述主用户设备被配置为显示与所述虚拟环境的主虚拟相机视图相关的一个或多个图形图像；
基于使用辅助用户设备识别虚拟字形，来确定所述辅助用户设备相对于所述主用户设备的物理位置，其中，所述虚拟字形包括使用所述辅助用户设备生成的计算机生成符号，其中，所述虚拟字形被生成为在所述主用户设备和所述辅助用户设备处都是可见的，并且其中，所述虚拟字形被配置为通过所述主用户设备的透明显示器对于所述辅助用户设备是可见的；
确定所述虚拟环境的辅助虚拟相机视图，其中，所述辅助虚拟相机视图与所述主虚拟相机视图相关，并且所述辅助虚拟相机视图基于所确定的所述辅助用户设备相对于所述主用户设备的物理位置；
将与所述辅助虚拟相机视图相关的图像数据从所述主用户设备发送到所述辅助用户设备，其中，所述辅助用户设备被配置为基于所述图像数据来显示与所述辅助虚拟相机视图相关的第一图形图像；以及
响应于从所述辅助用户设备接收交互请求，由所述主用户设备基于所述交互请求来控制所述应用会话，
其中，所述辅助用户设备还被配置为：
基于在所述辅助用户设备处从惯性测量单元(IMU)接收到的数据，来生成与所述辅助虚拟相机视图相关的第二图形图像，以及
显示所述第二图形图像。
12.根据权利要求11所述的系统，其中，确定所述辅助用户设备相对于所述主用户设备的所述物理位置还包括：
使用与所述主用户设备相关的第一视觉传感器来捕获物理参考对象的第一图像；
标识所述物理参考对象在所述第一图像中的位置；
基于在所述应用会话期间由所述辅助用户设备捕获的第二图像来标识所述虚拟字形的位置；并且
基于所述物理参考对象的位置和所述虚拟字形的位置来确定所述辅助用户设备相对于所述主用户设备的所述物理位置。
13.根据权利要求11所述的系统，所述操作还包括：
建立所述主用户设备与所述辅助用户设备之间的网络通信会话，其中，所述主用户设备用作控制所述应用会话的网络服务器，并且所述辅助用户设备用作网络客户端，
其中，所述主用户设备使用所述网络通信会话将所述图像数据发送到所述辅助用户设备，其中，所述辅助用户设备使用所述网络通信会话将所述交互请求发送到所述主用户设备，并且其中，所述交互请求包括指示与所述交互请求相关的信息的网络消息。
CN201910764805.6A 2018-08-21 2019-08-19 虚拟和增强现实中的多屏幕交互 Active CN110851095B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/108,013 2018-08-21
US16/108,013 US10832481B2 (en) 2018-08-21 2018-08-21 Multi-screen interactions in virtual and augmented reality

Publications (2)

Publication Number Publication Date
CN110851095A CN110851095A (zh) 2020-02-28
CN110851095B true CN110851095B (zh) 2023-10-24

Family

ID=69587279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910764805.6A Active CN110851095B (zh) 2018-08-21 2019-08-19 虚拟和增强现实中的多屏幕交互

Country Status (2)

Country Link
US (1) US10832481B2 (zh)
CN (1) CN110851095B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7316360B2 (ja) * 2018-09-25 2023-07-27 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
CN112363615A (zh) * 2020-10-27 2021-02-12 上海影创信息科技有限公司 多用户vr/ar交互系统、方法及计算机可读存储介质
CN114520890B (zh) * 2020-11-19 2023-07-11 华为技术有限公司 图像处理方法及装置
CN114691248B (zh) * 2020-12-25 2024-04-12 华为技术有限公司 显示虚拟现实界面的方法、装置、设备和可读存储介质
CN113521754B (zh) * 2021-08-04 2024-02-27 广州四三九九信息科技有限公司 一种地图编辑器数据处理防止多人配置冲突的方法
CN115705116A (zh) * 2021-08-04 2023-02-17 北京字跳网络技术有限公司 交互方法、电子设备、存储介质和程序产品
US11972526B1 (en) 2023-03-31 2024-04-30 Apple Inc. Rendering of enrolled user's face for external display

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102441276A (zh) * 2010-10-12 2012-05-09 索尼计算机娱乐公司 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用
CN103530495A (zh) * 2012-06-29 2014-01-22 迪士尼企业公司 增强现实仿真连续体
CN105188516A (zh) * 2013-03-11 2015-12-23 奇跃公司 用于增强和虚拟现实的系统与方法
CN106716306A (zh) * 2014-09-30 2017-05-24 索尼互动娱乐股份有限公司 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
CN107305435A (zh) * 2016-04-18 2017-10-31 迪斯尼企业公司 在增强现实和虚拟现实环境之间链接和交互的系统和方法
CN107850947A (zh) * 2015-08-07 2018-03-27 微软技术许可有限责任公司 远程通信的社会交互

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128019A (en) * 1998-04-01 2000-10-03 Evans & Sutherland Computer Corp. Real-time multi-sensor synthetic environment created from a feature and terrain database using interacting and updatable abstract models
US9952820B2 (en) * 2011-12-20 2018-04-24 Intel Corporation Augmented reality representations across multiple devices
US8982133B2 (en) * 2012-01-31 2015-03-17 Disney Enterprises, Inc. Portable virtual characters
US9514571B2 (en) * 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
US20150362733A1 (en) * 2014-06-13 2015-12-17 Zambala Lllp Wearable head-mounted display and camera system with multiple modes
US9947139B2 (en) * 2014-06-20 2018-04-17 Sony Interactive Entertainment America Llc Method and apparatus for providing hybrid reality environment
US9916002B2 (en) 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
EP3356912A1 (en) 2015-09-28 2018-08-08 Microsoft Technology Licensing, LLC Unified virtual reality platform
GB2545275A (en) * 2015-12-11 2017-06-14 Nokia Technologies Oy Causing provision of virtual reality content
US20170236330A1 (en) 2016-02-15 2017-08-17 Julie Maria Seif Novel dual hmd and vr device with novel control methods and software
US10388071B2 (en) * 2016-03-25 2019-08-20 Sony Interactive Entertainment Inc. Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments
US10268438B2 (en) 2016-06-30 2019-04-23 Sony Interactive Entertainment Inc. Display screen front panel of HMD for viewing by users viewing the HMD player
US9865093B1 (en) 2016-06-30 2018-01-09 Daqri, Llc Contextual augmented reality devices collaboration
US10290151B2 (en) * 2016-08-17 2019-05-14 Blackberry Limited AR/VR device virtualisation
US10028016B2 (en) * 2016-08-30 2018-07-17 The Directv Group, Inc. Methods and systems for providing multiple video content streams
US10095461B2 (en) 2016-09-23 2018-10-09 Intel IP Corporation Outside-facing display for head-mounted displays
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102441276A (zh) * 2010-10-12 2012-05-09 索尼计算机娱乐公司 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用
CN103530495A (zh) * 2012-06-29 2014-01-22 迪士尼企业公司 增强现实仿真连续体
CN105188516A (zh) * 2013-03-11 2015-12-23 奇跃公司 用于增强和虚拟现实的系统与方法
CN106716306A (zh) * 2014-09-30 2017-05-24 索尼互动娱乐股份有限公司 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
CN107850947A (zh) * 2015-08-07 2018-03-27 微软技术许可有限责任公司 远程通信的社会交互
CN107305435A (zh) * 2016-04-18 2017-10-31 迪斯尼企业公司 在增强现实和虚拟现实环境之间链接和交互的系统和方法

Also Published As

Publication number Publication date
US20200066043A1 (en) 2020-02-27
CN110851095A (zh) 2020-02-28
US10832481B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
CN110851095B (zh) 虚拟和增强现实中的多屏幕交互
CN113168007B (zh) 用于增强现实的系统和方法
US10643394B2 (en) Augmented reality
CN108292489B (zh) 信息处理装置和图像生成方法
US10019849B2 (en) Personal electronic device with a display system
JP6058184B1 (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
US10546407B2 (en) Information processing method and system for executing the information processing method
US10755486B2 (en) Occlusion using pre-generated 3D models for augmented reality
US11100713B2 (en) System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
US10410395B2 (en) Method for communicating via virtual space and system for executing the method
JP6242473B1 (ja) 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2019039988A (ja) 情報処理装置および画像表示方法
US10810747B2 (en) Dead reckoning positional prediction for augmented reality and virtual reality applications
US10564801B2 (en) Method for communicating via virtual space and information processing apparatus for executing the method
WO2018175053A1 (en) Method and apparatus for providing immersive reality content
US20230252691A1 (en) Passthrough window object locator in an artificial reality system
US10319346B2 (en) Method for communicating via virtual space and system for executing the method
US11882172B2 (en) Non-transitory computer-readable medium, information processing method and information processing apparatus
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
US11907434B2 (en) Information processing apparatus, information processing system, and information processing method
JP2017162443A (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
JP2016224809A (ja) 情報処理装置、情報処理方法
AU2022386387A1 (en) Systems, methods, and media for controlling shared extended reality presentations
JP2018106694A (ja) 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant