CN111527523A - 用于共享虚拟现实环境的装置和方法 - Google Patents

用于共享虚拟现实环境的装置和方法 Download PDF

Info

Publication number
CN111527523A
CN111527523A CN201980006964.8A CN201980006964A CN111527523A CN 111527523 A CN111527523 A CN 111527523A CN 201980006964 A CN201980006964 A CN 201980006964A CN 111527523 A CN111527523 A CN 111527523A
Authority
CN
China
Prior art keywords
hmd
fov
processor
slave
hmd106
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980006964.8A
Other languages
English (en)
Other versions
CN111527523B (zh
Inventor
夏兰·罗克福德
菲利普·哈斯科特
李晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111527523A publication Critical patent/CN111527523A/zh
Application granted granted Critical
Publication of CN111527523B publication Critical patent/CN111527523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了用于在虚拟现实(VR)环境中协调主/从设备布置的方法和装置。一种头戴式显示器(HMD)包括收发器、显示器和联接到收发器和显示器的处理器。处理器配置为控制收发器从至少一个其它HMD接收与所述至少一个其它HMD在虚拟现实(VR)环境中的视场(FOV)相关的数据。处理器还配置为使用与至少一个其它HMD的FOV相关的数据生成所述HMD在VR环境中的FOV。

Description

用于共享虚拟现实环境的装置和方法
技术领域
本公开大体上涉及共享虚拟现实环境。更具体地，本公开涉及用于在一个或多个主设备和一个或多个从设备之间共享虚拟现实环境的系统和方法。
背景技术
虚拟现实头戴式耳机越来越普遍，并且在许多环境中，可能希望能够与其他人共享虚拟现实体验。然而，由虚拟现实头戴式耳机创建的虚拟现实环境是孤立的，并且可能难以与其他人共享沉浸式虚拟现实体验。
发明内容
技术问题
本发明的实施例提供用于在一个或一个以上主设备与一个或一个以上从装置之间共享虚拟现实环境的系统和方法。
问题的解决方案
在一个实施例中，公开了一种头戴式显示器(HMD)。HMD包括收发器、显示器和联接至收发器和显示器的处理器。处理器配置为控制收发器从至少一个其它HMD接收与至少一个其它HMD在虚拟现实(VR)环境中的视场(FOV)相关的数据。处理器还配置为使用与至少一个其它HMD的FOV相关的数据生成所述HMD在VR环境中的FOV。
在另一个实施例中，公开了另一种头戴式显示器(HMD)。HMD包括收发器、显示器和联接至收发器和显示器的处理器。处理器配置为控制收发器向至少一个其它HMD发送与所述HMD在虚拟现实(VR)环境中的视场(FOV)相关的数据，其中与所述HMD的FOV相关的数据用于产生至少一个其它HMD在VR环境中的FOV。
根据以下附图、描述和权利要求，其他技术特征对于本领域技术人员来说是显而易见的。
在以下具体实施方式之前，阐述贯穿本专利文件使用的某些词和短语的定义可能是有利的。术语“联接”及其派生词是指两个或更多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”以及其派生词包括直接和间接通信。术语“包括”和“包含”以及其派生词意指非限制性地包括。术语“或”是包括性的，意味着和/或。短语“与……关联”以及其派生词意味着包括、被包括在……内、与……互连、包含、被包含在……内、连接到或与……连接、联接到或与……联接、可与……通信、与……协作、交织、并列、接近、绑定到或与……绑定、具有、具有……的特性、具有与……的关系或和……的关系等。术语“控制器”是指控制至少一个操作的任何设备、系统或其部分。这种控制器可以用硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。当短语“……中的至少一个”与项目列表一起使用时，意味着可以使用所列项目中的一个或多个的不同组合，并且可以仅需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任一个：A、B、C、A和B、A和C、B和C以及A和B和C。
此外，下面描述的各种功能可以由一个或多个计算机程序来实现或支持，每个计算机程序由计算机可读程序代码形成，并包含在计算机可读介质中。术语“应用程序”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其适于在适当的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其它类型的存储器。“非暂时性”计算机可读介质排除了有线链路、无线链路、光链路或其它通信链路，这些链路传输暂时性电信号或其它信号。非暂时性计算机可读介质包括可以永久存储数据的介质，以及可以存储数据并随后重写数据的介质，例如可重写光盘或可擦除存储设备。
在整个本专利文件中提供了对其它某些单词和短语的定义。本领域普通技术人员应了解，在许多(如果不是大多数)实例中，此类定义适用于此类经定义的词和短语的先前以及未来使用。
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中相同的附图标记表示相同的部件：
图1示出了根据本公开的实施例的示例性计算系统；
图2示出了根据本公开的实施例的示例性计算系统；
图3示出了根据本公开的实施例的示例电子设备；
图4示出了根据本公开的实施例的分别以固定引导模式操作的主设备和从设备的示例性主FOV和从FOV的集合；
图5分别示出了根据本公开的实施例的以灵活引导模式操作的主设备和从设备的示例性主FOV和从FOV的集合；
图6示出了根据本公开的实施例的从设备的示例性从FOV；
图7示出了根据本公开的实施例的包含UI覆盖的主设备的示例性主FOV；
图8示出了根据本公开的实施例的包含游戏UI覆盖的主设备的示例性主FOV；以及
图9、图10和图11示出了根据本公开的实施例的用于实现共享VR体验的示例方法的流程图。
具体实施方式
下面讨论的图1至图11以及在本专利文件中用于描述本公开的原理的各种实施例仅仅是示例性的，而不应以任何方式解释为限制本公开的范围。本领域技术人员将了解，本公开的原理可实施于任何适当布置的系统或装置中。
本公开的实施例涉及通过诸如头戴式(或可安装在头部的)设备(HMD)的虚拟现实设备共享所经历的虚拟现实(VR)环境。共享VR环境对于多种应用是有用的，例如，教学体验(例如，虚拟现场旅行)、用于VR应用开发(例如，证明错误)、向其他用户演示VR应用的特征、玩VR视频游戏等。在共享VR体验中，一个或多个操作者可以具有分配给他们的HMD的“主”角色，而其余操作者具有分配给他们的HMD的“从”角色。分配了主角色的HMD(本文称为主HMD)能够控制分配了从角色的HMD(本文称为从HMD)的VR体验的各个方面。
在一些实施例中，在每个HMD上安装有“VR引导”应用程序(或应用)以促进共享VR体验。VR引导应用能够协调每个HMD的VR环境，例如通过向每个HMD提供用于构建VR环境以进行显示的世界数据。世界数据可以包括例如对象的虚拟位置、对象的2D或3D模型、对象的纹理等。另外，VR引导应用程序可以在共享环境中的HMD之间进行协调，以将信息从一个或多个HMD中继到其他HMD。例如，VR引导应用可以彼此共享每个HMD的位置信息，以便在虚拟环境中呈现与每个HMD相关的模型(例如，化身)。作为另一个示例，VR引导应用可以彼此共享一个或多个HMD的动作信息(例如选择、突出显示或其他VR环境中的对象交互的动作)，以便允许其他HMD查看VR环境内的一个或多个HMD的动作。
在一些实施例中，特定HMD的VR引导应用在发起VR会话之前从服务器或从HMD之一下载世界数据。在一些实施例中，主HMD以点对点(P2P)方式提供世界信息，以与VR会话中的其它HMD的VR引导应用共享。在其它实施例中，特定HMD的VR引导应用在VR会话期间实时地流送来自服务器或主HMD的世界数据。实时流送使得HMD能够接收世界数据，以仅呈现VR环境的当前在VR会话中使用的部分，从而节省可能用于呈现VR环境的当前未使用部分的计算资源。
在一些实施例中，使用预先存在的世界数据来实现以下描述的本公开的各种特征。例如，不是为了与本公开的实施例一起使用而创建的3D世界的世界数据可以由VR引导应用修改或扩展，以使用预先存在的世界数据来提供下面描述的特征。
图1示出了根据本公开的各种实施例的示例性计算系统100。图1所示的计算系统100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用计算系统100的其它实施例。
系统100包括网络102，其便于系统100中的各个组件之间的通信。例如，网络102可以在网络地址之间通信互联网协议(IP)包、帧中继帧或其它信息。网络102可以包括一个或多个局域网(LAN)、城域网(MAN)、广域网(WAN)、诸如因特网的全球网络的全部或一部分、或者在一个或多个位置的任何其它通信系统。
网络102便于至少一个服务器104和个人电子设备(例如头戴式显示器(HMD)或头戴式设备106)之间的通信。在一些实施例中，HMD 106是被设计用于创建虚拟现实环境的设备。每个服务器104包括能够为一个或多个个人电子设备提供计算服务的任何合适的计算硬件或处理器。每个服务器104例如可以包括一个或多个处理器、存储指令和数据的一个或多个存储器以及有助于通过网络102通信的一个或多个网络接口。
HMD 106可以是通过网络102与至少一个服务器或其他计算设备交互并且能够提供虚拟现实体验的任何合适的计算或处理设备。HMD106例如可以是移动设备，诸如在头戴式耳机中使用的移动电话、连接到另一计算设备的附属设备、虚拟现实头戴式耳机等。在计算系统100中可以使用任何其它或附加的电子设备。
在一些实施例中，HMD 106彼此直接通信。例如，HMD 106可以经由蓝牙、Wi-Fi直接、近场通信(NFC)等进行通信。在一些实施例中，HMD 106通过接入点108彼此间接通信，接入点108可以是覆盖区域112的WLAN接入点。在一些实施例中，HMD 106间接地与网络102通信。例如，HMD 106经由一个或多个接入点108进行通信，接入点108可以是诸如IEEE 802.11无线接入点的基站，或者经由蜂窝基站或eNodeB进行通信。注意，这些示例仅用于说明，并且HMD106可以彼此直接或间接通信，或者经由任何合适的中间设备或网络与网络102间接通信。
服务器104向HMD 106提供通信服务。在一些实施例中，服务器104托管(host)用于一个或多个HMD 106的虚拟现实会话，并且处理不同HMD 106的视场(FOV)彼此的同步。例如，如下面将进一步描述的，HMD 106中的一个可以是主设备，并且剩余的HMD 106中的一个或多个可以是与主设备的相同FOV同步的从(或副)设备。在一些实施例中，服务器104处理用于同步FOV的信息在HMD 106之间的通信。在一些实施例中，服务器104执行与托管虚拟现实环境相关的各种计算。
尽管图1示出了计算系统100的一个示例，但是可以对图1进行各种改变。例如，系统100可以在任何适当的布置中包括任何数量的每个部件。通常，计算和通信系统具有多种配置，并且图1不将本公开的范围限制于任何特定配置。虽然图1示出了其中可以使用本专利文件中公开的各种特征的一个操作环境，但是这些特征可以用在任何其它合适的系统中。
图2和图3示出了根据本公开的计算系统中的示例性设备。具体地，图2示出了示例性计算机系统200，而图3示出了示例性电子设备300。例如，计算机系统200可以表示图1中的服务器104，并且电子设备300可以表示图1中的HMD 106。在一些实施例中，电子设备300可以包括与虚拟现实附件(例如耳机)组合的移动电话。
计算机系统200包括总线系统205。总线系统205支持至少一个处理器210、至少一个存储设备215、至少一个通信接口220、至少一个输入/输出(I/O)单元225和协调单元240之间的通信。
处理器210执行可被加载到存储器230中的指令。处理器210可以包括任何适当数量和类型的处理器或任何适当布置的其它设备。处理器210的示例性类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
存储器230和永久存储器235是存储设备215的示例，其表示能够存储信息(例如数据、程序代码和/或临时或永久基础上的其它适当信息)和促进信息的检索的任何结构。存储器230表示随机存取存储器或任何其它合适的易失性或非易失性存储设备。永久存储器235可以包含支持数据的长期存储的一个或多个组件或设备，例如只读存储器、硬盘驱动器、闪存或光盘。
通信接口220支持与其它系统或设备的通信。例如，通信接口220可以包括网络接口卡或无线通信单元，以便于通过网络102进行通信，网络102可以是例如覆盖图1的区域110的LAN。通信接口220可以支持通过任何适当的物理或无线通信链路的通信。
I/O单元225允许数据的输入和输出。例如，I/O单元225通过键盘、鼠标、小键盘、触摸屏或其它合适的输入设备为用户输入提供连接。I/O单元225还向显示器、打印机或其它合适的输出设备发送输出。
协调单元240处理用于诸如HMD 106的电子设备的主/从协调服务，这将在下面更详细地描述。协调单元240接收关于FOV和HMD106的动作的信息，并且可以将该信息中继到其他HMD 106，以允许在其他HMD 106的FOV内呈现虚拟位置(或多个位置)和一个或多个HMD106的动作。协调单元240还从一个或多个HMD 106(例如主HMD 106)接收指令以中继到其它HMD 106(例如从HMD 106)。协调单元240还向每个HMD 106提供世界数据，以用于呈现3D世界(或环境)。协调单元240的功能可以与上面公开的VR引导应用的协调功能一致。
注意，虽然图2被描述为表示图1的服务器104，但是在HMD 106或系统100中的任何其它电子设备中可以使用相同或类似的结构。例如，图2可以表示图1的接入点108的特征。
在图3所示的示例中，电子设备300包括通信单元310，其可以是例如射频(RF)收发器、蓝牙收发器或Wi-Fi收发器。电子设备300还包括扬声器330、处理器340、输入/输出(I/O)接口(IF)345、输入接口350、显示器355、存储器360和传感器365。存储器360包括操作系统(OS)程序361和一个或多个应用程序362，应用程序362可以包括如上所述的VR引导应用程序。在一些实施例中，电子设备300还用作移动电话。
通信单元310接收到来的RF信号，例如蓝牙或Wi-Fi信号。通信单元310对到来的RF信号进行下变频(down-convert)以产生中频(IF)或基带信号，然后通过对基带或IF信号进行滤波、解码和/或数字化来产生经处理的基带信号。通信单元310将经处理的基带信号传输到处理器340以用于进一步处理(例如用于网络浏览数据、在线游戏数据、通知数据或其它消息数据)。
通信单元310还从处理器340接收模拟或数字语音数据或其它输出基带数据(例如网络数据、电子邮件或交互式视频游戏数据)。通信单元310对输出基带数据进行编码、多路复用和/或数字化以产生经处理的基带或IF信号。当通信单元310是RF收发器时，通信单元310将基带或IF信号上变频(up-convert)为通过天线发送的RF信号。
处理器340可以包括一个或多个处理器或其它处理设备，并且执行存储在存储器360中的OS 361，以便控制电子设备300的整体操作。例如，处理器340可以根据公知的原理控制通信单元310对前向信道信号的接收和对反向信道信号的发送。处理器340还可以从麦克风320接收模拟或数字语音数据，并将模拟或数字音频输出到扬声器330。在一些实施例中，处理器340包括至少一个微处理器或微控制器。
处理器340还能够执行驻留在存储器360中的其它进程和程序。处理器340可以根据执行过程的需要将数据移入或移出存储器360。在一些实施例中，处理器340被配置为基于OS 361或响应于从外部设备或操作者接收的信号来执行应用程序362。处理器340还联接到I/O接口345，I/O接口345向电子设备300提供连接到诸如膝上型计算机和手持计算机之类的其它设备的能力。I/O接口345是这些附件和处理器340之间的通信路径。
处理器340还联接到输入接口350和显示器355。电子设备300的操作者可以使用输入接口350将数据输入到电子设备300中。显示器355可以是液晶显示器或能够呈现虚拟现实环境(包括在虚拟现实环境中呈现例如指令和消息的文本和/或图形)的其它显示器。
存储器360联接到处理器340。存储器360的一部分可以包括随机存取存储器(RAM)，并且存储器360的另一部分可以包括闪存或其它只读存储器(ROM)。
传感器365检测与电子设备300相关的信息，并将其中继到处理器340以进行进一步处理。例如，传感器365可以包括惯性测量单元(IMU)，其可以确定设备300的姿态。装置300的姿态可以是例如佩戴作为HMD的装置300的操作者的头部运动的结果。例如，可以使用来自IMU的数据来基于设备300的姿态确定呈现什么以便在显示器355上显示。显示在显示器355上的信息是包括在设备300的FOV中的信息，这意味着来自IMU的数据可以用于确定设备300的FOV。还可以使用来自IMU的数据，以便将设备300的姿态与共享VR环境中的另一设备300的姿态进行比较，这可以用于确定设备300的FOV是否与另一设备300的FOV相似。如下文进一步描述的，这对于确定设备300是否应当在VR环境中呈现由其他设备300执行的动作，或者确定设备300是否应当切换与设备300的FOV和其他设备300的FOV同步相关的操作模式可能是有用的。
尽管图2和图3示出了计算系统中的设备的示例，但是可以对图2和图3进行各种改变。例如，图2和图3中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需要添加附加的组件。作为特定实例，处理器210和340可被划分成多个处理器，例如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。此外，与计算和通信网络一样，电子设备和计算机系统可以具有多种配置，并且图2和图3不将本公开限制于任何特定的客户端设备或服务器。
图4示出了根据本公开的各种实施例的分别以固定引导模式操作的主设备和从设备的示例性主FOV和从FOV的集合。可以在主HMD106的显示器上生成主FOV 402，并且可以在从HMD 106的显示器上生成从FOV 404。图4至图8的FOV仅仅是示例性的，并且不必须表示立体图像将如何实际呈现在立体HMD上。
在固定引导模式中，主HMD 106将关于其FOV 402的信息发送到一个或多个从HMD106，从HMD 106使用该信息来产生其自身的从FOV 404，使得其与主FOV 402匹配(即，从HMD106使其从FOV404与主FOV 402同步)。因此，主FOV 402和从FOV 404都包括从相同位置和角度观看的共享虚拟环境的相同部分的呈现。以这种方式，主HMD 106可以控制从HMD 106观看的内容。
在一些实施例中，主HMD 106的操作者(例如教师)在虚拟现实环境中突出显示一个或多个对象。例如，操作者可以利用突出显示框406来突出显示对象。在某些实施例中，使用不同的突出显示方法，例如将突出显示的3D对象的纹理改变为具有明亮的颜色。与突出显示动作相关的信息被发送到从HMD 106，其例如通过生成突出显示框408在它们的从FOV404内复制突出显示。
以这种方式，主HMD 106的操作者经由主HMB 106可以将从HMD 106的操作者的注意力集中在虚拟环境中的特定对象上。这种以主设备为中心的突出显示对于许多应用可能是有用的，例如在商业会议和教学目的中。在一些实施例中，突出显示还包括与突出显示的对象相关的信息(例如，关于历史建筑的信息、关于植物或动物的信息、关于VR应用程序的特征的信息)的显示。该信息可以由主HMD 106的操作者输入，或者可以由主HMD 106的操作者从预先存在的信息的数据库中选择。
在一些实施例中，与主HMD 106的各种其它动作相关的信息被传输到从HMD 106，从HMD 106可以在从FOV 404内复制所述动作。例如，主HMD 106可以通过在VR环境中移动或创建对象来与VR环境交互，该交互将在从FOV 404中被复制。
图5示出了根据本公开的各种实施例的分别以灵活引导模式操作的主设备和从设备的示例性主FOV和从FOV的集合。可以在主HMD106的显示器上生成主FOV 502，并且可以在从HMD 106的显示器上生成从FOV 504。
在灵活引导模式中，从HMD 106的操作者可以自由地围绕共享的虚拟环境操纵从FOV 504。因此，从FOV 504不必须与主FOV 502匹配。然而，主HMD 106仍可将与其FOV 503有关的信息传输到从HMD106，所述从HMD 106允许从HMD 106执行如下文所述的各种功能。
在一些实施例中，主HMD 106可以如上所述地在共享VR环境中突出显示对象，例如利用突出显示框506。主HMD 106可以将与该突出显示动作相关的信息发送到从HMD 106。即使从HMD 106的FOV504与主FOV 502不精确匹配，如果突出显示的对象在从FOV 504内，则与突出显示的对象相关的信息可由从HMD 106用来在从FOV 504内生成突出显示框508(或其它适当的突出显示图形)。以这种方式，从HMD 106的操作者可以自由地“移动”通过共享虚拟现实环境，同时仍然能够从主HMD 106接收信息，例如指令信息。
在一些实施例中，与主HMD 106的各种其它动作相关的信息被发送到从HMD 106，如果该动作在从FOV 404内发生，则从HMD 106可以在从FOV 404内复制所述动作。例如，主HMD 106可以通过在VR环境中移动或创建对象来与VR环境交互，该交互可以在从FOV404中被复制。
在一些实施例中，从HMD 106的操作者激活同步功能，该同步功能使从FOV 504匹配主FOV 502(或与主FOV 502同步)。例如，在课堂或教学会话期间，主HMD 106和从HMD 106可以共享语音呼叫会话(例如VOIP呼叫)，其中主HMD 106的操作者(例如教师)向从HMD 106的操作者(例如学生)提供讲座。如果学生决定他们想要在讲座的感兴趣部分期间看到教师的FOV中的东西，则学生可以激活一个特征以将从FOV 504移动到教师的主FOV 502。在灵活引导模式中，从HMD 106的操作者在从FOV 504与主FOV 502同步之后继续控制从FOV 504的移动。
在其它实施例中，主HMD 106的操作者激活同步功能，该同步功能使从FOV 504匹配主FOV 502(或与主FOV 502同步)。例如，在课堂或教学会话期间，教师可以允许学生围绕共享的VR环境“漫游”，但是在课堂中的关键点，教师能够召回学生的HMD 106的FOV 504来匹配主FOV 502。该强制召回功能可以包括向从HMD 106发送指令以从灵活引导模式转换到固定引导模式，或者该功能可以仅临时强制从FOV 504匹配主FOV 502。在灵活引导模式中，一旦从HMD 106与主FOV 502同步，从HMD 106的操作者继续控制从FOV 504的移动。
FOV的上述同步可能对从HMD 106的操作者造成干扰。例如，由于虚拟现实显示器的特性及其沉浸的、真实的体验的创建，从FOV504的突然改变可能引起定向障碍或晕动病，或者对于从HMD 106的操作者具有其它负面结果。为了补救上述效果，当使从FOV 504与主FOV 502同步时，可以使用过渡动画。例如，从HMD 106的显示可以逐渐变为黑色，并在与主FOV 502匹配的新“位置”处逐渐恢复。可替换地，从FOV 504可以被放大到包含从FOV 504的虚拟位置和主FOV 502的虚拟位置的远视点，然后被缩小到主FOV 502的虚拟位置。在一些实施例中，从HMD 106使得在从FOV 504中显示通知，以通知操作者即将到来的转换。应当理解，可以使用任何合适的过渡动画来最小化晕动病、定向障碍以及从FOV 504过渡到匹配主FOV 502的其它负面影响。
图6示出了根据本公开的各种实施例的从设备的示例性从FOV。可在从HMD 106的显示器上产生从FOV 604。
在一些实施例中，从HMD 106在固定引导模式和灵活引导模式之间转换。例如，从HMD 106可以在固定引导模式下开始VR会话，但是即使从FOV 604被锁定到主FOV(即，即使从FOV 604转换为与主FOV的移动相匹配，并且不基于从HMD 106的姿态的变化而移动),HMD中的传感器(例如IMU)仍然可以跟踪从HMD 106的姿态。当从HMD 106的姿态从其初始姿态(例如，从初始姿态沿任何方向以20度)移动预定阈值量时，从HMD 106可以将其解释为操作者希望从主FOV“脱离”以探索VR环境，并且从HMD 106可以转换为如上所述的灵活引导模式。在一些实施例中，主HMD 106可以控制是否允许从HMD 106以这种方式在固定引导模式和灵活引导模式之间转换。
当从HMD 106处于灵活引导模式时，从HMD 106仍然可以从主HMD 106接收与主FOV相关的信息。在一些实施例中，当如基于所接收的与主FOV相关的信息所确定的，从FOV 604与主FOV紧密匹配时，从HMD 106可将其解释为试图将从FOV 604“锁定”到主FOV。例如，框602可以表示主FOV。当从FOV 604以框602为中心时，框602可以被解释为从灵活引导模式转换到固定引导模式的指示。在一些实施例中，框602可在从FOV 604内可视地呈现为从HMD106的操作者可用来将从FOV 604与主FOV匹配以进入固定引导模式的目标的表示。
图7示出了根据本公开的各种实施例的包含UI覆盖的主设备的示例性主FOV。可以在主HMD 106的显示器上生成主FOV 702。
在一些实施例中，主HMD 106可以在主FOV 702内显示UI元素704。UI元素704可以与本公开中描述的功能相关。例如，UI元素704可以包括从HMD 106被设置为固定引导模式还是灵活引导模式的指示件。该指示符可以兼用作用于指示从HMD 106在这些模式之间切换的可操作按钮。该指示件可以应用于所有从HMD 106，或者可以分别列出每个从HMD 106的状态。UI元素704还可以包括用于使从HMD106将其FOV与主FOV 702同步(或匹配)的可操作按钮、用于启动将“主”角色转移到从HMD 106之一的过程的可操作按钮或任何其它有用的UI元素。例如，附加UI元素还可以包括一个或多个从HMD是否已经在VR环境中观看了突出显示的对象达指定的时间量的指示件，其可以与教导会话中任务的完成相关联。
在一些实施例中，一个或多个从HMD 106向主HMD 106发送与其从FOV相关的信息。主HMD 106可以生成包含指示件708的虚拟环境的地图706，该指示件708示出从FOV相对于主FOV 702的位置和定向的定向。在图7的示例中，两个从HMD的FOV的定向在地图706上标记为F1和F2。地图706可以是三维的(例如，以球体的形式)，从而允许指示件708表示相应从FOV的三维定向。主HMD 106还能够使用该信息以类似于上述用于在从HMD处复制主FOV的方式来复制从HMD的FOV。
在一些实施例中，从HMD 106显示类似于图7中的UI覆盖的UI覆盖。例如，UI元素704可以出现在从HMD的从FOV中以指示模式(固定的或灵活的)，在允许从HMD 106选择从HMD 106是处于灵活引导模式还是固定引导模式的实施例中，UI元素704可以兼用作可操作按钮。UI元素704还可以包含允许从HMD启动其FOV与主FOV的同步的可操作按钮。地图706可以具有指示件708以显示主FOV的位置和主HMD 106的FOV相对于从HMD 106的定向。在一些实施例中，地图706还显示用于其它从HMD 106的该信息。UI元素704或地图706可以另外指示主HMD当前是否正在与VR环境交互。这可以允许从HMD 106的操作者例如通过激活使从FOV与主FOV同步的功能来确定是否将注意力集中在主HMD 106上。
如图8所示，另外的UI元素还可以包括各种视频游戏相关特征，例如在VR视频游戏中处于“从”角色的玩家的用户名和状态804。在一些实施例中，主HMD 106用作VR视频游戏中的“指挥官”或“游戏管理员”，并且可以访问VR环境中从HMD 106不具有访问权的附加功能。主HMD 106可以向从HMD 106发出命令，该命令可以包括在从HMD 106的从FOV中呈现的信息，例如作为游戏环境内的突出显示的目标或者作为类似于UI元素704的UI元素中的文本。主HMD106还能够以比从HMD 106更不受限制的方式来导航VR环境。例如，从HMD 106可以在地面水平被限制为近似行走的移动速度，而主HMD 106能够以更快的速度移动，可以不被限制在地面水平，并且可以在其FOV中显示的VR环境的部分比从HMD 106中的更大。主HMD106还能够看透从HMD 106无法看透的墙壁，能够看到从HMD 106不能看到的信息，能够访问从HMD 106不能访问的项目，或者能够访问从HMD 106不能访问的能力(例如影响环境的能力)。主HMD 106还可以具有向从HMD 106给予游戏中的项目和能力的能力，或者能够从从HMD 106中取出游戏中的项目或能力的能力。
在游戏环境中，主角色在HMD 106之间的转移可以由游戏本身而不是操作者选择来驱动。例如，在实现游戏中的目标时，可以将主角色给予一个或多个从HMD 106。在一些实施例中，角色的转移可以导致主HMD 106被移动到从角色。可替换地，从HMD 106可以花费游戏中的货币来获得主角色。
在本公开中描述的任何实施例中，HMD 106的FOV信息可以被记录并提供给服务器，例如服务器104，或提供给主HMD 106。所记录的信息例如可以被用于确定从HMD 106是否完成诸如在指导会话期间在预定时间量内观看突出显示的对象之类的任务。查看所记录的信息可以允许教育程序中的教师或管理员在教导会话结束之后查看从HMD 106的操作者的活动，以便提供评判、评级等。类似地，可以记录与主HMD 106的FOV相关的信息以供管理员审阅，以评判教师在教导会话中的行为。在游戏环境中，记录的FOV可用于检查游戏会话中的表现。
图9示出了根据本公开的实施例的用于实现共享VR体验的示例性方法900的流程图。方法900可例如由HMD 106(例如图1的HMD106)执行。在该示例中，方法600由主HMD 106执行。
从框902开始，主HMD 106开始共享VR会话。这可以包括例如启动VR引导应用程序。VR引导应用程序便于与例如其他HMD 106(诸如从HMD 106或其他主HMD 106)或服务器104进行通信，以协调共享VR会话的信息共享。框902还可以包括用于共享VR会话的注册或建立过程，以便注册将参与会话的其它HMD 106。
在框904处,HMD 106通知已注册的从HMD 106VR会话正在开始。这可以通过VR引导应用来促进，VR引导应用也可以安装在从HMD 106上。可替换地，从HMD 106可以不运行VR引导应用，而是可以运行另一个应用程序，用于呈现VR引导应用能够与之通信的VR环境，以便于共享VR会话。在一些实施例中，主HMD 106与服务器104通信，该服务器104促进对从HMD106的通知。
在框906处，主HMD将世界数据和主FOV数据发送到共享VR会话中的从HMD 106。世界数据可以包括用于呈现VR环境本身的数据。在一些实施例中，在VR会话的开始时该数据在一个传输中被提供。在其它实施例中，该数据被连续地流送到从HMD 106。服务器104可以与主HMD 106相协调地将该数据提供给从HMD 106。主FOV数据可以包括与主HMD 106的VR环境位置、主HMD 106的状态信息以及指示主HMD 106的FOV内的内容的信息有关的数据。主FOV数据还可以包括与VR环境内的主HMD 106的操作者所采取的动作相关的事件数据。
在框908处，从HMD 106使用世界数据和主FOV数据来生成它们自己的FOV。世界数据可用于呈现在从HMD 106的FOV内显示的VR环境。在一些实施例中，从HMD 106向主HMD106或服务器104发送与其FOV相关的信息，并且仅在必要时接收世界数据以呈现在从FOV内可见的VR环境。事件数据可用于复制由主HMD 106的操作者在VR环境中执行的动作。例如，如果操作者在VR环境中突出显示对象，则如上所述，从HMD 106可以使用该信息在其自己的FOV中突出显示该对象。在一些实施例中，从HMD 106使用所述数据将主FOV的副本呈现为从FOV，并且一同呈现由主HMD 106的操作者所采取的动作。
尽管在主HMD 106的上下文中描述了图9，但是应当理解，可以对图9进行各种修改。例如，方法900可以由服务器104执行。这可对于例如从主HMD 106减轻计算负担是有用的。
图10示出了根据本公开的实施例的用于实现共享VR体验的示例性方法1000的流程图。方法1000可以例如由HMD 106执行，例如图1的HMD 106。在该示例中，方法1000由从HMD 106执行。
从框1002开始，从HMD 106测量其姿态。如上所述，可以经由IMU执行姿态测量。该姿态可用于确定在从HMD 106的FOV中呈现什么。
在框1004处，共享VR会话中的从HMD 106接收从固定引导模式切换到灵活引导模式的指示。该指示可以从接收自IMU的数据确定，接收自IMU的数据指示从HMD 106的姿态已经从从HMD 106的初始姿态偏离了预定量(例如，20度)。可替换地，该指示可以由从HMD 106从同一VR会话中的主HMD 106接收。在从HMD 106切换模式之后，从HMD 106可以向主HMD106发送其已经切换模式的指示。
在框1006处，从HMD 106从固定引导模式切换到灵活引导模式。在灵活引导模式中，如上所述，HMD 106可以根据需要改变其FOV，并且不限于匹配主FOV。
在框1008处，从HMD 106接收将其FOV与另一HMD 106(例如主HMD 106)的FOV相匹配的指示。如上所述，可以使用动画(例如，淡出再淡回，或放大再缩小)来减少该转变对从HMD 106的操作者的冲击。
在框1010处，从HMD 106接收返回到固定引导模式的指示。可以从接收自IMU的数据确定该指示，接收自IMU的数据指示从HMD106的姿态已经返回到从HMD 106的初始姿态的预定阈值内。在其它实施例中，从HMD 106从主HMD 106接收包括主HMD 106的FOV的定向和位置的信息。在这种情况下，可以根据从IMU接收的数据来确定返回到固定引导模式的指示，从IMU接收的数据指示从HMD 106的姿态使得从HMD 106的FOV处于与主HMD 106的FOV匹配的预定阈值内。在其它实施例中，如上所述，从主HMD 106接收返回到固定引导模式的指示。
图11示出了根据本公开的实施例的用于实现共享VR体验的示例性方法1100的流程图。方法1100可以例如由HMD 106执行，例如图1的HMD 106。在该示例中，方法600由主HMD106执行。
从框1102开始，VR会话中的主HMD 106向同一VR会话中的一个或多个从HMD 106发送从固定引导模式切换到灵活引导模式的指示。主HMD 106可以从从HMD 106接收从HMD106已经切换模式的指示。
在框1104处，主HMD 106向一个或多个从HMD 106发送将它们的FOV与主HMD 106的FOV相匹配的指示。如上所述，可以使用动画(例如，淡出再淡回，或放大再缩小)来减少该转变对从HMD 106的操作者的冲击。
在框1106处，主HMD 106向从HMD 106中的一个或多个发送返回到固定引导模式的指示。主HMD 106可将此指示发送到从HMD 106的任何期望的子集或发送到从HMD 106的整个集合。
尽管已经用示例性实施例描述了本公开，但是本领域技术人员可以进行各种改变和修改。本公开旨在包括落入所附权利要求的范围内的这种改变和修改。
本申请中的任何描述都不应被理解为暗示任何特定元素、步骤或功能是必须包括在权利要求范围内的必要元素。专利主题的范围仅由权利要求限定。此外，权利要求中的任何一个都旨在调用35U.S.C。§112(f)，除非确切的词语“用于……的装置”后面跟有分词。

Claims (15)

1.一种头戴式显示器(HMD)，包括：
收发器；
显示器；以及
处理器，联接至所述收发器和所述显示器，所述处理器配置为：
控制所述收发器从至少一个其它HMD接收与所述至少一个其它HMD在虚拟现实(VR)环境中的视场(FOV)相关的数据；以及
使用与所述至少一个其它HMD的FOV相关的所述数据，生成用于在所述显示器上显示的、所述HMD的在所述VR环境中的FOV。
2.根据权利要求1所述的HMD，还包括：
惯性测量单元(IMU)，联接至所述处理器,
其中，所述处理器还配置为基于来自所述IMU的数据确定将所述HMD从固定引导模式切换到不同于所述固定引导模式的不同模式的指示。
3.根据权利要求2所述的HMD,
其中，所述不同模式是灵活引导模式；并且所述处理器还配置为接收将所述HMD的FOV与所述至少一个其它HMD的FOV匹配同时保持在所述灵活引导模式中的指示。
其中，所述处理器配置为通过基于来自所述IMU的数据检测所述HMD的大于预定阈值的移动来确定将所述HMD从所述固定引导模式切换到所述不同模式的指示；并且所述处理器还配置为当检测到所述HMD的大于所述预定阈值的移动时，接收将所述HMD从所述固定引导模式切换到不同于所述固定引导模式的不同模式的指示，或者
其中，所述处理器还配置为：接收返回至所述固定引导模式的指示；基于来自所述IMU的数据，检测所述HMD返回至初始姿态；以及当检测到所述HMD返回至所述初始姿态时，将所述检测解释为接收到返回至所述固定引导模式的指示。
4.根据权利要求1所述的HMD，其中，所述处理器还配置为接收所述HMD进入主角色的指示，其中，所述主角色允许所述HMD控制处于从角色的一个或多个HMD的固定引导模式或灵活引导模式。
5.根据权利要求1所述的HMD，其中，所述处理器还配置为：
控制所述收发器从所述至少一个其它HMD接收与所述至少一个其它HMD的动作相关的数据；以及
使用与所述至少一个其它HMD的动作相关的数据，在所述HMD的在所述VR环境中的FOV内复制所述动作。
6.根据权利要求1所述的HMD，还包括：
存储器，联接至所述处理器并且配置为记录所述HMD的动作和所述HMD的FOV,
其中，所述处理器还配置为控制所述收发器将所记录的动作和所记录的FOV发送至服务器或所述至少一个其它HMD中的至少一者。
7.一种头戴式显示器(HMD)，包括：
收发器；
显示器；以及
处理器，联接至所述收发器和所述显示器，所述处理器配置为：
控制所述收发器向至少一个其它HMD发送与所述HMD在虚拟现实(VR)环境中的视场(FOV)相关的数据，所述FOV显示在所述显示器上，
其中，与所述HMD的FOV相关的所述数据用于生成在所述至少一个其它HMD的显示器上显示的、所述至少一个其它HMD在所述VR环境中的FOV。
8.根据权利要求2或7所述的HMD，其中，所述处理器还配置为控制所述至少一个其它HMD的FOV。
9.根据权利要求7所述的HMD，其中，所述处理器还配置为控制所述收发器从所述至少一个其它HMD接收所述至少一个其它HMD已从固定引导模式切换到不同于所述固定引导模式的不同模式的指示。
10.根据权利要求9所述的HMD，其中，所述不同模式是灵活引导模式，并且所述处理器还配置为控制所述收发器向所述至少一个其它HMD发送将所述至少一个其它HMD的FOV与所述HMD的FOV匹配同时保持在所述灵活引导模式中的指示，或者
其中，所述处理器还配置为控制所述收发器从所述至少一个其它HMD接收所述至少一个其它HMD已返回至所述固定引导模式的指示。
11.根据权利要求7所述的HMD，其中，所述处理器还配置为控制所述收发器向所述至少一个其它HMD发送所述至少一个其它HMD进入主角色的指示，其中，所述主角色允许所述至少一个其它HMD控制处于从角色中的一个或多个HMD的固定引导模式或灵活引导模式。
12.根据权利要求1或7所述的HMD，其中，与所述HMD的FOV相关的数据包括定向信息、VR环境位置信息或状态信息中的至少一者。
13.根据权利要求7所述的HMD，其中，所述处理器还配置为：控制所述收发器向所述至少一个其它HMD发送与所述HMD的动作相关的数据以及使用与所述HMD的动作相关的数据在所述至少一个其它HMD的在所述VR环境中的FOV内复制所述动作的指示。
所述HMD还包括：
存储器，联接至所述处理器，
其中，所述处理器还配置为：
控制所述收发器从所述至少一个其它HMD接收所述至少一个其它HMD的记录的动作和记录的FOV，以及
将所述至少一个其它HMD的所述记录的动作和所述记录的FOV存储在所述存储器中，
或者其中，所述处理器还配置为：
控制所述收发器从所述至少一个其它HMD接收与所述至少一个其它HMD的FOV相关的数据，与所述至少一个其它HMD的FOV相关的数据包括定向信息、VR环境位置信息或状态信息中的至少一者。
14.根据权利要求6或13所述的HMD，其中，所述处理器还配置为使所述显示器显示用户界面(UI)元素，所述UI元素包括所接收到的与所述至少一个其它HMD的FOV相关的数据的指示。
15.一种方法，所述方法包括适于在权利要求1-14中的任一项中所述的头戴式显示器(HMD)的至少一个步骤。
CN201980006964.8A 2018-02-02 2019-01-31 用于共享虚拟现实环境的装置和方法 Active CN111527523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/887,795 US10976982B2 (en) 2018-02-02 2018-02-02 Guided view mode for virtual reality
US15/887,795 2018-02-02
PCT/KR2019/001341 WO2019151793A1 (en) 2018-02-02 2019-01-31 Apparatus and method for sharing a virtual reality environment

Publications (2)

Publication Number Publication Date
CN111527523A true CN111527523A (zh) 2020-08-11
CN111527523B CN111527523B (zh) 2024-03-15

Family

ID=67475546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980006964.8A Active CN111527523B (zh) 2018-02-02 2019-01-31 用于共享虚拟现实环境的装置和方法

Country Status (4)

Country Link
US (1) US10976982B2 (zh)
EP (1) EP3698331A4 (zh)
CN (1) CN111527523B (zh)
WO (1) WO2019151793A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102682A (zh) * 2020-11-09 2020-12-18 中电科芜湖钻石飞机制造有限公司南京研发中心 基于5g通信的飞行器驾驶培训系统和方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430147B2 (en) * 2017-04-17 2019-10-01 Intel Corporation Collaborative multi-user virtual reality
KR20210025085A (ko) 2018-06-27 2021-03-08 콜로라도 스테이트 유니버시티 리써치 파운데이션 상호작용 다중사용자 가상현실 경험을 효율적으로 렌더링, 관리, 기록 및 재생하기 위한 방법 및 장치
WO2020015611A1 (zh) * 2018-07-20 2020-01-23 广东虚拟现实科技有限公司 虚拟内容的交互显示方法、终端设备及存储介质
CN113168737A (zh) * 2018-09-24 2021-07-23 奇跃公司 用于三维模型共享的方法和系统
US10620697B2 (en) * 2018-09-27 2020-04-14 Intel Corporation Wireless communication management for virtual reality devices
US11526212B1 (en) * 2019-09-25 2022-12-13 Amazon Technologies, Inc. System to determine don/doff of wearable device
US11195020B1 (en) * 2019-10-29 2021-12-07 Facebook Technologies, Llc Systems and methods for maintaining virtual spaces
FR3102592B1 (fr) * 2019-10-29 2022-02-11 Immersion Procédé d’interaction avec un utilisateur d’un système immersif et dispositif pour la mise en œuvre d’un tel procédé
US11055049B1 (en) * 2020-05-18 2021-07-06 Varjo Technologies Oy Systems and methods for facilitating shared rendering
CN112261421B (zh) * 2020-10-12 2022-11-15 Oppo广东移动通信有限公司 虚拟现实的显示方法、装置、电子设备及存储介质
US11620796B2 (en) * 2021-03-01 2023-04-04 International Business Machines Corporation Expert knowledge transfer using egocentric video
CN113141346B (zh) * 2021-03-16 2023-04-28 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603865A (zh) * 2012-05-16 2015-05-06 丹尼尔·格瑞贝格 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统
US20160055680A1 (en) * 2014-08-25 2016-02-25 Samsung Electronics Co., Ltd. Method of controlling display of electronic device and electronic device
US20160350973A1 (en) * 2015-05-28 2016-12-01 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
CN106227329A (zh) * 2015-06-02 2016-12-14 佳能株式会社 信息处理装置、信息处理方法及系统
CN106598252A (zh) * 2016-12-23 2017-04-26 深圳超多维科技有限公司 一种图像显示调节方法、装置、存储介质及电子设备
CN106716306A (zh) * 2014-09-30 2017-05-24 索尼互动娱乐股份有限公司 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
US20170150230A1 (en) * 2014-07-03 2017-05-25 Sony Corporation Information processing apparatus, information processing method, and program
CN106886287A (zh) * 2017-03-23 2017-06-23 广州三星通信技术研究有限公司 用于在虚拟现实设备中共享画面的方法和装置
US20170266554A1 (en) * 2016-03-18 2017-09-21 Sony Interactive Entertainment Inc. Spectator View Perspectives in VR Environments
CN107637076A (zh) * 2015-10-14 2018-01-26 三星电子株式会社 电子设备及其控制方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6874029B2 (en) 2000-11-22 2005-03-29 Leap Wireless International, Inc. Method and system for mediating interactive services over a wireless communications network
GB0127559D0 (en) 2001-11-16 2002-01-09 Syngenta Participations Ag Organic compounds
US7918730B2 (en) 2002-06-27 2011-04-05 Igt Trajectory-based 3-D games of chance for video gaming machines
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
CA2580239C (en) 2004-09-21 2016-04-26 Timeplay Entertainment Corporation System, method and handheld controller for multi-player gaming
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US9329743B2 (en) 2006-10-04 2016-05-03 Brian Mark Shuster Computer simulation method with user-defined transportation and layout
US8167724B2 (en) 2007-12-10 2012-05-01 Gary Stephen Shuster Guest management in an online multi-player virtual reality game
FR2961929B1 (fr) 2010-06-29 2019-11-15 Alcatel Lucent Procede d'affichage d'un monde virtuel dans lequel evolue l'avatar d'un utilisateur d'un service de realite virtuelle
US9192860B2 (en) 2010-11-08 2015-11-24 Gary S. Shuster Single user multiple presence in multi-user game
US9558612B2 (en) 2010-11-15 2017-01-31 Bally Gaming, Inc. System and method for augmented reality gaming
US9269219B2 (en) 2010-11-15 2016-02-23 Bally Gaming, Inc. System and method for augmented reality with complex augmented reality video image tags
US8836771B2 (en) 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US20130102334A1 (en) * 2011-10-21 2013-04-25 Qualcomm Incorporated Egress based map region classification
KR101279519B1 (ko) 2011-11-11 2013-06-28 엘지전자 주식회사 입체영상 안경의 영상 제어 장치 및 그 방법
US9558620B2 (en) 2012-01-13 2017-01-31 Igt Canada Solutions Ulc Systems and methods for multi-player remote gaming
US20130194304A1 (en) * 2012-02-01 2013-08-01 Stephen Latta Coordinate-system sharing for augmented reality
US9361730B2 (en) 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
GB201310359D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
KR20150044488A (ko) * 2013-10-16 2015-04-27 한국과학기술연구원 비디오 씨쓰루 헤드 마운티드 디스플레이 영상 컨텐츠 운용 방법 및 시스템
US9751005B1 (en) * 2013-12-13 2017-09-05 Aftershock Services, Inc. Facilitating map navigation in an online game
WO2015192117A1 (en) 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20160061133A (ko) 2014-11-21 2016-05-31 삼성전자주식회사 이미지 표시 방법 및 그 전자 장치
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
KR102144515B1 (ko) 2015-01-07 2020-08-14 삼성전자주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
KR102349716B1 (ko) 2015-06-11 2022-01-11 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치
WO2017033777A1 (ja) * 2015-08-27 2017-03-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム
US10258888B2 (en) * 2015-11-23 2019-04-16 Qfo Labs, Inc. Method and system for integrated real and virtual game play for multiple remotely-controlled aircraft
US9573062B1 (en) * 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
EP3206122A1 (en) 2016-02-10 2017-08-16 Nokia Technologies Oy An apparatus and associated methods
KR101670815B1 (ko) 2016-02-11 2016-10-31 (주)건우애듀 Ｖｒ 및 ａｒ 기반 실시간 지식 공유 서비스 제공 방법
US20180059812A1 (en) * 2016-08-22 2018-03-01 Colopl, Inc. Method for providing virtual space, method for providing virtual experience, program and recording medium therefor
US10339715B2 (en) * 2016-08-31 2019-07-02 Factualvr, Inc. Virtual reality system
US20190279428A1 (en) * 2016-11-14 2019-09-12 Lightcraft Technology Llc Team augmented reality system
JP2018097160A (ja) * 2016-12-14 2018-06-21 セイコーエプソン株式会社 表示システム、表示装置、及び、表示装置の制御方法
KR102606976B1 (ko) * 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
JP6306765B1 (ja) * 2017-02-27 2018-04-04 株式会社コロプラ 仮想空間を移動するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラムおよび情報処理装置
US10235965B2 (en) * 2017-03-15 2019-03-19 Kuato Games (UK) Limited Virtual reality system using an actor and director model
US11474354B2 (en) * 2017-04-25 2022-10-18 Ati Technologies Ulc Display pacing in multi-head mounted display virtual reality configurations

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603865A (zh) * 2012-05-16 2015-05-06 丹尼尔·格瑞贝格 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统
US20170150230A1 (en) * 2014-07-03 2017-05-25 Sony Corporation Information processing apparatus, information processing method, and program
US20160055680A1 (en) * 2014-08-25 2016-02-25 Samsung Electronics Co., Ltd. Method of controlling display of electronic device and electronic device
CN106716306A (zh) * 2014-09-30 2017-05-24 索尼互动娱乐股份有限公司 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
US20160350973A1 (en) * 2015-05-28 2016-12-01 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
CN106227329A (zh) * 2015-06-02 2016-12-14 佳能株式会社 信息处理装置、信息处理方法及系统
CN107637076A (zh) * 2015-10-14 2018-01-26 三星电子株式会社 电子设备及其控制方法
US20170266554A1 (en) * 2016-03-18 2017-09-21 Sony Interactive Entertainment Inc. Spectator View Perspectives in VR Environments
CN106598252A (zh) * 2016-12-23 2017-04-26 深圳超多维科技有限公司 一种图像显示调节方法、装置、存储介质及电子设备
CN106886287A (zh) * 2017-03-23 2017-06-23 广州三星通信技术研究有限公司 用于在虚拟现实设备中共享画面的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102682A (zh) * 2020-11-09 2020-12-18 中电科芜湖钻石飞机制造有限公司南京研发中心 基于5g通信的飞行器驾驶培训系统和方法

Also Published As

Publication number Publication date
WO2019151793A1 (en) 2019-08-08
US20190243599A1 (en) 2019-08-08
CN111527523B (zh) 2024-03-15
EP3698331A4 (en) 2020-12-16
US10976982B2 (en) 2021-04-13
EP3698331A1 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
CN111527523B (zh) 用于共享虚拟现实环境的装置和方法
Hilfert et al. Low-cost virtual reality environment for engineering and construction
US10642567B2 (en) Multiplatform based experience generation
US9924238B2 (en) Method and a system for using a computerized source device within the virtual environment of a head mounted device
US20180324229A1 (en) Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
JP6181917B2 (ja) 描画システム、描画サーバ、その制御方法、プログラム、及び記録媒体
CN100442313C (zh) 三维虚拟空间模拟器及其系统
CN103324453B (zh) 显示器
CN109885367B (zh) 互动聊天实现方法、装置、终端和存储介质
WO2019037515A1 (zh) 一种基于虚拟空间场景的信息交互方法、计算机设备及计算机可读存储介质
KR20230107844A (ko) 개인화된 아바타 실시간 모션 캡처
KR20230096043A (ko) 실시간 3d 신체 모션 캡처로부터의 사이드-바이-사이드 캐릭터 애니메이션
KR20230107655A (ko) 신체 애니메이션 공유 및 재혼합
JP6767515B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US11294453B2 (en) Simulated reality cross platform system
CN110851095A (zh) 虚拟和增强现实中的多屏幕交互
US20220066541A1 (en) Virtual reality system with posture control
CN108462729A (zh) 实现终端设备交互的方法和装置、终端设备及服务器
Simiscuka et al. Synchronisation between real and virtual-world devices in a VR-IoT environment
CN108012195A (zh) 一种直播方法、装置及其电子设备
CN117425870A (zh) 虚拟现实中的动态混合现实内容
US10535172B2 (en) Conversion of 2D diagrams to 3D rich immersive content
Weber et al. Frameworks enabling ubiquitous mixed reality applications across dynamically adaptable device configurations
US20230368464A1 (en) Information processing system, information processing method, and information processing program
KR20130039641A (ko) Ｎ-스크린 환경에서 체감형 서비스 제공 방법, 장치 및 이를 위한 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant